a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 編程 > Perl > 正文

perl去除重復內容的腳本代碼(重復行+數組重復字段)

2020-06-04 20:31:35
字體:
來源:轉載
供稿:網友

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結果:
1 3 
1 5 
2 1 
4 1
那么,請借助以下的perl腳本來實現。

代碼一:

代碼如下:
#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:////perl////data.txt/n"; 
chomp($filename=<STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(<IN>) 

   chomp; 
   @information=split//s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(<IN>) 
   { 
       @information=split//s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f://A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a<=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2/n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個文件data有10G大,但是有好多行都是重復的,需要將該文件中重復的行合并為一行,那么我們需要用什么辦法來實現
cat data |sort|uniq > new_data #該方法可以實現,但是你需要花上好幾個小時。結果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單,創建一個hash,每行的內容為鍵,值由每行出現的次數來填充,腳本如下;

代碼如下:
#!/usr/bin/perl
# Author :CaoJiangfeng

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 欧美性受| 日韩三级在线播放 | 国产精品久久av | 亚洲一区在线日韩在线深爱 | 国产一级大片 | 奇米影视77| 97精品视频在线 | 精品国产乱码久久久久久蜜臀 | 精品国产一区二区三区免费 | 在线观看va | 五月婷婷激情网 | 一区二区三区国产好 | 欧美精品三级 | 91短视频版在线观看免费大全 | 亚洲人成人一区二区在线观看 | 欧美日韩在线免费观看 | 欧美久久久久久久久中文字幕 | 亚洲国产婷婷 | 91精品久久久久久久久中文字幕 | 欧美日韩在线免费观看 | 中文字幕国产高清 | 国产乱精品一区二区三区 | 亚洲色图自拍 | 亚洲欧美视频 | 九九精品久久久 | 成人在线免费观看 | 国产精品久久久久影院色老大 | 一区二区三区回区在观看免费视频 | 天天添 | 婷婷中文字幕 | 欧美国产日韩在线观看 | 日韩视频一区在线观看 | 91看片网 | 91精品国产91久久久久久吃药 | 亚洲h视频 | 日本超碰在线 | 人人草在线视频 | 成人羞羞在线观看网站 | 日韩精品亚洲专区在线观看 | 欧美激情五月 | 日韩精品一区二区在线观看 |