版本：V1.1 问题提出者：python群友 问题是否解决：已解决 文档作者：悠久之翼(老男孩老师支持) 修改记录：2015-04-06 系统环境：Centos 6.6 （适合32bit and 64bit） 内核版本：2.6.32-504.el6.x86_64
问题描述：
以下是原文：来自网友的。
老男孩老师，你好：我要取如下数据：
1.单独第一列去重后的结果，这个我已做出来
awk '{count[$1]++}; END{for(name in count) print name,count[name]}' testfile.txt
2.取第一列和第二列同时去重后的wc–l ，麻烦老师帮忙看下，谢谢！
统计后的结果格式如：000 2227 60
这是网友第一次提交给老男孩老师的问题。由于这些问题就是刚刚讲过的awk数组问题，正好交给学生练手！
下面是学生的完整分析，加上太多次的和老男孩的不断沟通，到底问题者想问什么问题
####蒙了吗？看下面分析吧。
数据文件如下：见本文附件
AYST002 010121012003771 AYST002 010121012003771 001 012345678912345 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012002696 AYST002 010121012003771 一共2万多行测试数据数据文件如下：见本文附件
分析这位网友最终想要的结果：
0 2227 60 1 3880 4 4 53 2 014B002 6 2 014B004 202 2 014B010 1414 52 014B050 10 1 014B062 1276 36 014B090 53 6 014BA00 1367 13 20 34 7 40 6 4 600 1669 50 A0001 3245 18 ATM001 815 2 AYST001 254 7 AYST002 5451 156
继续问题分析
1． 上面问题实在让人费解，两天后终于想明白，他是什么问题è沟通代价太大，引以为戒。
2． 问题分析如下
3． 取得$1去重之后的计数
4． $0去重之后，$1相同$2不同的个数（最后花了2天理解问题，哎~~，提问的人没说明白，我也没理解）
举例说明：
如果没有理解看看下面的例子：
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(nin array) print n,array[n]}' 11.txt|sort
##先进行$0去重，截取000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
001 010121012002346 1
001 012345678912345 3646
001 015159014078175 1
001 1152 232
004 010121011079336 48
004 012345678912345 5
014B002 010121009019316 3
014B002 010121009201084 3
014B004 57e22bae43dfeafa 36
014B004 9e0647d809f4e31f 166
014B010 1c6bf2d598b3d9b5 69
014B010 2b6d303654a64ef3 6
014B010 2b742e4ee5aef95d 14##获得的结果：一共出现的次数 $0去重后，以000开头$2不同的个数
000 18+25+14+4 4
001 1+3646 4
004 48+5 2
014B002 3+5 2
014B004 36+166 2
014B010 69+6+14 3
难理解的是最后一列：他是对$0去重后的$1相同 $2不同的，总共的可能性。配合我的例子，和结果理解就好了。确定需求用了太久的时间，比解决问题时间长了很多！
解决方法：
方法一
简单粗暴：
[wxr@C66-test oldboy]$sort testfile.txt|uniq -c|awk -f sort_old.awk|sort
000 2227 60
001 3880 4
004 53 2
014B002 6 2
014B004 202 2
014B010 1414 52
014B050 10 1
014B062 1276 36
014B090 53 6
014BA00 1367 13
020 34 7
040 6 4
600 1669 50
A0001 3245 18
aim total singal_total
ATM001 815 2
AYST001 254 7
AYST002 5451 156
Z0001 3 1
[wxr@C66-test oldboy]$cat sort_old.awk
BEGIN{
print"aim""\t" "total" "\t""singal_total"
}
{
array_count[$2]+=$1
if(array[$2] != $3)
{
count[$2]++
array[$2]=$3
}}
END{
for(n in count)
printn"\t"array_count[n]"\t"count[n]
}
方法二
只用awk
[wxr@C66-test awk]$ awk '{array[$0]++}END{for(keyin array)print key,array[key]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1]!= $2) { count[$1]++;array[$1]=$2 }} END {for(n in count) printn"\t"array_count[n]"\t"count[n]}'
Z0001 3 1
000 2227 60
ATM001 815 2
001 3880 4
014B062 1276 36
014B090 53 6
020 34 7
040 6 4
004 53 2
600 1669 50
014B010 1414 52
014B002 6 2
AYST001 254 7
AYST002 5451 156
014B004 202 2
014BA00 1367 13
A0001 3245 18
014B050 10 1方法三：感谢老男孩老师给予高级AWK数组示例指导
[wxr@C66-test awk]$ catsort_paste.awk
{
split($0,xarry,FS)
one=xarry[1]
two=xarry[2]array_count[one]++if(!((one,two) intree)){tree[one,two]=1count[one]++}
}
END{
for(k in count){
printf("%16s %16s%16s \n",k,count[k],array_count[k])|"sort"}
}
[wxr@C66-test awk]$ awk-f sort_paste.awk 11.txt000 60 2227001 4 3880004 2 53014B002 2 6014B004 2 202014B010 52 1414014B050 1 10014B062 36 1276014B090 6 53014BA00 13 1367020 7 34040 4 6600 50 1669A0001 18 3245ATM001 2 815AYST001 7 254AYST002 156 5451Z0001 1 3方法四：（同学穷酸书生）
[wxr@C66-test awk]$ awk'!array_check[$0]++{array[$1]++}{count[$1]++}END{for (n in array)printf("%16s %16s %16s\n",n,array[n],count[n])|"sort"}'11.txt000 60 2227001 4 3880004 2 53014B002 2 6014B004 2 202014B010 52 1414014B050 1 10014B062 36 1276014B090 6 53014BA00 13 1367020 7 34040 4 6600 50 1669A0001 18 3245ATM001 2 815AYST001 7 254AYST002 156 5451Z0001 1 3小结：
1． 上面的还可以继续改进加上标题，BEGIN{}自由发挥吧。
2． 练习使用awk数组，理解数组下标就是个字符串。
解决后的答案很光鲜，看看背后的花絮吧。
老男孩 2015/4/6 17:24:16
不太好理解这位网友的意思
沟通成本太大了
你好好理解下 说明给我吧，然后老师指导你搞定，
你们学了awk数组了，这是练兵的最好机会，呵呵！21期学员-悠久之翼 2015/4/6 17:24:34
嗯是的。 我花了2天才理解。
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000
000 010121008040030 13
000 010121009642993 84
000 010121009794788 1
000 010121011000030 1
000 010121011079336 56
000 010121011153649 14
000 010121012000089 8
000 010121012002325 159
000 010121012002400 7
000 010121012002687 14
000 010121012002692 2
000 010121012002722 43
000 010121012003231 15
000 010121012003452 1
000 010121012003516 9
000 010121012003711 24
000 010121012003875 8
000 010121012003986 6
000 012345678912345 62
000 014421001000002 1
000 014444000015121 10
000 101211489913522 30
000 106552913112164 36
000 108112812133281 3
000 1151 1
000 117128150151313 13
000 121460828135981 33
000 157135111231073 33
000 1bad6941cfcd81a7 89
000 201213741313151 2
这是第一步
然后对他 wc -l
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort |grep ^000|wc -l
6021期学员-悠久之翼 2015/4/6 17:26:31
是在$0 基础之上在统计数目。 21期学员-悠久之翼 2015/4/6 17:28:16
60是在对 $0 作为key 之后，再次进行统计。老男孩 2015/4/6 17:31:24
你使用少量数据给出要的效果
不然 难以理解，几条数据说明问题，表达能力比技术更重要21期学员-悠久之翼 2015/4/6 17:32:55
好的 21期学员-悠久之翼 2015/4/6 17:38:15
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|sort
先进行$0去重，截取
000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
001 010121012002346 1
001 012345678912345 3646
001 015159014078175 1
001 1152 232
004 010121011079336 48
004 012345678912345 5
014B002 010121009019316 3
014B002 010121009201084 3
014B004 57e22bae43dfeafa 36
014B004 9e0647d809f4e31f 166
014B010 1c6bf2d598b3d9b5 69
014B010 2b6d303654a64ef3 6
014B010 2b742e4ee5aef95d 14
获得的结果：
000 一共出现的次数 $0去重后，以000开头$2不同的个数
000 18+25+14+4 4
001 1+3646 4
004 48+5 2
014B002 3+5 2
014B004 36+166 2
014B010 69+6+14 3 老男孩 2015/4/6 17:42:53
以000开头$2不同的个数 $2是c78f62db913017ea 列？还是$321期学员-悠久之翼 2015/4/6 17:43:19
$2 老男孩 2015/4/6 17:43:20
你这个结果的第三列哪来的老男孩 2015/4/6 17:44:15
明白了21期学员-悠久之翼 2015/4/6 17:44:19
000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
000开头 $2 不同的个数 就是 $2老男孩 2015/4/6 17:44:25
这是你理解的 还是人家真是这个意思21期学员-悠久之翼 2015/4/6 17:44:35
这题不说明白很难理解。老男孩 2015/4/6 17:44:46
是的21期学员-悠久之翼 2015/4/6 17:44:49
我的理解 然后 我对比了 他的结果 看样子是对的。21期学员-悠久之翼 2015/4/6 17:45:51
从结果看是这样的意思。老男孩 2015/4/6 17:46:16
呵呵，聊天记录都保留，你说这理解别人的思想多难
自己不说清楚 就更难21期学员-悠久之翼 2015/4/6 17:46:41
用数据说话才是王道。老男孩 2015/4/6 17:46:43
我这时间有限啊，不喜欢猜别人的想法。这就是表达能力21期学员-悠久之翼 2015/4/6 17:48:52
我会下次整理的更好 再问的。 老男孩 2015/4/6 17:50:19
你没搞定么，不难啊，可以两条awk，也可以多维数组，不过要awk编程了21期学员-悠久之翼 2015/4/6 17:51:11
2条就简单了。我就想着一条。老男孩 2015/4/6 17:51:46
别啊!21期学员-悠久之翼 2015/4/6 17:51:46
sort uniq 换成awk|awk 就行了。老男孩 2015/4/6 17:51:59
先来两条给个答案看看,事情都是一步步解决的。
一条就要多个数组，甚至多为数组了21期学员-悠久之翼 2015/4/6 17:53:06
我就是纠结那个多维数组。 蒙了。。老男孩 2015/4/6 17:53:14
你先分两条搞定，回头老师帮你实现一条的方法
一步步来，等你结果！21期学员-悠久之翼 2015/4/6 17:53:45
好的老男孩 2015/4/6 17:54:28
2条搞定后 你自然可以多条搞定，我给你一个我以前写的awk多数组加函数的例子
接文件仔细看21期学员-悠久之翼 2015/4/6 17:58:37
[wxr@C66-test oldboy]$ awk '{array[$0]++}END{for(n in array) print n,array[n]}' 11.txt|awk '{array_count[$1]+=$3;if(array[$1] != $2){count[$1]++;array[$1]=$3}}END{for (n in count)print n"\t"array_count[n]"\t"count[n]|"sort -n"}'
000 2227 60
A0001 3245 18
ATM001 815 2
AYST001 254 7
AYST002 5451 156
Z0001 3 1
001 3880 4
004 53 2
014B002 6 2
014B004 202 2
014B010 1414 52
014B050 10 1
014B062 1276 36
014B090 53 6
014BA00 1367 13
020 34 7
040 6 4
600 1669 5021期学员-悠久之翼 2015/4/6 17:59:44
自己看着都晕。老男孩 2015/4/6 18:01:48
哇，搞定了？
对方已成功接收了您发送的离线文件“parse-awk例子老男孩教育案例.rar”(29.84KB)。21期学员-悠久之翼 2015/4/6 18:02:52
是的 因为 两个awk 就是拼积木了。
第一个$0 第二个 $1 $2 计数 我之前做好的 改一下就能用。21期学员-悠久之翼 2015/4/6 18:06:08
好东西。谢谢老师。老男孩 2015/4/6 18:07:21
先2条搞定这个就可以了，接下来要AWK编程了
处理完不输出，继续处理。用我给你的例子 就可以了21期学员-悠久之翼 2015/4/6 18:07:53
明白 那些函数的使用 很头痛。老男孩 2015/4/6 18:08:58
思路清晰了 就简单了啊
接下来要AWK编程，处理完不输出，继续处理，直到得到最终结果再输出
这个搞定了 你AWK能力就 再运维层次里NO1了21期学员-悠久之翼 2015/4/6 18:10:13
谢谢老师指点。老男孩 2015/4/6 18:10:49
有思路没？现在21期学员-悠久之翼 2015/4/6 18:13:19
有一点点
使用split把数据分块。
A B
然后 A,B in array 查询
不存在就 count++
理解到这里。 21期学员-悠久之翼 2015/4/6 18:15:22
之前我也这样想过 可是没办法实现。
现在可以尝试一下了。
谢谢老师。21期学员-悠久之翼 2015/4/7 7:25:53
[wxr@C66-test awk]$ cat sort_paste.awk
{
split($0,xarry,FS)
one=xarry[1]
two=xarry[2]array_count[one]++if(!((one,two) in tree)){ tree[one,two]=1count[one]++}
}
END{
for(k in count){
printf("%16s %16s %16s \n",k,count[k],array_count[k])|"sort"}
}
[wxr@C66-test awk]$ awk -f sort_paste.awk 11.txt 000 60 2227 001 4 3880 004 2 53 014B002 2 6 014B004 2 202 014B010 52 1414 014B050 1 10 014B062 36 1276 014B090 6 53 014BA00 13 1367 020 7 34 040 4 6 600 50 1669 A0001 18 3245 ATM001 2 815 AYST001 7 254 AYST002 156 5451 Z0001 1 3 21期学员-悠久之翼 2015/4/7 22:58:46
问题已经解决，四种方法。
请老师指点一下，哪里需要 改进。转载于:https://blog.51cto.com/oldboy/1629928
