当前位置: 技术问答>linux和unix
使用awk对某列数据进行排序和uniq的问题
来源: 互联网 发布时间：2015-09-25
本文导语: 有这样格式的数据: session_id (tab) url_in (tab) url_out 先对文件sort -n aaa.txt |uniq -c 产生: cnt (tab) session_id (tab) url_in (tab) url_out 我想得到一些数据统计: (1) 所有行cnt求和 (2) 所有行session_id进行sort|uniq后求和 (3) ...
有这样格式的数据:
session_id (tab) url_in (tab) url_out
先对文件sort -n aaa.txt |uniq -c
产生:
cnt (tab) session_id (tab) url_in (tab) url_out
我想得到一些数据统计:
(1) 所有行cnt求和
(2) 所有行session_id进行sort|uniq后求和
(3) 以url_in和url_out为group,cnt求和,session_id进行sort|uniq后求和
本来这些操作使用mysql数据库来做的,可是现在数据过于庞大,只好用脚本了,可是我对脚本不很熟悉,自己最近也看了不少sort,uniq,sed和awk的资料,还是不能完美解决,只好请大家多帮忙了,谢谢
session_id (tab) url_in (tab) url_out
先对文件sort -n aaa.txt |uniq -c
产生:
cnt (tab) session_id (tab) url_in (tab) url_out
我想得到一些数据统计:
(1) 所有行cnt求和
(2) 所有行session_id进行sort|uniq后求和
(3) 以url_in和url_out为group,cnt求和,session_id进行sort|uniq后求和
本来这些操作使用mysql数据库来做的,可是现在数据过于庞大,只好用脚本了,可是我对脚本不很熟悉,自己最近也看了不少sort,uniq,sed和awk的资料,还是不能完美解决,只好请大家多帮忙了,谢谢
|
这些操作用脚本做比较困难把。mysqlimport 可以load各种格式的text文件。man mysqlimport
到数据库里就好说了。
到数据库里就好说了。
您可能感兴趣的文章:
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。