当前位置:  技术问答>linux和unix

请教一个去掉重复行的脚本

    来源: 互联网  发布时间:2016-02-23

    本文导语:  如下: Dec 25 15:55:51 : iscsi_tx_1 UnsolData 0, data_len 4096, data_done 0, r2t_data_left 0 Dec 25 15:55:51 :     ITT: 0xffffffff Dec 25 15:55:51 : Leave do_iscsi_rx_data Dec 25 15:55:51 : Leave free_r2t_cookie Dec 25 15:55:51 : Leave free_targ_...

如下:
Dec 25 15:55:51 : iscsi_tx_1 UnsolData 0, data_len 4096, data_done 0, r2t_data_left 0
Dec 25 15:55:51 :     ITT: 0xffffffff
Dec 25 15:55:51 : Leave do_iscsi_rx_data
Dec 25 15:55:51 : Leave free_r2t_cookie
Dec 25 15:55:51 : Leave free_targ_buf
Dec 25 15:55:51 : Leave handle_iscsi_rx_data
Dec 25 15:55:51 :     MaxCmdSN: 22243
Dec 25 15:55:51 :     Opcode: 0x00,  I: 1
Dec 25 15:55:51 :     Opcode: 0x20,  I: 0
Dec 25 15:55:51 : scsi cmnd 00000000, init_task_tag -1 target_xfer_tag 21 data_done 0 xfer length 0
Dec 25 15:55:51 : Search found the command
Dec 25 15:55:51 : set dequeue command statsn 19, received exp_stat_sn 20, command state 5
Dec 25 15:55:51 :     StatSN: 20
Dec 25 15:55:51 :     TTT: 21
。。。。
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
+++++++++++++++++++++++++=
输出:
Dec 25 15:55:51 : iscsi_tx_1 UnsolData 0, data_len 4096, data_done 0, r2t_data_left 0
Dec 25 15:55:51 :     ITT: 0xffffffff
Dec 25 15:55:51 : Leave do_iscsi_rx_data
Dec 25 15:55:51 : Leave free_r2t_cookie
Dec 25 15:55:51 : Leave free_targ_buf
Dec 25 15:55:51 : Leave handle_iscsi_rx_data
Dec 25 15:55:51 :     MaxCmdSN: 22243
Dec 25 15:55:51 :     Opcode: 0x00,  I: 1
Dec 25 15:55:51 :     Opcode: 0x20,  I: 0
Dec 25 15:55:51 : scsi cmnd 00000000, init_task_tag -1 target_xfer_tag 21 data_done 0 xfer length 0
Dec 25 15:55:51 : Search found the command
Dec 25 15:55:51 : set dequeue command statsn 19, received exp_stat_sn 20, command state 5
Dec 25 15:55:51 :     StatSN: 20
Dec 25 15:55:51 :     TTT: 21
。。。
Dec 25 15:52:51 : iscsi_tx_1 awake, session c8534d80, conn c3874e80
Dec 25 15:52:51 : iscsi_tx_1 handled 0 commands
需要将这些2行一重复的去掉(时间不相同的也算重复的),当然保留一份更好。
不要简单的以为用cat file | uniq就可以了,这是2行一重复。
也不要改变时间顺序。
能有人写出来,感激不敬!

|
这个问题用python最简单:

#!/usr/bin/env python

f=open('file_in.txt','r')
lines=f.readlines()
uniq_lines=[]

for line in lines:
    if line not in uniq_lines:
        uniq_lines.append(line)

f2=open('file_out.txt','w')
f2.writelines(uniq_lines)

f.close()
f2.close()


另外,这个问题的需求不适合用uniq解决,因为uniq只能解决相邻两行重复的行,
如果要用uniq的话,要先用sort排序,这样就必定破坏输入的时间顺序,而这个问题
显然是要保持时间顺序的。

    
 
 

您可能感兴趣的文章:

  • 新手请教,我用VI时按ESC键,总是回嘟嘟嘟嘟响,请问如何去掉!谢谢!
  • 请教用什么命令:能去掉UNIX下某个目录(及其子目录)下所有*.htm文件内容中的“abcd”字符串
  • 请教:我想把图形登陆界面去掉,全部改用文本操作的可以吗?
  • 请教:怎么去掉这个警告,谢谢!
  • 请教一个问题,CRONTAB执行脚本和SSH登陆后调用脚本有什么不同?
  • 请教花括号在脚本中的用法的含义
  • 请教shell脚本启动程序
  • 高分请教关于Shell脚本执行中断问题?
  • 请教关于多个shell脚本后台运行的问题!
  • 请教:这个脚本文件为什么不随机启动
  • 请教一个脚本编写时的问题
  • 请教:如何写一个自动以当前日期建目录的脚本
  • 请教shell脚本中ls -la >ls.log <<!,中的"<<!"是什么意思?
  • 请教一个查找字符的脚本。急用!!
  • 请教两段shell脚本的不同
  • sh 脚本:请教实现非root退出
  • 请教高手,一个简单的shell脚本问题???
  • 请教斑竹,在linux下怎么执行位于其他机器上的脚本
  • 请教一个shell脚本的问题!
  • 请教一个SH脚本的写法(在线等)
  • 请教各位一个关于linux脚本的问题
  • 请教各位,shell脚本获取当前日期是本年的第几周?
  • 请教关于shell脚本的问题
  • 请教shell脚本问题
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • 请教,请教,这个问题是为什么????
  • 请教本地硬盘安装问题请教本地硬盘安装问题
  • ■请教■请教redhat最基本的问题!
  • 请教一个 shell 问题,我用下面这个 shell 语句总是失败,请教
  • 高分请教,各位大侠,请教一个问题,理论高手请进??谢谢
  • 请教Linux下pgadmin3-1.0.2的编译和安装!!高分请教!
  • 各位大虾,请教装了REDHAT9操作系统后,启动时无法引导到LINUX,请教该如何解决啊
  • 请教,请教,,,一定要看!!一定要看!!
  • 请教高手,小弟打印width=1500,height=600(A3纸)的Applet,在预览中是该区域是黑的,打印出来也是黑的,请教高手解决一下
  • :请教高手,小弟打印width=1500,height=600(A3纸)的Applet,在预览中是该区域是黑的,打印出来也是黑的,请教高手解决一下
  • 请教象我这样的硬盘应如何安装Linux,我昨天试装了,但有问题。(老问题了,也看了前面的帖子,但还是来请教,请多指教)
  • 请教这种循环的执行过程
  • 请教两个redhat9问题
  • 请教如何在指定目录下查找包含指定文字的文件
  • 请教局域网中如何通过ip地址得到主机名
  • 请教kdevelop的问题
  • 请教linux 下的adsl拨号问题.
  • 请教,如何用虚拟订机安装liux
  • 【请教】LINUX 下SNMP的MIB开发
  • 请教一个opengl的问题


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3