Linux使用awk去掉重复值的几种情况

awk去掉重复的模式如下:

!a[$0]++

其中$0表示整行,$1表示第一列,$2表示第二列...


文件如下:

[root@localhost cc]# cat 1.txt
adc 1 2
a d a
a 3 adf
a d b
a 3 adf

1、去重第一列重复的行

[root@localhost cc]# cat test.txt |awk '!a[$1]++{print}'
adc 1 2
a d a

取重复的行第一行输出

2、去重以第一列和第二列重复的行

[root@localhost cc]# cat test.txt |awk '!a[$1" "$2]++{print}'
adc 1 2
a d a
a 3 adf

3、去除重复的行

[root@localhost cc]# cat test.txt |awk '!a[$0]++{print}'
adc 1 2
a d a
a 3 adf
a d b

4、只显示重复行

[root@localhost cc]# cat 2.txt |awk 'a[$0]++{print}'
a 3 adf

版权声明:著作权归作者所有。

相关推荐

Linux查看GPU使用情况

Nvidia自带的nvidia-smi命令行工具,可以查看GPU的使用情况:nvidia-smi使用watch指令可以周期监控GPU的使用情况:watch -n 10 nvidia-smi-n选项后面指定执行命令的周期,以s为单位。 显示的信息分为两部分:第一部分:各块GPU使用情况,比如温度,显存,GPU利用率第二部分(Processes):使用GPU的进程及占用显存

pandas 统计重复值

pandas统计数据项重复值次数和删除 https://blog.csdn.net/qq_35203425/article/details/80830911?utm_source=blogxgwz0

JavaScript转换boolean值为数字的几种方法

方法一:三元运算var i = result ? 1 : 0;方法二:+号操作符+ true; // 1+ false; // 0方法三:Number构造函数Number(true)//1Number(false)//0方法四:或运算result | 0;其中,方法一和方法四是相对另两种方法要快。

Shell:如何在awk脚本里使用变量

在awk里用变量最好的方法是使用-v选项。使用方式awk -v var= 单个变量~]$ v1="变量1" ~]$ awk -v var1="$v1" 'BEGIN {print var1}' 变量1 多个变量使用多个-v var=xxx来接收多个变量~]$&