Linux下文件去重

有多个文件，每个文件都有交集。 现在要将每个文件去重。

这里使用到3个命令：cat、sort、uniq

cat查看文件内容

sort排序

uniq去重

1. 取几个文件的并集 cat fileA fileB fileC | sort | uniq

➜ test cat test1
a1
a2
a3
a1
➜ test sort test1
a1
a1
a2
a3
➜ test sort test1 | uniq
a1
a2
a3

2. 取几个文件的交集 cat fileA fileB fileC | sort | uniq -d

➜ test sort test1 | uniq -d
a1

3. 取几个文件不重复的部分 cat fileA fileB fileC | sort | uniq -u

➜ test sort test1 | uniq -d
a1