uniq

重複する内容の行を1行にまとめることができます。 ソートされていない場合は事前にソートする必要があります。

サンプル

file.txtの重複する行を1行にまとめる

$ cat file.txt

Ditto
Ditto
Snorlax
Snorlax
Snorlax
Slowpoke
Slowpoke

$ cat file.txt | uniq

Ditto
Snorlax
Slowpoke

sort後にuniqを使う

file.txtが以下のようにソートされていない場合、uniqコマンドだけではまとめることができません。

Ditto
Slowpoke
Snorlax
Snorlax
Snorlax
Ditto
Ditto
Snorlax
Slowpoke
Snorlax
Ditto
Slowpoke
Ditto

$ cat file.txt | uniq

Ditto
Slowpoke
Snorlax
Ditto
Snorlax
Slowpoke
Snorlax
Ditto
Slowpoke
Ditto

事前にファイルの内容をソートしてからuniqコマンドでまとめる必要があります。

$ cat file.txt | sort | uniq

Ditto
Slowpoke
Snorlax
```