整形ツール — sort / uniq / cut / wc / tr / tee

行を並べ替える — sort

本記事では、テキストを整形・集計する 6 つのコマンド sort / uniq / cut / wc / tr / tee を 1 コマンドずつ実習します。最初はsortです。sortは入力の行を辞書順（文字の並び順）に並べ替えます。数値を大小で並べたいときはsort -n、降順にしたいときはsort -rを使います。辞書順では10が2より前に来る（先頭の文字1と2を比較する）ため、数値の並べ替えには-nが必要です。

printf 'cherry\napple\nbanana\n' > words.txt   # 3 行の素材を作成
sort words.txt                                   # apple banana cherry（辞書順）
sort -r words.txt                                # cherry banana apple（降順）
printf '100\n9\n25\n' > scores.txt              # 数値の素材を作成
sort scores.txt                                  # 100 25 9（辞書順なので 1 が先頭）
sort -n scores.txt                               # 9 25 100（数値順）

① printf '10\n2\n30\n' > nums.txtで数値 3 行の素材を作成してください。

② sort nums.txtで並べ替え、辞書順では10が2より前に来ることを確認してください。

③ sortに数値順のオプションを付けて、2 → 10 → 30 の順になることを確認してください。

④ さらに逆順のオプションを付けて、大きい順に並ぶことを確認してください。（正しく実行できれば解説が表示されます）

重複をまとめる — uniq

uniqは隣り合って並んだ同じ行を 1 つにまとめるコマンドです。離れた場所にある重複は見ないため、ふつうはsortで同じ行を隣へ揃えてからパイプで渡します。uniq -cを付けると、各行の前に出現回数が付き、種類別の件数集計になります。

printf 'banana\napple\nbanana\napple\n' > items.txt   # 4 行の素材を作成
sort items.txt                                          # apple apple banana banana
sort items.txt | uniq                                   # apple banana（重複を除去）
sort items.txt | uniq -c                                # 2 apple / 2 banana（出現回数）

① printf 'pear\nfig\npear\nfig\nfig\n' > fruit.txtで重複のある 5 行の素材を作成してください。

② sort fruit.txtで並べ替え、同じ行が隣り合うことを確認してください。

③ sortの結果をパイプでuniqに渡し、重複が 1 つにまとまることを確認してください。

④ 同じパイプでuniqに出現回数を付けるオプションを使い、各行の前に回数が出ることを確認してください。

列を取り出す — cut

cutは各行を区切り文字で分け、指定した列だけを取り出します。-dの後ろに区切り文字、-fの後ろに列番号を書き、cut -d',' -f1なら CSV の 1 列目を抜き出せます。複数列なら-f1,3のようにカンマで並べます。CSV やコロン区切りの設定ファイルから必要な列だけを取り出すときに使います。

printf 'root:x:0\nuser:x:1000\n' > passwd.txt   # コロン区切りの素材を作成
cut -d':' -f1 passwd.txt                          # 1 列目（名前）だけ
cut -d':' -f1,3 passwd.txt                        # 1 と 3 列目

① printf 'sato,30,tokyo\nito,25,osaka\n' > people.csvでカンマ区切りの素材を作成してください。

② cutで区切り文字をカンマに指定し、1 列目（名前）だけを抜き出してください。

③ 続けて 1 列目と 3 列目を同時に抜き出し、列の指定の仕方を確認してください。

行・単語・バイトを数える — wc

wcは入力の行数・単語数・バイト数を数えるコマンドです。オプション無しでは 3 つの数字が並び、wc -lで行数だけ、wc -wで単語数だけ、wc -cでバイト数だけが出ます。いちばん使うのはwc -lで、ls | wc -lのようにパイプで受ければ「ファイルが何個あるか」「該当行が何件か」を数えられます。

printf 'one two three\nfour\n' > draft.txt   # 2 行・4 単語の素材を作成
wc draft.txt                                  # 行数・単語数・バイト数が並ぶ
wc -l draft.txt                               # 2（行数だけ）
ls | wc -l                                    # パイプで受けてファイル数を数える

① printf 'good morning\nhello\n' > memo.txtで 2 行の素材を作成してください。

② wc memo.txtを実行し、行数・単語数・バイト数の 3 つの数字が並ぶことを確認してください。

③ wcに行数だけを出すオプションを付けて、2 が表示されることを確認してください。

④ 次に単語数だけを出すオプションを付けて、3 が表示されることを確認してください。

文字を変換する — tr

trは標準入力の文字を文字単位で別の文字に置き換えるコマンドです。tr 'a-z' 'A-Z'は小文字を大文字へ変換します。tr -sは連続した同じ文字を 1 つにまとめ（スペースの連続を 1 つにするなど）、tr -dは指定した文字を削除します。trはファイル名を引数に取らず、パイプや入力リダイレクトから受け取ります。

echo 'hello linux' | tr 'a-z' 'A-Z'     # HELLO LINUX
echo 'a   b   c' | tr -s ' '            # 連続スペースを 1 つに -> a b c
echo 'a-b-c' | tr -d '-'                # - を削除 -> abc

① echo 'desktech learn'の出力をパイプでtrに渡し、小文字を大文字に変換してください。

② 次にecho 'x y z'の出力をtrに渡し、連続したスペースを 1 つにまとめるオプションを使ってください。

③ echo 'a-b-c'の出力をtrに渡し、ハイフンを削除するオプションでabcにしてください。

画面とファイルへ分岐する — tee

teeはパイプで受け取った内容を画面に出しつつ、同時にファイルにも書き込みます。途中経過をログに残しながら、後続のコマンドにもそのまま流したいときに使います。コマンド | tee out.txt | 次のコマンドのようにつなぐと、out.txtに記録しながら処理を続けられます。既存のファイルに追記したいときはtee -aを使います。

ls | tee list.txt              # 一覧を画面に出しつつ list.txt へ保存
cat list.txt                   # ファイルにも残っている
echo 'extra' | tee -a list.txt # -a は上書きせず追記

① echo 'one two'の出力をパイプでteeに渡してnote.txtに書き込み、画面にも同じ内容が出ることを確認してください。

② cat note.txtで、ファイルにも同じ内容が残っていることを確認してください。

③ 次にecho 'three'の出力をteeの追記オプションでnote.txtに追記してください。

④ もう一度cat note.txtを実行し、2 行に増えていることを確認してください。