【シェルスクリプト】nkfコマンドを使ってファイルの文字エンコーディングを判別し、iconvコマンドと連携させるやり方

nkfコマンド

は

Network Kanji Filter

の頭文字をとった略語で、日本語などを含むテキストの文字エンコーディングを判別する際に非常にパワフルな機能を有しています。
nkfコマンドを標準でサポートしているLinuxOSも増えては来ているようですが、標準で使えないケースが多いです。
その意味ではLinux標準で幅広く文字エンコーディングを利用できる

iconvコマンド

から、ファイルの文字エンコーディングを変換するほうがメジャーなやり方かと思います。
ただしiconvコマンドでは、ファイルの文字エンコーディングを推測して教えてくれる機能がないのでnkfコマンドを併用して、入力ファイルのエンコードの解析結果をパイプして、iconvでエンコード変換するような作業の簡略化を目指します。

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

ラズパイにnkfコマンドをインストールする

大抵のDebian系OSであれば、以下のコマンドでもパッケージインストールできるようになっています。

開く/閉じる

            $ sudo apt-get update && sudo apt-get upgrade -y
$ sudo apt-get -y install nkf
$ nkf --version
Network Kanji Filter Version 2.1.5 (2018-12-15)
Copyright (C) 1987, FUJITSU LTD. (I.Ichikawa).
Copyright (C) 1996-2018, The nkf Project.

Raspberry Pi OSでも幸いパッケージインストールできるので、有り難く使わせて頂くとします。

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

nkfコマンドでファイルの文字エンコードを判定する

nkfコマンドで文字エンコーディングを判別するオプションで、

-g / --guess

というものを使います。
一見すると、--guessの簡略化が-gなので、どちらも同じ出力なのかと思いますが、現行のnkfコマンドでは表示が若干異なるようです。

開く/閉じる

            $ nkf -g shift_js.csv
Shift_JIS

$ nkf --guess shift_js.csv
Shift_JIS (CRLF)

以上、見てのように-gオプションでは

文字コード

だけが出力されていますが、--guessオプションだと

文字コード改行コード

の2つが出力されるようなので注意が必要です。

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

nkfコマンドから文字エンコーディングを受け取り、iconvコマンドでファイル変換する

ではここから本題で、一例として、Shift-JISで保存した任意のファイル(ここでは

shift_jis.csv

)を入力し、utf-8形式で標準出力させてみることを考えます。
まずはnkfコマンド無しでファイルの文字エンコーディングを変換する場合は、以下のようになります。

開く/閉じる

            $ iconv -f Shift-JIS shift_jis.csv
#👇文字エンコーディングが適合した場合、ファイルの中身が正しく表示される
...

もしくはcatなどでパイプの後段に付けて使うことも良くやります。

開く/閉じる

            $ cat shift_jis.csv | iconv -f Shift-JIS
#👇文字エンコーディングが適合した場合、ファイルの中身が正しく表示される
...

ここでのポイントとして、iconvコマンドで入力ファイルの文字エンコーディングを指定する場合、

-f/--from-code

を使います。
-fオプションに渡すエンコードタイプは、

iconv -l

で対応できる種類が確認できます。
また、大文字小文字は区別されないので、例えば

SHIFT-JIS

なら、

shift-jis

でも

Shift-Jis

でも同じエンコーディングと認識してくれます。
iconvは自動ではファイルのエンコーディングは判別してくれないので、ファイルの文字エンコーディングはあらかじめコマンド利用者が把握しておく必要があります。
例えば、ファイルの文字エンコーディングが不適合であった場合、以下のようにエラーになります。

開く/閉じる

            $ cat shift_jis.csv | iconv -f UTF-8
: 位置 0 に不正な入力シーケンスがあります

異なる文字エンコーディングのファイルが混在した形で大量に処理する必要がある場合、iconvコマンドだけを使って、一つ一つのファイルの文字エンコーディングを手で入力していくのは困難な作業です。
そのような場面に遭遇した場合、iconvコマンドへの文字エンコーディングの指定部分を、nkfコマンドで自動判別化すると、例えば以下のように非常に楽に標準出力が可能になります。

開く/閉じる

            $ ENC_TYPE=$(nkf -g shift_jis.csv)
$ cat shift_jis.csv | iconv -f $ENC_TYPE
#👇文字エンコーディングが適合し、ファイルの中身が正しく表示される

これだけで悩ましいファイルの文字エンコーディングの判別問題はおおかたクリアされると思います。
ワンライナーでやりたい場合にはxargsコマンドから、

開く/閉じる

            $ nkf -g shift_jis.csv | xargs -I{} iconv -f {} shift_jis.csv

とやる感じで利用できます。めでたしめでたし。