【シェルスクリプト＆Excel】文字列中の特定の記号を一括削除する方法

Csvデータ全体に渡って、セル内に含まれる文字列に区別無く存在する不要な記号を一括して削除したい場合が有ります。
このような特殊記号は当然ながら手動で検索しながら一つ一つ消していくのも面倒です。
また

前回の記事

で紹介したようなAwkやJqを利用した行・列のきめ細やかな文字列の置き換えで、Awkでの

$0

やJqの

--slurp

で代用してもやれるのですが、入力するテキストデータが巨大になるほど処理速度面で不安が残ります。

【シェルスクリプト＆Excel】SedとAwkによるCsvファイルの行・列の操作アレコレ

CsvファイルをSedやAwkなどのLinuxコマンドからCsvデータの行と列の操作するための基礎的なテクニックをまとめてみます。

ということで今回はCsvファイルの全体に渡るような文字列の置き換えをSedコマンドを利用して、一気に、そして高速に不要な文字を削除する方法を紹介します。

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

はじめに

当サイトではオフィス業務のComputer-Aidedなハイブリッドな方法を模索し、より効率的なExcel業務を実現したい多忙なオフィスワーカー向けの主にAwkとSedを使うシェル講座です。
シェルスクリプトはどこでもどんなOSでも基本的に使えて、しかも一度使い方を覚えると、Excelと組み合わせて最高に効率の良いオフィスワークツールが作れることでしょう。

Sedで使う基本的な正規表現

本題に入る前に、Sedの正規表現を少し復習しておきます。
ちなみに本記事で利用するSedは

Gnu sed

とします。良く比較されるMacOSXにプリインストールされている

BSD sed

とは正規表現の扱いが異なる場合があるので注意が必要です。
ところで、Sedでオプション指定できる正規表現には2通りあり、通常スクリプトモード(

-e/--expression

)と、Sedスクリプトの中で拡張正規表現が利用できる拡張モード(

-r/--regexp-extended

)が利用できます。
デフォルトでは通常のスクリプトモードで、拡張モードにするためには明示に

-r

を指定しておく必要があります。
ただ通常スクリプトモードで利用する正規表現は以下の表中に表すように非常に紛らわしく、冗長な表現を適宜追加しないと正しく動きません。通常スクリプトモーでは、複雑な文章解析への正規表現を利用するウマ味が薄くなるため、折角正規表現の拡張モードが備わっているならばこちらを積極的に利用する方が良いと思います。

用途	Sed(-rオプション)	sed(-eオプション)
文字エスケープ	\	\
任意の1文字	.	.
数字1文字	\d か [0-9]	\d か [0-9]
数字以外の1文字	\D か [^0-9]	\D か [^0-9]
アルファベットか数字かアンダーバーの１文字	\w か [a-zA-Z_0-9]	\w か [a-zA-Z_0-9]
アルファベットか数字かアンダーバー以外の1文字	\W か [^a-zA-Z_0-9]	\W か [^a-zA-Z_0-9]
空白文字	\s か [ \n\r\f\t]	\s か [ \n\r\f\t]
空白文字以外	\S か [^ \n\r\f\t]	\S か [^ \n\r\f\t]
パターンどれかにマッチ	パターンA｜パターンB｜パターンC	パターンA\｜パターンB\｜パターンC
グループ化	(パターン)	$パターン$
...とグループ化でキャプチャした値の取得	\1	\1
パターンが先頭	^パターン	^パターン
パターンが末尾	パターン$	パターン$
パターンが0または1回	パターン?	パターン\?
パターンが0回以上	パターン*	パターン*
パターンが1回以上	パターン+	パターン\+
パターンがm回	パターン{m}	パターン\{m\}
パターンがm回以上	パターン{m,}	パターン\{m,\}
パターンがn回以下	パターン{,n}	パターン\{,n\}
パターンがm回以上、n回以下	パターン{m,n}	パターン\{m,n\}

このように、通常スクリプトモードと、拡張モードとは、正規表現の用法が異なるものがいくつかありますので、コーディングの際には注意が必要です。
たとえば、Sedの通常スクリプトモードには中括弧や丸括弧には文字エスケープが必要ですが、釘括弧はそうではないようです。
また+や?などの文字にも文字エスケープが必要ですが、,や*などには気を使う必要はない...などなど、Sedで正規表現を使うときに色々と気を遣うよりは、拡張モードを使う方が良いでしょう。
ちなみにGnu sedでは以下のPOSIXキャラクターが利用できます。こちらも覚えておくと特定の文字をマッチさせたい場合に便利なときがあります。

呼び出し	定義
[:alpha:]	アルファベット
[:alnum:]	アルファベットと数字
[:digit:]	数字
[:xdigit:]	数字(十六進数も含む)
[:lower:]	アルファベットの小文字
[:upper:]	アルファベットの大文字
[:blank:]	空白文字(スペース/タブ等)
[:graph:]	非空白文字(表示可能文字)
[:cntrl:]	制御文字
[:print:]	表示可能文字(制御文字以外)
[:space:]	スペース/タブ/改行文字
[:punct:]	句読点(通常文字/数字/制御文字/スペース文字以外)

ちなみにPOSIXキャラクターを使ったSedの用法は以下のようになります。

開く/閉じる

            #👇スペースを全部消去
$ echo 'a b c d e f g' | sed -r 's/[[:space:]]//g'
abcdefg

#👇16進数(0-9a-fA-F)を全部消去
$ echo 'HEX: 01 2e 24 a5 8c 2f de' | sed -r 's/[[:xdigit:]]//g'
HX:

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

実践例① ~ 囲い文字の全消去

それでは具体的な例をやってみます。 CSV形式のデータを扱う時にもっとも良く使うだろう例としては

"

のようなクォーテーション記号を全て排除したいケースを考えてみましょう。

開く/閉じる

            $ sed -r 's/"//g' <<EOF
"aaa"
"100","9"
"1 2 3 4 5",,,41,"冷麦"
EOF
#👇出力
aaa
100,9
1 2 3 4 5,,,41,冷麦

また

"

(ダブルクオーテーション)文字だけなく

'

(シングルクォーテーション)文字も同時に置き換えしたい場合には以下のようにします。

開く/閉じる

            $ sed -r "s/\"|'//g" << EOF
"aaa",'bbb'
"100",'rgb',"9"
"1 2 3 4 5",'3','8',41,"冷麦"
EOF
#👇出力
aaa,bbb
100,rgb,9
1 2 3 4 5,3,8,41,冷麦

もしくは

開く/閉じる

            $ sed -r "s/[\"']//g" << EOF
"aaa",'bbb'
"100",'rgb',"9"
"1 2 3 4 5",'3','8',41,"冷麦"
EOF
#👇出力
aaa,bbb
100,rgb,9
1 2 3 4 5,3,8,41,冷麦

とかけます。
ちなみにこのスクリプトの場合、シングルクォーテーション文字でも置き換えがしたいので、sedのプログラム構文ではダブルクォーテーション

"

で囲って、その中で

\"

と

'

いうように２つを文字として認識させているようにしています。
どうしてもsedのプログラム部分はシングルクォーテーション文字(')で囲いたい方は、

'...'スコープ外'....'

というようにシングルクォーテーションを分割することで特殊文字を外部で一時的に利用するテクニックが利用できます。

開く/閉じる

            $ sed -r 's/"|'"'"'//g' << EOF
"aaa",'bbb'
"100",'rgb',"9"
"1 2 3 4 5",'3','8',41,"冷麦"
EOF
#👇出力
aaa,bbb
100,rgb,9
1 2 3 4 5,3,8,41,冷麦
EOF

ここでは

's/"|'

＋

"'"

＋

'//g'

というように3つのパートに分割しているような感覚で使っています。スクリプトの部分が少し見辛くなることが難点ですが、いざというときには使えるテクニックかもしれません。

デリミタを変える

Sedでは伝統的に

/

(スラッシュ記号)をデリミタ文字として使って置き換え前後のパターンを表現することが多いですが、実際は

/

無くても任意の1文字であれば正常に動作します。
従って

/

を削除したい文字の対象になっている場合には、

/

以外の最適な文字をデリミタにしなければいけません。

開く/閉じる

            $ sed -r 's@"@@g' <<EOF
"aaa"
"100","9"
"1 2 3 4 5",,,41,"冷麦"
EOF
aaa
100,9
1 2 3 4 5,,,41,冷麦

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

実践例② ~ 全角の数字やアルファベットを半角へ一括変換

こちらもCSVデータをAwkやJqで数値を集計計算する上で、前処理としてやっておくと便利なテクニックです。
たまに半角と全角の数値が混合して出現するExcelデータ内の数値を全て半角にする際のスクリプトをSedコマンドで変換したい場合には、yコマンド利用できます。
yコマンドは、

y/置換前文字リスト/置換後文字リスト/

という書式で、パターンスペースにある文字列から置換前リストから文字を検索し、置換後リストの同じインデックス位置にある文字に置換することができます。

開く/閉じる

            $ echo 'AＢcdｅｆg０1２３4５67８９' | sed '
y/０１２３４５６７８９/0123456789/;
y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/abcdefghijklmnopqrstuvwxyz/;
y/ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ/ABCDEFGHIJKLMNOPQRSTUVWXYZ/
'
ABcdefg0123456789

ほとんどのLinuxOSでは上記のやり方でOKなのですが、一部のAlpineなどのような軽量のディストーションでは、

locate

などのマルチバイト文字を取り扱うライブラリがインストールされていないことがあるので、LANG環境変数が設定されず、マルチバイト文字対応になっていない場合があります。
このyコマンドの性質上、文字の置き換え位置がバイト数が揃っていないと以下のように正しく動作しません。

開く/閉じる

            #👇マルチバイト文字未対応の環境
$ echo 'AＢcdｅｆg０1２３4５67８９' | sed '
y/０１２３４５６７８９/0123456789/;
y/ａｂｃｄｅｆｇｈｉｊｋｌｍｎｏｐｑｒｓｔｕｖｗｘｙｚ/abcdefghijklmnopqrstuvwxyz/;
y/ＡＢＣＤＥＦＧＨＩＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹＺ/ABCDEFGHIJKLMNOPQRSTUVWXYZ/
'
A01Fcd0bo0brg012101801�401�6701�01�

この場合、OS環境に則したマルチバイトのライブラリをインストールするか、以下のように泥臭い作業ですが、sコマンドで一文字づつ置き換えパターンを作成すると、OS環境に依らない置き換えも可能です。

開く/閉じる

            echo 'AＢcdｅｆg０1２３4５67８９' | sed -e '
s/０/0/g;s/１/1/g;s/２/2/g;s/３/3/g;s/４/4/g;s/５/5/g;s/６/6/g;s/７/7/g;s/８/8/g;s/９/9/g;
s/ａ/a/g;s/ｂ/b/g;s/ｃ/c/g;s/ｄ/d/g;s/ｅ/e/g;s/ｆ/f/g;s/ｇ/g/g;s/ｈ/h/g;s/ｉ/i/g;s/ｊ/j/g;s/ｋ/k/g;s/ｌ/l/g;s/ｍ/m/g;s/ｎ/n/g;s/ｏ/o/g;s/ｐ/p/g;s/ｑ/q/g;s/ｒ/r/g;s/ｓ/s/g;s/ｔ/t/g;s/ｕ/u/g;s/ｖ/v/g;s/ｗ/w/g;s/ｘ/x/g;s/ｙ/y/g;s/ｚ/z/g;
s/Ａ/A/g;s/Ｂ/B/g;s/Ｃ/C/g;s/Ｄ/D/g;s/Ｅ/E/g;s/Ｆ/F/g;s/Ｇ/G/g;s/Ｈ/H/g;s/Ｉ/I/g;s/Ｊ/J/g;s/Ｋ/K/g;s/Ｌ/L/g;s/Ｍ/M/g;s/Ｎ/N/g;s/Ｏ/O/g;s/Ｐ/P/g;s/Ｑ/Q/g;s/Ｒ/R/g;s/Ｓ/S/g;s/Ｔ/T/g;s/Ｕ/U/g;s/Ｖ/V/g;s/Ｗ/W/g;s/Ｘ/X/g;s/Ｙ/Y/g;s/Ｚ/Z/g;
'
ABcdefg0123456789

【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍＆教材特集

まとめ

以上、Sedによる正規表現を用いたテキストファイルの文字列の置き換えの話を簡単にまとめてみました。