思いついたときに書き綴るシェルコマンドからのCSVデータ使いこなし講座です。今回はCSVファイルからデータの重複を取り扱うテクニックを簡単に載せます。

Sedコマンドの真髄は「パターンスペース」と「ホールドスペース」を理解してこれを駆使することです。今回はこのパターンスペースとホールドスペースの概念と基礎的な使い道を解説していきます。

Csvデータ全体に渡って、セル内に含まれる文字列に区別無く存在する不要な記号を一括して削除したい場合が有ります。このような特殊記号は当然ながら手動で検索しながら一つ一つ消していくのも面倒です。今回はCsvファイルの全体に渡るような文字列の置き換えをSedコマンドを利用して、一気に、そして高速に不要な文字を削除する方法を紹介します。

CSV形式のデータの中の、不特定で複数の行(もしくは複数のセル)に対象の文字列を含むような曖昧さのある場合には、AwkかJqで処理するには少し冗長な操作になるときがあります。今回は先にSedで特定の文字列を含む行をフィルタリングのやり方を、AwkかJqで利用する前の下処理の方法として紹介します。

セルに含まれる文字列には、インデントとして無駄に連続した空白が詰まっていたり、タブやスペースなどの複数のタイプの空白が混合して入っていたりする場合が有ります。今回はSedを使った余計な空白文字の除去・洗浄に関した内容を解説します。

Csvファイルをコマンドから行を挿入したり列を削除したりなどの操作をする場合には、SedやAwkなどを使うのが一般的です。今回はシェルコマンドだけで実現できるCsvデータの行と列の操作の基礎的なテクニックをまとめてみます。

今回はsedコマンドで複数行にまたがるテキストの正規表現パターンをどう扱うかに注目し、実践例で置換操作するまでを解説してみます。

静的なウェブページを配信する際にプリレンダリングしたhtmlファイルをより効果的にminifyしたい場合があります。そんなときhtml-minifierなどを利用してもどうしても手のかゆいところまで届かない箇所の修正をsedで行う場合のお役立ち手法をまとめます。