静的なウェブページを配信する際にプリレンダリングしたhtmlファイルをより効果的にminifyしたいときに使えるSedコマンドのテクニックを紹介します。

linuxでjsonファイルを操作する場合にはシェルで手軽に使えるjqコマンドという便利なユーティリティを利用しましょう。今回はjqをDocker上のalpine linuxコンテナへ導入する方法をまとめます。

Awkを使った実践例を紹介するコーナーです。今回は、株式チャートで利用される日足のテキスト生データをJSON形式へパースさせてみる手順を説明します。

ガウス分布ノイズのデータセット生成方法を例に挙げ、Awkを使った機械学習用の訓練データの下処理テクニックを解説します。

Awkを使ったデータサイエンス向けに不定期で紹介しているワンポイント講座シリーズの二回目です。時系列解析するデータによってはキーになる値は共通しているのに、ラベルがバラバラのファイルとして四散して存在している場合があります。今回はこのような作業をAwkのみを使って効率的に複数のデータやファイルを結合させるためのテクニックを考察してみます。

csvファイル内のデータが重複しているときの操作をAwkで処理させたいときがあります。Awkでデータの重複している・していないの判別は簡単なスクリプトを使って執り行えるので、一度覚えておけばもしかしたときのデータ取扱に非常に頼もしい限りです。今回はAwkでの重複をどう見つける/処理するのかをじっくり考察していきます。

jqコマンドとxargsコマンドとの組み合わせた処理のパイプ化で、シェルスクリプトのリファクタリングを考えてみます。

jqコマンドにおいて入出力値の制御で重要な役割をしているオプションの内で重要なものをピックアップし、簡単な使い方をまとめました。

Sedコマンドの真髄は「パターンスペース」と「ホールドスペース」を理解してこれを駆使することです。今回はこのパターンスペースとホールドスペースの概念と基礎的な使い道を解説していきます。

シェルスクリプトからのCSVデータを利用するためのワンポイント講座です。今回はAwkとSedでCSVファイルからデータの重複を取り扱うテクニックを簡単に載せます。