jqコマンドとawkコマンドの２つをかけ合わせることで、JSONとCSVの柔軟な相互変換をどのように実現するか考察してみました。

シェルスクリプトを使ったデータ解析を行う時に、知っていると便利に使えるgawk(Gnu AWK)の高速カスタムソート術を紹介します。

Awkを使った実践例を紹介するコーナーです。今回は、株式チャートで利用される日足のテキスト生データをJSON形式へパースさせてみる手順を説明します。

ガウス分布ノイズのデータセット生成方法を例に挙げ、Awkを使った機械学習用の訓練データの下処理テクニックを解説します。

Awkを使ったデータサイエンス向けに不定期で紹介しているワンポイント講座シリーズの二回目です。時系列解析するデータによってはキーになる値は共通しているのに、ラベルがバラバラのファイルとして四散して存在している場合があります。今回はこのような作業をAwkのみを使って効率的に複数のデータやファイルを結合させるためのテクニックを考察してみます。

csvファイル内のデータが重複しているときの操作をAwkで処理させたいときがあります。Awkでデータの重複している・していないの判別は簡単なスクリプトを使って執り行えるので、一度覚えておけばもしかしたときのデータ取扱に非常に頼もしい限りです。今回はAwkでの重複をどう見つける/処理するのかをじっくり考察していきます。

シェルスクリプトからのCSVデータを利用するためのワンポイント講座です。今回はAwkとSedでCSVファイルからデータの重複を取り扱うテクニックを簡単に載せます。

CSVデータから重複を削除してユニークな要素だけの行要素にすることと、検索結果に重複がある場合にその重複を取り除くテクニックの２つを紹介します。