思いついたときに書き綴るシェルコマンドからのCSVデータ使いこなし講座です。今回はCSVファイルからデータの重複を取り扱うテクニックを簡単に載せます。

不定期で紹介しているSlack Boltアプリ開発の技術ネタ第三回目です。今回はSlackを使って自宅外から自宅のグローバルIPを確認する簡単なツールを作成するコツを解説します。

シェルコマンドはどこでもどんなOSでも基本的に使えて、一度使い方を覚えるとパソコン上でありとあらゆる操作を可能としてくれます。そこでオフィスで日々エクセル業務と向き合う多忙なオフィスワーカー向けに、シェルスクリプトの力で劇的に生産効率を改善しする方法を提案します。

前回はSlack Bolt-jsでSlackアプリを作成する基本的な手順を解説しました。この記事の内容ではさらに補講的な内容としてWebSocketベースの『ソケットモード』からSlackサーバーを構築する手順にも触れてみます。

Slackボットより更に出来ることの自由度が高いSlackサーバーをローカルサーバー機に構築して、簡単なチャットプログラムをbolt-jsで作成する手順をを中心に噛み砕いて解説していきます。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第３回目です。Awkでも科学計算ほどの精度は無いものの、それでもかなり高度な算術計算処理をスクリプト内で実現することができます。今回は簡単な好例として平均を計算させてみます。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第３回目です。前回はCSVデータで特定の一列から条件を満たすものを正規表現で抽出・集計する方法を紹介しました。今回は検索が複数列に渡る条件を与えた集計スクリプトの作り方を考察します。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第２回目です。前の回ではエクセル時間を取り扱うためにDateコマンドを組み合わせる方法から紹介しました。今回は正規表現を用いてより自由度の高い集計スクリプトの作り方を簡潔に考えてみましょう。

CSVデータの集計操作系のスクリプトツールを作成してみる特集の第１回目です。今回はCSVデータの集計操作の基礎的な内容も掘り下げつつ、後半で少し応用的なツールスクリプトに仕上げる方法をじっくり解説していきます。

Excelでの定番の業務テクニックとして要素検索と並んで良く利用されているのが集計操作です。基礎固めとしてまずは集計モードを対話に選択できるようなツールスクリプトに仕立てる前段階のユーザーインタラクティブなシェルコマンドの実装方法を考えてみます。

ExcelデータからCsv形式へインポート/エクスポートする際に気をつけておかなかればならない一つの日付を取り扱う換算ルールを特集します。

エクセルでの日付時間とシェルコマンドの扱うUNIX時間とは一見取り扱っているデータの表示が同じようで、日付の換算方法は異なります。ここではExcel時間表示フォーマットの話と、それをシェルコマンドでどう補正するとCSVインポート・エクスポートが上手くいくのかを考察してみます。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第３回目です。前の回に引き続いて、もっと自由に検索列を決められて、なおかつ複数の検索条件も与えられるように再度Awkをベースに拡張してみます。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第２回目です。今回は、前の記事で作成したスクリプトツールを修正して、検索するキーワードリストを引数だけでなく入力ファイルからでも検索＆抽出するスクリプトツールをAwkベースで作ってみようと思います。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第１回目です。今回は読み込んだCSVデータの特定の１列を検索キーとして、指定した検索キーリストからヒットした要素を順にピックアップしてCSV形式で表示するスクリプトを作成してみます。

csvファイルが行・列とも膨大な数で巨大なファイルを利用したい場合には一気にスクリプトに読み込ませて捌くにはとても処理負荷のかかるため、部分的に分割したファイルの一部を取り出してパイプライン処理させてあげたほうがより高速かつ効率的です。今回はこれらの作業を行の抽出にHead/Tailコマンドで、列の抽出にCut他を紹介します。

Csvデータ全体に渡って、セル内に含まれる文字列に区別無く存在する不要な記号を一括して削除したい場合が有ります。このような特殊記号は当然ながら手動で検索しながら一つ一つ消していくのも面倒です。今回はCsvファイルの全体に渡るような文字列の置き換えをSedコマンドを利用して、一気に、そして高速に不要な文字を削除する方法を紹介します。

検索結果が無い行を発見したときに、通常は何も表示されないで無視されることが多いですが、エラーハンドリングを定義し、エラーを発見したときの処置も実装したい場合があります。たとえば、検索結果で一致しない行には、新しい内容を新規作成してそこに挿入する...などです。今回はCSVデータ使う上でのAwkとJqを使ったシェルスクリプトのエラーの捌き方の基礎を行っていきます。

CSV形式のデータの中の、不特定で複数の行(もしくは複数のセル)に対象の文字列を含むような曖昧さのある場合には、AwkかJqで処理するには少し冗長な操作になるときがあります。今回は先にSedで特定の文字列を含む行をフィルタリングのやり方を、AwkかJqで利用する前の下処理の方法として紹介します。

セルに含まれる文字列には、インデントとして無駄に連続した空白が詰まっていたり、タブやスペースなどの複数のタイプの空白が混合して入っていたりする場合が有ります。今回はSedを使った余計な空白文字の除去・洗浄に関した内容を解説します。

csvをシェルコマンドで取り扱う上でもっとも厄介なものが改行文字です。今回は、Excelデータ中に現れるセル内改行を、xlsx2csvコマンドからCsv形式のテキストファイルで扱う方法を解説します。

今回はExcelでCsv形式のデータをエクスポートしたいけど、WindowsOSのパソコンは無し、Linuxしか使いたくない方のためのxlsx2csvコマンドの紹介記事です。

CSV形式のデータとは、その名の通りコンマ文字(,)を区切り位置として利用してデータの境界を区切るのテキストのことです。ですが世の中でデータを表現するのはCSVファイルばかりではなく、CSVではない区切り位置のルールを持ったデータ形式のテキストファイルも多く存在しています。今回は任意の区切り文字(セパレーター)を設定し、任意の文字をより柔軟・簡単に分割(split)する方法を解説していきます。

今回はcsvデータのセル文字列の後方参照をAwkとJqの２つのパターンでどう実現するのかを考えてみるちょっとした技術記事です。

Csvファイルをコマンドから行を挿入したり列を削除したりなどの操作をする場合には、SedやAwkなどを使うのが一般的です。今回はシェルコマンドだけで実現できるCsvデータの行と列の操作の基礎的なテクニックをまとめてみます。

シェルコマンドを予めファイルに記述しておくことで、高度なシェルスクリプトとして作成しておけば、まさに一生モノの財産となることでしょう。今回は自作スクリプトの基本形となるスクリプトのテンプレートに関して解説します。

AwkやSedといったテキストを編集する代表的なコマンドをより高度に操作するためには、正規表現(Regular Expression)の理解が欠かせなくなります。マニアックな正規表現のテクニックなどは避けながら、一般的なAwk(GNU Awk)とJqでcsvファイルを操作する際に最低限覚えておきたい正規表現をまとめてみます。