シェルターミナルから使えるCSVデータエディタ『visidata』を使って、簡単な2次元散布図プロットを作成するためのテクニックを紹介します。

シェルターミナルからでも高度なCSVデータを編集・表示することのできるPython製コマンドアプリ・『visidata』を活用するための基礎テクニックを紹介します。

シェルスクリプトはどこでもどんなOSでも基本的に使えて、一度使い方を覚えるとパソコン上でありとあらゆる操作を可能としてくれます。そこでオフィスで日々エクセル業務と向き合う多忙なオフィスワーカー向けに、シェルスクリプトの力で劇的に生産効率を改善しする方法を提案します。

LinuxユーザーのためのExcelファイル(XLSX形式)をより快適扱うためのワンポイント講座です。今回はCSVファイルから直接XLSXファイルに変換が可能な「libreoffice」と「ssconvert」コマンドを紹介します。

Windowsの株式トレーディングソフト・auカブコム証券のkabuステーション®をAutoItで自動ログインするためのスクリプトを作成する方法を紹介します。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第１回目です。今回は読み込んだCSVデータの特定の１列を検索キーとして、指定した検索キーリストからヒットした要素を順にピックアップしてCSV形式で表示するスクリプトを作成してみます。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第３回目です。Awkでも科学計算ほどの精度は無いものの、それでもかなり高度な算術計算処理をスクリプト内で実現することができます。今回は簡単な好例として平均を計算させてみます。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第３回目です。前回はCSVデータで特定の一列から条件を満たすものを正規表現で抽出・集計する方法を紹介しました。今回は検索が複数列に渡る条件を与えた集計スクリプトの作り方を考察します。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第２回目です。今回は正規表現を用いてより自由度の高い集計スクリプトの作り方を簡潔に考えてみましょう。

CSVデータの集計操作系のスクリプトツールを作成してみる特集の第１回目です。今回はCSVデータの集計操作の基礎的な内容も掘り下げつつ、後半で少し応用的なツールスクリプトに仕上げる方法をじっくり解説していきます。

Excelでの定番の業務テクニックとして要素検索と並んで良く利用されているのが集計操作です。基礎固めとしてまずは集計モードを対話に選択できるようなツールスクリプトに仕立てる前段階のユーザーインタラクティブなシェルスクリプトの実装方法を考えてみます。

ExcelデータからCsv形式へインポート/エクスポートする際に気をつけておかなかればならない一つの日付を取り扱う換算ルールを特集します。

エクセルでの日付時間とシェルスクリプトの扱うUNIX時間とは一見取り扱っているデータの表示が同じようで、日付の換算方法は異なります。ここではExcel時間表示フォーマットの話と、それをシェルスクリプトでどう補正するとCSVインポート・エクスポートが上手くいくのかを考察してみます。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第３回目です。前の回に引き続いて、もっと自由に検索列を決められて、なおかつ複数の検索条件も与えられるように再度Awkをベースに拡張してみます。

CSVデータからエクセル操作機能を代替するスクリプトツールを作成してみる特集の第２回目です。今回はAwkコマンドでCVSファイル内からキーワードリスト検索＆抽出するスクリプトツールを作成してみます。

容量の大きなCSVデータ等を、高速かつ効率的にパイプライン処理するために、Head、Tail、Cutとその他のLinuxコマンドを使ったテクニックを紹介します。

Csvデータ全体に渡って、セル内に含まれる文字列に区別無く存在する不要な記号を一括して削除したい場合が有ります。このような特殊記号は当然ながら手動で検索しながら一つ一つ消していくのも面倒です。今回はCsvファイルの全体に渡るような文字列の置き換えをSedコマンドを利用して、一気に、そして高速に不要な文字を削除する方法を紹介します。

検索結果が無い行を発見したときに、通常は何も表示されないで無視されることが多いですが、エラーハンドリングを定義し、エラーを発見したときの処置も実装したい場合があります。たとえば、検索結果で一致しない行には、新しい内容を新規作成してそこに挿入する...などです。今回はCSVデータ使う上でのAwkとjqを使ったシェルスクリプトのエラーの捌き方の基礎を行っていきます。

CSV形式のデータの中の、不特定で複数の行(もしくは複数のセル)に対象の文字列を含むような曖昧さのある場合には、Awkかjqで処理するには少し冗長な操作になるときがあります。今回は先にSedで特定の文字列を含む行をフィルタリングのやり方を、Awkかjqで利用する前の下処理の方法として紹介します。

セルに含まれる文字列には、インデントとして無駄に連続した空白が詰まっていたり、タブやスペースなどの複数のタイプの空白が混合して入っていたりする場合が有ります。今回はSedを使った余計な空白文字の除去・洗浄に関した内容を解説します。

csvをシェルスクリプトで取り扱う上でもっとも厄介なものが改行文字です。今回は、Excelデータ中に現れるセル内改行を、xlsx2csvコマンドからCsv形式のテキストファイルで扱う方法を解説します。

今回はExcelでCsv形式のデータをエクスポートしたいけど、WindowsOSのパソコンは無し、Linuxしか使いたくない方のためのxlsx2csvコマンドの紹介記事です。

CSV形式と似ているけどちょっと違う、コンマ以外の様々な区切り文字(セパレーター)をもったデータファイルから、柔軟・簡単に分割(split)する方法を解説していきます。

csvデータのセル文字列の後方参照をAwkとjqの２つのパターンでどう実現するのかを考えてみるちょっとした技術記事です。

CsvファイルをSedやAwkなどのLinuxコマンドからCsvデータの行と列の操作するための基礎的なテクニックをまとめてみます。

シェルスクリプトを予めファイルに記述しておくことで、高度なシェルスクリプトとして作成しておけば、まさに一生モノの財産となることでしょう。今回は自作スクリプトの基本形となるスクリプトのテンプレートに関して解説します。

AwkやSedといったテキストを編集する代表的なコマンドをより高度に操作するためには、正規表現(Regular Expression)の理解が欠かせなくなります。マニアックな正規表現のテクニックなどは避けながら、一般的なAwk(GNU Awk)とjqでcsvファイルを操作する際に最低限覚えておきたい正規表現をまとめてみます。

シェルスクリプトで、Awkかjqコマンドを使ってCSVフォーマットのファイルを色々と処理してみたい方に向けたお役立ちテクニック特集です。この回ではターゲットとなる列の要素に複数の条件を検索して、その検索結果をcsv形式で返すようなシェルスクリプトを作成してみます。

シェルスクリプトで、Awkかjqコマンドを使ってCSVフォーマットのファイルを色々と処理してみたい方に向けたお役立ちテクニック特集です。今回はシェルスクリプトでCSV形式の中の文字列置換を行う方法に関して考えてみます。