『rsync』コマンドを使っている際に、『some files/attrs were not transferred』という内部エラーで一部のファイルがコピー操作に失敗してしまう問題を対処する方法を取り上げます。

シェルターミナルから使えるCSVデータエディタ『visidata』を使って、簡単な2次元散布図プロットを作成するためのテクニックを紹介します。

Linuxからでも利用できる高機能ターミナル・「WezTerm」に対応するiTerm2/Kitty/Sixelの各グラフィックプロトコルを使いどころを模索します。

高機能ターミナルソフト・『WezTerm』を使ったターミナル画面の分割操作のショートカットキーを簡単に紹介します。

モダンなターミナルで直接画像を表示してくれる「img2sixel」コマンドをDebian LinuxとMacOSを導入する手順をまとめます。

シェルターミナルからでも高度なCSVデータを編集・表示することのできるPython製コマンドアプリ・『visidata』を活用するための基礎テクニックを紹介します。

シェルスクリプトはどこでもどんなOSでも基本的に使えて、一度使い方を覚えるとパソコン上でありとあらゆる操作を可能としてくれます。そこでオフィスで日々エクセル業務と向き合う多忙なオフィスワーカー向けに、シェルスクリプトの力で劇的に生産効率を改善しする方法を提案します。

個人的に気になった＆試してみたいAwk/Sedコマンドなどを含むシェルスクリプトプログラミングを学ぶ上で有用な学習用の教材をまとめていきます。

文字列をシェルコマンドとして認識させるためのテクニックをいくつか比較し、非常に長かったり、大量に指定しなければならないコマンド引数指定を自動化するコツを解説します。

『rsync』コマンドを使う上で欠かせないinclude/excludeのフィルタパターンを理解するために、利用例からじっくり考えていきます。

LinuxユーザーのためのExcelファイル(XLSX形式)をより快適扱うためのワンポイント講座です。今回はCSVファイルから直接XLSXファイルに変換が可能な「libreoffice」と「ssconvert」コマンドを紹介します。

jqコマンドとawkコマンドの２つをかけ合わせることで、JSONとCSVの柔軟な相互変換をどのように実現するか考察してみました。

シェルスクリプトを使ったデータ解析を行う時に、知っていると便利に使えるgawk(Gnu AWK)の高速カスタムソート術を紹介します。

Linux/macos/windowsにも対応したシェルコマンドベースのYAMLファイルの操作に重宝する「yq」コマンドの導入方法と簡単な使い方を紹介します。

jqコマンドの更新オペレーターとシンボリックバインドオペレーターを使って、JSONオブジェクトを柔軟に編集するテクニックを紹介します。

静的なウェブページを配信する際にプリレンダリングしたhtmlファイルをより効果的にminifyしたいときに使えるSedコマンドのテクニックを紹介します。

linuxでjsonファイルを操作する場合にはシェルで手軽に使えるjqコマンドという便利なユーティリティを利用しましょう。今回はjqをDocker上のalpine linuxコンテナへ導入する方法をまとめます。

Awkを使った実践例を紹介するコーナーです。今回は、株式チャートで利用される日足のテキスト生データをJSON形式へパースさせてみる手順を説明します。

ガウス分布ノイズのデータセット生成方法を例に挙げ、Awkを使った機械学習用の訓練データの下処理テクニックを解説します。

Awkを使ったデータサイエンス向けに不定期で紹介しているワンポイント講座シリーズの二回目です。時系列解析するデータによってはキーになる値は共通しているのに、ラベルがバラバラのファイルとして四散して存在している場合があります。今回はこのような作業をAwkのみを使って効率的に複数のデータやファイルを結合させるためのテクニックを考察してみます。

csvファイル内のデータが重複しているときの操作をAwkで処理させたいときがあります。Awkでデータの重複している・していないの判別は簡単なスクリプトを使って執り行えるので、一度覚えておけばもしかしたときのデータ取扱に非常に頼もしい限りです。今回はAwkでの重複をどう見つける/処理するのかをじっくり考察していきます。

jqコマンドとxargsコマンドとの組み合わせた処理のパイプ化で、シェルスクリプトのリファクタリングを考えてみます。

jqコマンドにおいて入出力値の制御で重要な役割をしているオプションの内で重要なものをピックアップし、簡単な使い方をまとめました。

Sedコマンドの真髄は「パターンスペース」と「ホールドスペース」を理解してこれを駆使することです。今回はこのパターンスペースとホールドスペースの概念と基礎的な使い道を解説していきます。

シェルスクリプトからのCSVデータを利用するためのワンポイント講座です。今回はAwkとSedでCSVファイルからデータの重複を取り扱うテクニックを簡単に載せます。

CSVデータから重複を削除してユニークな要素だけの行要素にすることと、検索結果に重複がある場合にその重複を取り除くテクニックの２つを紹介します。

前段で実行したコマンドの標準出力から、自作したシェルスクリプトでもパイプでつないで処理をするための方法を考察します。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第１回目です。今回は読み込んだCSVデータの特定の１列を検索キーとして、指定した検索キーリストからヒットした要素を順にピックアップしてCSV形式で表示するスクリプトを作成してみます。

様々なOS間でファイルをやり取りする際に色々と困ることの一つに「文字エンコーディング」が挙げられます。今回はnkfコマンドをエンコーディングの判定に使って、iconvコマンドの入力に指定してみるテクニックを紹介します。

cronで定期実行されるスケジューラーを仕込む際の外部コマンドを呼び出す際に注意しておきたいポイントを、aws-cliを例にしながらいくつか取り上げてみます。

直近の話題でベータ公開されていたGitHub CLIがこのほどRC版になっていたようで、手元のDebian LinuxでもLinuxbrewから一発導入することができました。今回はghコマンドの簡単な動作確認を試してみたいと思います。

cronで営業日の特定の時間など細かいスケジューリングを定義するのはとても大変ですが、grepコマンドと併用するハイブリッドな方法を使って、土日祝日以外の日でコマンドをスケジューリングするスマートな方法を深堀りしてみます。

組込開発者には避けて通れない技術にビット演算があります。たまにしかプログラミングでビット演算を使わないと、すっかり利用方法を忘れてしまうので、今回はBashによるシェルスクリプトによるビット演算を手軽な復習方法を紹介します。

Slackの自分用チャンネルにデータ処理中の画像をポーンと自動送信してくれるシェルスクリプトを作成したかったので、ローカルから画像ファイルをアップロードするためのSlackのAPIを試してみます。

dateコマンドはLinux系のほぼ全てのOSに標準的に存在している重要なユーティリティコマンドです。そんなdateコマンドはLinuxOS毎にすこしづつ作法が違うようですが、ここではAlpine linux上でdateコマンドを上手く使いこなすためのポイントを説明します。

いい感じのシェルアプリを作成する上で欠かせないのが、「ANSIエスケープシークエンス」と呼ばれるテクニックです。今回はその基本操作について整理していきます。

今回はLinuxコマンドから画像ファイルの設定値をコマンドラインから読み取るためにExiftoolから読み出してみる方法を紹介します。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第３回目です。Awkでも科学計算ほどの精度は無いものの、それでもかなり高度な算術計算処理をスクリプト内で実現することができます。今回は簡単な好例として平均を計算させてみます。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第３回目です。前回はCSVデータで特定の一列から条件を満たすものを正規表現で抽出・集計する方法を紹介しました。今回は検索が複数列に渡る条件を与えた集計スクリプトの作り方を考察します。

CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第２回目です。今回は正規表現を用いてより自由度の高い集計スクリプトの作り方を簡潔に考えてみましょう。

CSVデータの集計操作系のスクリプトツールを作成してみる特集の第１回目です。今回はCSVデータの集計操作の基礎的な内容も掘り下げつつ、後半で少し応用的なツールスクリプトに仕上げる方法をじっくり解説していきます。

Excelでの定番の業務テクニックとして要素検索と並んで良く利用されているのが集計操作です。基礎固めとしてまずは集計モードを対話に選択できるようなツールスクリプトに仕立てる前段階のユーザーインタラクティブなシェルスクリプトの実装方法を考えてみます。

ExcelデータからCsv形式へインポート/エクスポートする際に気をつけておかなかればならない一つの日付を取り扱う換算ルールを特集します。

エクセルでの日付時間とシェルスクリプトの扱うUNIX時間とは一見取り扱っているデータの表示が同じようで、日付の換算方法は異なります。ここではExcel時間表示フォーマットの話と、それをシェルスクリプトでどう補正するとCSVインポート・エクスポートが上手くいくのかを考察してみます。

CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第３回目です。前の回に引き続いて、もっと自由に検索列を決められて、なおかつ複数の検索条件も与えられるように再度Awkをベースに拡張してみます。

CSVデータからエクセル操作機能を代替するスクリプトツールを作成してみる特集の第２回目です。今回はAwkコマンドでCVSファイル内からキーワードリスト検索＆抽出するスクリプトツールを作成してみます。

容量の大きなCSVデータ等を、高速かつ効率的にパイプライン処理するために、Head、Tail、Cutとその他のLinuxコマンドを使ったテクニックを紹介します。

Csvデータ全体に渡って、セル内に含まれる文字列に区別無く存在する不要な記号を一括して削除したい場合が有ります。このような特殊記号は当然ながら手動で検索しながら一つ一つ消していくのも面倒です。今回はCsvファイルの全体に渡るような文字列の置き換えをSedコマンドを利用して、一気に、そして高速に不要な文字を削除する方法を紹介します。

検索結果が無い行を発見したときに、通常は何も表示されないで無視されることが多いですが、エラーハンドリングを定義し、エラーを発見したときの処置も実装したい場合があります。たとえば、検索結果で一致しない行には、新しい内容を新規作成してそこに挿入する...などです。今回はCSVデータ使う上でのAwkとjqを使ったシェルスクリプトのエラーの捌き方の基礎を行っていきます。

CSV形式のデータの中の、不特定で複数の行(もしくは複数のセル)に対象の文字列を含むような曖昧さのある場合には、Awkかjqで処理するには少し冗長な操作になるときがあります。今回は先にSedで特定の文字列を含む行をフィルタリングのやり方を、Awkかjqで利用する前の下処理の方法として紹介します。

セルに含まれる文字列には、インデントとして無駄に連続した空白が詰まっていたり、タブやスペースなどの複数のタイプの空白が混合して入っていたりする場合が有ります。今回はSedを使った余計な空白文字の除去・洗浄に関した内容を解説します。

csvをシェルスクリプトで取り扱う上でもっとも厄介なものが改行文字です。今回は、Excelデータ中に現れるセル内改行を、xlsx2csvコマンドからCsv形式のテキストファイルで扱う方法を解説します。

今回はExcelでCsv形式のデータをエクスポートしたいけど、WindowsOSのパソコンは無し、Linuxしか使いたくない方のためのxlsx2csvコマンドの紹介記事です。

CSV形式と似ているけどちょっと違う、コンマ以外の様々な区切り文字(セパレーター)をもったデータファイルから、柔軟・簡単に分割(split)する方法を解説していきます。

csvデータのセル文字列の後方参照をAwkとjqの２つのパターンでどう実現するのかを考えてみるちょっとした技術記事です。

CsvファイルをSedやAwkなどのLinuxコマンドからCsvデータの行と列の操作するための基礎的なテクニックをまとめてみます。

Bashで扱う文字列操作には、パラメーター拡張(Parameter Expansion)という簡潔な操作で様々な機能を提供する仕組みが備わっています。Bashを使ってシェルスクリプトを操作する際に、このパラメーター拡張を知っておかないと損をしますので、この記事で使えそうなテクニックをいくつかピックアップしてみようかと思います。

シェルスクリプトを予めファイルに記述しておくことで、高度なシェルスクリプトとして作成しておけば、まさに一生モノの財産となることでしょう。今回は自作スクリプトの基本形となるスクリプトのテンプレートに関して解説します。

AwkやSedといったテキストを編集する代表的なコマンドをより高度に操作するためには、正規表現(Regular Expression)の理解が欠かせなくなります。マニアックな正規表現のテクニックなどは避けながら、一般的なAwk(GNU Awk)とjqでcsvファイルを操作する際に最低限覚えておきたい正規表現をまとめてみます。

シェルスクリプトで、Awkかjqコマンドを使ってCSVフォーマットのファイルを色々と処理してみたい方に向けたお役立ちテクニック特集です。この回ではターゲットとなる列の要素に複数の条件を検索して、その検索結果をcsv形式で返すようなシェルスクリプトを作成してみます。

curlでオンラインプロジェクトからGETしたcsvデータを、jqでjson形式に整理・変形して捌く方法を紹介します。

シェルスクリプトで、Awkかjqコマンドを使ってCSVフォーマットのファイルを色々と処理してみたい方に向けたお役立ちテクニック特集です。今回はシェルスクリプトでCSV形式の中の文字列置換を行う方法に関して考えてみます。

busyboxを使ってawkやsedなどのオフィス業務などで活躍するLinuxコマンドを、Windowsでも簡単に導入する方法を紹介します。

今回はsedコマンドで複数行にまたがるテキストの正規表現パターンをどう扱うかに注目し、実践例で置換操作するまでを解説してみます。