【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍&教材特集
シェルスクリプトをしっかり学べる厳選書籍
新しいシェルプログラミングの教科書
新しいLinuxの教科書
シェルスクリプト基本リファレンス ──#!/bin/shで、ここまでできる
第0章 シェル&シェルスクリプトの基礎知識
第1章 シェルスクリプト入門
第2章 シェルスクリプトの基本事項
第3章 シェル文法の循環構造
第4章 複合コマンド
第5章 組み込みコマンド(1)
第6章 組み込みコマンド(2)
第7章 パラメータ
第8章 パラメータ展開
第9章 クォートとコマンド置換
第10章 各種展開
第11章 リダイレクト
第12章 よく使う外部コマンド
第13章 配列
第14章 シェルスクリプトのノウハウ&定石
Appendix サンプルスクリプト
「シェル芸」に効く!AWK処方箋
AWK実践入門
sed & awkプログラミング改訂版(日本語) 大型本
1日1問、半年以内に習得 シェル・ワンライナー160本ノック
難読化シェル芸の世界 ~Bashとすてきな難読化~
シェルスクリプトをしっかり学べる学習サービスピックアップ
Udemyのオンライン教材を使う
Linuxシェルコマンド関連記事ダイジェスト
【xlsx2csvコマンド活用編】Linux環境でExcelファイル(xls/xlsx)をCSVデータに変換する
【xlsx2csvコマンド活用編】Linux環境でExcelファイル(xls/xlsx)をCSVデータに変換する
今回はExcelでCsv形式のデータをエクスポートしたいけど、WindowsOSのパソコンは無し、Linuxしか使いたくない方のためのxlsx2csvコマンドの紹介記事です。
クリックするとリンク先へ飛びますrsyncコマンドで『some files/attrs were not transferred』でたまにファイルがコピーされないエラーに対処する
rsyncコマンドで『some files/attrs were not transferred』でたまにファイルがコピーされないエラーに対処する
『rsync』コマンドを使っている際に、『some files/attrs were not transferred』という内部エラーで一部のファイルがコピー操作に失敗してしまう問題を対処する方法を取り上げます。
クリックするとリンク先へ飛びます【シェルコマンド】iTerm2/Kitty/Sixel graphic protocolを使ってWezTermからSSH経由での画像表示を試す
【シェルコマンド】iTerm2/Kitty/Sixel graphic protocolを使ってWezTermからSSH経由での画像表示を試す
Linuxからでも利用できる高機能ターミナル・「WezTerm」に対応するiTerm2/Kitty/Sixelの各グラフィックプロトコルを使いどころを模索します。
クリックするとリンク先へ飛びます【シェルコマンド】WezTermの画面操作
【シェルコマンド】WezTermの画面操作
高機能ターミナルソフト・『WezTerm』を使ったターミナル画面の分割操作のショートカットキーを簡単に紹介します。
クリックするとリンク先へ飛びますvisidataで即席散布図プロットを使ってデータを確認する
visidataで即席散布図プロットを使ってデータを確認する
シェルターミナルから使えるCSVデータエディタ『visidata』を使って、簡単な2次元散布図プロットを作成するためのテクニックを紹介します。
クリックするとリンク先へ飛びますPython製の高機能データエディタ・『visidata』を使ってCSVファイルを操作する
Python製の高機能データエディタ・『visidata』を使ってCSVファイルを操作する
シェルターミナルからでも高度なCSVデータを編集・表示することのできるPython製コマンドアプリ・『visidata』を活用するための基礎テクニックを紹介します。
クリックするとリンク先へ飛びます【シェルスクリプトツール作成の基本】文字列をシェルコマンドとして実行するアレコレ
【シェルスクリプトツール作成の基本】文字列をシェルコマンドとして実行するアレコレ
文字列をシェルコマンドとして認識させるためのテクニックをいくつか比較し、非常に長かったり、大量に指定しなければならないコマンド引数指定を自動化するコツを解説します。
クリックするとリンク先へ飛びます【シェルコマンド基礎講座】rsyncコマンドの使い方を細かく検証しながらinclude/excludeのコツを覚える
【シェルコマンド基礎講座】rsyncコマンドの使い方を細かく検証しながらinclude/excludeのコツを覚える
『rsync』コマンドを使う上で欠かせないinclude/excludeのフィルタパターンを理解するために、利用例からじっくり考えていきます。
クリックするとリンク先へ飛びます【シェルコマンド】weztermとlibsixelを使ってDebian&MacOSのターミナルで画像をそのまま表示してみる
【シェルコマンド】weztermとlibsixelを使ってDebian&MacOSのターミナルで画像をそのまま表示してみる
モダンなターミナルで直接画像を表示してくれる「img2sixel」コマンドをDebian LinuxとMacOSを導入する手順をまとめます。
クリックするとリンク先へ飛びますJq&AwkコマンドでJSONファイル⇔CSVファイルに相互変換する方法を考察
Jq&AwkコマンドでJSONファイル⇔CSVファイルに相互変換する方法を考察
jqコマンドとawkコマンドの2つをかけ合わせることで、JSONとCSVの柔軟な相互変換をどのように実現するか考察してみました。
クリックするとリンク先へ飛びますLinuxでシェルコマンドからエクセルファイル(XSLX)を新規作成する方法〜「libreoffice」と「ssconvert」
Linuxでシェルコマンドからエクセルファイル(XSLX)を新規作成する方法〜「libreoffice」と「ssconvert」
LinuxユーザーのためのExcelファイル(XLSX形式)をより快適扱うためのワンポイント講座です。今回はCSVファイルから直接XLSXファイルに変換が可能な「libreoffice」と「ssconvert」コマンドを紹介します。
クリックするとリンク先へ飛びます【yqコマンド活用】yqコマンドでYAMLファイルを自由自在に操作する
【yqコマンド活用】yqコマンドでYAMLファイルを自由自在に操作する
Linux/macos/windowsにも対応したシェルコマンドベースのYAMLファイルの操作に重宝する「yq」コマンドの導入方法と簡単な使い方を紹介します。
クリックするとリンク先へ飛びます【Awkでデータ解析のすゝめ】CSVで重複なしのユニークなリストを作る/検索結果から重複を取り除く
【Awkでデータ解析のすゝめ】CSVで重複なしのユニークなリストを作る/検索結果から重複を取り除く
CSVデータから重複を削除してユニークな要素だけの行要素にすることと、検索結果に重複がある場合にその重複を取り除くテクニックの2つを紹介します。
クリックするとリンク先へ飛びます【jqコマンド活用法】JSONオブジェクトを再構成〜フィールドの一部を書き換えてみる
【jqコマンド活用法】JSONオブジェクトを再構成〜フィールドの一部を書き換えてみる
jqコマンドの更新オペレーターとシンボリックバインドオペレーターを使って、JSONオブジェクトを柔軟に編集するテクニックを紹介します。
クリックするとリンク先へ飛びます【シェルスクリプトツール作成の基本】自作のシェルスクリプトでパイプを使えるようにする
【シェルスクリプトツール作成の基本】自作のシェルスクリプトでパイプを使えるようにする
前段で実行したコマンドの標準出力から、自作したシェルスクリプトでもパイプでつないで処理をするための方法を考察します。
クリックするとリンク先へ飛びます【CRONコマンド活用講座】AWS-CLIをCRONからシェルスクリプトとして利用するときの注意点
【CRONコマンド活用講座】AWS-CLIをCRONからシェルスクリプトとして利用するときの注意点
cronで定期実行されるスケジューラーを仕込む際の外部コマンドを呼び出す際に注意しておきたいポイントを、aws-cliを例にしながらいくつか取り上げてみます。
クリックするとリンク先へ飛びます【シェルスクリプト】nkfコマンドを使ってファイルの文字エンコーディングを判別し、iconvコマンドと連携させるやり方
【シェルスクリプト】nkfコマンドを使ってファイルの文字エンコーディングを判別し、iconvコマンドと連携させるやり方
様々なOS間でファイルをやり取りする際に色々と困ることの一つに「文字エンコーディング」が挙げられます。今回はnkfコマンドをエンコーディングの判定に使って、iconvコマンドの入力に指定してみるテクニックを紹介します。
クリックするとリンク先へ飛びます【シェルスクリプト実践講座】ANSIエスケープシークエンスを使おう①〜基本的な使い方
【シェルスクリプト実践講座】ANSIエスケープシークエンスを使おう①〜基本的な使い方
いい感じのシェルアプリを作成する上で欠かせないのが、「ANSIエスケープシークエンス」と呼ばれるテクニックです。今回はその基本操作について整理していきます。
クリックするとリンク先へ飛びます【Awk&Sed活用講座】CSVファイルから重複データを見つける&重複をカウントする
【Awk&Sed活用講座】CSVファイルから重複データを見つける&重複をカウントする
シェルスクリプトからのCSVデータを利用するためのワンポイント講座です。今回はAwkとSedでCSVファイルからデータの重複を取り扱うテクニックを簡単に載せます。
クリックするとリンク先へ飛びます【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍&教材特集
【効果的学習法レポート】シェルスクリプトをこれから学びたい人のためのオススメ書籍&教材特集
個人的に気になった&試してみたいAwk/Sedコマンドなどを含むシェルスクリプトプログラミングを学ぶ上で有用な学習用の教材をまとめていきます。
クリックするとリンク先へ飛びます【Sed活用講座】パターンスペースとホールドスペースの使い方を理解する
【Sed活用講座】パターンスペースとホールドスペースの使い方を理解する
Sedコマンドの真髄は「パターンスペース」と「ホールドスペース」を理解してこれを駆使することです。今回はこのパターンスペースとホールドスペースの概念と基礎的な使い道を解説していきます。
クリックするとリンク先へ飛びますシェルスクリプトを使って学ぶビット演算(&、|、^、~等)の総復習
シェルスクリプトを使って学ぶビット演算(&、|、^、~等)の総復習
組込開発者には避けて通れない技術にビット演算があります。たまにしかプログラミングでビット演算を使わないと、すっかり利用方法を忘れてしまうので、今回はBashによるシェルスクリプトによるビット演算を手軽な復習方法を紹介します。
クリックするとリンク先へ飛びます【jqコマンド実用編】押さえておきたいデータ入出力のためのjqのコマンドオプションまとめ
【jqコマンド実用編】押さえておきたいデータ入出力のためのjqのコマンドオプションまとめ
jqコマンドにおいて入出力値の制御で重要な役割をしているオプションの内で重要なものをピックアップし、簡単な使い方をまとめました。
クリックするとリンク先へ飛びます【jqコマンド応用編】xargsをwhile/forループの代わりとして使う場合の勘所
【jqコマンド応用編】xargsをwhile/forループの代わりとして使う場合の勘所
jqコマンドとxargsコマンドとの組み合わせた処理のパイプ化で、シェルスクリプトのリファクタリングを考えてみます。
クリックするとリンク先へ飛びます【Alpine Linux対応】Exiftoolコマンドから画像サイズを調べる
【Alpine Linux対応】Exiftoolコマンドから画像サイズを調べる
今回はLinuxコマンドから画像ファイルの設定値をコマンドラインから読み取るためにExiftoolから読み出してみる方法を紹介します。
クリックするとリンク先へ飛びますExcelでの時間の計算をシェルスクリプトでどう取り扱うのか〜DATEの計算方法
Excelでの時間の計算をシェルスクリプトでどう取り扱うのか〜DATEの計算方法
エクセルでの日付時間とシェルスクリプトの扱うUNIX時間とは一見取り扱っているデータの表示が同じようで、日付の換算方法は異なります。ここではExcel時間表示フォーマットの話と、それをシェルスクリプトでどう補正するとCSVインポート・エクスポートが上手くいくのかを考察してみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】CSVデータから日付範囲で細かい条件指定した集計を行う
【シェルスクリプト&Excel】CSVデータから日付範囲で細かい条件指定した集計を行う
CSVデータの集計操作系のスクリプトツールを作成してみる特集の第1回目です。今回はCSVデータの集計操作の基礎的な内容も掘り下げつつ、後半で少し応用的なツールスクリプトに仕上げる方法をじっくり解説していきます。
クリックするとリンク先へ飛びます日付を含むエクセルデータをエクスポートしたときのCSVデータの時間表示をシェルスクリプトで取り扱う方法
日付を含むエクセルデータをエクスポートしたときのCSVデータの時間表示をシェルスクリプトで取り扱う方法
ExcelデータからCsv形式へインポート/エクスポートする際に気をつけておかなかればならない一つの日付を取り扱う換算ルールを特集します。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】平均値の算出 〜 Awkを使った平均を計算するスクリプト
【シェルスクリプト&Excel】平均値の算出 〜 Awkを使った平均を計算するスクリプト
CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第3回目です。Awkでも科学計算ほどの精度は無いものの、それでもかなり高度な算術計算処理をスクリプト内で実現することができます。今回は簡単な好例として平均を計算させてみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】複数条件を満たすときのみに集計するスクリプト
【シェルスクリプト&Excel】複数条件を満たすときのみに集計するスクリプト
CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第3回目です。前回はCSVデータで特定の一列から条件を満たすものを正規表現で抽出・集計する方法を紹介しました。今回は検索が複数列に渡る条件を与えた集計スクリプトの作り方を考察します。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】より複雑な条件を満たすのときのみに集計するスクリプト
【シェルスクリプト&Excel】より複雑な条件を満たすのときのみに集計するスクリプト
CSVデータの自由でより高機能な集計操作を行うスクリプトツールを作成してみる特集の第2回目です。今回は正規表現を用いてより自由度の高い集計スクリプトの作り方を簡潔に考えてみましょう。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】集計を対話的にするスクリプト作成の基礎
【シェルスクリプト&Excel】集計を対話的にするスクリプト作成の基礎
Excelでの定番の業務テクニックとして要素検索と並んで良く利用されているのが集計操作です。基礎固めとしてまずは集計モードを対話に選択できるようなツールスクリプトに仕立てる前段階のユーザーインタラクティブなシェルスクリプトの実装方法を考えてみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】CSVデータの複数列から複数条件で検索して行データを表示させるスクリプト
【シェルスクリプト&Excel】CSVデータの複数列から複数条件で検索して行データを表示させるスクリプト
CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第3回目です。前の回に引き続いて、もっと自由に検索列を決められて、なおかつ複数の検索条件も与えられるように再度Awkをベースに拡張してみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】CSV形式で与えてある検索条件ファイルから検索結果を出力するスクリプト
【シェルスクリプト&Excel】CSV形式で与えてある検索条件ファイルから検索結果を出力するスクリプト
CSVデータからエクセル操作機能を代替するスクリプトツールを作成してみる特集の第2回目です。今回はAwkコマンドでCVSファイル内からキーワードリスト検索&抽出するスクリプトツールを作成してみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】条件を与えて検索結果をCSVデータで出力するスクリプト
【シェルスクリプト&Excel】条件を与えて検索結果をCSVデータで出力するスクリプト
CSVデータの検索に特化したエクセルでいうところのVLOOKUP関数のような機能をもつスクリプトツールを作成してみる特集の第1回目です。今回は読み込んだCSVデータの特定の1列を検索キーとして、指定した検索キーリストからヒットした要素を順にピックアップしてCSV形式で表示するスクリプトを作成してみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】Head/Tail/Cut/Trコマンドを使ってCSVデータから効率で高速に行&列の範囲を絞り出す方法
【シェルスクリプト&Excel】Head/Tail/Cut/Trコマンドを使ってCSVデータから効率で高速に行&列の範囲を絞り出す方法
容量の大きなCSVデータ等を、高速かつ効率的にパイプライン処理するために、Head、Tail、Cutとその他のLinuxコマンドを使ったテクニックを紹介します。
クリックするとリンク先へ飛びます【シェルスクリプト・文字列操作のショートハンド集】Bashの文字列のパラメーター拡張のアレコレ
【シェルスクリプト・文字列操作のショートハンド集】Bashの文字列のパラメーター拡張のアレコレ
Bashで扱う文字列操作には、パラメーター拡張(Parameter Expansion)という簡潔な操作で様々な機能を提供する仕組みが備わっています。Bashを使ってシェルスクリプトを操作する際に、このパラメーター拡張を知っておかないと損をしますので、この記事で使えそうなテクニックをいくつかピックアップしてみようかと思います。
クリックするとリンク先へ飛びますCurlとjqを使ってgithubレポジトリ上のcsvデータを取得する 〜 株価日足編
Curlとjqを使ってgithubレポジトリ上のcsvデータを取得する 〜 株価日足編
curlでオンラインプロジェクトからGETしたcsvデータを、jqでjson形式に整理・変形して捌く方法を紹介します。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】検索対象が無いときの対処方法〜エラー時の値を#N/Aに置き換える
【シェルスクリプト&Excel】検索対象が無いときの対処方法〜エラー時の値を#N/Aに置き換える
検索結果が無い行を発見したときに、通常は何も表示されないで無視されることが多いですが、エラーハンドリングを定義し、エラーを発見したときの処置も実装したい場合があります。たとえば、検索結果で一致しない行には、新しい内容を新規作成してそこに挿入する...などです。今回はCSVデータ使う上でのAwkとjqを使ったシェルスクリプトのエラーの捌き方の基礎を行っていきます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】SedコマンドでCsvデータから特定の文字列を含む行を抽出する
【シェルスクリプト&Excel】SedコマンドでCsvデータから特定の文字列を含む行を抽出する
CSV形式のデータの中の、不特定で複数の行(もしくは複数のセル)に対象の文字列を含むような曖昧さのある場合には、Awkかjqで処理するには少し冗長な操作になるときがあります。今回は先にSedで特定の文字列を含む行をフィルタリングのやり方を、Awkかjqで利用する前の下処理の方法として紹介します。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】Sedコマンドで不要な空白(文字列前後の空白や連続した空白)を削除
【シェルスクリプト&Excel】Sedコマンドで不要な空白(文字列前後の空白や連続した空白)を削除
セルに含まれる文字列には、インデントとして無駄に連続した空白が詰まっていたり、タブやスペースなどの複数のタイプの空白が混合して入っていたりする場合が有ります。今回はSedを使った余計な空白文字の除去・洗浄に関した内容を解説します。
クリックするとリンク先へ飛びます【xlsx2csvを使おう!】 Excelデータシートのセル内改行をCsvファイルで取り扱う方法
【xlsx2csvを使おう!】 Excelデータシートのセル内改行をCsvファイルで取り扱う方法
csvをシェルスクリプトで取り扱う上でもっとも厄介なものが改行文字です。今回は、Excelデータ中に現れるセル内改行を、xlsx2csvコマンドからCsv形式のテキストファイルで扱う方法を解説します。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】文字列中の特定の記号を一括削除する方法
【シェルスクリプト&Excel】文字列中の特定の記号を一括削除する方法
Csvデータ全体に渡って、セル内に含まれる文字列に区別無く存在する不要な記号を一括して削除したい場合が有ります。このような特殊記号は当然ながら手動で検索しながら一つ一つ消していくのも面倒です。今回はCsvファイルの全体に渡るような文字列の置き換えをSedコマンドを利用して、一気に、そして高速に不要な文字を削除する方法を紹介します。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】文字列の分割を分割を極める ~ split関数の使い方
【シェルスクリプト&Excel】文字列の分割を分割を極める ~ split関数の使い方
CSV形式と似ているけどちょっと違う、コンマ以外の様々な区切り文字(セパレーター)をもったデータファイルから、柔軟・簡単に分割(split)する方法を解説していきます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】文字列の後方参照を理解する
【シェルスクリプト&Excel】文字列の後方参照を理解する
csvデータのセル文字列の後方参照をAwkとjqの2つのパターンでどう実現するのかを考えてみるちょっとした技術記事です。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】CSVデータ編集で使える最低限覚えておきたい正規表現の活用法
【シェルスクリプト&Excel】CSVデータ編集で使える最低限覚えておきたい正規表現の活用法
AwkやSedといったテキストを編集する代表的なコマンドをより高度に操作するためには、正規表現(Regular Expression)の理解が欠かせなくなります。マニアックな正規表現のテクニックなどは避けながら、一般的なAwk(GNU Awk)とjqでcsvファイルを操作する際に最低限覚えておきたい正規表現をまとめてみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】SedとAwkによるCsvファイルの行・列の操作アレコレ
【シェルスクリプト&Excel】SedとAwkによるCsvファイルの行・列の操作アレコレ
CsvファイルをSedやAwkなどのLinuxコマンドからCsvデータの行と列の操作するための基礎的なテクニックをまとめてみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】シェルスクリプトで複数の条件による検索し結果をCSVで返す
【シェルスクリプト&Excel】シェルスクリプトで複数の条件による検索し結果をCSVで返す
シェルスクリプトで、Awkかjqコマンドを使ってCSVフォーマットのファイルを色々と処理してみたい方に向けたお役立ちテクニック特集です。この回ではターゲットとなる列の要素に複数の条件を検索して、その検索結果をcsv形式で返すようなシェルスクリプトを作成してみます。
クリックするとリンク先へ飛びます【シェルスクリプト&Excel】CSVファイルで読み出した文字列を複雑なルールで置換したい
【シェルスクリプト&Excel】CSVファイルで読み出した文字列を複雑なルールで置換したい
シェルスクリプトで、Awkかjqコマンドを使ってCSVフォーマットのファイルを色々と処理してみたい方に向けたお役立ちテクニック特集です。今回はシェルスクリプトでCSV形式の中の文字列置換を行う方法に関して考えてみます。
クリックするとリンク先へ飛びます【シェルスクリプトをオフィス業務の主役に!】シェルスクリプトでエクセル作業を効率化する超活用術まとめ
【シェルスクリプトをオフィス業務の主役に!】シェルスクリプトでエクセル作業を効率化する超活用術まとめ
シェルスクリプトはどこでもどんなOSでも基本的に使えて、一度使い方を覚えるとパソコン上でありとあらゆる操作を可能としてくれます。そこでオフィスで日々エクセル業務と向き合う多忙なオフィスワーカー向けに、シェルスクリプトの力で劇的に生産効率を改善しする方法を提案します。
クリックするとリンク先へ飛びます【Awkでデータ解析のすゝめ】CSVデータで重複しているセル要素を見つける/カウントする
【Awkでデータ解析のすゝめ】CSVデータで重複しているセル要素を見つける/カウントする
csvファイル内のデータが重複しているときの操作をAwkで処理させたいときがあります。Awkでデータの重複している・していないの判別は簡単なスクリプトを使って執り行えるので、一度覚えておけばもしかしたときのデータ取扱に非常に頼もしい限りです。今回はAwkでの重複をどう見つける/処理するのかをじっくり考察していきます。
クリックするとリンク先へ飛びます【Awkでデータ解析のすゝめ】Awkのみで2つのファイルを効率的に結合させる方法
【Awkでデータ解析のすゝめ】Awkのみで2つのファイルを効率的に結合させる方法
Awkを使ったデータサイエンス向けに不定期で紹介しているワンポイント講座シリーズの二回目です。時系列解析するデータによってはキーになる値は共通しているのに、ラベルがバラバラのファイルとして四散して存在している場合があります。今回はこのような作業をAwkのみを使って効率的に複数のデータやファイルを結合させるためのテクニックを考察してみます。
クリックするとリンク先へ飛びます【Awkでデータ解析のすゝめ】gawk(GNU AWK)でカスタムソートを使ってみる
【Awkでデータ解析のすゝめ】gawk(GNU AWK)でカスタムソートを使ってみる
シェルスクリプトを使ったデータ解析を行う時に、知っていると便利に使えるgawk(Gnu AWK)の高速カスタムソート術を紹介します。
クリックするとリンク先へ飛びます【シェルスクリプトで機械学習】Awkで機械学習で使える高速データ処理〜ガウス分布ノイズの生成方法
【シェルスクリプトで機械学習】Awkで機械学習で使える高速データ処理〜ガウス分布ノイズの生成方法
ガウス分布ノイズのデータセット生成方法を例に挙げ、Awkを使った機械学習用の訓練データの下処理テクニックを解説します。
クリックするとリンク先へ飛びますWindowsでもLinuxシェルスクリプトをいつでも簡単に使いたい!と思い立ったときの魔法のツール・busybox
WindowsでもLinuxシェルスクリプトをいつでも簡単に使いたい!と思い立ったときの魔法のツール・busybox
busyboxを使ってawkやsedなどのオフィス業務などで活躍するLinuxコマンドを、Windowsでも簡単に導入する方法を紹介します。
クリックするとリンク先へ飛びますDebian LinuxとAlpine DockerコンテナでもGh(Github CLI)コマンドを導入する
Debian LinuxとAlpine DockerコンテナでもGh(Github CLI)コマンドを導入する
直近の話題でベータ公開されていたGitHub CLIがこのほどRC版になっていたようで、手元のDebian LinuxでもLinuxbrewから一発導入することができました。今回はghコマンドの簡単な動作確認を試してみたいと思います。
クリックするとリンク先へ飛びます[Shellコマンド] Cronによる営業日(土日・祝日以外)のみで定期コマンド実行をスケジュールしたい
[Shellコマンド] Cronによる営業日(土日・祝日以外)のみで定期コマンド実行をスケジュールしたい
cronで営業日の特定の時間など細かいスケジューリングを定義するのはとても大変ですが、grepコマンドと併用するハイブリッドな方法を使って、土日祝日以外の日でコマンドをスケジューリングするスマートな方法を深堀りしてみます。
クリックするとリンク先へ飛びます【Slack x 業務効率化】Slack APIを利用してCurlから画像をアップロードしてみた
【Slack x 業務効率化】Slack APIを利用してCurlから画像をアップロードしてみた
Slackの自分用チャンネルにデータ処理中の画像をポーンと自動送信してくれるシェルスクリプトを作成したかったので、ローカルから画像ファイルをアップロードするためのSlackのAPIを試してみます。
クリックするとリンク先へ飛びます【シェルスクリプトツール作成の基本】引数指定で動作するシェルスクリプトを自作する
【シェルスクリプトツール作成の基本】引数指定で動作するシェルスクリプトを自作する
シェルスクリプトを予めファイルに記述しておくことで、高度なシェルスクリプトとして作成しておけば、まさに一生モノの財産となることでしょう。今回は自作スクリプトの基本形となるスクリプトのテンプレートに関して解説します。
クリックするとリンク先へ飛びますAwkコマンドを使ってテキストからjsonを生成する実用例〜株価日足で利用する
Awkコマンドを使ってテキストからjsonを生成する実用例〜株価日足で利用する
Awkを使った実践例を紹介するコーナーです。今回は、株式チャートで利用される日足のテキスト生データをJSON形式へパースさせてみる手順を説明します。
クリックするとリンク先へ飛びますSedコマンドで改行も含めた正規表現パターンをキャプチャする方法の考察
Sedコマンドで改行も含めた正規表現パターンをキャプチャする方法の考察
今回はsedコマンドで複数行にまたがるテキストの正規表現パターンをどう扱うかに注目し、実践例で置換操作するまでを解説してみます。
クリックするとリンク先へ飛びます【Linuxコマンド入門】Alpine Linux標準のdateコマンドを使う際のちょっとしたコツ
【Linuxコマンド入門】Alpine Linux標準のdateコマンドを使う際のちょっとしたコツ
dateコマンドはLinux系のほぼ全てのOSに標準的に存在している重要なユーティリティコマンドです。そんなdateコマンドはLinuxOS毎にすこしづつ作法が違うようですが、ここではAlpine linux上でdateコマンドを上手く使いこなすためのポイントを説明します。
クリックするとリンク先へ飛びますサイズの大きいhtmlファイルをminifyするときに便利なSedコマンドの使い道
サイズの大きいhtmlファイルをminifyするときに便利なSedコマンドの使い道
静的なウェブページを配信する際にプリレンダリングしたhtmlファイルをより効果的にminifyしたいときに使えるSedコマンドのテクニックを紹介します。
クリックするとリンク先へ飛びますナンデモ系エンジニア
主にAngularでフロントエンド開発することが多いです。 開発環境はLinuxメインで進めているので、シェルコマンドも多用しております。 コツコツとプログラミングするのが好きな人間です。