前回の続きでpuppeteerからreCAPTCHA v2認証の存在するページにログインする方法を考えます。今回は汎用なログイン認証にも利用できる認証済みクッキーを使うやり方を解説します。

puppeteerを使うとブラウザで出来るような操作はほぼ出来てしまいますがどうしても出来ない類の操作も存在します。今回はCAPTCHA v2認証を突破できるかどうかを検証してみます。

常時稼働するpuppeteerを使ったWebスクレイピングサーバーをラズパキで立てて、Alpine:edgeのDockerコンテナ内部からで定期的に情報採集することを目的としてやってみた時のネタです。以前の内容をラズパイでも同じことを行えるのかを検証してみました。

Amazonのサイトから製品比較のサイトを構築するときには、Amazonのアソシエイトツールバーで生成したテキストリンクは概ね次のように長いクエリ文字を繋いでとても長々しいURLになってしまっています。そこで今回はpuppeteerを使ってもっと簡潔なAmazonアフィリエイトURLと関連の画像と説明文を同時にローカルに保存してくれるだけのスクリプトを作成する際の勘どころを解説してみます。

ユーザーアカウントを取り扱うウェブサイトなどでは認証用jsスクリプトなどで前処理されてからログインするので、ブラウザなしの単純なAjax操作では動的ウェブサイトからのスクレイピングは難しいものでした。そこでpuppeteerを利用して複雑なユーザー認証のあるサイトでもスクレイピングを行うための開発環境を整える手順を紹介します。