2 posts with the tag ec2
GUIありのWebスクレイピングを定期実行する
October 01, 2019
posted by koji
GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動でWeb画面が遷移していくという手法のことを指します。 オン ...
AWS Lambda でWebスクレイピングできなかったサイトについて
August 26, 2019
posted by koji
ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...