リモート開発メインのソフトウェア開発企業のエンジニアブログです

2 posts with the tag ec2

GUIありのWebスクレイピングを定期実行する

October 01, 2019

posted by koji

GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動でWeb画面が遷移していくという手法のことを指します。 オン ...

続きを読む →

AWS Lambda でWebスクレイピングできなかったサイトについて

August 26, 2019

posted by koji

ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...

続きを読む →