Google Apps Scriptでスクレイピングが捗る5つの理由

Pythonでいろいろスクレイピングしてきましたが、Google Apps Scriptでのスクレイピングがかなりよいです。

今回はGoogle Apps Scriptでスクレイピングをオススメする理由を、Pythonを利用する場合と比較して解説します。

【GAS】IMPORTXML関数で取得した値を、1時間おきに定期実行で行を追加する

IMPORTXML関数で取得した結果を、一時間おきに新たに行に追加する

前回は相席屋の空席情報をIMPORTXML関数を利用して、スクレイピングしました。

相席居酒屋の空席状況をリアルタイムでスプレッドシートに更新し、グラフ化することで男しかいない糞相席屋を撲滅する試み

糞相席屋を撲滅する試み 昔友達とネタで相席居酒屋に入ったら、男しかいなくて「相席でもなんでもねえじゃん」と思って遺憾の意だったため。行くまで空席状況がわかりにくいというのが問題だと思う。

今回は、Google Apps Scriptのスクレイピングを、IMPORTXML関数で行い、その結果をGoogle Apps Scriptで定期実行プログラムを組むことによって、時系列データを取得してみたいと思います。これをすることによって、リアルタイムの1点の値ではなく、時系列データを取得することができるようになります。

Google Apps Scriptでスクレイピングを定期実行して、News Picksのソーシャルデータを取得する方法をまとめてみた

Google Apps Script（GAS）でスクレイピング

Google Apps Scriptで、Web上のデータのスクレイピングを定期実行する方法をまとめてみたいと思います。
Google Apps Scriptは、ExcelでいうVBAのようなもので、Googleの純正アプリケーションの上に、JavaScriptを書くことで動作をさせることができます。このGoogle Apps Scriptを使って、スクレイピングツールとして利用する方法について、解説したいと思います。

初心者でもできそうです

Google Apps Scriptは、Javascriptの知識があれば簡単にできるので、初心者にもおすすめですね。

News Picksのプロフィールページの、フォロワー数といいね数をスクレイピングを定期実行しスプレッドシート上に保存

今回は、News Picksというニュースソーシャルサイトでどんなことを書いたら、いいね数やフォロワー数が増えるかを分析するシチュエーションを想定して、1時間起きにGoogle Apps Script上で、News Picksのプロフィールページから、フォロー数、フォロワー数、いいね数を取得してみたいと思います。ちなみに結果はこんな感じになりました。(1分おきと書いてしまいましたが、1時間おきでした。）

#GAS
News Picksのフォロー・フォロワー数・被いいね数を1分おきに取得するスクリプトを書いた。これでどういうことをつぶやいたら、フォロー数・いいね数が上がるのか分析することができそうである。 pic.twitter.com/SStM0IPlrP

— Dai Kawai@RubyPython (@never_be_a_pm) February 11, 2018