chrome拡張機能「Web Scraper」でのスクレイピング方法をご紹介
GoogleChromeには、拡張用機能の「Scraper」がついています。Scraperを使用すれば、無料でスクレイピングして他サイトの情報を簡単に収集できます。会社の方針を決定するためには、データの収集と分析は欠かせません。この記事ではScraperを利用してできることと操作方法を解説します。スクレイピングをしたい方は、ぜひ参考にしてください。
Googleの拡張機能「Scraper」でできること
Googleの拡張機能「Scraper」でできることは以下の通りです。
- Web上から情報を自動抽出する
- 不必要な情報を削って収集する
インターネット上には、膨大な量のサイトと情報があります。そのため、少ない人材で手動によって情報を収集するのは不可能です。必要な情報だけを抽出するためには、スクレイピングに特化したツールを活用しなければいけません。
Scraperなら、web上から必要な情報を自動で抽出することが可能です。さらに、不必要な情報を指定することで、必要なデータだけに限定できます。Scraperは、膨大な情報が溢れているインターネットの空間から必要な情報を受け取り、分析に役立てられるのです。
Scraperの始め方とスクレイピング方法
ここからは、Scraperの始め方と具体的なスクレイピング方法について解説します。インストールの段階から解説していくので、初めて使用する方でも安心してください。ただしGoogleChromeのインストールは、すでにしてある前提です。GoogleChromeをブラウザに設定していない方は、インストールしてからこちらの記事に戻ってきてください。
ScraperをChromeに追加
ScraperはGoogleの拡張機能なので、インストールしてChromeに追加します。ChromeWebストアを開き、「WebScraper」を検索します。Scraperが見つかったら「Chromeに追加」をクリック。すると、拡張機能としてWebScraperがブラウザに追加されます。きちんと拡張機能が追加されたか確認するには、ブラウザの右上にある「拡張機能」のボタンをクリックします。拡張機能の一覧にWebScraperが追加されていれば、インストールは成功でいつでも使用可能な状態です。
サイトマップを新規で作成
データ収集をするためには、スクレイピングをしたいサイトのURLを登録します。手順は以下の通りです。
今回は例として記事一覧が掲載されているページからデータを取得していきます。
- 「Create new sitemap」から「Create Sitemap」を選択
- 「Sitemap name」にサイトマップの名前を記入
- 「Start URL」の部分にはスクレイピングをするサイトの最初のページのURLを入力
上記のすべての入力が終了すると、スクレイピングの準備は完了です。最後に、「Create Sitemap」ボタンをクリックしてください。これでサイトマップの登録ができました。
投稿リストのリンクを取得
サイトマップを作成したら、あらかじめ決めておいた収集したいデータを絞り込んでいく段階に入ります。単一のサイトでも、膨大な量のデータがあるため必要なものだけを取り出さなければいけません。収集したいデータの指定方法は以下の通りです。
- 「Add new selector」をクリックして新規のセレクターを追加
- サイトの記事一覧のタイトルを取得したいので「id」に任意のidを入力
- 「Type」では属性を入力する
- 「Select」ボタンをクリックすることで指定したデータの取得が始まる
記事一覧が掲載されているサイトの中には多様なコンテンツがあるため、今回は記事一覧のリンクを取得して、分析時に管理を容易にします。「id」には「posts」と入力しておきましょう。記事情報の中でも、文字情報が欲しい場合は「Text」、全ての文字情報が欲しい場合はまるごと収集するため「HTML」など、わかりやすいidを入力すると便利です。
スクレイピングのツリー構造を確認
スクレイピングをしていくと取得した情報がどこに配置されているか分からなくなる場合があります。そのため、スクレイピングのツリー構造を確認できるようにするのも大事です。
- メニューから「Select graph」をクリック
- サイトマップの構造が確認できる
スクレイピングを継続している際に、サイトの構造がわからなくなった場合はツリー構造を何度も確認しましょう。データの分析段階では、データ管理やラベリングが非常に大事です。
スクレイピングの開始
スクレイピングの実行をする準備は整っていますが、開始前にアクセスしたページにどの程度の時間待機するのか設定しましょう。
- 「Request interval(ms)」、「Page load deley(ms)」で調整
- 「Start scraping」をクリックすれば、スクレイピングが開始される
他社が運営しているサーバーに負荷をかける可能性があるため、滞在時間の設定は大事です。あまり負荷をかけすぎると、サイトがダウンしてしまいます。最悪の場合はスクレイピングをしている側が罪に問われることもあります。
取得データはCSVでダウンロードできる
スクレイピングが終わると、取得したデータをCSVデータとしてダウンロードできます。メニュー欄から「Export data as CSV」ボタンをクリックするだけです。スクレイピング後の取得データをCSV化して、データ分析のために加工用の元データとして保存しておけます。また、CSVデータを別途保存すれば半永久的にデータを持って置くことも可能です。データ分析を経営に活用したい方は、必ずダウンロードしておきましょう。
有料プランで使える機能
Scraperは課金制度によって使える機能を増やせます。無料プランでは限定されているため、使用してみて機能を高めたい場合は有料プランに切り替えましょう。有料プランで使用可能になる主な機能は以下の通りです。
- DropBoxへの自動エクスポート
- 長期のデータ保存(30～60日間)
- メールでのシステムサポート
Webスクレイピングを「Scraper」でおこなう問題点
Scraperは便利なツールですが、問題点も存在しています。あらかじめ問題点を把握しておけば、解決策も用意できます。使用する前に問題点と解決方法を把握しておきましょう。
日本語に対応していないので使いにくい
Scraperは日本語に対応していないので、英語が苦手な方には使いにくい仕様になっています。Scraperは、基本的にすべて英語での表記です。もちろん、本記事のように使用方法を日本語で解説しているコンテンツはあります。また、ブラウザで日本語バージョンにすることもできます。
しかし、使用方法を確認しながらスクレイピングするのは時間がかかること、また、日本語バージョンにしても、不自然な日本語でわからない場合もあります。
会社内で使用する場合は、英語とITに精通している人材を用意しなければいけません。
無料プランでは機能が制限されている
Scraperは無料プランでも使用可能ですが、機能が制限されているのも問題点の一つです。Scraperには有料プランが用意されていて、課金すればさらに便利になります。ただし、有料になるため、当然のことですが支出が増えます。Scraperの機能を充分に使うためには、有料プランの登録が必要になることも認識しておきましょう。
スクレイピングに手間がかかる
Scraperを使用したとしても、スクレイピングは手間も時間もかかってしまうのも問題点です。スクレイピングは小規模のサイトの場合はすぐに終わりますが、大規模で複数のサイトをおこなうことになれば時間も手間もかかってしまいます。そのため、Scraperの操作に精通した人材を探して雇用しなければなりません。
スクレイピングを大規模におこなう場合は、専門の会社にアウトソーシングすることも検討するとよいでしょう。また、Scraperでスクレイピングの時間を短縮させようとすると、他社のサイト運営の妨害になる場合があります。専門の会社への依頼は、会社にかかる負担やリスクを解消するための解決策でもあります。
まとめ
データを活用する会社は増加傾向にあり、利益も着実に伸びています。データ活用をするためには、その前段階にあたるスクレイピングは必須です。スクレイピングはGoogleの拡張機能「Scraper」でも可能です。
ScraperはGoogleChromeを使用している方なら、インストールすれば無料で使えるツールです。取得したいデータを指定すれば、不必要な情報を削ることも可能です。ただし、Scraperの無料プランでは機能が制限されてしまい、有料プランが必要な場合があります。また、データの収集が膨大な量になった場合、手間と時間がかかります。データスクレイピングをして、経営に活用したい場合は専門の会社に依頼することも検討しましょう。
