【リスト作成】アンケートのための企業リストを複数サイトから収集
今回ご紹介する事例の企業様は調査をメイン事業として行っており、常に多くのデータを必要としており、時には専門企業にアンケートを行ってデータ収集することもあります。
企業リストは帝国データバンクを活用して手に入れることもできますが、そこで必要なデータが手に入らないこともあります。そのため複数のWebサイトから企業リストを作成することを決意しましたが、人力で行うには時間がありませんでした。そこで、スクレイピングの活用に目をつけ、アプリ開発者のリスト一覧を作成するためにPigDataをご活用いただくこととなりました。
複数サイトからスクレイピング
アプリ開発をしている企業を集めるにはアプリ提供をしているサイト、もしくはアプリのランキングサイトから抜き出すのが最適です。アプリはAndroid版とiOS版がありますが、AppStoreから直接リストアップしデータ収集することが難しそうでした。そこでAppliv、Applionの２つのまとめサイトを経由し、GooglePlay、AppStoreのアプリ開発者のデータを取得しました。
データを整形して統合
GooglePlay、AppStoreから収集できたデータの詳細度が異なっていたため、詳細に記載している方を優先し、さらにそこにないデータが一方に記載されていた場合は追加するなど細かいデータ整形を行いました。また、表にはどのサイトに記載されていたかも一覧で確認できるよう整形しました。
複雑なデータ取得もデータ整形もPigDataで
今回の事例では、欲しいデータがあるwebサイトのスクレイピングが難しくても、別サイトを経由することでデータ収集を可能にし、明瞭度の違う複数サイトからのデータに対して細かなデータ整形をすることで目的とする企業リストを作成することができました。時にアンケートは実施するタイミングが大切となってきます。必要なデータが整った企業リストを素早く手に入れることで、お客様は的確なタイミングでアンケートを実施し、クライアントに旬な情報提供ができたと伺っています。
PigDataはスクレイピングでデータ取得をするだけではなく、お客様のご要望に沿ったデータ整形も行い意味のあるかたちでご提供致します。