Webスクレイピング(クローリング)は世界中で活用されています。その市場規模はどのくらいでしょうか？また、世界ではどのように活用され、今後どのように発展していくのでしょうか。
本記事では、世界全体及び各地域のスクレイピング市場規模推移とそれぞれの取り組みをご紹介します。
世界全体でみるスクレイピング市場
2019年におけるWebスクレイピング(クローリング)サービスの市場規模は420.84 百万ドル、2026年には948.60百万ドルに成長すると予想されています。この場合、CAGR（年平均成長率）は13.1%となり、かなり成長の見込まれる市場といえるでしょう。過去5年に設立されたスクレイピングに関わるスタートアップ数は320社もあります。（参考：Crunchbase）
一方、2012~2016年の5年で設立されたスタートアップ数は410社であり、市場規模は拡大すると言われているものの、設立数は少し落ち着き新規スタートアップ参入が少し困難な成熟市場になっているといえます。なお、スクレイピング企業数は全体で約1,496社にのぼります。
各国のスクレイピング市場
それでは世界の各地域ごとのスクレイピング市場をみてみましょう。
北米のスクレイピング市場
市場規模
北米の市場規模は2019年時点で159.97百万ドルと世界で最大の規模を示し、約40%のシェアを占めています。2026年までのCAGRは13.2%と予想されており、その成長率も世界最大級です。
そんな北米においてアメリカが最大の市場であり、その市場規模は132.69百万ドル、約82％を占めています。なお、カナダは21.51百万ドル、メキシコはわずか5.91百万ドルですが、カナダのCAGRは14.8%と言われており、アメリカよりも高い成長率が見込まれています。
アメリカはスクレイピング市場において世界最大級の規模を誇り、その動向は無視できません。市場の成熟具合をみてみると、5年間で設立されたスタートアップ企業は約76社と市場規模の小さいヨーロッパよりも低い数値となっています。これにより、アメリカの市場はより成熟した市場と言えるでしょう。現在のスクレイピング企業数合計は521社と世界全体の3割以上を占めています。
取り組み
アメリカも日本と同様にスクレイピングそのものに対して法的な規制はありません。しかし、2017年にhiQ LabsがLinkedlnにスクレイピングをしたことで訴訟問題となりました。これについて当初はオープンデータとしてLinkedlnのデータを収集することは問題ないとされてきました。しかし2021年6月、警察官のVan Buren氏が業務とは関係のない自動車ナンバープレートのデータベースにアクセスしたことが「不正アクセス」として有罪判決された事件をうけ、Linkedlnの裁判も再検討されることとなりました。
このように、アメリカだけの話ではありませんが、この数年で様々なプライバシーポリシー規制やサイバーセキュリティ関連の法整備がなされているため、スクレイピングを行う際、法関係については情報を常にアップデートしきちんと対策を練ることが非常に重要になっています。
ヨーロッパのスクレイピング市場
市場規模
ヨーロッパは世界で2番目の市場規模を誇り、その規模は113.48百万ドルとアメリカよりも下回っているものの世界全体でみると大きな割合を占めています。また、成長率でみるとCAGRは12.9%と予測されています。
ヨーロッパのうち、ドイツが最大の規模を示し、23.74百万ドル、CAGRは12.3％です。イギリスが2番目の規模を誇り、21.27百万ドル、CAGRは13%です。
ヨーロッパで最大の売り上げを誇るドイツの過去5年に設立されたスタートアップ数は16社、イギリスは約18社、ヨーロッパ全体では約100社とアメリカを超える数のスタートアップが台頭し、アメリカよりは新規参入がしやすい環境といえるでしょう。合計数は437社とアメリカに次いで多く、約30%を占めています。
取り組み
ヨーロッパはプライバシー保護法が非常に厳しく（GDPR）、取得データの扱いにはより注意が必要です。なお、GDPRはヨーロッパの企業、人を守るためのものであるため、スクレイピングの対象データにヨーロッパのデータが含まれている場合はGDPRを気にしなければなりません。
アジアのスクレイピング市場
市場規模
アジアは2019年時点では最も小さく、その規模は97.69百万ドルです。一方で2026年までのCAGRは最も高い数値を示しており、その割合は13.8%、239.33百万ドルまで成長すると予測されています。
アジア地域における過去5年に設立されたスタートアップ数は約78社とアメリカとほぼ同じ数字であるが、現在の市場規模の違いを考慮するとスタートアップが参入しやすい、成熟しきっていない市場と認識されていると言えます。まだアジアにおけるスクレイピング企業数の合計は303社と少ないですが、ここからもこの5年で急激に企業数が増えてきていることが分かります。
日本のスクレイピングサービスの動向
日本においてもWebスクレイピング自体は違法ではありません。また、総務省もCPI取得のためスクレイピングを利用している情報をパブリックに公開しています。そのため、利用規約に反さない範囲かつ業務妨害にならない範囲でのスクレイピング利用は全く問題ありません。
しかしその市場をみると、過去5年に設立されたスタートアップ数は6社とドイツやイギリスと比較してもその数は少ないです。そもそも、日本はデータ活用への取り組みが欧米諸国と比べると遅いと言われています。米Splunkによるグローバル調査では、日本の企業は67％が最新技術の利用に抵抗感を感じ、これは世界平均の58％よりも高い数値であり、今後データ量が飛躍すると予測される一方でそれを活用する仕組みが出来上がっていないように思います。また5年前と古いデータではありますが、JUASが実施したアンケートによると、欧米企業に対して圧倒的に遅れていると感じている企業は45.5%にものぼります。
また、総務省が発行したレポートによると、大企業でもSNS等のWebデータを活用している企業は少なく、中小企業に至っては5％に満たないのが現状です。
さらに、業務領域別のデータ活用状況を見ても、マーケティングのデータ活用状況はまだ低い傾向にあると言えます。
（参考：デジタルデータ活用の現状と課題）
ここから言えることは、日本はデータ活用の重要性を理解し、データ量が今後増えていくと認識しているものの、集めたデータをどう扱うか、どう分析し如何に活用するかが分かっておらず、新しいツールの導入に躊躇している、という現状にあります。
つまりいち早くデータの活用に注目することで、企業として先駆けた活動ができるチャンスといえます。Webデータがどの場面で活用できるのかを正しく理解し、データ収集後の活用場面まで想定していくことが重要になってきます。
まとめ
アメリカではすでに熟成されている、と言えるスクレイピング市場ですが、今後もまだまだ伸びていく可能性は高く、世界各地域でのCAGRは高い数値が予想されています。その中で日本は世界からみてもまだまだスクレイピング発展途上国であり、多くの企業がデータ活用できていないのが現状です。特にマーケティングはデータを活用することでビジネスチャンスが広がっていきます。
⇒スクレイピングを活用した事例はこちら
スクレイピングを活用するにあたって、もちろん海外産のスクレイピングツールなどもありますが、先に述べたようにスクレイピングは常に法関連の知識をアップデートして活用しなければなりません。法関連に不安がある場合は自身で操作するツールよりも収集から活用までサポートのあるスクレイピングサービスをおススメします。
PigDataはこれまで多くの企業様に活用され、Webデータの収集・活用のお手伝いをしてきました。法律についても常にアップデートし熟知しておりますので、データ収集・活用にお悩みの際はご相談ください。
