Webスクレイピングサービスやデータ活用において、海外は日本よりもすすんでいるといえます。また、データ活用は世界中で推進されており、ビジネスにおいて今後より重要となってくるでしょう。
そこで、本記事ではデータ活用先進国である欧米のスクレイピングサービス企業とその活用方法、事例をご紹介します。
目次
海外のWebスクレイピングサービス企業
①HelpSystems (USA)
| 企業概要 | |
|---|---|
| 企業名 | HelpSystems |
| 製品名 | AutoMate |
| 設立年 | 1982 |
| 本社拠点 | ミネソタ州、アメリカ |
| 調達ステージ | Private Equity |
| 調達額 | $26 Million |
| URL | https://www.helpsystems.com/product-lines/automate/use/data-scraping-extraction |
【サービス内容】
HelpSystemsはWebスクレイピング市場でもTOP5の売上に入ると言われており、スクレイピングに限らず、あらゆる自動化を提供しています。
いわゆるRPAを主力製品として抱えており、そのコンポーネントとしてWebスクレイピングやデータスクレイピングサービスを提供しています。スクレイピングについて、ノーコーディングで誰でもスクレイピングを可能にすることを強みとしています。しかし、クライアントの要望に合わせてWebスクレイピングを代理で行うサービスは提供していません。
【スクレイピング提供形態】
オンプレミスでの提供、クライアントの端末にソフトウェアをインストール
【活用方法】
幅広い業界に利用されており、RPAツールに統合されているため抽出から様々な出力方法を提供しています。
例えば、大量のコロナウィルス患者情報を政府機関に報告するためSAPシステムのデータをスクレイピングし政府機関のシステムにコピーする、PDFやWordの履歴書のデータをスクレイピングし自社ERPシステムの出力する、Web上のファイルをダウンロードしクライアントのFTPサイトにアップロードする、など多様な場面で利用されています。
【主要顧客】
Aldergrove Financial Group, Preferred Health Professionals, Mindbeam Technologies, First Credit Union in British Columbia, Vestcom International, Prime Liberty Benefits, University of Tampa, CNLBancshares, World Precision Instruments, BJ’s Restaurants, Globe Pequot Press, Accudata Technologies, Norton Healthcare, Pacific Toxicology Laboratories
②ParseHub (Canada)
| 企業概要 | |
|---|---|
| 企業名 | ParseHub |
| 製品名 | ParseHub |
| 設立年 | 2015 |
| 本社拠点 | トロント、カナダ |
| 調達ステージ | Seed |
| 調達額 | N/A |
| URL | https://www.parsehub.com/ |
【サービス内容】
Parsehubは無料で使えるWebスクレイピングツールを提供しています。Parsehubデスクトップアプリケーションをインストールし、ノーコーディング、クリックのみでスクレイピングが可能となるシンプルな設計となっています。実際にデータをスクレイプするのはクラウドサーバ上であり、取得データもクラウド上に格納されるためクライアントは自身のパソコンのスペックを気にせず利用できます。取得したデータはExcelやDBに格納出来るほか、APIで他のアプリに連携することも可能です。
【スクレイピング提供形態】
デスクトップアプリ
【活用方法】
幅広い業界で利用されていますが、マーケティングでの利用が多くみられます。
例えば、Amazonで売られているプロダクトのデータ収集、不動産リストの情報（価格など）収集、Web上で公開されているリード顧客の収集などが主な利用用途にあります。
【主要顧客】
HIK、Heddels、Gio Global Intelligence、MultiSport Research、Comperio Research、Frootbat、Vin & Wine inc、など
③eGrabber (USA)
| 企業概要 | |
|---|---|
| 企業名 | eGrabber |
| 製品名 | LeadGrabber |
| 設立年 | 1999 |
| 本社拠点 | サンホセ、アメリカ |
| 調達ステージ | N/A |
| 調達額 | N/A |
| URL | https://www.egrabber.com/ |
【サービス内容】
eGrabberはリードジェネレーション（潜在顧客の発掘）を専門としたWebスクレイピングサービスを提供する米国企業です。
好みの検索条件を指定するだけでLinkedinなどのWeb情報から潜在B2BクライアントのリストやCEOなどのエグゼクティブのリストを作成することができ、汎用的なWebスクレイピングサービスよりも確度の高い情報を収集できます。
例えば、潜在顧客の会社Emailを取得する際に、ただの表層だけのGoogleサーチではなく深層までサーチを行い、企業の正しいEmailドメインを見つけることも可能となります。この機能は特許を取得しており、他社に比べ約30％も精度の高いEmailドメインを取得できます。定期的にスクレイピングすることで以前取得したデータの更新も行うことができます。
【スクレイピング提供形態】
デスクトップアプリケーション
クラウドの提供はなく、そのため潜在顧客データをeGrabberが保有することはありません。
【活用事例】
WorldBridge Partners
エグゼクティブレベルのリクルートサービスを提供するWorldBridge Partnersは、適したエグゼクティブ候補をSNSから探し出すためにeGrabberを利用しました。通常エグゼクティブレベルを探し出すには6ヶ月もの時間を費やしますが、eGrabberを利用することで時間を1/4に短縮することに成功し、単純に売上が4倍に成長しました。
【主要顧客】
DHL、Honeywell、Microsoft、Oracle、salesQB、BeRelevant Group、Pierpoint International、Paul Doran Sales Consultancy Ltd、viLogics、など
④Dexi.io (United Kingdom)
| 企業概要 | |
|---|---|
| 企業名 | Dexi |
| 製品名 | Digital Commerce Intelligence Suite |
| 設立年 | 2015 |
| 本社拠点 | ロンドン、イギリス |
| 調達ステージ | Seed |
| 調達額 | N/A |
| URL | https://www.dexi.io/ |
【サービス内容】
Dexi.ioはEC業界を中心にターゲットとしており、コアとなるWebスクレイピングサービスに加えてBIやデータ分析、データフィード機能などを提供するイギリスの企業です。
提供しているスクレイピングサービスはクラウドサービスであり、ユーザはWebブラウザからRobotを組み込むことが可能です。カスタマーが自分で構築するほか、Dexi.ioがユーザの要件どおりにRobotを開発することできます。
Dexi.ioは様々な付加サービスを提供することで差別化を図っています。例えば、Buy Now機能は、特定プロダクトの価格をモニタリングしコンシューマーが最安値で買うための購入ボタンをWebsiteに配置します。また、Smart Feeds機能では、競合他社の動向を分析しインサイトとして提供できます。
【スクレイピング提供形態】
Webアプリでの提供
デスクトップバージョンの提供はありません。
【活用事例】
Telco
各国で通信サービスを提供するTelcoは、Dexiのスクレイピングサービスを活用してEUにおける競合の通信サービス企業の製品データを抽出、分析結果に応じた動的な価格体系の提供に成功しました。コスト削減の他、業界に応じた細かなバンドルを提供しています。
グローバル航空会社
国際的な航空会社はDexiのサービスにより競合他社の価格データを抽出し、エンドユーザーの意思決定に影響する適切な価格設定やキャンペーンについてのインサイトを得ることに成功しました。
【主要顧客】
Walmart、Samsung、Nestle、Coca Cola、Homedepot、vodaphone、など
⑤Import.io (USA)
| 企業概要 | |
|---|---|
| 企業名 | import.io |
| 製品名 | import.io |
| 設立年 | 2012 |
| 本社拠点 | カリフォルニア州、アメリカ |
| 調達ステージ | シリーズB |
| 調達額 | $38.3Million |
| URL | https://www.import.io/ |
【サービス内容】
約$38 Millionの資金調達に成功したImport.ioはWebスクレイピングを提供する企業の中でもTOPに位置づけており、拡大を続けています。
import.ioはAmazonなどのマーケットプレイスや旅行関係、イベントチケット販売などのEC系Websiteを対象に利用されています。
Import.ioのWebデータ抽出成功率は他社に比べ2倍高いと言われています。その理由として、Import.ioは独自の方法でインターネットトラフィックを管理し、Robotがスクレイピング対象のWebsiteでブロックされないようインターネットProxi設定を変更管理する仕組みを組み込み、必ず少量のトラフィックからスクレイピングを開始し、動的に変更しながらスクレイピングの動きに変化がないか分析し、都度対応できるようにしているためだと考えられます。
【スクレイピング提供形態】
クラウドサービス（SaaS）
【活用事例】
投資会社
Import.ioは複数の投資会社や証券会社、投資銀行を顧客として抱え、意思決定に必要なデータ取得に貢献しています。例えば、ある投資会社は小売業界のリアルタイムな動きや、大手ストアの新規開店や閉店、などの情報収集に利用しています。
Classic & Sports FInance
クラシックカーや高級スポーツカー専用のFinanceを提供するClassic & Sports FInanceは、適切な市場価格を抑えるためImport.ioを利用しています。特にオークションデータをスクレイピングし、価格設定に大きな開きはないかチェックするために活用しています。
【主要顧客】
PwC、Momentum Commerce、Win Warehouse、Bubbly、The Hackett Group、Meidata、parrantan.se、など
⑥Oxylabs (Lithuania)
| 企業概要 | |
|---|---|
| 企業名 | Oxylabs |
| 製品名 | Proxies, Scraper API |
| 設立年 | 2015 |
| 本社拠点 | リトアニア |
| 調達ステージ | N/A |
| 調達額 | N/A |
| URL | https://oxylabs.io/ |
【サービス内容】
ProxyサービスとスクレイピングサービスをAPIで提供するリトアニアの企業です。Proxyサービスでは自社で1億種類以上のIPアドレスを割り当てることを可能としており、Webスクレイピングの信頼性を高めています。
例えば Residential ProxyではISPが提供するIPを活用し、IPをローテーションすることであたかもリアルな人間がアクセスしているように見せかけています。これによりIPブロックとCAPTCHAブロックをバイパスすることができ、99.2%のスクレイピング成功率をほこっています。
またDatacenter Proxyサービスではサーバに常駐するソフトウェアで大規模なスクレイピングを同時にセッションを開いて行いたい場合、2百万以上のIPアドレスを用いて99.9%の成功率を達成しています。また、OxylabsのProxyサービスは他社のScrapingツールと合わせて利用することが可能です。またスクレイピング機能はAPIとして提供され、様々なアプリと統合が可能であり、Proxy機能がデフォルトでついてくるため成功率が高いことを強みとしています。
【スクレイピング提供形態】
Proxyサービスは常駐型のソフトウェア
WebスクレイピングはAPI
【活用事例】
Trivago
格安でのオンラインホテルブッキングサービスを提供するTrivagoは、現地の適切な価格を得るためにProxyサービスを利用しています。ホテルの価格は場所によって海外から調べた時の価格と現地から調べた時の価格が異なることがあり、海外か現地かどうかはIPアドレスによって判断されています。比較的安い現地での価格を得るために、OxylabsのProxyサービスを利用してIPアドレスを適切に付与しています。
【主要顧客】
Trivago、Datametrics、Searchmetrics、Morningscore、Web Robots、など
⑦Zyte
| 企業概要 | |
|---|---|
| 企業名 | Zyte (formerly Scrapinghub) |
| 製品名 | Zyte |
| 設立年 | 2010 |
| 本社拠点 | アイルランド |
| 調達ステージ | Debt Financing |
| 調達額 | ＄3M |
| URL | https://www.zyte.com/ |
【サービス内容】
Oxylabsと同様ZyteはProxyサービスとWebスクレイピングサービスを提供しています。Oxylabとの違いは顧客の要件を聞いてプログラム開発と管理まで行うところです。
もちろんユーザー自身で開発することも可能となります。ZyteはGDPRなどの法的問題のレビューをサービスとして提供しています。価格体系はStandard（$400/月)とCustom($1000/月)の2つあり、いずれもLegalレビューはサービスとしてついてきます。Proxyサービスは別に料金体系があり、安いものは月$29から利用可能です。価格体系を明瞭にし、またスクレイピングに失敗したら課金しない方針にしていることが特徴的です。
そして法的な問題についても対応するとして透明性をあげています。また、多くの企業がE-Commerceを焦点にするのに対し、Zyteは金融業界での利用も強みとし、意思決定に必要なデータの抽出を要件に応じてサービスのカスタマイズを提供しています。
【スクレイピング提供形態】
API、クラウドでの提供
【活用事例】
Debank EU
メディアを通して拡散されている情報に偽情報がないかを分析しレポーティングするDebank EUはニュース情報収集にZyteを利用しました。40言語以上のニュースを1月で約150万件取得に成功し、より精度の高い記事を多くレポートすることに成功しています。
【主要顧客】
Gartner、Warner Music Group、StepStone、Gladstone Capital、Allegis、mercado libre、Liwango、Peek、Bridge Below、Debank EU、Kinzenなど
⑧Mozenda
| 企業概要 | |
|---|---|
| 企業名 | Mozenda |
| 製品名 | N/A |
| 設立年 | 2007 |
| 本社拠点 | ユタ州、アメリカ |
| 調達ステージ | Seed |
| 調達額 | $1.5M |
| URL | https://www.mozenda.com/ |
【サービス内容】
Mozendaはどのデータが必要かを伝えるだけでMozendaが全て対応する代行形式でスクレイピングサービスを提供しています。
また、データを取得するだけでなく、データをユーザーがデータ分析や意思決定にすぐにでも利用可能な状態に加工するところまで行っています。ユーザーは質の高いデータを取得できるとして非常に人気が高く、Fortune500の1/3もの企業が利用しています。そのビジネスモデル上価格は取得したいデータや頻度によって変動します。
ソフトウェアも提供し、ユーザーはコーディングをする必要がなく、クリックだけでスクレイピングが実現可能となります。ソフトウェアはクラウドとオンプレミスで提供し、オンプレミスはデータを自社内のプライベートな環境で保持できるため、HIPAAなどのプライバシー保護法に対応できます。
【スクレイピング提供形態】
代行サービス
ソフトウェア
【活用事例】
XT Outfitters
スケートボードのEC企業であるXT Outfittersは新商品情報の収集や商品プロファイルの正確な情報管理、競合他社との価格調査にMozendaを利用しています。競争力を上げると主に、アウトソーシング費用を何万ドルも削減することに成功しました。
Aimclear
デジタルマーケティング企業であるAimclearはMozendaを利用したデータ収集を行い、ペルソナの作成に利用しています。このペルソナを中心人物と仮定したデジタルマーケティングを行い、リードジェネレーションやプロモーションに成功しています。
【主要顧客】
Tesra、Marriott、Target、AMD、Oracle、Johns Hopkins University、Bank of America、Barnes & Nobles、Orbitz、CNN、Toro、HSBCなどFortune500のうち1/3が利用
⑨Octparse Data Inc
| 企業概要 | |
|---|---|
| 企業名 | Octparse Data Inc |
| 製品名 | Octoparse |
| 設立年 | 2016 |
| 本社拠点 | カリフォルニア州、アメリカ |
| 調達ステージ | N/A |
| 調達額 | N/A |
| URL | https://www.octoparse.com/ |
【サービス内容】
Octparse Dataは誰でもが簡単にノーコーディングでスクレイピングを可能とするプラットフォームを提供するスタートアップ企業です。
IPローテーション機能も提供し、IPブロックを防いでいます。またスクレイピングをサービスとしても提供し、要件に応じたスクレイピングの実装を行います。
【スクレイピング提供形態】
クラウドサービス
【活用事例】
Officelab
日本のEC企業であるOfficelabはWeb上の製品データの収集にOctparseを利用しました。マニュアルで1週間かかっていたデータの収集がわずか10秒に短縮され、その分取得可能なデータ量も600倍に増えました。
Amazonのリセラー
EC業界で大手企業に勝つにはAmazonの膨大かつ最新のデータを取得する必要がありましたが、他社のスクレイピングツールではCAPTCHAブロックにかかり思うようにデータを取得できませんでした。しかし、OctparseのIPローテーションによりCAPTCHAブロックにかからなくなり、Amazonのリセラーはデータを活用して価格調整などを行うことができるようになりました。
【主要顧客】
EpicMobile inc、Marketing Synergy Pty Ltd、Hanyang university、Deltaautoparts.co.uk、Dealogic、Colserauto、Officecab、The University of Texas、Blind Rivet Supply、など
⑩CrawlNow
| 企業概要 | |
|---|---|
| 企業名 | CrawlNow |
| 製品名 | CrawlNow |
| 設立年 | 2007 |
| 本社拠点 | カリフォルニア州、アメリカ |
| 調達ステージ | N/A |
| 調達額 | N/A |
| URL | https://www.crawlnow.com/ |
【サービス内容】
CrawlNowはスクレイピングサービスを提供し、顧客の要件に合わせてデータ取得と他サービスとの統合まで行います。
JobはCrawlNowのクラウド環境で行われます。カスタマーサービスに高評価を得ており、初回数時間のミーティングのみで要件どおりにデータ取得を行い、エラー対応等も迅速に行うことが要因です。主要顧客のほとんどは中小企業となります。
【スクレイピング提供形態】
スクレイピングサービス
【主要顧客】
Chegg、Educative、Turnkey Vacation Rentals、Buy Verde、University of Coloradoなど
まとめ
欧米諸国でスクレイピングはツール、サービスと多様なかたちで提供され、多くの企業に活用されています。その活用方法はECだけではなく、金融やマーケティングと幅広いジャンルであり、多くの利益を生んでいます。
セルフサーブのツールの中には日本語版のツールの提供もはじめましたものもありますが、ツールのみでは取得できるデータに限界があるようです。確実にデータ取得をしたい場合はサービスとしてカスタマイズできる形式を提供している企業がおすすめです。もちろん、英語で海外企業とやり取りすることも可能ですが、日本の法律関連などに詳しいかは定かではありません。
日本国内でスクレイピングを活用する場合は日本のスクレイピングサービスがおすすめです。PigDataは日本で提供するスクレイピングサービスとして多くの企業様に活用されてきました。スクレイピングを活用したいとお考えの場合、一度ご相談ください。
