WebスクレイピングとAPIは同じ機能の様に思われがちですが実は微妙に機能や用途が違い、
目的別に運用することで業務効率を大幅にアップする事が可能なのです。

今回はWebスクレイピングとAPIの概要と違い、得られるメリットや活用法を詳しくご紹介いたします。

WebスクレイピングとAPIの概要と違い

Webスクレイピングはネット上から収集者が必要と思ったデータを抜き出して抽出して収集し、人間が見やすい様に加工する技術の事を指します。
対してAPIは「アプリケーション・プログラミング・インターフェイス」の略語で、Webスクレイピングで言う所の収集先が、あらかじめ使って貰いたいデータをネット上に公開しています。
そして、収集者や使用者が提供者側とネット上で接続し、アクティブ化するために作られたインターフェースの総称を「Web API」(以下API)と言います。

例えば、GoogleやYahoo、ネット通販大手のamazon、SNSのTwitterやInstagramなども、膨大な通販情報や記事投稿を基に作られた独自のAPIがあり、利用者は非常に多いです。つまりWebスクレイピングは、サイト側が許可するか否かに関係なく、収集者側が主体となってデータを独自収集しますが、APIは逆にサイト側が使用者に対し、積極的にデータを公開するという違いがあるのです。

APIの主なメリット

APIで提供されるデータは共有化を前提に作られており、使用者側のメリットや活用の範囲が、Webスクレイピングよりもかなり大きくなります。

今回はその代表的な物を3つずつご紹介いたします。

アプリケーション開発を大幅に効率化できる

さまざまなアプリケーション開発を自社サーバー内だけで行うのは、セキュリティや業務効率の面から考えてもかなり大変です。
しかし、Googleが提供している「Google Cloud Platform」というアプリ開発に特化したクラウドサービスAPIに接続すれば、高いセキュリティ環境の下で、
効率的にアプリケーション開発ができる様になるのです。

複数のサービスと同時に連携できる

上でご紹介したGoogle Cloud Platformは、Googleが提供しているプラットホーム型API（複数のAPIと連携できるAPI）の１つですが、同時にGoogle Sheets APIを有効にすると、Google Cloud Platform上からGoogleスプレッドシートを読み取って、直接操作できる様になります。

GoogleスプレッドシートはGoogleがネット上に公開している多機能な表計算ソフトで、
複数のユーザーがネット上で同時にシートの内容を確認できるため、社内データの共有化などでとても便利に使えるアプリケーションです。

収集したデータを2次利用できる

例えばWebスクレイピングで入手したデータを、そのままネット上にアップする事は著作権法に抵触する可能性があり、場合によっては刑法に問われる事もあります。

しかし、APIに接続して入手したデータは、改変等を行わなければ基本的に2次利用可能なケースが多く、そのままネット上にデータをアップできるため、この特性を利用した下記のような新しいネットサービスが数多く生まれています。

APIの具体的な活用事例

SNSのAPIをランキングサイトに活用する

例えばSNS大手であるTwitterのAPIに接続して得たツイート内容は、そのままネット上で2次利用しても何ら問題ありません。何故ならTwitter側が2次利用を認めているからです。

有名なTwitterランキングサイトである「Togetter」は、TwitterAPIから得たツイート内容の1部を2次利用の形でまとめて人気になり、ネット広告で大きな収益を上げています。

大手ECサイトのAPIで在庫管理業務を効率化する

上でもご紹介していますが、ネット通販大手のamazonや楽天などは自社サイトに加盟するショップ向けに、独自のAPIを提供しています。
これらAPIを使えば加盟ショップは自社のみならず、競合他社の品揃えや商品価格などを自由に一覧表示することができ、在庫管理や商品の値付け業務を効率化できるのです。

交通系APIを観光情報サイトに活用する

ネット通販と同じ様に公共交通機関も利用者や関連企業向けに、さまざまなAPIを提供しています。
例えば、交通機関の経路検索で有名な「駅すぱあと」のAPIは鉄道やバス、空港や船の経路検索、合計の運賃などを表示できるので、旅行観光系のサイトに接続して運用すれば、大きなアピールポイントになるでしょう。

Webスクレイピングの主なメリット

APIの使い勝手がいいので「APIだけで十分」と思いがちですが、実はサイト側がAPIを提供していなければ使う事ができませんし、欲しいと思っているデータも一切入手できません。

そのような場合にとても役立つのがスクレイピングなのです。

欲しいデータだけを抽出して入手できる

APIは便利ですが、ある意味では「一方通行のデータ」であり、利用可能なサービスは提供者に依存するところが大きくなり、多用すると一社だけに業務を依存するなどの大きな弊害が生まれます。
しかし、Webスクレイピングはサイト側の許可が無くても収集者が独自にプログラムを走らせ、欲しいデータだけを抽出して入手できるため、APIよりも柔軟に幅広く情報を入手できるメリットがあるのです。

APIで収集できない情報が入手できる

APIは提供者が居なければデータの入手や使用は不可能です。逆にいえばAPIで収集できないデータは、Webスクレイピングで入手する必要があります。仮に、APIで提供されていてもそのデータが突然有料化されたり、接続に関する審査が厳しくなり使い辛い事があります。この様な場合もWebスクレイピングを利用してデータ収集すれば問題ありません。

自社開発できれば無料でデータ収集が可能

スクレイピングは難しいとお考えの方が多いかも知れませんが、実は個人レベルで使用している人も数多く、弊社の様に個人向けのスクレイピングツールを無償提供しているサイトが複数あるのです。
ただし高度な分析力や、使い勝手の良いWebスクレイピングツールを希望する場合は自社開発するしかありません。そして、1度開発に成功すれば完全無料で、さまざまなデータを独自に収集できる様になります。

Webスクレイピングの具体的な活用事例

物件データを収集し不動産情報サイトに活用する

現在の不動産会社は「SUUMO」や「センチュリー21」など大手不動産検索サイトに手数料を払って自社物件を掲載し、利用客を実店舗に誘導するという営業手法が一般的です。

しかし、これらのサイトから物件データをWebスクレイピングして不動産情報サイトを独自に作り、
利用客を呼び込む新しい手法が、いま注目を集めています。

やり方はまず、大手検索サイトの掲載記事の内容をWebスクレイピングでさまざまに収集して研究し、
自社物件の募集記事を新規に作成して自社のサイトに掲載します。そのまま記事の掲載を継続し、
サイトの検索順位を上位表示できる様にうまく運用すれば、サイトのアクセス数が大幅に上がり、
多くの利用客を呼び込める様になって、問い合わせや直接の取引が多くなり、それが増収増益につながるのです。これらは自社ブログと併用するとさらに効果的です。

株価を収集し投資業務を効率化する

株式投資で四季報をながめる時代はとうの昔に終わり、現在はネット上の株価情報を、
どのように選定して収集するかが、とても重要になっています。

例えば、東証や日経平均などの膨大な株価データの中からターゲットを絞り、Webスクレイピングで欲しい株価情報だけを抽出して有効活用すれば、投資業務を大幅に効率化できます。
またWebスクレイピングツールは株価をリアルタイムで監視することが可能であり、
急な暴騰や暴落などの非常事態にも、迅速かつ柔軟に対応できるのです。

求人情報を収集し転職サイトの立ち上げに活用する

現在の厳しい雇用環境を反映し、いまネット上では中間管理職やITエンジニアなど、特定の職種や職業に特化した転職サイトの立ち上げが活発になっています。この様な場合も、Webスクレイピングで「リクルートエージェント」などの大手転職サイトから必要な記事を抽出し、自社で掲載する記事の参考にすれば、サイトの立ち上げ業務がググっと効率化できるでしょう。

WebスクレイピングとAPIの使い分けが効率化のカギに

いかがでしたでしょうか？ご紹介したようにWebスクレイピングとAPIは、使用目的や用途を選んで活用する事が、業務効率化のカギになると思われます。
また、WebスクレイピングとAPIは幅広い業務に応用できるため、将来を見据えた新ビジネスの開拓や大胆な業態転換にも、大きな力を発揮できるはずです。

Webスクレイピング大全！これさえ読めばすべてがわかる