近年はデータドリブン経営が注目されていることから、データ収集の方法をお探しではないでしょうか。特にDX担当者などデータを多く扱う部署に配置されると、多くのデータを収集する方法にお悩みのことでしょう。ただ、データ収集が必要だと考えていても具体的な方法がイメージできない人はいるはずです。また、効率的に正確なデータを収集する方法をイメージできないこともあるでしょう。今回は、企業のDX担当者などデータ収集が必要な方に向けてデータ収集の方法やそのときのコツ、意識すべき注意点などを解説します。

データ活用とデータ収集

近年は大量のデータを活用したデータドリブンな経営が注目されています。しかし、データを活用するところにだけ注目し、前提となるデータの収集には意識が向いていないケースが多いようです。一般的に、データ活用を進めたいならば、以下の順番で考えなければなりません。

最初に重要な作業として、データ収集が存在します。手元にデータがなければ、活用に向けて何かしらのアクションを起こすことはできません。データドリブンな経営は、データ収集をし大量のデータが揃って、初めて実現できるものなのです。データドリブン経営において、データ収集はデータドリブン経営の根底をなす非常に重要な最初のプロセスと考えましょう。なお、以下ではデータドリブン経営にはデータ収集が欠かせないことを踏まえて、さらに詳細を解説します。

データ収集の流れ

データ収集を計画する際は、どのような流れで進めれば良いか紹介します。

目的を明確化する

最初にデータ収集の目的を明確化しましょう。目的によって収集しなければならないデータが違うため、必ず決定しなければならない要素です。例えば「売り上げを5%増加させたい」「残業時間を平均1時間短縮したい」「新製品の開発に向けてアイディアが欲しい」などが考えられます。

なお、データの活用方法は無限大であるため「このような目的が適していて、このような目的は適していない」という明確な分類はありません。ただ、具体性に欠けると収集するデータが絞りきれなくなってしまいます。集めるデータを明確にするためにも、具体的な目的を決定する作業に力を入れましょう。

収集元を選定する

目的が明確になったならば、具体的なデータの収集元を選定しなければなりません。さまざまなデータを収集できるため、まずは多くのアイディアを出して、その中からブラッシュアップしていくと良いでしょう。

例えば「売上アップを目指す」という目的であれば、社内の売上情報や顧客情報などのデータを活用できます。また、同業他社を含めた、売り上げランキングや人気ランキングなどの社外データを活用することで外的要因も把握することや、製造原価や流通コストなどに関わる情報を収集して、各種分析に役立てることも考えられます。新製品を開発したいと考えるならば、SNSでターゲットとなる世代の発言を収集して、求められているものを分析できるでしょう。

このように、社内に存在するものだけではなく、社外のさまざまなデータを収集することが重要です。内部データと外部データを組み合わせることで、自社内外を見渡した戦略の策定が可能になり、より効果的なデータによる意思決定ができるようになります。

継続して収集できる体制を作る

データ収集に取り組む際は、継続して収集できる体制作りが必要です。多くの場合、一度だけで終了する取り組みではないため、繰り返せるように体制を整えておきましょう。

特にデータ収集では「現状の把握」「仮説の立案」「仮説の検証」と3つのフェーズが必要です。現状を把握して目的を達成するための仮説を立案し、それに沿ったデータを収集したり分析したりします。そして仮説が正しいかどうかを評価して、正しければその仮説をさらに深堀りするのです。逆に仮説が正しくなければ、新しく仮説を立てるために追加でデータ収集し、新しい仮説を検討します。

このように、何度もデータ収集したり分析・検証したりする可能性があるのです。また、繰り返し実施できるように担当者を育成したり、業務の割り当てを考慮したりするなどの体制づくりも求められます。

データの種類

データ収集にあたっては、データの種類を意識することが重要です。

内部データと外部データ

最初に重要な観点として、内部データと外部データがあります。それぞれ、具体例を挙げると以下の通りです。

内部データは、日々の業務で社内に蓄積されていくデータであると考えましょう。意図的に蓄積しているものはもちろん、継続的な経営によって自然と貯まっていくものも含まれます。基本的に社内で完結するもの、日々の業務で蓄積されたものが内部データであると理解して差し支えありません。
対して、外部データは公的機関が公開しているオープンデータやSNS・Webサイトから収集したWebデータなどが該当します。

データ収集やその活用においては、内部データと外部データの組み合わせが重要です。特に外部データは、内部データだけでは得られない市場調査などに役立ちます。内部データだけで補うことができない部分に掛け合わせて分析することによって、分析結果の精度を高められます。

定量データと定性データ

定量データと定性データもバランスよく収集しなければなりません。それぞれの例を挙げると以下の通りです。

定量データとは数値で表現され、計測や統計処理が可能なものであり、ビジネス分析で利用されやすいデータです。客観的な分析や比較が簡単で、グラフや表を用いて視覚的に分析したり、その結果を示したりすることも可能です。
対して定性データは、言語や記号などで表現され、複雑な感情や意図を理解しやすくするデータです。一般的には物事の特徴や属性などを示すことが多いものです。例えば、感情や意見、その人の経験など主観的な情報が含まれるものが該当します。

データ収集と分析にあたっては、その目的に応じてどちらのデータが必要か考えなければなりません。また、場合によっては、定量データと定性データの両方を組み合わせて、分析することも求められます。

データ収集のコツ

データ活用に向けてデータ収集を進める際のコツを紹介します。

収集作業の自動化・効率化を図る

できるだけデータ収集作業の自動化や効率化を図るようにしましょう。どのようなデータ分析が必要になるかという状況によりますが、多くの場合で、大量のデータを収集しなければなりません。この作業を人間が担当していると際限なく時間を要するため、自動化・効率化することを意識すべきです。

例えば、データ収集を効率化するために、Webサイトの情報を自動的にダウンロードするツールがあります。また、操作自体を自動化するために、RPAなどを活用することも可能です。データ収集の作業を自動化することによって、人間がやるべき事を最小限に抑えられます。

他にも、データを収集する作業や活用する流れを明確にしておき、それぞれの担当者が必要な場面で効率よく動けるような体制作りも重要です。

最新のデータを収集する

データ収集の際は、最新のデータを集めるように心がけるべきです。情報は常にアップデートを繰り返しているため、データ収集の際は最新のデータを収集できるように心がけましょう。陳腐化したデータを収集しても、思うように活用できないだけでなく、誤った結果を導き出すことになりかねません。例えば、以下のようなルールを定めてデータ収集を進めます。

ルールを定めておくことで、収集されたデータが最新のものであるか、客観的に評価しやすくなる効果もあるのです。

データ分析・活用しやすいようにする

データは収集することがゴールではなく、収集したデータを分析し、活用することがゴールです。そのため、データ分析や活用しやすいような環境を意識するようにしましょう。

例えば、事前にデータ分析ツールを導入しておいて、収集したデータを簡単に分析できる環境を作ります。また、分析結果を容易に理解できることが望ましいため、データをグラフなどに可視化するツールも導入しておくと良いでしょう。データ収集だけではなく、一歩や二歩先である分析や可視化、活用までを見据えて計画的に進めていくことが大切です。

データ収集の方法

データの収集方法は多岐にわたるため、その具体例を紹介します。

Webサイトからダウンロードする

Webサイトに公開されているデータをダウンロードして利用する方法があります。例えば、経済産業省は数多くの統計データを無料で公開しています。これらのデータから必要なものをピックアップし、他のデータと組み合わせて分析するなどです。
事前に収集されたデータを利用するため、自分たちでデータ収集する場合と比較してコストを抑えられます。ただ、用途に制限が設けられていたり、有料で販売されていたりすることもあるため注意すべきです。

スクレイピングを行う

Web上のデータを活用したい場合は、スクレイピングを実施することが考えられます。スクレイピングとは、Web上の文字列や画像URLなど、さまざまなデータなどを機械的に抽出する技術です。Web上には大量のデータが公開されているため、これらを自分たちが求める形式で収集することで、その後の活用に繋げられます。

スクレイピングは、ツールを活用して自分で実施する方法と、専門の代行業者に依頼する方法があります。小規模なスクレイピングであればツールを利用する方法も可能ですが、法律面などでリスクを抱えかねません。そのため、基本的には代行業者に依頼して、必要なデータを集めてもらうことを考えましょう。

ウェブAPIを利用する

公式からWeb APIとしてデータが提供されているならば、これを収集する方法も考えられます。

例えば、東京証券取引所は、上場会社などの適時開示情報をWeb APIで公開しています。これを活用することで、それぞれの会社から資料をダウンロードせずとも、必要なデータを簡単に取得できるような仕組みになっています。また、大手通販サイトのAmazonは、商品の売れ行き状況などを簡単に収集できるAPIを提供しています。

これらのAPIは一例ですが、企業側がデータを公開しているならば、それを活用した方が少ない工数でデータ収集できるケースがほとんどです。APIの利用にはコストが生じることもありますが、提供されているならば積極的な活用を検討しましょう。

RPAを活用する

パソコンの操作を自動化するRPAを活用してデータを収集することが可能です。人間ではなくRPAに作業を任せることで、作業時間が短縮され、人間は別の業務に注力できるなどの効果を生み出します。

例えば、ポータルサイトに掲載されている企業の情報を、それぞれ人間がコピーしてExcelなどに転記する作業は煩雑です。そこでRPAを活用してこの作業を自動化することによって、時間の短縮を実現します。作業が効率化できるだけではなく、その間に人間は別の作業に取りかかれるようになるのです。

ただ、RPAは基本的に明確なルールのもとでしか作業できません。細かな判断が何度も必要になるなど、人間の支援を求めるような作業にあまり向いていない点には注意が必要です。

IoT機器を使う

IoT機器を活用してデータを収集することが考えられます。例えば、オフィス内の廊下にセンサーを設置することで、何時頃にどれだけの人が通過するかの収集が可能です。これを利用することによって「社内の混雑を改善するためのアイディア」が生み出せるかもしれません。また、工業機器などにもIoT機器が組み込まれるようになっていて、製造した製品を認識したり、機器の異常を早期に発見したりするために利用されています。これらのデータも一元管理すると、さまざまな分析に活用できるでしょう。

データ連携ツールを使う

社内にデータが存在しているならば、データ連携ツールを活用して、データを収集しておくという方法も可能です。既に存在しているデータは改めて収集する手間がないため、可能な限り活用することをおすすめします。ただ、それぞれのシステムは連携を前提として構築されていないことが多く、データ連携ツールで収集作業を支援します。

また、データの連携にあたっては、ノイズとなるデータを排除しなければなりません。例えば、全角と半角が混在していたりデータが重複したりしている場合は、事前に削除するなどの処理が必要です。データ連携ツールは、そのような作業も担ってくれます。

データ収集の事例

データ収集の具体的な事例を紹介します。

ヤクルト

乳酸菌飲料のメーカーとして有名なヤクルトは、データ収集を活用してオランダでの売り上げを大きく伸ばしています。複数の情報源からデータを収集し、それらをデータ分析ツールで解析、その結果をマーケティングに反映していったのです。

具体的に、ヤクルトは内部で収集できる「広告キャンペーンのデータ」「Google内の検索に関するデータ」「自社サイトのアクセス数」「売店からの注文履歴」に加えて、外部データである「気象情報」なども組み込みました。これにより多角的な顧客分析ができるようになり売り上げの増加に大きく貢献しています。

イオングループ

小売業界大手のイオングループは、データ収集に役立つデータ分析基盤を構築し、その分析結果を踏まえた経営を続けています。非常に多くの店舗を保有し、大量のデータを収集できる企業であるからこその経営を続けているのです。具体的には、以下のようなデータを収集し経営へ役立てています。

グループ全体として幅広い事業を展開しているため、これらの内部データを多角的に活用していることが特徴です。また、内部のデータを収集するだけではなく、経済状況を絡めたり、SNSの投稿を解析した結果を反映させたりしています。イオングループほど巨大な企業であっても、社内に存在する内部データだけではなく、外部データを適切に収集し、これらを役立てているのです。

データ収集する際の注意点

データ収集にあたっては注意点があるため、以下を考慮するようにしてください。

セキュリティ対策を行う

データ活用に向けて複数のリソースからデータを収集する際は、セキュリティ対策を意識しましょう。運用に問題があると情報漏洩などのトラブルに繋がりかねません。

例えば、個人情報を含むデータソースを利用してデータ分析を実施するならば、適切なアクセス制御が必要です。個人情報の保護は法律で定められているため、漏洩するようなことがあると社会的な信用力を失ってしまいます。また、経営面での重要情報を取り扱う場合も注意が必要です。

別の観点では、マルウェアなどによってデータが流出しないように注意が求められます。データ分析に利用するデバイスが攻撃されると、社内の秘密情報が漏洩することになりかねません。セキュリティソフトを十分に導入して、最大限のセキュリティ対策を心がけましょう。

データの取り扱いに関する法律に気を付ける

データの取り扱いに関連する法律は多く、これらを遵守することが重要です。例えば、上記でも触れた個人情報は「個人情報保護法」などによって、適切に管理することが定められています。管理責任者などを配置して一定の条件で個人情報を運用しなければなりません。法律を意識してデータ活用しなければならないものがあるため、法規制の理解が重要です。

データ収集にかかるコストを把握しておく

データ収集には一定のコストが発生します。事前にどの程度のコストが発生するか算出し、その金額を把握しておくことが大切です。
例えば、データ収集の担当者に関わる人件費や専用のツールを利用する場合のライセンス費用など、コストがかかります。他にも、データ収集会社からデータを購入するとなれば費用が発生します。

どの程度のコストが発生するかは収集するデータの種類や量によって大きく変化する部分です。事前に必要なコストを把握して、予期せぬ出費とならないように注意しましょう。

データを収集し活用できる仕組みを整える

データ活用はデータを収集し分析やレポートとしてアウトプットするまでが一連の流れです。そのため、この流れで利用できるような仕組みを整えなければなりません。データ収集やデータ分析だけに力を入れても、効果的なデータ活用はできないのです。
また、それぞれのツールを単体で考えるのではなく、可能な限り一気に考えて導入することが理想的です。コストなどの都合で難しいことはあるかもしれませんが、全体を一気に考えた仕組みとすれば失敗が少なくなります。

⇒データ収集・分析を行いやすい環境を構築する

データ収集をするならPigDataがおすすめ

データドリブンな経営を実現するためには、最初のステップとしてデータ収集に着手しなければなりません。必要なデータが揃っていなければ、データを活用した経営を実現することは不可能です。

データには大きく分けて、社内にある内部データとそれ以外の外部データが存在します。データ活用を成功させるためには、質の高い外部データを収集して内部データと組み合わせ、分析の精度を高めることが重要です。

外部データを収集する際は、Webサイトのデータを自動的に収集するスクレイピングがおすすめです。弊社は、スクレイピング代行サービスを提供し、皆さんが必要とする形式でデータを提供しています。Webサイトから最新のデータを収集したいなどのご要望がありましたら、ぜひご相談ください。