テキストマイニングは、マーケティングや宣伝・広告に対して有益な情報をもたらします。では、テキストマイニングとは、どのような技術なのでしょうか。今回は、テキストマイニングとはそもそも何か解説した上で、テキストマイニングでできることや分析手法をご紹介します。テキストマイニングやデータ活用に興味関心を抱いている方や、自社商品・サービスへのユーザーのニーズを知りたいと思っている方は、ぜひ参考にしてください。

テキストマイニングとは

テキストマイニングとは、「文章(テキスト)」を「マイニング(発掘する)」という言葉通り、文章からデータを収集することを指します。人工知能の技術であるディープラーニングを活用して、文章の中から有益な情報を抽出します。「データマイニング」と異なるのは、テキストマイニングはデータマイニングの中の一つの方法であり、画像や動画ではなく「文章(テキスト)」を分析の対象としている点です。

形態素分析とは

人工知能が文章を解析する方法として、「形態素分析」が挙げられます。形態素分析とは、一つの文章を細かく分解して、分析をする手法のことです。具体的な文章を例にして、形態素分析の方法を説明します。

例えば、「私は人工知能を活用して仕事を効率化します」という文章があったとします。この文章は、主語や述語、名詞や動詞などの最小単位(形態素)で構成されています。形態素に分解すると以下の通りになります。

こちらの形態素は、以下の品詞に分けられます。

テキストマイニングは、以上のように文章を最小単位の形態素に分けて品詞別に分けます。その後、データベースにある辞書と照らし合わせることで、活用形を割り出します。

テキストマイニングでできること

それでは、このテキストマイニングを使用すると、どのようなことができるのでしょうか。ここからは、テキストマイニングでビジネスに活用できる内容を、紹介します。

顧客のニーズ分析

テキストマイニングでは、顧客のニーズ分析をおこなうことが可能です。顧客のニーズを正確に把握するためには、アンケート調査に協力してもらって直接感想を聞き出すことやECサイトのレビューを参考にすることが最適な方法です。ECサイトのレビューを参考にする場合は、データ量が膨大です。テキストマイニングを活用することで、ECサイトのレビューから膨大な量のデータを収集できます。収集したデータから、顧客のニーズを分析すれば新しい商品やサービス開発にも役立てられます。
他にもアンケート調査で顧客のニーズを把握する場合、人間の言葉で記述されます。そのため、一様に「はい」「いいえ」などではっきりと分類することができません。そのようなデータに対しテキストマイニングを活用することによって、効率的に顧客のニーズを掴むことができます。

迷惑メールの判別

迷惑メールの判別も、テキストマイニングが活用されている具体的な分野です。あらかじめ、大量の迷惑メールや通常メールのデータをAIに覚えさせます。AI搭載のテキストマイニングツールを用いると、人間がメールを開封する前にAIが、迷惑メールなのか通常メールなのか判断して分類します。この技術によって、大きな問題となっている詐欺や迷惑なメールの多くを避けることができるようになりました。

投稿者の感情分析

テキストマイニングを活用すれば、X(旧Twitter)やInstagramなどSNSにコメントを投稿した方々の感情を分析することができます。Xをはじめとして、各種SNSでは度々炎上が発生します。テキストマイニングは、投稿されたテキストを分析することによって感情分析をおこない、炎上の原因や発生元を割り出すことにも利用できます。また、自社が扱っている商品やサービスに対する感情も、ポジティブな感想とネガティブな感想に分けて分析可能です。

チャットbotの精度向上

テキストマイニングは、チャットbotの精度向上にも活用されています。チャットbotは、人間のように24時間365日顧客対応ができる便利なツールです。しかし、チャットbotは人間と異なり、顧客からのさまざまな質問や要望に対して臨機応変に対応することができません。
そこで、会社に寄せられた顧客からの質問や要望をデータ化し、AIに読み込ませます。あらゆる言葉で寄せられた質問や要望に対して、学習をおこなったAIは臨機応変な対応が可能になります。

テキストマイニングで用いる分析手法

テキストマイニングでは、どのような分析手法が用いられているのでしょうか。ここからは、テキストマイニングの分析手法を解説します。

センチメント分析

センチメント分析は、顧客やSNS投稿者の感情を分析できる手法です。感情は大きく分けて3つに分類できます。「肯定的」「中立的」「否定的」です。既に販売されている商品やサービスに対して、どのような評価をしているのか把握することができます。そのため、自社の商品やサービスへの評価を分析するのに用いると効果的です。

共起分析

共起分析とは、文章の中に共通の言葉がどのくらい使用されているか確認して分析する手法のことです。共起分析をおこなうことで、顧客やSNS投稿者が商品やサービスに対してどのような言葉を用いて評価しているか把握することができます。
例えば、「スクレイピング」というキーワードに対して、「早い」「効率的」という共起する言葉があれば好意的な評価だと考えられます。一方で、「難しい」「禁止」などの言葉があれば、ネガティブな評価がされていると理解できます。

主成分分析

主成分分析は、膨大な量と種類のデータをシンプルに1つから3つの成分にまとめる分析方法です。この方法は、考慮することができない少数のデータは切り捨てることでもあります。複雑なデータをシンプルにするので、人間が分析するのに便利な形式です。分析を元に会社の将来の決断をおこなう際に有益です。

コレスポンデンス(対応)分析

コレスポンデンス分析は、別々の要素を抽出して要素同士の「関係性」を分析する手法です。要素同士の関係性を分析することで、最適解を選択することが可能です。例えば、商品の売上には多くの要素が関係します。「価格」「デザイン」「ブランド力」などです。これらの要素がどのように関係して、最終的な売上に至ったのか分析できます。
価格の上下によって、商品の売上個数は変動しますし、ブランド力によっても変動します。コレスポンデンス分析をおこなうことによって、会社がどこの要素に注目して問題を解決させていけば良いか方針が立てやすくなります。

クラスター分析

クラスター分析は、テキストマイニングで抽出した関係性の高い単語をカテゴリー分けする分析手法です。クラスター分析をすれば、顧客が商品やサービスのどのような点に注目していて、どのような評価をしているか把握可能です。
例えば、インターネット上のビジネスソリューションサービスへの評価をクラスター分析する場合、値段に関しては「安い」「手ごろ」「コスパ良し」などの言葉が抽出できます。他の要素である操作性に対しては、「使いやすい」「初心者向け」などの言葉が取り出せます。クラスター化させた言葉によって、商品やサービスへの評価を分析できます。

テキストマイニングのやり方

ここからは、テキストマイニングのやり方を段階に分けて解説します。きちんと段階を踏まないと、自社にとってテキストマイニングの活用ができませんし、有益な成果を得ることはできません。

テキストマイニングの目的設定をおこなう

テキストマイニングをはじめる前に必ずすることは、活用の目的設定を行うことです。テキストマイニングは便利な方法であるだけに、用途もさまざまです。市場のトレンドを分析することや、商品レビューから顧客の評価を把握することも可能です。また、チャットbotの融通性を向上させるために用いることもあります。
そのため、会社の目的を明確にすることで、道具や手段であるテキストマイニングをより効果的に活用することができます。

仮説をたてる

テキストマイニングの使用前には、仮説をたててから作業をはじめることも大事な要素です。ある程度の仮説を設定しておけなければ、どのような種類のデータを収集すればよいのかわからず混乱が生じます。
例えば、商品の改善をおこなうためにテキストマイニングを活用することを目的とします。そして仮説として、商品のかたちに使いにくさや不満があるのではと仮説しておきます。その仮説を持ってレビューをテキストマイニングで分析します。そして、仮説上の改善点と照らし合わせてください。

データ収集をおこなう

目的と仮説の設定が終わったら、データ収集の段階に入ります。テキストマイニングによる分析の精度を向上させるためには、データの量が大切です。すでに自社にあるデータから多くのテキストデータを収集するのは大変なので、インターネット上に掲載されていて、自社に有益と思われるデータをなるべく多く収集するとよいでしょう。
スクレイピングなどの方法を活用して、テキストマイニング用のデータをより多く効率的に収集することをおススメします。

データの前処理と加工

データを収集した後は、前処理と加工の段階です。収集した生のデータは、そのままの状態では分析に使用できません。テキストマイニングをおこなう場合、最小単位の単語(形態素)に分割しなければいけません。さらに、誤字や脱字、重複などの不要なデータは削除します。データの前処理と加工が終われば、分析が可能です。

データ分析と検証

テキストマイニングによるデータ分析の後は、実際の事象と実践を通して検証をおこないます。データ分析の結果は、実際の結果ではなく机上の結論であり仮説です。この仮説である結論を商品やサービスの更新に活かします。そして、市場に公開した後で、再度顧客からのレビューなどを参考にしてこれまでのプロセスを繰り返します。テキストマイニングは、これまでに解説したプロセスを繰り返すことで精度が向上します。

テキストマイニングを用いた事例

テキストマイニングは、既に多くの企業で活用されています。ここからは、テキストマイニングを活用している具体的な事例を紹介します。

「感謝」の声をカウント

顧客との電話やメールでの対応を代行している情報工房(株)では、テキストマイニングを活用してサービスの精度を高めています。電話対応やメールでのやり取りをテキストマイニングによって分析し、感謝を表している表現を抽出します。特に、顧客からの感謝が多いとされている従業員を評価するキャンペーンをおこないました。このキャンペーンによって、従業員のサービスの精度を向上させることに成功しています。

学校の授業に活用

文部科学省の報告によると、テキストマイニングは教育の現場でも活用されています。小学校では授業の後にアンケートを募り、その後テキストマイニングによって生徒たちの反応を分析します。テキストから抽出された単語によって、教師と生徒たちが共に授業の振り返りをおこなっています。テキストマイニングによって、生徒個人の感想とクラス全体の感想とを比較検討する機会をつくることができています。

未来予測に活用

テキストマイニングは、将来のトレンド予測にも活用されています。SNSやECサイトの購入者レビューには、膨大な量のコメントが寄せられています。これらのビッグデータをテキストマイニングによって分析します。商品やサービスへの評価は、顧客の要望やトレンドを予測するための有益なデータです。この顧客の声を反映した商品が様々な企業によって開発されると予測できます。テキストマイニングを活用すれば、将来のトレンドを先読みし、顧客の声を反映した新しい企画や商品の開発を有利に進めることが可能です。

テキストマイニングができるツール

テキストマイニングは、ツールを活用すると効率的です。ここからは、テキストマイニングができるツールを紹介します。

VextMiner

VextMinerは、大量のデータを自動で読み込むことができるテキストマイニングツールです。VextMinerは、自動学習と自動分類をおこなうことができる機能が搭載されています。さらに、類似している話題を分類して、人々の意見や感想を自動でカウントしてくれます。

Excel

Excelでも、テキストマイニングをおこなうことは可能です。Excelは、誰もが無料で使用することができるツールです。文章を最小単位の形態素に分けることで、単語をカウントできます。Excelに搭載されている機能を使用すれば、カウントした単語をグラフや表にまとめて集計してデータを残せます。

TextVoice

TextVoiceは、類似している言葉を辞書化する機能があるテキストマイニングツールです。会社への問い合わせや実施したアンケートのデータから、顧客のニーズがわかります。SNSへの投稿データから、市場のトレンドを予測して新しい企画考案に活かせます。

まとめ

テキストマイニングは、口コミやアンケートから顧客のニーズを分析するのに役立ちます。加えて、分析結果の精度を向上させるためには、データを大量に収集することも大切です。しかし、Webサイトなどの膨大なデータから、会社が求めている有益なデータを収集するには、時間も手間もかかってしまいます。また、データ収集に時間を取られてしまうと、分析や新たな企画開発に割く時間が無くなります。そのような場合は、スクレイピングで効率的に口コミやWebデータを収集することが可能です。スクレイピングにお困りの方は、PigDataにご相談ください。