【競合調査】RPAをスクレイピングで置き換え！売上向上につながる新サービスを展開

今回は競合調査として競合他社の見積りロジックを分析したいという、引っ越しサービスを提供するお客様の事例をご紹介します。
競合他社がどのような内容をいくらで出しているかを条件ごとに把握し、どの部分がサービスの核なのかを分析することで、競合他社の戦略を知ることができます。戦略を知ることができれば、今後競合がどのように動いてくるか、何を重要視しているかがわかるので、業界のダイナミクスを意識した決断をする場合に非常に役立ちます。
競合のWebサイトには自動簡易見積りをすることができますが、ダンボールの数、エレベータの有無、洗濯機の種類等、入力すべき項目が多量にあります。そのうち、どの項目を変えるとどのくらい見積もりが変わるのか、ということを科学的に分析することはどうしても作業量が多くなるため、人手では難しいという状況がありました。

RPAでトライ

少しリテラシーのある方であれば、RPAを利用して自動化することを思いつくのではないでしょうか。お客様も当初、「分岐条件をひとつずつ入力し、その結果出てくる見積り金額を抽出する」という何万通りもある作業をRPAを用いて実装しました。最初のうちはうまくいっていたのですが、「第三者システム（Webサイト）が関係するデータを抽出する」という業務部分で、エラーが発生するようになりました。RPAはシステム作業や操作を自動化するのに特化しているため、第三者システムであるWeb上で行う作業はサブ機能の扱いになっていることが多く、IPローテーション設定やデータ取得におけるルール設定において細かく設定をすることができないことがRPAでは失敗してしまった原因と考えられます。

この、「第三者システムが関係するデータを抽出する」ことができるのが、スクレイピングという技術です。多くの企業様が、「自動化といえばRPA」と捉えていますが、その例外として、第三者システム（Webサイト）が絡んだ場合は例外であるということに気づいていない場合が多いのです。
このお客様も、問題にぶつかってから調査を行った結果、弊社サービスPigDataにたどり着きご相談をいただくことになりました。

PigDataで解決

データ抽出業務の全てをスクレイピングで置き換え

Web上で行う作業が苦手なRPAに対して、スクレイピングはWeb上の作業に特化しています。IPローテーションはもちろん、データ収集のルール設定もWebサイトの特徴をチェックし、何パターンものデータ収集を同時に行うことができます。

今回実装しようとしていた作業は、まとめると3工程あります。

①複数分岐条件の入力（全パターン）
②出てきた結果を抽出
③条件と結果を整形してCSVで出力

当初お客様は②と③のみをPigDataに依頼する予定でしたが、対象のWebサイトを調査したところ、条件分岐の入力を含めた一連の流れをスクレイピングで置き換えることが可能だということがわかりました。

PigDataではWebサイトに負荷をかけないよう、対象となるWebサイトの規約にそったスクレイピングを実施します。条件分岐の結果、1サイトにつき数万回アクセスをすることもありましたが、弊社スクレイピングポリシーにのっとって適切な速度でお客様に必要なデータを抽出しました。

精度の高い整形

多くのサイトで結果表示される見積り金額は「〇〇円」ではなく、「最小値〜最大値」が表示されることが多く、ひとつのカラムに入れてしまうとデータとして分析がしづらくなります。
PigDataでは最大値と最小値のカラムを分けて整形できるため、その後の分析をより精密に行うことができました。

新しいサービスへの展開

このデータから、競合他社は家具・家電のサイズが大型でも小型でも大きく見積りは変えてない一方、衣装ケースなど誰でも所持していそうなものに対する費用はどの企業も一律で金額を設定していることが分析できました。そこから競合の多くは大型家具や家電を所持するファミリー層に手厚いプランを充実させていることがわかりました。1人暮らし向けについては、学生向けのプランなどはありますが、社会人1人暮らし向けについてはあまり充実していない状況です。ファミリー層の方が引越費用も高くなりがちなため、その層を獲得することに注力をおいていることがわかります。
そこで逆に1人暮らし層を一挙獲得するため、社会人1人暮らしの引越し事情についてアンケートをとったところ、1人暮らしにおける引越しの悩みが浮き上がり、これを元に新しい1人暮らし向けサービスを展開。これが好評となり1人暮らし層を獲得し、売上向上に繋げることとなりました。