PigDataロゴ

お問い合わせ
  • サービス&ソリューション
    • スクレイピング代行サービス
    • 物件比較ツール「Mekiki」
    • Webサイト監視ツール「TOWA」
    • 最新営業リスト作成・管理
      ダッシュボード
    • SNS分析サービス
      「SocialAnalyst」
    • Tableau構築支援サービス
    • シフト自動最適化AIソリューション
      「Optamo for Shift」
  • 導入事例
  • ブログ
  • 運営会社
  • 資料ダウンロード
  • お問い合わせ
  • プライバシーポリシー
  • セキュリティポリシー
  • トップに戻る
PigData > ブログ > 焼肉・寿司サイトを監視せよ
~人は機械にどれだけあらがえるかシリーズ ~
佐々木の挑戦ブログバナー
佐々木の挑戦ブログバナー

焼肉・寿司サイトを監視せよ
~人は機械にどれだけあらがえるかシリーズ ~

2022.11.30
  • 社員渾身ブログ

スクレイピングを得意とする企業に入社した新入社員佐々木。
配属後はや半年を過ぎたが、まだその効果について疑問をもっている模様。
そこで佐々木がとった行動は・・・

目次

  1. こんにちは、佐々木です。再び登場です。
  2. インディゴデータ(IDD)についてのおさらい
  3. 人は機械にどれだけあらがえるのか?
    1. 特定サイト監視対決!!
    2. 実際にやってみた
    3. 一方 TOWA(Webサイト監視ツール)は
  4. 結論: TOWAの更新チェック最強やで!
  5. 対戦を振り返って
  6. 佐々木の挑戦はさらに続く

こんにちは、佐々木です。再び登場です。

みなさん、こんにちはインディゴデータの佐々木です。
以前の記事では、わたくし佐々木が体当たりで機械と対決をしたわけですが、その記事が42.62%という驚異の低離脱率を記録しまして(サイト平均は秘密)、皆様の民意にお応えすべく、第二弾ということでさらなるチャレンジをすることと相成りました。

(毎度おなじみ、IDDの佐々木です)

インディゴデータ(IDD)についてのおさらい

第二弾ではあるのですが、あらためて入社して半年たった私が
簡単にインディゴデータをご説明。

  1. SMSデータテックの戦略的子会社
  2. オープンデータを独自のスクレイピング技術&分析で顧客に提供
  3. 最近ではSAAS型のサービスも展開して、よりスケーラブルに事業をしている(New!)
(私の成長ポイントとしては、
3点でまとめるようになったことです。)

人は機械にどれだけあらがえるのか?第二弾にあたり

さて、前回は焼肉店のリスト収集という、
よく考えれば絶対にスクレイピングが勝つでしょというテーマを選んだ結果、惜敗を喫してしましたわけですが、

今回はやや趣向を変えてみようと思います。
今回は私の土台である弓道で培った一瞬の機微を見逃さない集中力を発揮し、なおかつ得意な土俵で戦おう、そういうわけです。

3点でブレイクダウンして申し上げると

  1. 機微を見逃さない
  2. 焼肉が好き(食べたい)
  3. 寿司も好き(食べたい)

この3つのポイントをそろえた勝負に挑みます。

特定サイト監視対決!!

ということで、第二回のテーマは
「新メニューを見逃すな!サイト監視対決」!!!!!

今回は、何千というリスト収集というものではなく
厳選した私の好きな飲食店(焼肉/寿司)で、
不定期に更新される新メニューをチェックするという、スクレイピングではやりづらそうなテーマです。勝てます。

私が厳選した各ジャンル10店舗一覧がこちら!

焼肉 寿司
牛角 スシロー
すたみな太郎 くら寿司
安安 すしざんまい
焼肉 高句麗 かっぱ寿司
牛繁 すし銚子丸

完璧なラインナップです。飲食店の新メニュー更新のタイミングって不定期で、即座に気づくのは難しいですよね。

焼肉/寿司好きの私としては、誰よりも早く知りたい。
そして、食べたい。
この強い思いは、機械には再現できないのです。

(社長、焼肉おごりはまだですか)

具体的なルールとしては簡単で、
毎日Webサイトをチェックして、具体的にどのメニューが更新されたかをリスト化する。以上。

さあ、よーいスタート。本日(10/18)から戦闘の火ぶたは切って落とされたのです。

実際にやってみた

  1. リストのURLをたたく
  2. Topページとメニューページをのぞく
  3. メニューをエクセルに貼りだす

前回のリスト作成と違って、なんかもっと地味だな。
・
・

あー、すたみな太郎好きなんだよね。
この中落カルビは無限に食べれるんだよね。

メニュー一覧をコピペで・・

スチャッ

(ctrl + C)

ターン!

・・・
・・・

スチャッ

(ctrl + C)

ターン!


・・・
・・・
30分経過
・・・
・・・

まあ、リスト作りと比べて10店舗のメニューをコピペするのは楽勝です。
さあメニュー更新を見つけ出すのは明日からです。

佐々木の工程(二日目以降)

  1. リストのURLをたたく
  2. Topページとメニューページをのぞく
  3. メニューをエクセルに貼りだす
  4. 前日との差分を気合いで見つける

1~3:割愛

さて、本日もだるいコピペ作業もおわりました、と。
ここからです。
更新されたメニューがあるかどうか。

・・・
・・・
・・・

ん?


んん?


無い。



新メニュー更新がない。

・・・
・・・
・・・


気を取り直して、ほかの店・

・・・
・・・


無い。

いや、無い、よね。

微妙に変わったところも、ない、よね?


・・・
・・・

いやー、シンプルに新メニューが出てくれればいいのですが
更新が本当に無かった確証を得るのは、まさに悪魔の証明ともいうべき哲学的難問であることに気づき始めましたよ。私は。

これは、苦行です。

・・・
・・・

あった!!
ついにあった!!!

スシロー!!ついに更新しおったな!!!
私、佐々木の目はごまかされないぞ。

・・・
・・・

2日目は結局目を皿にして見てみたけど、スシローのみ(のはず)
これはリスト作成より、丹力を鍛えられます。


~3日目~

・・・
・・・

そこには黙々と、メニューを眺める佐々木の姿があるのであった。

ねーな。今日はゼロだ。1時間以上かけて更新ゼロだ。。


状況はこちら。

店舗名10/1910/20
牛角獲れ高無し獲れ高無し
すたみな太郎獲れ高無し獲れ高無し
安安獲れ高無し獲れ高無し
焼肉 高句麗獲れ高無し獲れ高無し
牛繁獲れ高無し獲れ高無し
スシロー新メニュー追加!獲れ高無し
くら寿司獲れ高無し獲れ高無し
すしざんまい獲れ高無し獲れ高無し
かっぱ寿司獲れ高無し獲れ高無し
すし銚子丸獲れ高無し獲れ高無し

未だ沈黙を貫く焼肉店。
ファーストペンギン(最初に飛び込むペンギン)であるスシロー。それに続くはだれなのか。

~4日目~21日目~

・・・・
・・・・

(この修行のような工程を踏んで、佐々木は悟りを開きました。)

・・・
・・・

一方 TOWA(Webサイト監視ツール)は

0.対象となるWebサイトを指定して、取得項目を設定

管理画面写真

マウス操作で直感的に設定をできるのが、TOWAの使いやすさの一つなんですって。

1.モニタリング開始

Towa 登録一覧画面

2.翌日からアラートが自動で!

3. なんと変更部分が一目瞭然

おお、スシローまさかの注意書きだけの更新!!

スシロー カロリー変更



結論:TOWAの更新チェック最強やで!

TOWA: 更新把握リスト

なんと、値上げや表記変更みたいな細かな変更あったとは・・
そして、沈黙の焼肉屋。

佐々木: 痛恨の新メニュー見逃し

痛恨の新メニュー見逃し。集中力の限界か。
さらに注意書き変更は気づかないですよ・・
1日1時間のチェックが無為に消費されました。

サイト更新把握は、人のやる所業じゃない。
機械で安心、正確にっっ!!!!!!

対戦を振り返って

サイト更新チェックは、さすがに人のやる仕事ではないですね。
集中力があってもこれは無理です。

今回は、スピード勝負ではないのでいけるかな、と思ったのですが
毎日定期的に同じページを見て差分に気づくというのは、もっと過酷な勝負でしたよ。
1,2サイトの更新チェックはまあなんとかなりますが、10個を超えると厳しくなってこれが100~1,000になるともはや人智を超えます。
中盤に開いた悟りも閉じました。

ということで、ちゃんと仕事に戻って総括すると

  1.  TOWAでは、URLを設定してNon-Codeでサイト更新チェック設定が可能
  2. 毎日更新を自動監視してくれて、差分をアラート
  3. しかも差分が簡単にわかる便利な管理画面
  4. な、なんと現在10社限定でβ版無料トライアル実施中!!!

ということで、スクレイピングだけでなく、サイト更新監視もIDDならお手の物ですね。

新規CTA

佐々木の挑戦はさらに続いていく

前回のリスト作りに比べて、より不利な対決を挑んでしまったわけですが
わたし、佐々木としてはライバルとして不足なしというのを実感できてむしろうれしくもあるわけです。
むかしのアニメのキャラも強敵に会うたびに「オラわくわくすっぞ」って言ってましたし。

逆境にこそ燃える漢(おとこ) 佐々木は、これからも挑戦し続けるのです。

記事を検索する

  • 全て
  • 業務効率化
  • データ活用
  • ビッグデータ
  • 営業
  • マーケティング
  • スクレイピング
  • 基礎知識
  • DX
  • データ分析
  • スクレイピング法律
  • セドリ
  • 飲食店
  • 不動産
  • 観光
  • SNS
  • IT用語
  • データ収集
  • 補助金
  • 社員渾身ブログ
  • 監視
  • スクレイピング代行
  • ニュース

最新の記事

  • AI活用事例に学ぶ、導入成功のコツ|失敗例からNGパターンも
  • Web改ざん検知とは?おすすめツール6つ紹介
  • 【2023年最新】今更聞けないIT用語45選
  • ダークウェブとは?仕組みや取引される情報、対策方法を解説
  • 【人材会社必見】営業リストの作り方!リストの重要性と効果的な作り方も解説

よく読まれている記事

  • 【2023年最新】今更聞けないIT用語45選
  • Webスクレイピング禁止サイト5選!違法にならないスクレイピングの方法とは
  • Excelは不要!グラフ作成ツールおすすめ10選
  • 【厳選】OSINTツール4選!メリットとポイントとは
  • 【IT弁護士監修】スクレイピングは違法?法律に基づいて徹底解説

関連する記事

  • 【まとめページ】社員が本気でふざけるデータ活用ブログ

前の記事

電話営業の成功のコツとは?スクレイピングによるテレアポの効率化

ブログ一覧へ

次の記事

金額算出に最適な競合調査とは?メリットやデメリット、金額算出の流れを解説

お問い合わせ・資料ダウンロード

サービス&ソリューション
  • スクレイピング代行サービス
  • 物件比較ツール「Mekiki」
  • Webサイト監視ツール「TOWA」
  • 最新営業リスト作成・管理
    ダッシュボード
  • SNS分析サービス
    「SocialAnalyst」
  • Tableau構築支援サービス
  • シフト自動最適化AIソリューション
    「Optamo for Shift」
  • 導入事例
  • ニュース&ブログ
  • 運営会社
  • 資料ダウンロード
  • お問い合わせ
  • プライバシーポリシー
  • セキュリティポリシー
keyboard_arrow_up

Copyright © SMS DataTech All Right Reserved