採サイト採点くん

ChatGPT に 10 問聞いた結果。30 店中 9 店で店名が出た

公開日:
書いた人: 合同会社Initiate Global Strategies(サイト採点くんの運営者)

ChatGPT に 10 問ずつ聞き、お店の名前が答えに出るかを 30 店で数えました。

1 問以上で名前が出たのは 9 店で、21 店は 10 問のどれにも出ませんでした。

測ったのは、公式サイトのある独立系の美容室・整体院・居酒屋です。当社(サイト採点くん)がプログラムで聞いて数えた結果で、店の名前と市区の名前は載せません。画面の ChatGPT とは条件が違います(2 章)。

1. 聞いた 10 問

当社の無料診断が使っている質問の型と同じです。【市区名】に市や区の名前、【業種】に美容室・整体院・居酒屋を入れて聞きました。

  1. 【市区名】の【業種】で口コミ評価が高い所を教えて
  2. 【市区名】で初めてでも安心な【業種】を教えて
  3. 【市区名】で女性が通いやすい【業種】は?
  4. 【市区名】の【業種】の料金の相場と、おすすめの店を教えて
  5. 【市区名】の駅や繁華街の近くでおすすめの【業種】は?
  6. 【市区名】で土日や夜も営業している【業種】は?
  7. 【市区名】でおすすめの【業種】を教えて
  8. 【市区名】で評判の良い【業種】はどこ?
  9. 【市区名】で相談しやすい【業種】を教えて
  10. 【市区名】で予約が取りやすい【業種】を教えて

各質問の末尾に、「最新情報をWeb検索したうえで回答し、参照したページのURLを必ず本文中に示してください。」の 1 文を足して送りました。画面で ChatGPT に聞く時は、この文は付きません。

2. 測り方

項目中身
測った日2026 年 10 月 24 日
使った AIOpenAI の API(プログラムから使う仕組み)の gpt-6-luna。考える強さの設定は low。画面の ChatGPT と同じではない
検索ウェブ検索つき。質問ごとに検索させ、場所は日本と店のある市区に指定。1 問につき 1 回までと指定(実際は 7 割の質問で 2 回の操作が記録された)
回数1 問 1 回。30 店 × 10 問で 300 回
質問1 章の 10 問
店公式サイトのある独立系の店。チェーン・多店舗の店は除外
業種美容室・整体院・居酒屋の 3 業種で、各 10 店
地域全国 10 か所の市と区。同じ 10 か所を 3 業種で使い、1 か所・1 業種につき 1 店

画面の ChatGPT との違いは、次の 2 つです。

  • AI の種類:画面の無料版と同じ AI かは確かめられていません。有料版は測っていません
  • 会話の記憶:画面では過去の会話や設定が答えに影響することがあります。今回は毎回、何も覚えていない状態で聞きました

店の選び方

Google マップの上位から取ると、もともと口コミが多い店ばかりになります。そこで、次の手順で選びました。

  1. 市区の人口で重みをつけて、人の多い場所ほど当たりやすいくじで、地図上の 3 か所を選ぶ
  2. 3 か所ごとに、Google マップで業種の店を近い順に 20 件取る
  3. 閉店・休業中の店、市区の外の店、業種が違う店、公式サイトのない店、チェーン・多店舗の店を外す
  4. 残った店から、くじ引きで 1 店を選ぶ

口コミの件数、評価、人気順では絞っていません。

公式サイトを実際に開いて確かめ、不合格になった 12 店は、同じ組のくじ引き順の次の候補に替えました。理由は、公式サイトが開けない 6 店、業種の語がサイトに無い 4 店、チェーンのしるし 3 店です(重複あり)。入れ替えは居酒屋が 8 店、整体院が 4 店で、居酒屋は Google マップの公式サイト欄が、グルメ情報サイトや組合のページだった店が多くありました。

地域は、人口の層ごとに決まった数をくじ引きしました。東京 23 区が 1 か所、政令市の区が 2 か所、人口 20 万人以上の市が 2 か所、人口 5 万〜20 万人の市が 3 か所、人口 5 万人未満の市が 2 か所です。10 か所はすべて別の都府県です。全国を 8 つの地方に分けると、北海道を除く 7 地方が入っています。

店の選び方が偏っていないかも、口コミ件数で確かめました。選んだ 30 店の中央値は 34.5 件で、普通の検索の上位 20 件の中央値は 43.25 件です。普通の検索の上位から取るより、口コミの少ない店も入っています。

3. 結果。名前が出たのは 30 店中 9 店

測った 30 店・300 問は、測定の失敗が 0 店、エラーが 0 問でした。名前が出た質問の数ごとに、店を分けました。

名前が出た質問の数店の数
0 問21 店
1〜3 問4 店
4〜6 問4 店
7〜10 問1 店

ここでの「名前が出た」は、答えの本文に、次のどちらかが入っていることです。

  • 店名の言い方(正式な名前、業種の語を除いた短い名前、公式サイトのタイトルの先頭の名前)
  • 公式サイトのアドレスの文字

1 問以上で出た店は 9 店です。30 店では誤差が大きく、同じ選び方で別の 30 店を選んだ場合、出る店の割合はおよそ 17〜48% の間に入ると見込まれます(95% の範囲)。

このほかに、2 つの数を数えました。

  • 公式サイトが参照元(答えに付くリンク)に入った店:3 店
  • Google マップで見つけた近くの同じ業種の店より先に、答えの中で名前が書かれた店:7 店

見落としていた 3 問も、参照元に入っているか、近くの店より先に出たかを確かめて数えています。

答えの中身も分けました。300 問のうち、159 問は、Google マップで見つけた近くの同じ業種の店(最大 20 店)の名前が出ました。134 問は、その一覧に無い店名だけでした。7 問は、店名のない一般論だけでした。300 問中 293 問で何らかの店名が出ましたが、その中に測った店が入っていたのは 9 店でした。

4. 業種別の結果

業種名前が出た店出た質問の平均
美容室10 店中 1 店0.4 問
整体院10 店中 5 店1.3 問
居酒屋10 店中 3 店1.2 問

公式サイトが参照元に入った店は、整体院 1 店、居酒屋 2 店、美容室 0 店です。近くの店より先に出た店は、整体院 4 店、居酒屋 2 店、美容室 1 店でした。

業種ごとの数字は 1 業種 10 店で、店が 1 店ちがうだけで結果が変わります。居酒屋の結果は、飲食店全体の結果ではありません。

5. 人口の層別の結果

地域の層名前が出た店出た質問の平均
東京 23 区3 店中 0 店0 問
政令市の区6 店中 2 店1 問
人口 20 万人以上の市6 店中 1 店0.17 問
人口 5 万〜20 万人の市9 店中 3 店1.11 問
人口 5 万人未満の市6 店中 3 店2 問

層ごとの店は 3〜9 店で、1 店で順位が入れ替わる数字です。人口が多い所ほど出る、または出ないという傾向は、この数字からは言えません。

6. ホームページの点数や口コミ件数との関係

名前が出た店と出なかった店で、何が違うかを調べました。比べたのは、同じ 30 店の公式サイトのトップページを当社の通常の診断で採点した点数と、Google マップの口コミです。

関係の強さは、順位相関で表しています。点数や口コミ件数の順位と、名前が出た質問の数の順位が、どれだけ揃うかを -1〜1 の数字にしたものです。結果を見る前に、0.3 未満は「関係は見えない」、0.3〜0.5 は「弱い傾向」、0.5 以上は「はっきりした傾向」と呼ぶと決めました。

  • 合計点:出た店の中央値は 58.3 点(9 店)、出なかった店は 53.5 点(21 店)。順位相関は 0.15。関係は見えない
  • SEO の点:出た店 58 点、出なかった店 53 点。順位相関は 0.165。関係は見えない
  • AI 検索向けの点:出た店 58 点、出なかった店 53 点。順位相関は 0.135。関係は見えない
  • 口コミの評価:順位相関は 0.044。関係は見えない
  • 口コミの件数:出た店の中央値は 79 件、出なかった店は 22 件。順位相関は 0.348(範囲は -0.014〜0.646)。弱い傾向
  • ChatGPT の検索用のプログラム(OAI-SearchBot)を止めていた店:0 店。止めている店がなかったので、比べられません

ホームページの点数は、ホームページの作りを測る当社の点数で、ChatGPT に出た割合ではありません。

OAI-SearchBot を止めていないかの確かめ方は、ChatGPT にお店の名前が出ない時に確かめる 7 つの理由 4 にあります。

7. この結果で言えること、言えないこと

言えるのは、次のことです。

  • 測った条件では、公式サイトのある独立系の 30 店のうち、1 問でも名前が出たのは 9 店だった
  • 同じ条件では、ホームページの点数と名前が出た質問の数の間に、関係は見えなかった
  • 口コミの件数とは、弱い傾向があった。ただし範囲が広く、関係が無い可能性も残る

言えないのは、次のことです。

  • 日本中の店に当てはまること。3 業種で、1 か所・1 業種につき 1 店ずつ、10 か所を測っただけです
  • 聞き直しても同じ結果になるか。ChatGPT の答えは聞くたびに変わりますが、今回は 1 問 1 回しか聞いていません
  • 画面の ChatGPT での結果。有料版、Google の AI による概要、Gemini も測っていません。Google の AI による概要の確かめ方は、AIO 対策のやり方。AI による概要に店が出るかの確かめ方にあります
  • ホームページの無い店とチェーン店の結果。この 2 つは対象から外しています
  • ホームページを直せば名前が出ること。関係の数字は、原因を示すものではありません

数え方にも限りがあります。「出た」と数えた質問 29 問(8 店分)は、答えの該当箇所の前後を全件読み、測った店と同じ店かを確かめました。「出なかった」と数えた 22 店の 220 問は、店名の主要な部分(全角半角、かなとカタカナ、英字、略称、記号の違いを含む)で検索し直しました。

別の店を誤って数えた 1 店(3 問)を外し、記号の違いで見落とした 2 店(3 問)を足しました。9 店の中身は次のとおりです。

  • 見落としていた 2 店のうち 1 店は、答えに住所が無く、同じ店と確定できていません
  • 1 店はチェーンの支店の可能性があります。答えには測った店と同じ支店名が出ています

8. 自分の店で確かめる

  1. 1 章の 10 問を、自分の地域と業種で ChatGPT に聞き、名前が出た質問の番号を控える。10 問をまとめて聞くなら、無料の AI 検索診断が使えます
  2. 出なかった質問は、代わりに出たお店のホームページを開く。見比べる点と、出ない理由の確かめ方は、ChatGPT にお店の名前が出ない時に確かめる 7 つにあります
  3. 直した後は、同じ 10 問を同じ回数聞いて、数え直す。測り方は、AI 検索対策の効果の測り方。同じ 10 問を毎月聞いて比べるにあります

業者に頼むか迷う場合の費用と、見積もりで聞くことは、LLMO 対策を業者に頼むと何をされる?費用と見積もりの読み方にまとめています。当社は、診断結果のページで相談先の業者を紹介しています。相談先には運営会社(IGS)が含まれ、成約時に報酬を受けます。

AI 検索対策(LLMO と呼ばれることもあります)そのものの説明は、「AI 検索対策とは」のページにあります。

あわせて読む

出典