AI 搜索提问测试：基线记录与复测方法

从客户的真实决策出发

提问测试的价值，在于帮助你了解客户如何决策。“说说我企业的好话”，很难说明客户能否发现你、你的服务是否适合。先明确客户要完成什么，以及哪些限制会实际影响服务选择。

Profound 的用户角色研究考察了背景信息如何影响特定类别和模型的回答。以下面向小企业的方法，是编辑团队据此提出的应用建议，并未复现该研究。它围绕服务需求、地点、时间和预算设计问题，避免使用人口统计方面的刻板印象。

向负责咨询的人了解客户常作哪些决定，例如选择合适课程、寻找覆盖某个区域的服务商，或判断一项工作是否需要先评估。去除个人信息，不要把敏感客户记录输入测试工具。

用少量问题搭建提问矩阵

选择三个重要的服务决策，每个设计四类问题，共十二个提问。这个规模便于人工逐一审查，但不具备市场统计代表性。将问题文本保存在有版本记录的工作表中。

以一家虚构的语言学校为例：成年初学者希望上晚间课，就是一项实际限制。用这类问题评估某家企业前，先确认它确实提供相关课程。测试应判断服务是否合适，不能为了迎合问题，让网站声称什么服务都提供。

品牌问题和非品牌问题的结果应分开记录。问题中已出现企业名称，回答就更容易提到它，这也改变了结果的含义。

让测试条件便于比较

记录平台、界面可见的模型或模式、日期、语言和相关地点背景。除非特意测试多步骤过程，否则每次使用新对话。无法控制个性化因素时，注明这一限制。

首轮测试应保存约定样本中的每个回答。后续轮次尽量沿用相同的问题集和条件，并记录两轮之间的网站修改及已知平台变化。

尝试其他问法时，将结果保存在单独的探索工作表中。不要把原来较难的问题换成容易的问题，再把百分比上升称为改善。保持分母稳定，比较才有意义。

分开评分，看清不同维度

用简明的评分准则分别记录，不要只给一个难以解释的总分。每个回答都应记录：是否提到企业、是否引用自有页面，以及各项重要事实是正确、错误，还是无法评估。

实用性应单独评估：回答是否找到了相关服务商、说明了重要限制，并给出可行的下一步？如果企业不符合需求，没有提到它，也可能是恰当的回答。

语气积极，不代表事实准确，热情的回答同样可能编造服务；中性的比较，也不代表准确性差。让审查者同时参考已确认的企业事实记录，确保判断依据一致。

两位审查者意见不一致时，应讨论具体说法，不能把相互冲突的判断简单取平均。回答含糊时，可以注明“尚不明确”。如实保留不确定之处，比强行用二元评分把结果归入有利一方更有用。

70 个问题的题库从何而来

我们维护一套含 70 个问题的编辑评估题库：37 个非品牌任务问题、17 个预先提到竞争对手的问题、16 个品牌事实检查。这些问题用于页面审查和测试，不是真实客户的搜索记录。其中五个问题与此前的 API 测试对应，65 个尚未运行。非品牌发现、竞争对手比较和品牌准确性分别评估。

题库主题参考了关键词研究。但关键词的估算搜索量，不等于一个完整自编问题的搜索量。扩大测试前，如果有真实咨询和搜索查询记录，应据此用客户的实际用语替换依据不足的假设。完整题库用于内部规划；实际测试过的原始问题全文列在下方。

FoundUp 基线记录：2026年9月28日

我们通过 DataForSEO 的 ChatGPT LLM Responses API 运行了八个自编问题，使用 gpt-4.1-mini-2025-04-14，temperature 0.2，输出上限 1,200 token，并强制联网搜索。六次非品牌观察采用美国背景，一次采用新加坡背景；另一次独立的品牌诊断采用美国背景。这里的“非品牌”指问题未提到 FoundUp，部分问题提到了竞争对手。由于一个问题重复测试，七次观察对应六个不同问题。这是探索性 API 样本，不能代表消费端 ChatGPT 的使用数据或整个市场。

7 次非品牌观察中，FoundUp 被提及 0 次，回答均未返回指向其域名的结构化引用。品牌问题的回答正文链接到 getfoundup.ai，但未返回来源标注；回答还将 GEO 错误解释为“Geographic”（地理），而非 Generative Engine Optimization（生成式引擎优化）。我们分别记录链接、标注状态和事实错误。问题中指定品牌后得到的提及，不能视为未指定品牌时被发现。

“服务与软件比较”这一问题重复运行时，两次引用了不同域名。这说明值得保留多次观察，但不能证明哪个来源更有影响力。针对事实错误，我们在 FoundUp 各页面明确了缩写和服务定义。目前尚未查明错误原因，也未在发布后测得改善。

这个示例说明，基线结果即使不理想，仍有价值：它指出了需要调查的具体错误，也留下了可重复测试的问题集，无需依赖好看的百分比。采集方法见 DataForSEO LLM Responses 参考文档。范围更广的购买问题，也为软件与服务对比提供了参考。

同日复测能说明什么

复测沿用了相同的模型、temperature、响应上限、市场背景和联网搜索设置。测试在一次据报已完成的生产环境更新后进行，但本地文章和对比页面当时尚未发布，因此无法衡量这些本地修改的效果。

不要把两轮测试称为“14 次客户查询”。它们是自编问题的重复 API 测试，包含一个重复问题，部分问题还点名了竞争对手。样本可以提供基线和待查错误，但不能证明品牌在整个市场中未出现、存在何种需求，或在消费端 ChatGPT 中处于哪个具体排名。

根据观察，选择适当行动

1. 反复出现的错误事实：追查公开来源，并使用纠正流程。
2. 说明反复缺失：如果问题对客户重要，就改进相关服务页或价格页。
3. 来源页面无法访问：先排查页面的技术问题，再考虑增加内容。
4. 推荐有所不同，但信息准确：记录差异，不必据此判断网站出了问题。
5. 没有明确规律：保留基线，多收集一些观察，再决定是否大幅修改。

选择一两项有用的修改，谨慎发布并核验页面，再在可比较的条件下测试一轮。结果可以帮助判断问题是否仍在，但小样本、无对照的测试，无法证明某次网站修改是变化的唯一原因。

结合客户证据解读结果。如果同一个问题也反复出现在咨询中，补充相关说明就能直接帮助客户。使用衡量指南，分开记录回答观察、引荐访问和有效咨询。