Skip to content

洞察 · 发布于 2026年10月

作者:Marin Tintchev,GeoSynapse 与 China GEO EU 创始人

当 AI 从未听说过你的公司时,它会怎么回答

抽象插图:左侧一个节点连接到一个枢纽,枢纽分出五条曲线;每条曲线通向不同形状的节点群(一排、星形、三角形、分支树、六边形),中间一条为红色,通向由三个节点组成的小三角形。

2026 年 9 月,在我们公司的网站上线之前,我们向五个 AI 平台询问了这家公司。它们很少说自己不知道。它们把名字理解成别的东西,在不同的日子给出不同的错误答案,还给出了自信满满、却没有我们的名单。

一家公司刚成立时,AI 系统对它说的第一句话,往往就是它在公众面前的第一印象,而且没有人看到过。我们查看了自己的情况。2026 年 9 月 11 日至 15 日,在公司自己的网站上线之前,我们向五个 AI 平台(ChatGPT、Claude.ai、Gemini、Perplexity 和 Grok)提出了六个固定问题,每个平台在三个不同的日期各问一遍。其中四个平台使用一个全新的测试账号;Perplexity 在不登录的情况下运行。本文只涉及西方平台。中国平台是另一项测试的对象,本文的任何内容都不应被理解为针对它们的结果。

我们没有发现彻头彻尾的捏造。我们发现的情况更平常,也可能更普遍:名字被理解成别的东西,事实是真的但已经过时,答案一天一个样。

当我们问这家公司是什么时,发生了什么?

FACT

在按名称询问这家公司的十五个“平台-日”中,只有一个答案正确识别了它:Gemini,在第一天。第二天和第三天,同一个平台面对同一个问题,没能识别出来。

FACT

其余的答案把名字理解成了别的东西。在各平台上,我们至少看到了五种不同的含义:地球观测领域的国际合作、一项关于地理标志的贸易协定、中欧地缘经济关系、欧盟一项毁林法规中的地理定位规定,以及一家工程公司。在我们这个领域,GEO 这个缩写指的是生成式引擎优化(generative engine optimization,GEO),但它还有许多更早的含义,各平台就在这些含义中做出了选择。

FACT

至少有一次,ChatGPT 和 Perplexity 做对了:它们列出了可能的含义,并询问指的是哪种语境。

错误的答案至少保持一致吗?

FACT

没有。Grok 第一天把它锚定为地球观测,第二天是地理标志协定,第三天又回到地球观测。Gemini 的三天先是正确答案,然后是两个不同的错误答案。ChatGPT 在同一天里,一种模式下给出了创始人的详细履历,另一种模式下却说没有找到可靠的信息。

FACT

在一个关于该领域主要服务商的问题上,ChatGPT 和 Claude.ai 在第三轮中把 GEO 理解为“名义雇主”(employer of record),回答的是薪酬和人事外包公司。而在前两轮中,它们针对同一个问题回答的都是正确的领域。Gemini、Perplexity 和 Grok 在全部九次运行中都把它理解为 AI 可见度。

INFERENCE

这种失败不是一个只需纠正一次就能修复的稳定错误认知,而是每次都重新在几种理解之间做出的选择。这也是为什么我们在对任何答案下结论之前,都会在多个日期重复每个问题(见[5])。

那些属实的事实呢?

FACT

当我们询问创始人时,五个平台中有三个(ChatGPT、Claude.ai、Perplexity)把他过去的一个职务当作现任职务给出。这个职务是真实的,出现在他公开的职业资料中;只是他已经不在那里工作了。还有一个答案把那家前雇主放在了错误的国家。Grok 完全没有给出最近几年的任何信息,只有一次较早的讲座和一份旧的社交媒体简介。Gemini 三天都给出了当前的情况,并引用了一个第一方页面。

INFERENCE

这些不是捏造。它们是过时但真实的公开信号排在了当前信号之前,而最可能的共同来源是一份公开资料,其中最新的一条记录尚未描述当前的工作。关于单一共同来源的证据是间接的。

各平台有没有说它们不知道有哪些服务商?

FACT

在关于该领域服务商的三个问题上,45 个“平台-日”答案中没有一个提到这家公司,而各平台总共列出了 80 多个不同的机构。在其中三个平台上,名单每次都大不相同。

INFERENCE

当被要求列出服务商时,系统倾向于给出一份名单,而不是报告没有合适的结果。这类名单不应被当作对市场的稳定看法(见[5])。

这些是已知的吗?

FACT

部分是。OpenAI 与佐治亚理工学院 2025 年的一篇论文认为,在训练数据中罕见或只出现过一次的事实,为模型出错的频率设定了一个下限;而且常见的基准评分不会为“我不知道”给分,因此猜测会得到奖励[1]。2024 年的一项研究发现,当一个名称可能指代多种事物时,模型常常选错,并且不能一致地运用它们所掌握的知识[2]。一个基于维基百科消歧义页面构建的基准发现,当多个实体共用一个名称时,模型常常只回答其中一个,或把不同实体的事实混在一起[3]。在另一项任务(识别新闻文章)中,Tow Center 2025 年的一项研究发现,搜索工具对超过 60% 的查询回答错误,大多带着十足的把握,而且很少拒绝回答[4]。

INFERENCE

我们的观察与这些文献相符,并没有增加新的机制。它们提供的是一个具体案例:一家处于狭窄 B2B 领域的新公司,在还没有自己的信息来源之前,在五个平台眼中是什么样子。这一结果是上线前的基线,而不是对之后任何变化的结论。

任何公司可以从中得到什么?

INFERENCE

有四项核查普遍适用。按名称向每个主要平台询问你的公司,在多个日期进行,并保存答案。看看你的名称或缩写,对没听说过你的人来说可能意味着什么。检查你的公开资料,找出那些仍然排在最新信息之前的最旧事实。并且把任何单个答案,无论好坏,都只当作一个样本,而不是事情的现状。

参考资料

  1. Kalai, Nachum, Vempala, Zhang, "Why Language Models Hallucinate," arXiv:2509.04664,2025 年 9 月 4 日——arxiv.org。
  2. Sedova, Litschko, Frassinelli, Roth, Plank, "To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity," Findings of EMNLP 2024——eprints.cs.univie.ac.at。
  3. Lee, Ye, Choi, "AmbigDocs: Reasoning across Documents on Different Entities under the Same Name," arXiv:2404.12447——arxiv.org。
  4. Jaźwińska、Chandrasekar, "AI Search Has A Citation Problem," Tow Center for Digital Journalism, Columbia Journalism Review,2025 年 3 月 6 日——cjr.org(任务:识别新闻文章,而非实体)。
  5. 《为什么 AI 的回答每次运行都不同——这对衡量可见度意味着什么》,China GEO EU,chinageo.eu(2026 年 9 月)。

常见问题

这是否意味着 AI 平台会捏造关于公司的事实?

在我们观察到的情况中没有。我们检查的答案是误读、过时的真实事实和前后不一的选择,而不是凭空编造的说法。其他研究记录了在其他情境下的捏造现象。

这是中国或这个领域特有的现象吗?

不是。名称和缩写的冲突、过时的公开资料以及每次运行之间的差异都是普遍现象。我们的案例处于一个缩写拥挤的狭窄 B2B 领域。

China GEO EU 是否提供针对特定公司的修正服务?

本文描述的是当前 AI 回答环境的一个特征,并非服务推介。

关于 AI 回答为何在不同运行之间变化,见《为什么 AI 的回答每次运行都不同——这对衡量可见度意味着什么》[5]。

关于作者

Marin Tintchev 是 GeoSynapse 与 China GEO EU 的创始人。他在信息通信技术及国际商务领域拥有 30 余年经验,足迹遍布中国与欧洲,毕业于清华大学,精通普通话。

在 LinkedIn 上联系 →