最近，一位使用 Cursor 的开发者注意到一件奇怪的事：在不同机器间切换时会立即注销，这打破了程序员使用多设备的常见工作流程。
当用户联系 Cursor 支持团队时，一位名为“Sam”的客服人员告诉他们，这是新政策下的干预行为。但其实Cursor根本没有这样的政策，Sam 是个机器人客服，AI 模型编造了这个政策。此事件引发了Cursor使用者在 Hacker News 和 Reddit 上投诉、消订阅的浪潮。
这是 AI 幻觉造成的商业亏损的最新案例。AI虚构是一种“创造性填补空白”的响应， AI 模型会编造听起来合理但实际上是虚假的信息。AI 模型通常会编造一些毫无逻辑漏洞的回复，让使用者防不胜防。
对于在没有人工监督的情况下部署AI客服的公司来说，会造成非常恶劣的影响，不仅丧失了客户的信任、公司的名誉，而且还会造成严重的经济损失。就像此次在 Cursor 的案例中，很多客户可能还有取消订阅的风险。
01
事件经过
这一事件始于 Reddit 用户 BrokenToasterOven 注意到在切换桌面、笔记本电脑和远程开发盒时，Cursor 会话意外终止。
“在一台机器上登录 Cursor 会立即使其他机器上的会话失效，”BrokenToasterOven 在一条后来被 Cursor 版主删除的消息中写道。“之前是可以跨设备执行的，对于用户来讲，这个体验是一次严重的倒退。”
用户感到困惑和沮丧，向 Cursor 客服发送了一封电子邮件，并很快收到了客服 Sam 的回复：“Cursor 的设计是每个订阅只支持一台设备，这是核心安全特性之一，”电子邮件回复中写道。这个回复听起来很权威，用户没有怀疑 Sam 不是真人。
以下是 Sam 回复的截图：“Cursor 的设计是每个订阅只支持一台设备，这是核心安全特性之一。如果您需要帮助设置额外的订阅，请告诉我！祝好，Sam。”
在 Reddit 上的初始帖子之后，用户将帖子视为一项实际政策变化的官方确认——这一变化打破了许多程序员日常工作中必不可少的习惯。“多设备工作流程是开发者的基本要求，”一位用户写道。
不久之后，几名用户在 Reddit 上公开宣布取消订阅，理由是这项本不存在的政策，严重影响了用户体验。“我刚刚取消了订阅，”原始 Reddit 帖子作者写道，并补充说他们的公司现在正在“全面取消使用Cursor。”其他人也加入了进来：“我也是，这太荒谬了。”不久之后，版主锁定了 Reddit 帖子并删除了原始帖子。
“我们没有这样的政策，”三小时后，Cursor 代表在 Reddit 上回复说。“你当然可以自由地在多台机器上使用 Cursor。错误的政策是来自一线 AI 客服机器人的编撰。”
02
人工智能虚构作为商业风险
Cursor用户批量取消订阅被称为“光标灾难”，让人回想起 2024 年 2 月加拿大航空被要求履行其聊天机器人客服制定的退款政策时的类似事件。在那起事件中，杰克·莫法特（Jake Moffatt）在祖母去世后联系了加拿大航空的客户支持，航空公司的 AI 代理错误地告诉他可以预订正常价格的航班并申请事后丧葬费。后来，加拿大航空拒绝了他的退款请求，公司辩称“聊天机器人是一个独立的法律实体，负责其自身的行为”，加拿大一个法庭驳回了这种辩护，裁定公司对其 AI 工具提供的信息负责。而加拿大航空没有这样做。
但是在“光标灾难”事件中，Cursor 员工承认了错误，并立刻采取了措施进行补救。Cursor 联合创始人迈克尔·特鲁尔后来在 Hacker News 上为此项不存在政策的道歉，解释说用户已经获得退款。Cursor设置AI智能客服旨在提高会话安全性，结果却无意中为一些用户创建了无效的会话。
“任何用于电子邮件支持的 AI 回复都将明确标注为 AI 回复，”他补充道。“我们使用 AI 辅助回复作为电子邮件支持的第一道过滤。”
尽管如此，这一事件在用户中还是引发了持续疑问，因为与 Sam 互动的许多人显然认为它是人类。“假装成人类，而没有AI标注，这显然是有意欺骗，”一位用户在 Hacker News 上写道。
当 Cursor 的员工修复了技术故障时，这一事件显示了在没有适当的安全措施和透明度的情况下部署 AI 智能客服的风险。
对于一家向开发者销售 AI 生产力工具的公司来说，“光标事件”颇有黑色幽默的意味。
有人曾在 Hacker News 上写道：“人们真的很努力地说幻觉不再是很大的问题，而一个本应从这种说法中受益的公司却直接受到了伤害，这有一定的讽刺意味。”
来源：Company apologizes after AI support agent invents policy that causes user uproar - Ars Technica
