近日，一起由AI引发的“乌龙付款”事件在网络引起热议。央视记者采访了解到，一家工程公司负责人用AI大模型为员工挑选团体人身意外伤害保险时，轻信了AI给出的所谓“保单付款二维码”，扫码支付了1618元。而这个二维码却是某位网友的个人二维码。得知情况后，该网友将钱款退还。对此，涉事大模型平台回应称，该情况系AI产生幻觉导致，已第一时间修复。

这起荒唐的“乌龙付款”事件，再次将AI生成内容推向风口浪尖：到底有没有边界？谁来为AI的“胡言乱语”负责？

答案不言自明，不仅应该有边界，而且，这道边界不能只靠开发者的自觉。有人或许会说，AI的能力本就源于海量数据的训练与联想，给它划太多框框，会扼杀创造力。然而，当创造变成捏造，这种没有护栏的技术，就已经从工具变成了风险源。此次事件就是最直接的例证。AI不是保险公司，没有核保资格，更没有生成支付二维码的权力。但它不仅自作主张地编造了订单号，还“贴心”地给出了付款二维码。用户信了，钱付了，保单却不存在——谁来承担损失？AI大模型连法律责任主体都不是！

更须警惕的是，AI幻觉绝非孤例。年内发生过的AI骂人事件，以及央视“3·15晚会”曝光的AI遭“投毒”现象，都充分暴露了它的局限：缺乏核实与负责的能力。当训练数据中存在不良信息时，AI可能不加区分地当作“知识”输出。没有边界，就意味着每一个用户都可能成为下一个受害者。

其实，边界并非束缚，而是AI与使用者之间的安全契约。清晰的边界，是AI能够被社会广泛接纳的前提。就像道路交通需要红绿灯、金融交易需要监管规则一样，AI的内容边界，保护的是技术使用者，也保护技术本身不脱离良性发展的轨道。

然而，边界应当划在哪？首先是事实边界。AI不能编造不存在的保单、新闻、法律条文或医疗建议。对于高风险领域如金融、医疗、法律等，AI必须明确标识“信息仅供参考，请以官方渠道为准”，而不是冒充专家；其次是行为边界。AI不能完全代替我们完成交易。如生成支付二维码、自动下单、签署合同等，这些涉及资金和权利义务的行为，必须由官方系统和真人用户共同完成；最后是隐私与安全边界。AI不能主动收集、生成或传播个人的敏感信息如身份证号、银行卡号、收款码等，也不能将训练数据中的隐私片段泄露给用户。

因此，平台有义务设置安全护栏。例如，对生成二维码等敏感内容的行为，平台应当拦截并发出警示，而不是让用户直接看到并扫码。一些涉及金融、法律、医疗等敏感信息，也应当引导用户转向官方渠道办理。监管部门则需要出台强制性规范。应明确：AI在哪些场景下不得生成交易指令、不得提供确定性结论、必须附带免责声明。同时，建立责任追溯机制——用户因AI虚假信息受骗，开发者和平台不能免责。

说到底，守护边界，不能只靠用户小心。事件发生后告诫用户莫轻信AI，这话听起来并没错，但它规避了真正该承担责任、管理风险的主体——开发者和监管者。技术应该服务于人，平台与监管者给AI的内容划出一道红线，这不是在扼杀创新，而是守护其健康成长的底线。这道边界划得越早、越清晰，AI与用户的关系就越安全、越长久。