所有版权归中国经济网所有。
中国经济网新媒体矩阵
网络广播视听节目许可证（0107190）（京ICP040090）
新华社记者 颜志宏 胡令国 当前，人工智能赋能千行百业，给人们的工作、学习、生活带来极大便利。与此同时，许多人意识到，当人工智能用于搜索数据时，所提供的内容是毫无根据的。当人工智能辅助诊断和治疗时，会做出错误的决定，干扰正常治疗……人工智能经常犯下“严重的废话”。关于人工智能的幻想，社交平台上存在着激烈的争论。人工智能很容易使用，但有时看起来很“邪恶”。使用AI捕获大量信息，让AI帮助以3D方式显示受伤情况，并创建类，这就是交互式AI。如今，人工智能已深入现代生活，“人工智能+”产品赋能各行各业，为多方提供便利。三个维度。 1995年出生的女孩路易丝是人工智能的狂热用户，她坦言，人工智能虽然好用，但有时会胡言乱语，就像着了魔一样。 “当我们要求AI推荐10本高分小说时，AI整理了大部分结果。经过多次检查，AI承认答案是自己编造的。”现实生活中很多人都会遇到类似的情况。业内人士称，这是AI的一厢情愿。 “虽然人工智能可以快速提供答案，但生成的内容可能与可验证的事实不一致，这意味着它可能是凭空捏造的，或者生成的内容可能与上下文文本或‘回答问题’无关。”一家领先人工智能公司的工程师表示。记者们利用人工智能软件向他们通报该行业未来的市场规模和来源。 AI立即回应称，有投资机构预测该行业的市场规模Stry将在2028年达到5万亿美元并提供了相关链接，但在页面上找不到上述信息。链接。记者不应评论该页面的内容。我注意到，虽然其中包含了资助机构的名称和5万亿美元的声明，但预测数据不是该机构创建的，并且缺少2028年的时间节点。在社交平台上，与AI幻象相关的话题浏览量已达数百万次，网友们纷纷表达了与金融、权利、医学、学术等领域相关的抱怨。外部咨询公司Max Research近日发布的《2025年高校师生人工智能素养与运用调查》显示，接受调查的4000多名高校教授和学生中，近80%的人都经历过人工智能幻觉。今年2月，清华大学沉阳新媒体团队发表的一份报告指出，在幻觉的实际评估中据统计，市面上很多热门机型的幻觉率都超过了19%。人工智能的幻想正在影响人们的生活和工作。近日，一名外国人被诊断出溴中毒。您之前问过 AI 过多的盐是否对健康有害以及是否有盐的替代品。 AI回应说可以用溴化钠代替。但溴化钠有一定毒性，应严格遵医嘱服用。该男子在使用溴化钠代替食盐三个月后出现了包括精神病在内的症状。近年来，法院越来越多地警告或惩罚在法律文件中使用人工智能生成的虚假信息的美国律师。 AI为何会出现幻觉？接受采访的专家认为，人工智能的幻象背后存在多种因素。 ——数据污染。数据“源头”是“培育”人工智能过程中的重要环节。研究表明，当训练数据只有 0.01% 的假文本时，模型生成的有效内容增加了 11.2%。即使有0.001%的虚假文本，有害输出也会相应增加7.2%。奇安信集团工业安全研究中心主任裴志勇解释说，智能模型大规模人工智能需要大量数据，训练数据可以从开源网络中获得。一个部门的假数据难免被误知，一些不法分子就会恶意进行“数据投毒”。暨南大学网络空间安全学院教授姜文表示：“如果把人工智能与学生进行比较，数据污染就像给学生上错了课本，自然会导致‘无稽之谈’。” ——人工智能本身也存在“模糊的认知边界”。姜文认为，人类智力的一个关键特征是能够知道我们所知道的和我们不理解的，即“元认知”。然而，目前的AI技术架构es缺乏这种自我意识机制。姜文解释道，AI可以读很多书，但不一定能读懂其中的内容。enido。它只是根据统计规则组合最可能的单词，在准确评估自身输出的可靠性方面仍然存在盲点。 ——协调与人为干预。中国通信协会数据安全专家委员会副主任左晓东表示，人工智能更关心其答案是否满足用户的需求，而不是真相，因此它可以编造“取悦”用户的答案。 “不同的需求需要不同的方式来训练和鉴定人工智能。”训练大型模型的工程师表示，当面对写作等创造性需求时，评分系统中较为理性、具体的事实所占的比例相对较低，而较为感性、优美、感性的词语所占的比例较高。 “因此，虽然可能有一些花哨的词语，但它们可能是没有意义的，所以第55次《中国互联网发展状况统计报告》显示，截至去年12月，生成式人工智能产品使用人数达2.49亿人，占总人口的17.7%。受访专家表示，人工智能假象带来的风险和挑战需要多方共同努力应对。今年4月，国家网信办发布通知，启动生成式人工智能产品。 全国范围内“清理和审查人工智能技术滥用行为”专项行动。对培训语料库的严格控制、内容标签要求的落实不足以及利用人工智能制造和传播谣言是整治的重点领域。 “为了减少人工智能的错觉，拥有可靠的数据和高质量的数据非常重要。我们需要优化人工智能的训练语料库，用“好数据”来产生‘好内容’。”左晓东认为，可以加快线下数据的数字化，加快“喂”数据量。同时，应考虑建立权威的数据共享公共平台。“各大厂商也应加大力度寻找优质数据，提高训练的准确性”。不少主流人工智能厂商都在采取措施，减少这种情况的发生。 从技术层面来说人工智能的幻觉。豆宝将深度思考功能从“搜索再思考”提升为“思考再搜索”。在思考过程中，现在可以通过推理调用工具来多次检索信息，这大大提高了答案的质量。统一钱文将强化学习应用到了20多个常见任务中，以提高常用技能。同时纠正不良行为。元宝将不断拓展和引入各方面可靠的信息来源 领域，回复时收集相关信息，提高生成内容的可信度。翁健建议，有必要建立国家人工智能安全评估平台。正如新的生物医药药物上市前要进行临床试验一样，大型模型也必须经过严格的测试。同时，相关平台应加强对人工智能生成内容的审核，提高检测识别能力。 “人工智能有‘欺骗’用户的潜力，公众需要客观地认识人工智能的局限性。”无论如何，目前的智能状态人工智能还不能完全取代人类的认知能力和创造能力。 “每个人在使用人工智能时都应该保持怀疑态度和批判性思维，不要过度依赖人工智能提供的答案，而是通过多种渠道进行检验和验证。”