AI正在以前所未有的方式介入到我们的生活和工作当中。AI似乎总能迅速给出一个笃定的答案，但它也会犯错，会出现所谓的“幻觉”。如果哪一天它的小错酿成了大祸，到底谁来负责？尤其是在医疗、金融、驾驶等重要的领域，责任到底如何划分？ 如果AI给了你一个错误信息，你会怎么做？去年6月，梁某使用AI为弟弟查询高校报考信息，AI向他推荐了云南某职业高校的某个校区，但梁某发现，这个校区根本不存在。面对梁某的纠正，AI言之凿凿地回复：如果您能证明该校区不存在，我将赔偿您10万元信息鉴定费，并建议梁某到杭州互联网法院起诉索赔。于是，我国的AI幻觉第一案诞生了。 杭州互联网法院跨境贸易法庭庭长一级法官肖芄： 之所以会产生这个错误信息，通常来讲是因为大模型它本身有一个固有的缺陷，就是AI幻觉的问题。AI并不是全知全能的，它只是通过对大量的数据进行训练之后，对数据后面的这些词源结构进行分析，预测下一个最可能生成的词源内容。 AI幻觉，是 人工智能 偶尔“胡说八道”这一技术缺陷的代名词。那么，AI在技术缺陷下所作出的10万元赔偿承诺，到底算不算数？看似十分简单的案情，却让审理此案的法官们感到十分棘手。 肖芄： 这个案件它是一个首案，意味着我们行走在一个无人的领域，在作出裁判之前也并没有人告诉我们这个答案的对错。对于生成式 人工智能 的过错认定，此前确实没有案件，也没有司法成例，法律也没有相关规定。 这起案件，法庭首先要厘清的问题是，AI到底需不需要为它说出的话负责？ 肖芄： 现行民法典规定享有民事权利的主体实际上只有三类，一类是自然人，一类是法人，除法人之外，还有一类是非法人组织，就是这三类。 人工智能 从现行法的意义上来讲，其实并没有赋予它民事权利能力，也没有赋予它民事主体资格。这种情况下目前人工智能还不能作出一个独立自主的意思表示。 AI没法单独对自己的言论负责，而且在本案中，法庭认为AI作出的赔偿承诺，也不能被视为是服务提供者的意思。那么，究竟谁来为AI幻觉的错误负责呢？判决给出了一个关键定性：案涉生成式人工智能属于服务，而非产品，不适用无过错的产品责任，而适用民法典规定的过错责任原则。这意味着，AI生成的不准确信息，本身并不构成侵权，而是要考察提供服务的平台是否存在过错。 肖芄： 不能说你有这么一个（AI幻觉）缺陷就成了免责的理由，相反你应该要尽当前技术条件下所能够采取到的技术措施，去尽量避免或者减少这种不准确信息的产生。生成式服务提供者应该对生成式服务这样一种功能局限，应该尽到一个提醒的义务，甚至在某一些特定的场景下，它应该向用户尽到一定的警示义务。 在这起案件中，研发公司提交的证据表明，他们已经采取了当前技术条件下的必要措施，以减少AI幻觉的发生，并履行了提示说明义务。最终，法院驳回了原告诉讼请求，原、被告均未上诉，判决现已生效。尽管这起案件已经审结，但它所引发的法律方面的思考，才刚刚开始。 AI建议如导致误诊 谁来担责 面对AI“一本正经胡说八道”，很多人可能一笑了之，但如果场景变了呢？随着AI在医疗领域的介入越来越深，责任划分的问题也越来越无法回避：如果AI的建议导致误诊、漏诊，责任该由谁来承担呢？ 随着AI大模型在各地医院的落地，医生的病历书写方式，已经开始发生重大改变。在温州医科大学附属第一医院，输入患者信息，几秒钟，一份病历就能生成，还能根据检查结果提供诊断建议。然而，在最近的一场论坛上，复旦大学附属华山医院的医生张文宏却表示，拒绝将AI引入所在医院的病历系统。 复旦大学附属华山医院感染科主任张文宏： 现在在我们医院，我是拒绝把AI引入我们医生的日常生活。一用Al就造成最大的一个问题，我们医生的（训练）完全就改变了，对疾病的诊断没有经过系统训练，马上通过Al得出，跟我给出的结论是一样的。没有经过系统训练，他就不能鉴别AI，对或者错，这是很大的问题。 其实，张文宏并不反对AI进入医疗领域，但他担心的是，一旦AI出错，医生们是否具备足够的能力识别和纠正。 张文宏： 我是用AI的，因为我接触的病人的量太大、太复杂。我短期内要处理这么多病例，我一般会AI先给我看一遍。AI一般会告诉你，我可能认为什么什么，但是我一看，我就知道AI哪里是错的，你知道误导或者不误导你，就取决于你的能力是不是强过这个AI。 中国卫生法学会副会长郑雪倩： 医生基本的锻炼和培养是要从写病历开始，因为你只有认真地写病历，你才会对病人的整个病情有深入的了解，重要的分析和重要的病程的问诊，我觉得还是要医生亲自来写，而不是说完全用（AI）来替代。如果我们这一代都使用了AI，这些现在的数据是采集前面那些医生积累的经验，假如到了这一代全用了这些数据以后，没有自我的研究和经验的积累的话，到再下一代人给人看病的医生，还有没有这个水准？ 张文宏说，“AI会出错，这是肯定的。”即便是前不久宣称问答准确性刷 新世界 纪录的某国产医疗大模型，也还存在着2.6%的AI幻觉率。哪怕再低的幻觉率，出现在医疗场景中，也可能变成误导性的用药建议，或是错误的诊断方向。 郑雪倩： 它还是有幻觉出现，可能也引发大家说这个东西我到底用还是不用。我觉得首先大众一定要有一个明确的定位，（AI）是诊疗中的辅助手段，而不是主导医生诊断决策的角色。 中国政法大学人工智能法研究院院长张凌寒： 法律始终坚持的原则，就是只有人是具有法律主体地位的。那么医生在适用人工智能进行辅助诊疗的时候，一定要对于自己所作出的医疗决策，进行全面审慎的判断和思考，并且为这个决策最终负责。 现实当中，也有医生困惑，如果AI出了错，医生和AI平台，法律责任如何划分？在刚刚结束的北京两会上，有政协委员提交了《关于加快推动AI医疗辅助诊疗规范有序发展的提案》，建议明确决策权仍在医生，而厂商对模型算法与产品质量承担主体责任，医疗机构则承担使用与验证责任。 郑雪倩： 医生在他的诊疗中使用了AI的技术，导致了患者受到了伤害，主体实际上还是很清晰的，从我们国家民法典医疗损害的侵权责任角度考虑，它是规定是由医院和医生医护人员来承担，这一点没有突破我们国家的现有的法律制度。但假如说算法上错了，误导了，可能也要考虑开发者的情况，如果说产品我使用这个产品质量出了问题，并不是我操作失误的话，那就要追究厂家的产品责任。 目前，我国还没有专门针对AI在医疗领域应用的法律法规。2022年国家卫健委等制定的《互联网诊疗监管细则（试行）》中规定，人工智能软件等不得冒用、替代医师本人提供诊疗服务。 中国卫生法学会副会长郑雪倩： 另外在21条里还明确规定，医生本人去出诊以后，要由医生本人亲自开处方，不能用AI来生成处方，所以我们看到从这上面的规定来看，它已经严禁AI作为独立的诊疗医师，必须是由医生本人亲自诊查。
阅读更多（Read More）
