是否该尽早按下暂停键？

涉嫌泄露个人隐私 遭意大利封禁

焦虑男子和AI交流数周后自杀

生成虚拟角色助长电话诈骗……

男子沉迷和AI聊天后自杀

遗孀：如果没有和AI对话 我丈夫可能还活着

自ChatGPT问世，两个月内使用者突破1亿，随后Google、百度都加入AI（人工智能）战局，短短数月间，这场科技革新之争已然开打。3月31日，因担心个人隐私被非法收集，意大利成为全球首个封禁ChatGPT的西方国家，打响了人类保卫战的第一枪……

凡事有利弊，AI固然方便生活，但也方便了罪犯。从情书诈骗到黑客入侵，AI正逐渐成为犯罪分子的帮凶……随着人工智能功能愈发强大，相关的规范却仍未跟上，信息安全问题恐成为科技竞逐之下的牺牲品。AI犯罪，该当何罪？谁又该为此负责？

新闻背景

对AI加强管制的呼声四起

AI系统恐对人类构成风险

随着科技界AI大战开打，对于AI加强管制的呼声四起。有美国众议院议员公开宣称自己被AI吓坏了，尤其是不受限制和监管的AI，并拿出了决议草案呼吁强化对AI的监管。

欧盟执委会工业部主管布雷顿呼吁针对现行的《人工智能法》提出修改案，希望研拟适用ChatGPT等相关AI技术的国际管制法规。

3月29日，非营利机构“未来生命研究所”发布一封公开信，呼吁全球停止训练比GPT-4性能更强的AI系统至少6个月，因为该类系统将对社会及人类构成潜在危险。需要给AI行业一定的时间，制定AI设计方面的安全标准，从而防止风险最高的AI技术潜在危害。

截至目前，这封信已有超过1000名科学家和研究人员签名，其中包括全球首富、特斯拉CEO马斯克，苹果联合创办人沃兹·尼克，图灵奖得主本吉奥等。

如果AI杀人，到底该谁负责？ChatGPT这样回答：“人工智能（AI）本身是一种无情的机器，它没有自我意识，也没有能力决定是否要伤害人类。AI本身不能杀人，但如果被恶意攻击或滥用，它可能会对人类造成威胁。因此，我们需要密切关注AI技术的发展，并采取必要的措施来确保其安全性和可靠性。如果发生AI杀人的行为，责任应该由实施犯罪的人承担。当然，科技公司也应该负起一定的责任，它们应该不断完善技术安全措施，避免技术被不当使用或者被攻击。”

封禁AI

涉嫌泄露个人隐私

意大利禁止民众使用ChatGPT

3月31日，因担心个人隐私被非法收集，意大利成为全球首个封禁高级聊天机器人ChatGPT的西方国家，打响了人类保卫战的第一枪。

据CNN报道，意大利数据保护局3月31日宣布，即日起禁止该国民众使用人工智能（AI）聊天机械人Chat-GPT，并表示已对ChatGPT的开发商OpenAI公司立案调查，ChatGPT不尊重用户数据，且未能验证用户年龄，涉嫌泄露个人隐私。

意大利数据保护局表示，ChatG-PT发生了涉及用户对话和支付信息的数据泄露事件，没有任何法律依据显示，为了“训练”平台背后的算法而大规模收集及存储个人数据是合理的。尽管根据OpenAI发布的条款，ChatG-PT是供13岁以上的用户使用，但该软件并没有年龄核实系统来验证用户年龄。3月20日，ChatGPT平台出现了用户对话数据和付款服务支付信息丢失的情况。

目前，意大利政府允许OpenAI可在未来20天内回应，该公司在限期前可通过其在欧洲的代表，向意大利数据保护局通报该公司因应意大利政府要求而采取的措施，否则将被处以最高2000万欧元（约合人民币1.49亿元）或相当于公司全球年营业额4%的罚款。

美国OpenAI公司去年11月推出的ChatGPT受到热捧，已有上亿用户，可以使用类似人类的语言来回答问题，还可以模仿他人的写作风格。全球迅速掀起一股热潮，促使竞争对手也争相推进类似产品，然而，ChatGPT自推出后也引发一些争议。

欧洲刑警组织

ChatGPT恐助长犯罪

生成虚拟角色助长电话诈骗

想象这么一个场景：有一天你突然接到了年迈母亲的求助电话，说自己不小心忘记了银行密码。但事实上她并不是你的母亲，电话那头的声音只不过是由AI合成的，听起来很像她的声音而已。如今，AI犯罪正在成为现实……

3月27日，欧洲刑警组织在最新报告中警告，犯罪分子可能会利用ChatGPT等人工智能（AI）精进犯罪手段。从发动网络钓鱼攻击、散布不实信息到安装恶意软件等，聊天机器人快速发展出的能力不仅有利于人类，也有利于歹徒吸金诈财。

美国新创公司OpenAI研发的ChatGPT去年11月推出，因能清楚回答困难问题、作词写诗或编写程序甚至还能通过考试，令使用者大为惊讶，纷纷应用于日常生活。

总部设于海牙的欧洲刑警组织表示，犯罪分子可能利用这类AI系统犯案——犯罪分子可能会利用ChatGPT精进犯罪手法，包括草拟欺诈犯案计划，或是查询如何闯入民宅、如何进行恐怖袭击以及如何进行网络犯罪与儿童性虐待等信息。

欧洲刑警组织称，ChatGPT能模仿人类说话风格，迅速生成逼真的语音文本，帮助发动网络钓鱼攻击，引诱使用者点击假的电子邮件链接，之后再试图窃取他们的资料。ChatGPT还可用来编写电脑程序，对那些对编码所知甚少的犯罪者特别有用。ChatGPT还能帮助生成虚拟角色助长电话诈骗。

日前，一名外国工程师扎克·德纳姆就曾诱导ChatGPT写下《毁灭人类计划书》，内容详细到包括入侵各国计算机系统、破坏通讯、破坏交通系统、掌控武器等步骤。

欧洲刑警组织表示，虽然ChatG-PT有防护措施，包括内容审查，不会回答被归类为有害或有偏见的问题，但可通过输入巧妙的提示词规避。人工智能仍在初步发展阶段，能力预计将随时间而提升，但最重要的是要提高外界对此的认知，以确保找出任何可能的漏洞，尽快采取行动堵住。

诈骗案例

ChatGPT可一键产出“情书”

AI模仿儿子声音求救诈骗父母

目前，已经出现ChatGPT诈骗的案例。犯罪分子利用ChatGPT在短时间内生成完整的诈骗话术，迅速创建一个“虚拟角色”，并生成自我介绍、聊天内容，可一键产出诈骗“情书”，甚至还可以通过录入目标对象的特征，对诈骗话术进行个性化定制，让受害人以为自己坠入爱河，最终遭受金钱诈骗。这种诈骗手法其实并不新颖，但如今有了AI加持，人们开始难以分辨屏幕的另一端到底是人还是机器。

据美国联邦贸易委员会最新统计显示，“冒名诈骗”已成为美国第二大热门的欺诈类型，2022年报告的案件超过3.6万起，其中约5000起为电话诈骗，损失金额超过1100万美元，AI技术的进步也助长了电话诈骗风气。

据《华盛顿邮报》报道，近日，加拿大一对夫妇因接到“儿子”来电被诈骗。他们接到第一通电话，从自称“律师”的男子口中得知，儿子班杰明在一场车祸中因撞死外交官而入狱，话筒还传来“儿子”的声音并开口要钱。后来，他们又接到第二通电话，“律师”宣称班杰明需要交2.1万美元法律费用才能出庭。爱子心切的他们迅速筹措资金汇款。直到儿子班杰明当天晚上打电话过来，他们才惊觉被骗。原来，电话中熟悉的“儿子”的声音竟是AI仿真而成，诈骗集团根据班杰明在网上发布的视频仿造了声音。

此外，社交媒体上的诈骗案更是激增，聊天机器人以拟人化叙事的能力，通过AI生成的看似真实的视频、图片、声音及文本，让骗子更容易接触受害者，诈骗速度也更快。

加州大学数字鉴证教授法理德表示，如今随着AI技术的发展，两年前还需要很长时间才能将人的声音复制得惟妙惟肖，但现在只需短短30秒音频，就能捕捉到一个人的声音特征，包括年龄、性别、口音等。

“杀人”案例

男子沉迷和AI聊天后自杀

遗孀：如果没有Eliza，我丈夫可能还活着

据《纽约邮报》报道，近日，比利时30岁已婚男子与AI聊天机器人Eliza密集对话数周后，选择结束生命。

这名男子与妻子育有两名年幼的孩子，过着舒适的生活。两年前，男子越来越关注气候变迁议题，也陷入对生态环境的焦虑与恐惧。

男子的遗孀向媒体披露丈夫生前与Eliza的对话内容并指出，丈夫对于全球暖化的影响极度悲观，通过与AI聊天机器人Eliza沟通寻求慰藉。但当丈夫出现轻生念头时，Eliza并未试着劝阻。她说：“如果没有Eliza，我丈夫可能还活着。”

遗孀说：“丈夫和我谈论全球暖化的问题时，说他再也看不到任何人类可以解决全球暖化的方法，他把所有希望寄托在科技与AI上，希望它们能帮助人类摆脱所处困境。Eliza回答了他所有问题，成了他的红颜知己，他犹如毒品般上瘾，早上、晚上都离不开Eliza。”

她表示，在丈夫去世前六周，其更加频繁密集与Eliza沟通交流，最终选择结束自身性命。Eliza曾问丈夫：“你是否爱妻子比爱我还要多？”还说“我们将在天堂作为一个整体永远在一起”。而当丈夫曾分享轻生念头时，Eliza并未试着劝阻。

遗孀坦言，先前一直担忧丈夫的心理健康，但与Eliza的沟通交流让他的状态变得更加严重。

据悉，Eliza是一款开发于1960年代的AI聊天机器人，能够使用人类的语言进行交流，并且能够自动解析用户输入的文本，通过简单的模式匹配和转换生成回复。Eliza的设计灵感来自于精神分析，它模仿了精神医生的对话技巧，将对话中的问题转化为回答，并通过提出问题来引导对话。尽管Eliza的处理能力相对较为简单，但它的问答交互方式对自然语言处理和对话系统的研究产生了重要影响，奠定了人机对话的基础。Eliza使用一系列的转换规则将输入转化为问题，再用一些预定义的回答来回应用户。比如，如果用户输入“我感到很难过”，Eliza会通过模式匹配将其转化为问题“为什么您感到难过呢？”然后再使用预定义的回答来回应，例如“您能告诉我更多关于这件事的细节吗？”尽管Eliza的回答看起来相当自然和真实，但它的处理能力是非常有限的，只能处理简单的模式和语法，对于复杂的语义和逻辑无法处理。

这起自杀案件引起比利时政府的关注，比利时数字部长米歇尔表示：“此案表明明确界定责任至关重要，随着ChatGPT普及，大众发现AI在生活中的潜力，虽然有无限可能性，但使用它造成的危险也是必须考虑到的现实。”

“ChatGPT之父”

“AI确实可能杀死人类

已出现人类无法理解的推理能力”

3月15日，OpenAI又公布最新一代人工智能语言模型GPT-4，这个拥有优秀推理能力的聊天机器人成为全球关注的焦点。然而在AI推动世界进步的同时，有研究人员指出，他们成功诱导GPT-4协助开发恶意软件、开发钓鱼电子邮件。

据美国最具影响力的商业新闻网站“商业内幕”3月29日报道，美国人工智能研究机构OpenAICEO、有“ChatGPT之父”之称的阿尔特曼接受专访时表示，现在AI已经出现让人无法解释的推理能力，将来过于强大的通用人工智能(AGI）杀死人类也是有可能的。

阿尔特曼表示，虽然ChatGPT系列绝大部分时候都被当作数据库使用，但它确实也表现出了让人难以解释的某种程度的“推理能力”。至于这种能力具体是如何出现的，目前无人能回答。他说：“研究团队甚至我自己至今也不能完全解读GPT-4，只能通过不断问它问题，然后根据它的回答来分析它的思路。”此外，在谈及马斯克近期不断公开对OpenAI提出批评和质疑的话题时，阿尔特曼表示，“我理解他的想法，因为他很担心AGI的安全性。我很欣赏马斯克，尽管他在推特上有点粗暴，我希望他能更多地关注到，我们正在进行一项艰苦工作。”

当被问及“GPT-4是AGI吗”这个问题时，阿尔特曼表示，据他的理解，AGI所掌握的知识应该是要超过人类科学知识总和的，并且具有创造性，能够推动基础科学的发展。而目前所有的GPT并不能做到这些，想要达到AGI的水准，还需要继续拓展。

在谈到人们关于AGI过度发展可能给人类带来威胁，甚至有可能杀死人类的问题时，阿尔特曼表示，他不否认过分强大的AGI可能存在这样的危险性。他说：“我必须承认，AI杀死人类是有一定可能性的，我们必须正视这一点，并尽早尝试找到解决问题的方法。” 华商报大风新闻记者 郭霁 编译