IT之家12月19日消息，开发了ChatGPT的OpenAI公司日前宣布成立新的“防备（Preparedness）”团队，旨在监控旗下技术可能带来的潜在威胁，防止其落入坏人之手，甚至被用于制造化学和生物武器。
该团队由麻省理工学院人工智能教授亚历山大・马德里(Aleksander Madry)领导，将招募人工智能研究人员、计算机科学家、国家安全专家和政策专家等，对OpenAI开发的技术进行持续监测和测试，一旦发现任何危险苗头，及时向公司发出警告。
OpenAI周一发布了名为“防备框架”（Preparedness framework）的指导方针，并强调这套指南仍处于测试阶段。
据悉，防备团队每月将向一个新的内部安全咨询小组发送报告，该小组随后将对其进行分析，并向OpenAI首席执行官萨姆・阿尔特曼和董事会提交建议。阿尔特曼和公司高层可以根据这些报告决定是否发布新的AI系统，但董事会有权撤销这一决定。
防备团队将反复评估OpenAI最先进、尚未发布的AI模型，根据不同类型的感知风险评为四个等级，从低到高依次是“低”、“中”、“高”和“严重”。根据新的指导方针，OpenAI将只推出评级为“低”和“中”的模型。
OpenAI的“防备”团队介于两个现有团队之间：负责消除AI系统中种族偏见等现有问题的“安全系统”团队，以及研究如何确保AI在超越人类智能的未来场景中不会伤害人类的“超级对齐（Superalignment）”团队。
IT之家注意到，ChatGPT的火爆以及生成式AI技术的快速发展引发了科技界关于该技术潜在危险性的激烈讨论。来自OpenAI、谷歌和微软的知名AI专家今年警告称，该技术可能对人类构成与流行病或核武器相当的生存威胁。其他AI研究人员则认为，过度关注这些遥远的巨大风险，忽视了AI技术目前已经造成的潜在危害。也有一些AI商业领袖认为，关于风险的担忧被夸大了，公司应该继续推进技术发展，造福社会并从中获益。
OpenAI在这场辩论中采取了较为折中的立场。首席执行官萨姆・阿尔特曼(Sam Altman)承认该技术存在严重的长期风险，但也呼吁人们关注解决现有问题。他认为，监管不应该阻碍小型公司在AI领域的竞争。同时，他也推动公司实现技术商业化，筹集资金加快发展。
马德里是资深AI研究人员，曾在麻省理工学院负责可部署机器学习中心，并共同领导麻省理工学院AI政策论坛。今年他加入了OpenAI，但在阿尔特曼被董事会解雇后，曾与少数OpenAI高管一道辞职，五天后当阿尔特曼复职时，马德里回到了公司。OpenAI由一个非营利董事会管理，其使命是促进AI发展并使其造福全人类。在阿尔特曼复职后，三名解雇他的董事会成员辞职，目前该组织正在遴选新的董事会成员。
尽管领导层经历了“动荡”，马德里表示，他仍然相信OpenAI董事会认真对待AI的风险。
除了AI领域的人才，OpenAI的“防备”团队还将招募来自国家安全等领域的专家，帮助公司了解如何应对重大风险。马德里表示，团队已经开始与美国核安全局等机构进行接触，确保公司能够适当地研究AI的风险。
该团队的重点之一是监控OpenAI的技术何时以及如何引导人们进行计算机入侵或制造危险的化学、生物和核武器，超出人们通过常规研究可以在网上找到的内容。马德里正在寻找这样的人才：“他们会深入思考，‘我如何突破这些规则？我如何成为最机智的反派？’”
OpenAI在周一的一篇博客文章中表示，公司还将允许来自OpenAI之外的“合格的独立第三方”测试其技术。
马德里表示，他既不同意那些担心AI已经超越人类智能的“末日论者”，也不同意那些希望移除所有AI发展障碍的“加速主义者”。
他说：“我真切地认为，将发展和抑制截然分开是一种非常简单的划分方式。AI拥有巨大的潜力，但我们也需要努力确保这些潜力得以实现，并且最大程度避免负面影响。”