5月29日,财联社消息(编辑 周子意),OpenAI 前首席安全研究员 Jan Leike 周二(5月28日)宣布,他已加入之前的竞争对手公司 Anthropic。
Jan Leike 曾担任 OpenAI 旗下 Superalignment(超级对齐)团队的安全主管。该团队成立于 2023 年,专注于人工智能的长期风险,其超级对齐技术旨在帮助提高大规模模型的安全性。
5 月中旬,在 OpenAI 联合创始人兼 Superalignment 首席科学家 Ilya Sutskever 宣布离职后,Jan Leike 也紧随其后,宣布离开 OpenAI。数日后,该公司宣布解散该安全团队。
Leike 直言,近年来 OpenAI 已不再重视内部文化,忽视安全准则,执意快速推出“抢眼球”的产品。他也表示,“离开这份工作是我做过的最艰难的事情之一,因为我们需要迫切地弄清楚如何引导和控制比我们聪明得多的 AI 系统。”
加入 Anthropic 在 Leike 辞职不到半个月后,他就已找到新归宿。周二,Leike 在社交媒体平台 X 上写道,“我很高兴能加入 Anthropic AI 继续超级对齐的任务,我的新团队将致力于可扩展的监督、弱到强的泛化以及自动化校准研究。”
Anthropic 是人工智能领域的新星,该公司得到了亚马逊的支持,亚马逊已承诺为其提供高达 40 亿美元的资金。除了亚马逊的投资外,该公司还获得了谷歌、Salesforce 和 Zoom 的投资。
3 月份,Anthropic 推出了 Claude 3 大模型。该公司称,Claude 3 在复杂任务中的理解能力接近人类,是当前最强大的大模型之一,甚至在知识水平、演绎推理和基础数学等方面全面超越 GPT-4。
**安全性担忧**
在过去的几个月里,OpenAI 技术团队中有多位人工智能安全领域的高管陆续宣布离职,其中包括 Ilya Sutskever 和 Jan Leike。Jan Leike 等人的离职事件加剧了人们对人工智能安全问题的讨论。
自 OpenAI 在 2022 年底推出 ChatGPT 以来,人工智能的安全性问题在科技行业的受重视程度迅速提升。一些业内人士表示,公司在未充分考虑潜在社会危害的情况下,过快地向公众发布强大的 AI 产品。
同在周二,OpenAI 宣布成立一个新的安全和安保委员会,负责监督与公司项目和运营相关的关键安全和安保决策。该委员会由包括首席执行官 Sam Altman 在内的公司高管领导,且进入该委员会的成员全部为公司内部人员。据介绍,该委员会将在未来 90 天内负责评估 OpenAI 的安全流程和保障措施,并向公司董事会提出关于 OpenAI 项目和运营的安全保障决策的建议。
本文仅代表作者观点,不代表本站立场。
如有侵犯您的权益请联系删除。
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。