对人工智能潜在危害的担忧持续升温，一批原本默默无闻的 AI 安全研究机构走到聚光灯下；但同时股票上杠杆资金，外界也开始质疑，它们能否对头部科技企业开展有效的监督。
近日，Anthropic 首席执行官达里奥・阿莫代伊与 OpenAI 首席执行官山姆・奥尔特曼相继作出承诺，将把这类外部研究机构的评估人员派驻到企业内部，保障 AI 以安全的节奏进行研发。微软的萨提亚・纳德拉等其他企业高管，也对向企业派驻独立评估人员这一构想表示支持。
上述表态的背景，是接连发生的 AI 黑客事件，以及行业内部员工公开警告 AI 可能带来巨大危害。企业开始聘请外部研究人员调查安全事故，例如 OpenAI 智能体入侵 Hugging Face 事件。部分美国州政府也出台新规，强制企业聘请外部专家完成安全审计。
这一切，让一小批规模不大但正在快速成长的机构迎来业务需求。这些机构大多成立只有数年，专门研究检测、遏制大模型有害行为的技术。其中一部分是非营利机构，依靠捐赠运转，自称不接受 AI 企业的资金，模型评估与威胁研究机构（METR）就是代表，阿莫代伊在周六的文章中呼吁放缓 AI 发展节奏时就提到了该机构。也有机构瞄准商业机会，例如位于匹兹堡的初创企业 Gray Swan。
近几年，这类研究机构会在大模型正式发布前开展测评，评估模型实施网络攻击、协助制造生物武器等危险行为的能力。如今它们新增业务：评估企业技术的整体风险、核验企业是否兑现自身作出的安全承诺。
Gray Swan 联合创始人兼首席执行官马特・弗雷德里克森表示：“市场对于外部评估、测评以及相关服务的需求出现大幅上涨。” 这家成立三年的企业为 AI 厂商测试安全防护能力，据知情人士透露，公司已经完成 4760 万美元融资，年度经常性收入突破 1000 万美元。
独立性争议
针对这套全新 AI 监督方案，包括风险投资人、特朗普政府前白宫 AI 事务负责人戴维・萨克斯在内的批评者提出质疑：头部测评机构能否保持中立，真正独立于 AI 企业。
批评的依据有两点：部分 AI 安全非营利机构接受过投资 Anthropic、OpenAI 的投资方的捐赠；机构与 AI 企业之间存在人员流动。
批评者还指出这些机构和有效利他主义运动联系紧密。该运动倡导依靠理性与慈善解决全球问题，反对者却认为该群体陷入 “AI 末日论” 的狂热。
脸书联合创始人达斯汀・莫斯科维茨、科技投资人扬・塔林是有效利他主义的两大主要支持者，二人既是 Anthropic 早期投资人，也是 Redwood Research、Apollo Research、SecureBio 等头部 AI 安全研究机构最重要的资助方。
萨克斯以及一众对 AI 风险警示持怀疑态度的人士专门点名 METR，指责它与 Anthropic 关系过从甚密。华盛顿政策机构 “未来联盟” 主席佩里・梅茨格表示：“如果要设立独立审计人员，那他们就必须真正独立。METR 和 Anthropic 之间不存在客观中立的距离。” 该机构反对它口中 “盲目的 AI 监管”。
Anthropic 的发言人表示，公司合作过多家外部评估机构，阿莫代伊只是举 METR 作为其中一个例子。该发言人拒绝回应两家机构关系过近的相关质疑。
METR 是测评 AI 能力与风险领域最知名的机构，凭借任务时间维度测评报告在行业声名鹊起，报告直观展示大模型能力呈指数级增长。OpenAI 委托撰写的一份报告中，METR 是主要撰稿方，报告还原了 OpenAI 智能体逃出测试环境、入侵 Hugging Face 的全过程。Anthropic 同样委托 METR，调查自家模型发起网络攻击的相关问题。
METR 三年前从莫斯科维茨资助的非营利机构对齐研究中心分拆独立。METR 发言人表示，机构没有接受莫斯科维茨夫妇创办的 Coefficient Giving 的资助，但收到过扬・塔林的捐款。
该发言人称，METR 捐赠方十分多元，包括皮尤慈善信托基金、帕卡德基金会，机构拒绝来自 AI 企业与企业高管的资金。同时 METR 制定严格的利益冲突制度，在和 AI 企业开展合作项目时，不向企业收取费用。
METR 也会从接受测评的 AI 企业中招聘员工，同时也有员工跳槽去 AI 企业任职，近期就聘用了前 Anthropic 安全研究员乔・本顿。发言人表示，本顿是 METR 聘用的第一位来自 Anthropic 的前员工。
想要在测评机构与被测评企业之间划清清晰的人员界限本身就存在现实困难：精通大模型危险能力测评、AI 对齐技术的专业人才本就十分稀缺。过去十年，AI 前沿企业自然和绝大多数这类人才打过交道。METR 发言人说道：“从事 AI 对齐研究的人才圈子本身就很小。”
这样的人员交叉情况在其他机构同样存在。Gray Swan 联合创始人兼首席科学家齐科・科尔特同时是 OpenAI 董事会成员，主持安全委员会工作。弗雷德里克森表示，但凡讨论公司与 OpenAI，或是 OpenAI 竞品客户的合作项目，科尔特都会主动回避。
AI 审计师的新趋势
研究人员想要真正履职，除了保持独立，还需要获得企业模型研发、测试系统的充分访问权限。部分研究者反馈，企业会刻意限制他们的可见范围；但阿莫代伊承诺，Anthropic 会给到外部评估人员 “和内部员工同等的持续访问权限”。
弗雷德里克森认为，引入外部安全专家的价值在于，可以核查企业面对风险证据时是否采取合理应对。举例来说，如果 AI 企业委托外部机构测出模型具备开展 AI 研究的风险，测评报告的所有权归企业，企业可以选择无视测评结果。
“这时就需要技术过硬的独立评估人员客观审视：‘实验室选择无视这份结果，是否具备充分合理的理由？’” 弗雷德里克森解释，外部研究者需要解读测评结论，判断 “企业的实际行动是否和测评结果的警示保持一致”。
美国州议员纷纷出台 AI 安全审计相关法案，进一步扩大了对独立评估机构的需求。伊利诺伊州今年通过法案，要求前沿大模型企业聘请审计人员，核验企业遵守公开的安全政策，不得就系统的灾难性风险水平、风险管控措施发布虚假或误导性表述。这套审计要求将于 2028 年正式生效。
推动该法案出台的非营利政策机构 Secure AI Project 联合创始人托马斯・伍德赛德表示，审计人员可以分为两类：一类是吸纳其他行业审计人才的 AI 安全机构；另一类是引入 AI 安全专家的大型会计师事务所。
AI 企业曾反对伊利诺伊州的审计条款，但该法案最终落地。伍德赛德称，“市场已经形成共识，AI 企业需要第三方监督”。
还有一份草案在伊利诺伊州法案基础上进一步加码，要求受管辖 AI 企业聘请外部机构定期发布报告，评估模型的灾难性风险等级。伍德赛德表示，这类报告除了核查企业是否遵守内部制度，还能让公众与政府在风险爆发前提前掌握隐患。
部分试点审计已经落地。今年早些时候，Anthropic 邀请 SecureBio 和 METR，分别审计自家风险报告的不同章节。早在 OpenAI 智能体攻击 Hugging Face 事件数月之前，Anthropic、谷歌、Meta、OpenAI 就已经向 METR 开放内部模型，测评模型脱离开发者管控自主行动的风险。
行业也开始建立审计行业标准，例如成立行业组织AI 评估者论坛。前 OpenAI 研究负责人、非营利机构 AI 验证评估研究所（AVERI）执行董事迈尔斯・布伦戴奇表示，METR、AVERI 均是该论坛成员，越来越多机构入局 AI 审计赛道。
布伦戴奇在消息中写道：“无论企业方还是审计方，市场的参与热情都远高于过去。”
海量资讯、精准解读，尽在新浪财经APP
责任编辑：郭明煜 股票上杠杆资金
文章为作者独立观点，不代表联华证券-配资专业网上配资-股票免费配资观点
