9月8日,OpenAI和Anthropic的研究人员Jacob Coxon在X上发布了辞职信,称这两家公司都在加速开发超级智能,威胁人类生命。这则消息已经被多家媒体报道,大家可能已经知道了。所以,我想接着讨论Anthropic CEO Dario Amodei的文章"We Must Pace the Frontier"。几小时后,Sam Altman表示同意,并宣布OpenAI也将采取同样的措施,Elon Musk也表示同意。国内媒体报道称,这是“AI开发公司自愿减速”的决定。但是,真的吗?
不是。这不是减速宣言,而是改变游戏规则的宣言。总之,比赛场上的运动员现在也要当裁判。由于很多人还没有意识到这个问题的严重性,所以我快速写了这篇文章。
首先,模型必須從零開始建立。只有從基礎建立模型的人才能解釋這個模型為什麼會這樣運作。當國際規範確立時,向他人學習的途徑本身就會變得狹窄,這一點也需要考慮。其次,計算資源。現在,供應鏈的政治穩定性也需要考慮。
第三,模型評估和驗證能力。前兩點目前正在推進,但目前最缺乏的是評估和驗證能力。如果常駐評估員制度成為國際規範,各國將需要根據自己的標準評估和驗證自己的模型,或者獲得其他國家的認證。韓國需要自己的評估標準、韓語語境風險基準、獨立紅隊,以及專門從事這項工作的研究人員集團。如果沒有這樣的組織,就會出現建立模型後等待其他國家認證的情況。
我不認為AI模型的風險被誇大了。然而,風險的真實性和