作者: jackliao1990 (j) 看板: Stock
標題: [新聞] Ilya離開OpenAI內部曝光：奧特曼砍他團隊
時間: Sat May 18 18:45:49 2024
原文標題：
Ilya離開OpenAI內部曝光：奧特曼砍他團隊算力，優先搞
發布時間：
2024-05-18 13:11:58
記者署名：
衡宇白交
原文內容：
連發13條推文！
OpenAI超級對齊負責人 Jan Leike ，也就是剛剛追隨Ilya離開公司的那位，自曝離職的
真正原因，以及更多內幕。
一來算力不夠用 ，承諾給超級對齊團隊的20%缺斤少兩，導致團隊逆流而行，但也
困難。
二來安全不重視 ，對AGI的安全治理問題，優先順序不如推出「閃亮的產品」。
緊接著，更多的八卦被其他人挖出來。
例如OpenAI離職成員都要簽一份協議， 保證離職後不在外說OpenAI壞話 ，不簽的話視為
自動放棄公司股份。
但仍有拒不簽署的硬骨頭出來放猛料（笑死），說核心領導階層對安
歧由來已久。
去年宮鬥至今，兩派的觀念衝突到達了臨界點，這才看上去頗為體面
因此，儘管奧特曼已經派了共同創辦人來接手超級對齊團隊，但仍舊
衝在最一線的推特網友們感謝Jan有勇氣說出這個驚人大瓜，並感
我勒個去，看來OpenAI真的不太注重這個安全性！
不過回過頭來，如今執掌OpenAI的奧特曼這邊，暫時還坐得住
他站出來感謝了Jan對OpenAI超級對齊和安全方面的貢獻，
很捨不得。
當然了，重點其實是這句話：
等著，過兩天我會發一篇比這更長的推文 。
承諾的20%算力居然有畫大餅成分
從去年OpenAI宮鬥到現在，靈魂人物、前首席科學家Ilya
在他公開宣稱離職前，就已經眾說紛紜。 很多人認為Ilya看到了一些可怕的事情，例如
可能毀滅人類的AI系統啥的。
△網友：我每天醒來第一件事就是想Ilya看到了啥
這次Jan算是攤開了說，核心原因是技術派和市場派對安全的優先
分歧很嚴重，目前後果嘛……大家也都看到了。
根據Vox報道，熟悉OpenAI的消息人士透露， 更注重安全的員工已經對奧特曼失去了信
心 ，「這是一個信任一點一點崩潰的過程」。
但如你所見，在公開平台和場合，沒有太多離職員工願意公開談論此
一部分原因是OpenAI一直以來，都有 讓員工簽署帶有非貶低協議的離職協議的傳統。 如
果拒絕簽署，就等於放棄了先前拿到的OpenAI的選擇權， 這意味著出來說話的員工可能
會損失一筆巨款。
然而，多米諾骨牌還是一張接一張的倒下了——
Ilya的辭職加劇了OpenAI近期的離職潮。
緊接著宣布離職的，除了超級對齊團隊負責人Jan以外，目前有至
職。
其中還有個沒簽署非貶低協議的硬骨頭，Daniel Kokotajlo（以下簡稱DK哥）。
△去年DK哥寫道，他認為AI發生生存災難的可能性為70%
DK哥在2022年加入OpenAI，在治理團隊工作，主要工作
但他也在近期辭職了，並且對外接受了採訪：
OpenAI正在訓練更強大的AI系統，目標是最終全面超越人類
這可能是人類有史以來發生過的最好的事情，但如果我們不小心行事
糕的事情。
DK哥闡述，當年，他加入OpenAI，滿懷對安全治理的報復與
能越負責任。 但團隊中 許多人 慢慢意識到，OpenAI不會這樣了。
「逐漸對OpenAO領導層以及他們負責地處理AGI的能力失去
原因。
對未來AGI安全工作的失望，是Ilya加劇的離職潮中眾人離開
還有一部分原因，是 超級對齊團隊，恐怕沒有外界想像的那樣能資源充沛地進行研究。
即便超級對齊團隊滿載工作，團隊也只能獲得OpenAI承諾的2
而且團隊的一些請求經常被拒絕。
當然是因為算力資源對AI公司來說重要至極，每一點都要合理分配
的工作是「解決如果公司成功建構AGI，實際上會出現不同類型的
換句話說，超級對齊團隊對應的是OpenAI需要面對的未來的安
的、不知是否會出現的。
截至發稿，奧特曼還沒有發出他那篇「（比Jan爆料內幕的）更長
但他簡單提到，Jan對安全問題的擔憂是對的， “我們還有很多事情要做；我們也致力於
這樣做。”
就這一點，大夥兒可以先辦個小板凳等等，到時候咱一起第一時間吃
綜上，現在超級對齊團隊走了好些人，尤其是Ilya和Jan的離
臨群龍無首的窘況。
後續安排，是 共同創辦人John Schulma來接手 ，但不再有專門的團隊。
新的超級對齊團隊將是聯繫更鬆散的小組，成員分佈在整個公司的各
人將其描述為「更深入地整合」。
這一點也為外界所質疑，因為 John的原本全職工作是確保目前的OpenAI產品的安全問題
。
不知道突然多了份責任後，John能不能忙得過來，好好領導關注
的兩個團隊？
Ilya-Altman之爭
如果把時間陣線拉長， 其實今天的分崩離析是OpenAI「宮鬥」Ilya-Altma
時間回溯到去年11月，當時Ilya還在，他與OpenAI董事
當時給的理由是，他在溝通上不夠真誠。 換言之，我們不信任他。
但最終結果顯而易見，奧特曼帶著他的「盟友」威脅加入微軟，結果
動失敗。 Ilya離開董事會。 而奧特曼這邊，選擇了對他更有利的成員加入董事會。
在這之後，Ilya就再也社交平台上消失了，直到前幾天官宣離職
個月沒有出現在OpenAI辦公室了。
當時他還留下一則耐人尋味的推文，但很快就刪除了。
在過去的一個月裡，我學到了許多教訓。 其中一個教訓是，「在士氣提高之前，毆
打會一直持續下去」這句話比它應有的含義更經常適用。
但據內部人士透露， Ilya一直遠端共同領導超級對齊團隊 。
而在奧特曼這邊，員工們對他最大的指控就是言行不一，例如他聲稱
，但他的行為卻很矛盾。
除了原本承諾的運算資源沒有給到外。 還有像前陣子找沙烏地阿拉伯等募款來造芯。
那些注重安全的員工懵了。
如果他真的關心以盡可能安全的方式建構和部署人工智慧，那麼就不
片，來加速技術的發展？
更早之前，OpenAI也從一家奧特曼投資的一家新創公司訂購晶
（約3.6億元）。
而當時宮鬥那幾天OpenAI前員工的檢舉信中，對於奧特曼的描
https://tinyurl.com/2s4b42rm
也正因這樣 從頭到尾「言行不一」 的操作，讓員工們逐漸對OpenAI以及奧特曼失去信心
。
Ilya是這樣，Jan Laike是這樣，超級對齊團隊也是這樣。
有貼心的網友整理出這幾年年間，發生的相關事情的重要節點－先來
到的 P（doom） ，指「AI引發世界末日場景的可能性」。
2021年，GPT-3團隊負責人因「安全」問題離開OpenA
為P（doom）為10-25%；
2021年，RLHF安全研究負責人離職，P（doom）為50
2023年，OpenAI董事會解僱奧特曼；
2024年，OpenAI解僱兩位安全研究員；
2024年，一位特別關注安全的OpenAI研究員離職，他認為
2024 年，伊利亞和簡·萊克退休。
https://tinyurl.com/vcw877d3
技術派還是市場派？
大模型發展至今，「如何實現AGI？」其實可歸結為兩條路線。
技術學派 希望技術成熟可控再應用； 市場派 則認為邊開放邊應用「漸進式」走到終點
。
這也是Ilya-Altman之爭的根本分歧，即OpenAI的
是專注於AGI和超對齊，還是專注於擴展ChatGPT服務？
ChatGPT服務規模越大，代表所需的計算量越大；這也會佔用
如果OpenAI是個致力於研究的非營利組織，他們應該將更多時
而從OpenAI對外的一些措施來看，結果顯然不是， 他們只是想要在大模型這個競爭中拔
得頭籌，為企業和消費者提供更多的服務 。
這在Ilya看來，這是件非常危險的事。 即便我們不清楚隨著規模的擴大會發生什麼，但
在Ilya看來，最好的辦法就是安全第一 。
開放和透明，這樣我們人類才能確保安全地建構AGI，而不是以某
但在奧特曼帶領之下OpenAI，似乎既不追求開源，也不追求超
心只想朝著AGI 的方向狂奔，同時試圖建立一條護城河。
那麼最後AI科學家Ilya的選擇正確，還是矽谷商人奧特曼能走
現在還無從得知。 但至少OpenAI現在面臨關鍵抉擇。
有業內人士總結了兩個關鍵訊號，
一個 是ChatGPT是OpenAI主要收入，如果沒有更好的模型支
GPT-4；
另一個 則是如果離職的團隊成員（Jan、Ilya 等）不擔心很快會有更強大的功能，他們
就不會關心對齊的問題……如果AI停留在這個水平上，基本上也無
但OpenAI的根本矛盾沒有解決，一邊是盜火一樣的AI科學家
一邊則是矽谷市場派對於用商業化方式推動技術可持續的急迫。
雙方已經不可調和，科學派正在完全出局OpenAI，而外界至今
步了？
迫切想要知道這個問題答案的吃瓜群眾都有點累了。
一種無力感湧上心頭，就像Ilya的老師、圖靈獎三巨頭之一Hi
我老了，我擔憂，但我無能為力了。
參考連結：
[1]https://www.vox.com/future-
[2]https://x.com/janleike/stat
[3]https://twitter.com/sama/st
心得/評論：
奧特曼違背防止人工智慧威脅人類的承諾 這導致安全團隊一直有人辭職
OpenAI會重蹈微軟和谷歌的覆轍 走向沒落嗎??
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.177.213 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M
沒有留言:
張貼留言
您好.本資料庫並非第一手資料.如果你有對文章作者的詢問,意見與需求,請自行找尋文章作者並提供意見,謝謝.