沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图 image source: generated by ai

幾天前，openai 宣布組織結構調整，裂變成了一家營利性公司和一個非營利組織。與此同時，openai ceo 山姆·奧特曼在 x 上用一個系列推文感謝了 openai 的多位元老。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图1

之後，他又單獨發了一條推文對一位“愛因斯坦級別的天才”表達了特別感謝：alec radford。奧特曼還表示 radford 是他一直以來最喜歡的人，並指出 ai 領域當今的進步很多都可以追溯到他的研究成果。上個月 20 號，傳出了 radford 即將離開 openai 進行獨立研究的消息，詳情可參閱機器之心的報導《剛剛，openai 元老級研究員 alec radford 離職，他主導了 gpt-1、gpt-2 的研發》。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图2

根據谷歌學術的數據，alec radford 論文的引用量現在已經超過了 19 萬，並擁有多篇超過 1 萬引用的重要論文。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图3

事實上，早在一年多以前，就已經有人指出了這位當時還聲名不顯的研究者的巨大貢獻：他是 gpt 原始論文等多篇奠基性研究成果的第一作者!而更讓人驚訝的是，他並沒有博士學位，也沒有碩士學位;並且他的許多研究成果最早都是在 jupyter notebook 中完成的。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图4

新年伊始，alec radford 的故事又再一次火遍了 ai 社交網絡。人們在談到他時莫不稱頌。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图5

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图6

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图7

下面我們就來簡單了解下這位謙遜的天才的人生故事吧。

alec radford 的人生故事

alec radford 是自然語言處理和計算機視覺領域的研究者。曾在 openai 擔任機器學習開發者/研究員。在此之前，他曾擔任 indico 公司的研究主管。

在 openai 擔任研究員期間，他參與撰寫了多篇關於語言模型生成式預訓練（gpt）的論文，並在 neurips、iclr、icml 和 nature 等著名會議和期刊上發表過許多論文。

他也曾活躍在 x/twitter 上，在那裡分享他對人工智慧各個領域的見解和觀點。遺憾的是，2021 年 5 月之後他就再未在 x 上現身，最後一條推文是在回復 anthropic 的研究者 simon kornblith，解釋 gpt-1 層寬度設置為 768 的原因。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图8

linkedin 顯示，2011 年–2016 年， alec radford 就讀於富蘭克林·w·奧林工程學院，並獲得學士學位。這是一所位於美國麻薩諸塞州尼達姆（needham）的私立工程學院，以其非常低的錄取率和精英化教育著稱。

該校的課程結構非常獨特，其學術體系“歐林三角”包括科學和工程基礎、創業以及文學。學校也僅提供四種學位：me（機械工程）、ece（電子與計算機工程）、cs（計算機科學）、bce（生物醫藥工程）。

奧林工程學院非常重視實用教育，將知識和實際生活中的挑戰和課題聯繫起來，鼓勵學生追求自己的興趣和激情。

本科時期，alec radford 就對機器學習充滿熱情，並與同學一起參加 kaggle 比賽獲得了成功，最終拿到風投。2013 年，alec radford 和夥伴在宿舍創立了 indico ，為企業提供機器學習解決方案。

作為公司的研究主管，alec radford 主要從事識別、開發和改進有前景的圖像和文本機器學習技術，並將其從研究階段轉化為更廣泛的行業應用。

在那裡，他進行了生成對抗網絡（gan）相關研究，並提出 dcgan 以改善 gan 的可訓練性，這也是 gan 領域的一個重要突破。

由於波士頓地區在 ai 領域的影響力已被西海岸科技巨頭超越，加上資源限制，2016 年，radford 選擇加入 openai 。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图9

他形容這份新工作“類似於加入研究生課程”，有一個開放、低壓力的 ai 研究環境。

radford 比較低調，不願與媒體接觸。他通過郵件回應了《連線》關於他在 openai 早期工作的提問。他表示，最感興趣的是讓神經網絡與人類進行清晰的對話。

他認為，當時的聊天機器人（從 eliza 到 siri 和 alexa）都存在局限性。他的目標是探索語言模型在各種任務、設置、領域和場景中的應用可能。

他的第一個實驗是使用 20 億條 reddit 評論來訓練語言模型，雖然失敗，但 openai 給予了足夠的試錯空間，也成為後續一系列革命性突破的開始，如大家熟知的初代 gpt，還主導了 gpt-2 的研發等。

這些工作為現代大語言模型奠定了重要基礎，以致於《連線》在一篇報導中將 alec radford 在 openai 扮演的角色，比作 larry page 發明 pagerank。有趣的是， pagerank 雖然是 larry page 在斯坦福攻讀博士期間的產物，但他此後再也沒有回去完成博士學位。

不僅如此，alec radford 還參與了 gpt-3 論文的撰寫、以及 gpt-4 的預訓練數據和架構研究工作。

2024 年年末，在 openai 賺盡眼球的 12 天連發的最後一天前，alec radford 即將離開 openai 的消息傳出，但沒有任何消息透露這是否與 openai 的組織結構調整有關。

沒有博士學位卻開啟了gpt時代，奧特曼盛讚alec radford，愛因斯坦級天才插图10