Variant投資合夥人：開源AI的困境與突破，為什麼加密技術是最後一塊拼圖？

作者： Daniel Barabander
&nbsp；
編譯：深潮TechFlow
&nbsp；
簡要總結
當前基礎AI的開發由少數幾家科技公司主導，呈現出封閉性和缺乏競爭的特點。
&nbsp；
開源軟體發展雖然是一個潜在的解決方案，但基礎AI無法像傳統開源項目（例如Linux）那樣運作，因為它面臨一個&ldquo； 資源問題&rdquo；： 開源貢獻者不僅需要付出時間，還需要承擔超出個人能力範圍的計算和數據成本。
&nbsp；
加密技術通過激勵資源提供者參與基礎開源AI項目，有望解決這一資源問題。
&nbsp；
將開源AI與加密技術結合，可以支持更大規模的模型開發，並推動更多創新，從而創造出更先進的AI系統。
&nbsp；
引言
根據皮尤研究中心（Pew Research Center）在2024年進行的一項調查，64%的美國人認為社交媒體對國家的影響弊大於利； 78%的人表示社交媒體公司在政治中擁有過大的權力和影響力； 83%的人認為這些平臺很可能會故意審查它們不同意的政治觀點。 對社交媒體的不滿幾乎成為美國社會少有的共識之一。
&nbsp；
回顧過去20年社交媒體發展的歷程，這種局面似乎早已註定。 故事並不複雜：少數幾家大型科技公司抓住了用戶的注意力，更重要的是掌控了用戶數據。 儘管起初人們對數據開放抱有希望，但這些公司很快改變策略，利用數據建立起無法打破的網絡效應，並關閉了外界存取權限。 最終形成了今天的局面：不到10家大型科技公司主導著社交媒體行業，形成了一個&ldquo； 寡頭壟斷&rdquo； 的格局。 由於現狀對它們極為有利，這些公司幾乎沒有任何動力去改變。 這種模式是封閉的，且缺乏競爭。
&nbsp；
如今，AI科技的發展軌跡似乎正在重演這一幕，但這次的影響更加深遠。 少數幾家科技公司通過掌控GPU和數據資源，構建了基礎AI模型，並對外關閉了這些模型的存取權限。 對於沒有數十億美元資金的新進入者來說，想要開發一個競爭性的模型幾乎不可能。 因為僅僅訓練一個基礎模型的計算成本就需要數十億美元，而那些從上一輪科技浪潮中獲益的社交媒體公司，正在利用它們對專有用戶數據的控制權，開發出競爭者難以企及的模型。 我們正在重蹈社交媒體的覆轍，走向一個封閉且缺乏競爭的AI世界。 如果這種趨勢持續下去，少數幾家科技公司將對資訊和機會的獲取擁有不受限制的控制權。
&nbsp；
開源AI和&ldquo； 資源問題&rdquo；
如果我們不希望看到一個封閉的AI世界，那麼我們的選擇是什麼？ 顯而易見的答案是將基礎模型作為開源軟件項目來開發。 歷史上，我們已經有無數開源項目成功構建了我們日常依賴的基礎軟件。 例如，Linux的成功證明了即使是像作業系統這樣覈心的軟件，也可以通過開源管道開發。 那麼，為什麼LLMs（大語言模型）不能呢？
&nbsp；
然而，基礎AI模型面臨的特殊限制，使它們與傳統軟件不同，這也極大地削弱了其作為傳統開源項目的可行性。 具體來說，基礎AI模型需要巨大的計算和數據資源，而這些資源遠遠超出了個人的能力範圍。 與傳統開源項目僅依賴人們捐獻時間不同，開源AI還要求人們捐獻計算能力和數據資源，這就是所謂的&ldquo； 資源問題&rdquo；。
&nbsp；
以Meta的LLaMa模型為例，我們可以更好地理解這個資源問題。 與OpenAI和Google等競爭對手不同，Meta沒有將模型隱藏在付費API背後，而是公開提供了LLaMa的權重，供任何人免費使用（有一定限制）。 這些權重包含了模型在Meta訓練過程中學到的知識，是運行模型的必要條件。 擁有這些權重，用戶可以對模型進行微調，或者將模型的輸出作為新模型的輸入。
&nbsp；
雖然Meta發佈了LLaMa的權重值得肯定，但它並不能算作一個真正的開源軟件項目。 Meta在幕後掌控著模型的訓練過程，依靠自己的計算資源、數據和決策，並單方面决定何時向公眾開放該模型。 Meta並未邀請獨立研究者或開發者參與社區合作，因為訓練或重新訓練模型所需的資源遠遠超出普通個人的能力範圍。 這些資源包括數萬張高效能GPU、存儲這些GPU的資料中心、複雜的冷卻設施，以及用於訓練的數萬億Token（模型訓練所需的文字數據單元）。 正如斯坦福大學2024年人工智慧指數報告所指出的，& ldquo; 訓練成本的急劇上升，實際上將傳統上是AI研究重鎮的大學排除在頂尖基礎模型開發之外。& rdquo; 舉個例子，Sam Altman曾提到訓練GPT-4的成本高達1億美元，而這甚至不包括用於硬體設施的資本支出。 此外，Meta的資本支出在2024年第二季度比2023年同期新增了21億美元，主要用於與AI模型訓練相關的服務器、資料中心和網絡基礎設施。 囙此，儘管LLaMa的社區貢獻者可能具備科技能力來改進模型架構，但他們卻缺乏足够的資源來實現這些改進。
&nbsp；
總結來說，與傳統開源軟件項目不同，開源AI項目不僅要求貢獻者投入時間，還需要他們承擔高昂的計算和數據成本。 僅依靠善意和志願精神來激勵足够多的資源提供者是不現實的。 他們需要進一步的激勵機制。 以開源大語言模型BLOOM為例，這個擁有1760億參數的模型集合了來自70多個國家、250多個機构的1000名志願研究者的努力。 雖然BLOOM的成功令人欽佩（我對此表示全力支持），但它耗費了一年的時間來協調一次訓練，並依賴法國研究機構提供的300萬歐元資助（這還不包括訓練模型所用超級電腦的資本支出）。 依賴新一輪的資助來協調和反覆運算BLOOM的過程過於繁瑣，無法與大型科技實驗室的開發速度相比。 自BLOOM發佈以來已經超過兩年，目前尚未聽說該團隊開發出任何後續模型。
&nbsp；
為了讓開源AI成為可能，我們需要找到一種方法，激勵資源提供者貢獻他們的計算能力和數據資源，而不是讓開源貢獻者自行承擔這些成本。
&nbsp；
為什麼加密技術可以解决基礎開源AI的&ldquo； 資源問題&rdquo；
加密技術的覈心突破在於通過&ldquo； 所有權&rdquo； 機制，使高資源成本的開源軟件項目成為可能。 它通過激勵潜在的資源提供者參與網絡來解决開源AI的資源問題，而不是讓開源貢獻者預先承擔這些資源成本。
&nbsp；
比特幣就是一個很好的例子。 作為最早的加密項目，比特幣是一個完全開源的軟件項目，其程式碼從一開始就是公開的。 然而，程式碼本身並不是比特幣的關鍵所在。 僅僅下載並運行比特幣節點軟件，在本地創建一個區塊鏈並沒有實際意義。 只有當挖礦區塊的計算量足够超出任何單個貢獻者的計算能力時，該軟件的真正價值才能體現：維護一個去中心化的、無人控制的帳本。 與基礎開源AI類似，比特幣也是一個需要超出個人能力範圍的資源的開源項目。 雖然兩者對計算資源的需求原因不同&mdash；& mdash; 比特幣需要計算資源來確保網絡不可篡改，而基礎AI需要計算資源來優化和反覆運算模型&mdash；& mdash; 但它們的共同點在於都需要依賴超越個人能力的資源。
&nbsp；
比特幣，以及其他任何加密網絡，能够激勵參與者為開源軟件項目提供資源的&ldquo； 秘訣&rdquo； 在於通過Token提供網絡所有權。 正如Jesse在2020年為Variant撰寫的創立理念中所述，所有權為資源提供者提供了强大的動力，使他們願意貢獻資源來換取網絡中的潜在收益。 這種機制類似於初創公司通過&ldquo； 汗水股權&rdquo； （Sweat Equity）來解决早期資金不足的問題&mdash；& mdash; 通過主要以公司所有權的形式支付早期員工（例如創始人），初創公司能够吸引到其本無法負擔的勞動力。 加密技術將&ldquo； 汗水股權&rdquo； 的概念從專注於時間貢獻者擴展到了資源提供者。 囙此，Variant專注於投資那些利用所有權機制來建立網絡效應的項目，例如Uniswap、Morpho和World。
&nbsp；
如果我們希望開源AI成為現實，那麼通過加密技術實現的所有權機制就是解决資源問題的關鍵方案。 這種機制可以讓研究人員自由地將他們的模型設計理念貢獻給開源項目，因為實現這些想法所需的計算和數據資源將由資源提供者承擔，而資源提供者將通過獲得項目的部分所有權作為回報，而不是要求研究人員自己承擔高昂的前期成本。 在開源AI中，所有權可以有多種形式，但最令人期待的一種是對模型本身的所有權，這也是Pluralis提出的解決方案。
&nbsp；
Pluralis提出的這種方法被稱為Protocol Models。 在這種模式下，計算資源提供者可以通過貢獻計算能力來訓練特定的開源模型，並囙此獲得該模型未來推理收入的部分所有權。 由於這種所有權與具體的模型掛鉤，並且其價值基於模型的推理收入，計算資源提供者會被激勵選擇最優的模型進行訓練，而不會偽造訓練數據（因為提供無用的訓練會直接降低未來推理收入的預期價值）。 然而，一個關鍵問題是：如果訓練過程需要將模型的權重發送給計算提供者，Pluralis如何確保所有權的安全性？ 答案在於使用&ldquo； 模型並行化&rdquo； （Model Parallelism）科技將模型分片分發給不同的工作者。 神經網路的一個重要特性是：即使只瞭解模型權重中的極小一部分，計算者仍然可以參與訓練，從而確保完整的權重集合無法被選取。 此外，由於Pluralis平臺上會同時訓練許多不同的模型，訓練者將面對大量不同的權重集合，這使得重建完整模型變得極其困難。
&nbsp；
Protocol Models的覈心理念是：這些模型可以被訓練、被使用，但無法從協定中被完整選取（除非使用的計算能力超過從零開始訓練模型所需的資源）。 這一機制解决了開源AI責備者經常提出的問題，即封閉的AI競爭者可能會盜用開源項目的勞動成果。
&nbsp；
為什麼加密技術+開源=更好的AI
在文章的開頭，我通過分析大科技公司對AI的控制，說明了封閉式AI在道德和規範層面上的問題。 但在一個充滿無力感的網絡時代，我擔心這樣的論點可能難以引起大多數讀者的共鳴。 囙此，我想從實際效果出發，提出兩個理由，說明為什麼由加密技術支援的開源AI能够真正帶來更好的AI。
&nbsp；
首先，加密技術與開源AI的結合能够協調更多的資源，從而推動下一代基礎模型（Foundation Models）的發展。 研究表明，無論是計算能力還是數據資源的新增，都有助於提升模型的效能，這也是為什麼基礎模型的規模一直在不斷擴大的原因。 比特幣為我們展示了開源軟件結合加密技術在計算能力上的潜力。 它已成為全球最大、最强大的計算網絡，其規模遠遠超過大科技公司所擁有的云計算資源。 加密技術的獨特之處在於，它能够將孤立的競爭轉化為合作式競爭。 通過激勵資源提供者貢獻資源來解决共同問題，而不是各自為戰並重複勞動，加密網絡實現了資源的高效利用。 借助加密技術的開源AI將能够利用全球的計算和數據資源，構建出規模遠超封閉式AI的模型。 例如，Hyperbolic公司已經展示了這種模式的潜力。 他們通過一個開放的市場，讓任何人都可以以較低的成本租用GPU，從而充分利用了分散式運算資源。
&nbsp；
其次，加密技術與開源AI的結合將推動創新的加速。 這是因為一旦解决了資源問題，機器學習研究就可以回歸其高度反覆運算和創新的開源本質。 在基礎大語言模型（LLM）出現之前，機器學習領域的研究者通常會公開發佈他們的模型及其可複製的設計藍圖。 這些模型通常使用開源數据集，計算需求也相對較低，囙此研究者能够在這些基礎上不斷優化和創新。 正是這種開放式的反覆運算過程，催生了序列建模領域的諸多突破，例如迴圈神經網路（RNN）、長短期記憶網絡（LSTM）和注意力機制（Attention Mechanisms），最終使得Transformer模型架構成為可能。 然而，這種開放的研究管道在GPT-3推出後發生了變化。 OpenAI通過GPT-3和ChatGPT的成功證明，只要投入足够多的計算資源和數據，就可以訓練出具備語言理解能力的大語言模型。 這一趨勢導致了資源門檻的急劇上升，使得學術界逐漸被排除在外，同時大科技公司為了保持競爭優勢，也不再公開他們的模型架構。 這種局面限制了我們在推動AI最前沿技術上的能力。
&nbsp；
通過加密技術實現的開源AI可以改變這一現狀。 它能够讓研究者再次對前沿模型進行反覆運算，從而發現&ldquo； 下一個Transformer&rdquo；。 這種結合不僅能够解决資源問題，還能重新啟動機器學習領域的創新活力，為AI的未來發展開闢更廣闊的道路。