deepseek算力卡脖子，高校ai研究遇瓶頸？華為聯合15校給出最強解法

文章來源：新智元

image source: generated by ai

全美top 5高校的機器學習博士，實驗室卻連一塊能夠提供大量算力的gpu都沒有？

2024年中旬，一位網友在reddit上發的帖子，立刻引發了社區大討論–

年底，nature的一篇報導更是揭露了學術界在gpu獲取上面臨的嚴峻挑戰–研究者竟然需要排隊申請學校gpu集群的使用時間。

同樣，在我國高校的實驗室內，gpu嚴重匱乏的問題也很普遍。甚至還曾曝出過大學要求學生自備算力上課這樣十分離譜的新聞。

可見，“算力”這個瓶頸，甚至讓ai本身都變成了一件門檻極高的課程。

ai人才緊缺，且算力不足

與此同時，大模型、具身智能等前沿技術的迅猛發展，則正在全球範圍內引發人才短缺。

根據牛津大學教授的計算，在美國，要求具備ai技能的工作崗位的比例增加了5倍。

放眼全球，技術人工智慧（tech-ai）的工作崗位增長了9倍，廣義人工智慧（broad-ai）的工作崗位增長了11.3倍。

在這一時期內，亞洲的增長尤為顯著。

雖然世界各地的大學都在試圖幫助學生掌握關鍵的ai性能，但正如前文所說，算力如今已經成為了一種“奢侈品”。

為了彌合這一差距，企業與高校的合作便成了一個重要手段。

鯤鵬升騰科教創新孵化中心，開啟高校科研布局

好在，為了在我國高校培養起同樣的創新體系，華為已經開始布局了!

現在，華為已經和北大、清華、上交、浙大、中科大這5所頂尖高校，共同簽訂了“鯤鵬升騰科教創新卓越中心”的合作。

此外，華為也同步推進和復旦大學、哈爾濱工業大學、華中科技大學、蝰魚交通大學、南京大學、北京航空航天大學、北京理工大學、電子科技大學、東南大學、北京郵電大學等10所高校，開展了“鯤鵬升騰科教創新孵化中心”的合作。

卓越中心和孵化中心的成立，是產教融合的典範：

• 通過引入升騰生態，彌補了高校的算力短缺，極大促進了更多科研成果的迸發;
• 通過改革課程體系，以科研課題、產業課題、競賽課題驅動，來培養計算產業的頂尖人才;
• 通過攻堅體系架構、計算加速能力、算法能力、系統能力，力爭孕育世界級的創新成果;
• 通過打造諸多“ai+x”交叉學科，引領智能化的生態發展。

為ai科研構建完全自主的國產算力

如今，ai for science的意義，已經不言自明。

根據谷歌deepmind的最新調查，每三位博士後研究員中就有一位使用大語言模型來協助完成文獻綜述、編程和文章撰寫等工作。

而今年的諾貝爾物理學獎和化學獎，更是都頒發給了ai領域的研究人員。

可以看到，在ai賦能科研的過程中，gpu憑藉著在這些對高性能計算有需求的領域裡出色的性能，以及針對 llm 訓練和推理的強大能力，成為了彌足珍貴的“黃金”，遭到了微軟、xai、openai等各大公司的瘋搶。

然而，美國針對gpu的封鎖，讓我國在ai和科研領域的進展舉步維艱。

為了跨越這道鴻溝，我們必須構建起自主完整的生態體系並將其發展壯大。

在算力層面，華為升騰系列ai處理器承擔起了重塑我國競爭力的重任。

而在算力之上，我們還需要有一個自研的計算框架去適配，以便充分發揮出npu/ai處理器的優勢。

眾所周知，專為英偉達gpu而設計的cuda架構，在ai和數據科學領域較為常見。

在國內真正與之抗衡的，實現替代的就只有cann了。

作為華為針對ai場景推出的異構計算架構，cann對上支持pytorch、tensorflow以及升思mindspore等業界主流ai框架，對下使能升騰ai處理器，是提升升騰ai處理器計算效率的關鍵平台。。

正因如此，cann天生就在技術上擁有諸多優勢。其中最為關鍵的，是對ai計算更深入的軟硬結合優化以及更加開放的軟體棧：

• 首先，它可以支持多種ai框架，包括自家的升思mindspore，以及第三方的pytorch、tensorflow等;
• 其次，它針對多樣化應用場景，提供了多層次編程接口，支持用戶快速構建基於升騰平台的ai應用和業務;
• 而且，它還提供了模型遷移工具，方便開發者將項目快速遷移到升騰平台。

目前，cann已經初步構建起了自己的生態系統。在技術層面，cann囊括了大量的應用、工具、庫，擁有完善的技術生態，給用戶提供了一站式的開發體驗。同時基於升騰技術底座的開發者隊伍也逐步壯大，為未來的技術應用和創新埋下了沃土。

在異構計算架構cann之上，我們還需要ai模型搭建的深度學習框架。

幾乎所有的ai開發者，都需要用深度學習框架，而且幾乎所有dl算法和應用，也都要通過深度學習框架去實現。

如今市面上已有熟知的谷歌tensorflow，以及meta的pytorch等主流框架，並且形成了巨大的生態。

邁入大模型訓練的時代，深度學習框架更需要在面對數千台計算機規模時，進行有效訓練。

2020年3月正式開源的全場景深度學習框架–華為升思mindspore，彌補了國內在這一領域的空缺，實現了真正的自主可控。

mindspore具備雲邊端全場景部署、原生支持大模型訓練、支持ai+科學計算等關鍵特性，構建了全場景協同且全流程極簡的原生開發環境，加速了國內科研創新和產業應用。

特別之處在於，作為升騰ai處理器的“最佳搭檔”，mindspore支持“端、邊、雲”全場景，可以實現統一架構，一次訓練，多處部署。

從大到地球系統模擬、自動駕駛，小到蛋白質結構預測，統統都可以通過升思mindspore實現。

深度學習開源框架，只有廣泛的開發者生態，才能促進它的完善，釋放出更大價值。

研究機構omdia於2023年發布的《中國人工智慧框架市場調研報告》顯示，mindspore已經衝進ai框架使用率的第一梯隊，僅次於tensorflow。

此外，千行百業的推理應用，才是釋放ai價值的關鍵。在genai加速發展過程中，不論是高校，還是企業對加速推理速度高需求亟待解決。

例如高性能優化編譯器tensorrt，就是提升大模型推理性能的得力工具。藉助量化和稀疏性，它能夠降低模型的複雜性，進而高效地優化深度學習模型的推理速度。但問題在於，它僅支持英偉達的gpu。

如上同理，我們既有了計算架構、深度學習框架，也就會有與之相配套的推理引擎–華為升騰mindie。

mindie是一款全場景ai推理加速引擎，集成了業界最先進的推理加速技術，並繼承了開源pytorch的特性。

其設計兼顧了靈活性和實用性，可無縫對接多種主流ai框架，同時支持不同類型的升騰ai處理器，為用戶提供多層次編程接口。

通過全棧聯合優化、分層開放ai能力的方式，mindie能夠釋放升騰硬體的極致算力，為用戶提供高效、快速的深度學習推理解決方案，解決模型推理和應用開發中技術難度大、開發步驟多的問題，提升模型吞吐性能，縮短應用上線時間，使能百模千態，滿足多維化的ai業務需求。

可以看到，cann、mindspore、mindie等自主創新技術，不僅填補了國產算力短板，更在模型訓練、框架易用性、推理性能等方面實現跨越式突破，甚至直接對標國外的先進技術棧。

構建世界級的孵化中心

除了技術上具備優勢以外，可以說，在未來幾十年內，使用升騰算力也更加符合國情需要。

只有國產自研算力，才能擺脫風雲變幻的外部環境影響，保證科研底座的穩定性。

現在，平台搭好了，怎樣讓高校的老師和學生們學會使用呢？

從去年9月6號開始，華為已陸續在北大、上交、浙大、中科大四大高校舉辦了第一期升騰ai專場特訓營。在幾百名報名參與的學生中，碩博生占比90%，課程涵蓋了升騰領域cann、mindspore、mindie、mindspeed、hpc、鯤鵬開發工具等多方面的課程。

比如在上交場，第一天的課程會以遷移為主題，讓學生了解升騰ai基礎軟硬體解決方案、pytorch模型升騰原生開發案例實踐、mindie推理解決方案特性及遷移案例等內容。

第二天的課程則會以優化為主題，包括升騰異構計算架構cann、ascend c算子開發、大模型長序列推理優化實操等。

遷移和優化課程的設置，可謂計之深遠。

要知道，現在許多高校的實操課程，基本都是基於cuda/x86設置的，但在制裁的影響之下，算力不足這一問題愈發顯著。此時，如果掌握了遷移的方法，就可以將項目放到升騰的平台上，讓學術持續運轉下去。

掌握了基本知識後，學生們就可以在實踐案例部分中親自動手了。華為的專家會手把手指導學生們，讓他們在大模型量化、推理、codelabs代碼實現展開等過程中，學習升騰技術棧，體驗大模型推理全流程。

經過實操後，學生們會通過親身體驗對於升騰生態有更多的了解，為之後技術領域的工作打下堅實的基礎。

上交的第一期特訓營，學生們正在動手實操

除了課程之外，華為還將面向高校開發者舉辦算子挑戰賽，挖掘算子開發精英。

比賽鼓勵開發者基於升騰算力資源、cann的基礎能力進行深度創新與實踐，加速ai與行業融合，促進開發者能力提升。

此外，孵化中心對於學術成果也十分重視。

基於鯤鵬或升騰計算關鍵技術與工具進行學術研究的學生，還可以申報研究生獎學金。在此期間，如果論文發表在了國際頂會和國內頂刊上，也會有相應的獎勵。

同時，華為還聯合了鯤鵬&升騰生態夥伴，發起了優才計劃。

該計劃讓在校生從理論走向實踐，走進企業的真實工作場景，同時幫助優秀學生提前與企業對接。

現在，優才計劃已經在15個城市聯合了200多家企業，提供了2000多個技術崗位，讓一萬多名高校學生應聘到了崗位。

總的來說，通過這些教學實踐和激勵計劃，可以大大增加學生的參與熱情。不僅能他們提升學術經驗、做出科研成果，也會讓經歷和背景更加亮眼，從而獲得就業市場上的加分，更容易獲得國內外頂尖公司的青睞。

那麼，在掌握了最新的技術及其運用之後，如何在ai日新月異的今天，培育出真正具有突破性的科研成果呢？

自從sora掀起了2024年文生視頻的ai熱浪，文生視頻大模型就在不斷湧現。北大和兔展的開源文生視頻項目open-sora plan，就曾在業內引起震動。

其實早在sora面世時，團隊就已經在籌備開源版sora了，然而算力和數據的要求達不到，項目一度擱置。好在，北大與華為聯手成立鯤鵬升騰科教創新卓越中心，讓團隊迅速得到算力支持。

原本團隊使用的是英偉達a100，遷移升騰生態後，他們有了種種驚喜的發現–

cann的支持，能實現高效能的並行計算，顯著加快大規模數據集處理速度;ascend c接口類庫，簡化了ai應用的開發流程;算子加速庫進一步優化了算法運行性能。

更重要的是，開放的升騰生態，能快速實現大模型和應用的適配。

因此，團隊成員雖然是從0開始接觸升騰生態，卻能在很短的時間內迅速上手。

接下來的訓練中，團隊不斷發現驚喜：比如使用torch_npu進行開發時，整體代碼都可以無縫在升騰npu上訓練和推理。

需要進行模型切分時，升騰mindspeed分布式加速套件提供了豐富的大模型分布式算法及並行策略。

另外，在大規模訓練中，使用mindspeed和升騰硬體的穩定性遠高於其他計算平台，可以連續一周不中斷。

因此，短短一個月後，open-sora plan就正式推出，獲得了業內的極大認可。

open-sora plan生成的這段《黑神話：悟空》畫面堪比電影大片，驚艷了無數網友

另外，面向升騰算力，東南大學還開發了一個多模式交通大模型mt-gpt。

以前交通大模型的落地十分困難，原因包括不同政府部門收集數據導致的數據孤島問題、數據格式和標準不統一、交通數據的異質多源等等。

為了解決這些問題，團隊專門構思了一個名為mt-gpt（multimodal transportation generativepre-trained transformer）的多模式交通大模型概念框架，為多模式交通系統任務中的多方位、多顆粒度的決策問題提供數據驅動。

然而大模型的開發訓練中，無疑對算力底座的要求極高。

為此，團隊選擇藉助升騰ai的能力，來加速交通大模型的開發、訓練、調優和部署。

在開發階段，transformer大模型開發套件，通過多源異構知識語料與多模態特徵編碼，協同提升了多模態生成式問題的理解精度。

在訓練階段，升騰mindspeed分布式訓練加速套件，為交通大模型提供了多維度、多模式、多模態的加速算法。

在調優階段，升騰mindstudio全流程工具鏈，結合了微調交通專有領域知識進行訓練微調。

在部署階段，升騰mindie推理引擎能夠助力交通大模型的一站式推理，還能支持跨城市的遷移分析、開發、調試和調優。

總結來看可以發現，北大open-sora是復現sora的遷移項目，同時作為開源項目，它也能更好地賦能全球開發者做更多場景的應用。

而東南大學的多模式交通大模型mt-gpt則體現出了升騰算力在成果轉化上的實際能力，直接賦能了城市的交通行業。

由此，就充分形成了產學研的閉環。

這些豐碩的成果也更加證明了這一點：卓越中心/孵化中心不僅可以為高校提供學術研究、科學創新的沃土，還能夠培養一大批ai頂尖人才，進而孵化出引領世界的科研成果。

比如，就在北大團隊研發open-sora plan的過程中，袁粒老師會每天組織同學們和華為升騰團隊一起就代碼和算法的開發進行頭腦風暴。

在摸著石頭過河的過程中，北大團隊的眾多學生親自參與了一場高質量的科研實踐，展現出了極高的科研創造力。

這支平均年齡23歲的的團隊，也成為了推動國產ai視頻應用的中堅力量。

在這個過程中，掌握了鯤鵬升騰生態的青年學習隊伍，也在不斷壯大。

因此，高校基於國產算力、平台做研究，不僅獲得頂尖智力的加持，也在這個過程中擴展了華為技術生態和應用。

我國應該打造怎樣的創新體系？

可以看到，校企合作這種新範式，華為已正式起航。

自2019年建立起計算產品線後，華為很快就在2020年和教育部簽了智能基座的合作項目，在全國頭部的72所高校中，開展教學合作。

當時，鯤鵬/升騰的一些技術知識，就已經融入了一些大學本科的必修課里。

不過，在高校的投入，是一個中長期的培育過程。只有讓學生和老師優先去了解相關技術，未來若干年後才可能發揮出更大價值。

因此，華為計劃每年投入10億元，來發展鯤鵬、升騰的原生生態與人才。這一戰略的實施，將為高校人才和開發者提供更豐富的資源和更廣闊的發展空間，也已經啟動了10萬片鯤鵬開發板和升騰推理開發板贈送計劃，以鼓勵他們在教學實驗、競賽實踐和科技創新中積極探索和應用鯤鵬、升騰技術。

根據此計劃，師生可以近距離地接觸和試用開發板。無論是老師的教學，還是科研實驗，高校師生都能在上面常識想要做的創新，激發出新的靈感。

香橙派與華為升騰攜手推出的orangepi aipro開發板，滿足大多數ai算法原型驗證、推理應用開發的需求，可廣泛適用於ai邊緣計算、深度視覺學習、無人機、雲計算等領域，表現出了強大的實力和廣泛的適用性

另一方面，我國目前的特殊處境–來自外界的技術封鎖，也意味著留給我們的時間不多了。我們必須要有一套獨立可控的技術棧。

原生開發，在未來已經勢在必行。唯有made in china，才最符合中國未來的大國情趨勢。

隨著國產化成為大勢所趨，諸如鯤鵬/升騰這類的國產技術棧，也將遍及到各個it基礎設施之上。

卓越中心和孵化中心的啟航，也讓業內越來越有信心。

可以預見，在幾年的孵化之後，掌握國產技術底座的科研人才，將源源不斷地將鯤鵬/升騰技術路線發揚光大，孵化出足夠引領世界的科研成果。