作者 | 琰 琰

編輯 | 陳大鑫

實習論文刷新Image世界記錄；

博士畢業收割常春藤大學教職offer；

入職幾個月晉升為“校長青年教授”，成為首位獲此殊榮的華人學者。

這位出道即巔峰的華人學者，便是現新加坡國立大學青年教授尤洋。

近日，尤洋在北京中關村創辦了一家高性能計算公司 “潞晨科技” ，作為高性能計算和人工智能領域的知名青年學者，尤洋回國創業的消息在業內引起極大關注。

8月4日，潞晨科技完成種子輪融資，獲得創新工場、真格基金兩家頂級VC機構的超千萬元投資。當時創始人尤洋表示， 其創業目標是期望最大化人工智能開發速度的同時最小化人工智能模型部署成本。

從左到右：創新工場執行董事任博冰、潞晨科技創始人尤洋、真格基金董事總經理尹樂

近幾年人工智能產業發展并不算太好，泡沫、虧損、裁員、流血上市......這些負面評價籠罩著整個行業。而人工智能投融資與創業熱潮也確實從2018年開始逐漸趨緩、甚至遇冷。據億歐統計顯示，中國人工智能初創企業數量連續四年下降，AI領域投融資頻次也連續三年下滑，且沒有觸底反彈的跡象。

在這樣的大環境下，尤洋為何選擇回國創業？高性能計算在國內市場到底有多大潛力？李開復、徐小平，以及更多頂級VC為什么看好潞晨科技？未來這家公司有何戰略規劃？AI科技評論有幸采訪了創始人尤洋，與他聊了聊創業的初衷和戰略規劃。

1

AI產業的“阿喀琉斯之踵”

“我目前仍在新加坡國立大學（NUS）任職，但已辭去了其它兼職顧問"，尤洋告訴AI科技評論，他之后會把任教之外的所有時間用于創業，以希望能做到產學結合，對社會產生價值。

尤洋創辦的潞晨科技是一家高性能計算公司，主要面向B端企業提供分布式軟件系統，大規模人工智能平臺，以及企業級云計算解決方案等服務。

有統計數據顯示，截止2021年，企業級人工智能的市場規模已經超過萬億美元，AI云解決方案相比去年也增長39%，達到了50億。

龐大的市場規模為創業者們提供了更大的潛在機遇，但從技術角度來看，這也導致AI模型開始出現越練越大的現象。

自2020年GPT-3首次突破千億級規模后，AI模型的參數量和計算量都開始呈現爆發式的增?，目前最大模型智源悟道2.0參數量已達到1.75萬億。

雖然大模型創造了超乎想象的性能神話，但它也讓神經網絡的訓練時間變得非常漫長。

例如，用1個英偉達 V100 GPU訓練 ResNet-50 (2500萬參數)網絡需要1周，而訓練 GPT-3 (1750億參數)可能需要355年。

因此，近幾年有越來越多的企業開始創建大規模集群或自研超級計算機，希望通過分布式計算的方式提高模型的訓練和部署效率。

例如，Google的TPU Pod，微軟為OpenAI 打造的1萬GPU集群，英偉達的SuperPOD，包括連自動駕駛領域的特斯拉也加入了這場軍備賽，它在今年6月推出的超算 Dojo，已經在世界超算排行榜中位列第五。

超級計算機具有很強的計算和處理數據的能力，其運算速度基本上可以達到每秒一萬億次以上。對于任何AI而言，這種高性能計算有助于大幅提升模型性能。

尤洋認為，當機器到達一定數量后，再多堆砌也無法帶來效率上的明顯提升，即便是技術實力雄厚的巨頭，也難免在大規模人工智能上陷入瓶頸。

高性能計算其實就是使用集群進行計算的方式，實現計算資源的最大化——下到提升一個GPU的吞吐率，上到提升上千臺機器的可擴展性。在他看來，未來沒有高性能計算，前沿AI是無法發展進步的。現階段的主流模型AlphaGO，BERT，GPT-3，Switch Transformer，以及智源悟道模型都在一定程度上用到了高性能計算。

除了訓練和部署效率低之外，超大模型所帶來的并發癥也是顯而易見的。深度學習模型越大，意味著能耗越高。一般訓練一個小型AI模型基本可以達到一個人一年能耗的60倍，而現有的模型參數量已經突破萬億級規模。

根據Emma Strubell等人的研究，從紐約到舊金山每位旅客乘坐飛機產生二氧化碳排放量是1,984 lbs。然而，訓練一個2億參數的模型可以達到626,155 lbs，幾乎是前者的300多倍。所以，要想實現人工智能在未來的廣泛應用，低能耗計算是非常必要的。

多維度是近年來AI模型發展的另一顯著特征。例如，BERT是基于Transformer Encoder，GPT-3是基于Transformer Decoder，Switch Transformer和清華智源是基于混合專家系統，MLP-Mixer是基于全連接網絡的變種等等。

與之對應的是，超算系統，聯邦學習，跨云計算等硬件配置也越來越復雜化。這兩者之間的自適應配置對整個訓練系統的性能起著決定性影響。

在尤洋看來，分布式人工智能是未來的大趨勢。而分布式計算效率、?高能耗、多維度自適應切分已經成為阻礙當前AI學術與產業發展的“阿喀琉斯之踵”，因此高性能計算當前人工智能市場中極具發展前景。

2

高性能計算領域的佼佼者

創業項目越是早期，風險越大。由于沒有穩定的商業模式、發展戰略也可能隨時調整，因此VC投資在很大程度上取決于投資人對創始人的判斷。

種子輪的投資金額一般比較小，大多在500萬（人民幣）以下。潞晨科技獲得創新工場、真格基金兩家頂級VC機構的超千萬元種子輪投資，可見李開復、徐小平對創始人尤洋的信任。

翻開尤洋的履歷，其在高性能計算領域的學術成就可見一斑。

尤洋在求學階段，獲得過清華大學計算機系最高獎學金西貝爾獎、優秀畢業生等榮譽，并以第一名的成績保送清華計算機系碩士。在申請博士時，獲得了UC Berkeley、CMU、芝加哥大學、UIUC、佐治亞理工、西北大學等六所名校全獎offer。

2018年，尤洋選擇在Berkeley計算機系讀博，師從美國科學院學院與工程院院士、ACM/IEEE Fellow James Demmel，由此開啟了他開掛式的學術生涯。

2019年，尤洋以一作作者的身份發表一篇題目為 《Large Batch Optimization for Deep Learning ：Training BERT in 76 Minutes》 的研究論文，在國內外學術界引起了不小的震動，被ScienceDaily，The Next Web，i-programmer等幾十家媒體廣泛報道。

論文地址：https://arxiv.org/abs/1904.00962

他在這篇論文中 提出了一種新型優化器 LAMB，將超大模型BERT的預訓練時間壓縮到了 76分鐘。

要知道BERT-Large預訓練的計算量非常大。例如，Transformer 使用 8 塊 P100 在 8 億詞量的數據集上訓練 40 個 Epoch 需要一個月，而BERT-Large 模型在有 33 億詞量的數據集上訓練 40 個 Epoch，使用 8 塊 P100 上可能需要 1 年。

論文中表明，相比基準 BERT-Large 用 16 塊 TPU 芯片，LAMB 訓練 BERT-Large 采用一個 TPU v3 Pod（1024 塊 TPU 芯片）。在批量訓練大小接近 TPUv3 pod 內存極限的情況下，將預訓練的迭代次數由 100 萬次減少到了 8599 次，從而使訓練時間由3天縮短到了 76 分鐘，刷新世界記錄。

到目前為止，LAMB仍為機器學習領域的主流優化器，并被廣泛應用于谷歌，微軟，英特爾，英偉達等科技巨頭。

而在更早之前，尤洋還刷新了ImageNet訓練速度的世界記錄，他發表的這篇 《ImageNet Training in minutes》 提出的算法 將 AlexNet模型訓練壓縮到了24分鐘 。此前，在英偉達的 M40 GPU 上利用 ImageNet訓練ResNet50 需要 14 天。

根據Google Scholar顯示，尤洋在并行計算、機器學習以及高性能計算研究領域已經累計發表論文40多篇，其中兩篇論文被國際并行與分布式處理大會(IPDPS 2015)和國際并行處理大會(ICPP 2018)評選為最佳論文。

AI技術和人才是任何一家人工智能創業公司最核心的資本。尤洋告訴AI科技評論，潞晨公司招募的十名核心成員均來自美國加州大學伯克利分校，斯坦福大學，清華大學，北京大學，新加坡國立大學，新加坡南洋理工大學等國內外知名高校。

他們在高性能計算，人工智能，分布式系統方面已有十余年的技術積累，并在國際頂級學術刊物或會議發表論文30余篇。

如潞晨科技的CTO卞正達碩士畢業于新加坡國立大學，曾以第一作者的身份在國際超級計算大會SC上發表論文 。國際超級計算大會每年有上萬人參會，但只收錄100篇左右論文，是超級計算機領域最有影響力的會議。

同時他們還邀請到了美國科學院院士，工程院院士James Demmel教授還擔任該團隊的顧問。Demmel教授是加州大學伯克利分校前EECS院長兼計算機系主任，中關村戰略科學家 (陳吉寧市長親自頒發)，ACM/IEEE Fellow，也是尤洋讀博期間的導師。

3

先造錘子，再找釘子

人工智能產業的發展趨勢，讓尤洋看到了其中的創業機遇，而真正推動他回國創業還是在UC Berkeley讀博期間的思想熏陶。“Berkeley計算機系的教授追求產研結合，希望真正做出一個有影響力的實用系統，而不僅僅是發論文”。

創業是產學結合的一種常見方式，近幾年越來越多的學術專家開始涉足產業界，尤其是在高性能計算領域。例如去年3月，知名機器學習華人學者、CMU助理教授陳天奇回國創業，試圖解決優化深度學習模型的高效訓練和部署問題。

尤洋表示，Berkeley計算機系的產業化精神對青年學者產生了深遠影響，Ion Stoica，Matei Zaharia等從Berkeley走出來的教授都在兼顧學術與產業，而他的學長Prateek Saxena也總強調，‘my startup is my research’，這些思想讓他深受啟發和鼓舞。

雖然處于創業早期，但潞晨科技發展戰略似乎已經非常明晰。“我們希望‘先造錘子，再找釘子’，在創業初期先努力打造一個通用系統，并在1年完成系統優化，應用于中小型企業”。

在尤洋看來，企業完成分布式訓練需要投入昂貴的專業人員，這無形中大大降低了模型的部署效率，而且機器資源的價格往往是動態變化的，動態改變負載很容易造成人工智能系統學習效率低或崩潰，這對于中小企業而言更是致命一擊。

針對當前的行業痛點出發，他們希望以優化技術為基礎，大幅度提升系統在超大規模計算的擴展性效率。在動態改變負載的同時，能夠穩定人工智能系統，讓系統效率能隨著機器規模自動擴展，并在應用場景提供一些跨云服務。

此外，針對模型的多維度自適應切分，他們已經實現了2維網格參數劃分，3維立體參數劃分，以及2.5維通信最小化參數劃分，這樣的動態模型并行技術也有助于大幅提升計算效率。

作為一家面向B端的AI企業，尤洋表示當前公司發展最重要的是積累技術實力，所獲超千萬元投資將主要用于技術研發。有了成熟穩定的技術解決方案之后，再需要根據市場的需求調整戰略，制定更為詳細的商業化路徑。

現階段，他們希望潞晨科技在中期發展階段能夠設計出自適應新興智能硬件芯片的系統和自動擴展智能編程系統，以滿足中等互聯網公司或傳統行業公司的需求，進而再推出企業級的SaaS服務以及AI云服務(AIaaS)，與大型云服務商合作共同構建商業化智能計算中心。

4

廣納英才，可自薦CEO

目前潞晨科技正在招聘全職/實習軟件工程師，全職/實習人工智能工程師 等技術人才。可協助申請北京戶口，特別優秀的人，還可以申請擔任公司的CEO。

崗位職責：

• 開發分布式人工智能系統并部署到大規模集群或云端。

• 從具體的場景和問題出發，研發和優化算法系統，產出解決方案應用到場景中。

• 參與人工智能技術與現有工具的融合設計和優化，提高產品性能。

• 撰寫高質量的科技論文，有機會擔任重要論文的第一作者 (未來換工作或升學的重要加分項)。

任職要求

• 精通TensorFlow, PyTorch, Ray, DeepSpeed, NVIDIA Megatron，熟悉上述系統的內部運行機制。

• 熟悉各類優化算法與模型架構，熟悉python或C++的優化算法庫，包括各類基于梯度的經典算法與經典模型 (BERT, GPT-3, Switch Transformer, ViT, MLP-Mixer)。

• 有較強的編程能力和工程實現能力。獲得過編程競賽獎或發表過高質量論文的優先錄用。

• 211、985、海外知名高校本科以上學位(或在讀)，計算機科學、軟件工程，電子信息，自動化，數學，物理或其它人工智能相關專業。

雷鋒網雷鋒網雷鋒網 (公眾號：雷鋒網)

---

雷鋒網特約稿件，未經授權禁止轉載。詳情見。