9月7日，2023騰訊全球數字生態大會在深圳寶安舉行。騰訊集團副總裁、云與智慧產業事業群COO、騰訊云總裁邱躍鵬表示：“云是大模型的最佳載體，大模型將開創下一代云服務的全新形態。”

一方面，高性能的云上算力，成了大模型的最佳助推器；搭載大模型能力的應用，也通過云服務的方式落地。無論是訓練大模型、還是使用大模型，都離不開云。另一方面，大模型將重新定義云上工具，效能顯著提升，企業可以通過云，使用智能化水平更高、更便捷易用的云產品。

目前，騰訊云已經建立起圍繞大模型的全套能力，包括高性能算力集群、云原生數據湖倉和向量數據庫等數據處理引擎、以及模型安全、支持模型訓練和精調的工具鏈等，企業、開發者可以根據各自需求，靈活選擇產品，降低大模型的訓練成本。目前，騰訊云已經助力百川智能、智譜科技、MiniMax等企業打造大模型。

邱躍鵬還表示，大模型進一步提升了云產品的效能。比如，騰訊云風控大模型、騰訊云AI代碼助手、騰訊會議AI小助手等產品，都因為大模型能力的加持，實現了顯著的效率提升和體驗優化。目前，騰訊會議AI小助手已經正式開放試用申請，同時新推出了國內首個裸眼3D視頻會議功能。

在大模型帶來的智能水平提升之外，騰訊云也通過超低延時的傳輸網絡為用戶提供更加全真的體驗。實時音視頻TRTC目前已經能做到全球端到端平均延時小于300毫秒，即使在非洲等網絡基礎設施不穩定的地區，也能為用戶帶來極佳的體驗。

以下為演講速記：

尊敬的各位領導、各位嘉賓，各位媒體朋友，

大家上午好！

我在蔣總后面分享，特意選擇從他后面過來，因為云就是大模型背后的底座，我作為蔣總“背后的男人”，分享一下我們在訓練大模型過程中云的能力，講一下我們如何在云上支撐大模型，如何在應用中去使用我們的大模型。

剛才在蔣杰的分享中，我們看到了非常多混元的能力。今年大模型是非常熱的話題，今天騰訊發布了我們的混元大模型，在行業中也有非常多的開源模型，另外我們也看到很多公司在做一些大模型相關的創新。所以我今天上來想講一下，如果你真的做一個大模型，背后對于云到底帶來了一些什么樣新的、不一樣的挑戰。

其實我們都知道，你要訓練一個大模型對于算力的要求非常高，今天我們的混元Token數據量已經達到2T。如果用GPU的人，我相信大家都知道GPU這樣一個高密的算力，它在訓練過程中，本身的卡的穩定性要比原來的通用計算的時候是要更差一些的。每次發生GPU卡的故障，對于整個訓練中斷的影響、對于回滾的要求、對于工程化的要求都非常高。這次做大模型訓練之后，我們對云的基礎設施，從存儲、網絡到計算進行了全面升級。基于星星海的服務器，我們把GPU的服務器故障率降低了超過50%，通過星脈網絡的支持，我們已經可以支持超過10萬張卡并行計算的大規模訓練集群。

在訓練過程中，如果你有卡的故障，整個訓練是要被中斷、要做回滾，在整個工程實踐中，對于checkpoint寫的速度就會要求非常高，其實傳統的存儲服務，或者一些商業的東西很難滿足checkpoint寫的要求，通過騰訊云存儲的升級，我們可以在60s內完成超過3TB的數據寫入，這樣我們整個模型當發生卡的故障時，checkpoint寫入和讀出的速度都會變得很快，整個訓練的效率就會變得非常高。正是通過這樣存儲、計算、網絡整體的升級，我們今天可以做到在萬億參數的時候，一輪的訓練可以在4天之內完成，讓訓練效率得到大幅提升，訓練時間得到保障，訓練成本下降很多。

剛才我們講的是算力需求，當你有足夠的算力做模型訓練，構建了一個很好的算力，下一步更重要的是輸入的原數據的清洗。剛才看到混元最新的數據到了7月份。其實我們每次更新數據的時候都要做數據清洗。隨著數據越來越多，數據清洗的過程也會成為制約整個模型迭代升級的非常重要的卡點。通過騰訊的云原生的數據湖倉，還有我們的向量數據庫，我們看到，無論是混元還是今天中國在云上做大模型的創業公司，通過這樣的解決方案，我們可以在每秒寫入百萬級數據，對于海量數據的清洗，也達到了Tbps級吞吐能力。基于這樣整體的解決方案，我們看到原數據的清洗性能提升超過了40%，數據處理的整體運營成本也降低了50%。包括MiniMax、百川等這些創業公司都在用我們的解決方案去做他們的云上大模型。

其實不是每個團隊都要做大模型，我相信會有很多企業說，我有自己企業私有的數據，我們希望擁有行業模型的能力。所以我們在完成了使用算力，清洗和處理數據之后，對于企業來講就是怎么樣能夠更快、更高效構筑行業模型。今天在TI平臺上，我們支持大家去做模型的精調，也支持開源模型。我們對企業在做模型精調過程中的精調、部署等方方面面的工具做了全棧式打造，可以讓每個想做自己模型的企業，基于TI平臺，用我們的加速框架、基礎算力、開源工具，讓構筑行業模型變得更簡單。

大家又想說，我有了算力、有了數據、有了清洗，也有了工具，但我怎么樣保證我的安全？基于騰訊多年積累下來的安全能力，我們在大模型訓練過程中，對內容安全、隱私內容給出了我們的解決方案。其實大家在使用大模型過程中就會想，我變成了一個prompt工程師和模型去做交互訓練，有時候你不希望一些信息被模型完全記錄，我們的玄武實驗室打造了隱私安全解決方案，讓你使用模型的交互變得更加安全。

另外在模型訓練過程中，訓練出來的模型如何保證里面生成的內容是安全、可控、合規的？所以我們也把騰訊積累下來的內容安全能力開放在云上，讓我們每個想做大模型或者想做行業模型的客戶都可以使用我們的安全能力去保證自己訓練出來的模型可以更加合規。

我剛才講的是大模型訓練過程中，遇到的從計算到數據清洗，到工具，到安全層面的產品。剛才蔣總在他的分享中已經分享了應用如何去與我們的大模型結合，下面我介紹一下從安全到CODING編碼，到會議，如何去更好地應用我們大模型的能力。

其實安全是一個非常特殊的領域，尤其在風控方面，對于金融企業來講這是一個必不可少的能力，因為風控做不好的話，很多業務開展的風險是非常大的。過去，因為一個新的業務做冷啟動，風控建模大概需要兩周時間，才能把一個模型run到起步的階段。今天，基于騰訊積累的安全的know-how加上大模型的能力，我們可以讓整個風控大模型的泛化能力變得非常強，兩天之內就可以很好的形成一個風控模型，這樣我們看到的安全保障的能力就會變得非?？焖佟?/p>

當大模型來的時候，尤其當大模型進入編碼領域時候，很多人在想，是不是程序員要失業了？內部討論的時候有些人很慌，我們這個團隊今天這么多人，明天是不是就剩一半人了，再過三年是不是只需要一個干活的Leader了？底下工作都是AI在干？那肯定不是的，實際上，我們做一個編碼的目的就是通過程序去實現業務，實現很多好的應用，真正讓每個用戶在使用的過程中享受最終的成果。今天AI的輔助編碼更多是讓程序員的工作效率大幅提升，在騰訊這樣一個AI代碼助手輔助下，我們看到在代碼補全場景中，主動代碼生成率已經達到了30%，而且代碼的采用率也是30%，這樣的話，我們可以讓代碼生產效率更高，我相信不是程序員失業了，而是讓整個程序員生活得更加幸福，有30%的工作可以讓代碼助手幫你干。你最后的結果是到目的地，你過程中的幸福感其實是在提升的。

會議也是跟AI結合是特別多的點，線上的開會把大家的聯線、real time的溝通解決了，當會議和AI結合的時候，我們可以在會前、會中、會后都有非常多的幫助。大家今天來開大會，你可以摸摸魚，不聽，這都沒有問題。但如果說你在一個內部的重要會議上，自己遲到了，或者小小走神、摸魚了，突然你的領導@你一下，問你“小張，剛才那個問題你有什么想法？”這個時候你怎么辦？今天，我們希望通過騰訊會議AI的能力，讓你發生這樣的情況時可以幫你總結會議中發生的信息，領導在關注什么，哪些和你相關，這些信息都可以通過AI輔助。下面通過一段小小的視頻，讓大家感受到如何在會議中使用我們的AI能力。

今天，AI小助手也正式開放試用申請，歡迎各位朋友去申請我們的試用名額，來去體驗AI時代騰訊會議帶來的不一樣的開會體驗。

有了智能加持的騰訊會議之后，我們也在想，在交互上還能有什么創新。我們雖然開的是一個在線的會議，有了智能以后，是不是還可以讓我們更加的真實？所以今天，騰訊會議推出了3D會議能力，希望通過“更小的帶寬+消費級硬件”，可以實現一個真正的3D開會交互體驗。今天在外面的展廳中，我們專門放了一臺裸眼3D會議硬件，如果大家有興趣的話，一會兒可以到展廳里去體驗一下如何開一個3D的會。如果有了這樣的3D體驗，我們也在暢想，未來在直播帶貨的場景、教學的場景，你可能看到的不只是一個平面的東西，而是能看到一個立體空間，當有3D的能力時，你可以做一些更加主動的觀察，否則你所有看到的東西都是來自于攝像頭一個單一平面給到你的，我相信未來這種3D的場景可以讓我們在用AI提高效率的同時，也有更加全真體驗。

除了AI、更加全真的體驗之外，你在網上使用的時候離不開最底層的更加高效的傳輸網絡。今天，我們再次升級了TRTC網絡，讓全球的端到端互聯時間降到300ms以內。不知道在座的有多少人去過非洲，今天我們在國內大家用得都是5G，找不到世界上比中國網絡更好的地區。但如果你去到非洲，可能你行進幾百米，運營商就會切換一次。通過騰訊的TRTC實時音視頻能力，我們在全球已經實現了端到端平均300ms以內的時延，非洲當地最大的音樂媒體平臺就用了我們的技術，可以讓非洲的兄弟們也可以使用像我們國內這樣交互體驗，非洲兄弟也贊賞了我們的能力。

剛才Dowson講到，我們獲得了MSU云端視頻解碼大賽的大滿貫，說明我們的產品性能是非常極致的。同時，是我們更加關注音視頻媒體處理能力怎么能夠實現幫助到客戶的業務。過去通過我們媒體處理的能力，我們幫助了很多客戶在同等效果情況下，一年內存儲和帶寬成本降低了超過40%，而在這樣的時候，我們又去對比了全球的友商，在同等的碼率情況下，我們視頻的質量評分是高出20%，又省錢，效果又好。

今天我們也把這樣一些傳輸能力和安全的能力再一次升級成edgeone的平臺，在全球享受傳輸效果的同時具備了安全防護能力，在全球的保護中，我們防御的流量攻擊峰值超過2TB。

今天我們講了，從大模型到應用，如何訓練使用大模型，以及技術的升級，我相信技術的革命是永無止境的，每天都會看到技術的進步，騰訊云也會不停地升級我們的產品，希望與大家一起共享AI和大模型帶來的技術紅利。

雷峰網 (公眾號：雷峰網)

雷峰網版權文章，未經授權禁止轉載。詳情見 轉載須知 。