阿里AI專家交流實錄_API

問：阿里大模型的發布節奏，以及大致水平？

答：阿里巴巴達摩院主要來牽頭去做大模型的相關的研究和進展，大概是在22年的時候，我們其實就已經發布了我們自己的這種自然語言理解的大模型，一個叫m6，一個叫plug。M6的話基本是能夠支持多模態的這種AI模型，比如說文字生成圖片，文字生成語音，文字生成視頻這種模型，但是我們大模型相比來講，GPT3.5這種水平在參數量和整體規模上其實還是要小一點。所以在大模型目前我們這種模型可能也就叫做中模型。

達摩院頂層的領導下達了命令，整個團隊約有100個人去開始去做相關大模型的迭代和升級，一方面是自己在復現GPT的水平，一方面是要迭代把我們的m6和plug迭代到能夠對標到GPT的水平。目前來看根據我們得到的一些反饋，我們自己的這種m6的一些自然語言理解的能力，目前還不能對標到GPT3.5與GPT3.5大約還得有個一年半左右差距。

所以在我們預計今年在下半年云棲大會上的時候，應該會有m6的一些最新的模型的發布或者是進展，可能大概在GPT2.5左右的水平。

語料積累不足。現有的大型語言模型在文本清洗和篩選方面存在一些限制，因此需要對現有模型進行升級和迭代，以適應不同領域的數據需求。例如，要將模型應用于軍事、旅游文化、等領域，需要進行更多的數據收集和人工標注，以達到更高的準確性和效率。同時，大型語言模型的成熟也將帶來更多的商業機會，例如在天貓淘寶、高德地圖等應用中的搜索和客服機器人等領域。此外，如果大型語言模型足夠成熟，可能會釋放出API，由合作伙伴接入，從而實現生態層面的壟斷。

BIS：如果廣泛用于支付，包括穩定幣在內的加密資產可能會對金融穩定構成威脅:金色財經報道，國際清算銀行（BIS）的一項新調查顯示，如果廣泛用于支付，包括穩定幣在內的加密資產可能會對金融穩定構成威脅。為了加強和協調監管方法，以遏制金融體系面臨的風險，CPMI、IOSCO、FSB和BCBS發布了針對穩定幣或加密貨幣活動和更廣泛市場的更新或新指南和標準。[2023/7/10 10:46:26]

問：預計阿里大模型與文心一言對比？同時您認為制約我們大模型發展的是最主要是這個語料，還是模型一開始的這種路徑偏離，您認為哪一個是制約我們發展的一個最重要的原因？?

答：我們認為百度做得雖然不是那么智能，但還是相當不錯的。在國內，它可能算是第一名。我們認為它還有很大的提升空間。文心一言雖然有一定的實用性，但離達到GPT-3水平還有一定差距。不過，我們覺得它至少可以達到GPT-2.5水平,如果未來能夠持續迭代和優化，可能會達到GPT-3.5的水平。數據積累對于百度來說是一個優勢，尤其是在搜索領域。百度在知識庫方面有很多年的積累，包括百度知道等。與文心一言不同，其模型架構基于Transformer，而文心一言則基于Bert。如何在文心一言的基礎上實現更智能的迭代，可能是一個挑戰，需要達摩院的同學來解決。

加密行業成員稱白宮正破壞創新:金色財經報道，白宮經濟顧問委員會本周發布了年度報告，報告稱，加密行業正尋求在政府范圍之外生存，這注定會失敗。 許多加密行業成員發現該報告令人不安，特別是考慮到它是在監管極度不確定的時期發布的。 其他人指出，該報告對加密貨幣的態度只會將公司推向海外，將創新從美國帶走，并可能讓投資者接觸到有風險的商業行為。[2023/3/26 13:26:38]

問：阿里如何后發追上？會采取怎樣的打法？

答：我們可以提供的方案主要有兩種，一種是我們推出的模型效果相對較好，可以與集團內部的產品結合，例如天貓、淘寶和高德地圖的搜索業務。這將為搜索引擎帶來更新的商業模式，并取代以前的商業模式。此外，我們還可以輸出我們自己的API，并向合作伙伴或渠道商收費。這些合作伙伴將使用我們的API，并體現出他們的客戶，這些客戶是從ToC端產生的。大多數客戶都有自己的APP和網站，這些客戶可以通過他們的APP和網站獲取流量。不同的客戶可以使用不同的API，這意味著廠商可以在生態系統中形成壟斷。目前，已有一些廠商嘗試將我們的API集成到他們的產品中，但進展不如預期快。對于我們的API，它們可能會在特定領域上有所幫助，例如電商、搜索和推薦，并帶來更好的商業模式。

問：阿里目前AI算力儲備情況？

知情人士：印度希望在2023年底前在全國范圍內推出CBDC:2月8日消息，據知情人士稱，印度希望在 2023 年底之前在全國范圍內推出 CBDC。去年，印度已經啟動兩個 CBDC 試點項目，一個是去年 11 月 1 日開始的 CBDC-W，有 9 家銀行參與，另一個是去年 12 月 1 日開始的 CBDC-R，在 4 個城市試點，4 家銀行參與。CBDC-W 僅限于金融機構，旨在提高銀行間支付效率，CBDC-R 適用于私營部門和印度公民。雖然政府告訴議會，印度將在 2022-23 財政年度內發布 CBDC-R，但尚不知何時實施。（CoinDesk）[2023/2/8 11:53:58]

答：阿里國內AI算力儲備最多，然后以次為：字節、百度、騰訊。

阿里云現在云上至少應該有上萬片的A100了，整體至少能夠達到10萬片，集團的話應該會是阿里云5倍的這樣的一個量級。

達摩院、天貓、淘寶的算力資源都是集團內資源使用。

阿里云這塊今年增速會有30-50%。有個別8-9個客戶會有復現GPT的需求，提出了大規模AI算力需求，我們以云的方式給。

百度年初緊急下單3000臺8卡的A800服務器，2.4萬張卡，我預計全年百度會有A-H800共5萬張的需求。

FTX創始人SBF將在巴哈馬法庭簽署引渡文件:金色財經報道，美國大使館官員進入巴哈馬法院，FTX創始人SBF案預計將于周三繼續審理。消息人士稱：FTX創始人SBF已離開巴哈馬監獄。FTX創始人SBF將在巴哈馬法庭簽署引渡文件。（金十）[2022/12/22 21:59:52]

阿里云需求不會這么多，去年采購2萬多，今年可能采購量會下降。預計云上就1萬張左右，其中6000張是H800。此外阿里云也會用到平頭哥這種自研的，每年大概3000張去采購。

從除此之外，阿里云也會選擇國產芯片的一家，看是否在云上商業化。

問：阿里云采購的哪家國產芯片，為何選擇？

答：選擇的是寒武紀MLU370，主要是性能基本過關(A100的60-70%)，檢測合格，態度積極，愿意對接，服務貼身。今年會采購大概2000張的水平，主要用在一些CV等小模型的訓練或推理上。寒武紀MLU370沒有供貨的風險，后續的MLU590也許就會有了。

對于壁仞等，宣傳上不錯，但拿不到實測的卡，流片大約都是今年4-6月，量產半年后。而且壁仞4月要流片的卡，不能支持FP64，互通帶寬不支持8卡，支持最多4卡，采用NVbridge方式，達到180GB水平。8卡用PCIe方式只能做到32GB，弱點顯著。

Anchor設計人員：Anchor最初的利率設計為3.6%，發布前一周被提高到20%:6月8日消息，Anchor 設計人員表示其最初的利率設計為 3.6%，但 Anchor 的利率在發布前一周被提高到 20%，他建議降低利率，提議卻未被 Do Kwon 接受。[2022/6/8 4:10:59]

針對海光，我們技術人員也有看好的，參數也足夠支撐訓練，但可能由于海光因產能等因素，可能更側重滿足國有算力那邊的需求。同時，集團層面是否對接，不清楚。

問：海光為何會不給樣片測試？出于什么考慮？海光DCU的量應該是夠的。

答：海光的話，我們確實沒有拿到他的樣卡，就是不知道為什么，我們也得知很多國產化的訂單他們都中標且供貨，但我們跟他對接的時候，好像反正是各種各樣的問題，就是沒有測起來。

我們內部其實也有一些同學是支持海光深算1號的，但是一方面當時寒武紀還沒被拉入黑名單，而海光被拉入了黑名單，然后我們其實也有一定的擔心，就是在阿里云上了之后，可能會給自己引火燒身，所以這方面也是我們考量的一個因素。最后反正就沒采海光后期的供貨，可能也會成問題，這也是我們考量的原因之一。

不知道他們是手頭是不是比較重要的這種國產化的項目，或者訂單的交付還是沒有人力來支持。我們也不是特別知道，可能他們團隊也就幾百個人吧，就是沒有這個時間周期。

總體上，在其他國產AI芯片競爭上，海光好像不是很在意這個云上的這個市場。

問：騰訊大模型的進展？

答：有聽到是混元這個模型繼續迭代，有大概100人左右做GPT復現以及自我模型迭代。應該會比我們的早，猜測大概8月份會出。但應該只是支持文生文的場景。

問：目前降低算力成本的方式？

答：除了大模型，即使stablediffusion這種文生圖模型，也消耗較小。stablediffusion模型一直在優化，以前一個推理任務一張A100、現在降級到一個推理任務一張V100。對于阿里這種巨頭而言，V100的存貨還是很多的。

同時，還會有一些針對模型的優化，或者加速軟件，加快模型訓練與推理。

最后，也可以對模型進行降級，降低精準度要求，比如從FP16降級為FP8,。

問：阿里目前對于AI大模型是不計成本的大力投入，還是考慮商業落地穩扎穩打？

答：大概率是穩扎穩打，現在拆分后，都要自負盈虧，壓力蠻大的。

ChatGPT的一個推理的任務，大概所需要消耗的這個能力是5張A100在2秒鐘之內做一次推理，大規模應用起來成本很高，沖擊也很大。

問：華為盤古與昇騰如何看？

答：盤古大模型效果有待考證，并沒有明確對標GPT，而是往B端去做。

同時因為受限制，只能用自己的昇騰，雖然昇騰910大概也有A100的70%水平，但算力的限制可能會制約大模型發展。

問：從CUDA兼容性角度，海光與寒武紀如何對比？

答：海光的CUDA兼容性更好，除了海光，其實阿里云產的PPU其實也在一定程度上能夠做到CUDA兼容，與NV做綁定。

問：360的大模型如何看?

答：我們了解到，最近360向NV下了上千塊A800的貨。360語料可能比我們強，但最后能做出什么效果，需要時間驗證。

問：目前跑在大模型上面的光模塊架構會向英偉達推薦的方向去迭代嗎？

答：我們不太會去走英偉達的架構，我們有自己的路線，其他大廠可能會走英偉達路線。

阿里云的公有云的層級上面，目前都是采用了阿里云自研的產品叫做DPU。我們自研的DPU其實現在已經迭代了幾乎3.0或4.0的狀態，支持雙口100GB的水平。

那DPU的功能是用于在云上開發彈性裸金屬，因為我們要把服務器做成云上的云服務器中間是有一層虛擬化的開發，那虛擬化之后這個物理機上的資源其實是有一定的損耗，CPU的核心數、內存的容量以及網絡的帶寬、硬盤的這個存儲容量都會有所影響。那之所以搞DPU，是為了把這些虛擬化的資源都ofload到DPU上去，使得我們云上的這種云服務器的資源和線下的這種物理機的資源是整體的資源數量是一模一樣的，是沒有任何變化的。

那DPU的主要功能是在這里，那我們現在研發的第四代的這個DPU，它里面主要集成了ERDMA的這個能力，這個RDMA就是遠程內存直接訪問的意思，然后其實是主要應用在HPC的這個場景，然后這個E代表的是elastic，我們叫做彈性RDMA這個東西，那它其實是在以太網的架構下去跑ERDMA。也就是說我們希望在以太網的這個網卡、渲染交換機以及這種集群架構上去跑，類似于高性能計算的這種協議，能夠把一些高性能計算的場景支持起來。所以我們大概率在公有云的這個場景，不太會去考量像Nvidia提供的這種集群架構，這是公有云的這個方式，從云上講不支持，光模塊數量沒有明顯增長，阿里網絡架構不會改，光模塊的規格也不太會改。

但百度云字節火山云可能會采納英偉達的架構，取決于數量，目前只采納300臺H800，對應每臺服務器9張網卡，每個卡一個線，一個線兩個光模塊，9張網卡一臺服務器是18個光模塊，300臺是5400個光模塊，如果集成架構往上擴，擴1000個節點的話，大概是3倍的增長。

問：看好BAT、字節等哪一個大模型？

答：第一還是百度文心，先發優勢，其次可能是字節，因為有數據、有算力、有場景。

Tags：GPTCBDBDCAPI人工智能chatGPTCBDAObdc幣目前價格Paragon Capital

區塊鏈