華為昇騰910B在大模型訓練中可能面臨的互連瓶頸是什麼？

華為昇騰910B於大型模型訓練中可能面臨的互連瓶頸

為符合美國出口管制，輝達專為中國市場設計的H20晶片在多項關鍵效能指標上有所調整。儘管如此，H20仍保留了Hopper架構和NVLink高速互連技術，使其在構建大規模AI叢集時仍具備優勢。相較之下，華為昇騰910B雖是中國最強的國產AI晶片，其FP32算力在某些單項指標上甚至超越H20，但其弱點在於晶片間的互連速度，這在大模型訓練中可能成為瓶頸。簡而言之，H20可視為H100的「閹割版」，而昇騰910B在晶片互連方面存在限制。

儘管美國政府對中國採取「小院高牆」的科技管制策略，輝達仍試圖透過H20重返中國市場，以捍衛其營收和市場地位。H20的設計目標是在性能上既能通過美國商務部的審查，又能與華為的昇騰910B晶片競爭。然而，在實際應用中，H20與昇騰910B在大模型訓練方面的差異，將取決於具體的模型規模和算法特性。