AI芯片“最強輔助”HBM,發展到哪一步?| 研報推薦

jh 10個月前 (03-08)

混合鍵合與TSV是3D封裝的核心,HBM“連接”與“堆疊”帶來設備材料端發展新機遇。

注:原文為華金證券HBM迭代,3D混合鍵合成設備材料發力點》,分析師:孫遠峰、王海維

隨著英偉達的市值沖破2萬億美元,英偉達的股票一夜間成了世界上最值錢的商品。

而這還遠不是英偉達市值的極限,靠著向全世界售賣高性能GPU,英偉達的壟斷地位仍會持續下去。

但另一方面,高性能GPU供不應求的情況始終得不到好轉,其背后原因之一——存儲大廠的HBM(高帶寬內存)顯存產能提不上來,嚴重影響了英偉達的產能。

HBM顯存并不是什么新鮮事物,對比消費線常見的GDDR顯存,前者價格相當昂貴,基本只在高密度計算集群中使用。

不過隨著AI芯片需求不斷增加,存儲巨頭開始全力沖刺HBM技術,HBM顯存的性能與使用場景都有顯著提升。

目前擁有第五代HBM3E技術的SK海力士已經拉滿了2024年的產能,同為存儲大廠的三星與美光同樣全力為英偉達供貨。

那么作為AI芯片“最強輔助”的HBM,究竟強在哪里?

在華金證券推出的半導體行業深度報告《HBM迭代,3D混合鍵合成設備材料發力點》里,分析師從“設備材料”的角度深度分析了HBM的最新情況。

以下為研報內容精選:

什么是HBM?

·CPU與存儲之間,存在著“內存墻”

隨著摩爾定律的不斷迭代,CPU運行速度快速提升,目前CPU主頻高達5GHz,而DRAM內存性能取決于電容充放電速度以及DRAM與CPU之間的接口帶寬,存儲性能提升遠慢于CPU,DRAM內存帶寬成為制約計算機性能發展的重要瓶頸;

一般來說,DDR4內存主頻為2666~3200MHz,帶寬為6.4GB/s,但是在AI應用中(高性能計算/數據中心),算力芯片的數據吞吐量峰值在TB/s級,主流的DRAM內存或顯存帶寬一般為幾GB/s到幾十GB/s量級,與算力芯片存在顯著的差距, “內存墻”由此形成。

以Transformer類模型為例,模型大小平均每兩年翻410倍,而AI硬件上的內存大小僅僅是以每年翻2倍的速率在增長;

此外,內存墻問題不僅與內存容量大小有關,也包括內存的傳輸帶寬——目前的內存容量和傳輸的速度都大大落后于硬件的計算能力。

一般來說,傳統DRAM需要大量空間與CPU/GPU等處理器通信,同時封裝的形式看需要通過引線鍵合或PCB進行連接,因此DRAM不可能對海量數據進行并行處理。

·HBM概念

隨著2.5D/3D系統級封裝(SiP)和硅通孔(TSV)技術日益 成熟,為高帶寬、大容量的存儲器產品提供基礎;

而高帶寬存儲器HBM(Highband Memory),使用硅通孔TSV和微凸塊技術垂直堆疊多個DRAM,因此可以顯著提升數據處理速度,同時性能提升的同時尺寸有所減少;

從2013年開始,JEDEC制定了高帶寬存儲器系列標準(包括 HBM,HBM2,HBM2E,HBM3),其中,HBM3相比2代標準有顯著提升,芯片單個引腳速率達到6.4Gbit/s,總帶寬超過1TB/S。

·HBM特點

HBM2E和HBM3的單引腳最大輸入/輸出(I/O)速度分別達3.2Gbit/s和6.4Gbit/s,低于GDDR5存儲器的7Gbit/s,但HBM的堆棧方式可通過更多的I/O數量使總帶寬遠高于GDDR5;例如HBM2帶寬可以達到307 GB/s;

海力士官網數據顯示:HBM3E的數據處理速度,相當于可以在1s內下載230部全高清(FHD)級電影(每部5千兆字節,5GB),優化后可用于處理人工智能領域的海量數據。

同時,由于采用微凸塊和TSV技術,存儲和算力芯片信號傳輸 路徑短,單引腳I/O速率較低,使HBM具備更好的內存功耗能效特性;

以DDR3存儲器單引腳I/O帶寬功耗為基準,HBM2的I/O功耗比明顯低于DDR3/DDR4和GDDR5,相比于 GDDR5存儲器,HBM2的單引腳I/O帶寬功耗比數值降低42%。

總體來說,HBM的技術特點:1、高速;2、高帶寬;3、更低功耗。

同時,HBM又具備可擴展容量的結構特點。具體如圖:

AI算力快速迭代,HBM為最強輔助

隨著美國商務部工業與安全局 (BIS)針對高算力芯片管控指標不斷升級,增加了先進計算最終用途管控,AI算力的高需求帶動HBM成最強“輔助”,主要體現在HBM的供給側趨勢。

1、從三大家HBM供給側趨勢看,HBM3及以上版本逐漸成為主流,從容看24GB/32GB逐漸替代16GB成為主流配置;

2、HBM4預計于2026年開始量產;

3、工藝節點看,HBM3e 三星和海力士的制程節點為1 alpha,美光為 1 beta;

4、海力士與三星占據主要市場份額;

5、假設2023年和2024年HBM單價分別為15美元/12美元,2024年HBM市場規模預計為120億美元。

此外,英偉達、谷歌、AMD、AWS等科技巨頭的HBM使用量有明顯上升。

“連接”與“堆疊” ,3D混合鍵合成HBM新趨勢

HBM制造的核心,包括TSV和封裝,垂直堆疊等技術。

根據《半導體工藝與設備 》介紹,TSV不采用傳統的布線方法來連接芯片與芯片,而是通過在芯片上鉆孔并填充金屬等導電材料以容納電極來垂直連接芯片。

在制作帶有TSV的晶圓后,通過封裝在其頂部和底部形成微凸塊,然后連接這些凸塊。由于 TSV 允許凸塊垂直連接,因此可以實現多芯片堆疊。

目前HBM的堆疊技術包括MR-MUF以及TC-NCF等;

其中,MR-MUF(向上堆疊方式,Mass Reflow – Molded Underfill),是指將半導體芯片堆疊后,為了保護芯片和芯片之間的電路,在其空間中注入液體形態的保護材料,并固化的封裝工藝技術。

與每堆疊一個芯片鋪上薄膜型材料的方式對比,工藝效率高,散熱方面也更有效;

具體步驟:

1、連接芯片的微凸塊采用金屬塑封材料;

2、一次性融化所有的微凸塊,連接芯片與電路;3)芯片與芯片之間或者芯片與載板之間的間隙填充,絕緣和塑封同時完成。

而TC-NCF(Thermo Compression – Non-Conductive Film,非導電薄膜),是一種在芯片之間使用薄膜進行堆疊的方法,與MR-MUF相比,該互連技術導熱率較低;速度較慢;

此前,SK 海力士在HBM2e中使用 TC-NCF。

而到了HBM4時代后,海力士正在加速開發新工藝“混合鍵合”(Hybrid Bonding ),并將成為未來新趨勢。

截止目前, HBM的DRAM芯片之間通過“微凸塊”材料進行連接,通過混合鍵合,芯片可以在沒有凸塊的情況下連接,從而顯著減小芯片的厚度;

當間距小到20um以內,熱壓鍵合過程中細微傾斜使得釬料變形擠出而發生橋連短路,難以進一步縮減互聯間距;

HBM芯片標準厚度為720um,預計2026年左右量產的第六代HBM4需要縱向垂直堆疊16層DRAM芯片,當前的封裝技術很難讓客戶滿意,所以混合鍵合的應用被認為是必然的趨勢;

2023年海力士用于第三代HBM產品(HBM2e)測試混合鍵合技術,規格低于HBM4產品;

同時海力士擬計劃將新一代的HBM與邏輯芯片堆疊在一起,取消硅中介層。

·混合鍵合定義:

1、混合鍵合是一種永久鍵合,將介電鍵合(SiOx)與嵌入式金屬(Cu)結合起來互聯,形成電介質和金屬-金屬鍵;

2、使用緊密嵌入電介質中的微小銅焊盤可以提供比銅微凸塊多1000倍的I/O連接。支持3D封裝和先進的存儲立方體更高的互連密度;

3、混合鍵合可以實現低于10um的鍵合間距,當接近10um尺寸時,帶有焊錫尖端的銅凸塊會遇到可靠性問題,從而導致轉向混合鍵合。

按照分類,混合鍵合又可以分類成:

1、晶圓到晶圓(Wafer-to-Wafer):兩個制造好的晶圓直接鍵合在一起,W2W提供更高的對準精度、吞吐量和鍵合良率,目前絕大多數混合鍵合通過W2W完成,比較典型的是長江存儲3D NAND Xstacking技術的突破;

2、芯片到晶圓(Die-to-Wafer):將切割好的Die貼到另

一個完成的晶圓上,與晶圓上的Die實現鍵合,可以分為兩類:

可以按順序一顆一顆放置到另一片產品晶圓的對應位置上,位置精度會提高;將切割好的Die用臨時鍵合的方式粘貼到Carrier晶圓上,整個晶圓與另一片晶圓鍵合再解鍵合,類似傳統的W2W。

兩者進行相比:

W2W鍵合是相對成熟的工藝,也不是特別昂貴,目前,W2W鍵合可以實現50nm以下的對準精度,W2W存在的主要問題是無法選擇已經良好的芯片(KGD)進行封裝,會導致將有缺陷的芯片貼合至優質芯片,從而導致優質芯片的損失,所以W2W一般應用于良率非常高的晶圓;

而D2W方式可以應用良率相對較差但仍然具備商業價值的產品,D2W在鍵合方面更具挑戰性,因為每個晶圓都需要更多的鍵合步驟,會引入顆粒污染。

(更多內容請參考研報原文)

最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!

鎂客網


科技 | 人文 | 行業

微信ID:im2maker
長按識別二維碼關注

硬科技產業媒體

關注技術驅動創新

分享到