半導體座談Memo

總體經濟

1. 根據費半獲利預估，去年5月市場變樂觀(自NV上修AI)，從8、9月到現在轉為PC和手機庫存回補。獲利上修趨勢到今年1、2月，後續獲利維持平穩，不太會馬上再上修。
2. 中國最壞狀況過去，但要看到庫存回補還需要時間。
3. 評價面都不便宜，費半回到30x PE，除非獲利往上修，不然短期股價要大漲有難度。
4. 美林牛熊指標，長線基金過去都是bearish，現已轉為neutral，資金有機會回來。
5. 恐慌指標顯示散戶貪婪情緒，短線風險較高。
6. 1H24行情不會太好也不會太差，盤整行情可能性較高。

AI PC

1. 2025年算力都會是40 TOPS以上，所以都會是AI PC。
2. Memory、PMIC、PCB/HDI、MIC(麥克風)都有升級或用量增加的機會。
3. Intel以後都是SoC架構，meteor lake 4顆晶片中有3顆是TSMC做，Intel貢獻台積電2023年營收15億美金，2024年40億美金以上，2025年有機會到100億美金以上。
4. Intel Edge AI加入VPU，就是DSP核心，有11 TOPS算力，平均1w是4.5算力，未來要有45 TOPS的算力，平均功耗約增加10w。
5. Arrow Lake算力可達92 TOPS，但主要來自GPU(貢獻72 TOPS)，VPU維持11 TOPS。
6. AMD直接在CPU整合DSP，2024年底要推第二代XDNA，會做到40 TOPS，DSP核心變多，memory相關介面加快，die size稍微大一點。
7. ADM標榜功耗好一點，因為TSMC 4nm且DSP放在CPU裡直接做。
8. 高通snapdragon x elite，8大核+4小核=12 core CPU，跟手機晶片架構很像，PMIC用到接近10顆，但都自己賣，標榜算力45 TOPS(但不是很準)，30 tokens/s for 7B LLM。
9. 大部分硬體在2025年具備，但關鍵仍是有多少軟體應用，例如Zoom、Teams等視訊軟體發展即時翻譯，三星S24亦標榜類似功能，另外一個是co-pilot，之後終端裝置算力建立後，Microsoft會更積極推廣，還有一個是遊戲，跟NPC(Non-Player Character)的對話可以用生成式AI來做，如果遊戲做得不錯可以推升AI PC需求。
10. Memory受惠需求量變大，要跑Llama 7b至少需要7G的記憶體容量，Llama 13b的記憶體用量要增加一倍以上。
11. NB PCB will move to HDI.
12. 麥克風數目會多很多，正面3顆、背面1顆，台廠鈺太會受惠。
13. 相機模組在鏡片數量和規格(2k/4k→8k)都有升級。

Smartphone

1. 最近APPLE有像2007年的Nokia，規格上沒有新東西，也沒有大型語言模型算力建置，原本以為有under display face id但來不及做，麥克風有升級但主要是陸系供應商(瑞聲/歌爾)。
2. 華為重返手機市場，可能是SMIC晶片(不敢承認)，顯微鏡下就是7nm規格(線有點醜但堪用)，RF的fab可能是三安光電，已具備做5G PA能力，衛星電話仍是緊急通訊，中國上空只有一顆衛星，僅同時供7,000人通話，摺疊機主要還是三星(市占60%)，華為排第二(市占20~30%)。
3. 雙折疊螢幕(double-foldable) might be a surprise in 2024，螢幕大小會較為正常(不會是正方形)。
4. 聯發科天璣9300採8大核策略(4顆Cortex-X4+4顆Cortex-A720)，9400沿用八大核(1顆Cortex-X5+3顆Cortex-X4+4顆Cortex- A720)。
5. 高通8650和8750的差別在於，8750 CPU為客製Oryon CPU Cores Oryon Cores(原Nuvia產品)，當初視作HPC，現在用在手機功耗會不會太高，且第一次用在手機上導入是否順利尚未知。如果高通產品失誤，聯發科就有利可圖。

AI Server

1. H100原本是80GB Memory，H200變141GB，加量不加價。但是可能會造成一些問題，H200 7月量產，那4~6月願意買H100的人就會變少，所以NV 2Q24營運狀況可能會比較弱，會有些產品轉換的問題，中間有空窗期。
2. B100/B200配置是2GPU+8HBM，和AMD配置相似，這不是巧合，台積電Cowos目前面積積極限就只能做到這麼大。
3. B100/B200 IC本身是一樣的，差別在於架構，如果是現在HGX架構就是B100(CPU：GPU數目為1:8)，如果是新架構就是B200。新架構CPU：GPU數目為1:2。
4. H200的出現主要是因為B100的Delay，B100原本預計2月有Sample，下半年就可以量產。目前看來第一顆晶片在2月才會出來，給客人Sample最快要到5月。所以相比於原本預期晚了3~6個月。此外，B100預期也不回有什麼量，因為2025年新架構也要推出。
5. B100不需要水冷，採用3DVC; B200、GB200都會用水冷。
6. 為什麼會有GH200，GH200和GB200是一樣架構，但是NV B100的Sample太晚給客戶，1Q25可能來不及做出來。所以2023年9月，新架構先從GH200開始做。
7. 未來新架構主要機櫃8+9+8設計，8compute tray(高度僅有1U) +9switch tray+8 compute tray。
8. 因為未來B200/GB200都往新架構走，不利於川湖、勤誠等。
9. 從HGX SXM架構到新的1U MGX架構，板子Content Value不減反增，但供應商會不一樣。
10. 首先MGX架構雖然沒有UBB，但MGX兩個GH200模組下面還有有一塊板子，將兩塊連再一起。整體而言，如果HGX與MGX系統都用上了8個GPU，整體板子Content Value會增加20%。另外，HGX本來UBB是找緯創，但是到了MGX兩顆GH200下面的PCB板是由ODM決定，假設廣達自己找，他找金像電，因此供應會不太一樣。
11. Switch Tray裡面也會有高階版材，這塊緯創有吃到，所以從HGX轉換到MGX架構對於緯創差異並不大。
12. 剛剛有提到MGX與HGX相比(相同GPU數)，板子Content Value會增加20%，如果再加上中間的9個Switch Tray的高階版財，整體版子的content value會增加30~50%，板材受惠程度大。
13. MSFT/Meta在AI自研晶片佈局都尚缺火侯，AWS/Google相對成熟，不過晶片間相互傳輸速度明顯遠遜於NV AI晶片。未來NV應該還是可以維持相當高的市占率。此外，AI需求仍非常強勁，目前AI算是剛起步的產業，並不會因為AI單晶片算力持續提升，對於晶片需求會放緩。
14. 未來晶片Cowos面積可能會越來越大，一片Wafer能做出的chip越來越少，CoWoS相關產能供應鏈有望受惠。

Q&A

1. 2025年最貴的AI PC價格帶：AI PC沒有貴多少，CPU本身沒有漲價，漲價會是memory，但最近memory價格便宜，其他規格升級不會增加多少錢，因此AI PC價格預期介於一般筆電和電競筆電之間。
2. AI PC記憶體規格看法：16GB基本，32GB會有人用，64G也不無可能。
3. NV伺服器新架構是否還會用Intel CPU：還是會，有不同