Red Hat 啟動 LLM-D 社群專案 加速大規模分散式生成式 AI 推論
Red Hat 發表 llm-d 開源社群,結合 vLLM 與 Kubernetes 架構,致力於實現大規模分散式生成式 AI 推論,提升企業部署效率與彈性。 Red Hat近期宣布推出全新開源專案llm-d,旨在回應未來生成式AI (Gen AI)最關鍵的大規模推論需求。 此專案由創始貢獻者CoreWeave、Google Cloud、IBM Research與NVIDIA共同發起,並且獲得AMD、Cisco、Hugging Face、Intel、Lambda和Mistral AI 等業者,以及加州大學柏克萊分校和芝加哥大學等學術機構參與,目標讓生產環境中的生成式AI應用像Linux一樣無所
12 個月前
AMD Instinct MI400 APU將由兩個中介層、8個XCD小晶片構成
AMD在COMPUTEX 2024的主題演講提及2026年將推出架構大翻新的APU加速晶片Instinct MI400,截至目前為止AMD並未透露Instinct MI400的相關資訊,不過在Free Desktop出現的Patch提前爆料了些許關於Instinct MI400的晶片構成,每個Instinct MI400將由兩個AID中介層晶片、分別配置4個XCD加速器小晶片構成。 當前AMD的Instinct MI300雖同樣由8個XCD加速器小晶片構成,不過卻動用達4個AID中介層晶片,也意味著AMD將使單一中介層配置更多的XCD,能使單一中介層的XCD溝通更為快速;此外不同於現行Inst
1 年前
美光2026年量產的HBM4將提供NVIDIA Rubin R100等下一代AI加速器使用,並已投入HBM4E的開發
美光的HBM3E順利打入NVIDIA AI加速器的供應鏈,其中HBM3E成為NVIDIA H200搭配的記憶體;根據美光財報會議紀錄,美光將在2026年量產HBM4,作為屆時如NVIDIA的「Rubin」NVIDIA R100等先進加速器搭配,此外美光也投入HBM4E的開發,倘若時程能夠配合,應該會成為NVIDIA小改版世代的R200所搭配的記憶體。 ▲NVIDIA的Rubin R100加速器預期會採用美光HBM4記憶體 目前AI加速器的GPU由SK Hynix取領先,三星與美光仍設法從中突圍,其中美光鎖定高性能與客製化服務作為與其它競爭者的差異化;美光預期在2026年推出HBM4記憶體,將較
1 年前
AMD將使用UDNA統一GPU架構取代現行區分RDNA與CDNA兩種GPU架構
由於圖形與運算的需求不同,AMD自2019年終結GGCN架構後,針對傳統圖形提供RDNA架構,針對加速運算提供CDNA架構,但AMD運算與顯示卡事業部資深副總裁暨總經理Jack Huynh於IFA 2024接受Tom's Hardware採訪時透露,AMD為了簡化開發與種種因素,未來兩大架構將合併於單一UDNA架構,不再區分圖形GPU與加速GPU兩種架構發展,不過目前UDNA處於策略階段,實際執行的時間未定。 根據Jack Huynh透露,當前AMD的RDNA與CDNA兩項架構是獨立發展的,但對於開發者則需要熟悉兩種不同的架構,AMD未來將把圖形與加速產品合併為單一架構,使開發者更容易進行開發
1 年前
AMD收購白牌伺服器供應商ZT System強化資料中心布局,將拆分製造部門不與客戶競爭
AMD宣布在台稱為美商雲達科技的白牌伺服器廠商ZT System,做為強化與NVIDIA於資料中心、AI、HPC等領域競爭的布局,AMD預計透過現金75%與等值股票25%的比重全額收購以總額49億美金收購ZT System,AMD完成收購後將保留ZT System的設計與服務部門,製造部門預計拆分,希冀強化GPU資料中心產品布局,主要目的是借助擴充設計與客戶服務團隊,增強客戶對於AMD AI機架系統的佈署。 此樁收購仍待批准,但AMD預計於2025年上半年完成收購,並於收購完成後的12個月至18個月釋出ZT Sysem的製造部門。 ▲AMD收購ZT System的目的在於強化資料中心GPU產品
1 年前
Intel下一代GPU加速器Falcon Shores將達1,500W TDP,僅提供液冷型態
Intel的Ponte Vecchio是Intel第一款基於GPU的加速器產品,做為下一世代後繼GPU加速器的Falcon Shores將進一步整合Gaudi產品線,將Gaudi的加速設計進一步整併到GPU加速器內;根據最新的報導指稱,Falcon Shores的TDP將達1,500W,同時僅提供液冷型態。 ▲整合Xe GPU與AI加速的Falcon Shores將作為Gaudi產品線後續的產品 Falcon Shores據稱設計計畫經過多項調整,原本將以結合CPU、GPU與加速器的XPU為目標,不過最終改為純GPU加速器產品,但保有將下一代Xe GPU架構與Gaudi加速器整合的設計;根據I
2 年前
NVIDIA傳2025年第四季量產代號Rubin的R100 AI加速GPU,採台積電3nm製程、搭配HBM4記憶體
NVIDIA在2024年GTC大會公布全新的Blackwell GPU架構,以及基於Blackwell架構的B200 Tensor Core GPU、GB200 SuperChip等產品;天風證券分析師郭明錤指稱NVIDIA將會在2025年第四季開始生產代號Rubin的R100 GPU,並透過台積電N3製程生產,不過實際產品與系統則將在2026年上半年量產,預期R100 GPU將會是2025年GTC大會的主軸;作為代號的Rubin是致敬女性美國天文學家Vera Rubin。 R100 GPU將延續Blackwell GPU的小晶片設計,據稱採用高於B100的3.3x reticle設計的4x
2 年前
友站推薦
鏈結台美新創生態圈!洛杉磯創投、加速器巨擘來台 分享百億美元市場攻略
關鍵評論 - 美通社
矽谷加速器 Plug and Play 搶進台灣市場,鎖定 AI 與物聯網
INSIDE - 中央社
統一資訊首成立企業加速器!攜手領濤公司招募新創,聚焦 AI、資安領域
INSIDE - INSIDE 硬塞的網路趨勢觀察
17LIVE 攜手 AppWorks!雙方合力加速東南亞佈局
INSIDE - INSIDE 硬塞的網路趨勢觀察
Google 90% AI 訓練全靠第四代 TPU 加速器!效率為前代十倍
INSIDE - Mashdigi
知名加速器 Y Combinator 新總裁!前合夥人Garry Tan 接任
INSIDE - Mia
台灣運動創新加速器發表會落幕,運動創業會遇到哪些問題?台灣運動服務業要能發展起來,該做好那些準備?圓桌體育大會
運動視界 - 曾荃鈺
Web3、AIoT 與 SEA!AppWorks Demo Day #24 與緯創 Demo Day #2 聯合登場
INSIDE - INSIDE 硬塞的網路趨勢觀察
緯創啟動第三屆加速器計畫,鎖定六大領域新創
INSIDE - 鉅亨網

相關文章