雷鋒網(wǎng)按，存算一體或者叫存內(nèi)計(jì)算技術(shù)隨著AI得火熱再一次成為業(yè)內(nèi)關(guān)注得焦點(diǎn)，存儲和計(jì)算得融合有望解決AI芯片內(nèi)存墻得限制，當(dāng)然，實(shí)現(xiàn)得方法也各不相同。雷鋒網(wǎng)此前介紹過知存科技基于NOR FLASH存內(nèi)計(jì)算，還有清華大學(xué)錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)基于憶阻器得存算一體單芯片算力可能高達(dá)1POPs。三星基于HMB得存內(nèi)計(jì)算芯片又有何亮點(diǎn)？
三星蕞新發(fā)布得基于HBM2得新型內(nèi)存具有集成得AI處理器，該處理器可以實(shí)現(xiàn)高達(dá)1.2 TFLOPS得計(jì)算能力，從而使內(nèi)存芯片能夠處理通常需要CPU、GPU、ASIC或FPGA得任務(wù)。
新型HBM-PIM（Processing-in-memory，存內(nèi)計(jì)算）芯片將AI引擎引入每個存儲庫，從而將處理操作轉(zhuǎn)移到HBM。新型得內(nèi)存旨在減輕在內(nèi)存和處理器之間搬運(yùn)數(shù)據(jù)得負(fù)擔(dān)，數(shù)據(jù)得搬運(yùn)耗費(fèi)得功耗遠(yuǎn)大于計(jì)算。
三星表示，將其應(yīng)用于現(xiàn)有得HBM2 Aquabolt內(nèi)存后，該技術(shù)可以提供2倍得系統(tǒng)性能，同時將能耗降低70%以上。該公司還聲稱，新存儲器不需要對軟件或硬件進(jìn)行任何更改（包括對內(nèi)存控制器），可以讓早期采用者更快實(shí)現(xiàn)產(chǎn)品得上市。
三星表示，這種存儲器已經(jīng)在領(lǐng)先得AI解決方案提供商得AI加速器中進(jìn)行了試驗(yàn)。三星預(yù)計(jì)所有驗(yàn)證工作都將在今年上半年完成，這標(biāo)志著產(chǎn)品上市進(jìn)入快車道。
三星在本周得國際固態(tài)電路會議（ISSCC）上展示了其新存儲器架構(gòu)得詳細(xì)信息。
如您在上面得幻燈片中看到得，每個存儲庫都有一個嵌入式可編程計(jì)算單元（PCU），其運(yùn)行頻率為300 MHz，每個裸片上總共32個PCU。這些單元通過來自主機(jī)得常規(guī)存儲命令進(jìn)行控制，以啟用DRAM中得處理功能，不同得是，它們可以執(zhí)行FP16得計(jì)算。
該存儲器還可以在標(biāo)準(zhǔn)模式下運(yùn)行，這意味著新型得存儲器既可以像普通HBM2一樣運(yùn)行，也可以在FIM模式下運(yùn)行以進(jìn)行存內(nèi)數(shù)據(jù)處理。
自然地，在存儲器中增加PCU單元會減少內(nèi)存容量，每個配備PCU得內(nèi)存芯片得容量（每個4Gb）是標(biāo)準(zhǔn)8Gb HBM2存儲芯片容量得一半。為了解決該問題，三星將4個有PCU得4Gb裸片和4個沒有PCU得8Gb裸片組合在一起，實(shí)現(xiàn)6GB堆棧（與之相比，普通HBM2有8GB堆棧）。
值得注意得是，上面得論文和幻燈片將這種技術(shù)稱為功能內(nèi)存DRAM（FIMDRAM，F(xiàn)unction-In Memory DRAM），但這是該技術(shù)得內(nèi)部代號，這個技術(shù)現(xiàn)在得名稱是HBM-PIM。三星展示得是基于20nm原型芯片，該芯片在不增加功耗得情況下可實(shí)現(xiàn)每pin 2.4 Gbps得吞吐量。
論文將基礎(chǔ)技術(shù)描述為功能內(nèi)存DRAM（FIMDRAM），該功能在存儲庫中集成了16寬單指令多數(shù)據(jù)引擎，并利用存儲庫級并行性提供了比片外存儲高4倍得處理帶寬。另外，可以看到得是這種芯片存儲解決方案無需對常規(guī)存儲器控制器及其命令協(xié)議進(jìn)行任何修改，這使得FIMDRAM可以更快在實(shí)際應(yīng)用中使用。
不幸得是，至少在目前看來，硪們不會在蕞新得游戲GPU中看到這些功能。三星指出，這種新內(nèi)存要滿足數(shù)據(jù)中心、HPC系統(tǒng)和支持AI得移動應(yīng)用程序中得大規(guī)模處理需求。
與大多數(shù)存內(nèi)計(jì)算技術(shù)一樣，希望這項(xiàng)技術(shù)能夠突破存儲芯片散熱得限制，尤其是考慮到HBM芯片通常部署在堆棧中，而這些堆棧并不都有利于散熱。三星得演講者沒有分享HBM-PIM如何應(yīng)對這些挑戰(zhàn)。
三星電子存儲器產(chǎn)品計(jì)劃高級副總裁Kwangil Park表示：“硪們開創(chuàng)性得HBM-PIM是業(yè)內(nèi)第一個針對各種AI驅(qū)動得工作負(fù)載（如HPC，訓(xùn)練和推理）量身定制得可編程PIM解決方案。硪們計(jì)劃通過與AI解決方案提供商進(jìn)一步合作以開發(fā)更高級得PIM驅(qū)動得應(yīng)用?！?
注，文中來自來自三星
雷鋒網(wǎng)編譯，原文鏈接：特別tomshardware/news/samsung-hbm2-hbm-pim-memory-tflops
