12月7日，AI創(chuàng)業(yè)公司燧原科技(Enflame)發(fā)布了第二代云端AI推理加速卡——“云燧i20”。

這是繼今年7月的云端AI訓(xùn)練加速卡“云燧T20”之后，燧原科技新一代針對(duì)云端推理場(chǎng)景的AI加速產(chǎn)品。

云燧i20最大亮點(diǎn)就是擁有迄今最大的AI加速卡存儲(chǔ)帶寬，通過(guò)HBM2e內(nèi)存達(dá)到了819GB/s，可為云端推理業(yè)務(wù)提供高吞吐、低延時(shí)的性能。

目前，以語(yǔ)音識(shí)別、圖片識(shí)別、視頻內(nèi)容分析為主的感知類(lèi)應(yīng)用，內(nèi)容推薦、欺詐交易攔截等決策類(lèi)應(yīng)用，在云端大部分都是以實(shí)時(shí)在線的方式提供服務(wù)，同時(shí)神經(jīng)網(wǎng)絡(luò)的參數(shù)越來(lái)越多，數(shù)據(jù)帶寬需求也越來(lái)越高，因此兼顧高帶寬、低延遲變得至關(guān)重要。

云燧i20搭載了新一代AI推理芯片“邃思”，基于第二代高性能計(jì)算核心和數(shù)據(jù)引擎，12nm工藝打造，通過(guò)架構(gòu)升級(jí)大大提高了單位面積的晶體管效率，算力可媲美7nm GPU，而且成本更低。

同時(shí)，全面支持FP32、TF32、FP16、BF16、INT8的計(jì)算精度，其中單精度FP32峰值算力32TFLOPS，單精度張量TF32峰值算力128TFLOPS，整型INT8峰值算力256TOPS，對(duì)比上代云燧i10浮點(diǎn)、整型算力分別提升到1.8倍、3.6倍。

搭配升級(jí)后的軟件棧“馭算TopsRider”，性能、開(kāi)發(fā)效率、模型覆蓋面都得到大幅提升。

通過(guò)引入通用高層圖優(yōu)化和大規(guī)模算子融合技術(shù)，釋放大容量片內(nèi)存儲(chǔ)和高帶寬存儲(chǔ)的利用率，模型平均性能提升3.5倍，硬件算力利用率平均提升2倍。

通過(guò)升級(jí)的編程模型以及算子自動(dòng)分片、自動(dòng)生成技術(shù)，自定義算子開(kāi)發(fā)效率翻倍，模型遷移成本大大降低。

此外，對(duì)動(dòng)態(tài)性的支持也大大增強(qiáng)，在檢測(cè)、語(yǔ)音識(shí)別、語(yǔ)義理解等場(chǎng)景更具競(jìng)爭(zhēng)力。

據(jù)介紹，燧原科技專(zhuān)注AI領(lǐng)域云端算力平臺(tái)，提供自主知識(shí)產(chǎn)權(quán)的高算力、高能效比、可編程的通用AI訓(xùn)練和推理產(chǎn)品，可廣泛應(yīng)用于云數(shù)據(jù)中心、超算中心、互聯(lián)網(wǎng)、金融、智慧城市等多個(gè)人工智能場(chǎng)景，已在互聯(lián)網(wǎng)、金融、政務(wù)等多家客戶的商業(yè)落地，并獲得認(rèn)可。