AI浪潮襲來,百代OSS國(guó)產(chǎn)可信存儲(chǔ)為何堪當(dāng)大任

來源:實(shí)況網(wǎng)

AIGC浪潮的襲來,人們真正意識(shí)到AI給生產(chǎn)力帶來的巨大飛躍,AI大模型成為行業(yè)用戶重點(diǎn)關(guān)注的對(duì)象。

配圖11.png

但ChatGPT的成功,除了整合Transformer等多種人工智能技術(shù)之外,基礎(chǔ)設(shè)施的高效支撐也功不可沒:如何高效存儲(chǔ)與處理海量多元數(shù)據(jù),如何實(shí)現(xiàn)數(shù)據(jù)全生命周期的高效管理,如何為AI大模型選取合適的數(shù)據(jù)精度…

AI工作的負(fù)載不同于以往任何處理過的IT負(fù)載,具有全新的特點(diǎn),它面對(duì)的是海量的非結(jié)構(gòu)化數(shù)據(jù)集,需要極高的隨機(jī)訪問性能,極低延時(shí)以及大規(guī)模存儲(chǔ)容量。

盡管AI時(shí)刻在推動(dòng)存儲(chǔ)發(fā)展,但是想要進(jìn)一步激活存儲(chǔ)潛力,仍需要解決AI場(chǎng)景下,存儲(chǔ)容易面臨的挑戰(zhàn)。

那么AI對(duì)存儲(chǔ)提出了怎樣的挑戰(zhàn)?

海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

AI業(yè)務(wù)中除了個(gè)別業(yè)務(wù)場(chǎng)景主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析外(例如消費(fèi)記錄、交易記錄等風(fēng)險(xiǎn)控制、趨勢(shì)預(yù)測(cè)場(chǎng)景),大多數(shù)場(chǎng)景需要處理的是非結(jié)構(gòu)化數(shù)據(jù),例如圖像識(shí)別、語音識(shí)別、自動(dòng)駕駛等,這些場(chǎng)景通常使用的是深度學(xué)習(xí)的算法,必須依賴海量圖片、語音、視頻的輸入。

數(shù)據(jù)共享訪問,對(duì)數(shù)據(jù)訪問接口有一定要求

多個(gè)AI計(jì)算節(jié)點(diǎn)需要共享訪問數(shù)據(jù)。由于AI架構(gòu)需要使用到大規(guī)模的計(jì)算集群(GPU服務(wù)器),集群中的服務(wù)器訪問的數(shù)據(jù)來自一個(gè)統(tǒng)一的數(shù)據(jù)源,即一個(gè)共享的存儲(chǔ)空間。能實(shí)現(xiàn)共享訪問的通常有對(duì)象存儲(chǔ)和文件存儲(chǔ)。從AI應(yīng)用框架的角度看,文件接口是最友好的存儲(chǔ)訪問方式。

讀多寫少

AI數(shù)據(jù)特點(diǎn)是讀多寫少,要求高吞吐、低延時(shí)。深度學(xué)習(xí)過程訓(xùn)練中,需要對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練,以視覺識(shí)別為例,它需要加載數(shù)千萬張,甚至上億張圖片,針對(duì)圖片使用卷積神經(jīng)網(wǎng)絡(luò)、ResNet等算法,生成識(shí)別的模型。

完成一輪訓(xùn)練后,為了減少圖片輸入順序的相關(guān)性對(duì)訓(xùn)練結(jié)果帶來的影響,會(huì)將文件次序打亂之后,重新加載,訓(xùn)練多個(gè)輪次(每個(gè)輪次稱之為epoch)。這就意味著每個(gè)epoch都需要根據(jù)新的順序加載數(shù)千萬、上億張圖片。圖片的讀取速度,即延時(shí),對(duì)完成訓(xùn)練過程的時(shí)間長(zhǎng)短會(huì)造成很大影響。

“工欲善其事,必先利其器”,要想發(fā)揮出AI人工智能技術(shù)的最大威力,解決存儲(chǔ)挑戰(zhàn)就成為企業(yè)構(gòu)建強(qiáng)有力的IT基礎(chǔ)設(shè)施的重要一環(huán)。

有哪些數(shù)據(jù)存儲(chǔ)解決方案,能滿足以上AI大規(guī)模應(yīng)用的需求呢?

百代OSS國(guó)產(chǎn)新一代可信存儲(chǔ)系統(tǒng)——AI浪潮下的國(guó)產(chǎn)自主數(shù)據(jù)存儲(chǔ)解決方案

配圖22.png

百代公司的OSS可信存儲(chǔ)系統(tǒng)是一款具備完整知識(shí)產(chǎn)權(quán)且自主可控的國(guó)產(chǎn)數(shù)據(jù)存儲(chǔ)系統(tǒng),實(shí)現(xiàn)存儲(chǔ)+應(yīng)用的生態(tài)體系,包含存儲(chǔ)OS、移動(dòng)端、客戶端及服務(wù)。

百代OSS所具備的幾大特性非常契合AI應(yīng)用的綜合需求。

首先百代OSS采用大型系統(tǒng)小型化搭建思路,支持分布式融合存儲(chǔ),且具備高擴(kuò)展能力、高可靠性等優(yōu)勢(shì),可以完美應(yīng)對(duì)AI海量數(shù)據(jù)帶來的種種挑戰(zhàn)。

第一大特征多元融合

百代OSS分布式融合存儲(chǔ)第一個(gè)重要的特征就是多元融合,融入大數(shù)據(jù)協(xié)議,利用協(xié)議融合免去數(shù)據(jù)復(fù)制,讓數(shù)據(jù)處理的效率大幅提升,滿足AI應(yīng)用的處理需求。

第二大特征智能敏捷

雖然當(dāng)前數(shù)據(jù)量爆炸性的增長(zhǎng),但是被用來分析的數(shù)據(jù)量依然很小。相關(guān)數(shù)據(jù)顯示,已獲取數(shù)據(jù)的平均留存率僅為2%,大量數(shù)據(jù)從未被分析和利用,百代OSS分布式融合存儲(chǔ)能夠?qū)崟r(shí)、智能地處理數(shù)據(jù),滿足各種AI應(yīng)用帶來的性能需求。

第三大特征數(shù)據(jù)安全

隨著AI應(yīng)用走向普及,各種安全問題也隨之暴露,作為數(shù)據(jù)最后一道防線,百代OSS數(shù)據(jù)保護(hù)能力強(qiáng)大,多個(gè)備份目的地 包括本地或異地NAS、服務(wù)器、公有云、私有云等。

靈活排程,將備份任務(wù)計(jì)劃為每天或每周自動(dòng)啟動(dòng);適用云存儲(chǔ),選擇云存儲(chǔ)或云對(duì)象存儲(chǔ)作為備份目的地。

支持多系統(tǒng)平臺(tái)的備份尤其針對(duì)Windows;不僅支持文件備份及一鍵恢復(fù),還支持操作系統(tǒng)的備份與恢復(fù),且可靈活對(duì)每個(gè)備份節(jié)點(diǎn)進(jìn)行恢復(fù);私有云數(shù)據(jù)保護(hù)平臺(tái)通過連續(xù)主動(dòng)的數(shù)據(jù)備份,將重要數(shù)據(jù)備份至存儲(chǔ)。

第四大特征高性能、高規(guī)格、高性價(jià)比

采用更好的硬件配置和工業(yè)設(shè)計(jì),保證系統(tǒng)擁有良好抗震動(dòng)、散熱和設(shè)備穩(wěn)定性。從小核CPU到大核到分布式,為用戶不同的業(yè)務(wù)提供多樣化的硬件選擇。

合理的價(jià)格,高端的用料和做工,保證產(chǎn)品的高性價(jià)比。

完善、易用的 虛擬化工具,既有輕量的容器化應(yīng)用,也有完整的虛擬機(jī)體系,極大節(jié)約了用戶的硬件成本。充分利用百代OSS完善的存儲(chǔ)和網(wǎng)絡(luò)體系,存儲(chǔ)系統(tǒng)虛擬化輕松實(shí)現(xiàn)容器、host、本地網(wǎng)絡(luò)里設(shè)備和外網(wǎng)對(duì)內(nèi)網(wǎng)的訪問和互聯(lián)互通。

寫在最后

或許很難預(yù)測(cè)未來的存儲(chǔ)技術(shù)究竟是怎么樣的,但是我們可以肯定的是,未來AI將持續(xù)驅(qū)動(dòng)存儲(chǔ)發(fā)展。

我們希望百代OSS能夠提供關(guān)于AI業(yè)務(wù)對(duì)存儲(chǔ)實(shí)際需求的觀察和洞見,幫助客戶落地AI業(yè)務(wù),提供AI存儲(chǔ)產(chǎn)品的優(yōu)化方案。

標(biāo)簽:

推薦

財(cái)富更多》

動(dòng)態(tài)更多》

熱點(diǎn)