[Kina, Shenzhen, 14. juli 2023] I dag afslørede Huawei sin nye AI-lagringsløsning til æraen med storskalamodeller, der leverer optimale lagringsløsninger til grundlæggende modeltræning, branchespecifik modeltræning og inferens i segmenterede scenarier, således frigøre nye AI-egenskaber.
I udviklingen og implementeringen af store modelapplikationer står virksomheder over for fire store udfordringer:
For det første er den tid, der kræves til dataforberedelse, lang, datakilderne er spredte, og aggregeringen er langsom, hvilket tager omkring 10 dage at forbehandle hundredvis af terabyte data. For det andet, for multimodale store modeller med massive tekst- og billeddatasæt, er den aktuelle indlæsningshastighed for store små filer mindre end 100 MB/s, hvilket resulterer i lav effektivitet for indlæsning af træningssæt. For det tredje forårsager hyppige parameterjusteringer for store modeller, sammen med ustabile træningsplatforme, træningsafbrydelser cirka hver anden dag, hvilket nødvendiggør, at Checkpoint-mekanismen genoptager træningen, og restitutionen tager over en dag. Endelig høje implementeringstærskler for store modeller, kompleks systemopsætning, ressourceplanlægningsudfordringer og GPU-ressourceudnyttelse ofte under 40 %.
Huawei tilpasser sig trenden med AI-udvikling i æraen med storskalamodeller og tilbyder løsninger skræddersyet til forskellige industrier og scenarier. Den introducerer OceanStor A310 Deep Learning Data Lake Storage og FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage er rettet mod både grundlæggende og industri-niveau store model data sø scenarier og opnår omfattende AI data management fra data aggregering, forbehandling til model træning og inferens applikationer. OceanStor A310, i et enkelt 5U-rack, understøtter brancheførende 400 GB/s båndbredde og op til 12 millioner IOPS, med lineær skalerbarhed op til 4096 noder, hvilket muliggør problemfri kommunikation på tværs af protokoller. Global File System (GFS) letter intelligent datavævning på tværs af regioner og strømliner dataaggregeringsprocesser. Near-storage computing realiserer nær-data-forbehandling, hvilket reducerer databevægelser og forbedrer forbehandlingseffektiviteten med 30 %.
FusionCube A3000 Training/Inference Super-Converged Appliance, designet til industri-niveau store model træning/inferens scenarier, henvender sig til applikationer, der involverer modeller med milliarder af parametre. Den integrerer OceanStor A300 højtydende lagringsknuder, trænings-/inferensnoder, switching-udstyr, AI-platformsoftware og administrations- og driftssoftware, hvilket giver partnere med store modeller en plug-and-play-udrulningsoplevelse til en one-stop-levering. Klar til brug, den kan implementeres inden for 2 timer. Både trænings-/inferens- og lagernoder kan udvides uafhængigt og horisontalt for at matche forskellige modelskalakrav. I mellemtiden bruger FusionCube A3000 højtydende containere til at muliggøre træning af flere modeller og slutningsopgaver til at dele GPU'er, hvilket øger ressourceudnyttelsen fra 40 % til over 70 %. FusionCube A3000 understøtter to fleksible forretningsmodeller: Huawei Ascend One-Stop Solution og tredjepartspartnerens one-stop-løsning med åben computer-, netværks- og AI-platformsoftware.
Huaweis præsident for Data Storage Product Line, Zhou Yuefeng, udtalte: "I æraen med storskalamodeller bestemmer data højden af AI-intelligens. Som databærer bliver datalagring den vigtigste grundlæggende infrastruktur for AI-modeller i stor skala. Huawei Data Storage vil fortsætte med at innovere og levere diversificerede løsninger og produkter til æraen med store AI-modeller og samarbejde med partnere for at fremme AI-bemyndigelse på tværs af en bred vifte af industrier."
Indlægstid: Aug-01-2023
