PlayStation 5 izrādās piemērota ne tikai videospēlēm. Neatkarīgam izstrādātājam izdevies pielāgot uzlauztu Sony konsoli mākslīgā intelekta darbināšanai, ar 27 miljardu parametru valodas modeli sasniedzot vairāk nekā 20 tokenus sekundē.

Projekts PS5LM Plus ļauj uzlauztā PlayStation 5 lokāli darbināt mākslīgā intelekta valodas modeļus, aprēķiniem izmantojot konsoles grafisko procesoru. Lietotājs ar modeli var sazināties bez ārēja mākoņpakalpojuma — gan pašā konsolē, gan no citas ierīces lokālajā tīklā.

Jāuzsver, ka veiktspējas rezultātus publicējis pats projekta izstrādātājs. Tie nav neatkarīgas testēšanas laboratorijas mērījumi.

No spēļu konsoles līdz AI serverim

PS5LM Plus radies kā Merta Cobanova sākotnējā PS5LM projekta atzars. Sākotnējā risinājumā valodas modeļi darbojās ar konsoles centrālo procesoru, kas būtiski ierobežoja ātrdarbību.

Jaunajā versijā izmantots Vulkan aprēķinu risinājums un pielāgoti grafiskie draiveri, lai darbā iesaistītu PlayStation 5 grafisko procesoru. Projekta dokumentācijā norādīts, ka vietējai lietotnei ir pieejami aptuveni 12 GiB tiešās atmiņas un GPU, kamēr iepriekšējam CPU risinājumam bija pieejami aptuveni 6 GiB atmiņas bez GPU.

Atšķirība ir iespaidīga: 27 miljardu parametru modelis, kas ar CPU un datu ielādi no diska ģenerēja aptuveni vienu tokenu minūtē, GPU režīmā sasniedza vairāk nekā 20 tokenus sekundē.

Tokens ir neliela teksta vienība, ko AI modelis apstrādā vai ģenerē. Jo lielāks ģenerēšanas ātrums, jo raitāk modelis parasti spēj veidot atbildes.

Kādu veiktspēju izdevās sasniegt?

Rezultāti iegūti projekta autora testos un nav neatkarīgi laboratoriski mērījumi.

Lielākie Qwen modeļi izmanto kvantizāciju — paņēmienu, kas samazina modeļa atmiņas patēriņu, ļaujot to darbināt uz ierobežotākas aparatūras. PlayStation 5 gadījumā tas ir īpaši svarīgi, jo vienotā GDDR6 atmiņa jāizmanto gan sistēmai, gan grafiskajam procesoram.

AI var izmantot arī no cita datora

Viena no interesantākajām PS5LM Plus iespējām ir AI servera funkcionalitāte. Konsolē darbojas llama.cpp serveris, kuram var pieslēgties citas ierīces tajā pašā lokālajā tīklā. Modelis darbojas PlayStation 5, bet lietotājs tam piekļūst, piemēram, datora vai tālruņa pārlūkprogrammā.

Pieejama arī ar OpenAI un Anthropic formātiem saderīga API saskarne. Projekta autors norāda, ka ar konsolē darbināto modeli iespējams savienot tādus izstrādes rīkus kā Codex, Claude Code, aider un opencode.

Tādējādi PlayStation 5 teorētiski var kalpot kā neliels lokāls mākslīgā intelekta serveris, nevis tikai spēļu konsole.

Vai jebkurš PlayStation 5 īpašnieks to var izmēģināt?

Pagaidām risinājums nav paredzēts parastai, nemodificētai PlayStation 5 konsolei. PS5LM Plus darbībai nepieciešama uzlauzta konsole un vairāki papildu neoficiālās programmatūras komponenti.

Tas nozīmē, ka projekts pašlaik vairāk ir eksperiments tehnoloģiju entuziastiem un izstrādātājiem, nevis gatavs produkts ikdienas lietotājam. Jārēķinās arī ar drošības un stabilitātes riskiem, kā arī iespējamu ražotāja garantijas un pakalpojumu noteikumu pārkāpumu.

Vai spēļu konsoles aizstās AI datorus?

PS5LM Plus parāda, ka modernas spēļu konsoles aparatūru iespējams izmantot daudz plašāk, nekā sākotnēji paredzēts. PlayStation 5 grafiskais procesors un ātrā vienotā GDDR6 atmiņa spēj veikt arī valodas modeļiem nepieciešamos aprēķinus.

Tomēr rezultāti nenozīmē, ka konsole var aizstāt specializētu AI darbstaciju. Atmiņas ierobežojumi, modeļu kvantizācija un nepieciešamība izmantot neoficiālu programmatūru joprojām ir būtiski šķēršļi.

Vienlaikus eksperiments apliecina, ka lokāliem AI izmēģinājumiem ne vienmēr nepieciešama dārga un specializēta sistēma — reizēm pietiek radoši izmantot jau pieejamu aparatūru.

Avoti

• PS5LM Plus — oficiālais GitHub projekts
• PS5LM — Merta Cobanova sākotnējais projekts
• Tom’s Hardware — Jailbroken PS5s can now run local AI models

avots: GitHub: https://github.com/abhi245y/PS5LM-Plus