PenaSäätiöiden AI kokeilut
Koska en ole vielä saneerannut PenaPalstaa, ei sinne voi luoda ketjua aiheesta, joten käytetään sitten tätä. Olemme nykyään niin vitun kermaperseitä, ettei sisällön tuottaminen onnistu kuin valmiiseen textboxiin :$
RTX 3090 kortteja otetaan hiljalleen käyttöön
Ostin tonnilla muutama viikko sitten kaksi (2) RTX 3090 ohjainta vailla tarkempia suunnitelmia. Mutta syy miksi halusin juuri 3090 on niissä piilevä 24 GB VRAMin määrä. Kortit on aikoja sitten lopettaneesta ETH louhimosta ja 500 euroa kappaleelta on mielestämme kohtuullinen hinta jos niitä poistetaan 2 kerrallaan. Olen sivusilmällä seurannut Toria koko kesän ja 3090 pyörii edelleen siinä 700-800 kieppeillä kappale. On myös muistettava, että pelaajien jäljiltä kortit ovat saanneet enemmän rääkkiä, tukkeutuneet pölystä ja puhaltimet huonompikuntoisia kuin louhimosta.
Emme myöskään usko, että lähitulevaisuudessa nähdään kuluttajapuolella yli 24 kortteja.
Tähän tarkoitukseen valmistetut kortit taas maksaa monin kertaisesti eikä niitä voi käyttää toiminnan loputtua mihinkään muuhun. RTX3090 pitää vielä pitkään pintansa näytönohjaimen parhaimmiston kärkisijoilla. Ja AI viejareille saman suorituskyvyn tarjoaa LLM-malleja käyttäessä VRAM, GPUn teholla ei tunnu olevan mitään merkitystä, ainoastaan sillä paljonko saadaan mallista VRAMille. Tekemiemme kokeiden mukaan RTX3090 ottaa n. 120 Watin tehon, kun VRAMilla oli 22 GB edestä tavaraa, joka on alle puolet mallin koosta.
nvidia-smi
Levossa teho on tuota luokkaa.
Sat Aug 24 22:11:11 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.03 Driver Version: 560.35.03 CUDA Version: 12.6 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 3090 On | 00000000:01:00.0 Off | N/A |
| 0% 42C P8 26W / 370W | 2MiB / 24576MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+