PenaSäätiöiden AI kokeilut

Koska en ole vielä saneerannut PenaPalstaa, ei sinne voi luoda ketjua aiheesta, joten käytetään sitten tätä. Olemme nykyään niin vitun kermaperseitä, ettei sisällön tuottaminen onnistu kuin valmiiseen textboxiin :$

RTX 3090 kortteja otetaan hiljalleen käyttöön

Ostin tonnilla muutama viikko sitten kaksi (2) RTX 3090 ohjainta vailla tarkempia suunnitelmia. Mutta syy miksi halusin juuri 3090 on niissä piilevä 24 GB VRAMin määrä. Kortit on aikoja sitten lopettaneesta ETH louhimosta ja 500 euroa kappaleelta on mielestämme kohtuullinen hinta jos niitä poistetaan 2 kerrallaan. Olen sivusilmällä seurannut Toria koko kesän ja 3090 pyörii edelleen siinä 700-800 kieppeillä kappale. On myös muistettava, että pelaajien jäljiltä kortit ovat saanneet enemmän rääkkiä, tukkeutuneet pölystä ja puhaltimet huonompikuntoisia kuin louhimosta.

Emme myöskään usko, että lähitulevaisuudessa nähdään kuluttajapuolella yli 24 kortteja.
Tähän tarkoitukseen valmistetut kortit taas maksaa monin kertaisesti eikä niitä voi käyttää toiminnan loputtua mihinkään muuhun. RTX3090 pitää vielä pitkään pintansa näytönohjaimen parhaimmiston kärkisijoilla. Ja AI veijareille saman suorituskyvyn tarjoaa LLM-malleja käyttäessä VRAM, GPUn teholla ei tunnu olevan mitään merkitystä, ainoastaan sillä paljonko saadaan mallista VRAMille. Tekemiemme kokeiden mukaan RTX3090 ottaa n. 120 Watin tehon, kun VRAMilla oli 22 GB edestä tavaraa, joka on alle puolet mallin koosta.

nvidia-smi, testikoulutus

Siirsin molemmat kortit käyttökoneelle. Oletus TDP on 370 W mutta nvidia-smi:n suosiollisella avustuksella saadaan ottotehoa rajoitettua käyttämällä lippua -pl

Hirvittää siirtää melkein 800 watin teho 3x PCI-E liittimestä, joten tosi hyvä juttu tuo power limit. Ilman aiempaa louhintaharrastusta ei tästäkään olisi mitään tiennyt. Ostin näitä varten 1350 W powerin, kun se sattui olemaan "tarjouksessa" jimmssissä. 170 jotain oli hinta.
Mutta tuo tukee myös ATX3.0 standardia, pitäisi saada liitin jolla siitä 12VH liittimestä saadaan 8x PCI-E liittimiä.

Testasin myös ensin ajaa kortteja Risereillä ja ne toimivat niin aivan yhtä hyvin, joten AI-kehittelyyn ei tarvitse hankkia emolevyä johon käy kortteja paljon, vaan ohjaimet voidaan kiinnittää 1x PCI-E väylään adaptereilla.

Meillä on nyt sitten 48 GB VRAMia käytössä. llamacpp on pudottanut pois training/fine-tuning ominaisuudet, joten täytyi alentua palaamaan tuohon vitun pythonin maailmaan. En oletoistaiseksi keksinyt miten LLaMaFacTOR saadaan jakamaan data keskusmuistin ja VRAMin välillä, joka llamacpp:ssä oli aivan itsestäänselvyys.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.03              Driver Version: 560.35.03      CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3090        On  |   00000000:01:00.0 Off |                  N/A |
| 44%   69C    P2            193W /  200W |   18312MiB /  24576MiB |     25%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+-----------------------+----------------------+
|   1  NVIDIA GeForce RTX 3090        On  |   00000000:02:00.0 Off |                  N/A |
| 32%   58C    P2            170W /  200W |   20589MiB /  24576MiB |     31%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

Tekoälyn opettaminen pörssisähkön hinnan mukaan

Heti kortit saatuani aloin mielessäni pyöritellä ajatusta kuinka pitkiä (kuukauden/sien) ajoja voidaan optimoida edullisemmaksi. Sähkölaskussa tuntuu huudattaa high-end näytönohjaimia 24/7, mutta jos seurausimme sähkön pörssihintaa, voitaisiin lennosta heittää kalleimmille tunneille alhaisempi powerlimit.