PenaSäätiöiden AI kokeilut

Koska en ole vielä saneerannut PenaPalstaa, ei sinne voi luoda ketjua aiheesta, joten käytetään sitten tätä. Olemme nykyään niin vitun kermaperseitä, ettei sisällön tuottaminen onnistu kuin valmiiseen textboxiin :$

RTX 3090 kortteja otetaan hiljalleen käyttöön

Ostin tonnilla muutama viikko sitten kaksi (2) RTX 3090 ohjainta vailla tarkempia suunnitelmia. Mutta syy miksi halusin juuri 3090 on niissä piilevä 24 GB VRAMin määrä. Kortit on aikoja sitten lopettaneesta ETH louhimosta ja 500 euroa kappaleelta on mielestämme kohtuullinen hinta jos niitä poistetaan 2 kerrallaan. Olen sivusilmällä seurannut Toria koko kesän ja 3090 pyörii edelleen siinä 700-800 kieppeillä kappale. On myös muistettava, että pelaajien jäljiltä kortit ovat saanneet enemmän rääkkiä, tukkeutuneet pölystä ja puhaltimet huonompikuntoisia kuin louhimosta.

Emme myöskään usko, että lähitulevaisuudessa nähdään kuluttajapuolella yli 24 kortteja.
Tähän tarkoitukseen valmistetut kortit taas maksaa monin kertaisesti eikä niitä voi käyttää toiminnan loputtua mihinkään muuhun. RTX3090 pitää vielä pitkään pintansa näytönohjaimen parhaimmiston kärkisijoilla. Ja AI veijareille saman suorituskyvyn tarjoaa LLM-malleja käyttäessä VRAM, GPUn teholla ei tunnu olevan mitään merkitystä, ainoastaan sillä paljonko saadaan mallista VRAMille. Tekemiemme kokeiden mukaan RTX3090 ottaa n. 120 Watin tehon, kun VRAMilla oli 22 GB edestä tavaraa, joka on alle puolet mallin koosta.

RTX 3060

Myös RTX 3060 on varteenotettava vaihtoehto 12 GB muistimäärällään, kun niitä saa tosiaan Risereillä kiinni emolevyyn vaikka kuinka paljon. Siitä en ole varma kuinka splittereiden kanssa ne toimii, eli yhdestä PCI-E x1 voidaan splitata paikka 4 näytönohjaimelle. ETH louhinnassa tuo ainakin toimi, en oikein keksi miksei se toimisi kielimallienkin kanssa koska ohjaimet näkyvät kuitenkin ihan normaaleina GPU-laitteina. Toki väylänopeus on hidas, mutta eihän se haittaa jos mallia pyöritetään kokonaan VRAMilla.

Tätä vaihtoehtoa en ajatellut kun hommasin RTX 3090 mutta silti 3090 oli parmpi ostos: 3090, 500 eur, 24 GB vs 3060, 250 eur, 12 GB.
HOXHOX! Muista ostaessasi 3060 malleja varmistaa, etteivät ne ole parempia Ti-malleja, koska niissä on vain 8 GB muistia!

nvidia-smi, testikoulutus

Siirsin molemmat kortit käyttökoneelle. Oletus TDP on 370 W mutta nvidia-smi:n suosiollisella avustuksella saadaan ottotehoa rajoitettua käyttämällä lippua -pl

Hirvittää siirtää melkein 800 watin teho 3x PCI-E liittimestä, joten tosi hyvä juttu tuo power limit. Ilman aiempaa louhintaharrastusta ei tästäkään olisi mitään tiennyt. Ostin näitä varten 1350 W powerin, kun se sattui olemaan "tarjouksessa" jimmssissä. 170 jotain oli hinta.
Mutta tuo tukee myös ATX3.0 standardia, pitäisi saada liitin jolla siitä 12VH liittimestä saadaan 8x PCI-E liittimiä.

Testasin myös ensin ajaa kortteja Risereillä ja ne toimivat niin aivan yhtä hyvin, joten AI-kehittelyyn ei tarvitse hankkia emolevyä johon käy kortteja paljon, vaan ohjaimet voidaan kiinnittää 1x PCI-E väylään adaptereilla.

Meillä on nyt sitten 48 GB VRAMia käytössä. llamacpp on pudottanut pois training/fine-tuning ominaisuudet, joten täytyi alentua palaamaan tuohon vitun pythonin maailmaan. En oletoistaiseksi keksinyt miten LLaMaFacTOR saadaan jakamaan data keskusmuistin ja VRAMin välillä, joka llamacpp:ssä oli aivan itsestäänselvyys.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.03              Driver Version: 560.35.03      CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3090        On  |   00000000:01:00.0 Off |                  N/A |
| 44%   69C    P2            193W /  200W |   18312MiB /  24576MiB |     25%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+-----------------------+----------------------+
|   1  NVIDIA GeForce RTX 3090        On  |   00000000:02:00.0 Off |                  N/A |
| 32%   58C    P2            170W /  200W |   20589MiB /  24576MiB |     31%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

Tekoälyn opettaminen pörssisähkön hinnan mukaan

Heti kortit saatuani aloin mielessäni pyöritellä ajatusta kuinka pitkiä (kuukauden/sien) ajoja voidaan optimoida edullisemmaksi. Sähkölaskussa tuntuu huudattaa high-end näytönohjaimia 24/7, mutta jos seuraisimme sähkön pörssihintaa, voitaisiin lennosta heittää kalleimmille tunneille alhaisempi powerlimit.
Testieni mukaan power-limitin alentaminen vaikuttaa ainoastaan hidastavasti suoritukseen. Saman muistan myös ETH:n louhinnasta, kelloihin tai jännitteisiin ei tarvitse koskea.

Kielimallin kouluttaminen pulautteilla

Tästä lähdemme liikkeelle, mutta en ole vielä varma toteutustapaa. Varmaan joku TurkuNLP:n hiomaton timantti voisi olla hyvä aihio.

Oma aineisto

Pitänee tehdä mekanismi joka putkauttaa opetusmateriaalin savukehinnastosta, osoitetietokannasta, pulautteista ja Universaaleista kommenteista sopivassa muodossa. Sitä muotoa en ole osannut vielä päättää, generoin pulautteet vaan nopeasti "johonkin" tietynlaiseen json-formaattiin.

Muita ideoita

• Kaikki PenaSäätiöiden materiaali opetusaineistona
  • Vittuileva asiakaspalvelu
  • Antisemitistinen asiakaspalvelija
• Wikipedian kahvihuone. En ole varma onko valmiissa "wikipedia dataseteissä" kahvihuoneen keskusteluja mukana. Jos kiinnostaa, niin siellä on aivan valtavia draamoja välillä. Draamakuninkaat ja kuningattaret huutavat toisilleen ja hännystelijät molemmilta puolilta rientää latelemaan syyttäviä tai puolustavia argumentteja. Itkupotkuraivareita, akateemista vittuilua, uraansa aloittelevia narsisteja ja diagnosoimattomia sosiopaatteja korostamassa omaa tietämystään. Yksilöitä, joilla ei ole tosielämässä auktoriteettia, niin wikipediassa voi päteä. Siis kahvihuone + artikkelien keskustelut. Nämä on saatavilla wikipedian koko historian sisältävällä dumpilla.

Valtionhallinnon aineisto

• Voitaisiin ladata massana valtionhallinnon pdf-dokumentteja ja generoida ne tekstiksi, jotain tarkotusta varten.
• Botti keräämään talteen jokaisen kaupungin esityslistat ja pöytäkirjat (On kyl mahdoton homma, ellei niitä nykyään saa jostain keskitetysti)
  • Asiat, joita yritetään piilotella julkaisemalla pöytäkirjat kuvina eikä tekstinä, voidaan OCR-tekniikalla palauttaa tekstiksi.

Data-analytiikka tekoälyllä

• Wikipedian muokkaushistoriasta voi olla mahdollista löytää käyttäjiä/osoitteita, jotka lobbaavat omaa agendaansa tai manipuloivat säännöllisesti artikkeleita omaksi edukseen. Esim. vaikka Kemira Oyj joskus muinoin
  • Käyttäytymisen analysoinnin avulla voi varmasti löytää myös altterit.
  • Mitään pienintäkään hajua miten tuommoista lähtisi toteuttamaan ei ole, mutta ehkä tulevaisuudessa.
• Julkisten ostolaskujen analysointi ja toistuvien kuppausten etsiminen.
• Botti keräämään asuntojen.hintatiedot.fi data talteen.
  • Toki tilastokeskus tarjoaa myös kauppahintoja, mutta tuolta saa yksittäiset kaupat jos ne on tehty ns. välittäjän avustuksella.

Toteutettuja hankkeita

• http://penasaatiot.org/ai/chat.php?propt Hiomattomalla mallilla generoituja uutisia ja keskusteluja
• http://penasaatiot.org/ai/neuvottelut/ Kielimalli neuvottelemassa itsensä kanssa
• http://penasaatiot.org/ai/pprod.php Pulautteisiin tehty vastausajo
  • Vastauksissa on useita "layereita", joihin olen ajanut eri asetuksilla eri roolin vastauksia, mutta kuitenkin sen verran huonolla menestyksellä, ettei layereita näytetä.