Deep learning network ja koneäly

[sivustahuutaja]

^ Ei mahdu edes Cybertruckiin edes puolia tuosta.

[James Potkukelkka]

Se on just se nerous, että asiakas joutuu ostamaan peräkärryn, johon tuo laitetaan!

[sivustahuutaja]

^ Ehkä toi eka versio on tarkoitettu Tesla Semiin? Kelpaa jaella autonomisesti aamupostia.

[James Potkukelkka]

Olen aika varma, että vitsailet, mutta siltä varalta että et, niin noissa hermoverkoissahan se koulutus vaatii monta kertaluokkaa enemmän laskentakapasiteettia, kuin valmiin mallin ajaminen. Eli tuolla voidaan luoda hermoverkko, joka sitten mahtuu autossa olevaan tietokoneeseen.

[sivustahuutaja]

^
Just tostahan kyselin ennen vitsailua. Kun en tiedä, kuinka pieneksi laskentatehon tarve koulutuksella saadaan. Yhdenkin H100:sen laskentateho ja hinta olisi aika paljon autoon sijoitettuna.

[James Potkukelkka]

Kysymys meni ohi.

Tesla ei ole varmaankaan ole julkisesti kertonut, onko tällä uudella Cortexilla luotava malli tarkoitus saada mahtumaan nykyisiin autopilot tietokoneisiin. Uskoisin, että kyllä on, koska muuten Tesla olisi ongelmissa, koska se on myynyt autonomiaa nykyisille omistajille.

[James Potkukelkka]

Nyt vasta hokasin, että koska Teslalta on tulossa Robotaxi, niin on toki mahdollista, että Cortexilla luodaan malli, joka mahtuu Robotaxiin, mutta ei vanhempiin Tesloihin.

[James Potkukelkka]

Nvidian H100 ja AMD:n MI300X saman tehoisia. Silti H100 maksaa 30-40t ja AMD:n siru 15t. Ja kaikki silti haluavat Nvidian sirun, koska CUDA. Lopputuloksena Nvidian markkina-arvo yli 10 kertainen.

Tietysti tässä kohtaa tulee heti mieleen, olisiko AMD:n mahdollista parantaa asemiaan. Vähän lueskelin asiasta ja ainakin tällä hetkellä CUDA on niin paljon ROCm:ää parempi, että kaikki haluavat Nvidian.

[sivustahuutaja]

Chat GPT vastasi siihen, kumpi on pohjoisempana, Helsinki vai Anchorage:

Helsinki is farther north than Anchorage. To determine the difference in their latitudes and convert that to a distance in kilometers:

Helsinki, Finland is located at approximately 60.1699° N latitude.
Anchorage, Alaska is located at approximately 61.2181° N latitude.
To find out which is farther north:

Anchorage: 61.2181° N
Helsinki: 60.1699° N
Since Anchorage has a higher latitude, Anchorage is actually farther north than Helsinki.

Chat-GPT siis vastasi laittaen sanoja mielestään hyvään järjestykseen. Vastaus sisältää kaksi keskenään ristiriitaista faktaa, mutta Chat-GPT ei ymmärrä tuota.

[nokkaelain]

^Töissä suositellaan, että ChatGPT:tä käytettäisiin mahdollisimman paljon. Yhteenkin ongelmaan se yhdisteli "tietämistään" asioista ratkaisua, joka ei toiminut ollenkaan. Hukkasin paljon työaikaa testaamalla, kun tuli plautetta, että tee näin. Nykyisessä ChatGPT:ssä on ongelma, että se keksii aina vastauksen vaikka sitä ei olisi lähdemateriaalissa, eikä voi tietää perustuuko se johonkin todella kokeiltuun. Uskottavan näköistä tekstiä tulee kyllä paljon. (Em. ongelmassa riitti lopulta kun poistin koodista yhden rivin, kun ymmärsin, mistä on kyse.)

Moneen asiaan se kuitenkin antaa selkeän suoran vastauksen vrt. että googlella yrittäisi keksiä hakusanat. Ja esim. Copilot on ihan loistava tekmään vaikka testejä koodiin tai miksei ihan muihinkin asioihin. Ylipäätään apinahommalta voisi välttyä jos osaisi käyttää hyvin.

[James Potkukelkka]

^Töissä suositellaan, että ChatGPT:tä käytettäisiin mahdollisimman paljon.

Aika loukkaavaa. Työntaja pitää siis teitä koiria tyhmempinä.

Generatiivinen tekoäly tuottaa mukavalta näyttävää sanasalaattia, mutta en luottaisi mihinkään sen antamaan vastaukseen tarkistamatta.

[sivustahuutaja]

Tutkimus: Lukijat pitivät tekoälyn runoista enemmän kuin oikeiden runoilijoiden klassikoista
https://www.hs.fi/kulttuuri/art-2000010842840.html

Tavikset eivät taida runoja ostaa, joten ei taida tämä vaikuttaa runoilijoihin. Olettaen, että "oikea" runous on maksavien asiakkaiden mielestä parempaa kuin tekoälyllä tehty.

Nuorempana tää ois ollut kova. Kitaraa kun pitää osata soittaa, mutta kukaan ei odota runoilijan tekevän sitä runoa livenä.

[Bhven]

Nuorempana tää ois ollut kova. Kitaraa kun pitää osata soittaa, mutta kukaan ei odota runoilijan tekevän sitä runoa livenä.

Nuorison runoutta kutsutaan rap-musiikiksi. Tokihan teroäly hoitaa myös musiikin säveltämisen, mutta sitten pitäisi vielä itse kavuta lauteille esittämään.

[James Potkukelkka]

Nuorempana tää ois ollut kova. Kitaraa kun pitää osata soittaa, mutta kukaan ei odota runoilijan tekevän sitä runoa livenä.

Nuorison runoutta kutsutaan rap-musiikiksi. Tokihan teroäly hoitaa myös musiikin säveltämisen, mutta sitten pitäisi vielä itse kavuta lauteille esittämään.

Kenkkälankkia naamaan niin siitä se lähtee.

[Bluntly]

Melko kuumana kävi kone jo tuonkin mallin laskemisen kanssa.

Rplot01.jpeg

Harmi kun Rstudiossa on vähän isompi homma pistää GPU töihin.

[James Potkukelkka]

Tähän asti AI-firmat ovat käyttäneet käsittämättömät määrät rahaa yhä uusien isompien suoritinkeskusten rakentamiseen ja keskusten hinnat ovat miljardiluokassa. Tämä on onnistunut, koska tähän saakka on nähty, että mitä isompi malli (ja enemmän suoritintehoa sen kouluttamiseen), sitä parempi lopputulos. Tuloksena nVidian arvo noussut tähtitieteelliseksi.

Nyt alkaa kuitenkin näkyä merkkejä, että pelkkä brute force -taktiikka ei enää tuota lisätulosta. Tämähän on tietysti nVidialle katastrofi, jos osoittautuu todeksi.

[Bluntly]

Tämä on onnistunut, koska tähän saakka on nähty, että mitä isompi malli (ja enemmän suoritintehoa sen kouluttamiseen), sitä parempi lopputulos. Tuloksena nVidian arvo noussut tähtitieteelliseksi.

Ei. Hyvin nopeasti mennään ylikoulutuksen puolelle. Esimerkiksi tuossa mun jutussa kahdella layerillä tulos oli parempi kuin kuvan kolmella, eikä nodejen lisääminen auttanut. Pistän taulukon kun pääsen himaan.

Aikaa kyllä säästetään pirusti pienemmälläkin mallilla kun dataa on pirusti jos on vääntöä. Tuossa oli lähdedataa ~10000 riviä ja 7 data-alkiota, mallin teko kesti kuvan setillä jotain 16 minuuttia. Jos olisi saanut GPUn käyttöön niin tuskin olisi minuuttia mennyt, mutta pirun vaikeaa Rssä. Tai jos olisi sijoittanut muutaman kympin TPUn niin olisi puhuttu sekunneista.

[James Potkukelkka]

Tämä on onnistunut, koska tähän saakka on nähty, että mitä isompi malli (ja enemmän suoritintehoa sen kouluttamiseen), sitä parempi lopputulos. Tuloksena nVidian arvo noussut tähtitieteelliseksi.

Ei. Hyvin nopeasti mennään ylikoulutuksen puolelle.

Joo. Jokaisella mallilla on plateu, jonka jälkeen lisäkoulutus ei juuri paranna tulosta. Tarkoitin sitä, että tähän asti yhä isommalla mallilla on saatu aiempaa parempia tuloksia. Puhun nyt state of the art malleista.

Nyt alkaa tulla raja vastaan mallin kasvattamisen hyödystä.

https://sherwood.news/tech/openai-model ... o-plateau/

[James Potkukelkka]

https://edition.cnn.com/2024/11/19/busi ... index.html

Now, some of the leading language models appear to be hitting a wall, according to at least three reports last week

Whether it’s a wall or a mountain or a plateau or whatever you want to call it, even AI bulls say it’s possible we’ve reached a turning point just based on the products that have been released.

“The economics are likely to be grim,” Marcus wrote earlier this month on his Substack. “LLMs will not disappear, even if improvements diminish, but the economics will likely never make sense… When everyone realizes this, the financial bubble may burst quickly; even Nvidia might take a hit, when people realize the extent to which its valuation was based on a false premise.

Huomioiden, että huomattava osa pörssin yhteenlasketusta market cap kasvusta perustuu muutaman hype AI-firman kasvuun, tuo saattaa iskeä kovaa..

[James Potkukelkka]

On siis ajateltu, että rakennetaan riittävän iso malli, heitetään sisään riittävästi koulutusdataa ja laskentatehoa ja lopputuloksena on Jumala. Kun Jumala on palkintona, mikään investointi ei ole liian kallis ja ensimmäisenä maaliin tullut saa palkinnoksi maailman.

JOs ei saadakaan Jumalaa, vaan käytännössä samantasoinen lopputulos kuin aiemminkin, alkaa miljardien investointi äkkiä näyttääkin hyvin kalliilta.