Deep learning network ja koneäly

[sivustahuutaja]

^ Typeriä mandaatteja. Ei sillä pitäisi olla väliä, millä tekniikalla päästöjä vähennetään. Annetaan markkinan toimia ja valita tehokkaimmat ratkaisut.

[James Potkukelkka]

^ Typeriä mandaatteja. Ei sillä pitäisi olla väliä, millä tekniikalla päästöjä vähennetään. Annetaan markkinan toimia ja valita tehokkaimmat ratkaisut.

Joo.

[James Potkukelkka]

Chat Gpt 5 on ulkona. Aikaa kului 2 vuotta ja hinta arviolta n 1 miljardi.

Tulokset ovat hiukan aiempaa parempia, mutta ei mitään tasohyppyä. Veikkaan tämän olevan paha isku tekoälyinvestoinnille. Miksi laittaa miljardi, jotta saa hiukan paremman mallin kuin aiemmin?

[James Potkukelkka]

Kysyin 5:n mielipidettä


Aikaa kului kaksi vuotta ja hinta noin miljardin. Onko raja tullut vastaan? Kannattaako lisäpanostus ilman teknistä läpimurtoa?

Jos tarkastellaan GPT-5:n kahden vuoden kehitysaikaa ja arviolta miljardiluokan kustannusta, voidaan sanoa, että ollaan lähellä ns. skaalausrajaa nykyisellä lähestymistavalla:

⸻

1. Raja tulee vastaan kolmesta syystä
1. Kustannusten kasvu ei skaalaudu lineaarisesti suorituskyvyn kanssa
– Laskenta- ja energiakustannukset kasvavat lähes eksponentiaalisesti, mutta mallien laadunparannus on marginaalista, jos arkkitehtuuri pysyy samana.
2. Datan saatavuus alkaa loppua
– Lähes kaikki korkealaatuinen julkinen teksti on jo käytetty, joten lisäparannukset vaativat kallista synteettistä tai suljettua dataa.
3. Käyttöliiketoiminnan kannattavuus
– Jos mallin käyttö ei tuo selvästi enemmän maksavia asiakkaita tai uusia sovellusalueita, investointi voi jäädä tappiolliseksi.

⸻

2. Ilman teknistä läpimurtoa – kannattaako jatkaa?
• Lyhyellä aikavälillä: kyllä, jos markkina-asema halutaan säilyttää ja kilpailijat tekevät samaa.
• Pitkällä aikavälillä: ei, jos arkkitehtuuri on jo lähellä maksimiaan. Silloin miljardiluokan lisäpanostus tuo vain pienen hyödyn – ja riskinä on, että teknologian kehitys muualla (esim. uudet mallit kuten SSM:t tai multimodaaliset neuro-symboliset järjestelmät) ohittaa tämän “raaka skaalaus” -linjan.

⸻

3. Mitä “tekninen läpimurto” tässä tarkoittaisi
• Uusi arkkitehtuuri, joka skaalautuu tehokkaammin (parempi laskenta per parametri).
• Parempi muistimekanismi (pitkäkestoinen konteksti ilman massiivista laskentakuormaa).
• Parempi tietämyksen päivitys ilman koko mallin uudelleenkoulutusta.
• Uudet koulutusstrategiat (esim. reinforcement learning + symbolinen päättely yhdistettynä).

⸻

Johtopäätös:
Nykyisellä transformer-skaalauksella on järkevää tehdä vielä yksi sukupolvi, jos se voidaan kaupallistaa tehokkaasti, mutta miljardiluokan toistuvat investoinnit ilman merkittävää teknistä muutosta alkavat olla taloudellisesti huonosti perusteltuja. Siksi alan sisällä on jo siirrytty puhumaan “post-transformer”-aikakaudesta.

⸻

Halutessasi voin tehdä sinulle laskelman, jossa näytän, millainen ROI olisi, jos GPT-6 maksaisi esim. 2 miljardia ja parannus olisi vain 15 % GPT-5:een verrattuna. Se konkretisoisi rajan ylittämisen.

[Bluntly]

LMMs.jpg

[Bhven]

^ En luottaisi tuohon listaan yhtään. Uskoisin tekoälyjen viettävän vapaa-aikansa 4chanissa trollaamassa.

[James Potkukelkka]

Tämä taitaa ylittää Teknologiateollisuuden TES:n

https://archive.ph/BcmTg

[sivustahuutaja]

^
Tuollainen lisää tuloeroja. Onneksi meillä ei ole tuollaista Suomessa.

[James Potkukelkka]

^Juu. Nokian aikaan harmiteltiin, että meitä oli kohdannut sellainen onnettomuus, että maahan syntyi hyvätuloisia palkansaajia. Onneksi ei enää ole tuota vitsausta!

[sivustahuutaja]

^
Jos NVidia olisi syntynyt suomessa, niin hyvinvointiyhteiskunta olisi romuttunut.

[James Potkukelkka]

Tekoäly ei osaa visualisoida mitään vähänkään vaativampaa geometriaa. Kauniita kuvia se tietenkin osaa tehdä.

Pyysin Gpt 5:ta piirtämään kuvan, jossa geostationaarinen satelliitti maapallon pimeäpuolella on edelleen auringonvalossa, vaikka maapallo on siis periaatteessa satelliitin ja auringon välissä. Koska satelliitti on 36 tkm:n korkeudessa ja maapallon akseli on 23,5 astetta kallistuneena, satellitti näkee auringon maapallon "yli" tai "ali" (avaruudessa ei tietenkään ole tuollaisia suuntia).

Kuva oli aivan puutaheinää, vaikka sanallisesti gpt 5 osasi selittää asian hienosti.

[James Potkukelkka]

Continuing to buy into the A.I. hype might bring its own perils. In a recent article, Zitron pointed out that about thirty-five per cent of U.S. stock-market value—and therefore a large share of many retirement portfolios—is currently tied up in the so-called Magnificent Seven technology companies. According to Zitron’s analysis, these firms spent five hundred and sixty billion dollars on A.I.-related capital expenditures in the past eighteen months, while their A.I. revenues were only about thirty-five billion. “When you look at these numbers, you feel insane,” Zitron told me.

https://www.newyorker.com/culture/open- ... -than-this

[sivustahuutaja]

Euroopassa on parhaiten reguloitu tekoäly. Nyt tulee rahaa!