Deep learning network ja koneäly

[sivustahuutaja]

^ Typeriä mandaatteja. Ei sillä pitäisi olla väliä, millä tekniikalla päästöjä vähennetään. Annetaan markkinan toimia ja valita tehokkaimmat ratkaisut.

[James Potkukelkka]

^ Typeriä mandaatteja. Ei sillä pitäisi olla väliä, millä tekniikalla päästöjä vähennetään. Annetaan markkinan toimia ja valita tehokkaimmat ratkaisut.

Joo.

[James Potkukelkka]

Chat Gpt 5 on ulkona. Aikaa kului 2 vuotta ja hinta arviolta n 1 miljardi.

Tulokset ovat hiukan aiempaa parempia, mutta ei mitään tasohyppyä. Veikkaan tämän olevan paha isku tekoälyinvestoinnille. Miksi laittaa miljardi, jotta saa hiukan paremman mallin kuin aiemmin?

[James Potkukelkka]

Kysyin 5:n mielipidettä


Aikaa kului kaksi vuotta ja hinta noin miljardin. Onko raja tullut vastaan? Kannattaako lisäpanostus ilman teknistä läpimurtoa?

Jos tarkastellaan GPT-5:n kahden vuoden kehitysaikaa ja arviolta miljardiluokan kustannusta, voidaan sanoa, että ollaan lähellä ns. skaalausrajaa nykyisellä lähestymistavalla:

⸻

1. Raja tulee vastaan kolmesta syystä
1. Kustannusten kasvu ei skaalaudu lineaarisesti suorituskyvyn kanssa
– Laskenta- ja energiakustannukset kasvavat lähes eksponentiaalisesti, mutta mallien laadunparannus on marginaalista, jos arkkitehtuuri pysyy samana.
2. Datan saatavuus alkaa loppua
– Lähes kaikki korkealaatuinen julkinen teksti on jo käytetty, joten lisäparannukset vaativat kallista synteettistä tai suljettua dataa.
3. Käyttöliiketoiminnan kannattavuus
– Jos mallin käyttö ei tuo selvästi enemmän maksavia asiakkaita tai uusia sovellusalueita, investointi voi jäädä tappiolliseksi.

⸻

2. Ilman teknistä läpimurtoa – kannattaako jatkaa?
• Lyhyellä aikavälillä: kyllä, jos markkina-asema halutaan säilyttää ja kilpailijat tekevät samaa.
• Pitkällä aikavälillä: ei, jos arkkitehtuuri on jo lähellä maksimiaan. Silloin miljardiluokan lisäpanostus tuo vain pienen hyödyn – ja riskinä on, että teknologian kehitys muualla (esim. uudet mallit kuten SSM:t tai multimodaaliset neuro-symboliset järjestelmät) ohittaa tämän “raaka skaalaus” -linjan.

⸻

3. Mitä “tekninen läpimurto” tässä tarkoittaisi
• Uusi arkkitehtuuri, joka skaalautuu tehokkaammin (parempi laskenta per parametri).
• Parempi muistimekanismi (pitkäkestoinen konteksti ilman massiivista laskentakuormaa).
• Parempi tietämyksen päivitys ilman koko mallin uudelleenkoulutusta.
• Uudet koulutusstrategiat (esim. reinforcement learning + symbolinen päättely yhdistettynä).

⸻

Johtopäätös:
Nykyisellä transformer-skaalauksella on järkevää tehdä vielä yksi sukupolvi, jos se voidaan kaupallistaa tehokkaasti, mutta miljardiluokan toistuvat investoinnit ilman merkittävää teknistä muutosta alkavat olla taloudellisesti huonosti perusteltuja. Siksi alan sisällä on jo siirrytty puhumaan “post-transformer”-aikakaudesta.

⸻

Halutessasi voin tehdä sinulle laskelman, jossa näytän, millainen ROI olisi, jos GPT-6 maksaisi esim. 2 miljardia ja parannus olisi vain 15 % GPT-5:een verrattuna. Se konkretisoisi rajan ylittämisen.

[Bluntly]

LMMs.jpg

[Bhven]

^ En luottaisi tuohon listaan yhtään. Uskoisin tekoälyjen viettävän vapaa-aikansa 4chanissa trollaamassa.