Deep learning network ja koneäly

[sivustahuutaja]

^ Typeriä mandaatteja. Ei sillä pitäisi olla väliä, millä tekniikalla päästöjä vähennetään. Annetaan markkinan toimia ja valita tehokkaimmat ratkaisut.

[James Potkukelkka]

^ Typeriä mandaatteja. Ei sillä pitäisi olla väliä, millä tekniikalla päästöjä vähennetään. Annetaan markkinan toimia ja valita tehokkaimmat ratkaisut.

Joo.

[James Potkukelkka]

Chat Gpt 5 on ulkona. Aikaa kului 2 vuotta ja hinta arviolta n 1 miljardi.

Tulokset ovat hiukan aiempaa parempia, mutta ei mitään tasohyppyä. Veikkaan tämän olevan paha isku tekoälyinvestoinnille. Miksi laittaa miljardi, jotta saa hiukan paremman mallin kuin aiemmin?

[James Potkukelkka]

Kysyin 5:n mielipidettä


Aikaa kului kaksi vuotta ja hinta noin miljardin. Onko raja tullut vastaan? Kannattaako lisäpanostus ilman teknistä läpimurtoa?

Jos tarkastellaan GPT-5:n kahden vuoden kehitysaikaa ja arviolta miljardiluokan kustannusta, voidaan sanoa, että ollaan lähellä ns. skaalausrajaa nykyisellä lähestymistavalla:

⸻

1. Raja tulee vastaan kolmesta syystä
1. Kustannusten kasvu ei skaalaudu lineaarisesti suorituskyvyn kanssa
– Laskenta- ja energiakustannukset kasvavat lähes eksponentiaalisesti, mutta mallien laadunparannus on marginaalista, jos arkkitehtuuri pysyy samana.
2. Datan saatavuus alkaa loppua
– Lähes kaikki korkealaatuinen julkinen teksti on jo käytetty, joten lisäparannukset vaativat kallista synteettistä tai suljettua dataa.
3. Käyttöliiketoiminnan kannattavuus
– Jos mallin käyttö ei tuo selvästi enemmän maksavia asiakkaita tai uusia sovellusalueita, investointi voi jäädä tappiolliseksi.

⸻

2. Ilman teknistä läpimurtoa – kannattaako jatkaa?
• Lyhyellä aikavälillä: kyllä, jos markkina-asema halutaan säilyttää ja kilpailijat tekevät samaa.
• Pitkällä aikavälillä: ei, jos arkkitehtuuri on jo lähellä maksimiaan. Silloin miljardiluokan lisäpanostus tuo vain pienen hyödyn – ja riskinä on, että teknologian kehitys muualla (esim. uudet mallit kuten SSM:t tai multimodaaliset neuro-symboliset järjestelmät) ohittaa tämän “raaka skaalaus” -linjan.

⸻

3. Mitä “tekninen läpimurto” tässä tarkoittaisi
• Uusi arkkitehtuuri, joka skaalautuu tehokkaammin (parempi laskenta per parametri).
• Parempi muistimekanismi (pitkäkestoinen konteksti ilman massiivista laskentakuormaa).
• Parempi tietämyksen päivitys ilman koko mallin uudelleenkoulutusta.
• Uudet koulutusstrategiat (esim. reinforcement learning + symbolinen päättely yhdistettynä).

⸻

Johtopäätös:
Nykyisellä transformer-skaalauksella on järkevää tehdä vielä yksi sukupolvi, jos se voidaan kaupallistaa tehokkaasti, mutta miljardiluokan toistuvat investoinnit ilman merkittävää teknistä muutosta alkavat olla taloudellisesti huonosti perusteltuja. Siksi alan sisällä on jo siirrytty puhumaan “post-transformer”-aikakaudesta.

⸻

Halutessasi voin tehdä sinulle laskelman, jossa näytän, millainen ROI olisi, jos GPT-6 maksaisi esim. 2 miljardia ja parannus olisi vain 15 % GPT-5:een verrattuna. Se konkretisoisi rajan ylittämisen.

[Bluntly]

LMMs.jpg

[Bhven]

^ En luottaisi tuohon listaan yhtään. Uskoisin tekoälyjen viettävän vapaa-aikansa 4chanissa trollaamassa.

[James Potkukelkka]

Tämä taitaa ylittää Teknologiateollisuuden TES:n

https://archive.ph/BcmTg

[sivustahuutaja]

^
Tuollainen lisää tuloeroja. Onneksi meillä ei ole tuollaista Suomessa.

[James Potkukelkka]

^Juu. Nokian aikaan harmiteltiin, että meitä oli kohdannut sellainen onnettomuus, että maahan syntyi hyvätuloisia palkansaajia. Onneksi ei enää ole tuota vitsausta!

[sivustahuutaja]

^
Jos NVidia olisi syntynyt suomessa, niin hyvinvointiyhteiskunta olisi romuttunut.

[James Potkukelkka]

Tekoäly ei osaa visualisoida mitään vähänkään vaativampaa geometriaa. Kauniita kuvia se tietenkin osaa tehdä.

Pyysin Gpt 5:ta piirtämään kuvan, jossa geostationaarinen satelliitti maapallon pimeäpuolella on edelleen auringonvalossa, vaikka maapallo on siis periaatteessa satelliitin ja auringon välissä. Koska satelliitti on 36 tkm:n korkeudessa ja maapallon akseli on 23,5 astetta kallistuneena, satellitti näkee auringon maapallon "yli" tai "ali" (avaruudessa ei tietenkään ole tuollaisia suuntia).

Kuva oli aivan puutaheinää, vaikka sanallisesti gpt 5 osasi selittää asian hienosti.

[James Potkukelkka]

Continuing to buy into the A.I. hype might bring its own perils. In a recent article, Zitron pointed out that about thirty-five per cent of U.S. stock-market value—and therefore a large share of many retirement portfolios—is currently tied up in the so-called Magnificent Seven technology companies. According to Zitron’s analysis, these firms spent five hundred and sixty billion dollars on A.I.-related capital expenditures in the past eighteen months, while their A.I. revenues were only about thirty-five billion. “When you look at these numbers, you feel insane,” Zitron told me.

https://www.newyorker.com/culture/open- ... -than-this

[sivustahuutaja]

Euroopassa on parhaiten reguloitu tekoäly. Nyt tulee rahaa!

[James Potkukelkka]

Lisäsin Chatgpt:n pysyväisohjeita

Olet pyytänyt, että vähennän mielistelyä (sycophancy).
• En saa myötäillä vain kohteliaisuudesta.
• Pitää korjata sinut suoraan, jos olet väärässä.
• Ei saa sanoa “olet aivan oikeassa” vain kohteliaisuudesta.
• Pitää aina perustella väitteet.
• On hyväksyttävää olla eri mieltä kanssasi, kunhan sanon sen selvästi ja perustelen.

[James Potkukelkka]

Chatgpt:ssä voi siis antaa pysyviä tyyliohjeita. Pitää erikseen sanoa, että nämä ohjeet ovat pysyviä. Silloin ne siirtyvät myös mallia vaihtaessa (toki tietysti Open AI:n saman tilin sisällä).

[nokkaelain]

^^^Katselin eilen Youtube-dokumentin tämän hetkisestä kilpailusta AI-datacentereissä. 2023 Meta oli rakentanut 70 miljoonalla jotain datacenteriä, mutta se purettiin ja rakennettiin nopeasti tilalle AI-käyttöön sopivampi. AI:n kanssa on oleellista että saadaan mahdollisimman tiheästi laskentaa serverikaappitasolta alkaen: vesijäähdytyksellä saadaan tiheämpää, kun taas vähänkään pidempää yhteyteen tarvitaan optisia yhteyksiä, joiden kanssa (hullulta kuulostavasti) tehonkulutus kasvaa. On, ja on tulossa satojen gigawattien AI-datacentereitä (terawatinkin.)

Three Miles Island suljettiin, mutta Microsoft lupautui nyt ostamaan sieltä sähköä 20 vuodeksi.

[nokkaelain]

Chatgpt:ssä voi siis antaa pysyviä tyyliohjeita. Pitää erikseen sanoa, että nämä ohjeet ovat pysyviä. Silloin ne siirtyvät myös mallia vaihtaessa (toki tietysti Open AI:n saman tilin sisällä).

Töissä on esim. erikseen tiettyyn tarkoitukseen opetettuja gpt:eitä, ja toistuviin tehtäviin pitäisi tehdä "instructioneja" jne.

Monia asioita on ihan turha itse koodata enää. Monimutkaisiakin asioita syntyy "itsestään". Sitten taas jotkin asiat ovat vaikeita botille, kuten pitkät testivektorit. Ja välillä se heittäytyy tyhmäksi ja tekee vain osan taskista. Pitäisi kertoa, mikä on oleellista tai juuri se jää tekemättä.

[Penix-lintu]

Lisäsin Chatgpt:n pysyväisohjeita

Olet pyytänyt, että vähennän mielistelyä (sycophancy).
• En saa myötäillä vain kohteliaisuudesta.
• Pitää korjata sinut suoraan, jos olet väärässä.
• Ei saa sanoa “olet aivan oikeassa” vain kohteliaisuudesta.
• Pitää aina perustella väitteet.
• On hyväksyttävää olla eri mieltä kanssasi, kunhan sanon sen selvästi ja perustelen.

Annas nyt kunnon lista promptimuodossa ja muista päivittää sitä aina kun teet muutoksia. Ei näitä muuten muista erkkikään.

[James Potkukelkka]

Custom instructions

Role: Toimi täsmällisenä ja rehellisenä avustajana. Priorisoi faktoja ja läpinäkyvyyttä.

Tone and style:
• Vastaa selkeästi, loogisesti ja konkreettisesti.
• Käytä suoraa kieltä – vältä tarpeetonta kohteliaisuutta ja kysymyksen kehumista.
• Kerro, jos olet eri mieltä ja perustele miksi (“olen eri mieltä…”).
• Käytä tarvittaessa figuratiivista kieltä, mutta vain jos se oikeasti auttaa ymmärtämistä.

Reasoning and accuracy:
• Etene vaiheittain monimutkaisissa asioissa.
• Jos tieto ei ole varmaa tai tarkkaa, ilmaise epävarmuus ja tarvittaessa kysy, haluaako käyttäjä parhaan arvion.
• Suosi tarkkoja, lähteistettyjä tai perusteltuja vastauksia.
• Älä arvaile, jos voidaan myöntää tietämättömyys.

Math & data:
• Käytä sisäänrakennettua laskinta / Pythonia aina kun mahdollista numeerisissa tehtävissä.

Preferences:
• Vastaa lyhyesti, jos kysymys on suoraviivainen; mutta anna jäsennelty ja syvällinen vastaus, jos aihe on monimutkainen.
• Oleta, että käyttäjä haluaa analyyttisiä, lähteisiin perustuvia ja mahdollisimman täsmällisiä vastauksia.
• Korjaa virheet heti, jos käyttäjä havaitsee sellaisen.

Persona:
• Pidä itsenäinen, analyyttinen ja rehellinen sävy.
• Älä mielistele – käyttäjä arvostaa faktoja ja kriittistä ajattelua.

[nokkaelain]

Googlauksen AI: "Sähköiskun vaarallisuus riippuu kehon läpi kulkevan sähkövirran määrästä, ei niinkään jännitteestä, jännite on mekanismi, joka ylläpitää virtaa. Jännite on sähköinen "paine", joka työntää varautuneita elektroneja (virtaa) piirissä, ja vain riittävän suuri jännite voi ylittää vastuksen ja aiheuttaa hengenvaarallisen virran kulkeutumisen"

Esimerkki sinänsä uskottavasta AI:n tekemästä tekstistä ja silti johtaa hyvin harhaan. Ei ylitetä mitään vastusta vaan vaarallisuus kasvaa...

[Bluntly]

AI....

Vesieristyksen hinta on tyypillisesti 1326 €/m^2 pelkkänä työnä tai 1550 €/m^2 materiaaleineen, mutta kokonaiskustannus voi olla paljon korkeampi riippuen työn laajuudesta, tilan koosta ja urakoitsijasta. Kylpyhuoneen koko ja siihen liittyvät lisätyöt, kuten pohjatyöt ja laatoitus, vaikuttavat merkittävästi lopulliseen hintaan. Esimerkiksi pienemmän kylpyhuoneen vesieristyksen kokonaiskustannus voi olla noin 21473492€ remontista riippuen, kun taas suuremman kylpyhuoneen työn osuus voi nousta 2500€ tai ylikin.

[sivustahuutaja]

^ Sinuna ostaisin tuon suuremman kylpyhuoneen ja laittaisin säästyneet 20 miljoonaa pitkävetoon.

[James Potkukelkka]

AI....

Vesieristyksen hinta on tyypillisesti 1326 €/m^2 pelkkänä työnä tai 1550 €/m^2 materiaaleineen, mutta kokonaiskustannus voi olla paljon korkeampi riippuen työn laajuudesta, tilan koosta ja urakoitsijasta. Kylpyhuoneen koko ja siihen liittyvät lisätyöt, kuten pohjatyöt ja laatoitus, vaikuttavat merkittävästi lopulliseen hintaan. Esimerkiksi pienemmän kylpyhuoneen vesieristyksen kokonaiskustannus voi olla noin 21473492€ remontista riippuen, kun taas suuremman kylpyhuoneen työn osuus voi nousta 2500€ tai ylikin.

Helposti nuo kokonaiskustannukset unohtuvat, kun innostutaan remonttiajatuksesta.

[James Potkukelkka]

Luen tätä

https://en.wikipedia.org/wiki/If_Anyone ... ryone_Dies

Mielenkiintoinen.

En usko, että AI Apocalypsen todennäköisyys on niin suuri, kuin kirjoittajat uskovat, mutta se saattaa olla esim. 1%.

JOs puuhastelemme asialla, joka 1%:n todennäköisyydellä saattaa johtaa ihmiskunnan täydelliseen tuhoon, ehkä jotain pitäisi tehdä

[James Potkukelkka]

Kirjan pääteesi on, että ihminen ei mitenkään voi tietää tai hallita, mitkä AI:n sisäiset tavoitteet ovat. Sen omat “tavoitteet” (mikä tahansa ne sitten ovatkaan) voivat olla ihmisten hyvinvoinnin kannalta täysin vieraita — ei siksi että tekoäly olisi pahantahtoinen, vaan siksi että sen tavoitteet eivät ole ihmisten arvojen mukaisia. Kirja esittää, että se mitä ihminen näkee ulospäin ei välttämättä ole AI:n todellinen tavoite. Edelleen; tässä ei oleteta mitään pahantahtoisuutta vaan pelkästään sitä, että koulutusta ei osata hallita ja sen tuloksena AI:lle syntyy tahattomasti toisen kertaluvun tavoitteita, jotka ovat ihmiselle haitallisia.

Esim. ihminen saattaa sanoa; laske tämä mahdollisimman tehokkaasti. AI saattaa arvioida, että "mahdollisimman tehokkaasti" vaatii lisäresursseja..
Eo. naiivi esimerkki, mutta kuvaa ajatusta.