HTML

Az élet kódjai

Csináld maga. Senki nem csinálja meg helyetted.

Friss topikok

chatGPT, a bioinformatikus

2023.02.23. 15:04 Travis.CG

Megmondom őszintén, én nem értem, mi ez a nagy hype a DumcsiBot körül. Jönnek az arcomba a hírek, hogy a Google felvenné, mint programozót, emberek lelki szemetesládának használják, tízszeresére növeli a produktivitást, vagy egyszerűen csak verset ír Hamupipőke ürítési szokásairól.

Összehasonlítva a StableDiffusion-el, ami egy képességet ad hozzám, ami nincs nekem (nevezetesen a rajzolást), addig DumcsiBot semmi olyat nem tud, amit én ne tudnék. Én is tudok írni, én is tudok programozni, én is képes vagyok nagyobb szöveget összefoglalni. Igaz, engem nem venne fel a Google és Hamupipőke WC használati szokásait sem írnám le olyan odaadással, de ettől függetlenül a képességek csírái megvannak bennem.

Maga a technológia szerintem ígéretes, és már most is jól használható olyan esetben, mikor nem tudom pontosan beírni a Duckduckgo-ba a keresőszót, mert csak homályos fogalmaim vannak a dologról. Ekkor egy beszélgetés során jobban előjön, hogy mit is akarok igazán.

Amit én problémának látok, hogy az emberek azt hiszik, ez a program gondolkodik, mert szöveget generál. De ez nem igaz. Egy politikusokról sem gondolja senki, hogy gondolkodik, csak azért, mert szöveget generál. Onnan lehetne gyanítani, hogy a rendszer gondolkodik, hogy tudja, mikor NE generáljon szöveget. (Amire ugye a chatGPT-hez hasonlóan a politikus is képtelen.)

Szerintem a rendszer azért olyan sikeres, mert az emberek imádják a sok szöveget (gondoljunk csak a pletykákra, meetingekre, vég nélküli telefonbeszélgetésekre), ez a rendszer pedig pontosan ezt adja meg nekik. Rengeteg szöveget. Például az emberek megkérdezik a Dumagépet azokról a dolgokról, amit tudnak. Miért? A Google-be ki szokta beírni, hogy mennyi 5 + 5? Senki. De a chatGPT-nek feltesznek ilyen fajsúlyú kérdéseket, és élvezettel nézik, hogy milyen válaszokad ad.

Viszont feltehetünk olyan kérdést a Szószátyárnak, amire nem tudjuk a választ? A helyzet az, hogy nem érdemes, mert a sok szövegnek sok az alja elv alapján rengeteg marhaságot is kapunk, amit a kellő hozzáértés nélkül nem tudunk kiválogatni. Ilyen esetben nem kapjuk meg a hőn áhított 10x produktivitást. Mint, ahogy a következő eset is mutatja:

A szakdolgozóm is azt gondolhatta, a sok szöveg jó. A témájához eddig írt egy használható Bash szkriptet, ami működött. Azt kértem tőle, hogy írja át Snakemake-be, hogy egy nagyobb adatszetten is lefuttassuk. A Bash szkript 4 lépést tartalmazott, gondoltam ezt elég egyszerű feladat lesz átírni. Azt vártam, hogy a végén megérti a Snakemake működését, ugyanakkor lesz egy hatékony kódunk, ahol nem kell sokat vacakolni, ha munkafolyamatot újra kell indítani.

Pár nap múlva jelezte, hogy a Snakemake fájl elkészült, de valami miatt nem megy, nézzem meg. Megnyitottam a fájlt, és majdnem lefordultam a székről. Néztem a kapott fájlt, és nem értettem, amit láttam. Voltak benne szabályok, voltak benne "dolgok", de az egésznek nem volt semmi értelme. Mivel a szakdolgozóm értelmes, a szkriptet viszont láthatóan egy hülye írta, arra kezdtem gyanakodni, hogy a chatGPT a ludas. Neki is szegeztem a hallgatómnak a kérdést, mire csak annyit mondott, hogy "ötleteket merített". Bizonyára jó nagy kanállal merítette az ötleteket, de az eredmény így sem különbözött egy Hamupipőke-vers alapanyagtól.

Ezek után nem is próbáltam kijavítani a bughalmazt, hanem megírtam nulláról. Lehet, hogy a Google felvenné, de nálam a chatGPT nem lehetne szakdolgozó.

4 komment

Címkék: machine learning

A bejegyzés trackback címe:

https://cybernetic.blog.hu/api/trackback/id/tr1518054164

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Kalle 2023.02.23. 16:10:08

Ott van a dolog buktatója, hogy csak akkor segítség, ha a humanoid tudja, mit akar, és meg tudja ítélni a válasz helyességét. Csalóka, hogy nagyon jól fogalmaz, szerintem ezért is ekkora a hype, az átlag ember erre nem képes. Én pl backtracekkel szórakoztatom újabban, egész jól összefoglalja, mi történek. A szakdolgozód meg használjon copilotot.

Travis.CG 2023.02.23. 19:13:44

@Kalle: Nem. A szakdolgozómnak először meg kell tanulnia a dolgokat. Ha már megtanulta, utána jöhet a könnyítés. Ha rögtön a könnyítéssel kezd, akkor mindig a segítségre lesz utalva.

sdani 2023.02.26. 12:19:03

Haha, örülök, hogy nem én vagyok egyedül ezzel a véleményemmel. Próbálgattam, próbálgattam, de napi munkámban teljesen haszontalan. A legtöbb script, amit írunk olyan sok extra biológiai tudást igényel, hogy a ChatGPT labdába sem rúg. Hiába adsz konkrét specifikációt, az adott példakód 100% teljességgel haszontalan lesz.

Többször előfordult, hogy adott valamit, elmagyarázta, hogy mit csinál, én visszakérdeztem, hogy "biztos, hogy ezt csinálja a kód?", erre bocsánatot kért és teljesen átírva, de továbbra is hibásan visszaküldte, volt, hogy a kért függvényből hiányzott a visszatérési érték stb. Arról nem is beszélve, hogy az általunk használt pyspark szintakszist igencsak töri.

Az egyik munkatársam lelkesen hozta, hogy a ChatGPT milyen ügyesen elmagyarázott egy elég obskurus scala függvényt. Mondom, OK, muti. A triviális műveletek felsorolásán nem jutott tovább, volt egy lépés, ami igazán komplikált volt, azzal nem nagyon tudott mit kezdeni.

Végül arra kértem, hogy írjon a gegszter rappet a GWAS analízisekről, de szerintem az se lett valami jó.

Nem tudom, hogy mi a cél, de még biztosan nagyon messze vagyunk.

Travis.CG 2023.02.28. 06:28:29

Túl nagy a hype körülötte, ezért túlzó elvárások vannak vele szembe. Ha a korábbi chatbotokhoz képest nézem, akkor tényleg fenomenális, és nekem tetszik az ötlet, hogy folyamatos interakcióban vagyok. De még olyan, mint a Wright fivérek repülő szerkezete. Még messze van a lopakodó bombázótól.
süti beállítások módosítása