Ezen a héten én voltam a helpdesk. A hétfői reggeli megbeszélésen az egyik régi motoros csak ennyit mondott: sok szerencsét. A helpdesk egy olyan pozíció, amit senki nem csinál szívesen, ezért minden héten más viszi.
A "büntetősarok" a kutatók irodájában van, mert így nekik is egyszerű elmondaniuk, mi is a probléma. Szó szerint a sarokban van. Egy elég rossz monitor, egy Mac billentyűzet és egy egér az összes felszerelés, amivel csatába küldenek. A saját gépünket használjuk, de ez szerintem nem is baj. Mivel valószínűleg én vagyok az egyetlen PC-s az egész csoportban, még kevesebb eszközt tudtam használni. Hamar kiszúrtam a felesleges perifériák gyűjtőhelyét, ahol minden hiányzó alkatrészt beszereztem és nekiláttam dolgozni.
A kérések egy úgynevezett ticket rendszeren érkeznek. A kutató nem tudja, kinek küldi a panaszát, csak annyit ír, helpdesk. Az aktuális ember nézi ezekt és magához rendeli a feladatot. A rendszer rengeteg opcióval van felruházva, de a legfontosabb, hogy a kéréseknek nyoma van.
A minták szekvenáló készülékből a laborosok szervereire vándorolnak automatikusan, ahol illesztik őket, meghatározzák a minőségüket, majd ha minden rendben van, átkerül a rákos csoportok szervereire. Itt minden lényeges adatot egy Oracle adatbázisban tárolnak, a BAM fájlok pedig egy elosztott fájlrendszerben csücsülnek. A kutatók egy webes felületen klikkelgetve kiválasztják, mit is akarnak a mintákkal és elindul a feldolgozás a számítógép farmon.
Természetesen Murphy nem unatkozik ez alatt, ahol tud, beleköp a levesbe. Itt jön a képbe a helpdeskes, akinek az egyik feladata, hogy Murphy-nek kiossza a napi tockost és kézzel mindent visszatereljen a megszokott kerékvágásba. Először is, ellenőrizni kell, hogy a feldolgozó programok futnak-e. Második lépés, ellenőrizni a megszakadt folyamatokat. Jobb napokon 7-10 munkafolyamat szakad meg, rosszabbakon 140. A leggyakoribb ok, a program több memóriát akar használni, mint amennyit beállítottak neki. Ezt könnyű orvosolni, a weben van adminisztrációs felület, ahol láthatóak a naplófájlok és néhány paraméter állítási lehetőség.
Ha egy teljes projekt hullik darabokra, az már érdekesebb feladat, mert ekkor irány a konzol és lehet javítani a projekt összes futásának paraméter állományait. Szerencsére az évek során elég sok szkript gyűlt össze a tipikus hibák javátására.
A csoport saját wiki oldala is részletes leírásokat tartalmaz a hibák megoldására. Mivel elég sok lapból áll a wiki is, ezért néha elég nehéz megtalálni a releváns információt, de nem lehetetlen. Végezetül ha tudjuk, hogy az adott megoldás jobban fekszik valamelyik kollégának, akkor simán át lehet passzolni neki.
A héten két olyan eset volt, ami globális katasztrófához vezetett. Az egyik esetében sikerült egy perjelet csempészni a minta nevébe. A weboldal ettől megdöglott, ha projektre klikkeltünk. A GBrowser teljesen kinyiffant, amikor megpróbálta letárolni a mintát, a feldolgozó programok mind megakadtak.
A wiki szerint ki kellett volna törölnöm a mintát, eltávolítani az adatbázis bejegyzéseket és másik néven importálni, majd hagyni, hogy az egész rendszer észhez térjen. Természetesen a kutatónak délutánra kellettek volna az eredmények. Ha kitörtlöm a mintát, akkor azok is megsemmisülnek. Először megkérdeztem a kutatót e-mailen, hogy ez elfogadható-e neki. Válasz persze nem jött, mert megbeszélésről megbeszélésre rohangált. Végül úgy döntöttem, végigcsinálom a procedurát, mert a GBrowser hiánya mindenkit érintett.
Szépen végigcsináltam a lépéseket, majd észrevettem, hogy már a szekvenáló labor szerverein elszúrták a minta nevét. Ahhoz nincs hozzáférésem. Az importálással nem javítok ki semmit. Oké, megyek a veteránokhoz. Elmondtam, mi a hiba, mit ír a wiki. A veterán meghallgatott, majd közölte, hogy a dokumentáció rossz. Szemem láttára írt egy 8 soros SQL-t 15 másodperc alatt, majd kijavította a hibát. Én meg nevettem egyet.
A másik armageddon egészen ártatlanul indult. Egy kutató jelezte, hogy az SNP keresés megszakadt. Megnézte a logokat, de semmi hibát nem talált benne. Tudnék-e segíteni? Én is megnéztem a naplót. Észrevettem, hogy a feladat ütemező olyan paraméterrel hívja meg a feldolgozó programot, amit az nem ismer. Egyből tudtam, hogy ezt nem tudom megoldani. Lementem a profikhoz, megmutattam, mit találtam. Két perc ellenőrzés után kiderült, hogy az SNP kereső program fejlesztői verziója van kint az éles szerveren és ott csücsül lassan másfél hete.
Pillanatok alatt odacsődült mindenki. Ment a jajveszékelés rendesen. Mindjárt hárman kezdtek el dolgozni az ügyön. Rohangáltak, gépeltek és kiáltoztak egymásnak. Én csak konstatáltam, hogy itt már felesleges vagyok és otthagytam a káoszt.
