Kész katasztrófa

Tegnap egész nap BRS teszten voltam. Ez gyk. katasztrófa utáni visszaállítás teszt, időre. Kimegy egy talicska informatikus egy isten háta mögötti telephelyre(1) és megpróbálja lemezekről, szalagokról visszaállítani az éles rendszert. Izgalmas foglalkozás.
Először is megkérnék mindenkit, hogy az elkövetkező napokban finoman, nőiesen beszéljen velem, mert káromkodásból egy hónapra fel lettem töltve. Köszönöm.
Az én feladatom egy kulcsfontosságú Exchange szerver visszaállitása volt. Bármennyire szűk is ilyenkor az idő, szoktunk azért kísérletezni is. Most például kipróbáltuk, mennyire járható a /disasterrecovery kapcsolós visszaállítás, élesben. (Annak ellenére játszottunk vele, hogy van teljes mentésünk az Exchange szerverről.)
Na szóval, nyers szerver felugrott, particiók/könyvtárak beállítva, régi gép eltávolítva a tartományból, új gép beléptetve, jöhet a szerver telepítés. Next-next-nekemnepofázz-finish,… hűdegyors volt ez a telepítés. Nem is rakott fel semmit, csak egy dll-t. Újabb próba, most már le is nyitogatva a menüpontokat,… hát, azt mondja, hogy a prerekvizitek nem stimmelnek. És tényleg, teljesen kiment a fejemből, hogy az Asp.net és a Pop3 szervízek telepités után manuálba kerülnek. Elindítottam őket, de továbbra is hibaüzi jött, amikor ki akartam választani a kollaborációs komponenst. Jó, akkor szedjük le ezt az elb… izé, nyomorult telepítést. Nem jött le. Még a szerver csodálkozott a legjobban; azt mondta, hogy némá, milyen vicces, váratlanul nem tudom leszedni ezt a komponenst.
Jó. Újratelepítés. Sittysutty megvolt. Hoznám létre az adatbázisok könyvtárait, amikor látom, hogy teljesen össze vannak borzolva a partíciók. Visszanevezés közben jött a hidegzuhany: az E partíciót nem lehet átnevezni, mert az lett a system. Miaf? Ez még akkor is durva, ha tudjuk, hogy a system partíció az, amelyikről bootol a rendszer, a boot partíció pedig az, amelyiken a system van. És tényleg, az E particion ott figyelt a boot.ini. Hajjaj. Újratelepítés, de most még a szöveges setupnál töröltem mind a nyolc partíciót – így nem tudott hibázni a kedves. Ez a telepítés már teljesen olajozottan ment, öröm volt nézni. Nem volt egy felesleges mozdulatom sem. Illetve volt – egy beintés, amikor megint nem volt hajlandó települni az Exchange. Nagyítóval néztem át a prerekvizit listát, de minden klappolt, az utolsó szögig. Lassan már eljött az ideje abbahagyni a kísérletezést, de szerencsére a fájlszerver visszatöltés lefoglalta a szalagos egységet, tehát próbálkozhattam még egyszer. És ismét rámmosolygott a google power, egy link eréjéig.
Érdemes idézni:

I called Microsoft Product Support and their solution was to uninstall 2003 Server SP1, install Exchange, install Exchange SP1 then install 2003 Server SP1. This sounds far too shaky a solution for me and on my front-end servers I installed 2003 Server slipstreamed with SP1, so, since I’m the position to do it, I’m just reinstalling the servers from scratch without SP1 until I have Exchange installed.

Nos, erre nem számítottunk; nem volt nálunk külön Windows2003 szerver telepítő cédé, külön felrakható SP1-gyel. Odamentem a konzolhoz és megtippeltettem a kollégával, hogy vajon mit fogok most csinálni. Fogalmam sincs, honnan találta ki elsőre, hogy szervert fogok újratelepíteni. Amíg a bitek tepertek a vasra, nekiálltam leszedni az Internetről az Sp1-et. Aki netán elfelejtette volna: ez a dög 330 MB. Nem kicsit bonyolította a dolgot, hogy idén újítottunk: nem vittünk laptopot, desktopot; ehelyett az ügyfél unixosaitól kaptunk egy-egy Kanotix Linux live distro cédét. Erről tetszőleges vasat be tudtunk bootolni – volt egy csomó, egymásrahajigálva a sarokban – és rdesktop-pal már csűrtűnk is fel a szerverekre. Töredelmesen beismerem, az ikszre végződő nevű rendszerekben nem vagyok nagy spíler, így okozott némi nehézséget, az Sp1 terelgetése. Windowsban azt csináltam volna egy vinyó nélküli gépnél, hogy bemeppeltem volna K: meghajtóként a szerver valamelyik megosztását és arra töltöttem volna le böngészőből a stuffot. Ez itt nem jött össze. SMB-n tudtam ugyan kapcsolódni, de letöltéskor nem tudtam megadni ezt a kapcsolatot. Végül leszedtem a csomagot ramdiszkre (hálistennek volt bőven), onnan krusader-rel ment tovább a szerverre. (Sorry, MC-vel nem sikerült.) Mindenesetre, amíg a memóriába tőtikézte lefelé a fájlt, addig csak lábujjhegyen mertem közlekedni a szobában.
Közben felment a Windows2003 szerver is, Sp1 nélkül. Ránézésre egy csomó rendszerkomponenst nem ismert fel, driverek meg nem voltak, de úgy döntöttem, nem is kellenek. Ha száguldozni akarok egy autóval, akkor nincs szükségem karosszériára. Ugyan már kilométerekre kerültünk attól az elvtől, hogy a visszaállítandó rendszerhez minél hasonlóbbat állítsunk össze – de amikor a hasonlóságra törekedtünk, az nem jött be. Na, mindegy, a kasztni nélküli cucc beröffent. Ment rá az új install. És nem volt inkompatibilitásra utaló hibaüzenet az Exchange setup indításakor! Elégedett mosoly… de nem. Megjött ugyanaz a nyomoronc 0xC007003A(58) hiba.
Újabb varázslások következtek. De tényleg. A mosoly egyre görcsösebb lett az arcomon. Holnap ITIL vizsga. Közben nemhogy a mai tanulásnak, de a mai lefekvésnek is egyre biztosabban lőttek.(2)
Átnéztem a DNS-t és ott virított benne egy hasonló nevű gép. Ki a lilafaszom tette ezt bele? Nyess. De ettől sem javult meg semmi. Oké. Netdiag. Nagy büdös Kerberos hiba. WTF?! Aszongya nem tudja autentikálni a gépet – de névként a hasonló nevű hostot nevezte meg. Mivan? Valami derengeni kezdett, rátekertem a gépnév rovatra. Basszus. Az eredeti gép nevében szerepelt egy ‘0’ karakter. A nagy kapkodásban megszokásból magyar kiosztásúként használtam egy pillanatra a konzolbillentyűzetet, és nulla helyett a felsőfütyi karaktert tettem be. Az oprencer meg volt annyira intelligens, hogy sem ezt a karaktert, sem az utána következőket nem vette figyelembe. Esetleg figyelmeztetni? Ugyan már. A figyelmeztető csapat az összes aktivitását kiélte akkor, amikor a nem használatos desktop ikonokról volt szó – másra már nem maradt lendület.
Gép kilép/belép, közben átnevez, AD reset. De ettől sem jutottunk előre. Jobb híján rászálltam a Kerberos hibaüzenetre, de semmire sem jutottam vele. Pontosabban annyira, hogy csaltam és megkérdeztem az éles rendszeren dolgozó kollégát telefonon, hogy nézze már meg, az éles szerveren – mely játszásiból most ugye le volt bombázva – mit mond a netdiag. És azon is ott volt a Kerberos hiba.
Tehát ez rossz nyom.
Itt érkeztünk el egy döntési ponthoz. A felkészülési dokumentációk egyik része azt írta, hogy az Exchange /disasterrecovery előtt töltsünk vissza system state mentést. Másik része meg meg sem említette ezt a lépést. Nekem ez utóbbi tűnt logikusnak, hiszen arról szól a történet, hogy _csak_ adatmentés van – az Exchange paraméterek majd az AD-ból fognak visszajönni.
Ötlet híján csapást váltottunk: jöjjön az a system state. De majd csak másnap reggel.
Új nap, új remények. De hamar kiderült, hogy a világegyetemben minden változik, csak a szívás állandó. Akkora volt a hardver különbség a két gép között, hogy képtelenség volt rá visszatölteni a system state mentést.
Ekkor járt le az időm. Visszatértünk a jól bevált Exchange visszaállítási módszerre, hanyagolva az új utakat.
Kár érte, mert reméltem, hogy ennél a visszaállítási módszernél meg tudjuk kerülni az adatbázisonkénti hét órás konzisztencia ellenőrzést.

(1) Csak úgy megjegyzem, hogy ez egy nagyon nagy nevű cég direkt erre a célra felingerelt telephelyén zajlott. Nem csak mi használjuk ezt a szájtot, az ügyfelünkön kívül sokan mások is igénybe szokták venni. Pontosan tudom, hogy kik, ugyanis a nagynevű cég emberei csesztek bezárni a dokumentációs szekrényt. Pusztán unaloműzőként lehetőségem volt áttanulmányozni néhány nagy magyar cég informatikai rendszereinek a leírását.

(2) Yes; hajnal kettő lett belőle.

This entry was posted in IT.

Leave a Reply

Your email address will not be published. Required fields are marked *