All'inizio della scorsa estate stavo portando a termine alcuni lavori per un grosso cliente, si tratta di un'organizzazione (il termine è volutamente NON corretto, ma preferisco fornire pochi indizi.. per una serie di motivi ) ad ogni modo, il cliente in questione è come ho detto piuttosto grosso, basti pensare che la server farm ospita un bel mucchio di armadi rack zeppi di servers e che alcuni di quei servers forniscono servizi utilizzati anche da terze parti e che in alcuni casi debbono essere disponibili 24x7x365

La farm in questione è ospitata in una costruzione posta sotto il livello del suolo, con caratteristiche antisismiche, schermatura EMI, pavimento flottante, impianto antincendio ad HALON, condizionamento, UPS ridondati, generatori diesel e tutto il resto, l'accesso fisico alla stessa è controllato strettamente ed in ogni caso richiede anche l'uso di una smartcard e "l'autenticazione" con un sensore biometrico.. insomma, almeno sulla carta  una server farm con i controcosi.. come si chiamano .. ah si i controfiocchi (vabbè, chiamiamoli così )

Fatto sta che, mentre me ne stavo smanazzando tramite RDP utilizzando una workstation gentilmente messami a disposizione, improvvisamente le luci dell'ufficio in cui mi trovavo si sono affievolite per riprendersi subito dopo; al momento ho pensato "vabbè, il solito sbalzo di tensione, niente di che" qualche minuto dopo, altro sbalzo, ma stavolta il computer che stavo usando si resetta !

Ok mi dico, nessun problema, del resto probabilmente questa linea non è filtrata, così attendo il reboot del computer.. conteggio della memoria, checks durante il POST, parte la videata di boot dell'OS e... salta la corrente, stavolta salta del tutto, sento i BANG delle porte tagliafuoco che, sganciate dagli elettromagneti che le tengono normalmente aperte si chiudono in tutti i corridoi separando le varie sezioni

A questo punto inizio a sospettare che qualcosa non stia andando esattamente per il verso giusto, soprattutto perchè dovrei avvertire la vibrazione (anche se non il rumore) del generatore diesel che si avvia mentre invece.. tutto tace !

Dopo aver accertato che non ci sia alcun incendio in corso, mi avvio verso la porta della serverfarm che è a pochi metri dall'ufficio nel quale stavo lavorando, passo alcuni controlli ed arrivo avanti alla porta protetta dal sensore biometrico.. che trovo spalancata

Entro in serverfarm e subito avverto un puzzo micidiale, vedo un paio di tizi guardare ai piedi di un rack dal quale esce del fumo con aria sconsolata, così mi avvicino e vedo a terra una pozza di plastica fusa e metallo nella quale è difficile riconoscere qualcosa... guardo meglio e quando capisco di cosa si tratta immediatamente capisco anche cosa sia successo

Chi ha familiarità con le installazioni "rack" saprà che per l'alimentazione degli apparati installati nei rack stessi si usano dei moduli detti "powerbar" che ospitano una serie di prese e che hanno cablaggio sovradimensionato e protezioni varie, questo sia per proteggere gli apparati sia perchè l'assorbimento degli stessi è spesso molto elevato

Ora.. qualche giorno prima, non so per quale motivo, una delle powerbar di quel particolare armadio si era "rotta" (non chiedetemi come, so solo che "si era rotta" ) il problema era che, dato il periodo non era possibile ottenerne una in tempi brevi (alla faccia del "fare scorte" per prevenire problemi simili ) e, tanto per peggiorare le cose, i servers "spenti" erano proprio alcuni di quelli che avrebbero invece dovuto essere continuamente attivi così...

...qualcuno del "reparto IT"  dell'organizzazione in questione, ha pensato bene di rimediare "temporaneamente" in qualche modo e cosa ha fatto ?

Ha mandato un tizio dall'elettricista, il tizio ha acquistato una di quelle "ciabatte" elettriche di color bianco, quelle ad uso domestico che probabilmente tutti conosceranno, la ciabatta è stata quindi piazzata all'interno del rack, collegata alla rete e, siccome le prese non bastavano, per collegare i servers (e come ciliegina sulla torta ) i tizi hanno piazzato sulla ciabatta anche un bel "castello" formato da varie prese "multiple" una cosa stile "laboratorio del dottor Frankenstein" insomma

I risultati, come ho poi potuto constatare non hanno tardato a venire, posta sotto un carico eccessivo la "ciabatta" e le "multiple" si sono fuse causando un cortocircuito che ha mandato in protezione gli UPS cosa questa che NON ha innescato l'avvio del generatore.. ed ovviamente il risultato è stato un BLACKOUT TOTALE (mi chiedo solo come mai non sia partita la scarica di HALON.. ma credo sia meglio non investigare )

Nessun server, router, switch, NAS .. NIENTE funzionava o aveva alimentazione, tra l'altro per il riavvio di tutto quanto ci sono volute delle ore ed altrettanto è passato prima che la rete riprendesse a funzionare appieno !!

Che dire... io non esprimo giudizi, li lascio a chi leggerà quanto sopra