痞子麥

上星期四是感恩節（Thanksgiving day），台灣應該是沒這種風氣在過這個節日，不過隔天的星期五上起班來，蠻是愉快，因為隔一天就是週休二日放假了嘛。

但是好死不死的，公司的主機卻在這一天發生了無法挽救的狀況 8-x


感恩節當天，我發現某台主機送來了一封 log... 訊息是說有某顆硬碟卸離了，這台主機是 Linux 架構，硬碟是 RAID 架構，採 Linux SoftRAID 做 RAID 5，/boot 區域單獨放在一張 128MB 的 CF 卡上，其他 partition 都在這個 RAID 5 的 /dev/md0 上，一共有四個硬碟做 RAID 5。

於是就照著救援步驟做，先將 fail 的硬碟 remove，然後再 hot add 回去，於是 md0 就開始重建同步囉......一切的一切看起來都是這麼美好，豈知這卻是暴風雨前的寧靜呀 :-ss

過了一個多小時，重建同步好了，看一下狀態： cat /proc/mdstat 我的媽呀 ~X( 不看還好，原本一顆硬碟卸離，現在卻變兩顆卸離...然後...然後...就再起不能了！

原本想說，可能第二顆只是錯亂而已，利用 linux install cd 做 linux rescue 把 md0 重新同步，不過依然無效，只好趕緊找其他的機器來代替服務了。
這台 linux 主機上面跑了六、七台虛擬主機，一台主機掛，六、七台虛擬機器全掛，真的是「不要把雞蛋都放在同一個籃子」裡呀。

忙了一天，服務恢復的差不多了，拖著疲憊的身心回家，一路上想著，阿這個星期五又不是黑色星期五，怎麼這麼帶賽...

後來看新聞才知道，原來『感恩節過後的星期五，是黑色星期五』:-\ 雖然在美國，這個黑色星期五並不是代表著不幸、黑暗的黑色星期五，但是我還是覺得，肯定是這個星期五帶賽。

以後規劃硬體配置，寧可多花點錢，從 RAID 1 先做起，若要再求效能，就再多花點錢，做起 RAID 0+1 了。