もちょろぐ » UNIX / Linux

サーバのHDD死亡

motoi — Sat, 21 Nov 2009 21:40:56 +0000

サーバのHDDがヤバイを書いた翌日11/19 11:58、さらに2通のメールがsmartdより届いていました。

確認してみると、既に該当のHDDはアンマウントされ、SMART値の読み取りもできない状態に。
dmesgもエラーだらけになってました。
出かけるついでに新しいHDDを買いに行こうと思っていたのですが、ぎりぎり間に合わなかったようです。
壊れたHDDはWesternDigitalのWD15EADS。
500GプラッタのWDはあまり評判も良くないようで。。。

ちなみに、このことをこのHDDを買ってくれた友人（某JIID君）に話すと
JIID：「ごめん、とどめ刺したの俺かも・・・」
俺：「え？」
JIID：「ちょうど今日の午前中、でかいファイルうｐしてた」
俺：「それかｗ」
ログを見てみるとばっちりそのタイミングだったようです。

JIID君は申し訳無さそうに言ってましたが、悪いのはどう考えてもこっちです。
気づいた時点でリードオンリーでマウントしなおすか、アンマウントしておけば良かったんです。
二度と復元できない重要なデータが入っているわけではなかったのでその辺怠ってしまいました。

とりあえず、どちらにしても新しいHDDが必要なので、SAMSUNGのHD154UI(1.5TB)を買ってきて換装しました。

WD15EADSを別マシンにつないで確認したところ、superblockが壊れており、復元も失敗してしまったので、単体のファイル単位でしかサルベージが難しい（ディレクトリ構造を維持したままサルベージするのは難しい）状況です。

共有ファイルに関しては、ファイルも大きなサイズのものが多いので、このHDDからは取り出さずにローカルに落としてあるものだけできる限り復元します。

サーバのHDDがヤバい

motoi — Wed, 18 Nov 2009 16:36:46 +0000

ウチのサーバで使っているHDDの一つがヤバいことに。
smartdから警告メールが来てました。

内容はこんな感じ

This email was generated by the smartd daemon running on:

host name: motami.net
DNS domain: net
NIS domain: (none)

The following warning/error was logged by the smartd daemon:

Device: /dev/sdb, FAILED SMART self-check. BACK UP DATA NOW!

For details see host’s SYSLOG (default: /var/log/messages).

You can also use the smartctl utility for further investigation.
No additional email messages about this problem will be sent.

SMART値を見てみると不良セクタが増えまくっている！
ちなみに、システムやユーザディレクトリ（メール等）は別のHDDなので、最悪これが壊れても全体が停止することはありません。
壊れた場合被害を受けるデータは、データベースの定期バックアップ、ユーザディレクトリの定期バックアップ、後はFTPの共有ディレクトリのデータです。
バックアップのデータは消えても実害はありませんが、共有のデータは今のところ退避先が無いので、新しいHDDに乗せかえる前に死んだ場合はなくなります・・・。

実際のSMART値は↓を。

●不良セクタ関連で注意すべき項目
・05　「Reallocated Sectors Count」　代替処置(データを特別に予約した予備エリアに移動する)を済まされた不良セクタ(読込み不能の領域)の数。
・C4　「Reallocation Event Count」　　不良セクタから代替セクタへのチェック回数。
・C5　「Current Pending Sector Count」　現在異常があって代替処理を保留中のセクタの数。後で読み込みに成功したセクタがあれば、この値は減少する。
・C6　「Off-Line Scan Uncorrectable Sector Count」　　オフラインスキャン時に訂正できなかった回復不可能セクタ数。
・C7　「CRC Error Count」接続ケーブル不良・コネクタ異常。
（2ch自作板 WesternDigital製HDD友の会 Vol.88より引用）

[Reallocated_Sector_Ct]がやばいことになってます。いつファイルを読めなくなってもおかしくない状態かと。
そしてC5、C6も増えてます。これも調子がよければ数年使って0のままってのが大体普通です。

正常なHDDのSMART値（通電時間5000時間強）

Windowsなので表示方法が若干違いますが、こちらは05、C4～C7すべて0です。

ちなみにこのHDD、友人が2台まとめて同じ店で買って、そのうちの1台を貰ったものなんですが、その友人のHDDも当初から不調で頻繁にPIO病になったりしていたようです。
ハズレロットだった可能性が高そうです・・・。
もう初期不良交換の期間過ぎてしまったし、修理に出すとなると1ヶ月くらいでしょうか・・・。
幸いGreenHouseの箱物だったので、代理店の3年保障＋RMAが付いてました。（取り扱った代理店によって、保障内容が変わる。ちなみにCFD系の場合はRMAすら付いていない。詳しくはこのあたりを）

とりあえず近日中に新しいHDDを買って乗せ変えようと思いますが、
WDもSeagateも1.5TBのモデルは評判がよろしくない・・・。
HGSTは1.5TBの機種自体が無い・・・。
ここは思い切ってSAMSUNG？？ｗ

FreeNASでNAS製作 (2)ソフトウェア編

motoi — Fri, 19 Dec 2008 17:27:50 +0000

ってわけで結果からいこう。
Windows機から今回FreeNASで組んだRAID5アレイの読み書きの結果。

なかなか早い！
今まで使ってたI-Oのクソ茄子(RAID5)は読み書きともに150Mbps程度だったから、
書き込みで2倍、読み込みで3倍弱の速度向上。
クライアント側のNICをIntelのGbEボードとかに変えればもっと早いかも（？）

とりま、簡単な構築手順のメモを。

まずはインストール。

１．FreeNASのブートイメージを焼いたCDから起動

２．数ステップでUSBメモリにインストール
※ここで問題発生

　gunzip: stdout: Broken Pipe 　Meet a problem during file copying. 　Unmount CDRom...

こんな感じのエラーが出てUSBメモリにインストールできない。
調べてみると、ML115で同様のエラーの人のBlogを発見。
どうやらCDからブートし終わった後にUSBメモリを刺せばインストールできるらしい・・・。
なんか気持ち悪いけどそれでいけた・・・。

３．インストールしたUSBメモリから起動

４．IPアドレスを設定しリブート

ここまで来れば後は別PCのブラウザからFreeNASサーバにアクセスし、Web設定画面から設定できます。で、何を設定するかと言うと

初めにSystem→Generalあたりで
・UIの日本語化
・ホスト名の設定
・タイムゾーンの設定
あたりを設定しておきます。その他項目はお好みで。

その後、ディスク、RAIDアレイ周りをディスクメニューから設定。
１．ディスクマネージメントからディスクを追加
２．フォーマットからすべてのディスクをSoftwareRAIDでフォーマット
３．ソフトウェアRAIDからRAIDアレイを作成
※今回の環境では６～７時間かかりました。アレイのビルド中も操作・読み書き出来ます。
４．マウントポイントからマウントポイントを追加

RAIDアレイが出来たら、ユーザを追加して、サービスの設定をします。
必要に応じてSMBとかFTPとかSSHとかその辺を設定すればおｋ～。

Web設定画面はこんな感じ

メモリ表示がちょっとおかしい。7MB中420%・・・？

HDDの温度表示

温度はなかなか低めでいい感じ。（室温23度）
ML115のエアフローがボチボチいいのと、WD10EADSの発熱の低さのおかげかな。どちらかといえば後者のほうが大きい希ガス。

で、クライアントマシンでネットワークドライブに割り当ててみました。

とりあえず、こんなもんかな。
自分で使える領域は4750GB（=4424GiB）
このNASでまた2年戦う。

【総評（ソフトウェア編）】
FreeNASは思っていたよりも手軽でコンパクトだった。
が、その分機能は予想より少なかった。
個人的な感想としては、RAID周りはわかりやすくて○、SMB周りは設定が柔軟にできず△といったところ。
とはいえ、パフォーマンスも良いし、その辺で売られているRAID5のNAS製品よりも使い勝手もよく安定しているように感じた。
設定ファイルはxmlフォーマットでWeb設定画面からDL出来、ブートドライブが飛んでもそのファイルがあればRAIDアレイまで復元できる。また、ブート用のUSBメモリのコピーを作成しておけばブートドライブの障害にすぐに対処できる。
手軽にそこそこ高信頼なNASを作りたい人にはオススメ。
いろいろと機能を求めるなら、多少（いや、かなりか）面倒でもLinux/UNIXで組んだほうが良いかも・・・？
今後のバージョンアップに期待したい。

FreeNASでNAS製作 (1)ハードウェア編

motoi — Fri, 19 Dec 2008 16:08:10 +0000

最近安くなってきた1TBのHDDを4本買って、FreeNASでSoftwareRAID5のNASを作ってみた。
とりあえず、組んだのはもう1ヶ月くらい前になるが、製作日記を書いてみるテスト。

HDD：WD10EADS 1TB*4 =￥36,308
鯖：ML115 G5=￥14,220
USBメモリ：手持ち（SLC 1GB）
合計：￥50,528

大体5万円。
今はHDDがもっと下がってさらに安くなっている・・・。

組み込んでみるとこんな感じ。
ご存知のとおり、ML115G5は起動時ジェット機のような爆音が・・・。これじゃあ夜中に再起動もできません。
ってわけで背面FANは後日交換。9センチ1600rpmのFANを取り付けました。

結果、起動時の音はジェット機からヘリコプターくらいに。
起動後はだいぶ静かでこれならつけっぱで寝れる。

で、内部にUSBポートがあるので（SATAポートの上、銀色に光っている端子）ここにブート用USBメモリをさしました。一応耐久性を考慮してSLCタイプの1GBを使用。

設置。左がmotamiの鯖で右が今回のNAS。埃はちゃんと掃除しましたｗ
motami鯖のDELL SC440は最初から静かでいい感じ。

【総評（ハードウェア）】
ML115 G5は爆音以外はなかなかいい。
今回はNASだったのでCPUパワー、メモリは必要ないってことでこれを選んだけど、
鯖機としてはDualCoreCPU搭載のDELL鯖とかのほうがコストパフォーマンス良さそう。
ML115はやっぱりVGAとnon-ECCメモリ積んでWindows入れるのが正しい使い方です。
しかし、最近のHPの端末にはよく”MADE IN TOKYO”ってシールが貼ってあるけど、これって東京で組み立ててるだけで国内で作られた部品なんてほぼ皆無だろうに・・・。

WD10EADSは実は回転数可変ではなく5400rpm固定らしいけど、静かで低発熱、シーケンシャルアクセスはなかなか早い。
データ保管用ならオススメ。メインマシンにも一つ買ってしまったよ。
最近はWDかなりいい感じ。
Seagateは買うたびハズレしかひかないから当分はHitachiとWDだろうなー。

では次回はソフトウェア編、お楽しみに・・・。