F's Garage：モバツイのDBサーバが壊れた

author：えふしん

藤川真一について

モバツイの中の人
（株）想創社（そうそうしゃ）社長
人の良いジョンカビラと言われます。

AMN sponsor rolls

ツイッターやるなら

【モバツイッター】

ツイッターを楽しむ必須サービス！

そして、

iPhoneでもモバツイ

iMovatwitter

寄付の募集を開始しました。 | MovaTwitter開発者blog

for iPhone App

世界で人気iPhoneアプリを探す

Google Friend Connect

このカテゴリ[Web系]の最新30件

Web Creation Awardsにノミネートされました。携帯Webのクッキー利用について調べてみたメモ【update】 twitterドラマと今後のツイッターデジハリの杉山学長賞をいただきました。日経電子版を流行らせる一つの思いつき商品の良さとリンクは、１４０文字で伝えなさいツイートの流速とremoveの関係性セミッターをアップデートしてテストしてみた報告 UStreamを見ながら書いたつぶやきの翌日の反応のがっかり感について。ネット配信 vs 紙 vs 放送 Twitterに流れるツイートの半分は英語以外で、日本語がトップデジハリ同窓会が、とても印象的だった件 twitterは、負からの復活の活動に向いているメディアである。 twitterおすすめユーザー、フォロワー20万人の力。ワーナー作品のオンデマンド配信サービス「ワーナーオンデマンド」動画ベーススライドプレゼンよりも、スライドベース動画プレゼンの方がWeb向き。 mixiアプリやるならAmazon EC2 モバツイが月間1億PV到達の見通しツイッターとはなんぞや？のわかりやすい回答ツイッターか？ブログか？思考の整理学【Best Mobile Based Twitter App】モバツイッターがTOP5にノミネートされました。投票のご協力を！【敵はtweetie2】【Best Mobile Based Twitter App】モバツイッターのOpen Web Awardsへの投票のご協力をお願いします！モバツイッターが日経ビジネスアソシエに掲載されました。ネットビジネスで商標は大事です。 twitterによって世界が集約され心の戦争が起きるおまとめマンxTwitterキャンペーンセカイカメラは、21世紀のネットスケープになるか？！「食事中なう」が無意味だと？あれ?ライフログってなんだか意味わかってる？岡田有花さんに取材された！ EC2のロードバランサーのIPアドレスが変わる罠
[このカテゴリをもっと見る]

F's Garage関連

->えふしんポータル
milkstand.netポータルページ

->自分用ネット情報検索
私が購読している情報検索

->作ってみたもののまとめ

->えふしんのモバクリ(思いついたことをメモするモバイルクリップボード）

->隔月でイベントを行っています

Syndicate this site (XML)

想創社

■お知らせ

第8回 Web Creation Awardsにノミネートされました。7/9までの一般投票に是非ご協力ください！
⇒投票はこちら

February 17, 2009

モバツイのDBサーバが壊れた[Web系]

何故か障害は出社中に集中する。

会社のエレベーター待ちでモバツイにアクセスすると、いつもと違うエラーメッセージ。

家にいる奥さんに画面を見てもらうと、「execption EMASK」のような文字が出てるとのこと。このキーワードで検索すると、あのHDD突然死のニュースが。

Seagate Barracuda 7200.11のファームウェア問題：ぴろにっき：So-net blog

例の突然死なのかなー。でも、おいらのDBのHDDは、「ST3160815AS」だよ。

「7200.11」じゃなくて、「7200.10」の方。

だからあのニュースが出たときも安心してたんだ。

なお、Webサーバも同じ機種。スペアHDDがあるからわざわざ同じ機種を買った。

こっちも死ぬのか？

現在はモバツイや、このblogのシステムであるMovableTypeのDBも、レプリケーション先のバックアップサーバの方に接続するように変更したからとりあえずサービスは動いてる。

でも、バックアップサーバ（PowerEdge 430C / celeron 2.5GHz）は、今のモバツイのアクセス数には非力でメインのDBサーバと同じぐらい負荷をかけるとCPU使用率がほぼ100%に張り付いてて、サービスに影響が出ていたので、いくばくかのサービスや機能を止めているのが今の状況。

ということで、この状況は長く続けたくないので、帰りにHGSTあたりのHDDを２台ばかし買って帰るしかないかなぁ…。

ファームウエアのアップデートで直ったらうれしいし、Linuxの場合はRAIDが片方死んだだけでOSが落ちるケースもあるそうなので、もしかしたらスペアをつければ直るのかもしれないけど、何も買わずに家に帰って、一晩失うのはもったいない。

今回は年末作業でレプリケーション環境をちゃんと作っておいたのが功を奏し、1hも止まらずにサービスを復旧させてるけど、現状、うちのサーバ環境で、これが止まるとヤバイと言うあたりを自分のためにメモしておく。

１．SSHの接続先サーバが止まったら何もできなくなる。

⇒接続サーバを冗長化しておくべき。NATの設定が変えられないと、フロントのサーバが死んだらにっちもさっちもいかなくなる。
⇒TODO

シリコンディスクによるLinuxマシン欲しいし、どこでもLAN（VPN）経由でWindows環境を常時接続可能にしておくのでも良いかも。

２．DNSサーバが止まったら家の中から障害の切り分けができない。

⇒DNSサーバは分離したいなぁ。DNSが止まると電話越しに何も確認できん。

３．ハブ故障やLANケーブル切断、ルーターが止まったら障害切り分け不可

⇒これはしょうがない。家に帰るまでサービス停止。
先日、実際にハブが壊れて家に帰った。（今日も早退したいよ）

４．Apacheのサーバが止まったらバックアップサーバのapacheに切り替える。
ただしファイル古い。

⇒家にあるMacBookProを組み合わせれば復旧可能だが、普段からちゃんとrsyncしておくべき。
⇒TODO

５．DBサーバが止まったら、バックアップサーバで稼動可能

⇒イマココ

６．バックアップサーバが壊れたら、何個かの機能は止まるが全体に影響なし。

⇒直す。

７．メールサーバが止まると悲しい。

⇒エラーメールが戻る分なら死ぬほど困るわけではない。
普段からフッターにセカンドアドレスを書いておくと良いのかも。⇒TODO

８．ハード構成を外部にメモしておくこと。

出勤中に壊れて何を買って帰ればいいかがわからなくなるケースがありそう
⇒TODO

正直言って、こんな日は仕事にならん！

------------------
追記：
画面上のエラーメッセージを写真で送ってもらった。

HDD(sdc1)のエラーみたいですね。sdc1って、多分、RAIDの片翼だよなぁ・・・。
とりあえず何も買わずに家に帰ってみようかな。

------------------
追記2：
結局、ただのRAIDの片方のHDDが死んだだけというオチでした。

写真を送ってもらって原因が見えていたので、鳥料理屋さんで親子丼を食べて家に帰ってスペアのHDDでRAIDを復旧させ、さきほど2時のバッチが終わったのを見計らってモバツイの緊急メンテを入れる形で、バックアップの更新分をマスターに反映して復旧しました。

RAID1の一台が壊れただけでOSが止まるなんてのは、Windowsなどでは考えられない現象ですが、Linuxだとそういう事もあるみたいです。別に全部のLinuxが落ちるわけではないので、結局、RAIDのチップやらドライバに依存するのでしょうか？！

ソレよりも驚いたのはDBサーバに使っていたHDDは、思っていたHDDと違っていたこと。160GBのドライブかと思ったら、120GBの「7200.7」の世代のシーゲートのHDDでした。こりゃただのHDDの寿命だったかも。ということで、きっと、残り一台のドライブも先行き長くないと思うので、割と最新めの500GBプラッタのHDDを2台注文しました。RAIDは台数を買うので単価が安いことは重要ですね。

Seagate ST3500410AS　500Gプラッタモデル！　500GB　SATA接続3.5型内蔵ハードディスク
特価 5,280円