スポンサーサイト
一定期間更新がないため広告を表示しています
このブログのテーマ:
Linuxをいじる Windowsを飼い慣らす Solarisに悩む Firefoxを使い倒す Thunderbirdを使い倒す
W-ZERO3で仕事する Mindmap(マインドマップ)で仕事する
WRC(世界ラリー選手権)を観る 車を走らせる
日常の非日常を記録する
一定期間更新がないため広告を表示しています
今回の事態を深く反省し、今後の運営において適切な作業計画の立案と効率的な毎回言ってませんか?(#-_-)
作業の進行を心掛け、ユーザーの皆様にご迷惑をお掛けすることが無いよう努め
てまいります。
【メンテナンス内容】と言っている。
・データベースハードウェア増強
・データベース処理向上
・プログラム修正
look momoch.jugem.jp ... foundin 2004100412001台増えてるー!(笑)
Name : momoch.jugem.jp (.JP | Japan)
Address : 210.172.160.47
210.172.160.49
210.172.160.46
210.172.160.50
210.172.160.61
・データ保全に最善を尽くし、検証を重ねながら作業を行ったとあり、210.172.160.61かどうかはわからないけど、新サーバで3項目の障害が起きたと思われる。
・作業終了時間について事前の検証が不足していた。
・使用予定のハードウェアに一部障害が発生した。
・作業を行う過程で、プログラムの修正作業が発生した。
look release.jugem.jp ... found
Name : release.jugem.jp (.JP | Japan)
Address : 210.172.160.46
210.172.160.49
210.172.160.47
210.172.160.50
look momoch.jugem.jp ... found in 200410041400わずか2時間の間にサーバが減った!
Name : momoch.jugem.jp (.JP | Japan)
Address : 210.172.160.50
210.172.160.46
210.172.160.47
210.172.160.49
210.172.160.46と出た。
HTTP/1.1 404 Not Found
Date: Mon, 04 Oct 2004 05:07:41 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Vary: Host
X-Powered-By: PHP/4.3.8
Last-Modified: Mon, 04 Oct 2004 05:07:34 GMT
Content-Type: text/html
X-Cache: MISS from 210.172.160.46
Connection: close
210.172.160.47
HTTP/1.1 404 Not Found
Date: Mon, 04 Oct 2004 05:08:08 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Vary: Host
X-Powered-By: PHP/4.3.8
Last-Modified: Mon, 04 Oct 2004 05:08:02 GMT
Content-Type: text/html
X-Cache: MISS from 210.172.160.47
Connection: close
210.172.160.49
HTTP/1.1 404 Not Found
Date: Mon, 04 Oct 2004 05:08:18 GMT
Server: Apache/1.3.31 (Unix)
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Last-Modified: Sun, 03 Oct 2004 12:07:24 GMT
Accept-Ranges: bytes
Content-Length: 1674
Content-Type: text/html
Connection: close
210.172.160.50
HTTP/1.1 404 Not Found
Date: Mon, 04 Oct 2004 05:08:37 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Vary: Host
X-Powered-By: PHP/4.3.8
Last-Modified: Mon, 04 Oct 2004 05:08:26 GMT
Content-Type: text/html
X-Cache: MISS from 210.172.160.50
Connection: close
210.172.160.61
HTTP/1.1 403 Forbidden
Date: Mon, 04 Oct 2004 05:09:08 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Content-Type: text/html; charset=iso-8859-1
Connection: close
Server: Apache/1.3.31 (Unix)はあるけど、
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Content-Length: 1674
Server: Apache/1.3.31 (Unix) PHP/4.3.8はない。
X-Powered-By: PHP/4.3.8
X-Cache: MISS from 210.172.160.*
HTTP/1.1 200 OK
Date: Mon, 04 Oct 2004 05:47:13 GMT
Server: Apache/1.3.31 (Unix)
Pragma: no-cache
Last-Modified: Mon, 04 Oct 2004 01:31:11 GMT
Accept-Ranges: bytes
Content-Length: 51258
Content-Type: text/html
Connection: close
HTTP/1.1 200 OK
Date: Wed, 15 Sep 2004 02:16:57 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Pragma: no-cache
Last-Modified: Wed, 15 Sep 2004 00:55:33 GMT
Accept-Ranges: bytes
Content-Length: 44825
Content-Type: text/html
Connection: close
2004/09/15 Wed 2004/10/04 Mon
210.172.160.33 : search.jugem.jp
210.172.160.34 : mysql0.jugem.jp
210.172.160.35 : jugem.jp
210.172.160.36 : cocan.jugem.jp
210.172.160.37 : mail0.jugem.jp
210.172.160.38 : users0.jugem.jp
210.172.160.39 : balancer0.jugem.jp
210.172.160.40 : manage.jugem.jp
210.172.160.41 : users1.jugem.jp
210.172.160.42 : users2.jugem.jp
210.172.160.43 : mysql2.jugem.jp
210.172.160.44 : aclog.jugem.jp
210.172.160.45 : kaela.jugem.jp
210.172.160.46 : users3.jugem.jp
210.172.160.47 : users4.jugem.jp
210.172.160.48 : mysql3.jugem.jp
210.172.160.49 : mysql4.jugem.jp
210.172.160.50 : users5.jugem.jp
210.172.160.51 : not resolved
210.172.160.52 : not resolved
210.172.160.53 : lolipop0.jugem.jp
210.172.160.54 : lolipopsql0.jugem.jp
210.172.160.55 : lolipop1.jugem.jp
210.172.160.56 : lolipopsql1.jugem.jp
210.172.160.57 : staging.jugem.jp
210.172.160.58 : dispatch.jugem.jp
→dns0.jugem.jp
(変化なし)
(変化なし)
(変化なし)
(変化なし)
→images0.jugem.jp
→mysql1.jugem.jp
(変化なし)
→zeus0.jugem.jp
→admin0.jugem.jp
→not resolved
(変化なし)
(変化なし)
→users0.jugem.jp
→users1.jugem.jp
→images1.jugem.jp
→users2.jugem.jp
→users3.jugem.jp
→images_db0.jugem.jp
→not resolved
→lolipop0.jugem.ne.jp
→lolipopsql0.jugem.ne.jp
→dispatch2.jugem.jp
→mysql2.jugem.jp
(変化なし)
→dispatch0.jugem.jp
210.172.160.59 : admin1.jugem.jp
210.172.160.60 : nfs0.jugem.jp
210.172.160.61 : not resolved
210.172.160.62 : dispatch1.jugem.jp
210.172.160.63 : db.diary.ne.jp
210.172.160.64 : cnt.diary.ne.jp
210.172.160.65 : ping.diary.ne.jp
210.172.160.66 : backup.diary.ne.jp
210.172.160.67 : img.diary.ne.jp
210.172.160.68 : www.diary.ne.jp
210.172.160.69 : www2.diary.ne.jp
210.172.160.70 : www3.diary.ne.jp
210.172.160.33 : search.jugem.jp→dns0.jugem.jpたぶんこのsearchって、昔あったjugem.jpドメイン内サーチサーバでしょ。
[Name Server] dns0.jugem.jpとあり、dns1はjugem.jp(210.172.160.35)の別名。
[Name Server] dns1.jugem.jp
210.172.160.38 : users0.jugem.jp→images0.jugem.jpusers0は使ってなかったから、画像用のサーバに生まれ変わった。画像用のサーバってmysqlnじゃなかった?
210.172.160.39 : balancer0.jugem.jp→mysql1.jugem.jp欠番だったmysql1が登録。やっぱりロードバランサ(負荷分散制御)は無くなった模様。もともと機能してなかった(うまく動かせなかった)。
210.172.160.41 : users1.jugem.jp→zeus0.jugem.jpふわ〜。
210.172.160.42 : users2.jugem.jp→admin0.jugem.jp
210.172.160.43 : mysql2.jugem.jp→not resolved
210.172.160.44 : aclog.jugem.jp
210.172.160.45 : kaela.jugem.jp
210.172.160.46 : users3.jugem.jp→users0.jugem.jp
210.172.160.47 : users4.jugem.jp→users1.jugem.jp
210.172.160.48 : mysql3.jugem.jp→images1.jugem.jp
210.172.160.49 : mysql4.jugem.jp→users2.jugem.jp
210.172.160.50 : users5.jugem.jp→users3.jugem.jp
210.172.160.51 : not resolved→images_db0.jugem.jp
210.172.160.52 : not resolved
210.172.160.53 : lolipop0.jugem.ne.jp
210.172.160.54 : lolipopsql0.jugem.ne.jp
210.172.160.55 : lolipop1→dispatch2.jugem.jp
210.172.160.56 : lolipopsql1→mysql2.jugem.jp
210.172.160.57 : staging.jugem.jp
210.172.160.58 : dispatch→dispatch0.jugem.jp
210.172.160.62 : dispatch1.jugem.jpを含めて、dispatchサーバが3台に。ポートを長時間占有するアップロードに耐えられるようになったのかな。
355 :Trackback(774) :04/10/03 23:36:13 ID:NAFjVreI今回、ソフトウェアのアップデートがあったかどうかわからない。MySQLはアップデートされたかもしれない。ApacheとPHPはそのままのようだ。
1.テスト機で検証(チェックリスト作成/工数見積もり)
2.本番作業日の調整・アナウンス
3.本番機サービス停止
4.本番機作業前フルバックアップ
5.本番機作業開始(チェックリスト使用)
6.本番機テストユーザのみサービス開始(検証)
7.本番機作業後フルバックアップ
8.本番機サービス解放
※5や6で問題(作業遅延/障害など)あれば作業中断して4をリストア。PLが判断。
※作業後はDNS強制配信をかける。
〜初歩的なありがち事項〜
・時間が読めなくて延びてしまいがちなのは4と7。
→一時待避領域やバックアップメディアの確保を忘れないように。
→データ量から算出した予想時間は当てにしない。実際に計測すること。
・ついつい5で業者作業とSE作業をいっぺんにやってしまい、障害時に切り分けがつかない。
→作業は別の日にやること。
→ハードウェア補強とセキュリティアップデートは、利用者の空気を読んで優先順を決めること。
look momoch.jugem.jp ... found in 200410041600増えたーーー!!(w
Name : momoch.jugem.jp (.JP | Japan)
Address : 210.172.160.46
210.172.160.49
210.172.160.47
210.172.160.61
210.172.160.50
look momoch.jugem.jp ... found何度も正引きすると、46と49と50の出てくる順番が変わる。ふーん…。
Name : momoch.jugem.jp (.JP | Japan)
Address : 210.172.160.47
210.172.160.46
210.172.160.49
210.172.160.50
look release.jugem.jp ... found一緒じゃん!(#-_-)
Name : release.jugem.jp (.JP | Japan)
Address : 210.172.160.50
210.172.160.46
210.172.160.49
210.172.160.47
look release.jugem.cc ... foundうんうん、これなら別サーバだから見ることはできそう。
Name : release.jugem.cc (.CC | Cocos (Keeling) Islands)
Address : 202.222.28.197
look staff.jugem.cc ... foundよしよし。
Name : staff.jugem.cc (.CC | Cocos (Keeling) Islands)
Address : 202.222.28.197
210.172.160.46 : users3.jugem.jp (.JP | Japan)usernってのはみんながブログを共通して使ってるサーバなんだろうなぁ。たぶんVirtual Hostか。
210.172.160.47 : users4.jugem.jp (.JP | Japan)
210.172.160.49 : mysql4.jugem.jp (.JP | Japan)
210.172.160.50 : users5.jugem.jp (.JP | Japan)
HTTP/1.1 403 Forbiddenどれも全部同じ。
Date: Wed, 15 Sep 2004 02:12:30 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Content-Type: text/html; charset=iso-8859-1
Connection: close
HTTP/1.1 200 OKApacheのVirtual Hostデーモンが返してきたモノかな。
Date: Wed, 15 Sep 2004 02:16:57 GMT
Server: Apache/1.3.31 (Unix) PHP/4.3.8
Pragma: no-cache
Last-Modified: Wed, 15 Sep 2004 00:55:33 GMT
Accept-Ranges: bytes
Content-Length: 44825
Content-Type: text/html
Connection: close
まず、旧JUGEMのシステムを使っているJUGEM開発日誌のレスポンスヘッダーをば。まず、ZeusってのはApacheと互換性があり、しかもレスポンスがいいらしいWebサーバソフト。Apacheと違い有償。
Apache/2.0.49 (Unix) PHP/4.3.3
ふむふむ。Apache/2.0系。
次に正式サービスでのレスポンスヘッダー。
Zeus/4_3
おおお、Zeusという神々しい名前に!……って、キヌガサと同じWebサーバですね。移行前のアナウンスにあったβテストから正式に変わると驚くほど快適になりますというアナウンスはWebサーバソフトの変更をさしていたんでしょう。
まあ、今回の騒動は移行プログラムのバグということなのでZeus云々は関係ないだろうけど。今つながらないのはDNSの問題だし。
ただ、データ消失は気になるなぁ。完全復旧ができないようなデータの壊れ方って、何なんだろう?データベースのバックアップとかもないのかな?
210.172.160.33 : search.jugem.jp (.JP | Japan)なんだかいっぱい引けた。
210.172.160.34 : mysql0.jugem.jp (.JP | Japan)
210.172.160.35 : jugem.jp (.JP | Japan)
210.172.160.36 : cocan.jugem.jp (.JP | Japan)
210.172.160.37 : mail0.jugem.jp (.JP | Japan)
210.172.160.38 : users0.jugem.jp (.JP | Japan)
210.172.160.39 : balancer0.jugem.jp (.JP | Japan)
210.172.160.40 : manage.jugem.jp (.JP | Japan)
210.172.160.41 : users1.jugem.jp (.JP | Japan)
210.172.160.42 : users2.jugem.jp (.JP | Japan)
210.172.160.43 : mysql2.jugem.jp (.JP | Japan)
210.172.160.44 : aclog.jugem.jp (.JP | Japan)
210.172.160.45 : kaela.jugem.jp (.JP | Japan)
210.172.160.46 : users3.jugem.jp (.JP | Japan)
210.172.160.47 : users4.jugem.jp (.JP | Japan)
210.172.160.48 : mysql3.jugem.jp (.JP | Japan)
210.172.160.49 : mysql4.jugem.jp (.JP | Japan)
210.172.160.50 : users5.jugem.jp (.JP | Japan)
210.172.160.51 : not resolved
210.172.160.52 : not resolved
210.172.160.53 : lolipop0.jugem.jp (.JP | Japan)
210.172.160.54 : lolipopsql0.jugem.jp (.JP | Japan)
210.172.160.55 : lolipop1.jugem.jp (.JP | Japan)
210.172.160.56 : lolipopsql1.jugem.jp (.JP | Japan)
210.172.160.57 : staging.jugem.jp (.JP | Japan)
210.172.160.58 : dispatch.jugem.jp (.JP | Japan)
HTTP/1.1 200 OK…。
Date: Wed, 15 Sep 2004 02:34:19 GMT
Server: Apache/2.0.49 (Unix) PHP/4.3.3
X-Powered-By: PHP/4.3.3
Content-Type: text/html; charset=EUC-JP
Connection: close
.linktext .amazon_text strong {を追加。
font-weight:normal;
}
.entry_des img{
background: #fff;
border-top: 1px solid #ccc;
border-left: 1px solid #ccc;
border-bottom: 1px solid #666;
border-right: 1px solid #666;
float: left;
margin: 0px 10px 5px 0px;
padding: 5px;
}
.entry_body img{
background: #fff;
border-top: 1px solid #ccc;
border-left: 1px solid #ccc;
border-bottom: 1px solid #666;
border-right: 1px solid #666;
margin: 0px 10px 5px 0px;
padding: 5px;
}
⇒ KOHEI (02/01)
⇒ momoch (01/28)
⇒ ドリフト (01/27)
⇒ sac (12/13)
⇒ 風水太郎 (11/27)
⇒ momoch (09/20)
⇒ sac (09/19)
⇒ momoch (08/29)
⇒ longkey1 (08/28)
⇒ momoch (08/27)