FrontPage  Index  Search  Changes  Login

[ITPASS2010]サーバ交換作業

[ITPASSサーバ構築ドキュメント へ戻る]

概要

ITPASS サーバでは, 毎年 9-10 月に管理・運営技術と後継者育成を目的として, サーバの再構築を行っている.

ITPASS サーバは本サーバと予備サーバの 2 台体制で運用しており, 以下の手順で再構築を行うこととなる.

なお, 入替え前のサーバと入替え後のサーバのホスト名はそれぞれ old, new である. new と old は適宜読み替える.

  1. new に OS とサーバソフトウェアのインストール (期間: 1 週間〜 1ヶ月)
  2. 下記の入れ替え日には ITPASS サーバを停止することとなるため, 停止アナウンスを数度行う (入替え日の 2 週間前から当日 30 分前まで).
  3. old と new の入替え (期間: 半日〜 1 日)

前日作業

home 領域を old から new へ転送

サーバ交換作業当日にも同様の作業を行うが, その際の時間を短縮するために行う.

公開鍵認証の際のセキュリティ設定の変更 (通信許可)

まず new 側の old に対する通信許可の設定を行う.

最近の OpenSSH では, デフォルトでは root のログインを許可しないため, 設定を変更する. old の /etc/ssh/sshd_config で,

PermitRootLogin no

という部分を

PermitRootLogin yes

に変更する. さらに, 任意のコマンドを実行出来るように, 

PermitRootLogin forced-commands-only

という部分があればコメントアウトする. その後,

old# /etc/init.d/ssh restart

として設定を反映すること. これにより, root のログインを許可することとなる.

rsync で転送されるファイルの確認

/root/.ssh/ の秘密鍵でログインするため, まず以下の作業を行う.

old$ sudo -s -H
old# cd /root

いきなり rsync コマンドを実行すると予期せぬ間違い (転送元と転送先の設定を間違って, 転送先のファイルを全て消してしまう等) が起こりうるため, まずは rsync コマンドに -n オプションをつけて実行する. -n オプションをつけて実行すると, 実際のファイルの転送は行わずに, 転送されるはずのファイルのリストが出力される.

  • rsync する際, gate の home 領域や, tako のみに存在する chikuwa* の home, aquota.user ファイルまで ika に同期してしまわないよう オプション --exclude で除外する.
  • 外部記憶装置にあるファイルが転送されることのないように -x というオプションを加える.

  • ここでは一度ファイルリストを /tmp ディレクトリ以下に出力し, 確認してから実際の転送を行うこととする. 

    root@old:~# rsync -n -av --delete -e ssh --exclude chikuwa* -x   
             --exclude=aquota.user --exclude=gate /home/new-itpass.scitec.kobe-u.ac.jp: 
             /home/ 2>&1 | tee /tmp/rsync_old2new.log

ここでは 3 行に分けて書いているが, 実際には 1 行で入力する. なお, rsync に関するオプション (-av, --delete, -e 等) については, rsync(1) 等を参照のこと. また, "/home" と "/home/" では転送内容が異なるため注意しなければならない.

上記コマンドの動作の終了後, /tmp/rsync_old2new.log を見て, 転送される予定のファイルを確認する. もし予期しないファイルが削除, 転送されてしまわれる場合には, --exclude オプションを使用してそのファイルは転送対象から除外すること.

なお, 上記コマンドを実行すると, 

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

という警告が出て, リストは適切に出力されない場合がある. これは, old に登録されている new の指紋が, known_hosts に書かれている指紋と一致していないために生じる. この場合, 警告に続くメッセージで指摘された行にある new の指紋を削除し, 上記コマンドを実行する.

Warning: Permanently added the RSA host key for IP address '<new の IP アドレス>' to the list of known hosts.

というメッセージが出て, new の指紋が known_hostsに登録されるので, 再び上記コマンドを実行すると公開鍵認証を行うことができる.

rsync でファイルを転送

rsync で転送されるファイルの確認 で確認したコマンドから -n オプションを除いたコマンドを実行する.

実行後, new 内の /home 以下にファイルが転送されていることを確認すること. 最後に, 公開鍵認証の際のセキュリティ設定の変更 (通信許可)で行なった設定を元に戻す.

当日作業

phase 0 (入替え前)

入れ替えを開始する (サービスを停止する) 30 分前には告知する.

new の DNS キャッシュの TTL を変更

TTL を入替え作業時間よりも十分に短い時間に変更する.

  • localhost.rev, localhost.zone

    $TTL 3600

    を

    $TTL 300

    に変更.

  • 各ファイルの serial を 更新する.

phase 1 (入替え開始)

old のサービス停止

  • http (https), qmail, tcpserver (smtp), inetd (pop3)
    • サービス停止作業

      • apache2, qmail, tcserver, openbsd-inetd に関して, 以下のコマンドで, サービスを一時的に停止する. ただし, 再起動すると再びこれらのサービスも起動してしまうため, 作業途中で再起動の必要性が出てしまった場合は注意. 永続的にサービスを停止する作業は phase 3 で行う.

        old# /etc/init.d/apache2 stop
old# /etc/init.d/qmail stop
old# /etc/init.d/tcpserver stop
old# /etc/init.d/openbsd-inetd stop
  • ssh などでのログインユーザが居る場合, プロセスを削除
    • ps aux コマンドで確認後, そのようなプロセスがある場合に, kill <プロセスID> とする.

phase 2

old から new へ各種データをコピー

  • root のログインを許可するため, 設定を変更する.

    new の /etc/ssh/sshd_config で,

    PermitRootLogin no

    という部分を

    PermitRootLogin yes

    に変更. また任意のコマンドを実行できるように, 

    PermitRootLogin forced-commands-only

    という行があれば, コメントアウトする. その後,

    new# /etc/init.d/ssh restart

    として設定を反映すること. これにより, root のログインを許可することとなる.

  • old の /var/spool/cron/crontabs 以下の各ファイルを new へコピー

    • scp コマンドで移す際には, パーミッションやグループ等の設定を変えてしまわないように注意 (オプション p の使用). 
    root@old-itpass:/var/spool/cron# scp -p -r crontabs root@new-itpass:/var/spool/cron/
  • old の /etc/shadow のユーザ部分を new へコピー (注意)

    • old, new に別々の仮想端末でログインする.

      new の /etc/shadow を/etc/shadow~にバックアップ. old の /etc/shadow のユーザー部分 (UID が 1000 〜 29999 までのもの. UID とユーザ名の対応については /etc/passwd) を参照.

      このファイルをそのままコピーすると, new での構築作業用アカウントが消えるので, old と new を比較して, UID が new にない UID が 1000 〜 29999 までのものを目視でコピーする.

  • /home ディレクトリを rsync する

  • 作業後に, new 側の old に対する通信制限の設定を行う.

    先ほど, old から new に rsync でファイルを転送するために, root のログインを許可したので, 設定を変更して元に戻す.

    /etc/ssh/sshd_config の

    PermitRootLogin yes

    という部分を

    PermitRootLogin no

    に変更したのち, 

    new# /etc/init.d/ssh restart

    として設定を反映することにより元に戻す.

    • old の authorized_keys を編集

      • new-itpass の公開鍵の行の冒頭に以下を加える.

        command="rsync --server -vlogDtpr --delete . /home/",no-pty,from="old-itpass.scitec.kobe-u.ac.jp", no-port-forwarding,no-X11-forwarding,no-agent-forwarding

    • ファイル名を authorized_keys.bk に変更し, root ログインを完全に拒否するようにする.

  • old の /usr/local/qpopper/pop.auth を new へコピー

    old$ cd /usr/local/qpopper/
old$ sudo cp pop.auth ~/
old$ sudo chown hoge:hoge pop.auth
(hoge は適宜, 適当なユーザ名に変更すること)
old$ sudo scp pop.auth new:
old$ slogin new
new$ cd /usr/local/qpopper
new$ sudo mv pop.auth pop.auth~
new$ sudo mv ~/pop.auth .
new$ sudo chown pop:mail pop.auth
new$ ls -l
new$ rm pop.auth~
new$ exit
ホスト名と IP アドレスの変更

old と new のホスト名と IP アドレスを入れ替える. また, この作業は phase 2 の一番最後に行う.

  • ホスト名の変更

    • 編集するファイル
      • /etc/hostname
      • /etc/hosts
      • /etc/mailname
      • /etc/gate/gate.conf
      • /etc/exim4/update-exim4.conf.conf
      • /usr/local/bind/etc/namedb/localhost.zone
      • /usr/local/bind/etc/namedb/localhost.rev
      • /var/qmail/control/defaulthost
      • /var/qmail/control/me
    # grep ika (または tako) /etc/*

    等で古い名前が残っていないか検索しながら作業すること.

  • IP アドレスの変更

    /etc/hosts と /etc/network/interfaces 内の IP アドレスを入れ替える.

    設定後

    old --> 133.30.109.21
new --> 133.30.109.22

  • ネットワークの再起動

    設定の変更後, ネットワークを再起動する. 

    # /etc/init.d/networking restart

phase 3

これ以降、new と old が入れ替わるので注意すること.

old の設定変更

再起動したため, まず, old のサービスを再び停止する.

  • bind の設定変更

    bind を止めてサーバ起動時に bind が立ち上がらないように、起動スクリプトを変更する.

    root@old-itpass:/etc/init.d# /etc/init.d/bind stop
root@old-itpass:/etc/init.d# update-rc.d -f bind remove

  • qmail の設定変更

    外から来たメールを受け取らないように, さらに cron のログメールを飛ばすのに必要な設定だけにするため, /var/qmail/control 以下の locals, rcpthosts を以下のように変更した. 移行が終わったら起動する.

    変更前

    localhost
ika.scitec.kobe-u.ac.jp
itpass.scitec.kobe-u.ac.jp
epa.scitec.kobe-u.ac.jp
aoe.scitec.kobe-u.ac.jp 
cps.scitec.kobe-u.ac.jp

    変更後

    localhost
  • http (https), pop3

    • apache2, openbsd-inetd に関して, 以下のコマンドによって OS が起動する際に立ち上がらないようにしておく. <service> には上記のサービス名を与える.

      # cd /etc/init.d
# update-rc.d -f <service> remove
# chmod 644 <service>

    • 余談だが, これら停止したサービスを再開する場合には, 以下のようにするとよい.

      # cd /etc/init.d
# update-rc.d <service> defaults
# chmod 755 <service>
  • 確認作業
    • 再起動を行い, ps aux コマンドで停止したはずのサービスが立ち上がっていないことを確認する.

new の設定変更

  • qmail の設定変更

    /var/qmail/control 以下の locals, rcpthosts, defaultshost, me が以下のように変更されているかチェックする. されていない場合は以下のように編集する.

    localhost
ika-itpass.scitec.kobe-u.ac.jp
itpass.scitec.kobe-u.ac.jp
epa.scitec.kobe-u.ac.jp
aoe.scitec.kobe-u.ac.jp 
cps.scitec.kobe-u.ac.jp

    qmail-showctl(8) で設定を確認.

  • qmail の再起動

    /etc/init.d/qmail restart

  • メーリングリスト毎の bouncer 設定

    メーリングリストのエラーメール転送設定が行われているかチェックする. この作業が必要なメーリングリストは,

    itpass-ml_at_itpass.scitec.kobe-u.ac.jp

    である. ただし, "_at_" はアットマークである. /home/itpass/ml/ml-crtl/bouncer が以下のように変更されていることを確認する. されていない場合は以下のように編集する.

    &itpadmin_at_itpass.scitec.kobe-u.ac.jp
|/usr/local/ezmlm/bin/ezmlm-weed
|/usr/local/ezmlm/bin/ezmlm-return -D '/home/itpass/ml/ml-ctrl'
  • bind の設定変更

    • namedb のバックアップを作成(日付は適宜変更)

      root@new-itpass:/usr/local/bind/etc# cp -r namedb namedb-20101029

    • サーバ起動時に bind が立ち上がるよう, 起動スクリプトを変更する.* 

      root@new-itpass:/usr/local/bind/etc# update-rc.d bind defaults

      ここで LSB の警告が出た場合, 以下を /etc/init.d/bind の冒頭に追記する．

      ### BEGIN INIT INFO
# Provides:          bind9
# Required-Start:    $remote_fs
# Required-Stop:     $remote_fs
# Should-Start:      $network $syslog
# Should-Stop:       $network $syslog
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Start and stop bind9
# Description:       bind9 is a Domain Name Server (DNS)
#        which translates ip addresses to and from internet names
### END INIT INFO

      その後, update-rc.d -f bind remove を実行してから, もういちど update-rc.d bind defaults を実行し, 警告が出ないことを確認する.

    • resolv.conf の書き換え

      /etc/resolv.conf を以下のように書き換える．これにより再起動後から new はフルサービスリゾルバとなる．

      nameserver 127.0.0.1
#nameserver 133.30.14.2                      
#nameserver 133.30.14.3                      
#nameserver 133.30.8.2
search scitec.kobe-u.ac.jp
  • 以下のサービスが定常的に立ち上がるように設定する.
    • http(https), tcpserver(smtp), inetd(pop3)

確認作業

サーバ交換作業が終わったら, 再起動して 以下の確認作業を行う.

  • old　

    ps aux コマンドで, http (https), bind, inetd (pop3) が起動していないことを確認.

  • new

    ps aux コマンドで, http (https), bind, tcpserver (smtp), inetd (pop3) が起動していることを確認.

phase 4

移行の最終チェック

移行の最終チェックを行う.

  • new
    • http: 表示できるか
      • 表示できないページがある場合は, /usr/local/apache2/conf/httpd.conf にそのページの領域の行があるか確認する. もしなければ, 書き加える.
    • hikiに書き込めるか
    • gate による登録や変更は可能か
    • bind: 問い合わせに応じるか, 正しいデータを返すか
    • pop: メールをとってこれるか
    • smtp: メールを出せるか, 受け取れるか
    • mailing list: メールが配送されるか
  • old
    • http: 無効になっているか
    • bind: 問い合わせに応じるか, 正しいデータを返すか
    • pop: 無効になっているか
    • smtp: submit は有効にするが, 受け取らない設定になっているか
      • cron のログが管理者に届くようになっているか
  • new の smtp や Mailing list の確認は Mail の構築の際と同じような手順で チェックする(qmail-inject で外にメールが届くか, 外からメールを送って届くか, Mailing list にメールを送って届くか).
  • pop の確認の準備
    • new での作業
      • new の利用者は自分の new のアカウントで, .qmail の設定と Mailbox を作成.
      • popauth コマンドを行ってパスワードを作っておく作業をする.
    • メールを受け取る new 以外の計算機での作業
      • メーラーの設定は pop サーバ, smtp サーバはどちらも itpass.scitec.kobe-u.ac.jp にする.
      • 認証形式は APOP で, 暗号化は pop も smtp も無しにする.
      • 受信のときにパスワードを要求されるので, popauth で作成したパスワードを入力する.

phase 4.5

電脳サーバへのバックアップの確認

ITPASS サーバの資源は, 毎日電脳サーバへバックアップされている. cron によって毎日実行されているそのシェルスクリプトが正常に作動しているか試行する.

電脳サーバへログインし, 

$ sudo -u kobe -s

によって kobe になり, kobe のホームディレクトリに移動. そこで,

$ ./itpass_rsync_epa2dennou.sh -n
$ ./epalab_rsync_epa2dennou_yyh.sh -n

を実行する. その後, 出力されたログを確認する.

$ cd ./itpass_rsync_epa2dennnou_log
$ less itpass_rsync_epa2dennnou.log
$ cd ../epalab_rsync_epa2dennnou_log
$ less ./epalab_rsync_epa2dennnou.log

2 つとも正常に出力されていれば OK.

後日の作業

  • 要らないファイルの削除

    運用開始から 1 週間をめどに, 参考のために old からコピーしたファイル類を削除する. また emacs で編集した際の一時ファイル(ファイル名~　など)もあれば削除する.

  • new の DNS の TTL を元に戻す.

    この項目は DNS 管理者の意向によっては行わなくてもよい.

    • /usr/local/bind/etc/namedb のバックアップとして /usr/local/bind/etc/namedb-XXXXXXXX (バックアップする日付) を作成. その際にそれより古い namedb のバックアップがあれば削除しておく.
    • /usr/local/bind/etc/namedb/{localhost.zone, localhost.rev} の$TTLを300から3600に変更. serial も更新.

    • bind を再起動.

      /etc/init.d/bind restart

  • 再構築作業用 chikuwa* ユーザの削除

    userdel -r [アカウント名]

    で, ホームディレクトリも一緒に削除できる.

    • visudo から chikuwa* を削除する.

[ITPASSサーバ構築ドキュメント へ戻る]

Last modified:2011/11/25 12:18:04
Keyword(s):
References:[[ITPASS2010]サーバ交換作業(DNS, gate)] [[ITPASS2010]2010年度サーバ構築ログ] [[ITPASS2011]サーバ交換作業] [[ITPASS2011]サーバ交換作業(DNS)] [[Memo2011][ITPASS]サーバ交換作業(DNS, gate)]

最近の更新

2024-04-09
2024-04-08
2023-10-04
2023-08-16
2023-08-09
2023-08-08
2023-08-07
2023-08-06
2023-08-05
2023-08-04

Generated by Hiki 2.0.0.pre1 (2014-08-13).
Powered by Ruby 2.7.4-p191 (2021-07-07).
Founded by IT pass members.