2010年5月アーカイブ

特にお気に入りな計算機である、SGI Fuel。
MPUにMIPSを搭載した素敵な計算機なのですが、
現在Linuxは動作しません。
動作するOSは純正UnixのIrixのみ。

しかし、OpenBSD4.6にてFuelが正式にサポートされました。
Linuxから一時離れ、久しぶりにBSDを入れてみました。

先日、OpenBSD4.7がリリースされたので、その導入手順です。

今回は、CDからブートし、FTPインストールとしました。

ブートCDは、適当なミラーから、sgi/cd47.isoを
ダウンロードし焼いて、ドライブに挿入してください。。

今回は、ftp://ftp.jaist.ac.jp/pub/OpenBSD/4.7/sgi/ を使いました。


1) 「System Maintenance」にて「Enter Command Monitor」を開きます
　※電源ON後に「Stop for Maintenance」からSystem Maintenanceに入れます
　※Irixが起動した場合は、電源OFFなしでシャットダウンします

2) BSDを起動するための環境変数を設定します
>> setenv osloader boot
>> setenv osloadfilename /bsd
>> printenv
>> exit

3) 「Install System Software」から「Local CD-ROM」を選択
　CDからの起動が始まります。

4) OpenBSDをインストール
　普通にインストールするのみ。
　FTP接続先は「ftp.jaist.ac.jp」を使いました。
　ちなみに、FuelのモデルIP35ではなく、IP27が入ります。

5) インストール後、再起動し完了
　最後にいつもの。
dmesg


これで、Irixがなくても、
Fuelだけ入手すれば楽しむことができるわけですね。
赤い筐体とMIPSが超ｶｯｺｲｲ！

公式
http://www.openbsd.org/sgi.html

先日のiSCSIストレージリプレイスの際、その上で動いていた仮想マシンの移行は、
OVF形式にエクスポートして、新ストレージへデプロイしました。

この時、動的MACアドレスを利用していると、移行前後でMACアドレスが
変わってしまうために、ネットワークがつながらなくなってしまいます。

そんなわけで、OVFエクスポートする前に、
MACアドレスを削除てから仮想マシンを停止します。

●RedHatとかCentOS
/etc/sysconfig/network-scripts/ifcfg-eth0 のHWADDR行を削除

●DebianやUbuntuやSUSE
/etc/udev/rules.d/70-persistent-net.rules  を削除

●Solaris
よくわかってないけど、これといった操作は不要らしい（そう聞いたけど調べてない


注意点としては、NICが複数接続している場合は、
eth0とかeth1の順番が入れ替わる可能性があるってこと。

本メンテナンスは無事完了しました。
期間中、WEBサーバーは、2時間半程度停止しておりました。

また、身内向け非公開サーバーの一部は現在も停止中です。

=========================================
以下の通り、メンテナンスのためアクセス不能となります。

ウィンドウ：2010年5月8日（土）13時～17時

では、N7700PROを10GBASE-Tで繋いだときのベンチマークです。

サーバーには、Phenom II X4に換装した、HP ML115 G5を、
Windows Server 2008 R2にて、CrystalDiskMark 3.0.0bを実施。

テストデータのサイズは、ストレージのメモリにキャッシュされた時の
結果を見るため50MBと、キャッシュされない4000MBを実施。
10Gにすると、RAIDによる速度の差がでてきます。


●JBOD iSCSI（参考）


●RAID5 iSCSI（ディスク7本使用）


●RAID6 iSCSI（ディスク7本使用）


●RAID10 iSCSI（ディスク6本使用）


●RAID0 iSCSI（ディスク7本使用）


●RAID0 CIFS（ディスク7本使用）



●結果まとめ
・サイズ50MBでは、キャッシュによりRAIDによる変化なし
・300～400MB/s出ており、10Gの効果絶大
・RAID5と6では大差なし
・RAID10の方がRAID5/6よりWriteが速い
・RAID0は断トツで速いけど、ディスク故障が怖いから使わない
・CIFS（NAS）よりiSCSIの方が結果速い

以上より、RAID10とiSCSIで本番稼動させることにしました。
2TBのディスクが7本、ウチ1本をホットスペア。
論理容量は6TBと十分だし、リビルドにかかる時間を考えても
やっぱりRAID10かなと。

Thecus N7700PROやN7700+は10G Readyで、
PCI-Express x8が搭載されております。

現在対応している10G NICは以下の4枚。

Intel X-520 DA2
Intel X-520 SR1, SR2
Tehuti ENW-9800

そう、先日購入したIntel 10G AT2は対応しておりません。

しかし、Intel X-520とAT2のドライバはともに
ixgbeなので同じです、動きます。
とゆーわけで、N7700PROで無理矢理AT2を動かす話。

AT2をN7700PRO(v3.01.01)に挿して起動しても動きませんでした。
起動時にドライバがロードされないみたいです。
そのため手順は、
1) SSHでログインできるようにする
2) SSHでログインして、ドライバのロードとIP設定
と簡単です。


1) SSHでログインできるようにする

こちらページから、SSHDとSYSUSERの最新のモジュールを
ダウンロードし、N7700PROの管理WEBから、インストールします。

インストール完了後、2つとも有効にします。
これで、アカウント名sysで、SSH接続できるようになりました。




2) SSHでログインして、ドライバのロードとIP設定

アカウント名sys、（初期）パスワードsysにて、
N7700PROのIPに対してSSHで接続します。

●ixgbeドライバのロード
 # insmod /opt_extern/driver/net/ixgbe.ko

●IPアドレスの設定
 # ifconfig geth0 【設定するIPアドレス】 netmask 255.255.255.0
※インターフェースはgeth0となります




以上、簡単です。
ただし、今回の設定では、N7700PROを起動するたびに、
ドライバのロードとIPアドレスの設定が必要となります。
（どこかの起動スクリプトで、ドライバロードできればもしかしたら）
また、WEB管理画面にて追加LAN1の設定は利用できません。

次のエントリにて、10Gベンチマーク。

2010年2月5日（金）朝5時、ビープ音が目覚ましでした。
UPSのビープ音かなと見てみると音の主は、
Thecus N7700というストレージ。
自宅サーバー（VMwareESXi）で利用している
止めてはいけないストレージなのです。

どうせディスクが壊れたのだろう考え確認すると、
「cpu fan has failed」
CPUファンが壊れてるし、これはストレージ停止する必要があるなと。

ただし、季節は冬、CPUの温度は二十数度ととても低い。
アラートを止めて再就寝。

もちろんこの日は、午前休をいただきました。


さてさてさて、CPU温度を無視できるのは今の内。
夏になる前に対処しなければなりません。
その方法は3つ。

1) メーカーへセンドバック修理依頼
　→何日停止しなければならないんだ、無理

2) CPUファンをアキバで買ってきて自分で修理
　→1,2時間の停止ですむ

3) ストレージをリプレイス
　これだ！N7700PROも出たことだし、2TBのディスクも安くなってきたし


とゆーわけで、N7700PROを購入し、リプレイス後は、現行のN7700を
バックアップ用に利用することとしました。

搭載ディスクはHCLの記載のある、日立のDeskstar 7K2000 HDS722020ALA330。
こちらを7本。純粋に14TBだし、すごい時代になったわ。

消費電力は、
ディスクなしで、31Watts
ディスク7本で、90Watts
ディスクが結構電気喰います。。。

最後にベンチマーク。

●RAID0 iSCSI



●RAID5 iSCSI



RAID0の方がWriteが速いはずなのに、0と5でほとんど差がない。
転送量も100MB/sだし、1000BASET-Tの限界に見えます。
とゆーわけで、次は10Gだ！

Thecus N7700PRO オフィシャル