技術メモ

お久しぶりです。
いきてます。

さて、前回論理ボリュームを９つ作りました。
一つを動作確認してみましょう。

フォーマットを行い、マウントし、hdparmで速度を調べます。
mkfs.ext3 /dev/VolGroup00/lv01
cd /mnt/
mkdir lv01
mount /dev/VolGroup00/lv01 lv01 -t ext3
echo "TEST" > /mnt/lv01/test
cat /mnt/lv01/test
hdparm -Tt /dev/VolGroup00/lv01

/dev/VolGroup00/lv01:
Timing cached reads: 792 MB in 2.00 seconds = 395.73 MB/sec
Timing buffered disk reads: 162 MB in 3.02 seconds = 53.63 MB/sec

うーん、まぁまぁ？
マシンスペックにも依存しますね。

テストして満足したので、マウント解除。
umount /mnt/lv01

iscsitargetを導入し、iSCSIの接続を受け付けます。
aptitude install iscsitarget

設定ファイルを書いてiscsitargetの再起動をすると、公開されます。
IncomingUserとかOutgoingUserを設定すると、接続に認証を求めるようになります。
渡す値の一つ目がＩＤ、二つ目がパスワードの構成です。
下記の例だと、iscsiがＩＤでiscsi!がパスワードです。
なお、Target側のパスワードは１２～１６文字とされています。
そうしないと、クライアント側にてはじかれます。
あと、多分この設定ファイルの書き方（主にLunの辺りとか）は、あまり推奨されない気がします。
詳細は自己責任にて調べてくださいませ。
vi /etc/ietd.conf

IncomingUser iscsi iscsi!
OutgoingUser iscsi iscsi!

Target jp.co.alleycat.iscsi1:storage.lv01
Lun 0 Path=/dev/VolGroup00/lv01,Type=fileio
IncomingUser lv01 lv01!
OutgoingUser lv01 lv01!

Target jp.co.alleycat.iscsi1:storage.lv02
Lun 0 Path=/dev/VolGroup00/lv02,Type=fileio
IncomingUser lv02 lv02!
OutgoingUser lv02 lv02!

Target jp.co.alleycat.iscsi1:storage.lv03
Lun 0 Path=/dev/VolGroup00/lv03,Type=fileio
IncomingUser lv03 lv03!
OutgoingUser lv03 lv03!

Target jp.co.alleycat.iscsi1:storage.lv04
Lun 0 Path=/dev/VolGroup00/lv04,Type=fileio
IncomingUser lv04 lv04!
OutgoingUser lv04 lv04!

Target jp.co.alleycat.iscsi1:storage.lv05
Lun 0 Path=/dev/VolGroup00/lv05,Type=fileio
IncomingUser lv05 lv05!
OutgoingUser lv05 lv05!

Target jp.co.alleycat.iscsi1:storage.lv06
Lun 0 Path=/dev/VolGroup00/lv06,Type=fileio
IncomingUser lv06 lv06!
OutgoingUser lv06 lv06!

Target jp.co.alleycat.iscsi1:storage.lv07
Lun 0 Path=/dev/VolGroup00/lv07,Type=fileio
IncomingUser lv07 lv07!
OutgoingUser lv07 lv07!

Target jp.co.alleycat.iscsi1:storage.lv08
Lun 0 Path=/dev/VolGroup00/lv08,Type=fileio
IncomingUser lv08 lv08!
OutgoingUser lv08 lv08!

Target jp.co.alleycat.iscsi1:storage.lv09
Lun 0 Path=/dev/VolGroup00/lv09,Type=fileio
IncomingUser lv09 lv09!
OutgoingUser lv09 lv09!

今日はLVMを構成します。
まずは、LVMをインストールします。
aptitude install lvm2

モジュールをロードして、使用可能状態にします（？）
（・・・このコマンドなんで使うのだったっけかしら・・・）
modprobe dm-mod

RAIDディスクをVLM用に初期化します。
pvcreate /dev/md0
pvcreate /dev/md1

それぞれに、こんな返答があれば良いです。
Physical volume "/dev/md0" successfully created
Physical volume "/dev/md1" successfully created

LVMで使用可能状態になっているデバイス一覧を表示します。
pvscan
現在md0とmd1が使用可能になってるので、結果はこんな感じです。
PV /dev/md0 lvm2 [232.88 GB]
PV /dev/md1 lvm2 [232.88 GB]
Total: 2 [465.77 GB] / in use: 0 [0 ] / in no VG: 2 [465.77 GB]

ボリュームグループを作成します。
vgcreate -s 32m VolGroup00 /dev/md0 /dev/md1
Volume group "VolGroup00" successfully created

この状態でLVMで使用可能状態になっているデバイス一覧を表示するとこんな感じになります。
vgscan
Reading all physical volumes. This may take a while...
Found volume group "VolGroup01" using metadata type lvm2
Found volume group "VolGroup00" using metadata type lvm2

ボリュームグループを確認すると、こんな感じです。
vgdisplay
--- Volume group ---
VG Name VolGroup00
System ID
Format lvm2
Metadata Areas 2
Metadata Sequence No 1
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 0
Open LV 0
Max PV 0
Cur PV 2
Act PV 2
VG Size 465.75 GB
PE Size 32.00 MB
Total PE 14904
Alloc PE / Size 0 / 0
Free PE / Size 14904 / 465.75 GB
VG UUID u73bU7-bwHx-I8fb-fnOI-RLP9-Jjhx-qoG2RL

ボリュームグループが出来たら、論理ボリュームを作成します。
50Gづつを9個、合計450G分作りました。
lvcreate -i 2 -L 50g -n lv01 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv02 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv03 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv04 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv05 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv06 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv07 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv08 /dev/VolGroup00
lvcreate -i 2 -L 50g -n lv09 /dev/VolGroup00

出来上がった論理ボリュームを確認します。
lvdisplay

--- Logical volume ---
LV Name /dev/VolGroup00/lv01
VG Name VolGroup00
LV UUID m18AoT-dsqz-dT0d-xevK-Ohxw-mSRF-QbR0qt
LV Write Access read/write
LV Status available
# open 0
LV Size 50.00 GB
Current LE 1600
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 253:0
こんな内容が、９つ分どどどっとでてきます。

ボリュームグループを確認すると、ちょっとだけ数値が変化してます。
vgdisplay
--- Volume group ---
VG Name VolGroup00
System ID
Format lvm2
Metadata Areas 2
Metadata Sequence No 10
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 9
Open LV 0
Max PV 0
Cur PV 2
Act PV 2
VG Size 465.75 GB
PE Size 32.00 MB
Total PE 14904
Alloc PE / Size 14400 / 450.00 GB　←　論理ボリューム分使われた。
Free PE / Size 504 / 15.75 GB　←　あまり
VG UUID u73bU7-bwHx-I8fb-fnOI-RLP9-Jjhx-qoG2RL

今日はココまで。
次は論理ボリュームをiscsiで公開します。
その先は、iscsiをマウントして使うのもあります。

まず、RAID1の構築
md0とmd1で作成します。
mdadm --create /dev/md0 -v --raid-devices=2 --level=raid1 /dev/sdb1 /dev/sdc1
mdadm --create /dev/md1 -v --raid-devices=2 --level=raid1 /dev/sdd1 /dev/sde1

構成を確認します。
cat /proc/mdstat

こんな感じです。
Personalities : [raid10] [raid1]
md1 : active raid1 sde1[1] sdd1[0]
244195904 blocks [2/2] [UU]

md0 : active raid1 sdc1[1] sdb1[0]
244195904 blocks [2/2] [UU]

デバイスのUUIDを確認します。
mdadm --detail --scan
ARRAY /dev/md0 level=raid1 num-devices=2 UUID=d2b2b38c:a2839986:d3f63cad:8d7be3ce
ARRAY /dev/md1 level=raid1 num-devices=2 UUID=2347dc27:b3112f23:d3f63cad:8d7be3ce

詳細を確認
mdadm --detail /dev/md0
/dev/md0:
Version : 00.90.03
Creation Time : Thu Mar 18 17:57:08 2010
Raid Level : raid1
Array Size : 244195904 (232.88 GiB 250.06 GB)
Used Dev Size : 244195904 (232.88 GiB 250.06 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Thu Mar 18 20:44:31 2010
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

UUID : d2b2b38c:a2839986:d3f63cad:8d7be3ce (local to host iscsi1.takeda.kit.co.jp)
Events : 0.4

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1

もう一つも確認
mdadm --detail /dev/md1
/dev/md1:
Version : 00.90.03
Creation Time : Thu Mar 18 17:57:28 2010
Raid Level : raid1
Array Size : 244195904 (232.88 GiB 250.06 GB)
Used Dev Size : 244195904 (232.88 GiB 250.06 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 1
Persistence : Superblock is persistent

Update Time : Thu Mar 18 20:11:10 2010
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

UUID : 2347dc27:b3112f23:d3f63cad:8d7be3ce (local to host iscsi1.takeda.kit.co.jp)
Events : 0.4

Number Major Minor RaidDevice State
0 8 49 0 active sync /dev/sdd1
1 8 65 1 active sync /dev/sde1

設定情報を保存します。

mdadm -D --scan >> /etc/mdadm/mdadm.conf

今日はRAID二つ作っておしまい。
続きはまたじかい。

iSCSIを使ってみたいです。
でもiSCSIを搭載した筐体が高いです。
条件としてはこんな感じです。
・搭載可能HDD4台で、最大2台までのHDD故障に耐えうる筐体
　(RAID5/RAID6/RAID10)
・WEBインターフェースによる管理ができる
・ある程度の高負荷に耐えられる
HDD込みで、大体10万位の想定となります。

遊び(?)でやるには、ちと高いです。
とりあえずRAID構成のiSCSIが欲しかったので、あまっている古い機体にDebian乗せてiSCSItargetを動かすことにしました。

使用するマシンはIBM ThinkCentre S50 Smallです。
http://www-06.ibm.com/jp/domino04/pc/support/Sylphd12.nsf/jtechinfo/SYP0-031808B

メモリをとりあえず1G乗せてあります。
CPUは　Intel(R) Pentium(R) 4 CPU 3.00GHz

HDDを4台乗せないとなりません。
不要な5インチCD-ROMドライブを撤去し、ここに2.5インチHDDを4台をマウンタを使用して乗せる事にします。
選択肢はほぼ一つですね。
DIR-1040SS
http://www.dirac.co.jp/pcicase/dir-1040ss.html
こちらを搭載します。

s50はsata非対応で・・・ってかそもそも内蔵HDDの増設には対応していませんので、M/Bにコネクタが足りません。
なので追加します。
M/Bが古くてPCIバスしかないので、製品選びに注意が必要です。

目に入ったのが、コレ
SATA2RI4-LPPCI
http://www.kuroutoshikou.com/products/serialata/sata2ri4-lppcifset.html
PCIバスに接続し、内蔵SATAポートを4つ増やしてくれます。
RAID機能は要りません。
BIOSアップデートで落としておいてください。

RAIDを落とすと、コレと同等になります。
価格はほぼ同じ程度で売っています。
SATA2I4-LPPCI
http://www.kuroutoshikou.com/products/serialata/sata2i4-lppcifset.html

OSはUbuntu 8.04 Hardy Heron を使用します。
予めインストールは済ませてある前提とします。
インストール手順は、どっか別のサイトを参考にしてください。

mdadmコマンドを使用して、ソフトウェアRAIDを構成します。
RAID10を構成しようかと思いましたが、mdadmのgrowがRAID10に対応していないためRAID1をRAID0で結合する構成とします。
RAID0はLVMにて行います。

2.5インチHDDは、一つ250Gです。
250GのHDD二つで構成されたRAID1二つをストライピングでまとめ、500GのHDDを構成します。
その500Gを10分割し50GづつのiSCSI領域を構成します。
50Gづつに分割したのは、気分です。
深い意味はありません。
一応50Gづつに細分化する事で使用領域制限し、「ちゃんと整理しろ」とそういう意味は込めています。
あと、複数のマシンのデータ領域として使用することも想定しています。

+---+--+--+--+--+--+--+--+--+
|50G|50|50|50|50|50|50|50|50|
+---+--+--+--+--+--+--+--+--+
|      LVM / Striping       |
+----=----=---+----=----=---+
| mdadm/RAID1 | mdadm/RAID1 |
+----=-+----=-+----=-+----=-+
|2.5HDD|2.5HDD|2.5HDD|2.5HDD|
+----=-+----=-+----=-+----=-+

HDDが接続され(システム用HDD1台とRAID用4台のHDD)、以下のように接続されています。
sda:システムHDD/IDE接続
sdb:2.5インチHDD/SATA2RI4-LPPCIのポート1に接続
sdc:2.5インチHDD/SATA2RI4-LPPCIのポート2に接続
sdd:2.5インチHDD/SATA2RI4-LPPCIのポート3に接続
sde:2.5インチHDD/SATA2RI4-LPPCIのポート4に接続

fdiskコマンドを使用して、
Linux raid autodetect
のPartitionを作っておきます。

そこから作業を始めます。
おっと、続きは次回・・・。