ttp://http://www.gnusolaris.org/gswiki >GNU/Linuxシステム（GNU/Linuxオペレーティングシステム、略してGNU/Linux）は、
>Linuxカーネルを中心にGNUプロジェクトによるソフトウェアなどを追加して一般のオペ
>レーティングシステム(OS)としての機能を持たせたものである。
どう読めばそんな解釈になるんだ？
GNUソフトとLinuxカーネルを組み合わせてOSとしてまとまった物をGNU/Linuxと呼ぶ。
「GNU/Linux」とわざわざ書いてるのに何でカーネルその物を指す事になるんだ馬鹿
リーナスもじゃぁそれでいいよ、と言ってるだけ。
その決定に従わないといけない理由は無いし法的拘束力も持たない
カーネルがLinuxでGNUのツール類を含んでいてもGNU/Linuxと
名乗らず単にLinux OSとしてもなんら問題は無い。
ってことに変わり無いだろう。
GNU/Linuxと表記してる時点でGNUツールとLinuxカーネルを使ってるオペレーティングシステム
uname -o
カーネルだけならLinux
uname -s
カーネルとカーネルのリリースバージョン
uname -sr
libcにGNU libc(glibc)を使う時のbinutilsとgccのtarget triplet
[cputype]-[foo]-[kernel api]-[gnu]
i686-pc-linux-gnu となる
これでlibcを構築すると[libc]/[kernel api]
glibcのソースに #define UNAME_SYSNAME "$uname_sysname" があり
この$uname_sysnameに "GNU/Linux" という値が渡される
newlibやuClibcやdietlibはsysnameはあるがuname_sysnameでunameをコールしないので
uname -o は unknown となる。
AndroidはLinuxじゃないと言い張ってるような奴がunix板にもいるとは驚きだ
>i686-pc-linux-gnu となる
例えば i686-pc-linux-gnu となる
i686-foo-linux-gnu とすれば
gccはi686-foo-linux-gnu-gcc
--- 言葉足らずだった ---
上位アプリケーション層にGNUツールを多用してもlibcソースを弄らない限り
GNU/Linuxにはならない。
Nextenta入れてないんで教えてちょんまげ
どうすればいいのでしょうか？
convmvとか追加できるリポジトリありますか？
NexentaCoreで、ローカルHDDのStripeのシーケンシャルで1GB/s超えるの何台か試しててみた
(実際には10台構成で一番パフォーマンスと容量稼げれるの調べてた)
ちょっと長いので複数レスで
機器構成はこんな感じ
CPU Intel Xeon X3430
Motherborard SuperMicro X8SIA-F
Memory DDR3 ECC Reg 1066 8GB x2
SAS Card LSI SAS 9211-8i x2
HDD Hitachi HTS725032A9A364 x1 (システム)
HDD ST32000542AS x12 (データ)
HDD OCZ-VERTEX2 x1 (ZIL)
上段が書込で下段が読込
819212+0 records in
819212+0 records out
107375755264 bytes (107 GB) copied, 172.482 seconds, 623 MB/s
819212+0 records in
819212+0 records out
107375755264 bytes (107 GB) copied, 118.597 seconds, 905 MB/s
rzid0 10disk zil=on sync=standard
819212+0 records in
819212+0 records out
107375755264 bytes (107 GB) copied, 160.833 seconds, 668 MB/s
819212+0 records in
819212+0 records out
107375755264 bytes (107 GB) copied, 107.543 seconds, 998 MB/s
rzid0 10disk zil=on sync=always
819212+0 records in
819212+0 records out
107375755264 bytes (107 GB) copied, 651.956 seconds, 165 MB/s
819212+0 records in
819212+0 records out
107375755264 bytes (107 GB) copied, 101.959 seconds, 1.1 GB/s
107375755264 bytes (107 GB) copied, 135.414 seconds, 793 MB/s
107375755264 bytes (107 GB) copied, 111.699 seconds, 961 MB/s
rzid0 12disk zil=on sync=standard
107375755264 bytes (107 GB) copied, 137.056 seconds, 783 MB/s
107375755264 bytes (107 GB) copied, 94.5409 seconds, 1.1 GB/s
rzid0 12disk=on zil sync=always
107375755264 bytes (107 GB) copied, 650.655 seconds, 165 MB/s
107375755264 bytes (107 GB) copied, 89.1089 seconds, 1.2 GB/s
おまけ
rzid0 8disk zil=none sync=standard
107375755264 bytes (107 GB) copied, 200.98 seconds, 534 MB/s
107375755264 bytes (107 GB) copied, 157.039 seconds, 684 MB/s
rzid0 8disk zil=on sync=standard
107375755264 bytes (107 GB) copied, 206.048 seconds, 521 MB/s
107375755264 bytes (107 GB) copied, 144.314 seconds, 744 MB/s
rzid0 8disk zil=on sync=always
107375755264 bytes (107 GB) copied, 653.034 seconds, 164 MB/s
107375755264 bytes (107 GB) copied, 133.252 seconds, 806 MB/s
基本インストール後のデフォルトの設定
echo zfs_txg_timeout/W0t2 | mdb -kw
だけ弄ってます
zilだけは本体のAHCIに繋いでますが、zpool組んでるHBAはLSIの方で分散するようにしてます
sync=alwaysのときはzilの速度で律速されちゃいますね。
dd if=/dev/zero of=/rzpool/test bs=128k count=hoge
でやった関係で、sandforceの圧縮が効いてる状態なので150MB/sくらいでてますが、
通常だと60MB/sくらいが限界です。
あと、10台でのRAIDZ2とか同様にベンチ取ってるんですが、見たい人います？
10本とかでRAIDZはどうなんだろうとは思ってたけど、stripeオンリーなら
ディスク増やせば増やす程速度あがるもんなのね。基本的な事しらんかった。
もしかしてパリティありでもディスク数に比例して速度はあがり続けるのかな？
>あと、10台でのRAIDZ2とか同様にベンチ取ってるんですが、見たい人います？
という事で期待age
パリティ有りでも速度上がりますよ。
recordsizeが128kでつくってるんですが、
RAIDZだと
データ2台+パリティ1台
データ4台+パリティ1台
データ8台+パリティ1台
って作りかたした方が良いみたいです。
RAIDZ2だとパリティ2台・RAIDZ3だとパリティ3台
Sunのブログにも書いてありました。
国内だと意外とこれ気にしてないBlogの書き込みが多いのが・・・
少ない台数での計測はしてないので、またやってみようかと。
個人で普通に使われてる方の7台くらいまでのRAIDZ3とかあたりまで。
うちは、コストパフォーマンスと信頼性とパフォーマンスで10台のRAIDZ2で行こうと思ってますが。
って、ことで今回測ったのを全部上げときます。
rzidz 9disk zil=none sync=standard
107375755264 bytes (107 GB) copied, 196.033 seconds, 548 MB/s
107375755264 bytes (107 GB) copied, 156.482 seconds, 686 MB/s
rzidz 9disk zil=on sync=standard
107375755264 bytes (107 GB) copied, 202.732 seconds, 530 MB/s
107375755264 bytes (107 GB) copied, 130.954 seconds, 820 MB/s
rzidz 9disk zil=on sync=always
107375755264 bytes (107 GB) copied, 668.026 seconds, 161 MB/s
107375755264 bytes (107 GB) copied, 147.301 seconds, 729 MB/s
rzidz2 10disk zil=none sync=standard
107375755264 bytes (107 GB) copied, 194.102 seconds, 553 MB/s
107375755264 bytes (107 GB) copied, 153.917 seconds, 698 MB/s
rzidz2 10disk zil=on sync=standard
107375755264 bytes (107 GB) copied, 199.149 seconds, 539 MB/s
107375755264 bytes (107 GB) copied, 148.802 seconds, 722 MB/s
rzidz2 10disk zil=on sync=always
107375755264 bytes (107 GB) copied, 697.82 seconds, 154 MB/s
107375755264 bytes (107 GB) copied, 149.023 seconds, 721 MB/s
rzidz3 11disk zil=none sync=standard
107375755264 bytes (107 GB) copied, 200.391 seconds, 536 MB/s
107375755264 bytes (107 GB) copied, 131.458 seconds, 817 MB/s
rzidz3 11disk zil=on sync=standard
107375755264 bytes (107 GB) copied, 209.996 seconds, 511 MB/s
107375755264 bytes (107 GB) copied, 153.123 seconds, 701 MB/s
rzidz3 11disk zil=on sync=always
107375755264 bytes (107 GB) copied, 703.802 seconds, 153 MB/s
107375755264 bytes (107 GB) copied, 128.195 seconds, 838 MB/s
rzidz 5disk + stripe zil=none sync=standard
107375755264 bytes (107 GB) copied, 174.329 seconds, 616 MB/s
107375755264 bytes (107 GB) copied, 162.514 seconds, 661 MB/s
rzidz 5disk + stripe zil=on sync=standard
107375755264 bytes (107 GB) copied, 176.913 seconds, 607 MB/s
107375755264 bytes (107 GB) copied, 146.656 seconds, 732 MB/s
rzidz 5disk + stripe zil=on sync=always
107375755264 bytes (107 GB) copied, 669.213 seconds, 160 MB/s
107375755264 bytes (107 GB) copied, 149.27 seconds, 719 MB/s
rzidz2 6disk + stripe zil=none sync=standard
107375755264 bytes (107 GB) copied, 183.205 seconds, 586 MB/s
107375755264 bytes (107 GB) copied, 174.629 seconds, 615 MB/s
rzidz2 6disk + stripe zil=on sync=standard
107375755264 bytes (107 GB) copied, 186.545 seconds, 576 MB/s
107375755264 bytes (107 GB) copied, 139.735 seconds, 768 MB/s
rzidz2 6disk + stripe zil=on sync=always
107375755264 bytes (107 GB) copied, 679.659 seconds, 158 MB/s
107375755264 bytes (107 GB) copied, 137.285 seconds, 782 MB/s
あと、テストでRAIDZの3台/5台構成、RAIDZ2の4台/6台構成、RAIDZ3の5台/7台構成
mirrorストライプの2/4/6/8/10/12台構成・ストライプの2-9台構成測ってみます。
運用入っちゃうとこんなこと出来なくなるので、出来る間にやっておきますｗ
乙乙
raidz3で11diskとか凄いな。しかも結構な速度が出るもんだね。
ウチはEONでraidz5diskで組んでるけどwriteがCPUで頭打ちになっちゃってるな。
ただ読み込みも100MB/s超がやっとだから他にボトルネックが存在してるんだろうけど。
乙ありです。
RAIDZ3でもスピードは出るんですが、resilvereが鬼のように時間かかるようになりますのでご注意を。
2Tx10台のRAIDZ2使用率が80%超えてる状況で体験したときは、一週間くらいかかりましたから。
個人用ストレージのそんなに対してアクセスのない状況でそれですからね。
実際シーケンシャルだけだから、randomが絡むとどーなるかが測ってみたいんですが・・・
fioでやればできそうなんだけど、スキルが足らないのですよ orz
台数増えればパリティ計算の量が増えるので、CPUが速くないとパフォーマンス上がらないですね。
前はXeon X3430 ではなくて、Athlon X4 605e だったんですが、ここまでパフォーマンスでなかったです。
2Tx10台のRAIDZ2で300MB/sくらいだった気が。
ZFSも万能じゃないですね〜。まだ実用上resilveredした事なかったけど、そんなに時間かかるとは・・・
1GB程度のwriteでCore2Duo2.8GHzでもCPU負荷が100%に張り付くので、CPU食うな〜と思ってたら、
Athlon X4 605eでもパフォーマンス出ないとは・・・
次のファイルサーバ組む時はCPUはよく考えま〜す^^;
resilvered中でも一応読込はパフォーマンス出ます
書き込みはzilを外だししてなかったら、多分すげー遅くなりますがｗ
resilveredは、業務で使うならraidz/raidz2の台数を少なめの5台とか6台にし、
そのグループ複数作りstripeしてやるのが良いんじゃないかーと思います。
容量稼ぎながらパフォーマンス出すとなるとですが。
Sunの資料や、個人的な経験則ですけど。
やっぱり、台数増えるとパリティ計算の量が増えるのと、パリティディスクの量が増えると
計算量が増えるので。
あと、今回のzfsのスピードですが、CPUだけの話でも無いとは思います。
Xeonの方はCPU直結のPCIe x16のスロットの方へHBA使っての接続だったりしますし。
XeonとAthlon系でのIO周りのアーキテクチャの違いもありそうですし。
今回自宅の環境のSANのアーキテクチャを変更してるんですが、1GbE->InfiniBand
なので帯域が一気に増えるから、なるべく速度だしたいんですよ。
iSCSIを使用するかSRPを使用するかのパフォーマンスのチェックもしたいですしｗ
そちらの環境のお話ですが、
C2Dの2.8G使用サーバへのWriteが1GBファイルを書き込みってことですかね？
ネットワーク越しか、ローカルでの話かがいまいちわからんのですが、100%張り付きは
どっか別にボトルネックがあるのではないかと。ローカルで測ってみてどのくらいでます？
参考までに、FreeBSDベースの物でZFSguruってソフトがあるんでｓが、それのベンチ
を見てると、C2D E8400でraidzされてるののローカルディスクへのベンチで300MB/s
くらいでWrite出来てるっぽいです。
ttp://http://hardforum.com/showthread.php?t=1546137&page=4 確かにそれが実現されると大分CPU側に余裕が出来そうですね。
似たようなアプローチでzfs ver31の暗号化はSandyBridgeだとCPUで処理できるんでしたっけ？
>書き込みはzilを外だししてなかったら、多分すげー遅くなりますがｗ
な、なるほど。zilとか全然考えてなかったですが、これからNFS or iSCSIでVMイメージも格納しようと思ってるので検討しようかと。
>resilveredは、業務で使うならraidz/raidz2の台数を少なめの5台とか6台にし、
いまんとこ業務でそんな大容量ストレージを使う予定が無いですが、必要になったら参考にさせてもらいます〜
>Xeonの方はCPU直結のPCIe x16のスロットの方へHBA使っての接続だったりしますし。
>今回自宅の環境のSANのアーキテクチャを変更してるんですが、1GbE->InfiniBand
あ、あのどんだけ金かけてるんですか？（汗 回答不要
ウチの環境については、ちゃんと書いてなかったですがメインはセレ430、メモリ8GB、WDの2TB×5。
Express5800 110GeにメモリとHDD換装しただけの物ですね。もちろんセレ430がすんごいボトルネックでネットワーク越しにCrystalDiskMark使ってみた。
Sequential Read : 51.228 MB/s
Sequential Write : 38.991 MB/s
Random Read 512KB : 47.131 MB/s
Random Write 512KB : 40.691 MB/s
上でread100MB/s出るとか書いてたけど勘違いだったみたい。
リアルタイムで見てると、瞬間的に出る程度。
で、検証用でCore2DuoE7400(2.8GHz×2)、メモリ8GB、zpool用で寒村640GB×3を積んでるのがあるんだけど、
こっちでもIdleが0に張り付くって話でした。
しかしローカルと、ネットワーク越しの速度測ろうとして起動したら、何故かIdleが20前後のまま・・・
prstatで見てもCPU食ってる原因わからず。
時間のある時に試してみますわ〜
OS自体がサポートしているバージョンが、あげたいバージョンをサポートしてない、という意味ならyes
NexentaCoreでsyspoolのバージョン上げるって意味だったらNO
grubをバージョンアップ後にリブートするまでにローダをバージョンアップしないと駄目。
うちは、これに気づくまでえらいはまりました。
NexentaStorの方だったらどうなるんだろう？
今は使ってないのでよくわからないです。
どっちでも、外部公開用のプールなら問題なし。
さんが答えてる前提だけど
NFS or iSCSIですと、多分ZIL Diskがないと逆にIOPS稼げないかと
iSCSIでの書き込み見てると細かいブロック単位でのIOが頻発するので、
zilが別になってないと、単純にDiskIOSPに引っ張られて遅くなります。
なので、小さいIOが速いSSDが推奨なんですわ
zil diskに分離しちゃうと上のベンチででてますけど、書き込み速度が
SSDの速度で律速されちゃいます。
逆に zil offって手段もありますけど、まだそのテストまでたどり着いてません
ネットワーク環境はヤフオクなりebayなりで安い中古・新品で揃えてるんで、
たぶん想像されてる金額とは桁が一つ以上違うと思いますｗ
サーバ関係は、ML110G6とかのいわゆる安鯖で組んでるので、そっちもそんなに
所詮、給料やっすいサラリーマンなんでｗ
セレ430 だと完全にCPUがボトルネックですねｗ
うちのベンチ中のintrstatですけど、複数CPUあると割り込みを各CPUにわけて
くれるのでCPUをQuadなりに変更をお勧めします
device | cpu0 %tim cpu1 %tim cpu2 %tim cpu3 %tim
-------------+------------------------------------------------------------
ahci#0 | 0 0.0 0 0.0 0 0.0 134 0.2
hermon#0 | 0 0.0 0 0.0 0 0.0 0 0.0
igb#0 | 0 0.0 1 0.0 1 0.0 0 0.0
mpt_sas#0 | 0 0.0 5334 4.1 0 0.0 0 0.0
mpt_sas#13 | 0 0.0 0 0.0 6534 4.9 0 0.0
C2Dの方は
ttp://https://defect.opensolaris.org/bz/show_bug.cgi?id=12799 の感じかなー？
/etc/power.confのcpupmをcpupm enable poll-modeへ変更して pmconfig実行してみるとどうでしょう？
(量があるのは勘弁してください)
raidほげ ほげdiskの何も付いてないのはzil diskなしのsync=standardです。
raid0 1disk
34359738368 bytes (34 GB) copied, 458.454 seconds, 74.9 MB/s
34359738368 bytes (34 GB) copied, 297.087 seconds, 116 MB/s
raid0 1disk sync=standard
34359738368 bytes (34 GB) copied, 463.082 seconds, 74.2 MB/s
34359738368 bytes (34 GB) copied, 297.507 seconds, 115 MB/s
raid0 1disk zil sync=always
34359738368 bytes (34 GB) copied, 471.431 seconds, 72.9 MB/s
34359738368 bytes (34 GB) copied, 296.483 seconds, 116 MB/s
raid0 2disk
34359738368 bytes (34 GB) copied, 233.72 seconds, 147 MB/s
34359738368 bytes (34 GB) copied, 151.109 seconds, 227 MB/s
raid0 2disk sync=standard
34359738368 bytes (34 GB) copied, 237.421 seconds, 145 MB/s
34359738368 bytes (34 GB) copied, 150.979 seconds, 228 MB/s
raid0 2disk zil sync=always
34359738368 bytes (34 GB) copied, 249.648 seconds, 138 MB/s
34359738368 bytes (34 GB) copied, 148.128 seconds, 232 MB/s
raid0 3disk
34359738368 bytes (34 GB) copied, 152.936 seconds, 225 MB/s
34359738368 bytes (34 GB) copied, 100.948 seconds, 340 MB/s
raid0 3disk sync=standard
34359738368 bytes (34 GB) copied, 154.478 seconds, 222 MB/s
34359738368 bytes (34 GB) copied, 101.407 seconds, 339 MB/s
raid0 3disk zil sync=always
34359738368 bytes (34 GB) copied, 208.019 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 98.7654 seconds, 348 MB/s
34359738368 bytes (34 GB) copied, 114.403 seconds, 300 MB/s
34359738368 bytes (34 GB) copied, 76.7184 seconds, 448 MB/s
raid0 4disk sync=standard
34359738368 bytes (34 GB) copied, 120.013 seconds, 286 MB/s
34359738368 bytes (34 GB) copied, 77.2663 seconds, 445 MB/s
raid0 4disk zil sync=always
34359738368 bytes (34 GB) copied, 207.679 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 74.1959 seconds, 463 MB/s
raid0 5disk
34359738368 bytes (34 GB) copied, 99.9385 seconds, 344 MB/s
34359738368 bytes (34 GB) copied, 63.9826 seconds, 537 MB/s
raid0 5disk sync=standard
34359738368 bytes (34 GB) copied, 101.852 seconds, 337 MB/s
34359738368 bytes (34 GB) copied, 64.6448 seconds, 532 MB/s
raid0 5disk zil sync=always
34359738368 bytes (34 GB) copied, 207.193 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 62.2817 seconds, 552 MB/s
raid0 6disk
34359738368 bytes (34 GB) copied, 81.4244 seconds, 422 MB/s
34359738368 bytes (34 GB) copied, 55.0418 seconds, 624 MB/s
raid0 6disk sync=standard
34359738368 bytes (34 GB) copied, 84.7693 seconds, 405 MB/s
34359738368 bytes (34 GB) copied, 54.275 seconds, 633 MB/s
raid0 6disk zil sync=always
34359738368 bytes (34 GB) copied, 207.767 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 52.2964 seconds, 657 MB/s
34359738368 bytes (34 GB) copied, 72.3546 seconds, 475 MB/s
34359738368 bytes (34 GB) copied, 47.5575 seconds, 722 MB/s
raid0 7disk sync=standard
34359738368 bytes (34 GB) copied, 73.1588 seconds, 470 MB/s
34359738368 bytes (34 GB) copied, 47.1805 seconds, 728 MB/s
raid0 7disk zil sync=always
34359738368 bytes (34 GB) copied, 206.957 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 44.9982 seconds, 764 MB/s
raid0 8disk
34359738368 bytes (34 GB) copied, 63.6645 seconds, 540 MB/s
34359738368 bytes (34 GB) copied, 42.4252 seconds, 810 MB/s
raid0 8disk zil sync=standard
34359738368 bytes (34 GB) copied, 63.5911 seconds, 540 MB/s
34359738368 bytes (34 GB) copied, 42.2853 seconds, 813 MB/s
raid0 8disk zil sync=always
34359738368 bytes (34 GB) copied, 207.937 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 40.0296 seconds, 858 MB/s
raid0 9disk
34359738368 bytes (34 GB) copied, 56.2284 seconds, 611 MB/s
34359738368 bytes (34 GB) copied, 38.4057 seconds, 895 MB/s
raid0 9disk zil sync=standard
34359738368 bytes (34 GB) copied, 56.7143 seconds, 606 MB/s
34359738368 bytes (34 GB) copied, 37.5948 seconds, 914 MB/s
raid0 9disk zil sync=always
34359738368 bytes (34 GB) copied, 207.622 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 35.6792 seconds, 963 MB/s
34359738368 bytes (34 GB) copied, 49.5412 seconds, 694 MB/s
34359738368 bytes (34 GB) copied, 35.3997 seconds, 971 MB/s
raid0 10disk zil sync=standard
34359738368 bytes (34 GB) copied, 50.1924 seconds, 685 MB/s
34359738368 bytes (34 GB) copied, 35.551 seconds, 966 MB/s
raid0 10disk zil sync=always
34359738368 bytes (34 GB) copied, 207.413 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 32.6684 seconds, 1.1 GB/s
raid0 11disk sync=standard
34359738368 bytes (34 GB) copied, 45.0803 seconds, 762 MB/s
34359738368 bytes (34 GB) copied, 32.3663 seconds, 1.1 GB/s
raid0 11disk zil sync=standard
34359738368 bytes (34 GB) copied, 45.9531 seconds, 748 MB/s
34359738368 bytes (34 GB) copied, 31.5008 seconds, 1.1 GB/s
raid0 11disk zil sync=always
34359738368 bytes (34 GB) copied, 207.854 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 29.9955 seconds, 1.1 GB/s
raid0 12disk sync=standard
34359738368 bytes (34 GB) copied, 41.6123 seconds, 826 MB/s
34359738368 bytes (34 GB) copied, 31.4201 seconds, 1.1 GB/s
raid0 12disk zil sync=standard
34359738368 bytes (34 GB) copied, 42.2312 seconds, 814 MB/s
34359738368 bytes (34 GB) copied, 29.9809 seconds, 1.1 GB/s
raid0 12disk zil sync=always
34359738368 bytes (34 GB) copied, 207.171 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 28.2279 seconds, 1.2 GB/s
興味ある方はそちらから落としてください。
一部重複してる部分があります。
ttp://http://www1.axfc.net/uploader/File/so/69008 ディスク2台にミラー構成でinst出来るのはよいのだが、せめてパーティション切って欲しい。
そんな大量にディスク載っけられるわけでも無し。
先週触り始めたばかりです。あとパフォーマンス上こういう点に注意しろみたいなのがあったら
教えてください。
パーティション切れるようにって要望が上がってたような。
たしかに、1Disk1パーティションは無駄になっちゃう容量が大きくて嫌よね。
NexentaCoreかStoreか解らないけど、Coreの方なら
# zpool add <pool名> log <ssd device>
の指定で行けるかと。
Storeの方は、今環境ないのでちょっとすぐには解らないな。
前にSotreを使ってたときは、特に悩む事なくWebUIから設定した気がする。
パフォーマンス的なのは、どういう用途で使うかによってチューニング変ってくるから
具体的な構成書くと良いと思う。
ただ、使ってる感じチューニングしなくても、他のSolarisOSのものに比べてもスピード
でてるから、あんまり弄らなくていいと思う。
ありがとうございます。Storの方です。キャッシュでSSDに組み込むというは見つけたんですが。
もう少し探してみます。
StorからCoreに移行したのはGUIよりCUIってことでしょうか？
あー、もしかしてzfs触るのは初めてかな？
log -> ZIL (書込キャッシュ)
cache -> L2ARC (読込キャッシュ)
なので、用語知らなかったら解らないかも。
マニュアルで画面確認したら、Volumeの作成の画面とかにある、
Add to log >>
ってボタンがZILの追加です。
Stor辞めたのは、StorがInfiniBandのサポートしてなかった為ですね。
WebUIがあっても設定出来なければ意味ないので。
あとは、元々Debian使ってるので単純に自分で解りやすかったってのもあります。
StorはOSやOIより何もしなくてもパフォーマンス出るよね
どの辺いじってあるのか差分取ってみたいけど時間無いわ
Storもadminでsshから入ればdebianそのものだと思うんだがStorだと出来ないこととかあるっけ？
ま構成をいじりすぎるとweb UIとずれが生じるけども。
Storだけじゃなくて、Coreもパフォーマンスでてるのよね。
Coreと他の比べたけど、zfs関連のパラメータの違いが有ったのはSolaris 11 EAだけだった。
InfiniBandのSRPの管理とかがweb UIからできなった。
Web UIはSRP以外はいけるんだけどねー。FCとかiSCSIとか
結局手作業になるので、うちはNexentaCore + napp-itでおちついた
なるほ
そうなのか、なんぞチューニングパラメータかと思ったが、カーネル部分でいじってあるのかな
ぶっちゃけOIが出るまでOSよりよほどメンテされてた感があるので細部に手が入ってるのかも
Fedoraからマウントしてベンチ取ってみた（4k random write)
（Disk statsに複数あるのはmultipathだから）
fio --filename=/store/benchmark/benchfio -rw=randwrite -bs=4k -size=5G -numjobs=4 -runtime=10 -group_reporting -name=file1
file1: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1
...
file1: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1
fio 1.55
Starting 4 processes
file1: Laying out IO file(s) (1 file(s) / 5120MB)
Jobs: 4 (f=4): [wwww] [100.0% done] [0K/419.8M /s] [0 /105K iops] [eta 00m:00s]
file1: (groupid=0, jobs=4): err= 0: pid=10719
write: io=3978.5MB, bw=407349KB/s, iops=101837 , runt= 10001msec
clat (usec): min=4 , max=600085 , avg=36.50, stdev=729.01
lat (usec): min=4 , max=600085 , avg=36.59, stdev=729.01
bw (KB/s) : min= 447, max=230968, per=26.01%, avg=105959.17, stdev=26963.27
cpu : usr=3.02%, sys=43.23%, ctx=884074, majf=0, minf=107
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued r/w/d: total=0/1018475/0, short=0/0/0
lat (usec): 10=8.55%, 20=85.36%, 50=5.84%, 100=0.12%, 250=0.03%
lat (usec): 500=0.01%, 750=0.01%, 1000=0.01%
lat (msec): 2=0.01%, 4=0.01%, 10=0.03%, 20=0.03%, 50=0.02%
lat (msec): 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%
Run status group 0 (all jobs):
WRITE: io=3978.5MB, aggrb=407349KB/s, minb=417125KB/s, maxb=417125KB/s, mint=10001msec, maxt=10001msec
Disk stats (read/write):
dm-5: ios=0/146166, merge=0/0, ticks=0/1516756, in_queue=1518373, util=60.93%, aggrios=0/83296, aggrmerge=0/65438, aggrticks=0/821096, aggrin_queue=821516, aggrutil=61.32%
dm-2: ios=0/83296, merge=0/65438, ticks=0/821096, in_queue=821516, util=61.32%, aggrios=0/20824, aggrmerge=0/0, aggrticks=0/200813, aggrin_queue=200917, aggrutil=22.44%
sdc: ios=1/20665, merge=0/0, ticks=0/200678, in_queue=201615, util=17.42%
sdf: ios=1/20632, merge=0/0, ticks=0/217119, in_queue=216605, util=22.44%
sdm: ios=0/21000, merge=0/0, ticks=0/209421, in_queue=209418, util=18.46%
sdl: ios=1/21000, merge=0/0, ticks=0/176034, in_queue=176030, util=15.81%
速いな〜、今の構成だとローカルでもうちはそんなに出ない。
NexetaStor側のハード構成とかpoolの構成はどんな感じなんでしょ？
nmc@nexenta:/$ zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
dset 9.06T 878G 8.21T 9% 1.00x ONLINE -
CPU Xeon(R) CPU E31240 @ 3.30GH
Memory size: 16109 Megabytes
ストレージを集約しようとしてるので、少々オーバースペック気味になってます。
うちと似たような構成なんだけどこの差は何なんだろう。
Diskが10台のRaidZ2+ZILで、CPUがX3460とメモリが32GBくらいの差なんですが・・・。
環境の違いはvolblocksizeが4kなのとシンプロビジョニング使ってる所がネックなのか
自分はスピード出てない方ですが、LSIのLSI 9211-8i x2ですね。
安いカード探してるならIBMのM1015とかが同等品にできますよ。
ttp://http://lime-technology.com/forum/index.php?PHPSESSID=3ab9b2dd7ce6b95864de400b6829fb0f&topic=12767.msg124393#msg124393 この辺を参考にすれば簡単かと
LSI9211-8iのカードは初期状態でRAID対応Firmwareが入ってたと思うんですが
ZFS的には非RAIDなFirmwareに上書きした方がいいのでしょうか。
ちなみに私の環境
NEC GT110b
MEM : 1GB ECC x4
SATA1 : 160GB (GT110b標準) : NexentaStor C.E. 3.1.1
9211-8i : Port1-6 : TOSHIBA MK3265GSX 2.5/320GB/5400rpm
9211-8i : Port7 : ANS-9010 16GB (ZIL)
9211-8i : Port8 : 無し (L2ARC用に東芝SSDを予定)
うちはIT(HBA)Firmに書換はしてます。
RAIDファームではないのは以下のサイトの記述みたので。
ttp://http://ftp-admin.blogspot.com/2009/10/zfsraid.html あと、海外のサイトとかでもIT Firmに書換してる事例が多かったのもあります。
そちらの環境のZILがANS-9010って速そうなんですが、実際どの位速度でてます？
ファームは書き換えてませんね。
他のマシンから9260-8iをひっぺがしてみようかと考えましたが、MSMとか使えませんよね。
9201-16iの方がいいかな。
オンボードだけで sata6Gが6個もあるへんなITXがあったので使ってますが、
早くない。 3Tx3と最小構成なのでしょうがないかなあ。
3Tもう一本くらい買いたいけど今はムリだ〜〜〜〜〜
NexentaでもMSMは動きそうな気はしますが、必要な物入れるのが大変そうです。
楽なのは9201-16iだと思いますよ。もしくは、SASエクスパンダー入れるかですね。
J&WのAMDのITXですかね？
うちは拡張カード刺すつもりだったので、最初からATXにしました。
速くないって、どのくらいなんでしょ？ ZIL用のSSD追加すると結構パフォーマンス
変りますよ−。
asusの E35M1-I です。deluxなしのやつ。
速度はのちほど。
ZILは手持ちのを一度つけたんですが腐ってたみたいで時々挙動不審になるので
別のを注文中です。
raidz1 WDC 3Tx3 syspoolは Crucial M4 128G 圧縮なし。 cacheなし、
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World :
ttp://http://crystalmark.info/ -----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 59.181 MB/s
Sequential Write : 65.651 MB/s
Random Read 512KB : 58.378 MB/s
Random Write 512KB : 39.962 MB/s
Random Read 4KB (QD=1) : 7.255 MB/s [ 1771.3 IOPS]
Random Write 4KB (QD=1) : 6.275 MB/s [ 1532.1 IOPS]
Random Read 4KB (QD=32) : 61.498 MB/s [ 15014.2 IOPS]
Random Write 4KB (QD=32) : 2.126 MB/s [ 519.1 IOPS]
Test : 1000 MB [X: 11.6% (631.1/5454.7 GB)] (x2)
Date : 2011/11/09 21:28:31
OS : Windows 7 SP1 [6.1 Build 7601] (x64)
Nexentaとの接続がInfiniBandのうえにARC上に乗っかってるので、読込はこれくらいでます。
書込はスペックからするとおっっっそいっすね。これでもZILにPX-128M2P使ってるんですが。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World :
ttp://http://crystalmark.info/ -----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 1154.275 MB/s
Sequential Write : 123.507 MB/s
Random Read 512KB : 968.508 MB/s
Random Write 512KB : 113.761 MB/s
Random Read 4KB (QD=1) : 66.573 MB/s [ 16253.1 IOPS]
Random Write 4KB (QD=1) : 17.650 MB/s [ 4309.0 IOPS]
Random Read 4KB (QD=32) : 899.634 MB/s [219637.1 IOPS]
Random Write 4KB (QD=32) : 36.698 MB/s [ 8959.5 IOPS]
Test : 1000 MB [D: 41.7% (4273.6/10239.9 GB)] (x5)
Date : 2011/11/10 0:26:01
OS : Windows Server 2008 R2 Datacenter Edition (Full installation) SP1 [6.1 Build 7601] (x64)
どの程度速くなるものなんでしょう
用途はiSCSIのTargetでしょうか？ 用途によって変ってくるので何とも言えないです。
ZILをSSDへ独立させてやると、SSDの最高書込速度の7〜8割くらいの速度はでます。
細かいブロックサイズ(4KBとか)になると、SSDのそのブロックサイズでの速度くらいまで落ちますが。
一般的な話だと、読込高速化(L2ARC)か書込高速化(ZILデバイス追加)って感じです。
通常、読込高速化はメモリを増やしまくればL2ARCはいらない気がしますけど。
DB系を動かすとなると、L2ARCがあった方が断然速くなると思います。
書込はZILをdisableにすると速くはなりますよ。
標準設定だと、ZILはstandard設定なのでそれをdisabledにするとパフォーマンスはでます。
電源断が起こると、下手すると巻き戻りが起こりますけど。
あと、自分が弄ってきた経験上は、最終的に書込むDiskの速度が遅いとZILのデバイスがいくら速くとも、
Diskの速度に引っ張られます。
現行のzilの動作ですけど、どーなってるんだろうと思って一回テストしてみたんですが、
sync = always (常にZILを書く)
sync = standard (同期書込時だけZILを書く)
sync = disabled (同期書込時もZILを書かない)
になってるっぽいです。
NexentaStor community edition で 1Tx3 で RaidZ を組んで１年半。
NexentaStor は場違いであればお許しを。
全然スレ違いじゃないと思うよｗ
このスレはNexentaStor使ってる人の方が多いしｗ
Coreの方を使ってるのは、自分以外は誰かいるんだろうかｗ
そういや、illimosベースの4.0のベータテスターの募集してたけど、
誰か突撃した人はいるんだろうか？
両方使っている人がいたら感想を教えてもらえるとありがたいです
以前FreeBSD(ZFSGuru)とnexentaで比較やったんだけど、結果が残ってない orz
GbE+iSCSIのサーバとかで使うんだったら、差は殆どないかと。
ZFS としての使い勝手は当たり前だが同等。
ハードが異なるので比較はできないがメモリをたっぷり割り当てている分には違いは出なかった
Nexenta のほうで、Dedup ON にしているとメモリが足りないと警告が出るが、
FreeBSD では出なかった。出ないからと言って、メモリが足りないわけではないだろうけど
当方は，えんたーぷらいずってわけでもないので
あとはスピードとかだったのだけどまあ
zfsにあまりスピードを求めるというのも違うきもする…
出勤前にCDMでベンチ取ってみました。
遅いですねえ、にはとても及ばず。
1GbなiSCSIじゃこんなものですかね。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World :
ttp://http://crystalmark.info/ -----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 175.891 MB/s
Sequential Write : 89.339 MB/s
Random Read 512KB : 125.079 MB/s
Random Write 512KB : 52.436 MB/s
Random Read 4KB (QD=1) : 7.264 MB/s [ 1773.4 IOPS]
Random Write 4KB (QD=1) : 9.104 MB/s [ 2222.6 IOPS]
Random Read 4KB (QD=32) : 165.056 MB/s [ 40296.8 IOPS]
Random Write 4KB (QD=32) : 23.892 MB/s [ 5833.0 IOPS]
Test : 1000 MB [D: 0.1% (0.1/100.0 GB)] (x5)
Date : 2011/11/21 5:36:02
OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601]
NexentaStorはEOLじゃないからそっち使ってる人は安心してねん。
Ubuntuの8.04 Desktopベースだから、大元のサポートが今年の4月に切れてるしな。
iCoreへの移行で人手が足らないのもあるんだろうなー
NexentaStorのEEとCEはちゃんとサポートしてるから信用はして良いと思うが。
DebianとかUbuntuみたいにアップグレードできるようにするみたいだから、再インスコまではしなくて良いと思うよ。
ttp://www.nexentastor.org/boards/1/topics/4587 日本時間１８日深夜に直った模様。
そしてupdateパッケージがあるな。rebootしたくねーんだがどうしようか
zfsは問題ないとして、Nexentaのcrossbow対応状況ってどんなもんでしょ？
NexentaStorは、NASの専用なのでCrossbowは簡単には出来ないと思う。
元々Solaris系触った事あるならOIで、Debian系になれてるならillumianかな。
NexentaCoreはサポートが切れてるのでお勧めしない。
後継のillumianを使ったほうが良いと思う。
なるほどありがとうございます。illumian検討してみます。
myriの10GBase-cx4カードが思いがけず入手できそうで、
Crossbowで内部的に繋ぎこんでなんちゃって10GBaseスイッチにできないかな〜と
ttp://http://www.nexentastor.org/boards/12/topics/7912 公式ではなくてコミュニティの内輪イベントみたい。
自作PC晒しスレのノリなんだけど、自分は英語で文章書けないから無理ぽ。
内部ベータは通ったから、近いうちに公開ベータ出せるんじゃね？来週あたりか？
って書き込みあったんだけど、NexentaStor4.0期待していいの？
New Public Beta: NexentaStor Community 4.0 milestone 20
ttp://http://nexentastor.org/boards/13/topics/8785 出たのはいいんだがフォーラムの投稿記事読んでると、Nexenta社やコミュニティの先行きが不安になってくる。
ZFS on Linuxに皆流れていってるのかな？
Free-BSD じゃないかね？
BSDなら今更行くかだし
4.0も開発は進んでるから期待してろよ、とかなんとか。
ttp://http://www.dell.com/learn/jp/ja/04/campaigns/dell-nexenta-storage いつから売ってるんだ？w
ttp://http://itpro.nikkeibp.co.jp/atcl/news/14/082000503/ 参考までに、
⇒ 『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。
グーグル検索⇒『宮本のゴウリエセレレ』
S163JK23NW
時間がある方はみてもいいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』
HH2H0
