ttp://pc8.2ch.net/test/read.cgi/unix/1019233825/l50 W. Curtis Preston
『Unixバックアップ&リカバリ』
長原宏治_監訳，田和勝_訳，
オライリー・ジャパン，2001/8/16．
ttp://www.amazon.co.jp/gp/product/4873110491/249-3251594-6585132?v=glance&n=465392&s=gateway ところで、バックアップツールで一つ発見。（GNU な）cp は
メモリリークするので使ってはいけない。250GBのデータコピーしたら
メモリを使い果たしてシステムごとあぼーんしました。ガイシュツ？
巨大なファイルツリーの転送には使えないんだよな。どっちも本格的
バックアップには元々使わないだろうけど、対象が巨大化すると
こういった細かいツールが思うように使えなくなって困る。
それじゃ解決しない。差分計算のところじゃなくて、転送対象
一覧管理でのメモリ消費が問題だから。
-
ttp://samba.anu.edu.au/rsync/FAQ.html#4 -
ttp://samba.anu.edu.au/rsync/FAQ.html#5 のこと。ウン百万ファイル数のツリーコピーで死ねます。
結局速度の問題もあって、今はRAID1の玉交換でバックアップしてる。
AIXでmtxを使用することはできますか？
ttp://mtx.badtux.net/ かなり低レベルなSCSIアクセスするみたいだから、無理じゃね？
開発対象外だし、動作レポートはSolaris/Linux/FreeBSDで埋め尽く
されてるから動いたとしても安定稼動できるかは「？」だろうし。
日本語を使用したディレクトリ下のファイルが転送されないのですが、
日本語ファイルは扱えないのでしょうか？
ローカルで rsync foo/ bar/ でも駄目なの？
OSによる。Windowsだと日本語ファイルには完全には対応していない。
amazon に対して rsync を…
○△□ に対して rsync を…
マウントしてからrsyncすればおけ
前回の情報ってどこに保存してるの？
それとも毎回全部比較してるの？
毎回全部比較する。
自分で比較しなくていいものを指示しろ
i.e. 比較が必要なものを明示しろ
別の解決策を検討してみる
現在のオプションはavzです。これだと差分だけ転送されてバックアップできるのですが、削除はされません。
よろしくお願いします。
亀だけどLinuxなら
$ inotifywait -m -e delete -e close_write -e move -r /tmp
とかで変更操作内容を記録しておける。これを使えば差分転送を
比較なしにできるよ。OSによってAPIが違うみたいなので、他のOSの
場合はそこから調べないといけないけど。
netbackup
テープドライブ
CygwinのrsyncでLinux上にコピーしたとき
Linux上でのファイル名は意味不明の数字になります。
Linux上で作った日本語ファイル名のファイルは
正常に日本語が見えています。
rsyncでコピーしたファイルの日本語ファイル名が
適切な文字コードに変換されるようにできないでしょうか？
rsync したあと自分で変換するわけだが...
mv $file `echo $file| nkf -W8 -s`
とか。ただし、rsync する意味はなくなくるけどね。
Linux 側をUTF locale にするとそのまま見えたりするかも。まぁ、Windows と
一緒に使う奴ならlocale はShift JISなんだろうけどな。
新しいテープでもなんでもこんなことをいわれるんだけど:
# dump 0ufabh /dev/nsa0 256 0 /home
DUMP: WARNING: should use -L when dumping live read-write filesystems!
DUMP: Date of this level 0 dump: Mon Mar 12 15:03:23 2007
DUMP: Date of last level 0 dump: the epoch
DUMP: Dumping /dev/da1s1a (/home) to /dev/nsa0
DUMP: mapping (Pass I) [regular files]
DUMP: mapping (Pass II) [directories]
DUMP: estimated 31198136 tape blocks.
DUMP: End of tape detected
DUMP: Closing /dev/nsa0
DUMP: Change Volumes: Mount volume #2
DUMP: Is the new volume mounted and ready to go?: ("yes" or "no")
dump - | dd of=/dev/nsa0 bs=256k で書き込む分には
全然問題なく書き込めるんだが...
つーか、cygwin→debianで使ってるんだけど、cygwin側のパーミションの取得に失敗してるのか、強制的に000になってて泣ける。それ以外はいいソフトなんだけど。
むかしはrsyncを一日一回動かしてたけど、たとえば、ファイルサイズを0にするウィルスにかかって、気づかず間にrsyncが走ったら・・・と思って怖くなって移行した。
ドライバのOS範囲を拡充しないので、どうしたものか。
Linux to Linux です。
pdumpfs は、リモートからの(or リモートへの)バックアップに対応していないので
rdiff-backup を使い始めたのですが、
# rdiff-backup ./foo user@host::/bar
するにしても
# rdiff-backup user@host::/foo /bar
するにしても、相手方に rdiff-backup がインストールしていないとダメなんだよね
(やってみたらそうなった)
rdiff-backup は、バックアップから取り出すときの指定は、pdumpfs よりいろいろできそうだけど、
pdumpfs の、YYYY/MM/DD ごとにファイルが並ぶほうが、直感的でわかりやすいな。
pdumpfs-rsync というのもみつけた。
rsyncは規模に対する限界が速すぎるので、scpにして後は回線帯域を
投げて解決。フルコピーできない場合はmd5sumとか取っておいて、それを
比較して該当分だけscp。
たかがファイルコピーだが、規模が大きくなると別種の問題になるよね。
rsyncはメモリリークしてるわけじゃないけど結構前のGNU cpではリークしてて、
数百GB、数百万ファイルのcp -aしたらメモリが尽きてお亡くなりに。
そりゃ普通はリークしてもすぐ終了するから問題ないんだけどね・・・
Thanks.. 試してみむ。
数が多いと数ギガとか使われる
規模が大きいことを前提としておいて scp とか md5sum とかあり得ない。
そんなことするくらいなら、古典的な tar の差分バックアップの方がずっとまし。
ついでに言うと rsync 3.0 でその手の問題は解決。
日本語のファイル・フォルダ名が入っていると、バックアップができません。
パッチとか、良い方法はありますか？
ttp://kony.no-ip.info/~kon/wiki/index.php?Windowsでrsyncを使う それはまった。Linux側ではUTF-8、Windows側でSJISでうまく同期できず。
OCamlなんて言語で書いてあるから直す気も失せた。
現状うまく使う方法としてはSamba経由でドライブにマウントして、
その上でunisonをドライブ同士でかけることかな。もっとも自分は
Windowsのオフラインフォルダに逃げた逃亡兵。
smbget でミラーつくったりしてるけど。
おお、同志よ！やっぱりはまりましたか！
じゃ私は、Unison 諦めて Mercurial に逃げます！
rsync 3.0まだでてないじゃん
現在は、cron+dumpでファイルに落として、そのファイルを別ホストにミラーするのと
DVDに焼くのとでバックアップを回してます。これだとダンプしたファイルを
秘匿しないといけないのが難だなってことで、暗号化したいと思っています。
初めはGnuPGがいいかなと思ったのですが、同一のパスフレーズから完全一致する
鍵ペアを再生成する方法がわからなかったので、鍵ペアの保守に困りそう...
てことで、mcryptを調べたりしているところです。
対象ホストはLinuxですが、なるべくOSに依存しない手段を選べると嬉しいです。
何かアドバイスがいただけるとありがたいです。
熟練管理者御用達のバックアップツール「rsync 3.0」 - Mac対応強化 | エンタープライズ | マイコミジャーナル
ttp://journal.mycom.co.jp/news/2008/03/03/015/index.html ttp://oshiete1.goo.ne.jp/qa1614836.html?ans_count_asc=1 ファイル数多いからバックアップにtar通せみたいな流れになっているんですが、
差分バックアップはどうするんだろう？
あとrsyncってメモリ消費型なんですね・・・
ファイル数多いと馬鹿食いするのかー。
UNIXには、Windowsの fastcopy みたいなツールはないんでしょうか？
fastcopy は、100万ファイルあってもメモリ消費は少、コピー自体も爆速なんですが。
ファイル数が多いとすぐ１Gとか行っちゃうよ
個々のファイルサイズにもよるけど
tarで固めて全部送ったほうが速い場合もある
500GBのストレージで10GBしか更新されたファイルがないようなときです
その fastcopy ってやつの仕組みは rsync とどう違うの？
rsync-3.0はあまりメモリ食わないみたいよ
まあrsyncで実際に試してみりゃ問題ないのわかると思うけど。
FastCopyはこれです
ttp://www.ipmsg.org/tools/fastcopy.html 元々は、小さなファイルなどをオンメモリで一括コピーするような
高速なファイルコピー、削除ツールなのですが、
UNICODE対応、省メモリなのがこれしかなくて、
Windowsでのバックアップ、ミラーリングに使ってます
（バックアップ専用ソフトでもこういうのがなかなかない）
HDD内に100万ファイルくらいあってもメモリ量はびびたるもの。
前にWindowsでBunBackupというのを使ったのですが、こちらは、
100万ファイルだと1.0GBほどメモリを使いましたｗ
rsyncのソースは読んだことないのですが、
メモリをたくさん食う方だとネットでも見ているのですが、
そうなるとクリティカルなバックアップ局面では使えない気がします
3.0では解決された？
rsync 3.0ではファイルの数が多くてもメモリの使用量は少ない.
ただし,
・更新元にないファイルをどのタイミングで消すか
・ハードリンクをどれくらいちゃんと扱うか
といった条件次第では, 転送を開始する前に両端での各ファイルの
stat 結果を保持することになるのでメモリの使用量は従来同様多い.
ipmsgのファイル転送も最強に速いからね
ただ、FastCopyはファイル転送ツールじゃないでしょ？
いつからここはファイル転送ツールスレ(しかもWindows)になったんだ?
ローカルで使うことも多いってことの弊害(?)だわな
その方が三億倍早いだろうが
お前の手と目と頭は飾りか？
Reiser4でdumpと同じようなソフトは何かある？
tarを使ってバックアップを採っていたのですが、どうやらこのプロセスが
ハングアップしてしまったようで、psコマンドで見ると以下のような状態になって
しまいました。
で、kill -9 も効きません。
# ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
・・・・・ 抜粋 ・・・・・
root 4254 0.0 0.0 0 0 ? DW Apr18 1:56 [tar]
また、テープデバイスも道連れになってしまったようで、テープの操作が
できません。offlineも駄目です。
なんとかテープドライブを使える状態にしたいのですが、リブートせずに
テープデバイスを開放する方法は無いでしょうか？
# mt -f /dev/st0 status
/dev/st0: Device or resource busy
# mt -f /dev/st0 offline
/dev/st0: Device or resource busy
IO待ちが終わらないとsignalは届かないだろう。
テープ無理矢理イジェクトするとか、ドライブの電源落としてみるとかすれば、
運が良ければtimeoutして戻ってきてくれるかもしれない。
多いんだがドライブの取説には書いてないか？
kill -HUP
kill -INT
kill -QUIT
ダメなら
rmmod -f st
これはパニって死ぬかもｗ
内蔵のドライブなのでドライブのみ電源を落とす、てのはできませんでした。
ただ、イジェクトボタンでのイジェクトは出来ました。
そこでどうだっ！ とkill -9 でしたがやっぱり駄目でした。
テープのイジェクト状態で、ボタンの長押しもやってみましたが残念ながら
状態は変わりませんでした。
ありがとうございます。試してみます。
kill -HUP は-9の前にやってみたんですが、他は明日やってみます。
…rmmodはちょっと怖い（動いてないけど捕まえてるみたいだし）ので保留という
事で… スミマセン。
なんとなく、[tar]を殺せばなんとかなりそうな感じもするんですが、調べてみる
と「まあ、まずはテープを開放しろ」てなページも多かったりで（その方法も判か
らないでいますが）どっちが先なのだ？と言う感じになってしまっています。
上手く行ったらご報告しますね。
復活するかも。その後でもっかいつなぎなおしてrescan-scsi-busすればいい。
今結果待ち。結構待ってます。
ありがとうございます。
ただ、内蔵なんですこれが。
ちなみに、windows系のサーバなんかだと周辺機器へのアクセスが無い事を確認し
て、結構 機器のoff→ON！とかやっちゃう事はあるのですが（今回のように内蔵
だとそれもままなりませんが）solarisやらLinuxで同様の事ってやって大丈夫な
ものなんでしょうか？・・・・ここで聞くこ事でもないのかもしれませんが。
カーネルがパニックとかになると、結構怖いかも（イジェクトボタン長押しはやり
ましたが。。）
とか
そろそろバックアップしたいと思います。
テープバックアップは考えておらず、HDDは以前にモータが壊れた事があるので
DVDでバックアップを考えています。
差分のイメージを作成し圧縮してDVDに保存することは可能でしょうか？
可能
だけど、圧縮なんて、ほとんど効果無いし、焼き損じの可能性を
考慮するとリスキー
つまりお薦めはやっぱりテープということに？
オヌヌメは同容量のHDDだな
ddの後でザット内容を確認したら、保管しておけば
ます故障は無い
心配なら2台取れば良いし
俺なら、新品を装着して、古いのをバックアップにしまうけどね
だいたい、毎日使っていて壊れないのに
引き出し保管で壊れる訳がないんだよ
DVDの劣化の方がもっと心配じゃね？
差分を取るのも基本的には同じ考え。
テープやDVDにコマギレでしまうなら、HDDのほうが信頼感はある
テープは週単位とかの書き換え前提な一時的なバックアップだな。
>だいたい、毎日使っていて壊れないのに
ダウト。毎日使っているから壊れない。
HDDへのバックアップは極めてお勧めしない。
