ジャーナリングファイルシステム

1 ：01/01/14 〜 最終レス ：12/01/23

いまやるとしたら、みなさんどうします？
すごく困ってるんですけど。

2 ：

Linux なら
ReiserFS http://www.namesys.com/
JFS for Linux http://oss.software.ibm.com/developerworks/opensource/jfs/index.html
XFS for Linux http://oss.sgi.com/projects/xfs/

3 ：

Linux 2.2.18 + ReiserFS で運用していますが、大きなトラブルは
今のところないです。
ただ Quota に対応していない(2.4 向けにはpatch がありますが)
のがネックです。また NFS を使う場合にも patch が必要です。

4 ：

上記三つで一番有望なのはどれ？

5 ：

>>2
ext3 を追加。URL は知らん。
>>4
現時点で一番ユーザーが多いのは ReiserFS だと思う。
で、そのまんまなし崩しで ReiserFS のまま逝く、に１兆mips

6 ：

ext3 ftp://ftp.uk.linux.org/pub/linux/sct/fs/jfs/
LinLogFS http://www.complang.tuwien.ac.at/czezatke/lfs.html
tux2 http://innominate.org/~phillips/
snapFS http://www.linuxcare.com.au/projects/snapfs/

7 ：

IBMのヤツは、1.0が出ている。
OpenAFS:
http://www.openafs.org/
あとさ、LinuxのJFは、2.4でその機能を実装する際の基本骨格だけ、と聞いたが。
実際どうなのかな。
FreeBSDはもう実装しているの？
カーネルが落ちてさえも、ログが残るって話だけど。

8 ：

もっと使ってる人の意見を
聞きたいな。

9 ：

>>7 LFS使え。ってまだまだ不安定らしいけど。
MetaDataだけじゃなくて、ApplicationDataも残るらしいぞ。
#私の書き込みは BSD Magazine の受け売りです。

10 ：

以前ReiserFSを使ってみたんですが、ある日突然起動に失敗して
それっきりです。fsckが要らないってのが売りだったような気がするんですが、
起動スクリプトを書き換えてなかったので、fsckしろと繰り返すだけ
のループに陥りました。ReiserFSを使う場合、この辺を書き換える
必要があると思うのですが、どうなのでしょうか。fsckの代わりに
専用ユーティリティがあったように記憶してるんですが。
わたしはその一件以来使っていないのですが。

11 ：

>>10
/etc/fstab の最後のフィールドを 0 にしていなかったとか
ではないですか？
一応 reiserfsck というプログラムがありますが、デバッグ
用途だったと思います。
ところで、3 で書き忘れたのですが、ReiserFS でごくまれに
ディレクトリの読み出しにやや時間がかかることがあります
(どういう時に発生するのか不明)。

12 ：

>>11
>etc/fstab の最後のフィールドを 0 にしていなかったとか
ではありませんでした。それなら話は早かったのですが、、、

13 ：

普通は/まではReiserFSにはしないんですかね。
ちょっと早計だったのかなあ。

14 ：

# あまりよく理解してない俺がこんなこと書くのは恐れ多いのだが…
>>7, >>9
システムクラッシュ時にMetadataが破壊されるのを防ぐ手段の一つが
Journaling. で、最近の*BSDに実装されているもう一つの手段がSoft Updates.
JournalingはMetadataの更新ログを取っておくことでクラッシュ後の
ファイルシステムの復旧に役立てようってアプローチで、
Soft UpdatesはMetadataの更新順序を操作することで
いつクラッシュしてもファイルシステムに致命的なダメージが残らない
ようにしようってアプローチ。
Journalingにはfsckが不要になるっていう副産物があるのだが、
Soft Updatesにはそれがない。でも、最近FreeBSD-currentに実装されつつある
snapshotsという機能と組み合わせると、Soft Updatesでも高速rebootが
可能になる。
詳しくは以下のサイトが参考になると思う。
http://www.ece.cmu.edu/~ganger/papers/CSE-TR-254-95/
http://www.mckusick.com/softdep/
Soft Updatesを使うとFFSのままでJournalingのような効果が実現できるのが長所。
でも、HDDの容量がテラの域にまで達しようかという現在、ファイルシステムの
再設計が必要な時期に来ていると思う。
LFSってのはNetBSDの次期ファイルシステムの候補で、ファイルシステムそのものを
ログ化してしまおうってもの。でも、まだかなり不安定なようなので、
FFS+Soft Updatesをベースに64ビット化などの拡張を行なったファイルシステムが
先に現れるかもしれない。
# って、こんなもんでよろしいでしょうか? >*BSDの先輩方
# 間違いがあったらツッコミお願いします。

15 ：

>>6 のLinLogFSってのがLinux用のLFS?

16 ：

>>10==12==13
俺はDebianなんだけど、Debianではrootファイルシステムは
強制的にfsckにかけるようになってるので、それで引っかかった。
grep fsck /etc/init.d/*
とかやってみ。

17 ：

Solarisなら7から対応してます｡
/etc/vfstabのマウントオプションのところに
loggingと入れるだけでOK。
特に問題なく動いてます｡

18 ：

>>16
なるほど。
再度挑戦する時に調べてみます。

19 ：

>> 14
64bit化ってなんでしょ？
Linux以外のほぼ全てのUNIXは、とっくの昔に64bit対応してたんだけど。
open64 系のシステムコールのことかな？ BSD系だとあれ使わなくても元から64bitアクセスできるので問題ないんよ。

20 ：

kernel 2.4.1-pre4 で ReiserFSが取り込まれました。

21 ：

みんな勇気あるね。私はびびりなので新しいものには手が出せません。

22 ：

IBM, SGIの立場は?

23 ：

>>17
し、しらんかった・・・。
>>20
マンセー！

24 ：

>>20
Windowsから読み込みができるようにならないと
/home には使いたくないんだけど、
http://uranus.it.swin.edu.au/~jn/linux/Explore2fs.htm
http://www.yipton.demon.co.uk/content.html#FSDEXT2
http://www.it.fht-esslingen.de/~zimmerma/software/ltools/ltools.html
みたいなtoolsのResiser版ってどこかにない?

25 ：

>>24
ext3つかったら？

26 ：

>>25
遅くなりそうだからイヤです。

27 ：

>>20
では、kernel 2.4.1からはパッチ当てなくてよくなるんですね。
私はpre系を試す勇気はないです。
(2.4.1-pre6なんかはファイル名に'dontuse-'ってprefixが…)
>>24
そのうち誰か作るとおもいますけどね。

28 ：

>>19
俺が言ってるのはファイルシステムについて。
http://www.jp.FreeBSD.org/cgi/cvsweb.cgi/src/sys/ufs/ffs/fs.h?rev=1.17
ここのあちこちに使われている int32_t のことを言ってる。
FAQにも同じ話があった。
http://www.jp.FreeBSD.org/www.FreeBSD.org/ja/FAQ/install.html#Q1.27.
まあ、HDDの容量やその使われ方がFFSの設計された時期とは比べものになんない程
変わってきているので、単純に int64_t に書き換えるだけじゃなくて、
ファイルシステムの再設計もやるべきなんだろうねって言ってるだけ。

29 ：

age

30 ：

SGI XFS Pre-Release 0.9
http://oss.sgi.com/projects/xfs/prerelease.html

31 ：

結局どれ使えばいいんだろ。
Debianでapt一発でなんとかなんない？

32 ：

age

33 ：

>>31
Debianって聞いた話だと、Cライブラリをマシンを動かしながら
アップグレードできるんでしょ？
なら、ファイルシステムもやりかねないな。
そうならすごすぎる

34 ：

>Debianって聞いた話だと、Cライブラリをマシンを動かしながら
>アップグレードできるんでしょ？
それってRedhat系ではできないことなの?
要するにコンパイルしなおす羽目になるもの(バイナリ)を
同時にダウンロードしてインストールすればいいだけのような。

35 ：

>34
やったことない。
GnoRPMでは、glibcはアップグレード対象外になっているけど・・

36 ：

>>34
おれは何度もしてる。
glibcアップグレードした後は shutdown 時に umount できないような

37 ：

あげ

38 ：

ReiserFSってdump/restoreで問題ないの？

39 ：

手元の 2.2.19 + ReiserFS-3.5.32 には以下のツールがついている。
ただ自分は mkreiserfs しか使ったこと無し。
dumpreiserfs
mkreiserfs
reiserfsck
resize_reiserfs

40 ：

decのAdvfsって性能はどうでしょうか？

41 ：

LFS age。
現状 NetBSD-current LFS はまだ mmap() 周辺が痛い感じ。
mmap() がなければそこそこ使える…と思う。

42 ：

SGI XFSアゲ

43 ：

> LFS age。
mmap on LFS が壊れたのは UBC のせい (原因も分かっているけど, 直すのが
かなり手間なのでまだ直ってない) なので, LFS を真面目に使うなら UBC
統合直前の -current が良いかもしれない.

44 ：

Solaris の UFS logging がなにも考えずにできて一番楽…。

45 ：

IBMのJFS1.0が2.2.x系にも対応しててカーネルパッチになってたんでビルドしてみた。
誰か問題起きた人いる？
骨格はもともとIBMが使ってたロジックだろうからデータが壊れたりしないかなとは思ってるんだけど、心配。

46 ：

IBMのJFS1.0が2.2.x系にも対応しててカーネルパッチになってたんでビルドしてみた。
誰か問題起きた人いる？
骨格はもともとIBMが使ってたロジックだろうからデータが壊れたりしないかなとは思ってるんだけど、心配。

47 ：

ごめん。ごめんよ・・・
そんな豚無くても・・・

48 ：

>>46
jfs FS を mount したまま電源きって再起動してみ。
filesystem dirty と表示されて、mkfs するまで二度とその fs をマウントできなくなるから。

49 ：

IBM JFS や SGI XFS とかだと書き込みだけでなくて
読み出しのスピードが上がっているの?
古典的な UNIX FS の系列だとディレクトリ内のファイル数が
増加すると ls のスピードも落ちるみたいなんだけど。
>>46
それって OS/2 とか AIX でもなるの?
JFS for Linux だけならまだいいんだけど。

50 ：

>>46 は >>48 の間違い
鬱堕氏脳

51 ：

>>49の下
大丈夫だよ。以前AIXがあったけど、停電でも耐えたから。

52 ：

>>51
まだきっとJFS for Linuxって、AIX上のJFSほどの信頼性はないと思う。
File Systemのコードって、VFSやVMの影響を結構受けるからね。
個人的にkernel-2.4.3でReiserFSを使ってるけど、一度kernel-2.4系
でmountしたvolumeを2.2系でmountしようとした時に、Filesystemが
腐ることがある他は、特に問題は出てないみたい。ただ、kernel-2.4上だと
ext2fsの方が倍速いと聞いた時はへこんだ。

53 ：

>>48
開発中だから仕方ないんだろうが、jfsの意味ねえなあ（ｗ

54 ：

>>52
ext2fsはそもそも反則技使ってるようなもんだから、まともなfsと比較
するのも...
# 物理メモリあるだけ全部使って遅延書き込みすりゃ、そりゃ爆速に
# なるわな。

55 ：

>>54
その反則もある意味嬉しい事もあるんだがな。
FreeBSDは物理メモリいっぱいつかうなんて
設定ないの？

56 ：

AIX, OS/2 のんは問題ないですよん。
Linux のはログのリプレイまわりがまだ実装されてないだけ。

57 ：

あと、JFS for Linux は JFS for OS/2（オープンソース）のコードを
もとにしてポーティング作業されています。AIX for JFS のコードじゃないです。
# まぁ OS/2 のは AIX のを基にしてるから、結果的に AIX のも入ってるだろうけど。

58 ：

Solaris8ならdefaultでufs loggingが使えるようになった。
やっと人並に。。。
mount optionにloggingを指定するだけでOK。
これで10数分もfsckにつきあわなくて良くなった。

59 ：

>>48
うぁあ、bad superblock といわれてマウントできん・・・
これじゃ使い者にならんがな

60 ：

>>55
ないねー。
まぁあんな危なっかしいモードなんてあっても(俺は)嬉しくないけど。

61 ：

>>58
細かいことだけど、loggingはSolaris7の11/99あたりから標準だよん。

62 ：

fsync　はジャーナリングなファイルシステムのほうが
はやいのでせうか。
OracleやPostgreSQLのデータファイルの置き場所のファイルシステム
って悩んだりもするのですが。
1. raw -> これってRAIDと愛称わるいしなぁ。
2. ufs -> ふつーすぎる？
3. ufs logging -> 2と比べてどなのかな？？
4. veritas file system -> 2と比べてどなのかな??

63 ：

>>62
UFS logging は、log とるぶん write は遅くなるよ。

64 ：

VxFS は performance は UFS よか出るってことになっているし、
将来 FibreChannel なんかを使いたいときにもよさそうだけど、
ちと高い。

65 ：

>>62
3で運用してるけど、問題になってないな。
更新量が少ないシステムだけどね。
ところでrawとRAIDの相性が悪いってどういうことなんでしょ？

66 ：

>>63,64,65
ありがと。
rawとRAIDうんぬんというのは、RAIDあたりまえだったり、
SANつかったりするこのごろだと、果たしてディスクの生のI/Oを
触りたがるrawみたいなものの役割は終わってるのじゃないかという
意図で書きました。

67 ：

>>66
生のI/Oって言うけど、本当に玉を直接ドライブするわけじゃないし・・・。
DBの場合だとカーネルバッファを経由させないことが第一の目的だと
思ってるので、RAWはまだ使われていくと思う。
# もしかして考え方古い？

68 ：

>>63
ベンチマークしているけど、パフォーマンスの劣化は無視できるほどだよ。
むしろ、VxFSの方が癖があって、ある一定の条件下では深刻な劣化を
起こすけどね。

69 ：

>>62
>raw -> これってRAIDと愛称わるいしなぁ
どこのRAID使ってるの？
うちでは問題になったことないよ。
むしろ、ufsにDB置くこと自体が珍しい位。

70 ：

もっとも、最近ではDBが気を利かせて、カーネルのバッファを
バイパスしてくれるからufsでも問題ないのだろうけどね。
そこが信用できない場合でも、Solaris辺りならforcedirectio
オプションを指定しておけば、バッファリングは解除される。
ジャーナリングの話題じゃないな。

71 ：

>>70
raw device の利点は buffer よりも、DB が disk の geometory を直接
把握できるので、data の最適配置を行えること。でも、RAID だと OS
からは hardware 本来の geometory は見えなくなるので、意味が薄くなる
のだ。
って、完全に journaling fs から外れたなぁ。

72 ：

>>68
ある一定の条件下って、小さい file が大量にあって、それを
fseek していったりする場合?

73 ：

>>71
RAIDの上にさらに論理ボリュームマネージャなんかをつかってたり
するとさらに薄くなっていくような。
LVMでDBなんて動かすななんて怒んないでちょーだいね。
emc2の手がけたのとか、富士通の手がけたのとかで、最近そういうのが
あったんで。(みんなヤッテルモン！論理だけど)

74 ：

>>73
んまぁ、LVM で管理すると、特に FibreChannel で SAN なんかの
環境を組んでいるような場合は面白そうだから、ありといえばあり
なのかも。
そういうものがないのに LVM で管理というのは、単なる performance
bottle neck にしかならないだろうけど…。

75 ：

>>74
ボトルネックだけど、バックアップとるのはラクチンだそうです。

76 ：

完全に journaling fs から外れるので、とりあえず sage。
>>75
う〜ん、backup はきちんと backup software + DB module でやった
ほうが精神衛生上はいいなぁ。online backup もしたいし。

77 ：

>>73
DB、特にOracle使う時は、VxVM使うのは常識だぞ。LVMの機能は知らんが
VxVMと同じならば必須と思われ。
Oracle DBをrawで扱うなら、2GB毎に切らないとならない。64bitならば
その制限は無いことになっているが、やはりパフォーマンス上、2GBで
切るのが常道。
RAIDが何10GBもある場合、Solarisだとpartition数の制限から2GB単位に
切ってしまうと16GBしか活用できぬ。
VxVMで2GB以下のVolumeを作成しないとな。

78 ：

>>73
DB、特にOracle使う時は、VxVM使うのは常識だぞ。LVMの機能は知らんが
VxVMと同じならば必須と思われ。
Oracle DBをrawで扱うなら、2GB毎に切らないとならない。64bitならば
その制限は無いことになっているが、やはりパフォーマンス上、2GBで
切るのが常道。
RAIDが何10GBもある場合、Solarisだとpartition数の制限から2GB単位に
切ってしまうと16GBしか活用できぬ。
VxVMで2GB以下のVolumeを作成しないとな。

79 ：

ごめん、２つもはいってしまった

80 ：

>>43
UBC その他の新作ドライバも捨て難いので最新 -current でごーごー ;_;
私は厨房なんでこのへんは治ることを祈ることぐらいしかできない。
巨大ボリュームになると fsck にかかる時間が無視できないから
LFS に期待大なのね。

81 ：

じゃーなるあげ

82 ：

lfs_cleanerd がデフラグなんかもやってくれると嬉しいな。

83 ：

LFSあげ。
セグメント境界==ストライプ境界ができる日はいつかな…。

84 ：

UBCパッチの報告がありましたね…。
LFS復活の日は近い?
期待あげ

85 ：

age

86 ：

age

87 ：

あげ

88 ：

FreeBSD Press に Usenix のジャーナリングと soft update を
比較した論文の翻訳が出ているのであげ

89 ：

>>14
Metadataってなんですか？教えていただけませんか。

90 ：

>>89 データ(この場合はファイルの中身)を管理するためのデータ。
superblockとか、ファイルインデクス、占有マップなど。
(ディレクトリエントリも含まれることがある)

91 ：

June 28, 2001:
IBM is pleased to announce the v 1.0.0 release of the open source
Journaled File System (JFS), a high-performance, and scalable file
system for Linux.
http://oss.software.ibm.com/jfs

92 ：

ReiserFS 使ってるよん。
Debian だけど残念ながら、apt でFS変換っつーのは無いね。
ext3 は既存の ext2 からバージョンアップできるらしいが、ReiserFS
は無理みたい。
んで、ReiserFS はやっぱ読み込みが速いよ。ext2 はシーク音が
「ゴガガガガ、グフッ」って感じだったけど、「ジジジジジ」って
いかにもヘッドが振れてない感じがするんだよね。
逆に書き込みは遅くなったが。

93 ：

まったくヴァカはば？

94 ：

reiserfsは不具合あるみたいですね
xfsが完璧そうで期待age

95 ：

んー、おれは JFS に期待してるんだけど。
もちろんXFSにもReiserFSにもがんばって欲しい。

96 ：

>>94
どんな？

97 ：

http://www.cyborg.ne.jp/~sympow/xpic/1uzmai/mai02e.jpg

98 ：

>>97
板違い。

99 ：

>>55
>>60
あるよ？FFFSで非同期モードでマウントしたらクリチカルな操作をしても
遅延モードのままバッファリングするからext2fsと勝負できる位には
速くなるっす。怖いんで使わないけど。LFSとかにもあるかどうかは
不明。UPS買ったら非同期モードにしようと決心してもう1年近くに
なるなぁ。早く買わなきゃ…。

100read 1read

1read 100read

TOP カテ一覧 スレ一覧 2ch元 削除依頼 ▲

UNIX系雑誌読んでますか？No.6 (685)
■Solaris9 ってどうよ？■ (248)
と、止まらないんです。 (440)
LaTexの文書をpdfファイルに変換する (141)
キャッシュ型負荷分散システム開発スレッド (472)
OpenBSDユーザーコーナー Part8 (267)
--log9.info------------------
○XBOX360総合スレ8958○ (660)
カルチャーブレーンVol.144 帯広の有名人田中田吾作 (470)
バグゲーオブザイヤー作ろうぜｗｗｗ (606)
Skyrimは面白いが日本が求めてるRPGでは無い (809)
MSファンってデスメタルとか聴いてそう (314)
ＦＥ覚醒のシナリオはどうなのか (688)
ルーカスアーツがE3でWiiU専用MMOを出展 (232)
サード卵殺王任天堂四八七遁目 (675)
あとは多分、SEGAさえ口説き落とせば終了するな (295)
SCE｢アプリゾクゾク、PlayStation Vita｣ (189)
轟音とゴキブリは口先だけでゲームをしない件 (116)
いい加減稲船をロックマン生みの親扱いするな (134)
PSのパクリスマブラはやっぱりウリジナルでしたw (701)
■PS3は過去最悪のブランド潰しハードだった■ (248)
【現実はGJ!!!】PSW面白発言集225【幻術見ろよ】 (929)
ﾊｰﾄﾞ成り上がり((＼ν／))祝一周年の3DS 14 (800)
--log55.com------------------
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64159
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64160
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64161
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64162
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64163
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64164
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64165
MX･tvk･テレ玉･チバ･群馬･とちぎ実況 ★ 64166