【KVS】 Key-Value Storeを勉強するスレ

1

： NAME IS NULL [] 2010/02/26(金) 01:38:45

ID

:y+tdcYdD

RDBMSの時代は終わるのか？
クラウド(笑)時代のデータベース技術KVSについて語ろう！

99

： NAME IS NULL [sage] 2012/02/27(月) 01:38:01.06ID:???

HadoopはHDFS(ファイルシステム)とMapReduce(分散処理フレームワーク)で構成される．
Hbaseはそのデータストアとしてされる

100

： 93 [sage] 2012/02/27(月) 12:26:47.01ID:???

つまり、Hadoop/MapReduceのデータloadにHbaseは使えても、RDBとかは適切じゃないって意味ですよね？
結果のsaveなんかは、多分何のデータベースでもＯＫなんでしょうね。

101

： NAME IS NULL [sage] 2012/02/27(月) 14:01:41.85ID:???

Hadoopが対象とするデータの想定はテラバイトやエクサバイトといったビッグデータだからデーRDBのI/O性能ではボトルネックになってしまうと思われます．

102

： NAME IS NULL [sage] 2012/02/28(火) 01:08:49.07ID:???

データの一貫性少し犠牲にしても処理速度を→KVS
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ

103

： 93 [sage] 2012/02/28(火) 11:25:37.44ID:???

なるほど、なるほど。

「ビッグデータでもI/O性能ＯＫ」、かつ、「データを分散して持てる」（←あってますよね？）、
といったものでないと、Hadoopがマトモに動かないってことですよね？

次はなぜKVSではＯＫなのか（データが分散してるから、ビッグデータでもI/O性能ＯＫ？）なのかを考えてみまつ。
（教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます）

104

： 93 [sage] 2012/02/28(火) 11:28:19.03ID:???

あれ？　

>>102

>データの一貫性少し犠牲にしても処理速度を→KVS
>DBのでっかいダンプファイルから統計とったりしたい→Hadoop

KVS単体 VS Hadoop単体、ですか？

105

： NAME IS NULL [sage] 2012/02/28(火) 13:06:31.37ID:???

Hadoopとkvsは対になるのではないはず。

106

： 93 [sage] 2012/02/28(火) 13:16:47.34ID:???

再度、あれ？

ttp://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
＞基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。

hBase＝KVSだと思っていたのだが、違うのか。。。

色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ？

107

： NAME IS NULL [sage] 2012/02/28(火) 14:21:05.01ID:???

KVSはカラムがKeyとValueしか定義されていない単純なデータ構造で代表的なものが
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。

108

： 93 [sage] 2012/02/28(火) 15:36:17.27ID:???

なるほど。

Hbase (- KVS //HbaseはKVSの集合に含まれる

Hadoopのデータストアは、データ分散ＯＫ、ビッグデータでもI/O性能ＯＫ、が好ましい。
　→RDBよりもKVS、その中でもhBaseが妥当じぇね？
ってことですね。

109

： NAME IS NULL [] 2012/08/04(土) 22:22:41.80

ID

:hNSFSVJW

LDAPスレはここにないよね？
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど

110

： NAME IS NULL [] 2012/08/07(火) 17:47:42.55

ID

:lgaLRZBM

実際に欲しいのはシンプルなBTreeデータベースなのに、うまくスケールする実装がないから
仕方なしにRDBMSを使っているってシーンが色々ありまして。。

111

： NAME IS NULL [sage] 2012/08/16(木) 09:14:44.75ID:???

googleも最初はそうだったよね。

112

： NAME IS NULL [] 2012/09/03(月) 20:06:49.61

ID

:ojogcPbp

Cassandraは、海外ではTwitterなど大規模なサイトでの導入事例
がたくさんあるようだけど、国内ではほとんど聞かない。
日本の大規模サイトで、Cassandra使ってるところってあるかな？

Cassandra、Write性能もスケールするっていうのは魅力的だな・・
RDBMSだとMasterがボトルネックになるのは不可避だろうし、かといって
Shardingをやるとアプリ側の作りこみがめんどうになる。

>>1

NoSQLのスレのが良かったんでは？

113

： NAME IS NULL [] 2012/09/30(日) 20:51:16.91

ID

:lf9RHx2G

>>41

Cassandraは牛刀すぎて、それ相応の規模を持ち合わせていないとなぁ。。
でもエンタープライズ市場やデータウェアハウス市場という実業分野では、素直にカネ払ってOracle導入するし

KVSは、多量のデータを扱う必要があるけどあまりカネ使えないっすー、というネトゲみたいな
虚業分野での導入実績が多いかんじ

114

： NAME IS NULL [sage] 2012/10/02(火) 08:19:38.09ID:???

>>113

まったく的外れだな
いまどきエンタープライズ＝Oracleなんて認識は時代遅れすぎる。
FacebookもDeNAも金持ってるがMySQLやNoSQLを使っている。
FacebookやAmazonは自社でNoSQLの開発もやっている

NoSQLとRDBの違いは予算ではない。
それぞれの長所、短所がある

NoSQLはビッグデータを扱える。
運用の負担が少なく、数百台のサーバーにスケールアウトできる
シンプルなデータモデルのためRDBでは実現できないようなパフォーマンスも叩き出せる。

115

： NAME IS NULL [sage] 2012/10/02(火) 20:06:46.95ID:???

エンタープライズ＝Facebook、DeNA、Amazon
って感覚にも問題ある

どこの企業もWebサービスが生命線ってわけじゃないし

116

： NAME IS NULL [sage] 2012/10/02(火) 23:49:35.16ID:???

>>113

ビッグデーター関連の技術の活用や研究をしていてしかも金があるところ
だと日本だと例えばNTTがそうだね。
hadoop関連では国内でも有名だし、対外的にも国際学会に論文出している。

117

： NAME IS NULL [sage] 2012/10/03(水) 00:14:23.43ID:???

古典的なエキスパートvsプロフェッショナルの分類だと
エンタープライズと言えばプロフェッショナルで出来合いDB
Web企業はエキスパートだから自前かトガったツルシのDB。

といいつつもOracleだって今時の売りはビッグデータだ。
今やハードも持ってるしな。

118

： NAME IS NULL [sage] 2012/10/15(月) 04:37:16.22ID:???

Oracleはカネ払えばベンダーが面倒見てくれるけど、KVSはそういう会社がまだないので。。
企業財産そのものであるデータベース分野で、「自分でソース読んで解決すればOK」みたいな
ソフトウエアは使わせてもらえない。

ネトゲみたいに「ｺﾞﾒﾝｺﾞﾒﾝぶっ飛んじゃったわ」で済む範囲ならいいかもしれないけど

119

： NAME IS NULL [sage] 2012/10/20(土) 07:22:48.37ID:???

あのgmailでさえデータぶっ飛ばしてるし、まだエンタープライズ用途では様子見で。。

120

： [―{}@{}@{}-] NAME IS NULL [sage] 2012/10/20(土) 07:30:18.42ID:???

KVSでも解析系は別に考えた方がよい。

121

： NAME IS NULL [] 2012/10/20(土) 10:15:49.67

ID

:+nLxsDLu

ところが、自前管理の方がデータぶっ飛ばしてる率が高そうだ

122

： NAME IS NULL [sage] 2012/10/20(土) 10:17:28.47ID:???

gmailは扱ってるデータの規模がそもそも違う。

123

： NAME IS NULL [sage] 2012/10/21(日) 07:58:39.36ID:???

データの規模って…ビッグデータはスケールしてなんぼでしょ？
そういうのでなかったら、Oracleで足りるし

結局ビッグデータでも維持のために専任管理者を置いておく必要があるけど、
もしもぶっとんだら、彼だけの能力でデータ復旧できるのかというとまだ微妙
そして彼の退職後に誰もメンテできないようだと、会社の存続が危うくなる

そういうスタッフを自前で置けないんだったら、Oracleを契約しておいた方が面倒がないような

124

： NAME IS NULL [sage] 2012/10/21(日) 20:13:30.21ID:???

>>123

googleだってデフォでバックアップ取ってるし、
こっちがあーだこーだ言わなくても自動で修復もしてくれる。
oracleはちゃんとした会社だしサポートも営業体制も安定してるが、
ロストしてバックアップもダメになってる時だってあるし、ダメな時はダメ。
誰も無から有は作り出せない。

125

： NAME IS NULL [] 2012/10/22(月) 02:22:01.76

ID

:Fprj7xN3

もうfusion-ioさんでmysqlでnosqlに勝てちゃうだろ
nosqlはフラッシュ系ストレージのせいでオワコンになったんや

126

： NAME IS NULL [sage] 2012/10/22(月) 08:30:09.53ID:???

そんなんその辺のクラウドじゃ使えませんやん…

127

： NAME IS NULL [sage] 2012/10/22(月) 16:45:23.58ID:???

キャッシュ置き場ならいいかもしれないが、現状で一次データをKVSに置くのはさすがに怖い

128

： NAME IS NULL [sage] 2012/10/22(月) 18:24:46.15ID:???

>>127

お前が怖いのは、根拠もなしにクラウドは危険だと言う同僚や上司を説得できないことだろ。
リスクの種類が違うからって危険とは限らないが、はなっから信用していない人間を説得するのは骨だ。

129

： NAME IS NULL [sage] 2012/10/22(月) 18:45:15.98ID:???

>>128

「動かないコンピュータ」に載るような深刻な大事件がいくらか起こって、
その結果、「クラウドでこうやってはいけないバッドノウハウ集」がそれなりに溜まってきたら、
そろそろ入れようかと思うよ。

クラウド向きじゃない用途が明らかになって、「クラウドは欠点が多くて使えねーわ」って言う人が
増えてきたら、ちゃんと検討する。他人が地雷を一通り踏みまくってくれている。
クラウド関連記事が賞賛ばかりの状況では、マーケ盛んだな、ぐらいでまだ入れない。
機雷掃海は他人にやって頂くに限ります。

130

： NAME IS NULL [sage] 2012/10/24(水) 02:32:30.99ID:???

>>123

Googleはデータやハードの故障への耐性ってのをまず考えてる。
安いマシンを並列に、で大きくなったんだから第一の関心がソレだ。
一部故障しても、少しの影響で済むような分散処理。
故障の素早い隔離と復旧そして同期のとりかた。

でも大事なのは、統計合計マシンだから本質的に少々データが
壊れてもあまり影響のないサービスだって事だ。

いわゆる業務システムじゃそうは行かんわな。

131

： NAME IS NULL [sage] 2012/10/24(水) 11:26:19.39ID:???

ぶっ飛ばしても、障害報告を書いて謝って終わり、で済む安いデータならいいかもしれないけど
システムが止まると一日あたり数百万づつ売り上げが消える、という業務系ではまだ無理だよ

132

： NAME IS NULL [sage] 2012/10/24(水) 11:44:09.09ID:???

MTTF・MTBF共に短いが可用性が高いというのがクラウドの特徴。

これが許せるか許せないかは業務系云々より、社会体質に依るんじゃないかなあ。
「あれ？動かないぞ・・・責任者出せ」みたいな体質の所だったらダメだろうし、
「あれ？動かないな・・・後でやり直そう、あ、動いた動いた、OK」みたいな体質のところだったらOK。

133

： NAME IS NULL [sage] 2012/10/24(水) 11:47:56.57ID:???

そう考えると、やはりIT部門の責任者は相当な地位が必要だよなぁ。
システムは利用者の考え方をも変えてしまうのだから。

134

： NAME IS NULL [sage] 2012/10/25(木) 20:33:57.35ID:???

分散させれば障害に強くなる…って論は、現状の信頼性研究でも確実に断言できない所があるね

とあるエンジニアは、RAID5の存在を認めず事あるごとに批判し、RAID10以上を要求しているけど
それがマネーが動く業務システムってもんだよなぁ。。

135

： NAME IS NULL [sage] 2012/11/15(木) 14:22:58.16ID:???

ネットワーク透過型のHashテーブルが欲しいな、と思ってKVSに当たるのだけど、
それの保守チームを確保できないから、やっぱりMySQLのように運用人口の多いRDBで代用してしまう
鶏と卵だなー

136

： NAME IS NULL [sage] 2012/11/15(木) 19:22:53.50ID:???

買ってくるんじゃ駄目なの？

137

： NAME IS NULL [sage] 2013/02/27(水) 17:31:22.14ID:???

>>135

保守チームって何？
コードの隅々まで理解してる人達を養成でもしたいの？

138

： NAME IS NULL [sage] 2013/09/18(水) 17:40:30.76ID:???

お勧めは？

139

： NAME IS NULL [sage] 2013/10/24(木) 02:44:32.36ID:???

テスト

140

： NAME IS NULL [sage] 2013/10/24(木) 02:49:10.08ID:???

スレチかもしれんのだけど、
エクスペディアの「このホテル、○分前に予約が入りました」
ってあれは、KVS使ってるのかな？
REDISかHBASEあたり？

探ってるんだけど、SAS入れたって情報しか見えてこない…

141

： NAME IS NULL [sage] 2013/10/24(木) 17:11:25.20ID:???

RDBで十分でしょ

142

： NAME IS NULL [sage] 2013/10/24(木) 20:41:52.20ID:???

探って出てくるような話じゃないと思うんだが。

143

： NAME IS NULL [sage] 2013/10/25(金) 02:30:31.46ID:???

言われたら、「○分前に予約が入りました」は、RDBで行ける気がしました。
13万のホテルに最終予約時刻入れとけばいいから、対したこと無いですね。

144

： NAME IS NULL [sage] 2013/10/26(土) 03:18:08.46ID:???

なるほどバカなんだな

145

： NAME IS NULL [sage] 2013/11/24(日) 20:50:24.92ID:???

千葉県松戸市六高台2-78-3

146

： NAME IS NULL [] 2014/07/13(日) 15:17:10.74

ID

:DJgIKLkB

◎2ch勢いランキングサイトリスト◎

★+ニュース板
・ 2NN (推薦)
・ 2chTimes
★+ニュース板新着
・ 2NN新着
・ Headline BBY
・ unker Headline
★+ニュース板その他
・ Desktop2ch
・ 記者別一覧
★全板
・ 全板縦断勢いランキング (推薦)
・ スレッドランキング総合ランキング
・ ログ速
★全板実況込み
・ 2勢
・ READ2CH
・ i-ikioi

※ 要タイトル名検索

147

： NAME IS NULL [] 2015/04/21(火) 21:23:41.21

ID

:pQzWEcgh

☆ 日本の核武装は絶対に必須ですわ。☆
ttp://www.soumu.go.jp/senkyo/kokumin_touhyou/index.html

☆ 日本国民の皆様方、2016年7月の『第２４回 参議院選挙』で、改憲の参議院議員が
3分の2以上を超えると日本国憲法の改正です。皆様方、必ず投票に自ら足を運んでください。
私たちの日本国憲法を絶対に改正しましょう。☆

148

： NAME IS NULL [] 2016/03/29(火) 16:26:06.19

ID

:sfT27TYg

もともとRDBでなくてもいいものは、それぞれのシステムで実装していただけで、NoSQLのたぐいは昔からある。

でも結局、仕様の変化に耐えられなくてRDBになる。

SQL文は作られた時代から、古臭いけど、デファクトスタンダードだから仕方ない。

憧れボディをGETしたい！その夢、ボニックで！

このページは2ch勢いランキングが作成したキャッシュです。元のページはこちら。削除についてはこちら。