FC2ブログ

ホーム

スポンサーサイト

--年--月--日 --:--

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

スポンサー広告

楽天カンファレンスいってきたよ :-)

2011年11月19日 21:12

久しぶりにカンファレンスなるものに行ってきました :-)
自分用メモのつもりで書きなぐりで残しておきます...

■ビッグデータ革命 クラウドがコモデティ化する「奇跡」

今が旬のBigDataの現状についての話...
奇跡って言葉に「起こらないから奇跡っていうんだよ」って、脊髄反射....orz

いろいろ事例の話があったけど、BigDataって結局、多量の事象データ(人の行動やらコンピュータの履歴とか)などから、これから起こりうる問題を、自動的に予測/解決することがキモになる...ということだそうな

以前ネットワーク管理システムを開発していたけど、確かにパケットロスの発生状況や機器の温度などを蓄積するところまではやっていたけど、その問題を解決する判断は、そのログから人間がトラブルチケットを発行して対処していたからなぁ...
※判断の支援になる、直近の情報整理まではやってくれていたけど...あくまでも支援レベル...
この判断を、多量のデータ(ログ)から統計と機械学習で、自動的にやってしまえ...ということかと思い、納得 :-)

で、その予測のために必要となるデータマイニングのスキルを持ったエンジニア不足に、BigDataで先行している海外の企業が困っているそうな...
統計学や機械学習に精通したエンジニアが少ないらしく、人の確保に苦労しているらしい...


■MongoDB と Cassandra : 入門から最新情報まで

MongoDB VS Cassandraって感じの内容だった...

MongoDBとCassandraの弱点についても話があって、いろいろ勉強になった :-)

で、わかったことを箇条書き

1)MongoDBのShardingはまだまだ実用域に達していない
2)MongoDBをマスタデータストレージとして使うのはやめれ!
 マスタデータは黄色い象さんに任せて、象さんで解析した一次データをMongoDBに突っ込んで、二次解析に使うといい。
 MongoDBで管理できるデータは柔軟だし、検索の切り口も柔軟だから、このやり方のほうが理にかなってる :-)
3)Cassandraは、HBaseのNameNodeのような管理元が不要。ノード追加が容易みたい...
 単一点障害が起こらないので、対障害性が高いのかな...
 ラストオーダーがいなくても、御坂シスターズだけで成立する感じ :-)
4)Cassandraは1ノード辺りのデータサイズは大きくしないこと...
 データ容量を増やすには、ノードの数を増やすのが常道...
5)Cassandraはデータ解析の仕組みが弱い...

MongoDBの得意なところはCassandraは苦手、Cassandraが得意なところはMongoDBは苦手....と、かなり対象的です。

MongoDBのプレゼン資料
かなりわかりやすい :-)


明日は朝からオープンソースカンファレンス2011...
朝6時起きか....orz
スポンサーサイト

DB コメント: 0 トラックバック: 0

ホーム

プロフィール

PANTOMAIMU

Author:PANTOMAIMU
本当は仕様を決めたり設計だけじゃなく、プログラミングもしたいのに~というジレンマを抱えながらも、時間があれば家でプログラムを作ったりしている、しがないSE....
趣味はお絵描きに曲作りに自転車 :-)

Twitter @PANTOMAIMU

カレンダー

05 | 2019/06 | 07
- - - - - - 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 - - - - - -

FC2カウンター

最新トラックバック

検索フォーム

ブロとも申請フォーム

この人とブロともになる

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。