FC2ブログ

ホーム

スポンサーサイト

--年--月--日 --:--

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

スポンサー広告

楽天カンファレンスいってきたよ :-)

2011年11月19日 21:12

久しぶりにカンファレンスなるものに行ってきました :-)
自分用メモのつもりで書きなぐりで残しておきます...

■ビッグデータ革命 クラウドがコモデティ化する「奇跡」

今が旬のBigDataの現状についての話...
奇跡って言葉に「起こらないから奇跡っていうんだよ」って、脊髄反射....orz

いろいろ事例の話があったけど、BigDataって結局、多量の事象データ(人の行動やらコンピュータの履歴とか)などから、これから起こりうる問題を、自動的に予測/解決することがキモになる...ということだそうな

以前ネットワーク管理システムを開発していたけど、確かにパケットロスの発生状況や機器の温度などを蓄積するところまではやっていたけど、その問題を解決する判断は、そのログから人間がトラブルチケットを発行して対処していたからなぁ...
※判断の支援になる、直近の情報整理まではやってくれていたけど...あくまでも支援レベル...
この判断を、多量のデータ(ログ)から統計と機械学習で、自動的にやってしまえ...ということかと思い、納得 :-)

で、その予測のために必要となるデータマイニングのスキルを持ったエンジニア不足に、BigDataで先行している海外の企業が困っているそうな...
統計学や機械学習に精通したエンジニアが少ないらしく、人の確保に苦労しているらしい...


■MongoDB と Cassandra : 入門から最新情報まで

MongoDB VS Cassandraって感じの内容だった...

MongoDBとCassandraの弱点についても話があって、いろいろ勉強になった :-)

で、わかったことを箇条書き

1)MongoDBのShardingはまだまだ実用域に達していない
2)MongoDBをマスタデータストレージとして使うのはやめれ!
 マスタデータは黄色い象さんに任せて、象さんで解析した一次データをMongoDBに突っ込んで、二次解析に使うといい。
 MongoDBで管理できるデータは柔軟だし、検索の切り口も柔軟だから、このやり方のほうが理にかなってる :-)
3)Cassandraは、HBaseのNameNodeのような管理元が不要。ノード追加が容易みたい...
 単一点障害が起こらないので、対障害性が高いのかな...
 ラストオーダーがいなくても、御坂シスターズだけで成立する感じ :-)
4)Cassandraは1ノード辺りのデータサイズは大きくしないこと...
 データ容量を増やすには、ノードの数を増やすのが常道...
5)Cassandraはデータ解析の仕組みが弱い...

MongoDBの得意なところはCassandraは苦手、Cassandraが得意なところはMongoDBは苦手....と、かなり対象的です。

MongoDBのプレゼン資料
かなりわかりやすい :-)


明日は朝からオープンソースカンファレンス2011...
朝6時起きか....orz
スポンサーサイト

DB コメント: 0 トラックバック: 0

ご無沙汰ぶりでございます

2011年11月11日 01:58

なんと2ヶ月近く放置ですよ.....orz
やっぱり通勤往復4時間は痛いなぁヽ(`・ω・´)ノ ウワァァン!!
まぁ、その大変なプロジェクトもひと段落着いて、次のプロジェクトの始まりです。
新しいプロジェクトも、今まで通り往復4時間...まぁ、本を読む時間が出来たと思えば...ね

お仕事ではすっかりPerlな人になっていて、10数年やってきたJavaのことを忘れてはじめました(`・ω・´;) b ビシッ!!
今回やっているプロジェクトの別パートが、C++でゴリゴリ書かれているということもあり、Javaオンリーの状況からPerl/RubyやC++などに移行したいなぁ~ なんて、横目で見ながら半分本気で思っていたりする...
昔はC++でゴリゴリ書いていたし :-)
※まぁ、実際は趣味の範囲で留まるんだろうけど...

世の中の流行なのか、Javaエンジニアがもてはやされている(?)けど、「Javaしか知らない」っていう人が結構多いと思う。で、ネットワークやシステム環境といったインフラ周りの知識が乏しかったりして、足元がおろそかな人が多くなっている気がする...
ソフト屋でも、インフラの知識がないと、仕事にならないんだけどにゃ...

OSやミドルウェアの環境設定やら仮想化、ネットワーク構築などなど...やること、勉強することてんこ盛り。

これを楽しいと思えるか、苦痛と思えるかで、色々エンジニアとしての方向性が決まるんだろうな....

※寝ぼけて書いた内容だったので、少し日本語らしく補正....orz

Perl コメント: 0 トラックバック: 0

ホーム

プロフィール

PANTOMAIMU

Author:PANTOMAIMU
本当は仕様を決めたり設計だけじゃなく、プログラミングもしたいのに~というジレンマを抱えながらも、時間があれば家でプログラムを作ったりしている、しがないSE....
趣味はお絵描きに曲作りに自転車 :-)

Twitter @PANTOMAIMU

カレンダー

10 | 2011/11 | 12
- - 1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 - - -

FC2カウンター

最新トラックバック

検索フォーム

ブロとも申請フォーム

この人とブロともになる

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。