"「CEP」知るなら今でしょ"を聞いてきた

DB Tech Showcase　東京2014つづき、11/12の

今を分析する日立の「CEP」知るなら今でしょ

をきいてきたので、めもめも



CEPって何？
何が新しくて、どこで使われているの？
といった疑問を解決します。

CEPとは
・ビッグデータの時代（モノ・ヒト・コト）
　　IoTとM2M：いつでもどこでも早く便利に！
　　Intelligence：ビッグデータから価値ある情報を抽出
　　Speed：ビジネススピード

・Intelligence：ビッグデータから価値ある情報を抽出
　　１つの値でなく、値の変化に意味がある
　　　　逐次発生し続けるデータから、価値ある情報を抽出
　　　　意味ある「値の集合」を分析することで、価値ある情報を抽出
　　　　統計分析、傾向分析、相関分析など、分析方法は様々

技術的な特徴とその原理
・CEP基盤の動作原理
　　データ発生時にリアルタイムに処理するフローがtがデータ処理
　　　ストック型データ処理（従来DBMS)
　　　　　→フロー型データ処理（CEP：複合データ処理)

・実現するデータ処理基盤
　　ウィンドウ演算
　　インメモリ差分計算
　　分析シナリオをCQL(SQL拡張）

・ウィンドウ演算
　　無限に続く時系列データを効率よく処理
　代表的なウィンドウ演算
　　シャンピイングウィンドウ：ウィンドウの幅ぶん動く
　　オーバーラッピングウィンドウ：ウィンドウの幅がオーバーラップ
　　スライディングウィンドウ：スライドさせ、ひとつひとつ

・インメモリ差分計算
　　圧倒的な超高速処理を実現
　　　インメモリデータ処理によりディスクI/Oを排除
　　　差分計算：一定の計算量

・クエリ言語CQL（continuous Query Language)
　　SQLに時間の概念を追加
　　IStream( →ストリーム化演算
　　　Select id sum (val) as S
　　　　From str[Rows 3]　→ウィンドウ演算：時間の概念
GROUP BY ID )

・例
　　株の自動取引処理

どこでどう使われているのか：適用事例
・モノ
　・株価指数算出配信サービス：東証
　・Webサービス稼動状況モニタリング
　・プローブデータ活動の方向性
　　交通状況リアルタイムモニタリング
　・データセンターの空調制御最適化

ヒト
　・リアルタイム広告コンテンツ配信
　・日立・横浜事業所「快適ecoプロジェクト」
　・ヒトの情報活用の可能性

まとめ
CEP：今を分析
ビッグデータ活用のためのプロセス
　　仮説立案とビジョン実現のプロセス