Oracle Days Tokyo 2014
次は
先進事例に学ぶBigData Reservoir and Data Integration
日本オラクルの人
をメモメモ
BigDataに含まれるものとはどの範囲か
・FaceBookの人
BigData=RDB+Hadoop+NoSQL・・・
BigDataのトレンドの1つ Reservoir(りざぼわ)
Why the world Reservoir
HadoopベースのReservoirとデータウェアハウス
Reservoir(りざぼわ):溜め込むところ
Caixa Bank
すべての顧客データの一元化によりビジネスの変革を実現
Hadoopに溜め込む
→Data Reservoir(データプールとお客さんは言っている)
そのほか
・トムソンロイター
・P&G:傾向分析 製品出してすぐ→生データ価値ある
・ベルギーの会社
Big Data Reservoirがあることのメリット
データウェアハウスとの共存とBigData活用の加速化を実現
データのアクセス
データの準備
膨大な元データの保持
Oracle Big Data Management System
アーキテクチャ・イメージ
Oracle BigData SQL
→どうやっておくっていくか?
Data Integration
Oracle Data Integration
エンタープライズ・メタデータ・マネジメント
Oracle Golden Gate
リアルタイム・データ連携技術
トランザクションを変換して適用する
マルチマスター
クラウドレプリケーション・オフロード
Oracle Data Integrator(ODI)
ETL
データがたまっているところで変換する
→中間サーバーいらない
大きく3つ
1.Commodity Data Reservoir
Hadoopをおいて、データを持ってくる
Oracle Data Integrator+Hadoop
→デザインで済ませてしまう
Hiveのリアルタイム供給(11月10日公開?)
2.Oracle Engineered Systemで実現する
Exadataを利用
驚異的な並列処理 ヨーロッパの大手銀行
3.Streaming Big Data
センサーデータ
RDB→ゴールデンゲート→Kafka
ディテクTV
ゴールデンゲートとODI
・概要の復習
・クラウドとの連携
プレミア焙煎と、特別なコーヒーを提供する企業
SaaSのCRMを使っている:クラウド分析、オンプレミスの顧客情報
・双方向でのデータ同期
2000店舗:WebPosのしくみでリアルタイムの双方向データ同期
・Solar World(太陽光発電)
製造MESからDSSへのリアルタイム連携
ゴールデンゲート
・Turkcell
ExadataとE-LTで実現
27日→3日
・異種データベースをリアルタイム統合、情報統合基盤を構築
リプレースできない
GoldenGateで9秒→5分間以内が・・
・ANA
リアルタイムでメール配信
基幹に負荷をかけずに:ログを見に行くので、負荷がかからない
クエリオフローディング
・StarWood Hotels & Resorts
参照情報をログファイルからオフローディングしたデータのほうを見に行かせる
1個1個を作っていって、連携させる
2020年 大きなビジネス成功を勝ち取るために!!
Big Data Reservoir and Data Integration
次は
先進事例に学ぶBigData Reservoir and Data Integration
日本オラクルの人
をメモメモ
BigDataに含まれるものとはどの範囲か
・FaceBookの人
BigData=RDB+Hadoop+NoSQL・・・
BigDataのトレンドの1つ Reservoir(りざぼわ)
Why the world Reservoir
HadoopベースのReservoirとデータウェアハウス
Reservoir(りざぼわ):溜め込むところ
Caixa Bank
すべての顧客データの一元化によりビジネスの変革を実現
Hadoopに溜め込む
→Data Reservoir(データプールとお客さんは言っている)
そのほか
・トムソンロイター
・P&G:傾向分析 製品出してすぐ→生データ価値ある
・ベルギーの会社
Big Data Reservoirがあることのメリット
データウェアハウスとの共存とBigData活用の加速化を実現
データのアクセス
データの準備
膨大な元データの保持
Oracle Big Data Management System
アーキテクチャ・イメージ
Oracle BigData SQL
→どうやっておくっていくか?
Data Integration
Oracle Data Integration
エンタープライズ・メタデータ・マネジメント
Oracle Golden Gate
リアルタイム・データ連携技術
トランザクションを変換して適用する
マルチマスター
クラウドレプリケーション・オフロード
Oracle Data Integrator(ODI)
ETL
データがたまっているところで変換する
→中間サーバーいらない
大きく3つ
1.Commodity Data Reservoir
Hadoopをおいて、データを持ってくる
Oracle Data Integrator+Hadoop
→デザインで済ませてしまう
Hiveのリアルタイム供給(11月10日公開?)
2.Oracle Engineered Systemで実現する
Exadataを利用
驚異的な並列処理 ヨーロッパの大手銀行
3.Streaming Big Data
センサーデータ
RDB→ゴールデンゲート→Kafka
ディテクTV
ゴールデンゲートとODI
・概要の復習
・クラウドとの連携
プレミア焙煎と、特別なコーヒーを提供する企業
SaaSのCRMを使っている:クラウド分析、オンプレミスの顧客情報
・双方向でのデータ同期
2000店舗:WebPosのしくみでリアルタイムの双方向データ同期
・Solar World(太陽光発電)
製造MESからDSSへのリアルタイム連携
ゴールデンゲート
・Turkcell
ExadataとE-LTで実現
27日→3日
・異種データベースをリアルタイム統合、情報統合基盤を構築
リプレースできない
GoldenGateで9秒→5分間以内が・・
・ANA
リアルタイムでメール配信
基幹に負荷をかけずに:ログを見に行くので、負荷がかからない
クエリオフローディング
・StarWood Hotels & Resorts
参照情報をログファイルからオフローディングしたデータのほうを見に行かせる
1個1個を作っていって、連携させる
2020年 大きなビジネス成功を勝ち取るために!!
Big Data Reservoir and Data Integration