「ヤフーはいかにしてHadoopを活用しているのか」を聞いてきた！

DB Tech Showcase　東京2014つづき、11/12の

ヤフーはいかにしてHadoopを活用しているのか

をきいてきたので、めもめも



・Yahoo is 課題解決エンジン
　１００種類を超えるサービス
　マルチビッグデータカンパニー

・ビッグデータ！
　月間アクティブユーザーID：２８００万人
　月間ページビュー５９０億
　年間ユニーク検索７５億
　取扱商品　１億点以上・・・今、もう少しで楽天おいぬく

　年間　「ORACLE　エラー」検索数　約５万６千
　一番検索されているコート　ORA-12154
　TNS-サービス名を解決できませんでした
　→TNSを真っ先に解決すべきと判断できる

・Volume,Velocity,Variety→value
　ビッグデータレポート
　　景気と検索ワード
　　議席率：的中率高い
　　インフルエンザ感染状況
　　大相撲の人気がジャニーズを超えたのか？
　　YAHOOで検索してね！
　YAHOO DMP
　　データマネジメントプラットフォーム
　　やふってください
　サービス展開：
　　検索ワード入力補助
　　レコメンデーション
　　音声アシスト
　　感情分析
　A／Bテスト


どのようなシステムでデータを処理しているか
・データの流れ
　　　　ログ(DataHighway）
　　　　　　　↓
　　　　　　Hadoop
一時加工データ
　Storm　　　　　　RDB
Hadoop中心

５７００台：１日１．５台のペースで故障（故障率０．８％）
４００超のユーザーを超えるマルチテナンシー

ヤフーのHadoop基盤の歩み
～２０１０　数台
２０１１～２０１２　全社クラスタ化
２０１３年　マルチビックデータ（３千数百）
２０１４　　更なるスケーラビリティ：データの蓄積先
ニーズに応じてスケール

現在のHadoopに対する要求
・でーたから新たな価値を生み出したい
１．新機能の開発に注力したい
２．長期データを活用したい

とりまく状況
・データ増加
・データ集約
・システム集約

もうひとつ
・Oracle,MySQLも利用
　apache：ファイルに落とされる
→１ヶ月６９P圧縮して１４P

・コンテンツごとの利用状況を把握したい
・都道府県→分析
　　select count(*)
　　　Oracle exadata,Teradata→さらに高い
　　　→非構造化：Hadoop：DBに置き換わるものでない
　　　→スーパーコンピューターに置き換わる

まとめ
・HadoopはRDBと違った領域
　より構造化されていない大量データ
　CDH：無料でダウンロードできる
　　→新人研修で構築
　OpenStackの次期バージョンに載ってくる？

ディスク障害が多い