Quantcast
Channel: ウィリアムのいたずらの、まちあるき、たべあるき
Viewing all 7271 articles
Browse latest View live
↧

「Borland ソリューションカンファレンス」のつづき

November 6, 2014, 5:00 pm
$
0
0
昨日（１１／６）の

Micro Focus Borland ソリューションカンファレンス
テスト自動化とALMで実現する品質向上・効率化の事例を紹介

つづき。後半の内容をメモメモ



■【事例講演３】CTCの負荷テストツールの導入事例とDevOpsへの取り組み

・会社紹介
　伊藤忠テクノソリューションンズ株式会社
　ITサービス事業グループ

・テストツールの導入事例に基づく、負荷テスト実施のポイントとツールの有効性
　負荷テストの重要性と意義
　負荷テストの目的：システムが耐えられるかどうか
　　従来：CPU性能、不良コード
　　現在：大量トランザクション
　　　→スケールできる：どれくらい？
　・CTCの負荷テストへの取り組み
　　①開発品質向上の取り組み
　　　　CTC SI標準　SINAVI　WBS標準
　　　　開発標準
　　　　開発基準（ガイドライン）
　　②負荷テストツールの提供
　　　　Silk Performer
　　③横断組織による負荷テスト支援
　　　専門性のあるスキル
　　　　　テスト計画・仕様定義が難しい
　　　　　幅広い技術スキルが必要
　・負荷テストの支援実績例
　・プロジェクトの進め方
　　　１．テスト計画
　　　２．テスト仕様書作成
　　　３。スクリプト・データ
　　　４．環境構築
　　　５．試行・調整
　　　６．実施
　　　７．結果分析
　　　８．報告
　　ポイント
　　　・「テスト計画・仕様」の作成
　　　　「試行・調整」
　　　　　　・不用意に厳しいテスト条件・目標値の設定
　　　　効率的な「結果分析・再計測」
　　　　　　・ユーザーに近いところ、粒度の大きいところから
　　　　　　・ツールを効果的に活用
　　ツールの有効性
　　　　１．スクリプト作成の容易性
　　　　　　Silk Performerの支援機能
　　　　２．テスト結果分析の容易性

・次世代開発スタイルとしてのDevOpsの取り組み
　開発スタイルの変化
　　　従来：Water fall
　　　　　負荷テスト
　　　これから：DevOps
　お客様の要求の変化
　　　いち早くサービスを提供
　　　ビジネス・スピード重視
　変化への対応を誘うキーワード
　　　①アジャイル
　　　②統合開発環境→自動化を支援するプロジェクト支援ツール
　昨今の開発プロジェクト例
　プロジェクト管理が複雑に
　発生しうる課題
　　　コードの衝突
　　　タスクとの関連性
　　　再テストに時間がかかる（環境設定漏れ）
　対応のポイント
　　　ソース更新手順の規格化
　　　ツールによるプロジェクトの見えるか
　　　ビルド・テスト・リリースの自動化
　　　非機能要件のプラットフォーム化
　ビルド・テスト・リリースの自動化
　　　ユニットテスト
　　　ソース品質チェック
　　　画面テスト
　　　ソースコードレビュー
　テスト観点の漏れがないように
　メトリクスの活用
　　　ユニットテスト数とコード量の相関
　　　ソースコードの複雑化
・CTCの考える次世代開発環境

■【事例講演４】　「開発プロセスの効率化を図る　Star　Team導入事例紹介」

・会社概要
　スミセイ情報システム
　　ゆうゆう生保→Star Team 導入

・業務内容
　メディケア生命のシステム開発

・案件管理
　Excel,RedMine→管理ツール→VSS

・５つの課題
　人的作業リスク
　変更管理のトレース
　内部統制
　VSSのリスク
　テストの効率化

・３つのキーワード
　　機械化の促進
　　内部統制の強化
　　検証の強化

・機械化の促進
　　ソースとドキュメントの集中管理
　　変更ログの自動取得
　　ビルドの自動化

・内部統制の強化
　　ソースコードアクセス
　　ワークフロー（承認ログ）管理

・検証の強化
　　単体テスト効率化
　　GUIテストの自動化

・最適なツールの検討
　　オープンソースから検討を始める
　　　　ライセンス無償
　　　　機能要件は満たせる
　　　　連携は作りこみ必要
　　　　内部統制

・Star Teamを選択した理由
　　機械化できる
　　内部統制
　　すべての要件を１つのツールで
　　特定の方法論でない（うつわ）
　　通信の暗号化レベル

・まとめ
　Star team選択により、さらなる開発効率化を推進

組み込みでは
・要件管理のかりばーが使える

Star Teamは部分売りしないの？
・バージョンがある

↧
Search

マイクロソフトとドロップボックスが提携、クラウド保管・共有で

November 6, 2014, 7:30 pm
↧
↧

Javaの無料の静的解析ツール、FindBugsのEclipseプラグインを入れてみた！

November 7, 2014, 10:31 am
$
0
0
昨日の「Borland ソリューションカンファレンス」で、富士通の人の表の中に
FindBugsというオープンソースの静的解析ツールが
あるように書いてあったので、Eclipseにいれてみた。


Welcome to the FindBugs Eclipse plugin update site.
http://findbugs.cs.umd.edu/eclipse/

に入れ方が書いてある。以下、日本語版で



■FindBugsのインストール

ヘルプ→新規ソフトウェアのインストール

出てきたダイアログで「追加」をクリック

次に出てくるダイアログで

名前に
FindBugs update site
ロケーションに
http://findbugs.cs.umd.edu/eclipse
を入れて、OK。このダイアログは消える。

ちょっとたつと、元のダイアログに

FindBugsとでてくるので、それをチェック、次へ

次へ

同意して「完了」

途中

とか出てくるけど、OK

で再起動したら、FindBugsがはいってる



■FindBugsの利用法

プロジェクトを作成したら、右ボタンクリック、

プロパティで出てくるダイアログ、左側

FindBugを選択、右側で、
「プロジェクト固有の設定を可能にする」
「FindBugを自動的に実行」などをチェックし、適当に
設定する

サンプルプログラムを書いたら、

と黄色上に、緑っぽい小さいのが出たら、そこをクリックすると、
下のダイアログに、、バグ情報が出る。

と修正すると、消える。

なお、出ない場合、「プロジェクトのビルド」

をもういちどすると、いいかも・・
それでもでなかったら、プロパティの設定が間違えたか、
本当にバグがないか・・・



【参考になるかもしれないサイト】


FindBugsで静的解析を行う
http://techbooster.jpn.org/andriod/environment/6483/
↧

「MidoNetがオープンソース化」してたんですね・・

November 8, 2014, 10:58 am
$
0
0
知らんかった。

「Cephのような存在に」：MidoNetがオープンソース化、その狙いを聞いた
http://www.atmarkit.co.jp/ait/articles/1411/04/news046.html

(以下太字は上記サイトより引用）


　ミドクラは2014年11月3日（中央ヨーロッパ時間）、MidoNetの全コードをオープンソース化、新規に立ち上げたオープンソースプロジェクトのサイトにおいて無償提供を開始した。採用するライセンスはOpenStackと同じApache 2.0。


そのオープンソースを入手する方法は

http://www.midonet.org/

↧

「アンケートなら、SurveyMonkeyがあるし」といわれ・・・

November 8, 2014, 9:03 pm
↧
↧

jQueryがパッケージ名を変更

November 9, 2014, 11:33 am
$
0
0
2系の後継→「jQuery 3.0」、
1系の後継→「jQuery Compat 3.0」


IE8、Opera 12、Safari 5といった古いバージョンのWebブラウザをサポートする必要がある場合はjQuery Compat 3.0を利用することを推奨している


とのこと

・・・知らんかった。


jQueryがパッケージ名を変更、2系の後継を「jQuery 3.0」、1系の後継を「jQuery Compat 3.0」としてリリースへ
http://sourceforge.jp/magazine/14/10/31/153200

(太字は上記サイト内より引用）

↧

「データ分析でExcelを活用しよう」を聞いてきた！

November 11, 2014, 4:07 am
$
0
0
DB Tech Showcase　東京2014に行ってきて、

データ分析でExcelを活用しよう

を聞いてきたので、その内容をメモメモ



擬似的なマート（複数DB結合）を作る必要がない
→会社で企業向けに提供される機能

トレンドとしてのビッグデータ
・データ
・分析
・活用

パフォーマンスモニタ
時系列になっている
→どんなSQL,どんなIO

マイクロソフトが考えるデータ活用のポイント
　　目的：ビジネスで活用できること
　　ビジネス要件：従業員自身がトライ＆エラー

日常的に行われる仮説検証の例
　　仮説→データとつき合わせて確認
　　ファクトデータにアクセスできないと・・
　　→ビジネス側に提供

IT要件：セルフサービスBI
　　社員の誰もが自分の手元で仮説検証ができる


BIの変革
・コーポレートBI
・セルフサービスBI
　いま
　　たぶろー
　　くいっくびゅー
　　どくたーさむ
　→情報システム部にCSVでおいておいてね！
　　　　データ抽出頻度、トラブルシューティング
　→セルフサービスBI

・Microsoftでラップ（置き換えではない）

資料ダウンロードできるようにする
　→そこに体験版の場所も

Microsoftのビッグデータ分析基盤の全体像
・ビッグfデータ分析基盤
・PowerBI

デモ
２０１３Pro +,365Pro+
・Power Query
　　ADで入る
　　データの取り込み
　　power pivot(インメモリエンジン）
　　ローカルにキューブを作る
　　６４bitなら１００万行以上OK３４億件のキューブもいける

・Power View
　　インタラクティブなレポート
　　バブルチャート
　　share pointで置く
　　HTML5でExcelを再表現

・マイニング
　　share pointにおく
　　→予測して、グラフ化
　　信頼区間の設定
　　スパイク（一時的に高い点）の修正

Office365 ProPlusで使える
予測はPowerBI for Office365（操作する人だけ買う）
↧

「MongoDBアンチパターン」を聞いてきた！

November 11, 2014, 8:01 am
$
0
0
DB Tech Showcase　東京2014つづき、

月間１０億PVから学んだMongoDBアンチパターン

を聞いてきたので、その内容をメモメモ



月間１０億PVから学んだMongoDBアンチパターン

ZenClerk(ぜんくらーく）０から１０億PV
・ベストタイミングオファー
　　パラメータ→機械学習

難しい点
・リアルタイム
・ビッグデータ
　　マウスの移動まで
　　月間１０億PV
　　秒間４００PV
　　同時接続数５万
　　月間１０TB保存

フロントエンド
　　あんぎゅらーJS
　　ROR
　　MySQL
　　めむきゃしゅD
　　AWS

ばっくえんど
　　Node.JS
　　Mongo
　　Socket.io
　　Redis

AWS　２２台
　i2.2Xlarge　８台
　m1.large
m3.large　　１２台
　r3.large　　２台

～１０００万PV→mongoDB
スケールしない
～１億
　replica set
書き込み、メモリ乗り切るか
シャーディング
　→３つのレプリカセット

ここまでアプリケーションの変更ほとんどなし
（一部クエリを最適化）

使った理由
・スキーマレス
・トランザクション不要（最低限のアトミック処理）
・柔軟なクエリ
・容易なスケールアウト
・node.jsとの相性のよさ→socket.ioを使う→JSON
本当の理由
・導入の容易さ→ホスティングサービス
・学習の容易さ（エンジニア以外にとっても）

ベストプラクティス
→むずかしい
・ドキュメントを埋め込む
　　読み込み重視：書き込み遅くなる
・ドキュメントを埋め込まない（RDBの正規化に近い）
・書き込みスケールする：読み込み２回
・ハイブリッド

スキーマレスはスキーマ定義が不要という意味ではない
RDBMSよりも選択肢が多く難しい

アンチパターン
インデックスへん
・インデックスの張りすぎ
　　メモリの使いかたがあまり賢くない
　→実際にはおそくなる：メモリに載らなくなれば
　プラガブルストレージエンジン
　　InnoDB,rocksDBに変えられる

・文字列のインデックス
インデックス
　RDBMSとほとんど同じ
　B-Tree
　メモリ効率悪い
　→時間はメモリ効率よい
→できるだけObjectIdを使う。

クエリへん
・フィールドを指定しないクエリ
　coverd indexを有効利用する

・コールドデータへのクエリ
　ホットデータへのアクセスは高速
　コールドデータのアクセスは遅い

・集計
　　要約データ５分、１時間、１日など
　ホットデータを意識したアクセス

・プライマリに偏った
　　レプリカセット
　　クエリを分散させることができる
　　プログラマが、セカンダリに投げるかどうか判断する
　　最新のデータ出なくても良いなら、読み込みをセカンダリへ

アップデートへん
・updateと&incを使って
・upsert:true

肥大化するドキュメント
MongoDBの苦手分野
　フィールドが肥大化するアップデートが遅い
　データの移動
　Redis（れでぃす）と組み合わせて使う
すべてをMongoでやろうとしない

あーきてくちゃ
・１つのDBに詰め込む
　　わけたほうがいい
　　メモリが多く使える
　document-level locking

３つの監視
・リアルタイム監視
　　MongoHQ
・見返すための監視
　　MMSダッシュボード
・遅いクエリの監視
　　explain(true)
１００ｍｓ以上かかったら危険信号

↧
Search

「カラムナデータベース徹底比較」をきいてきた！

November 12, 2014, 1:26 pm
$
0
0
DB Tech Showcase　東京2014つづき、超満席の

カラムナデータベース徹底比較

をきいてきたので、めもめも



カラムナーデータベースとは
・ローでなく、カラム指向で処理を行う
　　→必要なカラムのみを読み込むことで、IOへらす。圧縮率あげる
・ロー単位で追加更新削除が苦手。OLTPには向いていない
・おもなもの
　　ねてぃーざ
　　れっどしふと

検証の背景
・大量のデータからの解析が必要
　　DBMS限界
・最適なカラムナデータベースがわからない
　　→比較検証の基準があいまい
　　→検証に利用されているデータ量が少ない
→業務で利用しているデータ、流しているクエリ、同一コストのインフラ

検証の方法
　Redshift（本番運用）
　Matrix
　InfiniDB→開発中止、解散
　Impala→Hive接続
　Presto→Hive接続
　BigQuery

検証データ
　　未圧縮１．５Tと１０Tの２パターン
　　 RedShiftからunloadでデータをS3　約１０TBで９時間
　　データインポート
　RedShift Copyコマンド
　Matrix knimeというETL
　InfiniDB→cpimport
　Inpala,Presto→Metadataストア
　BigQuery→Google Cloud Strageから

Query
　１．５T
　　likeで前方一致
　１０TB
　　Group by
　　サブクエリーをGroup by
　　サブクエリー２つをJoin Where
　　Group by,order byでminとcount

検証
　AWSで（big Query以外）
　RedShift８台
　Inpala,Presto９台

結果
詳しい数字はたぶん「サイバーエージェント公式エンジニアブログ」
にのるだろうから、そちらをみてください

１．５T
　クエリー時間
　　RedSHift せいのうよい　
　　Inpala,Presto　おそい
　　Infiniちかい　
　　matrix,検証できない
　　bigquery　圧勝

１０T
　　RedSHift せいのうよい
　　Inpala,Presto　おそい
　　matrix,　おなじくらい
　　bigquery　圧勝

Redshift：管理コストを考えれば、かなり良い選択肢
　　→これを基準とする

matrix（中身Redshift）
　　ETLツールにバグ１週間で直す→Actian社のサポート
　　同等のパフォーマンス
　　→構成を変えれば、スケールすれば

infiniDB
　　MySQLデータが使えて選択肢と考えてよかったかな・・
　　と思ったけど、解散してしまったので・・・残念

Impara/Presto
　　データが多いと時間がかかる
　　→Redshiftにすれば
　　Hadoopを使っている場合

BigQuery
　　とにかくはやい！！！
　　性能的にはかなりいい
　　安い
　　最強

　　・・・ただし、RedShiftのQueryが使えないことも
　　手間かかる
　　データが増えてもレスポンス変わらない

１．５T　２０億ロー
１０T　　１６０億ロー

１３日、ブログが乗る「サイバーエージェント公式エンジニアブログ」
http://ameblo.jp/principia-ca/

Redshift安いか？
２T,3Tになると費用高いけど、５０G程度なら・・（個人的感想）


　　
↧
↧

"「CEP」知るなら今でしょ"を聞いてきた

November 13, 2014, 6:08 am
$
0
0
DB Tech Showcase　東京2014つづき、11/12の

今を分析する日立の「CEP」知るなら今でしょ

をきいてきたので、めもめも



CEPって何？
何が新しくて、どこで使われているの？
といった疑問を解決します。

CEPとは
・ビッグデータの時代（モノ・ヒト・コト）
　　IoTとM2M：いつでもどこでも早く便利に！
　　Intelligence：ビッグデータから価値ある情報を抽出
　　Speed：ビジネススピード

・Intelligence：ビッグデータから価値ある情報を抽出
　　１つの値でなく、値の変化に意味がある
　　　　逐次発生し続けるデータから、価値ある情報を抽出
　　　　意味ある「値の集合」を分析することで、価値ある情報を抽出
　　　　統計分析、傾向分析、相関分析など、分析方法は様々

技術的な特徴とその原理
・CEP基盤の動作原理
　　データ発生時にリアルタイムに処理するフローがtがデータ処理
　　　ストック型データ処理（従来DBMS)
　　　　　→フロー型データ処理（CEP：複合データ処理)

・実現するデータ処理基盤
　　ウィンドウ演算
　　インメモリ差分計算
　　分析シナリオをCQL(SQL拡張）

・ウィンドウ演算
　　無限に続く時系列データを効率よく処理
　代表的なウィンドウ演算
　　シャンピイングウィンドウ：ウィンドウの幅ぶん動く
　　オーバーラッピングウィンドウ：ウィンドウの幅がオーバーラップ
　　スライディングウィンドウ：スライドさせ、ひとつひとつ

・インメモリ差分計算
　　圧倒的な超高速処理を実現
　　　インメモリデータ処理によりディスクI/Oを排除
　　　差分計算：一定の計算量

・クエリ言語CQL（continuous Query Language)
　　SQLに時間の概念を追加
　　IStream( →ストリーム化演算
　　　Select id sum (val) as S
　　　　From str[Rows 3]　→ウィンドウ演算：時間の概念
GROUP BY ID )

・例
　　株の自動取引処理

どこでどう使われているのか：適用事例
・モノ
　・株価指数算出配信サービス：東証
　・Webサービス稼動状況モニタリング
　・プローブデータ活動の方向性
　　交通状況リアルタイムモニタリング
　・データセンターの空調制御最適化

ヒト
　・リアルタイム広告コンテンツ配信
　・日立・横浜事業所「快適ecoプロジェクト」
　・ヒトの情報活用の可能性

まとめ
CEP：今を分析
ビッグデータ活用のためのプロセス
　　仮説立案とビジョン実現のプロセス


↧

「ヤフーはいかにしてHadoopを活用しているのか」を聞いてきた！

November 13, 2014, 1:54 pm
$
0
0
DB Tech Showcase　東京2014つづき、11/12の

ヤフーはいかにしてHadoopを活用しているのか

をきいてきたので、めもめも



・Yahoo is 課題解決エンジン
　１００種類を超えるサービス
　マルチビッグデータカンパニー

・ビッグデータ！
　月間アクティブユーザーID：２８００万人
　月間ページビュー５９０億
　年間ユニーク検索７５億
　取扱商品　１億点以上・・・今、もう少しで楽天おいぬく

　年間　「ORACLE　エラー」検索数　約５万６千
　一番検索されているコート　ORA-12154
　TNS-サービス名を解決できませんでした
　→TNSを真っ先に解決すべきと判断できる

・Volume,Velocity,Variety→value
　ビッグデータレポート
　　景気と検索ワード
　　議席率：的中率高い
　　インフルエンザ感染状況
　　大相撲の人気がジャニーズを超えたのか？
　　YAHOOで検索してね！
　YAHOO DMP
　　データマネジメントプラットフォーム
　　やふってください
　サービス展開：
　　検索ワード入力補助
　　レコメンデーション
　　音声アシスト
　　感情分析
　A／Bテスト


どのようなシステムでデータを処理しているか
・データの流れ
　　　　ログ(DataHighway）
　　　　　　　↓
　　　　　　Hadoop
一時加工データ
　Storm　　　　　　RDB
Hadoop中心

５７００台：１日１．５台のペースで故障（故障率０．８％）
４００超のユーザーを超えるマルチテナンシー

ヤフーのHadoop基盤の歩み
～２０１０　数台
２０１１～２０１２　全社クラスタ化
２０１３年　マルチビックデータ（３千数百）
２０１４　　更なるスケーラビリティ：データの蓄積先
ニーズに応じてスケール

現在のHadoopに対する要求
・でーたから新たな価値を生み出したい
１．新機能の開発に注力したい
２．長期データを活用したい

とりまく状況
・データ増加
・データ集約
・システム集約

もうひとつ
・Oracle,MySQLも利用
　apache：ファイルに落とされる
→１ヶ月６９P圧縮して１４P

・コンテンツごとの利用状況を把握したい
・都道府県→分析
　　select count(*)
　　　Oracle exadata,Teradata→さらに高い
　　　→非構造化：Hadoop：DBに置き換わるものでない
　　　→スーパーコンピューターに置き換わる

まとめ
・HadoopはRDBと違った領域
　より構造化されていない大量データ
　CDH：無料でダウンロードできる
　　→新人研修で構築
　OpenStackの次期バージョンに載ってくる？

ディスク障害が多い
↧

「Couchbase Serverを用いた大規模データ収集基盤」を聞いてきた

November 13, 2014, 4:02 pm
$
0
0
DB Tech Showcase　東京2014つづき、11/12の

Couchbase Serverを用いた大規模データ収集基盤

をきいてきたので、めもめも



会社紹介

・稼働率１００％、安定したパフォーマンス
・システムを停止せずにメンテナンス可能

ビジネス上の課題
・Webアプリからネイティブアプリへの移行
　　→意図的にデータ収集が必要
・外部の解析ツール
　　→ユーザー解析は困難

目的
・アプリ横断的な分析、解析

実現方法
・社内共通のIDを社内SDKで発行
・トラッキング；アプリ終了時

サーバの課題
・可用性：完全ダウンは許されない→縮退運転
・拡張性：即座にスケールアウト
・データ構造：柔軟なデータ構造

couchbase
・CEDEC2013　DrawSomething→導入へ

特徴
・ドキュメント指向
・高パフォーマンス
・自動車ーディング
・高スケーラビリティ

ドキュメント
・JSON,XML→スキーマレス
・２．１．１　コミュニティ版
・メモリが推奨スペックに満たない環境で運用
・集計には「まりやDB」を使っている

・稼働率１００％

ストレージタイプ
・標準memcache Typeをサポート
・Couchbase Typeを利用

vBucket
・ノードの物理的位置を抽象化
・リバランス：動的に更新
・しらなくても問題ない

PHP SDKによる開発
・書き込みレベル３レベル
　　メモリ書き込み
　　ストレージ永続化
　　レプリケーション完了

パフォーマンス
・クライアントから見たパフォーマンスはノードの数に関わらず一定

レプリケーション
・最大３回、非同期

フェイルオーバー
・２回ダウンしても、データロスとなかった
Graceful fail over：データロスとの可能性小

リバランス：システム停止せずOK
　→性能は多少劣化
リバランス失敗：メタデータが５０％越え
→メモリ？インデックス？

古いドキュメントを消すなどした

３．０
・メモリの中に保存するでーたかんりできる
・メタデータも一緒に削除できる

フルバックアップ→復元できない
・もう一度→復元できた？
・バックアップ時には、リストアできることを確認

管理コンソール
・監視可能
２．１．１　アラート３０秒→２．５から１２０秒

今後：Couchbase Mobile(とLite)
・データの同期
・オフラインとオンライン、同じ動作
・特定の環境に依存しない

N1QL（にっける）

ノードの数は？８個
ハード障害は：１回
↧

Cassandraの商用版、Datastaxのエンタープライズ版はインメモリらしい。IoTによさげ？

November 13, 2014, 7:14 pm
$
0
0
DB Tech Showcase　東京2014つづき、11/13の

Apache Cassandraに注目
IoT,Bigdata,NoSQLのパスワードに振り回されるな！
承認とってない３社、大手企業が大規模運営するホンモノの実力

講師：datastax（でーたすたっくす）の原沢さん

をきいてきたので、めもめも




C*のマーク

DataStaxとは
・Apache　Cassandraのディストリビューター
　　→LinuxとRedHatの関係
　　→Datastaxのエンタープライズエディションがある

・
Amazon DynamoDB 分散ハッシュテーブル
Google ビッグテーブル
→FaceBookがCassandraを作って、自分たちは使わなかった
　オープンソースに寄贈

Datastaxがエンタープライズ向けに
　Cassandraはオープンソース
　チェアー：サポートが必要→会社を作った
　セキュリティ：けるべろすとかを組み込んだ
　　インメモリDB,
　　分析　　　SparkSQL
　　全文検索　そらーが入ってる！！

（事例：承認をとってないので省略）

Apache CassandraはIoT向けデータベース
　→日本では

今、データセントリック

リレーショナルとNoSQL
　　NoSQL=Not Only SQL？
　　Database!=RDBMS
　　　　or
　　Post Relational
　　　でしょ？

オペレーショナルDB　VS　分析DB
（OLTPとデータウェアハウス）
→ORACLE　ひとつ：難しい

Hadoop、MapReduce：分析DB
　　2003,2004 Google MapReduce論文
　→DBは７年くらいたつと、使えるようになる

新しいものNoSQL
　キーバリューの考え方
　The 451 Group.com

RelationalにするかNoSQLにするか
　　IoT：データがどんどん出てくる
　　→リレーショナルもってない
リレーショナルでやらないほうがいいモデル
　　センサー
　　ゲーム
新しく出てくるデータがリレーショナルでない→NoSQL
→非正規化で入れる
→RDB：インデックスをUPDATE

フュージョンIOのSSE　INSERTは1ミリ秒かからない
　　→ってことは何回も書いちゃえば、
RDBで作ったほうがいいケース
作らないほうがいいケース

Cassandraの特徴
・パフォーマンスはリニアに拡張
・アーキテクチャ（完全な分散＋KVS)
　　マスタースレーブという考え方がない
　　３台分くらいコピー
　　３つ壊れたら：データがある限り、検索が可能
　　　→バージョンが違っても動く
　　ローリングアップグレードできる
・コミットログに書いているだけ
・柔軟なNoSQLデータモデル
・CQL(Cassandra Query Language)

Twitter Cassanrajapan
↧
↧

「富士通ビッグデータフォーラム２０１４」にいってきた！

November 13, 2014, 11:03 pm
$
0
0
きのう、１１／１３日

富士通ビッグデータフォーラム２０１４

に行ってきた！まずは、基調講演をメモメモ



■ご挨拶
・ヒューマンセントリック・イノベーション
　ヒト、情報、インフラの３つの経営資源を融合して
　ビジネス・社会の価値を創出

・IoTXビッグデータ
　２０１３年１００億個
　２０２０年５００億以上に

・富士通が提供する価値
　ワンストップでイノベーション
　暗号化したままで

・ビッグデータの様々な活用シーン
　　デジタルマーケティング

・IoTによるお客様との共創型ビジネスを推進
　オープンなIoTプラットフォームをご提供



■基調講演
　新たなビジネスを拓くビッグデータ

１．データ自身が価値をもつ
２．データが全ての分野で
３．どういうスタンスでいればよいか

　解はわからない

・データの価値
　３２億ドル（スマホ＋WiFi)
　サーモスタットと火災報知器の会社
　　→データに価値をつけた

・Next Developer Program
　連携
　　クルマ
　　LEDライト：家を留守にしているとき→光をつける
　　洗濯機：安いタイミングで動かす
　→サーモスタット：データのハブ

・データ
　コンテンツを集める機構
　　ソーシャル化
　「行動情報」を集める機構
　　　個人化
→「モノの情報」を集める機構
　　　スマート化

　データを集める仕組みを作る

・社会基盤としてのICT
　生産性向上と価値創出

・PLC
　プロセスイノベーション
　大規模製造業の生産性の大幅工場
　センサー、コンピューター、アクチュエーターの自動化
　1968年、Richard MorlyGMに導入

・ビッグデータ、IoT,M2Mが対象とする市場規模

・生産性の低い分野
　医療、農業、はスキップ

・スポーツ
　サッカー：
　　　SAP　HANA
　　　Google Glass
　　　タブレットで瞬時に把握
　→コーチングのやり方が変わる

・スマートゴミ箱(big Belly Solar)
　→ごみの量をセンシング
　→ちょっとスマート化する

・研究室でやっていること
　　風力・地震
　　ヘルスモニタリング
　　ICT農業
　　リアルタイムワイヤレス
　　センサネットワーク２５０台同時送信型

・どういうふうに
１．汎用技術
２．知識ベース資産
３．海兵隊とフィールド指向ICT

・１．汎用技術（GPT)
　あるテクノロジーがすべての分野に
　→霞ヶ関が変わる？

・バブル
　はじけて３０～４０年たって、初めてホンモノ
　　１８５０年　鉄道ブームはじける→全盛期は１８８０～９０

　１９２９年
　　電力株と自動車株→インフラは１９５０～１９６０年
　　自動車３０００→３社：会社は減るけど、雇用が増える

　２０００年、２００８年（リーマン）
　　ICT：テクノロジーとしては成熟

・２．知識ベース資産と有形資産
　　投資：有形資産と無形資産
　　アメリカ：投資→無形資産、知識ベース資産

・Data Value Cycleと無形資産
　　OECD

・３．海兵隊とフィールド指向ICT
　海兵隊：陸海空がまとまったコンパクト→敵陣に行く
　強い想い＋こだわり＋夢
　語ることのできる人材

　死亡してもほめてあげないと、前に進まない
　データの量はある。中身は？
　始めのフェーズ重要

・デザイン
　どういう人材？
　　気づく
　　考える
　　試す
　　伝える
　昔；やらないといけないことが決まっていた
　今：やらなければいけないことがわからない

・葉面積指数
　　育成指標：葉面積指数（LAI)→３ヶ月で

・新興国X教育X子供
　　子供への教育、親への教育、家族の対話

・ストーリーとしての競走戦略　くすのきせんせい
　　優れた戦略とは思わずヒトに話したくなるような
　　面白いストーリーであるべきだ

・職が生まれる



■ビッグデータ活用への期待と障壁

・日経ビッグデータラボとは

・多種多様な層がビッグデータへ関心
　　日経ビッグデータの読者層：情報システム１０％

・読者のビッグデータ活用への期待
　　新たな売り上げを作りたいのが期待

・サポート、生産は成果を挙げやすいが
　開発、販売は成果挙げにくい
　期待に対して成果をみると・・・
　→販売部門厳しい、潜在顧客の発掘は難しい

・人材、効果の試算などが活用の障壁に

・解決へのヒント１－人材
　　社内公募／社外人材の獲得／社外の才能の活用
・解決へのヒント２－効果の試算
　　既存市場を引き合いに／既存手法で説明
・解決へのヒント３－新たな事業モデル
　　モノからサービスへ／自社の強みを追及

・どんなことをしたいか？
　　データ活用施策
　　意思決定に結びつくデータ、リアルタイム

・２０１５年に注目したい動向
　　１．パーソナルデータの地活用と保護
　　２．新たな事業モデルの構築が本格化
　　３．CDOの設置
↧

SSL 3.0 を使用している場合、通信の一部が第三者に漏えいする可能性があります。

November 14, 2014, 1:24 am
↧
Search

「ビッグデータ・オープンデータ利活用を支える富士通研究所の先端技術」を聞いてきた！

November 14, 2014, 2:00 pm
$
0
0
「富士通ビッグデータフォーラム２０１４」つぎは、

ビッグデータ・オープンデータ利活用を支える富士通研究所の先端技術

をメモメモ



ビッグデータ：という言葉ができて３～４年
３つの方向性＋１
　３つのV
　実際にどう使うか？
　　　新しいデータ、新しい分析、新しい適用分野
　従来のBA,BI：過去の分析
　　→ビッグデータ：社外のデータで、今何が起きているか
　　　リーチできないお客さんがなにをかんがえているか
　メディアデータ、センサデータ、オープンデータ
　最適化、自動化
　社会での新しい使い方

新しいデータ～オープンデータ
・オープンデータの動向
　　国家IT戦略
　　　市場規模１兆円、波及効果５兆円
　　データカタログサイト
　　地下鉄
　　学会
　課題
　　データのライセンス、権利
　　　クリエイティブコモンズ
　　データ形式

・オープンデータ活用の事例
　　Where Does Money go
　　不動産業でビジネスにつかう→登記情報なども

・機械判読可能な形式では
　　ティムバーナーズリーのオープンデータの格付け
　　PDF→CSV→LOD
　オープンデータに基づく地域特性の可視化
　　地域特性の評価尺度：環境・経済・社会
　　林業、バイオマス
　　→機械的に公開されているのでできる

・LODコンテンツの例
　　DBPedia
　　GeoNames

・LOD
　Webとにてる
　ヒトが作ったデータにもリンクつけられる
　リンクをたどれば、活用できる

　富士通研究所のとりくみ
　　かたっぱしからあつめた
　　LOD4ALL（ろっどふぉーおーる）に公開
　オープンデータでお金にはならない
　　企業データと組み合わせてリンクをはる
　LOD：検索しやすいデータではない
　　分散の仕方
　オープンデータのリンク自動的付与技術
　　名寄せ
　　値の類似性、グラフ構造の類似性を考慮
　　ニューヨークタイムズ：記事データ

オープンデータ、ビッグデータの課題
　・必要なデータを集めて、加工するのが必要
　・LODを用いたデータ連携
　　　　LODを中心に各種データを連携
　・企業業績評価など

新しい分析、活用
　予測・最適化
　・１回だけ分析おしまい？→使い続ける仕組み
　・ビジネスサイクルをまわす
　・社会を認識する技術／ぐるっとまわす。

社会俯瞰マップ：SNSによる社会の観察
　Twitterー分析で犯罪マップを作る
　新聞社向けに記事

複合データ分析による災害検知→ゲリラ豪雨
　XバンドMPレーダー＋Twitter
　あめがふったことは分かる
　→実際のところはわからない：Twitter

高速ストリーム処理技術XeSTR(じぇすたー）
　CEPにくらべても、集計期間が長くなるほど、

実業務の中でのデータ活用
・需要予測に基づく在庫最適化
　正確に当てるのは困難
　　モデル予測制度技術→予測最適化制御技術
　　おおはずししないのを選ぶ
　　キャンペーンのときのリスクを軽減

新しい領域
利用者意識に踏み込んだデータ活用
社会的公平性、満足感
・利用者の満足度推定に基づくオンデマンド交通
　　　お客さんが少ないと：タクシー
　　　利用者が多くなると：バス
　→最適化する

AI
・ロボットは東大に入れるかNII
　富士通研：数学
　人工知能の社会へのインパクト
　　スマートマシン

ビジネス価値創造を目指して

↧

「M2M／IoTにおける富士通の技術と適用モデル」をきいてきた

November 14, 2014, 3:45 pm
$
0
0
「富士通ビッグデータフォーラム２０１４」つづき、

M2M／IoTにおける富士通の技術と適用モデル


をメモメモ



今年６月にIoTビジネス推進室→M2Mをやっていたひと

IoTに対する取り組み
プレス発表

・M2M／IoT動向のまとめ
　M2M市場の広がりと期待
　第一位　農業用センサー

・IoTの産業分野への適用の期待
　　GE
　　IBM：コネクテッドカー
　　CISCO：スマートファクトリー、O2O
→産業界に適用されるIndustrial Internet

・各国の取り組み
　INDUSTRIE 4.0
　　一次：機械
　　二次：電気
　　三次：IT

・Industrial Internetコンソーシアム
　　IIC:普及団体
　　富士通ステアリングコミッティー

・M2M／IoT
　M2M事例：トランストロン　運行支援サービス
　　商用車データを活用した情報提供サービス
　　　　商用車プローブデータサービス
　　　　急ブレーキ多発地点情報提供サービス
　ホンダもやってる：GoogleMap

　川重冷熱工業：グローバル

富士通のM2M／IoTソリューション
・FENICSⅡ　M2Mサービス
　　API提供
　　モバイルマルチキャリア対応
　　より機器へリーチしやすい環境を提供：M2M-GW

・M2M-GWとは
　　同じアドレスのバッティングを回避
・工作機械の遠隔監視

富士通のIoTへの取り組み
　M2M：機械に対して、物の価値の最大化
　IoT：ヒト、場所もつながる、コトの価値を最大化

IoTで実現するヒューマンセントリックの世界
　サイクルをドライブする＝オープンイノベーション
　システムオブエンゲージメント
　システムオブレコード

IoTテクノロジーレイヤー
　すべて、カバーする製品を持っている
　IoTならではの要件
　　　大量のデータ
　　　リアルタイム
　　　あるときはすごいデータ：イベントなどで要件変わる
　　　セキュリティ

クラウドとエンドポイントの役割分担

１．システムパフォーマンス
２．即座に判断
３．安心して恩恵を享受

１．システムパフォーマンスを最適化
　　分散処理管理基盤
　　　リソースの有効活動
　　　→ネットワークをコントロールする

２．瞬間の価値を提供
　　視線センサー
　　お客さん：KINECT

３．個人が特定されることなく、ビッグデータ分析の恩恵を享受
　　暗号を複数組み合わせる

IoTによる共創の促進
POB：ぷるーふ・おぶ・びじねす

IoTプラットフォーム
　プログラムがすぐ組める日本IQP

IoTモデル例
　フィージブルスタディ
　ダウンロードできる

富士通のIoTへのとりくみ
PoB事例：かがつう
　街路灯による避難誘導
　台湾ITRI様防災環境モニタリング
　スマートハウスでの自律生活支援
　植物工場環境ダッシュボード
　FINET山梨工場製造ライン改善
　　　CISCO,smart-FOAの共同
　FNETS工事現場作業員安全管理

IoTによるイノベーション

↧
↧

解散総選挙はいつやるといいと思いますか？竹中氏は「今でしょ！」らしい

November 14, 2014, 7:46 pm
$
0
0

日経 IoE（Ｉnternet of Everything） フォーラム2014

にいってきた。基調講演をメモメモ



■開催のご案内
76兆円の経済価値
総務省、CISCOなどから協賛

■竹中平蔵様から、
グローバル経済下の日本に取るべき針路～２０２０年を見据えて～
・短期の変化
　　日銀の政策と、解散総選挙
　会場多くは反対
　竹中氏：ポジティブサプライズ
　日銀：マイナス７％→先手、大きくやった
　　１．前の日：米、量的緩和やめる、日本、金融緩和
　　２．年金基金（GPIF)１２７兆円、改革を成長戦略→株５割運用
　　　　日銀→国債買う
　消費税：反対。社会保障にきいてこない
　　　年金：無駄があるこのままなら３０％でもX→少々あげても意味ない
　　　若い人の社会保障がたりてない：職業訓練
　　　前の政権で決めちゃったから・・・
　ポリティカルキャピタルくださいという選挙→勝負をかけた
　　　大義名分がないと、解散できない→いまチャンス

・どういうチャンスがあるのか

・メガチェンジ２０５０
　１９６０年に長期予測：日本が経済大国
　今回：韓国良くなる
　　否定できない２つのほうこう
　　　１．グローバリゼーションはどこまでも、英語は王座
　　　２．世界はシュンペーター的競争（イノベーター的）

・インベンション（発明）とイノベーションの違い
　技術のネタ（発明）
　技術：イノベーション
　　エジソン：こえじそん

・フラット化する世界：トーマスフリードマン
　　コロンブス：世界はフラットでない→地球は丸い
　どこにいても同じ
　オペレーター：沖縄とか、インドとか→給料も
　昨日と同じことをしていたら、生活水準は下がる

・トロント大：りちゃーど
　夜人工衛星から見ると、２０～３０のあかりのかたまり
　メガリージョン
　新結合：多様なくみあわせ　
　世界の明かりの塊：東京、東海岸→ドイツ全体より大きい
　すぱいてぃ（とんがってる）
　　フラット：今までと同じ。でも下がっていく
　　すぱいてぃ：リスクもある、挑戦していく

・労働市場改革とコーポレートガバナンスの強化
　わるいところに丸がかえを支持
　　→雇用調整助成金：まるがかえ
　　　他に移るのにお金を使うようになった→雇用の流動化
　成績が上げられない人はやめてもらう：コーポレートガバナンス
　　日本の会社法→ヨーロッパより：株式持合いを禁止（どいつ）
　　　独立した社外取締役
　　　株式持合い禁止

・日本の可能性
　　農業
　　　　３つ星レストラン：パリよりおおい→農業がいい
　　　　→株式会社が農地をもてない
　　　　　がんばんきせい
　　新しい医学部作られていない→医者の数をふやさない→最も少ない
　　　　→被災地に医者が足りない

・チャンス
　　国家戦略特区をうまくつかう：区域会議→３月から動き始めている
　　　コンセッション：インフラ所有権：国、運営：民間
　　→仙台空港１４０社あつまる
　　　地下鉄、上水道、

　２０２０年オリンピック、パラリンピック
　　世界の７割の人が目にする→国内改革進む
　　経済指標が変化
　　「オリンピックだから・・・」
　５０年前のオリンピック：今の原型
　　　新幹線、冷凍食品、セントラルキッチン→ファミレス
　　　男と女のトイレの形
　　　日本警備保障（セコム：従業員２人）
　　　　２人から始まった産業が５３万人に
　　　土地収用法→環状７号線
オリンピック＋で７年、戦後最長？あべさんはにこっとわらった


■ビジネスと社会を進化させる
・あらゆるものが日々つながっている
　　５００億台のスマートオブジェクト
２．４兆従来のITよりのびている
M2M
スマートフォン、タブレット、センサー
２４０億台のセンサー
アプリケーション中心の新たなインフラストラクチャが不可欠

・ビッグデータが当たり前
　シンガポール数テラ、自動車年間２ペタ
　CIO→データオフィサー
　データ→情報→知識→意思決定→インテリジェンス

・若い人クルマとケータイどっちを選ぶ：ケータイ
　運転できるケータイ電話へ

映画１００本と本２５０本VS１５０００のアプリケーション
　オンラインにつながっているか、寝ているか
　　→教科書もiPad

いろんなアプリケーション
　アプリケーションを買うことができる

３０００ものものがつながる
インターネットの進化
　接続
　ネットワーク化した経済
　イマーシブエクスプリエンス：ソーシャル
　Internet of Everything

若い人をひきつけられない
大気汚染

デジタルオーバーレイでつながる都市、国、企業
　業界標準のプラットフォームで接続
フォッグコンピュイーティング
うーばー：タクシーサービス

現在、接続されているのは世界のわずか１％
１３５億台

IoE
　　経済価値１９兆ドル：民間１４．４兆、
　　日本：８７０２億ドル
　　　→遠隔医療

　公共機関　１０９０
　製造　　　２４８０
　金融サービス　６００
　エネルギー
　輸送

シスコジャパン　コネクテッドインフラストラクチャを提供
　１９９２年
　１２００名社員
　１００校以上のネットワーキングアカデミー
　１５万以上の技術者認定
より高いレベルの強力

日本の変化－大きな機械
・製造業とコンシューマーエレクトロニクス
・次世代ネットワークとモバイル
・グローバリゼーションによる経済成長の次の波
・パブリックセンターの変革を推進
・新エネルギーソリューション：スマートシティからグリーンデータセンター
・人財の多様化：女性

シスコのイノベーションフレームワーク
　　研究投資
　　買収
　　パートナー→重要：エコシステム

IOEイノベーションセンター
　　共同イノベーションの葉日
　　東京：製造・公共機関
パートナー、大学、ベンチャー：IoE
３つの領域
　　１：紹介、２：ソリューション開発、３：研究投資

ビデオ：バルセロナでのIoE

市民のいるところに行政サービスを届ける

ビデオ：ワンバウンド
スポーツを経験する
　こねくてっどすたじあむの価値
　　→サービス

サマリー
・多様性とデジタル化が世界規模で拡大
・ICT不可欠なインフラストラクチャ　ITとLOBの整合
・データ手動の新しい世界　チーフデータオフィサー
・統合オペレーションセンター
・展開期　創出される経済価値は１９兆ドル（日本８０００億）
・ソートリーダーシップ
　世界的なオープンスタンダード
　規制
　公共機関と民間企業のパートナーシップ
　エコシステム
↧

「デジタル化により高度化する最新工場ソリューション」をきいてきた

November 14, 2014, 10:52 pm
$
0
0

日経 IoE（Ｉnternet of Everything） フォーラム2014
は
Cisco Connect Japan 2014

と同時開催。Cisco Connect Japan 2014から、

デジタル化により高度化する最新工場ソリューション

をメモメモ



製造業を取り巻く最新課題
・経営課題
　　グローバル化：中国工場のモニタリング
　　熟練工のリタイヤ
　　人材のギャップ
　⇔アメリカは移民政策、技術力
　ドイツ：インダストリアル４．０
　右肩上がり：潮流を読む
　今横ばい：局所変動
・ネットワークをしっかりする

生産現場でのEthernet化
・リングプロトコル
・ネットワークの停止時間を９５％削減
⇔Ethernetはベース

IoEがもたらす製造業の変革
・３Dプリンタ→Ether、物流、
・ロボット革新→Ether
・ビッグデータ→Ether

バリューチェーン
・自動化；ワイヤレス
・生産性向上
・省エネ
・物流
・研究開発

スマートファクトリーへの道のり
　レガシー、ベンダー依存
　１．工場内ネットワーク　Ether,ワイヤレス
　２．コネクテッドファクトリー　外IT-OT(オペレーショナルT)
　３．スマートファクトリー Smart FOA SXP-B2B
→８割１、２割２、数社３

Step１：工場における
１：１５くらいデバイス：センサー、メーター
　→アナログ
　→デジタルそのうち４％しかつながっていない
　　何かあったら、現地に人を派遣しないといけない

現在：いくつものネットワーク
ひとつにする→ラインの変更

Step2：コネクテッドファクトリー
ワイヤレスいれませんか？
無線端末の現場の導入による生産性向上
　webx現場のラインと直接コミュニケーション
　HMIのタブレット化
いままで：ハブをいれている→どこで故障か分からない
ODVAに対応

コカコーラ
　発展途上国：モニタリングどうするんだ？
　→遠隔地からのモニタリング

IP67

様々な工場ビデオソリューション
　監視カメラ？
　生産ラインのプレイバック！
　　→エラーがあったとき、作業員がなにをミスしたのか？

事例
GE：導入コストを１年で回収

Step3:スマートマニュファクチャリング
→データベース共有

データ
過去のデータをどう今に結びつけるか
今調理するのがいい

→クラウド：時間的ミスマッチ→現場で
フォグコンピューティング
　データの意味

MITテクノロジーレビューNo117Vol6
　日本→ハイテクマニュファクチャリングが横ばい
　Industrial Internet Consortium


↧

「データセンターを支える最新CISO UCSご紹介」をきてきた！

November 15, 2014, 2:22 pm
$
0
0

Cisco Connect Japan 2014

つづき

データセンターを支える最新CISO UCSご紹介

をメモメモ



・イノベーション
これまでに実現したもの
　全体統合した設計
　ファブリック拡張性VXLANなど
市場動向
　北米：金額ベースで１位
　全世界：２位

あらゆる規模のアプリケーションを最適化
MINI　エッジ側処理
Mシリーズ　クラウド

UCSの優位性
・マネージャー：管理ソフト
　ファブリックインターコネクター
・サービスプロファイル
　　物理ハードウェアに依存しない属性をひっくるめて
　　　　MACアドレス
　　　　ファイバーチャネル設定
　　　　ブート場所、順序
　→外部ストレージの場合
　故障時の切り替え
　追加サーバーの事前設定

・仮想インターフェースカード（VIC)
　物理的１枚のカード最大２５６枚にWindows側に見せられる
　サービスプロファイルとの相性が良い

・MINI
　小規模環境向け

・B/C　M4サーバー
　V3、DDR4,PCIスロット
　VIC1300　VXLANをハードウェアオフロード
　DDR3のM3も併売

・モジュラーサーバー

・システムリンクテクノロジー
　　CPU　⇔システムリンクテクノロジー⇔入出力コンポーネント
　　３２０ノードをUCSまねーじゃーから

・C3160：高密度ストレージサーバー
・nvictgaオールフラッシュストレージ
　　データベース系、ログイン多いIOPSの高いところ
　　アプライアンスモデル
↧
Viewing all 7271 articles
Browse latest View live
Search