様々なストレージの差を意識しないでアクセスするための標準化、OpenSDSについて聞いてきた！

October 27, 2018, 11:41 am

今日（１０月２７日）オープンソースカンファレンス２０１８Tokyo/Fallに行ってきて、

OpenSDS、始めてみませんか（BOF)

について聞いてきたのでメモメモ

・出展とは関係ないストレージの話
・OpenSDSのJapanの偉い人になったので

・OpenSDSとは
　SoftwareDefinedが増えてきたーぽちぽちで設定できる
　ネットワークのSoftwareDefinedは大変
　　パフォーマンス維持しながらは大変
　　とにかくばらばら
　→やっとできるようになった

　SoftwareDefinedのストレージは？：なんたらコンバージドは？
　　ナイトクラウドサービスできないよね；特化している
　　　メーカーごとに出している
　→便利さ、味をしめる

　ストレージ製品：メーカーごとに違う→乱立する　オブジェクト・ブロック・分散
　パフォーマンス、運用、トラブルシューティング：それぞれちがう

　→ソフトウェア　デファインドになっても、縦割り、やめちゃったり（もちろん対応してないのも）
　　　　→めんどうくさい、ベンダーロックイン：解決策として　OpenSDS

・一番大きな誤解
　ブロックデバイスなの？→そもそも、ストレージじゃないです。データプレーンをいじるためのラッパーです、
　ふぁーうぇいのひとがえらいひと

　→ストレージにラッパーかけるということです

　クーばねーてぃすやDockerにたたいてもらう→OpenSDSが下の面倒を見る→ストレージ

　くーばねーてぃす　　OpenStack　どっかー
　　　　↓　　　　　　　↓　　　　　↓
　　　Open SDS
　↓　　↓　　　　　　↓　　　　　　　　　　↓
　SAN　NAS　　ダイレクトアタッチ（DASD)　クラウドストレージ（まだ）
　※RedHatだとCephとつなげる

・今は
　とりあえず動いてます（αになってねーだろ、枯れてない、エンプラに入れる気はしない）
　コードベースで１０万行、結構書いてる
　ふぁーうぇい頑張ってる

・大きなカンファレンス：年に１、２回
　日本は９月にミートアップ（８０人くらい？）

・コミュニティ立ち上げた
　第二回：今年中にできると嬉しいけど、年越えちゃうかも

・パフォーマンスは？
　何のストレージ使うかに依存
　メーカーにより濃淡
　開発は進んでいる。ユーザーは熱い（Nこむ　Yahoo）

・今やると、「うちやってますよ」と言えるくらいの状態
　ブロックストレージが進んでいる（オブジェクトストレージはあと）
　オープンソースなので使える。議論は見れる
　テレカンをやっている：聞こうと思えば、傍観者として聴ける（英語だけど）

・まだきぼうだんかい

・Linux Foundationがホスティング

・アダプタはメーカーが書いて、OpenSDSに入れているので、インストールすると入ってくる
　プロビジョニングなんかができる

・ユーザー独自の機能を使ってしまうと破綻する
　ただし、APIをたたいているから、その点は同じ

・興味があったら２回目ミートアップ！

↧

SSLの新バージョンTLS1.3について聞いてきた！

October 27, 2018, 5:47 pm

≫ Next: 「フェイクニュース」の裏の人の話

≪ Previous: 様々なストレージの差を意識しないでアクセスするための標準化、OpenSDSについて聞いてきた！

１０月２７日、オープンソースカンファレンス２０１８　Tokyo/Fallで

TLS１．３がやってきた
（講師は、以下のブログを書いたwolfSSLのある程度偉い人？
　
TLS1.2とTLS1.3の違いは何？
https://www.wolfssl.jp/wolfblog/2017/06/16/tls1-2-tls1-3/

)

を聞いてきたので内容をメモメモ

・１．２のマイナーバージョンアップ？それ以上のものがある
・自己紹介：ルンバの中にも入っているよ

・オープンソースと商用のデュアルライセンス方式
・WolfSSLTLS1.3正式サポート　２０１８年８月RFC8446

　　TCP：SSL/TLS
　　UDP:DTLS
・SSLの経緯
　　SSL1.0　ネットスケープ

・TLS1.3　検討開始は２０１３年
・公開されている脆弱性：いっぱい
　　２００８乱数発生
　　　　：
・これまでのつぎはぎだらけの対応を全面整理：経験、知見を集大成
・これまでは、安全性を向上させると性能の低下：負荷が上がる＝コスト上がる
・１．３　安全性の向上はもちろん、性能も（整理したから）
　　　　　新しい暗号化技術が正式採用

・デバイスサイド：サーバが１．３になると、デバイスも・・・
　　理由：暗号化されたメッセージ通信をするから

・違うところ
　　ハンドシェイク
　　　１．２までは２往復、TLS１．３は１往復
　　　１．２までは平文　　TLS１．３はハンドシェイクもほとんど暗号化
　→暗号スイートの整理：２００スイート以上を整理

　　　鍵合意　でぃっフィーヘルマンのDHEしか使わない（楕円曲線ECにするかどうかはあるけど）

　　　共通鍵：GCM,CCM,POLYに集約
　　→これで１往復になった

・IoTでも効く追加機能
　セッション再開と事前共有鍵（PSK)
　セッションチケット
　Early Data（０－RTT：ハンドシェイクしないで暗号化データを送る）
　ハンドジェイク後の通信相手の認証
　鍵の再生成
※完全前方秘匿性：あるカギを入手したとき、前のデータの暗号が解ける。。ことがないようにする

・DHによる鍵合意がおすすめだけど・・

・WolSSLのTLS1.3
　１．２と同じ使い方をするのであれば、なにもしなくても使える
　ダウンどーどしたら、.configure（１．３用のオプションつけ）,.makeしてね！
・１．３以外も使える
・セッションチケットは送ったり、送らなかったり

↧

「フェイクニュース」の裏の人の話

October 28, 2018, 4:34 pm

≫ Next: ストレージ冗長化 20年の歴史を勉強してきた

≪ Previous: SSLの新バージョンTLS1.3について聞いてきた！

まえに

フェイクニュースは、意外と面白かった
https://blog.goo.ne.jp/xmldtp/e/f7f84510052b6aea4baf5f46345ccf8c

で、NHKのフェイクニュースの話を書いたけど、そのドラマの技術監修をやっていた人の
裏の話

「ブラッディ・マンデイを考察する」から 10 年が経ち、NHK ドラマ「フェイクニュース」を監修した話
https://isid.ai/diary/2018/10/27/1294/

↧

ストレージ冗長化 20年の歴史を勉強してきた

October 28, 2018, 5:30 pm

≫ Next: IBM、Red Hatを買収へ

≪ Previous: 「フェイクニュース」の裏の人の話

１０月２７日、オープンソースカンファレンス２０１８　Tokyo/Fallの

DR:BD 20年の歴史で理解するストレージ冗長化

を聞いてきたので、内容をメモメモ

・DR:BDの歴史
　止められないシステム：でも時々壊れる
　こわいな　By ぱくたそフリー素材

・システム障害への対策
　システム冗長化
　　一台をアクティブ　一台をスタンバイ、故障時切り替え
　　　HAシステム

　→ストレージをどうするの？
　　バックアップ

　RPOとRTO
　RPO:障害が起きたときに復旧できるデータの新しさ
　RTO：復旧するまでの時間

　データの冗長化にバックアップは役立たない

・Active Stanbyに共有ストレージ
　　→単一障害点の問題
　　→そこでDR:BD

・DR:BD
　システムカーネル→コピーをDR:BDとる→書き出す

　世界中に使われている

・DR:BD開発史
　１９９９年から開発

・０．１バージョン
　１９９９年：ウィーン工科大学　フィリップライスマンさんの卒研テーマ
　２００４年くらいまで　０．１～０．５　

・０．６
　最初の安定板　カーネルとの動きを合わせるの大変
　データが同期して使えるようになった最初のバージョン
　サードウェアは２００４ねんからつばをつけている

・０．７　アクティビティログ追加
　障害時にフル同期の必要がなくなった

・２００６年７月　SR:BD+　商用版パッケージ

・８．０～８．２
　なんで？０，８じゃないの→大人の事情らしい
　Linuxカーネルにマージするため、コーディングスタイルを合わせる
　２０１０年２月にリリースされた２．６．３３にソースコードがマージされる

・２００８１１月８．３
　DR:BD+と統合LINBITの方針変更
　まだ現役として使える

・２０１１年７月　８．４
　マルチボリューム
　高速、設定ファイル書式少し変更

・２０１５年３月　９．０
　いろいろな機能追加
　　マルチノード接続
　　オートプロモーと
　　設定ファイル：管理ツール　LINSTOR

・DR:BD H!
　Pacemakerとの組み合わせ

・DR:BD　DR

・DR:DB　SDS　ブロックストレージ
　OpenStack　来年３月リリース
　OpenSDS　DR:BD使える

・これから、どこへ行く
　LINSTOR　正式版リリース
　CLI
　サードパーティで評価中、ブログに書いている
　
・おまけWindows版DR:DB
　ベータ４版

↧

IBM、Red Hatを買収へ

October 29, 2018, 5:54 pm

≫ Next: Excelから、Ansible,Serverspecのコードを生成するということらしい・・・

≪ Previous: ストレージ冗長化 20年の歴史を勉強してきた

って、マジ？

IBM、Red Hatを340億ドルで買収へ――ビッグ・ブルー、ハイブリッドクラウドに向けて大きく前進
https://jp.techcrunch.com/2018/10/29/2018-10-28-ibm-to-buy-red-hat-for-34b-in-cash-and-debt-taking-a-bigger-leap-into-hybrid-cloud/

↧

Excelから、Ansible,Serverspecのコードを生成するということらしい・・・

October 30, 2018, 5:01 am

≫ Next: お仕事におけるUbuntuとの付き合い方を聞いてきた

≪ Previous: IBM、Red Hatを買収へ

１０月２７日、オープンソースカンファレンス２０１８　Tokyo/Fallの

Ansible・Serverspecベースの自動化フレームワークSHIFT wareのご紹介

を聞いてきたのでメモメモ

・自己紹介
・あじぇんだ
　Shiftware
　Docker　くーばねーてぃす

・きっかけ
　品質・生産性向上の技術施策から生まれた
　品質と生産性の向上

・これまでのインフラ
　属人化、引継ぎ
　人的ミス
　ドキュメントと実機の乖離
　リニアなコスト増加

・Shiftware
　コンセプト
　　従来の（延長戦の）やり方から転換（ゆーあー目線で）便利なインフラ標準フレームワーク
　内容
　　Ansible,Serverspecに関連するコード集
　　コード集を利用するためのフロントエンドツール
　結果として、品質・恒常性につなげる！

　Excelをスタート→コーディングレスに（コード自動生成）

　適用範囲：OSはいってる
　　設定のテスト
　　インストール、コンフィグ、テスト

・ユースケース
　百数十台のサーバーで　３０％減
　２７５％の生産性向上も！

・いんふらすとらくちゃあずこーど（IaC)活用研究会

・システムインテグレーターのコンテナ技術推進
　クラウドネイティブな要求に対応力を上げる
　来年ぐらいはどんなものでもコンテナ化？
　マイクロサービスアーキテクチャ→オーケストレーションはインフラエンジニア

・まずはDocker
　営業もやっている→案件創出
　気づいたこと
　　動機付け大事、トレンド追従も大事
　　営業面ヒットさせるシナリオ

↧

お仕事におけるUbuntuとの付き合い方を聞いてきた

October 30, 2018, 5:56 pm

≫ Next: PostgreSQL11新機能を聞いてきた

≪ Previous: Excelから、Ansible,Serverspecのコードを生成するということらしい・・・

１０月２７日、オープンソースカンファレンス２０１８　Tokyo/Fallの
お仕事におけるUbuntuとの付き合い方
（OSCのスケジュールに書いてある表題とは違い、こっちに変更）
を聞いてきたので、メモメモ

・本日の資料
　https://wiki.ubuntu.com/MitsuyaShibata/Slides
　発表資料は　CC BY-SA4.0

・Ubuntuの紹介
　とばす　Debianベース、４月１０月リリース
　１８．０４．１ではuniverseが無効かされた？→バグ、手動で
　UIテーマ　YaruとアイコンセットSuru

・お仕事でUbuntuを使う理由
　趣味で使うなというリチャードストールマンのような人はいないと思うので・・
　お仕事
　　ベンチャーからサポート
　　上司から適当なLinux環境といわれて

・そもそもUbuntu選ばれてる？
　Googleトレンド：へってるけど、それなりに検索はされているらしい
　日本では大差ない：Unityデフォルトになってから減った
　W3Techs
　OpnStack半数以上がUbuntu上で構築（７０％→５０％：RedHatが頑張ってるので）
　EC2のベースイメージ１位：AmazonLinuxが追いつきつつあるが

・サーバー用途ではデファクトスタンダードな立ち位置
　クラウド、コンテナのベースイメージ、
　AI/MLのプラットフォーム
　メインフレームもUbuntuが動く時代に

・デスクトップは？
　Dell　プロジェクト・スプートニク
　Ubuntuの利用統計
　　クリーンインストール８割
　　物理半数、

・Ubuntuの利点
　インストールの簡単さ→とりあえずUbuntu（現在はどのでゅすとりも簡単に）
　独自パッケージ配布サービスとしてのPPA
　リリース頻度の多さ：半年ごとのリリース→アップグレードプランが立てやすい
　Ubuntu版は商用版が存在しない　サポートをカノニカルから買う
　ググれば解決策出てくる：重要

・コンテナベースイメージとしてのUbuntu
　サイズの問題

・そもそもUbuntuでなければいけないのか？
　好きなもの使え。ほかのLinuxでもできる。必要性はほぼない
　重要なのはUbuntuも選択肢にのこること

・問題点
　日本ではCentOSのほうが強い
　　周りに合わせる
　開発においてカノニカルの主導権が強い
　NIH症候群（NotInvented Here　自分たちで作ったものではない）
　Mirはまだ生きている

・どのUbuntuを使うのか
　デスクトップかサーバーか
　パッケージ構成が違うだけ（リポジトリ共通）
　　メタパッケージにubuntu-desktop,ubuntu-serverを選ぶか
　　GUIが欲しいかどうか

　デスクトップ：フレーバー
　　lxQt,Xubuntu

　日本語ReMix日本語環境向けカスタマイズ
　　　そのまま使っても問題ない

　32bit版：そろそろ終了　１８．１０へはアップデートできない
　　　１６．０４，１８．０４を使い続けるべき
　　　ほしいと思う人はそれなりにいる模様
　どのリリース？
　　　LTSを使う
　ポイントリリースについて
　　　追加リリース　１６．０４は５回出している

・どうやってUbuntuを用意するのか
　Windowsとのデュアルブートは危険
　仮想マシンにインストール
　仮想マシン用のインストール用意されている
　クラウド　cloud-init

・今gて何デプロイ
　Windows Subsystem for Linux
　Hyper-V ギャラリー
　Docker for Windowxx

・インストールしたそのあとは
　rootはロックされている。sudo
　sudo -i
　アンチウィルス　clamav（くらむえーぶい）
　公式リポジトリ：鉄板だけど古くなる
　sbap node.jsとかはいい

・バックアップ
　ストレージは消耗品

・製品を作る
　商標の問題→カノニカルにきいて

・おふみしてる

↧

PostgreSQL11新機能を聞いてきた

October 31, 2018, 6:23 pm

≫ Next: Zabbix4.0なら、サーバーだけでなく、IoTの監視もできてしまう話を聞いてきた

≪ Previous: お仕事におけるUbuntuとの付き合い方を聞いてきた

１０月２７日、オープンソースカンファレンス２０１８　Tokyo/Fallの

PostgreSQL11新機能解説

を聞いてきたので、メモメモ

・もともと
【リリースまじか！】PostgreSQL11新機能解説
　　→りりーすされたので

・PostgreSQLとは
　歴史　INGRES（’７０）、POSTGRES('80)から
　特定オーナー企業がない

・現在の実力
　　SQL機能
　　ANSI SQL:2011
　　POSTGIS：地理情報
　　他DB連携
　性能的には、スケールする
　　９．６からパラレルクエリ
　クラスタ
　　インスタンス単位。１０からテーブル単位
　　HA,BDR、MPP→RACはまだ
　運用支援
　　PgAdmin4→がらっとかわった
　　SI Object Browser

・１１のポイント
　　JITコンパイル
　　ストアド
　　パーティショニング
　　パラレルクエリの拡充
　　SCRAM認証
　　その他：ウィンドウ関数の対応構文追加など

・JITコンパイル
　SQL実行にJITコンパイル
　LLVM利用
　繰り返し処理の回数が多い時有効
　プランなコストでJIT利用判断

・ストアドプロシージャ
　OracleのPL/SQL移植が楽。
　プロシージャでCOMMIT／RollBackが利用可能
　いろいろ制限ある

・パーティショニング機能の拡充
　パーティションテーブル全体にインデックスを作成できる
　条件あり：
　パーティションテーブル全体に主キー制約が作れる
　パ＾てぃしょんテーブル全体に外部キー設定できる
　ハッシュパーティショニング
　パーティション除外処理の改善
　問い合わせでのおアーティしょん指向の結合・集約

・パラレル処理の拡充
　いままでも入っているが、それが拡充
　　並列ハッシュ結合、並列Append

・SCRAMチャネルバインド
　SSL接続の拡充
　SCRAM認証がチャネルバインドに対応：人にとられないようにした

・その他：
　ウィンドウ関数の対応構文追加：GROUPS、RANGE,EXCLUDE
　ALTER TABLE　・・・　ADD COLUMN改善：デフォルト値を伴ったADD　COLUMNが高速化
　CREATE INDEXがINCLUDE句に対応：index-only scan
　initdb時にwalファイルサイズ設定
　ロジカルレプリケーションでTRUNCATE対応
　ビューに対するテーブルロック
　各種psql,pgbenchの機能改善
　各種のロック軽減とオプティマイザ改良

・まとめ

↧

Zabbix4.0なら、サーバーだけでなく、IoTの監視もできてしまう話を聞いてきた

November 1, 2018, 5:41 pm

≫ Next: 自然言語処理に入門してきた！

≪ Previous: PostgreSQL11新機能を聞いてきた

１０月２８日、オープンソースカンファレンス２０１８　Tokyo/Fallの

Zabbix４．０のご紹介

を聞いてきたのでメモ、ただし

・はじめ５分くらい遅れた。行ったら、Zabbix（全般）の紹介してた
・書ききれてないところある。資料は後から公開するとのこと
・表題の件は、終わりのほう「おすすめ機能：Webサービスの呼び出し」

(遅れてついたところから）

・Zabbix3.0以降に追加された機能

・３．２で追加
　トリガーの主導クローズ
　ヒステリシストリガーの改善：条件式と復旧条件式が書ける
　イベントタグの設定
　イベント相関関係の設定
　LLDで生成したアイテムの詳細確認
　Webシナリオのエクスポートとインポート
　イベント画面から障害画面
　ホストグループの階層化
　ログバースト対応

・３．４で追加
　Webインターフェースの改善
　依存アイテムとアイテムの保存前処理：加工して保存
　アイテムと値・・
　　：
　（書ききれんかった）

・４．０で追加
　監視データ取得ぼたbb
　新しいHTTPアイテム追加：HTTPエージェント（リクエスト投げて結果を受け取る）
　時間範囲指定の簡略化
　SVGグラフウィジェットの追加
　単位変換の柔軟化
　サーバーとプロキシ間をよりセキュアに
　サーバーとプロキシ間の通信を圧縮
　翻訳の変更について：寺島さんの翻訳を継承してきたが、ユーザーさんの意見を踏まえ（英語は変わってない）
　　　　：
　（１枚目書ききれんかった）
　　　　：
　タグベースの権限設定
　タグによるメンテナンス設定の拡張
　障害の深刻度が変更可能
　エージェント自動登録機能改善
　ポップアップウィンドウオーバーレイに
　閲覧（キオスク）モードの追加：前にフルスクリーンモードがあった。さらに・・／最初からキオスクにできる
　障害画面にコンパクト表示モード
　自動登録の柔軟性追加
　DNS名の長さ拡張
　MySQL8.0サポート
　スクリーンリーダー対応

・実現できること
　おすすめ機能：ボタンクリックで値取得
　　　アイテムだけでなく、ディスカバリにも
　おすすめ機能：Webサービスの呼び出し
　　　気温や気圧の値を保存前処理を使用してをJSON形式応答から取ってこれる
　おすすめ機能：新しいグラフウィジェット
　おすすめ機能：タグを利用した一部トリガーのみのメンテナンス
　地味だけど便利：単位変換の抑制

・まとめ
　４．０による改善
　　設定作業軽減
　　自動化を活用した監視の設定が柔軟に
　　Webサービスを利用する場合、JSONやXMLから値を取り出せる
　今後
　　Zabbix４．２など今後のロードマップが公開されている
　　スケーラビリティ、冗長化、分散監視の改善
　　Prometheus（ぷろめてうす）エージェントの対応というキーワードもあり

↧

自然言語処理に入門してきた！

November 2, 2018, 5:54 pm

≫ Next: 東証システム障害の深層

≪ Previous: Zabbix4.0なら、サーバーだけでなく、IoTの監視もできてしまう話を聞いてきた

１０月２８日、オープンソースカンファレンス２０１８　Tokyo/Fallの

【入門】自然言語処理の入門と活用

を聞いてきたので、メモメモ

ただし、今回は、日曜日でも学食がやっていて、おすすめランチ食べてたので、はじめのほう、おくれて聞けてない

（「はじめに」の途中から）
・こんにゃくは太りません

・アジェンダ
・自己紹介

・自然言語処理ってなに
　人間の言葉をコンピューターで自動的に処理させる技術
　　自然言語：私たちが使う言葉、解釈が様々、あいまい
　　人工言語：プログラミング言語など、解釈が１とおりにきまる

　→黒い瞳の大きな女の子

　実は結構身近に存在する

・自然言語処理事例
　検索：シソーラスの利用により、あいまいな単語でも検索可能
　　シソーラス：単語を、上位／回関係、部分／全体
　　・関連後に対応
　　・表記ゆれに対応
　　・タイポの訂正

・メールフィルタ
　ベイジアンフィルタでメールの怪しさを評価

・チャットボット
　ユーザーの発言からインテントとエンティティを抽出

・ほかにも
　　翻訳
　　レコメンド
　　文書分類
などなど応用先多数

・自然言語ってどうやるの
・要素技術の紹介
　形態素解析
　構文解析
　意味解析
　文脈解析：照合解析を紹介

・形態素解析：単語の切れ目のない言語で必要
　文を最小の意味を持つ単語単位までに分解し、それらの単位の性質を明らかにする処理

・構文解析
　２こ
　　係り受け解析：→日本語向き
　　句構造解析：単語の並びに依存→日本語には向かない

・意味解析
　２こ
　　述語項構造解析：述語から見たときの守護・目的語を秋r多寡にする
　　意味役割解析：述語から見たときの各項の意味役割を明らかにする

・文脈解析
　２個
　照応解析：指示語
　　太郎は花子と講演で遊んだ
　　彼はそこで彼女と縄跳びをした
　談話構造解析：文間の役割関係を明らかにする　

・自然言語処理を使ってみる
　マジカルバナナ
　　言葉を返す
　　構文情報からペアをルールで抽出する
　連想ペアネットワーク
　変な回答をすることがあるので、単語間の類似度で足切りする

・COTOHA APIの紹介
　構文解析
　固有表現抽出
　照応省略解析
　キーワード抽出
　文タイプ判定
　ユーザー属性推定
　類似度算出

・クロージング

↧

東証システム障害の深層

November 4, 2018, 7:32 pm

≫ Next: ネット無料画像、自治体が使用→多額請求も！

≪ Previous: 自然言語処理に入門してきた！

だって・・・興味しんしん。後で読むためURLをメモ

動かないコンピュータ
東証システム障害の深層、証券会社の明暗分けた縮退運用
https://tech.nikkeibp.co.jp/atcl/nxt/mag/nc/18/020600011/103100019/

↧

ネット無料画像、自治体が使用→多額請求も！

November 5, 2018, 12:56 pm

≫ Next: 富士通がリストラ

≪ Previous: 東証システム障害の深層

つねにただとは、限らないんだよね！

ネット無料画像利用に注意！　自治体が使用、多額請求も
https://mainichi.jp/articles/20181105/k00/00m/040/130000c

↧

富士通がリストラ

November 6, 2018, 9:29 am

≫ Next: SanSanが使ってるディープラーニングは約２０層のディープCNN

≪ Previous: ネット無料画像、自治体が使用→多額請求も！

執行役員を半数以下に、富士通がリストラ断行
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00001/01178/

↧

SanSanが使ってるディープラーニングは約２０層のディープCNN

November 10, 2018, 5:29 am

≫ Next: OpenCVで画像処理するには・・・

≪ Previous: 富士通がリストラ

SanSan BuildersBox

最後の

Closing : ビジネスを加速するために、AI で実現したこと、したいこと

だけ聞けた！のでその内容をメモメモ

共有がテーマ：何かしら持ち帰り
・SunSun全体の総括：融合して一つのサービス
・ビジネスを加速するために、AIで実現したこと、したいこと
AIという言葉、使いたくない
エンジニア：AIと言いたくない。本業はデータサイエンティスト（リサーチャー）
AIって、そもそもなんだったっけ？

・自己紹介

・人工知能AIとは
　機械学習、予測そのものをAIという認識になってきた
　あくまでも機械学習は人工知能の一部
　SunSUnのAIは広いもの：ルールベース統計処理→ルール　
　間違ったデータを与えれば、間違った学習をする

・AI　チューリングテスト
　機械が思考するか：簡単なチャットシステムでもチューリングテストをパスする可能性
　　２０１４年　ロンドン王立協会：ロシアのAIがチューリングテストにパス（異議かある）

・チューリング：１００年前　暗号解読　機械が思考を持つだろう
　　イミテーションゲーム：面白い、脚色すごい
　マーヴィン・ミンスキー
　　ディープラーニングの大本：パーセプトロンに批判→めげた人いっぱいいて衰退
　　パーセプトロン以上を作ることが必要→ニューラルネット

・革命的変化：ディープラーニング：様々な問題変化

・ミンスキー博士の発想
　パーセプトロン
　フレーム理論：AI炊飯器（ファジー入れただけ）
　ニューラルネットワークの可能性
　心の社会：今のぶースティング
　１９５０年ころから６０年たって花開く
　　乗り物：１００年で素晴らしい発展
　　AIは高々５０年

・ディープラーニング
　　有名になったのは囲碁
　　・多層ネットワークによる抽象化
　　・クラウドシステム：豊富なリソース
　　・ビッグデータ：質のいいデータを簡単に集められる
　　→３つの言葉がキーワード

　RPAはやってる
　　単純語有無の肩代わり：導入企業でうまくいっていない
　　高度に専門化された一部の業務：ここに着目

・シンギュラリティ：まゆつば
　　わからないけど、恐怖心をあおわれるのがもんだ
　　→それ以上の仕事が奪われる

・機能しないAIと機能するAI
　データ不足、不明瞭な目的使われない
　機能するAI
　　専門家の知識の基づくエキスパートシステム
　　書面、会計監査行動予測レコメンデーション

・これからのAI
　　スマートスピーカー：音声コマンド入力装置→情報収集
　　量子コンピューター：計算方法が決まっていない

・SanSan　多様な研究者　Kagleタイトルホルダー、博士学位、各地にラボ

・「出会う」が世界を変えていく
　　脳科学
　　統計学・確率論
　　自然言語
　取り組んでいること→製品にむすびつく→目標を選ぶ

・ディープラーニングを用いて項目判定　精度９８％
　言語判定：主要４か国語を判定
　約２０層のディープCNNによる学習
　ResNet：層の入力を参照した残差を学習させる（１５５層までできる）

　層が増えると：特徴量→抽象化：複雑な学習できる

・AI活用とワークシェアリング
　創業時：SanSanに名刺１日に数百→頑張れば処理できる
　今　　：SanSanに名刺１日に数十万
　　　→画像データと正解データある：学習できる
　オペレーターを人員削減ぜずに、処理能力を上げる

・ミス：パターンがある　制度９９．９％

・これから　SanSanLab
　ABMダッシュボード
　バーチャル組織図
　人を知り他人を知り、企業を知る
　社内のキーパーソンを探す
　企業間距離

　キーワードを持つ企業

　スマートレコメンデーション

・出会いがもたらす未来の力

↧

OpenCVで画像処理するには・・・

November 10, 2018, 9:38 pm

≫ Next: SanSanの浅葉建設をOpenCVで文字認識するには・・・

≪ Previous: SanSanが使ってるディープラーニングは約２０層のディープCNN

SanSanの「浅葉建設」をOpenCVを使って文字認識するには、
まずは画像処理が前処理として必要なんだろうと、
OpenCVの画像認識をお勉強

■前提

import cv2

ができることはもちろん

import numpy as np
import matplotlib.pyplot as plt

が出来ないと使いものにならない。できなかったら、まずは、
pip install opencv-python
でインストール

■イメージを読み込む
img = cv2.imread(読み込み画像ファイル名)

でよみこむ。読み込んだものは、画素の値がnumpyの配列で表示される
（読み込みはBGR　表示はRGBなので、表示するには変換する）

■切り出し　２値化
　２値化結果画像を１（または２５５）で初期化（画像と同じ配列の大きさで）
　画像の該当画素が、式一以上だったら２５５（または１）を２値化結果画像にセット

　必要ならノイズぼかし（ガウシアンcv2.GaussianBlur）などかける

■．輪郭抽出
　cv2.findContours()する（表示はcv2.drawContours()）

　輪郭だけとってきたい場合、面積大きいところ：cv2.contourAreaなどでもとめる

■歪み補正
　変換行列 = cv2.getPerspectiveTransform(元の画像の点, 変換先の点)
　出力画像 = cv2.warpPerspective(変形する対象の画像, 変換行列, 抽出する領域の大きさ)
　の合わせ技

で、さあ、文字識別する画像認識ができると思ったら・・・・

（明日に続く）

↧

SanSanの浅葉建設をOpenCVで文字認識するには・・・

November 11, 2018, 9:37 pm

≫ Next: 旋盤とフライス盤とボール盤と切削機とCNCルーターの違い

≪ Previous: OpenCVで画像処理するには・・・

（きのうのつづき）

Tesseract(テッセラクト)で全部やってくれるみたい

くわしくは

(2017年12月) PythonとOpenCVをこれからやってみる - 3 - 文字認識(1)
https://qiita.com/rrryutaro/items/0c0a7382560e1f67123b

あ～だが、このページのソースをやると、
No OCR tool found
になる。何が悪いんだろう・・・（記事のせいではなく、たぶん自分のせい）

↧

旋盤とフライス盤とボール盤と切削機とCNCルーターの違い

November 24, 2018, 3:58 pm

≫ Next: 「男の人は胸の大きい女の人が好きなんですか？」をビッグデータ解析で答えるには、どうする？

≪ Previous: SanSanの浅葉建設をOpenCVで文字認識するには・・・

ボール盤：
　目的：穴をあけるために
　固定するもの：素材は固定、「バイト（ドリル）」が回転

切削機：
　目的：削る
　固定するもの：素材を固定、「砥石」が回転

旋盤→複数の歯を切り替えると、複合旋盤
　目的：（回転軸に対象になるように）削る
　固定するもの：バイトを固定、「素材」が回転

フライス盤→複数の歯を切り替えると、マシニングセンター
　目的：削る
　固定するもの：素材が固定、フライス（エンドミル）が回転
　　　　／卓（テーブル）が傾けられる（立てフライス、横フライス、万能フライス）

CNCルーター
　目的：木材の面取り・ホゾつくり・溝切り・切断
　固定するもの：素材を固定し、上下左右前後にドリルが動く
　→フライス盤は、フライスが上下に動き、左右前後は卓が動く

※でもGコードで全部制御できるけど・・・

↧

「男の人は胸の大きい女の人が好きなんですか？」をビッグデータ解析で答えるには、どうする？

November 24, 2018, 11:04 pm

≫ Next: サクラエディタがすごいと聞いたので、ダウンロードしてみた・・・

≪ Previous: 旋盤とフライス盤とボール盤と切削機とCNCルーターの違い

頭の体操。

【データ】

DMM Webサービス
https://affiliate.dmm.com/api/

・商品検索API
　で、上位適当な数検索

・取得したデータの「genre」に注目、作品名を独立変数、ジャンルを従属変数にして、
　（＝１作品１行、１ジャンルで１桁）

　各作品が、そのジャンルに属していたら１、属していなかったら０にする

例：
https://affiliate.dmm.com/api/v3/itemlist.html
のサンプルデータ

product id 　独占配信　中出し　・・・　巨乳　貧乳・微乳
28ara00014　　　１　　　１　　・・・　　０　　　０
kawd00415　　　　１　　　０　　・・・　０　　　　０
h_175dxrt00001　０　　　　０　・・・・　０　　　０

（サンプルは「上原亜衣」"で"縛っている（助詞は"を"ではない。わかってる）。
　上原亜衣さんが巨乳でも貧乳でもないため、このカテゴリに値が入らないが、
　上原亜衣さん以外なら、入る作品があるはず）

【分析】

単純に、巨乳と貧乳・微乳の数をみて、結論を出してもOK
→たぶん、巨乳好きは多いが、貧乳・微乳もある程度あるので、みんな好きとは言い切れない
　になると思う

見栄え良くするには、多次元尺度構成法を使ったり、コレポンしてみたり・・・というところでしょうか？

【深堀するには】
購買情報があると、微乳・貧乳を購入している人は、巨乳を購入するか　YES／NOで、
微乳好きの人は、巨乳を好きではない・巨乳も好きということが言えるんだけど、
購買データはとれないですね・・・

↧

サクラエディタがすごいと聞いたので、ダウンロードしてみた・・・

November 25, 2018, 5:59 pm

≫ Next: サードウェアが終わるってよ・・・

≪ Previous: 「男の人は胸の大きい女の人が好きなんですか？」をビッグデータ解析で答えるには、どうする？

サクラエディタのダウンロードは

サクラエディタ - ダウンロード
https://sakura-editor.github.io/download.html

にいって、ダウンロードすればいいんだけど、
サクラエディタのすごさは、diffとか、ctagとか、つかえるところにあるらしい。
それには、関連ファイルが必要で、それらを全部やってくれるのは、

SakuraDown
http://sakura.qp.land.to/?Install%2FSakuraDown

らしいので、ここから、

Ver.2.x(Unicode版)
SakuraDown12f-18_forv2.zip (sourceforge.net) 2017-08-22

をダウンロードしてみる。解凍すると、

な感じになるので、
SakuraDown12f.exeをクリック

という感じで立ち上がる。最新版を確認

確認しても、バージョンが入らないものがある。これはチェックできない（＝ここから入れなれない）
チェックして、インストール開始！

したら、ばきばき失敗した（どうも、いっぺんにチェックしてダウンロードすると、エラーになるらしい。
サクラエディタ - ダウンロードhttps://sakura-editor.github.io/download.htmlのページに書いてあった）

ってことで、結果、全部入らなかったんだけど、先ほどのSakuraDown12f.exeが入っていたフォルダを開くと