アクセスログ解析のオープンソースPiwikのfluentd連携を聞いてきた。

OSC 2014 Tokyo fallの話

最後は、

１０月１９日

高機能アクセス解析ソフト Piwik の紹介と、Piwik + fluentd でアクセス解析

のメモメモ



Piwik（ぴぃうぃっく）とは
・アクセスログ解析ソフト
　→Google Analiticsのかわり
・２００７年リリース
・コアメンバーは１３名
　　ミートアップもドイツ、フランス

・特徴
　　オープンソース
　　日々コミット
　　データ保存に制限がない
　　Ｗｅｂから参照できる
　　国際化
　　インストール簡単
　→イントラネット解析、Ｗｅｂ解析

・機能紹介
　ダッシュボード
　リアルタイム解析
　ビジタープロフィール
　e-コマース
　コンバージョン追跡
　ジオロケーション
　メールリポート
　トランジション（ページ遷移）
　ページオーバーレイ
　セグメンテーション
　エクスポート、ＡＰＩ

・Piwik-fluentd
　すでにこうかいしています。
　sourceforge.jp/projects/piwik-fluentd
　最新バージョンに対応

・やること
　apacheのログをfluentdでpiwikにとりこみ
　　→日本語化も

・選んだ理由
　　Urchinのサポート切れる
　　ボット込み
　　ログからやるしかない→piwik
　　piwikAPI経由でログをPiwikへ

・ログを取り込んでみると・・
　　piwik集計プロセスでメモリ馬鹿食い
　　ログを識別したい
　　ローカルタイムＪＳＴ

・ログを送り込む fluentd
・fluentd
　　自動再会
　　くわしくはsourceforgeに書いている
・１５Ｍでログきる
・Cronで一定時間ごとにバッチ

拡張
・ＧＥＴ，ＰＯＳＴのみとる
・ｘｍｌなど、取り込む拡張子の指定

・MySQLのmy.cnfで問題発覚
・文字コード設定されていないとなにもしない
・結果　１００万ページビュー／月いける