fluentd使ってdstatの結果をgrowthforecastで表示する

dstatでサーバの状態を取得して、fluentdで集めて、growthforecastでグラフにする、というのをやってみました。 dstat dstatというのは、CPU使用率やメモリ使用量などなどの情報を手軽に取得できるツールです。 とっても簡単に使えます。 使い方は以下のサイトを参考にしてみてください。 dstat が便利 | Carpe Diem dstatの万能感がハンパない - (ひ)メモ まずはdstatが必要なのでインストールします。 dstatをfluentdにつなぐのに、shun0102/fluent-plugin-dstat を利用します。 ただ、outputのフォーマットがそのままgrowthforecastに入れるのにうまくつなげなかったので、少しいじって使いました。tjun/fluent-plugin-dstat 追記 しかし、以下の記事のようにやればいじることなくdstatからgrowthforecastに投入できるので、このようにやることをおすすめします。 dstatをfluentd + GrowthForecastで可視化する - Qiita 追記終わり。 設定はこんな感じ type dstat tag dstat option -cmdn delay 5 growthforecast growthforecastは、APIに投げたデータをグラフィカルにしてくれるツール。 GrowthForecastというグラフ表示ツールで捗る話 -…

fluentd-plugin-kestrelを更新しました

kestrelへoutputするプラグインを以前作りました。 fluentd-plugin-kestrelを作ってみた | tjun memo 最近の記事やイベントでまたfluentdが盛り上がっているようなので、久しぶりにプラグインの更新をしました。 tjun/fluent-plugin-kestrel 以前はkestrelへのoutputだけのpluginでしたが、kestrelからの入力をできるようなinput pluginを追加しました。 また、kestrelへの書き込む文字列にprefixやsuffixが付いちゃうというライブラリ依存の問題は回避できることが分かったので、そこも修正しました。 outputのデータのformatを柔軟にしたかったので、tagomoris/fluent-plugin-file-alternativeを参考にさせていただいて、formatのoptionをいくつか追加しました。 これでやりたかったことは一応実装が終わりました。 inputの実装がよくないみたいでinputのテストでshutdownを呼べないため、inputの方はちゃんとテストできてません。 gemの作り方などいろいろ忘れていたのでメモ。 参考にしたのは、 fluentdのためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場 jeweler でらくらく rubygems 作成(github編) - @sugamasao.blog.title # => ”コードで世界を変えたい” updateの流れは、 テストとコードを書いたら、 rake test でテスト。rake install でローカルに開発中のものをgemとしてインストールして試すこともできる。 ドキュメントを修正したら、 rake version:…

fluentd-plugin-kestrelを作ってみた

先週末くらいにTLにたくさん流れてきた"fluentd"について調べてみたらよさそうだったので、勉強を兼ねてpluginを書いてみました。 tjun/fluent-plugin-kestrel - GitHub fluentdっていうのは、ログを収集するツールで、プラグインでいろいろ柔軟に設定できて、複数のサーバのいろんなイベントのログを集めて使いやすい形にする、というような使い方ができるみたいです。 Scribeのようなもの。 fluentdについてもっと知りたい人に参考になるのは以下のサイトです。 fluent/fluentd - GitHub イベントログ収集ツール fluent リリース! - 古橋貞之の日記 最近ちょっと触っていたKestrelというメッセージキューへログを投げられたら便利かな、ということで、fluentdで集めたログをkestrelにenqueueするpluginを作ってみました。 実装は、既にあるいろいろなプラグインを参考にしました。Gemを作るのも初めてでよく分かんなかったけど、fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 や jeweler でらくらく rubygems 作成(github編)- @sugamasao.blog.title # => ”コードで世界を変えたい”の通りにやっていたらできました。 jewelerって便利。 ちゃんとrubygemsに登録されているので、そのうち…