StormのImplementation docs

いつか読もうと思っていたstormの Implementation docs。 そしたら、日本語でまとめているところを見つけたので、リンクを貼っておきます。 Stormの内部実装を解説する資料確認してます(その1 - 夢とガラクタの集積場 Stormの内部実装を解説する資料確認してます(その2 - 夢とガラクタの集積場 Stormの内部実装を解説する資料確認してます(その3 - 夢とガラクタの集積場 Stormの内部実装を解説する資料確認してます(その4 - 夢とガラクタの集積場 Stormの内部実装を解説する資料確認してます(その5 - 夢とガラクタの集積場 Stormの内部実装を解説する資料確認してます(その6 - 夢とガラクタの集積場 あと、stormについて日本語でまとまっている記事は、 リアルタイム分散処理Stormの耐障害性は? - Tech-Sketch もよさそうです。 英語が大丈夫な人は、githubに結構ドキュメントがあるので読むといいと思います。 Documentation · nathanmarz/storm Wiki…

Stormの公式サイトができてた

知らぬ間にStormの公式ページができてた。 Storm, distributed and fault-tolerant realtime computation でも結局はgithubにある情報に飛ばされるので、github見たほうが早いと思います。…

rubyでstormが書ける、Redstormを試す

Redstormを使うと、stormの処理をrubyで書くことができます。 Redstormの詳しいことはProjectのページを読んでみてください。 colinsurprenant/redstorm stormはJavaで処理を書くことができますが、Redstormを使うとrubyでtopologyやboltを書くことができます。 準備 redstorm-0.5.0はstorm-0.7.1まで対応しているということなので、storm-0.7.1を入れて使えるようpathを通しておきます。 クラスタ環境で動かす場合の、stormのセットアップは以下を参照してください。 stormのcluster環境のセットアップ(centos) | tjun memo stormのcluster環境のセットアップ& storm UIを試す (後編1: 1台で全て動かす) | tjun memo 今回のようにとりあえずlocalで動かす場合はJavaとStormにPathが通っていればいいと思います。 $ wget https://github.com/downloads/nathanmarz/storm/storm-0.7.1.zip --no-check-certificate $ unzip storm-0.7.1.zip $ sudo cp…

stormのcluster環境のセットアップ& storm UIを試す (後編1: 1台で全て動かす)

前回からだいぶ時間がたってしまいましたが・・・ 前編はこちら stormのcluster環境のセットアップ(centos) | tjun memo Stormのことを知りたい、あるいは開発環境の設定やローカルモードでの実行を知りたい場合は、下記の記事を参照してください。 twitterが発表したリアルタイム分散処理フレームワークStorm | tjun memo EclipseでStormの開発環境を作る | tjun memo Stormをlocalmodeで実行する | tjun memo 前回はzookeeperやstormのインストールまで終わりました。 今回は、1台の中で、nimbusやsupervisorを動かして、stormを使ってみます。 Stormのクラスタの設定 stormの設定は、storm.yaml というファイルを作りますが、 stormのサーバの設定用のstorm.yaml と、クライアントの設定用のstorm.yamlがあるので注意が必要です。 サーバ用とは、stormを動かすための設定で、nimbusとsupervisorで通信したり、zookeeperとやりとりをするための設定です。 クライアント用とは、stormにtopologyを投入する時に、workerはいくつにする、などの設定です。 まず、server設定用を編集します。 server用の設定は、Stormをインストールしたディレクトリを$STORMHOMEとしたとき、$STORMHOME/conf にあります。 $ vi…

How to build jzmq in Mac OS X Lion

I tried to build jzmq, but failed with the following error message: $ git clone https://github.com/zeromq/jzmq.git $ cd jzmq $ ./autogen.sh $ ./configure $ make ... make[1]: *** No rule to make target `classdist_noinst.stamp', needed by `org/zeromq/ZMQ.class'. Stop. make: *** [all-recursive] Error 1 Then, create "classdist_…