キャッシュ機構

分散KVS kumofs

http://d.hatena.ne.jp/viver/20090612おめでとうございます。 しかしこの kumofs、ベンチマークの公称値がやけに良い。1台でも10万rps。memcached を超える、と言っている。 動的にノードを増減できる、落ちない!という特長は GREE の Flare, 楽天技研の R…

楽天技研 ROMA

KVS(key value store)が最近またさらに注目を浴びるようになってきているのか、身近でも勉強会なんかが急に開かれたりするようになった。採用事例も溜まってきているようだ。 かなり製品数もあるように思う。DBM 系はもちろん、memcached, Tokyo Tyrant, Fla…

Tokyo Cabinet の1億件時のランダムアクセスベンチマーク

他にはあんまり見当たらない1億件時のベンチマーク。 ・・・よく見たらmikioさん自身が公開していた。mixi engineer blogSSD との比較ということでの公開だけど、参考になる。 数万 qps の数字が出ることが多い 100 万件時に比べ、100万件 → 数万 qps 1000万…

Ubuntu9.04 で Tokyo Cabinet のインストール

思い立って Tokyo Cabinet をインストールしてみる。まず、いくつか覚書。 参考URL moved zlib Home Site bzip2 インストール方法 http://straighten.jp/2008/11/tokyo-cabinet%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%B8%E3%81%AE%E9…

WhyNotMemcached

以前簡単に訳したのが出てきた。。。 Why should you not use Memcached? あなたが memcached を使うべきでない理由は?Memcached is terrific! But not for every situation... memcached はすばらしい!でも、「どんなときでも」というわけじゃありません…

EHCache の設定部分を調査。

どっかに和訳が転がってそうな気がしてならないんだけど、ちょっと見、見当たらなかったので、設定部分だけ訳した。 必須属性 name: キャッシュ名: キャッシュの名前を設定してください。これはキャッシュの識別に使用されます。 名称が重複しないようにし…

q4m にまつわる適材適所

サイボウズ奥さん作の q4m を職場で提案。 jdbc で接続するのはちょっと・・・という意見が出たので、一個ラッパーを挟むことにして、無事職場で導入されそうだ。 ラッパーは apache の mod で作成した。単純にキュー投入リクエストを受け取り q4m に投入す…

repcached の動作確認

http://lab.klab.org/wiki/Repcached#.E3.82.A4.E3.83.B3.E3.82.B9.E3.83.88.E3.83.BC.E3.83.AB をほとんどそのままやってみた。レプリケーション用のポート番号は -X で指定する。(default=11212) まず一個目のセッションにて、以下。 $ /usr/local/bin/mem…

repcached を debian etch にインストール

repcached を debian etch にインストールしてみた。 repcachedとは、memcachedにデータのレプリケーション機能を追加実装したものです。 http://lab.klab.org/wiki/Repcached#.E3.82.A4.E3.83.B3.E3.82.B9.E3.83.88.E3.83.BC.E3.83.AB ということで、インス…

ファイルシステムの制限について

●ファイル・ディレクトリ数の上限 ひとつのディレクトリ直下に格納できる、ファイル・ディレクトリ数については、おそらく上限はない。おそらく、数万・数十万のファイルを同一ディレクトリ内に作成することは可能であろう。ただし、少なくとも UFS (FFS/FFF…

Tokyo Tyrant

Tokyo Tyrant(TT)の登場です。TTはmemcached並に高速でありながらファイル上にデータを記録して永続化することができ、さらにレプリケーションによってHA(High Availability)を実現しています。 mixi engineer blog memcached を重用している mixi とか…

memcached の分散アルゴリズム

すでに見たように、memcached の分散アルゴリズムはクライアントにゆだねられており、もっともシンプルな仕組みは、Cache::Memcached で採用されている「キーのCRC値を求め、ノードの数で割った余りでサーバを決定」というもの。 このやり方はノードの増減に…

perl 版の memcached の client を使ってみる。

速度比較の必要もあるので、Perl 版の memcached の クライアントを使ってみる。 Cache-Memcached-1.30 - client library for memcached (memory cache daemon) - metacpan.org 上記は、第1回 memcachedの基本:memcachedを知り尽くす|gihyo.jp … 技術評論…

memcached の Java の client

memcached は分散キャッシュ機構だけど、それを実現しているのはあくまでクライアント側によって。ということで、クライアントも重要なんだろう。 プロトコルが単純なだけに、クライアントも各言語いろいろ実装されている。(memcached の開発元の danga も把…

Protocol Buffersのバイナリエンコーディング詳細

Google Protocol Buffers のバイナリエンコーディング詳細。和訳をしていただいてるらしい。 2008-08-03ありがたや。 古橋さんのブログの記事とあわせて読むと、 理解が進む。

古橋貞之の日記

古橋貞之の日記ちょっとちょっとちょっとー。 何だこの天才は・・・。彼何歳だろう20歳?21歳?ひえーw

memcached 関係で目を通して置きたい記事とか

週末にでも見てみよう。pthread_mutexはプロセスを越える - sdyuki-devel memcached Users Group :: Japan

memcached をインストールしてみよう

ファイル共有があんまりうごかないので、疲れきって、なんとなく、 memcached を構築してみようと思い立つ。 make install 一発でいけるレベルのはずだ・・・。 と、おもいつつ、なんとなくコンソールから・・・。 kamei@vaio:~$ memcached プログラム 'memc…

memcached

wikipedia - memcached 汎用の分散型メモリキャッシュシステム。 ... YouTube [2] やLiveJournal、Slashdot、Wikipedia、 SourceForge、GameFAQs、Facebook、Digg、Fotolog、 BoardGameGeek、DeviantART、Kayak などの大規模な 有名サイトで使用されている。…

社内フレームワークのキャッシュ機構検討

DBに保持した情報をメモリもしくはファイルにキャッシュする。 キャッシュサーバについても検討の枠内とする。・・・くらいの発想しかなかった。全部 MVC でいう M のレイヤー。キャッシュ機能について - kameidの備忘録 - Sharpen the Saw!の調査を行って、…

キャッシュ機能について

今社内で再構築しているフレームワークに、キャッシュ機能を追加することになった。 既存の機能を利用する方がいいと思うので、キャッシュの実装はそれを使うことにして、 フレームワークではそれの呼び出し口だけ作ることになると思う。キャッシュサーバを…