工場長のブログ

日々思ったことを書いてます。

2013-01-01から1年間の記事一覧

DynamoDBを並列処理のためのロックやバッチのチェックポイントに使う

AWS Advent Calander 12/19分。 Kinesis用のFluentdプラグインを書いているので、それについてブログ書きたかったんだけどまだちゃんと公開できるような状態になっていないので、それは冬休みの宿題ということで。CloudFrontのログを集計して可視化するツー…

ExcelでRedshift

ExcelってODBC扱えるよね、ということを思い出したのでExcelからRedshiftに接続してみたメモ。 あんまり難しいこと考えずにDWHをカジュアルに使おうぜ、という気持ち。基本的には下記のブログを参照してやってみた。http://pgsqldeepdive.blogspot.jp/2013/0…

AmazonのDynamoの論文を読んでみた(1/3)

Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCach…

YCSBでNoSQLのベンチマーク その2

YCSBを使ってみよう的なテーマで書いた前回の続きとして、今回は結果の読み方や負荷パターンの調整について書いてみる。今回の目次は以下のとおり。 コマンドのパラメータの読み方 DBENGINEごとの接続設定 workloadファイルの読み方/書き方 結果の読み方 コ…

YCSBでNoSQLのベンチマーク その1

ここ数年でNoSQLを実際のシステムで扱うのも割りと一般的になってきていて、機能面だけでなく、性能面が気になるケースが多くなってきたと思う。じゃあどうやって性能はかるの?比べるの?って話になるよね。 いわゆる、NoSQLにおけるapache benchやJMeterの…

AWS SDK for node.jsでDynamoDBをバックエンドにしてチャットアプリケーションを作ってみた。

AWS SDK for node.jsのデベロッパープレビュー版がリリースされたので触ってみた。AWS SDK for Node.js (Developer Preview) http://aws.amazon.com/jp/sdkfornodejs/まだデベロッパープレビュー版なのですべてのサービス向けのAPIが実装されているわけでは…