工場長のブログ

日々思ったことを書いてます。

広告に関するなにか: RedshiftでAttribution分析の実装

職場の同僚のドッグさん(語尾は上げる)に「パイセン、Redshiftとか使ってイイカンジにAttribution分析するならどんなかんじなんすかね〜」って言われたので考えた。 Attribution分析とは 「あるコンバージョンに対して貢献のあった広告の表示やクリックな…

広告に関するなにか: Top 5 Trends in Digital Out of Home

IABのブログポスト、Top 5 Trends in Gigital Out of Homeを読んだ。DOOHというのは初めて聞いた言葉だったのでちょっと記事を拾ってみた。 「IABが考える、2015に掴んでおきたい5つのトレンド」的な記事。 DOOHとは Digital Out of Home (or “DOOH” as the …

広告に関するなにか:Spotifyのパーソナライゼーションの話

Personalization at Spotify using Cassandra 広告の話ではないけど、Spotifyのパーソナライゼーションの話ということで。Cassandraを使って大量のデータをベース多くのユーザーに低レイテンシな、プレイリストのパーソナライゼーションを提供してますよ。そ…

広告に関するなにか(2015/1/14): Apache Lens at Hadoop meetup

inmobiのレポートシステムでLensを使っているよという話。 Apache Lens at Hadoop meetup from amarsri Generation 1 : RDBMS Architecture RDBMSで1.5TBくらいのデータを扱っていた。 Challenges データロードに24時間近くかかったり3ディメンションくらい…

広告に関する何か 2015/1/9

Beating the Speed of Light with Your Infrastructure (ADV402) Beating the Speed of Light with Your Infrastructure in AWS | AWS re:Invent 2014from Amazon Web Services AWS Re:Invent 2014でのAdRollの発表のスライド。AdRollと言えばAWSてきにはDyn…

広告に関するなにか 2015/1/7

Could Programmatic Branding Have a Breakthrough Year? パフォーマンス系、獲得系の広告だけじゃなくてブランディング系の広告においてプログラマティックが利用されるようになっていくのかという話。書いているのがDMPのセールスのひとなのである程度バイ…

ほぼ日刊アドテクニュース 2015/1/6

AppNexus Acquires Cross-Device Technology Leader MediaGlu AppNexus(the world’s largest independent ad tech companyと紹介されている)が、クロスデバイストラッキングサービスを提供するMediaGluをAppNexusが買収という記事。 どんな技術を使っている…

DynamoDBを並列処理のためのロックやバッチのチェックポイントに使う

AWS Advent Calander 12/19分。 Kinesis用のFluentdプラグインを書いているので、それについてブログ書きたかったんだけどまだちゃんと公開できるような状態になっていないので、それは冬休みの宿題ということで。CloudFrontのログを集計して可視化するツー…

ExcelでRedshift

ExcelってODBC扱えるよね、ということを思い出したのでExcelからRedshiftに接続してみたメモ。 あんまり難しいこと考えずにDWHをカジュアルに使おうぜ、という気持ち。基本的には下記のブログを参照してやってみた。http://pgsqldeepdive.blogspot.jp/2013/0…

AmazonのDynamoの論文を読んでみた(1/3)

Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCach…

YCSBでNoSQLのベンチマーク その2

YCSBを使ってみよう的なテーマで書いた前回の続きとして、今回は結果の読み方や負荷パターンの調整について書いてみる。今回の目次は以下のとおり。 コマンドのパラメータの読み方 DBENGINEごとの接続設定 workloadファイルの読み方/書き方 結果の読み方 コ…

YCSBでNoSQLのベンチマーク その1

ここ数年でNoSQLを実際のシステムで扱うのも割りと一般的になってきていて、機能面だけでなく、性能面が気になるケースが多くなってきたと思う。じゃあどうやって性能はかるの?比べるの?って話になるよね。 いわゆる、NoSQLにおけるapache benchやJMeterの…

AWS SDK for node.jsでDynamoDBをバックエンドにしてチャットアプリケーションを作ってみた。

AWS SDK for node.jsのデベロッパープレビュー版がリリースされたので触ってみた。AWS SDK for Node.js (Developer Preview) http://aws.amazon.com/jp/sdkfornodejs/まだデベロッパープレビュー版なのですべてのサービス向けのAPIが実装されているわけでは…

innodbのチューニングとEC2のIO

ここでは、EC2の上でinnodbをチューニングして使うという観点でTIPSをまとめてみた。 RDS便利だから使おうぜってのは今回の話のスコープには含みません。 あと、innodbについて、割りとちゃんと調べてみたのは初めてだったりするので、間違ってる点など見つ…

CloudFormationとChefを使って拡張Stampパターン

AWS

こんばんは! 今回はCDP Advent Calendarへの投稿です。 今日はStampパターンの拡張の話について書いてみます。きっかけは「MongoDBのクラスタがAMIくらいお手軽に試せたらいろいろ触ってみるんだけどなぁ」という声を頂いたこと。はじめに 今回やってみるの…

海外のDSPが日本に進出してきているという話

昨日、アメリカのアドエクスチェンジの人と飲んでいろいろ気づいたことがあるので書いておく。発端は、話の中で「最近海外のDSPが日本に進出してきる。実際、ヨーロッパのクライアントがDSP経由で日本のインプレッションを買いたいって話もよく聞くよ」みた…

CloudFront+S3でCORSしようとしてハマった。

AWS

S3がCORS(Cross Origin Resource Sharing)をサポート開始(http://aws.typepad.com/aws_japan/2012/09/amazon-s3-cross-origin-resource-sharing-support-1.html)したので、それをCloudFront経由で使ってみようと思ってハマったのでメモ。CloudFront経由でS3…

Elastic BeanstalkでFuelPHPを動かしてみた。

2012/12時点で、Elastic BeanstalkのPHPコンテナが新しくなっているので、この記事通りに動かないかもしれません。 PHPを書く機会があったのでElastic Beanstalkを使ってみた。 gitからpushでデプロイできるので便利ですね。使い方のイメージは下記の感じ。(…

EC2スポットインスタンスを固定IP付きで立ち上げる

EC2のAPIでは、オンデマンドインスタンス(リザーブドインスタンスも)は固定IP付きで立ち上げることができるが、スポットインスタンスはそういうAPIはない。もともとスポットインスタンスは起動していることが保証されているわけではないので固定IPを付けて運…

VPC内にEC2を立ち上げようとしてcloud-initのpackage_setupでハマる

AWS

VPC内にamiからインスタンスを立ち上げようとしたら何故か立ち上がらない。 management consoleから当該インスタンスの"Get System Log"してみると下記な感じで止まってた。 cloud-initのpackage_setupのところでリポジトリを探しに行って、通信ができなくて…

各LL言語でのライブラリパス追加の仕方

いつも忘れるのでメモ Python 環境変数PYTHON_PATHにパスを追加する その他詳細な情報は下記が詳しい http://aodag.posterous.com/python-3 Perl5 環境変数PERL5LIBにパスを追加する ruby ワンライナー的に使うなら $ruby -l PATH_TO_LIB hoge.rb 環境変数RU…

EC2でnginx動かしてパフォーマンス検証した。

ひとまず動かしてみる。 yumでインストール。楽でいいね。 $ sudo yum install nginx ==snip== Running Transaction Installing : libxslt-1.1.26-2.6.amzn1.x86_64 1/5 Installing : GeoIP-1.4.8-1.5.amzn1.x86_64 2/5 Installing : libXpm-3.5.8-2.8.amzn1…

EC2にfluentdをいれてapacheのアクセスログをs3に保存してみる。

ruby1.9.2以降の環境を作る fluentdにはruby1.9.2以上が必要らしいのでruby1.9.xをインストール。 rvmで1.9.3をインストールしました。 ちなみにこの記事を書いてる時点でのAmazon Linuxのrubyは1.8.7。 rvmでruby環境をインストールする場合、fluentdのプラ…

PHP5.3で無名関数を使う

PHP

PHP5.3の無名関数でちょっとハマったのでメモ。 どうやら無名関数(だけじゃなくて普通の関数もだと思うけど。)はPHPの実行前のフェーズで検証がされる模様。 ちゃんと動く。 10 [1] => 20 [2] => 30 [3] => 40 [4] => 50 ) */ これがうまく動かない。 $bがa…

LLでのDNSルックアップはどこかにキャッシュされるのか。

rubyとpythonとphpとperlで試してみた。 それぞれの言語ごとに下記のコードを動かしながら、 tcpdump dst port 53でチェックしてみた。結果としてはすべての言語においてDNSレコードはキャッシュされることなく毎回DNSルックアップしてた。JavaだとVM上にDNS…