r53tools-1.0.0を公開

AWSのDNSサービスにAmazon Route 53なるものがあります。最近多数のドメインをそのAmazon Route 53へ設定しなければならないことがあったため、CLIで処理をしたくなりました。

AWSに関するCLIとしては以前s3toolsを書いていたので、割合簡単に書けることも分かっていました。そこで再び自分でCLIを書いてみました。

r53tools: Amazon Route 53 CLI

これを修正BSDライセンスで公開します。動作環境はJavaSE6.0以降です。

機能としては、ゾーンの作成/一覧・レコードの作成/一覧/削除、を備えています。ゾーンの削除はAWSのWebコンソールから実行した方が良いように思ったので、今のところ用意しませんでした。

例によってLinux/Mac用のshスクリプトしか書いていません(Windows用を書いてもテストが・・・)。s3toolsの方も機能追加しようと思いつつ出来てないですが、そのうちやります。

ところで、たいてい私は繰り返しが20程度の数になったら楽をできないか考え始めるのですが、この20って少ないんでしょうかね?

s3tools-1.0.0を公開

Amazon S3のCLIといえばs3cmdが有名なようですが、API認証の初期設定(–configure)にちょっと違和感を感じます。そこでCLIを自分で書いてみました。これを修正BSDライセンスで公開します。

s3tools: Amazon S3 CLI

動作環境はJavaSE6.0以降です。

まずは最低限必要なコマンドとして、ListとGetとPutの3つだけを用意しました。コマンドもオプションももう少し拡張するつもりです。

それとまだLinux/Mac用のshスクリプトしか書いていませんが、そのうちWindows用のbatファイルも書こうと思っています。

内部実装としても今のところクラス設計がとにかくいい加減なので、今後拡張しやすいように改善していく予定です。

30分で実行するAmazon Elastic MapReduce(Amazon EMR)

今年のテーマの一つはビッグデータということで、そろそろ本格的にMapReduceに手を出そうと思います。

手軽にMapReduceを試してみるのであれば、やはりAWSでしょう。今回はAmazon Elastic MapReduce(Amazon EMR)を動かす方法を簡単にまとめておきます。

実行する処理の例としては、Hadoopのチュートリアルにある処理をそのまま使わせてもらいましょう。与えられたテキスト(英文)に出現する単語を数えるというものです。

実行する処理
与えられたテキストに出現する単語を数える

実行の手順

Amazon EMRにはApache Hadoopが使われています。本来Hadoopを使うためには、Hadoopの環境そのものをセットアップする必要があるのですが、そこをAWSが既にやってくれているわけです。

そのため、手順としては

  1. Hadoopのジョブとなるjarファイルを作る
  2. そのjarファイルと入力ファイルをAmazon S3へアップロードする
  3. Amazon EMRのコンソールから処理を実行する

となります。 続きを読む 30分で実行するAmazon Elastic MapReduce(Amazon EMR)

SDKで身近になるAmazon Web Service

このエントリはJava Advent Calendar 2011 第4日目のエントリです。
« 第3日目のエントリ第5日目のエントリ »

今日はAWSについて書こうと思います。というのは、最近ノーリスクとかマッシュアップとかいって、従量コストで利用できるWebモジュールの需要が(私の中で)高まってるからなのですが・・・。

AWSと言えばEC2やS3が有名ですが、他にもいろいろなサービスが提供されています。今日はその中でもシンプルで、単体でも役立ちそうなサービスをJava用のSDKから使う方法について紹介します。

  • Amazon Simple Storage Service (S3)
  • Amazon SimpleDB
  • Amazon Simple Email Service (SES)

この全てのサービス名に”Simple”と付いているのは偶然です。これを基準に選んだわけではありません。本当です。

なお記載のコードを実行するためには、AWSのアカウント登録と各サービスの有効化が必要です。また一応、従量課金サービスですので使い方によって料金が発生することがあります。 続きを読む SDKで身近になるAmazon Web Service