cdn.debian.net と ftp.jp.debian.org の動作に問題があればgithubにおねがい します。

Debianにおけるパッケージ流通はaptが基本的なものになっている。いまどき完全なスタンドアローンで動作しているような例もすくないので、なにかしらaptの御世話になっていることは多いかと思う。

昔のaptの実装ではhttp redirectができないので、http redirectに頼らない誘導方法になっている（現在のaptの実装ではhttp redirectができるので、http.debian.netというサービスが誕生している）。

check_serverの実装自体はRails3.2です。

動作チェック、文句、要望について

• チェックサーバの動作は http://cdncheck1.araki.net/view/index で確認できます。
• https://github.com/armaniacs/CnameQRV4 で内容を見ることができるので、Issue管理もそちらでお願いします。
• サーバ追加してくれといった要望もそちらでおねがいします。

以下、内部の説明。

DNSサーバは dns.s.araki.net という名前で、dns_balanceが動作しています。

• どのDNSを使うかはレイテンシベースのルーティングで３リージョンから選択している。
• DNSであるdns_balanceは定期的にcheck_serverに対して最新のサーバ生死情報をELBのURL ( http://cdncheck1.araki.net/status/alive )に対してとりにいく。

• 入手はJSONが使われる。この取得のためのプログラムは gae-surrogate.rbという名前

チェックサーバは、

• チェック対象である世界中のDebianミラー200台をSQSに順次登録する。
• チェックサーバの動作は http://cdncheck1.araki.net/view/index で確認できる。

チェックするためのコードはcheck-receive-forward.rbというファイル。

• SQSからチェック対象ホストを1つ抜き出す。
• チェックは対象ホストの http://対象サーバのアドレス/debian/project/trace/ftp-master.debian.org を確認し、最終ミラー時刻が8日以内であることを確認する。不達であったり遅延が大きい場合には"alive=0"として登録される。
• チェック終了したらSQSから消す。
• チェック結果はSimpleDBに登録

地理情報の話やAS情報の話は又の機会に。

 

Route53のlatency based routingの利用

Multi-Region Latency Based Routing (http://goo.gl/wkkra ) という機能がAWSのDNSサービスであるRoute53から発表されました。

そもそも、cdn.debian.netの全体図はこんな具合。cdn.debian.netの再実装開始という記事

dns_balanceが動作しているホスト(当然DNSサーバが動いている)に対して、どうやって早く接続するのか、という問題がある。

今回発表された、Multi-Region Latency Based Routing で、日米欧で動作させているdns_balanceに対してエンドユーザ(の使っているDNSキャッシュサーバ)を誘導するようになりました。

これまでは、日本のユーザでも一定の割合でヨーロッパのDNSサーバを参照する場合があった(キャッシュサーバの実装次第)のが、なくなり、300から500msecほど(平均ではその1/3)解決までの時間が短かくなったはずです。

EC2南米(ブラジル)リージョン用のDebian AMIを作成した

特に誰からも作ってくれとは言われてないのだが、南米リージョン用にDebian squeezeのAMIを作成した。例えば、EBS backedの64bit環境でブートできるようになった。



他のリージョン用にも、Debianでは半ばオフィシャルのAMIを公開している。詳細は、http://wiki.debian.org/Cloud/AmazonEC2Image で確認できる。

RightScaleのものは違うが、tomと私の作ったAMIは完全にクリーンなので安心して使ってOK。

arch	version	AMI ID	disk	size	maintainer	login user
32bit	squeeze	ami-a627f8bb	instance	10GB	ar@debian.org	root
32bit	squeeze	ami-d427f8c9	EBS	10GB	ar@debian.org	root
64bit	squeeze	ami-0626f91b	instance	10GB	ar@debian.org	root
64bit	squeeze	ami-3826f925	EBS	10GB	ar@debian.org	root

SQSいじり

SQSをいじる via ruby-aws SDKで過ぎる休日であった。

cdn.debian.netの再実装開始

それにしてもこの通信貧弱な土地からでは、シンガポールも東京もUS東西も、GSLBもそんなのかんけーねえ。
が、テキストベースなIRCとtwitterならなんとかなることがわかったので、cdn.debian.netの再実装を開始。

中の構成はこんな具合。

• dns_balanceは日本に2つ地理的に分散した場所(これはAWSではない)と、AWSのus-westとeu-westにおいてある。
• 一般のユーザさんというかapt-getをすると、dns_balanceにつながって、そのユーザに近いサーバに誘導される。
• dns_balanceは定期的にcheck_serverに対して最新のサーバ生死情報をELBのURLに対してとりにいく。そこではJSONが使われる。
  

開発:
このcheck-serverは東京リージョンで動かす。
だが、手元のマシンからでもSQSもSimpleDBもたたけるので、その状態でコードを書ける。

SINリージョン!

新リージョンではなく、シンガポールリージョン．
今回は1月に入社して以来の代休を連休のあいだにとることにしたらけっこう日があったので今日から旅行。

シンガポールリージョンができて以来はじめてシンガポールにやってきた。シンガポール自体は2年ぶりくらいか。
あたりまえだが、SINからだとSINはえーーー!。しかし東京から東京リージョンをつかう速さのほうがもっとはやい、という印象(アクセス回線の速度差のせい)

シンガポールにはDebianのフルミラーがないので、cdn.debian.netはjaistにつながる。それでも、cdn.debian.netのほうがftp.debian.orgより断然はやい。9倍くらい。

いろいろ考えて、cdn.debian.netのprobeをGAEからAWSに移すことにしよう。この休暇中に。

Debian6(squeeze)の東京リージョン用のAMIだが、32bitのほうを修正

http://donrails.araki.net/archives/id/7360

に書いたDebian6(squeeze)の東京リージョン用のAMIだが、32bitのほうを修正した。(古いAMIも、3/7の朝7:40頃に削除した)

これからはami-9e1ab19fを使ってください。あわせて、元記事と http://wiki.debian.org/Cloud/AmazonEC2Image DebianのWiki も修正しました。

修正点:

• security.debian.orgをapt lineにいれた
• grubの設定を修正(module以下がloadされない状態だった)
• /var/cache/apt以下を消した

そのあとで、EBSではなくinstance storeのほうも作ろうと思って、t1.microで作業をしていた。

1. aptでsun-java6-jreをインストール(ec2-ami-toolsのため)しようとしたら、メモリが足りなくなり動かなくなった。
2. EBSを2Gほどつくってswapを追加したがおはなしにならない
3. しかたないのでいったんshutdownして、ec2minatt -t m1.small インスタンスID とした
4. あっというまにかたづいた

が、ちょっと時間がなくなったのでインスタンスストアはまだです。

東京リージョンオープン記念Debian Squeeze 登録

今日明日と日経CloudDaysTokyoというイベント．東京ミッドタウンでAWSのパートナーさんが主役のイベントでメタな質問の引きうけ係として一日立ちんぼ。

そして夜。ついに待っていた日がきた!

入社前からこの日を待ち、入社してからは無事この日を迎えられるように祈っていた日が今日。

自分が個人でできることとして、AWS東京リージョンにDebian Squeeze登録しました。

• 32bit ami-ae01aaaf (→ security.d.oを使うように修正しました ami-9e1ab19f )
• 64bit ami-a601aaa7

debianで検索しても2つしかでてこない、こんな日はめったにないのでキャプっておいた。いずれこれが上から下まで埋まる日がくるのだろう。

そして、Debian Projectとしてhttp://wiki.debian.org/Cloud/AmazonEC2Image

というのを案内することにした。EC2用のimageの情報をまとめています。