cdn.debian.net と ftp.jp.debian.org の動作に問題があればgithubにおねがい します。

Debianにおけるパッケージ流通はaptが基本的なものになっている。いまどき完全なスタンドアローンで動作しているような例もすくないので、なにかしらaptの御世話になっていることは多いかと思う。

昔のaptの実装ではhttp redirectができないので、http redirectに頼らない誘導方法になっている（現在のaptの実装ではhttp redirectができるので、http.debian.netというサービスが誕生している）。

check_serverの実装自体はRails3.2です。

動作チェック、文句、要望について

• チェックサーバの動作は http://cdncheck1.araki.net/view/index で確認できます。
• https://github.com/armaniacs/CnameQRV4 で内容を見ることができるので、Issue管理もそちらでお願いします。
• サーバ追加してくれといった要望もそちらでおねがいします。

以下、内部の説明。

DNSサーバは dns.s.araki.net という名前で、dns_balanceが動作しています。

• どのDNSを使うかはレイテンシベースのルーティングで３リージョンから選択している。
• DNSであるdns_balanceは定期的にcheck_serverに対して最新のサーバ生死情報をELBのURL ( http://cdncheck1.araki.net/status/alive )に対してとりにいく。

• 入手はJSONが使われる。この取得のためのプログラムは gae-surrogate.rbという名前

チェックサーバは、

• チェック対象である世界中のDebianミラー200台をSQSに順次登録する。
• チェックサーバの動作は http://cdncheck1.araki.net/view/index で確認できる。

チェックするためのコードはcheck-receive-forward.rbというファイル。

• SQSからチェック対象ホストを1つ抜き出す。
• チェックは対象ホストの http://対象サーバのアドレス/debian/project/trace/ftp-master.debian.org を確認し、最終ミラー時刻が8日以内であることを確認する。不達であったり遅延が大きい場合には"alive=0"として登録される。
• チェック終了したらSQSから消す。
• チェック結果はSimpleDBに登録

地理情報の話やAS情報の話は又の機会に。

 

ブラジル行きがなくなった:visa取得まにあわず

visa取得まにあわず、ブラジル行きがなくなった。

ブラジルに日本人が入国するためには、何であれビザが必要。

このビザは事前にwebで申請(いちおうブラジル領事館の現地でも数台PCがおいてある)したあとで、領事館にでかけていって申請して、5営業日後に発行してもらわなければならない。

まず、ブラジル大使館へ。visaの案内ページ(下図)から、visa申請ページに行く。



すると。この矢印の先がなんとブラジル政府の認証局。このオレオレっぷりをどうすんだ! という人のために領事館にPCがおいてあると思われます。



月曜日~金曜日：一般申請 10:00~12:00という時間に、45mm x 35mm のカラー、無帽、背景は白の写真、E-チケット，残高証明書が必要だった。

残高証明書は、MUFGでは750円くらいで、新生銀行では無料でつくれた。いずれも急ぎと言ったせいか3営業日くらいで届いた。

今回はなんとE-ticketが私を呼んだ主催団体のスポンサーから届くのが遅れに遅れたので、visa発行期限にまにあわなかったわけでした。

Debian流通の歴史(予告編) [slideshare id=13427525&w=427&h=356&sc=no]

View more PowerPoint from yasuhiro araki

これはおくらいりにとなってしまいました。

Debian大統一勉強会いってきた

Debian大統一勉強会ということで、昨晩京都にのりこんで、朝から一日参加。
午前中のpamの話も聞きたかったのだが、KSPの準備(自分の提出が遅れたため)をしていて聞けなかったことが残念ではあった。

自分の発表は、けっこうウケてたのかな。。コメントがあるかたはぜひください。
ブラジルでの本番はもっともっと技術の裏にいきます。

Debian流通の歴史(予告編) [slideshare id=13427525&w=425&h=355&sc=no]

View more PowerPoint from yasuhiro araki

debianミラーリスト更新の前準備

Debian worldwide mirror sites

Debian worldwide mirror sites This is a complete list of mirrors of Debian. For each site, the different types of material available are listed, along with the access method for each type.

さて、それでこのリストにあるものを全部しらべてみたところ、IPアドレスがDNSに登録されていないものがこんなにたくさん。

"volatile.debian.or.at"
"mirror.pacific.net.au"
"debian.das.ufsc.br"
"debs.ifsul.edu.br"
"mirrors.geekbone.org"
"debian.forpro-creteil.org"
"debian2.forpro-creteil.org"
"hp.debian.or.jp"
"www.cohsoft.com"
"mirror.debian.mn"
"debian.eso-es.net"
"debian.secsup.org"
"cudlug.cudenver.edu"
"ftp.grokthis.net"

hp.debian.or.jpとかなつかしい。

このリストには、Includes architectures という欄があるのだが、http://www.debian.org/ports/#portlist-released にある

alpha amd64 arm armel armhf hppa hurd-i386 i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mips mipsel powerpc s390 s390x sparc

の全て(非公式移植版もすべて)を持っていたのたった3つだった(なんてことだ..)

• ftp.freenet.de
• debian.cict.fr
• debian.topstudio.co.jp

たったこれだけ。

Route53のlatency based routingの利用

Multi-Region Latency Based Routing (http://goo.gl/wkkra ) という機能がAWSのDNSサービスであるRoute53から発表されました。

そもそも、cdn.debian.netの全体図はこんな具合。cdn.debian.netの再実装開始という記事

dns_balanceが動作しているホスト(当然DNSサーバが動いている)に対して、どうやって早く接続するのか、という問題がある。

今回発表された、Multi-Region Latency Based Routing で、日米欧で動作させているdns_balanceに対してエンドユーザ(の使っているDNSキャッシュサーバ)を誘導するようになりました。

これまでは、日本のユーザでも一定の割合でヨーロッパのDNSサーバを参照する場合があった(キャッシュサーバの実装次第)のが、なくなり、300から500msecほど(平均ではその1/3)解決までの時間が短かくなったはずです。

ftp.jp.debian.orgが半日止まっていた件

こんばんは。cdn.debian.net、ftp.jp.debian.orgなどの管理をしている荒木です。

本日未明から14:06まで上記Debianミラーサーバへの到達性が著しく低下する事故が発生しました。
100%ではありませんが、日本からの80%を越えるアクセスについて、到達できない状態が続きました。

本MLに情報をおよせになった、野田様、ご意見ありがとうございます。
おっしゃる通り、「いかがなもの」と感じられたのかと思います。
今回の事は、本来動作しているべき死活監視が意図通り作動しなかったことによるものでした。


死活監視は
1. 死活監視対象情報をキューに蓄積、
2. 死活監視プログラムがキューから取得、死活監視情報をDBにかきこみ、キューから消去

という二つのプログラムで構成されています。
今回の問題は、1は正常動作しているものの、通常2箇所で動作している2のプログラムが停止したことによります。

時間経過で示します。

未明(時間不明) jaistにおけるミラーがメンテナンス開始。それに伴いミラーサーバの利用が困難に。
11:47 twitterで、石川むつみさんから、第一報。その後数分で問題を確認。
13:44 死活監視キューの処理を開始
13:50 通常の方法ではキュー処理がまにあわないのでキューを全削除
14:06 3つあるDNSのうちひとつ目の処理終了
14:11 障害対応終了
14:20 キューの最大保持時間を削減
15:11 キューの数を監視し、一定数を越えると通知する仕組みを実装し、利用開始

今回の対策により確認キュー処理の遅れに気がつかずにそのままになることはないはずですが、
2のプログラムそのものを動作させることができるノード数は現状の2からさらに追加することで対策をします。

今回は死活監視システムそのものに問題があったため、対応できるのが荒木しかおりませんでした。

[皆様にお願い]

障害情報を私に伝えてくださる方がいらっしゃったら、どうぞ遠慮なくお知らせください。
関係しそうなサーバの計画メンテナンスなど私にリマインダ下さるかたがいれば大歓迎です。

また、2のプログラムを動作させててもかまわない方がいらっしゃれば御一報ください。
外部から接続できる必要はありません。HTTPでの外部インターネットにアクセス可能であればノートパソコンでも
動作します。

最後に、本サービスは今後も改善を続けてまいります。
公開の場であれば、障害情報や要望なども広く受けつけておりますので、どうぞ遠慮なく。

cdn.debian.netの作業

cdn.debian.netのDNSをひとつ日本でたちあげ。そしてサーバチェック用のスクリプトもちゃんとはしらせた。

もうひとつやることがあるので明日適当にやる。

EC2南米(ブラジル)リージョン用のDebian AMIを作成した

特に誰からも作ってくれとは言われてないのだが、南米リージョン用にDebian squeezeのAMIを作成した。例えば、EBS backedの64bit環境でブートできるようになった。



他のリージョン用にも、Debianでは半ばオフィシャルのAMIを公開している。詳細は、http://wiki.debian.org/Cloud/AmazonEC2Image で確認できる。

RightScaleのものは違うが、tomと私の作ったAMIは完全にクリーンなので安心して使ってOK。

arch	version	AMI ID	disk	size	maintainer	login user
32bit	squeeze	ami-a627f8bb	instance	10GB	ar@debian.org	root
32bit	squeeze	ami-d427f8c9	EBS	10GB	ar@debian.org	root
64bit	squeeze	ami-0626f91b	instance	10GB	ar@debian.org	root
64bit	squeeze	ami-3826f925	EBS	10GB	ar@debian.org	root

SQSいじり

SQSをいじる via ruby-aws SDKで過ぎる休日であった。

cdn.debian.netの再実装開始

それにしてもこの通信貧弱な土地からでは、シンガポールも東京もUS東西も、GSLBもそんなのかんけーねえ。
が、テキストベースなIRCとtwitterならなんとかなることがわかったので、cdn.debian.netの再実装を開始。

中の構成はこんな具合。

• dns_balanceは日本に2つ地理的に分散した場所(これはAWSではない)と、AWSのus-westとeu-westにおいてある。
• 一般のユーザさんというかapt-getをすると、dns_balanceにつながって、そのユーザに近いサーバに誘導される。
• dns_balanceは定期的にcheck_serverに対して最新のサーバ生死情報をELBのURLに対してとりにいく。そこではJSONが使われる。
  

開発:
このcheck-serverは東京リージョンで動かす。
だが、手元のマシンからでもSQSもSimpleDBもたたけるので、その状態でコードを書ける。

SINリージョン!

新リージョンではなく、シンガポールリージョン．
今回は1月に入社して以来の代休を連休のあいだにとることにしたらけっこう日があったので今日から旅行。

シンガポールリージョンができて以来はじめてシンガポールにやってきた。シンガポール自体は2年ぶりくらいか。
あたりまえだが、SINからだとSINはえーーー!。しかし東京から東京リージョンをつかう速さのほうがもっとはやい、という印象(アクセス回線の速度差のせい)

シンガポールにはDebianのフルミラーがないので、cdn.debian.netはjaistにつながる。それでも、cdn.debian.netのほうがftp.debian.orgより断然はやい。9倍くらい。

いろいろ考えて、cdn.debian.netのprobeをGAEからAWSに移すことにしよう。この休暇中に。

Debian6(squeeze)の東京リージョン用のAMIだが、32bitのほうを修正

http://donrails.araki.net/archives/id/7360

に書いたDebian6(squeeze)の東京リージョン用のAMIだが、32bitのほうを修正した。(古いAMIも、3/7の朝7:40頃に削除した)

これからはami-9e1ab19fを使ってください。あわせて、元記事と http://wiki.debian.org/Cloud/AmazonEC2Image DebianのWiki も修正しました。

修正点:

• security.debian.orgをapt lineにいれた
• grubの設定を修正(module以下がloadされない状態だった)
• /var/cache/apt以下を消した

そのあとで、EBSではなくinstance storeのほうも作ろうと思って、t1.microで作業をしていた。

1. aptでsun-java6-jreをインストール(ec2-ami-toolsのため)しようとしたら、メモリが足りなくなり動かなくなった。
2. EBSを2Gほどつくってswapを追加したがおはなしにならない
3. しかたないのでいったんshutdownして、ec2minatt -t m1.small インスタンスID とした
4. あっというまにかたづいた

が、ちょっと時間がなくなったのでインスタンスストアはまだです。

東京リージョンオープン記念Debian Squeeze 登録

今日明日と日経CloudDaysTokyoというイベント．東京ミッドタウンでAWSのパートナーさんが主役のイベントでメタな質問の引きうけ係として一日立ちんぼ。

そして夜。ついに待っていた日がきた!

入社前からこの日を待ち、入社してからは無事この日を迎えられるように祈っていた日が今日。

自分が個人でできることとして、AWS東京リージョンにDebian Squeeze登録しました。

• 32bit ami-ae01aaaf (→ security.d.oを使うように修正しました ami-9e1ab19f )
• 64bit ami-a601aaa7

debianで検索しても2つしかでてこない、こんな日はめったにないのでキャプっておいた。いずれこれが上から下まで埋まる日がくるのだろう。

そして、Debian Projectとしてhttp://wiki.debian.org/Cloud/AmazonEC2Image

というのを案内することにした。EC2用のimageの情報をまとめています。

qpstudyで発表してきました。

Gentoo, Fedora, Debian, Ubuntu, Vine がひとり3分ずつプレゼンをするという会でした。
さらにそのあとのパネルディスカッションで1時間。

Togetterでのまとめ、懇親会のまとめに詳細はあるので自分でひろったものだけメモ．

• あの場にCentOSの人がいたら、まちがいなく一番人気だったのではないかというかんじ。
• Debianに投票してくれた人全員と話をするべきだった。
• Debian GNU/Linux timelineのソース。こういう図は https://launchpad.net/gnuclad で書くといいらしい。
• 物理的なところで仕事したいならniftyクラウドで、というのを数人とする(される)
• niftyクラウドでのDebian対応も見せてもらった。vmwareなんだから楽なんですよとは謙遜していた。
• AWSで「何やってんの?」というのに答えつつ、サポートエンジニアも営業も募集してますよと話はした。

プレゼンはpreziでやりました。prezoじゃないよ。

 

http://prezi.com/bin/preziloader.swf

インフラDebian宣言！ on Prezi

CloudでDebianか，DebianでCloudか．

OSC北海道2010で
あなたはどっち? クラウドでDebian // Debianでクラウドと称してプレゼンしてきました．

どっちでもいいじゃん，という話もあるかもしれませんが，中なんて知らなくていいんだよ，とうそぶくには若すぎる俺ガイル．
そんなわけで話をしてきました．

まあでも，この話，Debian枠で話するのはBestではないよなあ．というわけで，Debianじゃない話としてまとめることはできるので，コメントがある方，話を聞きたい方，お待ちしています．

あなたはどっち? クラウドでDebian // Debianでクラウド

http://static.slidesharecdn.com/swf/ssplayer2.swf?doc=osc-do-100625180052-phpapp02&stripped_title=debian-debian

View more presentations from yasuhiro araki.

「あなたはどっち クラウドでDebian Debianでクラウド」

Debian 東京勉強会 at 代々木のオリンピックセンターにて，「あなたはどっち クラウドでDebian Debianでクラウド」と題して発表しました．

発表本番は26日の土曜，OSC-do http://j.mp/bL7hrq です．@iwamatsu のDebian kFreebsd 話の二本建です．

というわけで，この本番前には資料をuploadする予定です．

それにしても一番ヒキがあったのはpuppetだったとはね．というわけでpuppetの話を充実させねば．

minori.linux.or.jp撤去

NEC様より寄贈され，それ以来，JLAのDoc-CDやcvs，MLの配送など，様々な任務をこなしてきたPentium3! のマシン, minori.linux.or.jpが本日引退となりました．

minoriが大活躍していたのは2005年くらいまでで，その後5年ほどはほそぼそと裏方にまわっていました．
ところが先日，突然ネットワークからアクセス不可能になり，現地に行かなければ何もできない状況となっていました．
JFやJMのcvsとして今でも使用していたので，これらのプロジェクトでは活動が停滞するなど，多大なご迷惑をおかけすることになりました．

関係者と相談した結果，性能とラックスペースの関係，電源の関係，メンテ性などを総合的に判断し，最低限必要なファイルのサルベージを可能なら実行し，その後廃棄することになりました．

結局，本日現地で作業し，幸いcvsデータのサルベージに成功しました．
それらを保護した上で，サーバの廃棄業者に運送し，廃棄処理となりました．

長いあいだありがとうございました．サルベージ作業の間，過去にかかわった方々のファイルなど多数痕跡を発見しました．関係者の方々，ありがとうございました．

FirefoxかChromeかというのはなんか不毛な気がする

Debian的には特に不毛．なぜなら．．DebianにはIceweaselだから．

まあそれは置いておくにしても，Chromeとfirefoxを行き来してるとどっちもいいなあと思うのは俺だけじゃないはず．そして，その行ききの方法なり，使い分けの方法なりを自分なりに最適化すればいいだけじゃないのかと思う．

言うだけだとあアレなので，自分で整理してみる．

Firefoxをよろしくするもの．

• Fireboot: windowsのみ．windowsでfirefoxがおせえ，とブータレルまえに一度は試すべき．言語ファイルを削ることによる高速化．
• SQLite Optimizer: SQLiteを最適化してくれる．

FirefoxとChromeの行き来を楽にするもの.

• LastPass:これでFirefox, Chrome, Opera, IE, Safariはパスワード共有が問題なし．
• Xmarks: Firefox, Chrome, IE, Safariのブックマーク共有．ただ，たまにおかしい．chrome-devとかfirefox-devつかってるせいなんだけど．

あとはオンラインサービスを使えばいいんだよね．はてなでも，deliciousでも．

これは!行ってみたい海外の展示会を考えてみる

自分が発表しない学会や展示会であっても，社内の稟議を通せば聞きにいける制度が今の会社にはある．
どうやらそれの募集をやっている時期らしく，9月までに行きたいものがないかどうかというメールが流れていた．

お，じゃあだめもとでDebconfに手を上げてみるか! と思ったのですが．．
しかしその審査は6月におこなわれるので，その後の申しこみで間にあうことが前提条件にある．というわけで間にあいません．時期的になんとかなりそうなのは，Oracle Open worldで9月．

この制度がすぐにおわるわけじゃないからじゃあ次の機会でも探すかなあ，と思ったときに自分は何に行きたいのか，学会以外で，そして会社の稟議に通せそうなのかを考えてみた．

• Google IO (5月) いったらまちがいなくおもしろそう．
• GDC (3月) これは一度だけ行ったけど，刺激的．でかいし．
• QCon (11月) 開発手法からなにからおもしろそうだよね．
• F8 (4月) 今年のはおもしろかったみたいだなあ．
• USENIX Federeated (6月) 今年はもう間にあわん．
• CES(1月) 実は学会併設がおもしろそうなんだよね．
• MySQL(4月), Apachecon(11月), Hadoop world(次はいつだ?)....
  

まあ純粋な学会なら，http://webdocs.cs.ualberta.ca/~zaiane/htmldocs/ConfRanking.html このへんから選ぶので楽なんだけどな．

cdn.debian.netの中身を大分更新した

cdn.debian.netの悩みはいくつもある．前から仕込んでいたのだがいくつか形にした．

今回の改善は，http://debiancdn.appspot.com/json/alive で生存中のDebianミラーをJSONで返すようにしたこと．
やったのは，各国に散らばるミラーサーバのヘルスチェックの効率化 with GAE.

チェックすべきdebianフルミラーサーバの数は世界で120余り．これのチェックをこれまでは，cdn.debian.netを動かしている3台のサーバ全てで別個に行っていた．これをGAEにやってもらうことにした．
ただ，問題なのは，GAEは処理を30秒以内に終わらせなければならないこと．これは20秒ずつ分けて行うことで対応した．しかし，個別のミラーサーバの反応を待つ間の時間もCPU時間としてカウントの対象になってしまう問題が残っている．
Threadで並列でチェックするようなコードにしても並列してくれないようだ．何かいい方法があるんだろうなきっと．

次にやることは，ミラーリストの更新者を増やす仕組み．
これまでDebianのフルミラーリストの管理は基本的に自分と@kmutoによって行っていた．
これをGAEにすることで，各国のDebian貢献者にやってもらうインセンティブを高めたいと思う．

たとえば /json/alive/KOR で韓国の生きてるミラーリストがGETできて，メンテすると，すぐにkr.cdn.debian.netに反映されるとしたらやる気でますよね．結果としてcdn.debian.netも幸せになればいいなというかんじで．

というわけで，ミラーリストの更新者はいつでも募集しております．

DDなら即刻ok．DDじゃない場合は私とkmutoによる審査をいたします．