YAPC::Asia 2009 2日目

前夜祭を含め、内容の濃い3日間でした。

スケールするウェブアプリケーションを20分で作る方法

RDB Shardingスケール時の問題、課題

• クエリーが複雑(特に書き込み)
• ノード間の一貫性
• 動的にノードを増やしたい

以下のツールで解決

• Incline
  • プログラムでの非正規化が不要、ユーザのShardだけに書き込めば、あとはよしなに処理してくれる
• Pacific
  • RangeベースのShardを動的にスケールさせることができる
• DBIx::ShardManager
• Mycached
  • MySQLへmemcachedプロトコルでアクセスできる

endeworksでのWebAppの作り方

特別なことはやっていないとのことで、WebAppの基本的な工程が理解できた。
WebAppの工程

• 開発
  • 開発サーバはなし
• テスト
  • Test::FITesque
• デプロイ
  • git (Subversionには戻れない)
• 設置
  • Apache + FCGI
    • FCGIのプロセスをdaemontoolsで管理

基本的には、Catalyst + Mooseで開発している。
CatalystのModelは使用しないで、APIモジュール(MyApp::API::*)を使っている。
Catalystベースのpixisフレームワークを開発、使用している。

大規模画像配信を支えるPerl

mixiでの画像配信の話、モバイルアクセスの伸びがスゴいらしい。
Image::Imlib2を使用して、画像のリアルタイム変換を行っている。

Perlbal Tutorial

簡単な設定でいろいろできそうなので、使ってみる。

• Perlbalとは
  • PerlベースのリバースProxyロードバランサとウェブサーバ
• インストール
  • cpan IO::AIO
  • cpan Perlbal
• 設定ファイル
  • /etc/perlbal/perlbal.conf
• 起動(daemon化)
  • perlbal --daemon
• Role
  • reverse Proxy
  • Web Server
  • Selecter
  • Upload_tracker
  • Management

Asynchronous Programming for (A)synchronous Communication

ペースが速く、難しい箇所もあったが、非常に面白いセッションでした。

• 非同期処理、並列化処理
  • イベント駆動型プログラミング(AnyEvent)
  • I/O多重化(Danga::Socket, Perlbal)
  • 継続(Coro)
• イベント駆動型WebAPI(リアルタイムWeb)
  • WebHooks
  • PubSubHubbub
• 非同期型アプリケーションサーバ
  • FCGI::Async
  • FCGI::EV

リアルタイムが必要な処理とそうでない処理の使い分けが重要になる。

Perl? Which Perl?

Perl 6のお勉強になりました。

• Perl 6では記号が少なくなる
• オブジェクト指向プログラミングの記述が簡単になる(Perl 5 + Mooseで少しは味わえる)
• Function Orientation(FO)
• 正規表現が速い

セッション資料を見て、復習したい。

はてなブックマークのシステムについて

(現状)

• サーバ構成
  • 基本はLAMPだが、用途によってサブシステム(全文検索 etc)を構築している
• サーバ台数
  • httpd: 20〜30
  • MySQL: 20〜30
  • その他: 70くらい

(各種機能の実現方法)

• 本文抽出機能
  • HTML::ExtractContent(CPAN)
    • HTMLから良い感じに本文を抽出
  • HTML::LayeredExtractor(not CPAN)
• 全文検索機能
  • 全登録文書からの検索
    • Sedue(PFI)
  • 自分のブックマークからの検索
    • 独自開発のPerl検索エンジン(転置インデックス)
  • 検索結果のスコアリング
    • 複数のヒューリスティクスで実現
• 関連エントリー機能
  • レコメンドエンジン BSim
    • PerlとはThriftでつなげている
• カテゴライズ機能
  • 独自開発の文書分類エンジン BDog
    • ベイジアンフィルタ

最近は、C++で書いたサブシステムをThriftでつなげる場合が多い。
TheSchwartzを多用している。

Lightning Talks

いろいろなトークがありましたが、やはり「これPla」ですかね。
id:miyagawaのCPAN realtime feedが便利そうだと思いました。

基調講演 (Why I Stick with Perl)

なぜ、Perlを使い続けるのか？
それは、Communityがあるから。
PerlのCommunityとCPANの良さを再確認しました。

まとめ

• 非同期処理、並列処理がブーム？
• そろそろ、Perl 6の準備が必要。
• 自分の勉強不足を痛感しました。でも、刺激になりました。

スタッフの皆さん、ありがとうございました。
参加された皆さん、お疲れ様でした。

http://conferences.yapcasia.org/ya2009/