http://www.cloudera.com/desktop HadoopのWeb GUIツールCloudera Desktopをインストールした。 構成は以下の通り。 Node-1 Host Name: dev01 OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64) Service: Name Node, Job Tracker, Secondary Name Node Node-2 Host …

設定パラメータ /etc/hadoop-0.20/conf.my_cluster/core-site.xml fs.default.name ->Name Nodeを指定 hadoop.tmp.dir ->一時保存領域指定のためのベースディレクトリ /etc/hadoop-0.20/conf.my_cluster/hdfs-site.xml dfs.replication ->ファイルのレプリケ…

Clouderaパッケージを使って、完全分散モードでノード3台へインストール。 基本的には、この手順でインストール可能。 構成は以下の通り。 Node-1 Host Name: dev01 OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64) Service: Name Node, Job Tracker, Secondary N…

Hadoop Conference Japan 2009に参加してきました。 米国や日本での利用実績などが分かり、参考になりました。 日本ではまだトライアルでの運用といった感じですが、はてな・楽天などのWebサービス、SIerでも利用されており、今後様々なシステムで使われてい…