Cloudera Desktopのインストール

http://www.cloudera.com/desktop
HadoopのWeb GUIツールCloudera Desktopをインストールした。
構成は以下の通り。

• Node-1
  • Host Name: dev01
  • OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64)
  • Service: Name Node, Job Tracker, Secondary Name Node
• Node-2
  • Host Name: dev02
  • OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64)
  • Service: Data Node, Task Tracker
• Node-3
  • Host Name: dev03
  • OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64)
  • Service: Data Node, Task Tracker

基本的にこの手順でインストール可能。
インストールは、Node-1(dev01)のみ。

インストール

$ sudo aptitude install hadoop-0.20-conf-pseudo-desktop

基本的にコンフィグをインストールすれば、cloudera-desktop関連パッケージもインストールされる。
設定値が分かっていれば、"cloudera-desktop"と"cloudera-desktop-plugins"をインストールすれば良いと思う。

設定

独自クラスタ用の設定ファイルに追加した。

<!-- /etc/hadoop-0.20/conf.my_cluster/hdfs-site.xml -->
  <!-- Enable Cloudera Desktop Plugins -->
  <property>
    <name>dfs.namenode.plugins</name>
    <value>org.apache.hadoop.thriftfs.NamenodePlugin</value>
    <description>Comma-separated list of namenode plug-ins to be activated.
    </description>
  </property>
  <property>
    <name>dfs.datanode.plugins</name>
    <value>org.apache.hadoop.thriftfs.DatanodePlugin</value>
    <description>Comma-separated list of datanode plug-ins to be activated.
    </description>
  </property>
  <property>
    <name>dfs.thrift.address</name>
    <value>0.0.0.0:9090</value>
  </property>

<!-- /etc/hadoop-0.20/conf.my_cluster/mapred-site.xml -->
  <!-- Enable Cloudera Desktop plugins -->
  <property>
    <name>mapred.jobtracker.plugins</name>
    <value>org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin</value>
    <description>Comma-separated list of jobtracker plug-ins to be activated.
    </description>
  </property>

起動・確認

$ sudo /etc/init.d/cloudera-desktop start

ブラウザで、以下のURLにアクセス。

• http://dev01:50070/ ->HDFSの稼働状況
• http://dev01:50030/ ->MapReduceの稼働状況
• http://dev01:8088/ ->Cloudera Desktop(OSのアカウントでログイン可能)

適当にジョブを走らせて、Cloudera Desktopの"Job Browser"などを確認してみる。

http://www.cloudera.com/desktop