Cloudera Distribution for Hadoop (Fully Distributed)のインストール(補足)

設定パラメータ

• /etc/hadoop-0.20/conf.my_cluster/core-site.xml
  • fs.default.name ->Name Nodeを指定
  • hadoop.tmp.dir ->一時保存領域指定のためのベースディレクトリ
• /etc/hadoop-0.20/conf.my_cluster/hdfs-site.xml
  • dfs.replication ->ファイルのレプリケーション数
  • dfs.permissions ->あまり良く分かってません＞＜ このパラメータをコメントアウトしたら、一般ユーザでのHDFSへのファイル作成ができませんでした
  • dfs.name.dir ->Name Node格納ディレクトリ(ローカルファイルシステム上)
  • dfs.data.dir ->Data Node格納ディレクトリ(ローカルファイルシステム上)
• /etc/hadoop-0.20/conf.my_cluster/mapred-site.xml
  • mapred.job.tracker ->Job Trackerを指定
  • mapred.system.dir ->MapReduceフレームワークがジョブ実行のために使用するシステムファイルを格納するディレクトリ。(HDFS上である必要がある)

その他、パラメータについては、以下を参照のこと。
http://hadoop.apache.org/common/docs/current/cluster_setup.html#Configuration
Hadoop Default(少し古い)

Hadoopコマンドのalias設定

HDFSは、通常のファイルシステムのようにシームレスに使用するのではなく、hadoopコマンドを使ってHDFS上のファイルを操作します。
以下のようなaliasを設定しておくと便利です。

##
# ~/.bashrc
##
alias dfsls='/usr/bin/hadoop dfs -ls'       # lsコマンド
alias dfsrm='/usr/bin/hadoop dfs -rm'       # rmコマンド
alias dfscat='/usr/bin/hadoop dfs -cat'     # catコマンド
alias dfsrmr='/usr/bin/hadoop dfs -rmr'     # rm -rコマンド
alias dfsmkdir='/usr/bin/hadoop dfs -mkdir' # mkdirコマンド
alias dfsput='/usr/bin/hadoop dfs -copyFromLocal'     # HDFSへファイルを転送
alias dfsget='/usr/bin/hadoop dfs -copyToLocal'       # HDFSからファイル取得