読者です 読者をやめる 読者になる 読者になる

Tech Blog

Information Technology / Machine Learning / Data Analysis / Big Data / System Integration

HueでHadoopをWeb UIから使う

Hadoop Hue

Hue とは

Hadoopは基本的にコマンドラインやJavaから操作する。そのため、初心者にはハードルが少々高い。

実は、オープンソースのWeb UIがApacheで開発されている。Web UIを用いることで、操作が単純になり、学習コストも低減される。

今回は、そのHueをインストールして使ってみる。

f:id:tkdmah:20130615002133p:plain

Hueのインストール

0. Hadoop環境を構築する。

カンタンにHadoop環境を試用するには、Cloudera社が提供しているVMイメージを用いるよい。ClouderaのダウンロードページからVMをダウンロードし、VMWare Playerで立ち上げれば、すでにHadoop環境が整っている。詳細は下記のエントリを参照のこと。

今回の環境

  • CentOS 6.2 64bit
  • Hadoop 2.0.0-cdh4.1.1

1. Gitをインストールする。

HueはGithubで公開するため、Gitをインストールしておく必要がある。

$ yum -y install git-core

2. Hueのリポジトリを複製する。

GitからHueのクローンを作成する。

$ cd /usr/lib
$ git clone http://github.com/cloudera/hue.git

3. Mavenをインストールする。

下記からMevenをダウンロードする。

ダウンロードしたファイルを解凍し、パスを通しておく。

$ mkdir /usr/local/apache-maven
$ mv /tmp/apache-maven-3.0.5-bin.tar.gz /usr/local/apache-maven/
$ cd /usr/local/apache-maven
$ tar zxvf /usr/local/apache-maven/apache-maven-3.0.5-bin.tar.gz
$ export M2_HOME=/usr/local/apache-maven/apache-maven-3.0.5
$ export M2=$M2_HOME/bin
$ export PATH=$M2:$PATH
$ mvn --version

4. その他必要なツールをインストールする。

$ yum -y install ant
$ yum -y install asciidoc
$ yum -y install cyrus-sasl-devel
$ yum -y install cyrus-sasl-gssapi
$ yum -y install gcc
$ yum -y install gcc-c++
$ yum -y install krb5-devel
$ yum -y install libtidy
$ yum -y install libxml2-devel
$ yum -y install libxslt-devel
$ yum -y install mysql
$ yum -y install mysql-devel
$ yum -y install openldap-devel
$ yum -y install python-devel
$ yum -y install python-simplejson
$ yum -y install sqlite-devel

5. Hueをインストールする。

$ cd /usr/lib/hue
$ make apps
$ build/env/bin/hue runserver

※ 番外編

JavaはOpenJDKではなくOracleJDKでないとうまく動かない。$JAVA_HOMEがOpenJDKに設定されている場合は、設定を変更する必要がある。ちなみにこれらは.bash_profileに書いておくとシェル起動時に自動的に読み込まれるので便利。

$ export JAVA_HOME=/usr/java/default
$ export PATH=$JAVA_HOME/bin:$PATH

Hueを使ってみる

ホームページ

f:id:tkdmah:20130615003518p:plain

Hive

f:id:tkdmah:20130615003529p:plain

ファイルブラウザ

f:id:tkdmah:20130615005501p:plain

Hueってあまり聞かないけど、なかなか便利そうだ。(インストールはとても面倒だが。)


(以下追記)
今回はApache Hueをインストールしましたが、CDHであれば

$ yum install hue hue-server
$ yum install hue-plugins

のようにyumでインストールできるようです。なるほど便利ですね^^情報ありがとうございます。

参考: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_15_3.html