Cloudera CDH 5.8 Quickstart VMで​予備の​開発環境を​作った​ときの​メモ

ダウンロード

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

現在は各種仮想環境用にイメージが用意されている．

• Virtual Box
• VMWare
• KVM
• Docker Container (Clusterdock)

今回は単一ノードでの検証用かつ Spark コード開発用に，VirtualBox の VM をダウンロードした． CDH5.8 の場合は，CentOS6.7 だった．

セットアップ

特になし．

Caveats

Static IP

Quickstart VM はデフォルトでは NAT インターフェースしか持たない． また，マシンの IP は固定されている．（10.0.2.15） 仮に NetworkManager で固定 IP を設定しても， /etc/hosts は上記のものに書き換えられてしまう．

Static IP を設定したかったので，以下のことを試した．

• どこで設定されているのか

  • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドが実行されている
  • which cloudera-quickstart-ip -> /usr/bin/cloudera-quickstart-ip
  • /usr/bin/cloudera-quickstart-ip
    • 第一引数に与えられた IP があればそれを使用する．
    • 引数なしの場合，eth0, eth1, eth2 の順に IP が付与されているものがあればそれを使う．
    • IP が決まれば，/etc/hosts を編集する．上記で IP が定まらなかった場合，127.0.0.1 を使う．
    • 単一ノードクラスタとするために，manager と worker は同一ノードである．上記で決定した IP を /var/lib/cloudera-quickstart/tutorial/js/config.js に反映する．

• どうすればよいか

  • VirtualBox で Bridge Network を追加し，VM 上で利用できるようにする．
    • CentOS6 なので，service NetworkManager stop chkconfig NetworkManager off をして，手動で設定してもいいかもしれない．
  • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドに引数として 設定した Static IP を与える．
  • reboot
  • 起動後，Cloudera Manager の Management Service の Status が "Reconfiguration Required" みたいな状態になっている場合は，反映して，（web コンソールからクラスタを）再起動