8t's BBR

よくつまったあれこれをメモ

CDHをアンインストールせずに、別のHadoopを使いたい

以前の記事でも話したが、研究室のサーバーを借りてHadoopクラスタを組みなおした。
ようやくセッティング終わったーとか喜んだのもつかの間、確認のために

$ hadoop version

とやってみると、設定しているHadoopのバージョンと違う・・・


どうやら以前Hadoopを研究で扱っていた先輩のCDHが残っているようでした。


CDHでは、/usr/bin以下にHadoopの各種コマンドが設定されるので、こちらを参照してしまっています。

昔の記事
Hadoopクラスタ構築への道 ~疑似分散編~ - 8t's BBR
では、/etc/profile

export PATH=$PATH:$HADOOP_HOME/bin

を設定していましたが、exportする前の$PATHには/usr/binのパスがあるので、読み込まれる順番的にCDHの方が優先されており、せっかくのパスの設定が全く意味を成してない。


やはりCDHは嫌いだとぼやきながらCDHをアンインストールする方法をググり、めんどくさいことがわかって絶望したところで教授から一言
「$PATHの前にexportすれば?」


その通りすぎました。

早速、

export PATH=$HADOOP_HOME/bin:$PATH

と変更して無事解決。


これで最早レガシーとなったCDHと自分で設定したHadoopを共存させることができました。


別にHadoopだからっていう話ではない上、言われてみれば相当しょーもない話ですが、言われるまで全く気づかなかった反省を込めて負の遺産を残します。