読者です 読者をやめる 読者になる 読者になる

8t's BBR

よくつまったあれこれをメモ

CDHをアンインストールせずに、別のHadoopを使いたい

以前の記事でも話したが、研究室のサーバーを借りてHadoopクラスタを組みなおした。 ようやくセッティング終わったーとか喜んだのもつかの間、確認のために $ hadoop versionとやってみると、設定しているHadoopのバージョンと違う・・・ どうやら以前Hadoop…

Hadoopがjava8対応しそうな件

ついにHadoopがjava8の対応をしてくれそうってだけのエントリー。 参照: Hadoop – Apache Hadoop 3.0.0-alpha18月末頃にHadoop3.0.0-alpha1が公開されたようです。 Hadoop-2.x系を使っていた身からするとついに来たかって感じで、3系の本リリースを待ってい…

sshで公開鍵を登録したのにsshできない

今年もポッキーの日がきましたね。 熱いカップルさんのキスを見ないように、ひきこもるのが一番だと思います。 ・・・とまぁそれはさておき、 最近、新たにHadoopクラスタを組みなおすことになりました。そんな訳でご新規なサーバーさんと仲良くしようと自己…

HDFSの操作でよく使うコマンドとか

以前、Hadoopでサンプルアプリケーションを動かすまでは記事にしたが、 Hadoopクラスタ構築への道 ~疑似分散編~ - 8t's BBR Hadoopクラスタ構成への道 ~完全分散編~ - 8t's BBR今回はHDFSの操作でよく使うコマンドをまとめておこうかと思う 詳しい内容や…

Hadoopクラスタ構成への道 ~完全分散編~

※疑似分散までは前記事を参照 Hadoopクラスタ構築への道 ~疑似分散編~ - 8t's BBR ※前記事の続きという形で 準備 まずはHadoopクラスタを組みたいサーバーすべてにHadoopを入れます。 一つ一つ手作業でやってもいいですが、疑似分散までできているサーバー…

Hadoopクラスタ構築への道 ~疑似分散編~

※HadoopはCDHではなく、Apacheの公式ページからビルド ※完全分散は別記事。ここでは疑似分散まで 環境 OS: ubuntu14.04 user: ubuntu hadoop-2.7.2 Javaのインストール まずはjava7をダウンロード ※hadoop-2.7の時点ではjava8はまだ対応していない # リポジ…

複数の仮想マシンを互いにSSHで接続

Hadoopでの完全分散を行うにあたり、クラスタ構成をとりあえず実験的にすべて仮想マシンにしてみた時の各仮想マシンのSSHの設定の仕方 環境 ubuntu 14.04 ネットワークに関する設定は一切していないと仮定 目標 SSHで互いのマシンにパスワードなしで接続 ま…