8t's BBR

よくつまったあれこれをメモ

Hadoop

HiBenchを使ってみた

Build BenchMarkを実行 前準備 hadoop.confファイルの作成 hadoop.confの設定 ワークロードの実行 レポート その他 おまけ(HiBenchのワークロード) 数ヶ月ぶりの更新。 先々月、就活も無事終わりました。 ぼちぼち研究もやり始めていこうということで、今…

CDHをアンインストールせずに、別のHadoopを使いたい

以前の記事でも話したが、研究室のサーバーを借りてHadoopクラスタを組みなおした。 ようやくセッティング終わったーとか喜んだのもつかの間、確認のために $ hadoop versionとやってみると、設定しているHadoopのバージョンと違う・・・ どうやら以前Hadoop…

Hadoopがjava8対応しそうな件

ついにHadoopがjava8の対応をしてくれそうってだけのエントリー。 参照: Hadoop – Apache Hadoop 3.0.0-alpha18月末頃にHadoop3.0.0-alpha1が公開されたようです。 Hadoop-2.x系を使っていた身からするとついに来たかって感じで、3系の本リリースを待ってい…

sshで公開鍵を登録したのにsshできない

今年もポッキーの日がきましたね。 熱いカップルさんのキスを見ないように、ひきこもるのが一番だと思います。 ・・・とまぁそれはさておき、 最近、新たにHadoopクラスタを組みなおすことになりました。そんな訳でご新規なサーバーさんと仲良くしようと自己…

HDFSの操作でよく使うコマンドとか

以前、Hadoopでサンプルアプリケーションを動かすまでは記事にしたが、 Hadoopクラスタ構築への道 ~疑似分散編~ - 8t's BBR Hadoopクラスタ構成への道 ~完全分散編~ - 8t's BBR今回はHDFSの操作でよく使うコマンドをまとめておこうかと思う 詳しい内容や…

Hadoopクラスタ構成への道 ~完全分散編~

※疑似分散までは前記事を参照 Hadoopクラスタ構築への道 ~疑似分散編~ - 8t's BBR ※前記事の続きという形で 準備 まずはHadoopクラスタを組みたいサーバーすべてにHadoopを入れます。 一つ一つ手作業でやってもいいですが、疑似分散までできているサーバー…

Hadoopクラスタ構築への道 ~疑似分散編~

※HadoopはCDHではなく、Apacheの公式ページからビルド ※完全分散は別記事。ここでは疑似分散まで 環境 OS: ubuntu14.04 user: ubuntu hadoop-2.7.2 Javaのインストール まずはjava7をダウンロード ※hadoop-2.7の時点ではjava8はまだ対応していない # リポジ…

複数の仮想マシンを互いにSSHで接続

Hadoopでの完全分散を行うにあたり、クラスタ構成をとりあえず実験的にすべて仮想マシンにしてみた時の各仮想マシンのSSHの設定の仕方 環境 ubuntu 14.04 ネットワークに関する設定は一切していないと仮定 目標 SSHで互いのマシンにパスワードなしで接続 ま…