hadoop中入門配置知識點有哪些

這篇文章給大家分享的是有關(guān)hadoop中入門配置知識點有哪些的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)公司是專業(yè)的安達網(wǎng)站建設(shè)公司，安達接單;提供網(wǎng)站設(shè)計、成都網(wǎng)站設(shè)計,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行安達網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

環(huán)境

    本人使用的是 XUbuntu14.04 64位，在虛擬機下搭建的

• 安裝 JDK，配置環(huán)境變量

        配置 classpath，修改所有用戶的環(huán)境變量

sudo vim /etc/profile
#在文件最后添加 
#set java environment
export JAVA_HOME={path}
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
source/etc/profile  ##使環(huán)境變量生效

• 配置SSH無密碼嗎登陸

            在用戶根目錄創(chuàng)建隱藏文件夾 .ssh  (沒有的需要創(chuàng)建)

mkdir .ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

            驗證下 ssh ，

 shh localhost

• 安裝hadoop （我用的是2.7）

• 解壓文件夾

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目錄，可根據(jù)自己的喜好選擇放在哪

• 創(chuàng)建 hadooop 工作所需要的文件目錄

• 設(shè)置環(huán)境變量 （進入$HADOOP_HOME/etc/hadoop）

sudo vim /etc/profile
export HADOOP_HOME={path}
#path 后面繼續(xù)跟
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 配置文件

• 配置 hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路徑

• 配置 core-site.xml （關(guān)于Hadoop配置項的一點說明雖然只需要配置fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數(shù)，則默認使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統(tǒng)清理掉，導(dǎo)致必須重新執(zhí)行 format 才行。所以我們進行了設(shè)置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。shay為主機名，如果不知道自己的主機名可以 cat 一下 /etc/hostname）

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://shay:9000</value>
    </property>
</configuration>

• 配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
    <!-- 若有其他主機，則可以打開這個
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>shay:50090</value>
    </property>
    -->
</configuration>

• 配置 mapred-site.xml 

<configuration>
    <property>        
        <name>mapreduce.framework.name</name>
         <value>yarn</value>
    </property>
</configuration>

• 配置 yarn-site.xml

<configuration>
    <property>        
        <name>yarn.nodemanager.aux-services</name>        
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>shay</value>
    </property>
</configuration>

• 配置 yarn-env.sh

export JAVA_HOME=${JAVA_HOME}

• Hadoop 啟動

• 執(zhí)行 namenode 格式化

hdfs namenode -format

• 開啟守護進程

start-dfs.sh        # NameNode 和 DataNode 守護進程
start-yarn.sh       # ResourceManager 和 NodeManager 守護進程

• 驗證

jps

感謝各位的閱讀！關(guān)于“hadoop中入門配置知識點有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁名稱：hadoop中入門配置知識點有哪些
地址分享：http://m.kartarina.com/article6/pipiig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、、小程序開發(fā)、網(wǎng)站排名、服務(wù)器托管、網(wǎng)站維護

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)