a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 學院 > 操作系統 > 正文

Hadoop+Hbase+ZooKeeper集群安裝方法

2024-06-28 16:02:30
字體:
來源:轉載
供稿:網友
Hadoop+Hbase+ZooKeeper集群安裝方法
1、 主機配置如下:(添加到/etc/hosts文件里面)192.168.0.211 master #(用于集群主機提供hmaster namenode jobtasker服務 ) 192.168.0.212 s1 #(用于集群叢機提供regionsrever datanode tasktacuter服務) 192.168.0.213 s22、安裝jdk1.6.2.X3、添加java環境變量(/etc/PRofile),后執行source /etc/profile ,使環境變量立即生效export JAVA_HOME=/usr/java/jdk1.6.0_26/ #java 的目錄export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin export HADOOP_HOME=/home/hadoop/hadoop export HBASE_HOME=/home/hadoop/hbase PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin4、在三臺電腦上添加hadoop用戶useradd hadoop5、在/home/hadoop/.bashrc添加變量(將hadoop hbase的配置文件放到hadoop安裝包根目錄文件下,目的在于以后升級hadoop和hbase的時候不用重新導入配置文件)export HADOOP_CONF_DIR=/home/hadoop/hadoop-config export HBASE_CONF_DIR=/home/hadoop/hbase-config6、將hadoop hbase zookepper的安裝包解壓到/home/hadoop/下,并重命名為hadoop hbase zookepper,在home/hadoop/下建立hadoop-config和hbase-config文件夾,并且將home/hadoop/hadoop/conf下的masters、slaves、core-site、mapred-sit、hdfs-site、hadoop-env拷貝到此文件夾,將home/hadoop/hbase/conf下的hbase-site和hbase-env.sh拷貝到次文件夾。7、修改masters、slaves文件:分別為 master 和s1與s28、修改hadoop-env.sh的變量:export JAVA_HOME=/usr/java/jdk1.6.0_26/ export HADOOP_PID_DIR=/home/hadoop/hadoop/tmp9、修改core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> </configuration>修改mapred-site.xml<configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://master:9001/</value> </property> </configuration>修改`hdfs-site.xml(name和data文件夾不要手動建立)<configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hadoop/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hadoop/data/</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>10、設置master, s1, s2機幾臺器之間無密碼訪問:**11、復制目錄至集群叢機scp -r /home/hadoop/hadoop s1:/home/hadoopscp -r /home/hadoop/hadoop s2:/home/hadoop12、切換到/home/hadoop/hadoop目錄下執行bin/hadoop namenode -format(格式化master主機生成name data tmp等文件夾)13、啟動namenode執行bin/start-dfs.sh使用jps命令查看namenode、secondnamenode是否正常啟動:ie里面輸入http://master:50070 查看namenode的相關配置信息、運行狀態和日志文件14、啟動mapred執行bin/start-mapred.sh使用jps命令查看nomenode、secondnamenode是否正常啟動:ie里面輸入http://master:50030 查看jobtasker的相關配置信息、運行狀態和日志文件
hbase+zookeeper集群搭建:1、復制目錄修改文件
將/home/hadoop/hadoop/conf/目錄下的hbase-site.xml、regionserver和hbase-env.sh拷貝到/home/hadoop/hbase-config/目錄下;
編輯hbase-site.xml配置文件,如下:
<property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.master</name> <value>master</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>s1,s2</value> </property> <property> <name>zookeeper.session.timeout</name> <value>60000000</value> </property> <property> <name>hbase.zookeeper.property.clientport</name> <value>2222</value> </property>2、編輯regionserver文件
S1 S23、編輯hbase-env.xml文件
export JAVA_HOME=/usr/java/jdk1.6.0_26/ export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin export HADOOP_HOME=/home/hadoop/hadoop export HBASE_HOME=/home/hadoop/hbase export HBASE_MANAGES_ZK=true export PATH=$PATH:/home/hadoop/hbase/bin4、復制文件到集群叢機
scp -r /home/hadoop/hbase s1:/home/hadoop scp -r /home/hadoop/hbase s2:/home/hadoop5、進入/home/hadoop/zookeeper/conf/
(1)
cp zoo_sample.cfg zoo.cfg
(2)
vim zoo.cfg
如下:
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. dataDir=/home/hadoop/zookeeper/data # the port at which the clients will connect clientPort=2181 server.1=s1:2888:3888 server.2=s2:2888:3888
(3)
touch myid
*編輯:1(此序號設置和zoo.cfg里面的server設置要對應)
scp -r /home/hadoop/zookeeper s1:/home/hadoop scp -r /home/hadoop/zookeeper s2:/home/hadoop
(4)在所有的節點執行
chown -R hadoop.hadoop /home/hadoop
啟動hbase集群:
(1)/home/hadoop/hbase/bin/start-base.sh
(2)執行jps顯示Hmaster是否啟動
(3)執行bin/hbase shell
(4)
create 't1' t2'' 't3'#(測試利用hmaster插入數據) list #(顯示已經插入的數據) t1+t2+t3
輸入:http://master:60010
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 中文字幕在线看 | 91精品久久| 国产精品中文字幕在线观看 | 99国产精品久久久久久久 | 精品96久久久久久中文字幕无 | 免费99精品国产自在在线 | 国产一级一区二区 | 色噜噜色狠狠 | 国产三区精品 | 亚洲欧美中文日韩在线v日本 | 狠狠色丁香婷婷综合 | 午夜av免费 | 五月天婷婷激情视频 | 99av| 99亚洲国产精品 | 国产福利在线观看视频 | 国产福利在线视频 | 九九免费视频 | 中文字幕在线观看www | 久久在线视频 | 日本精品视频 | av在线天堂| 亚洲一区二区三区四区在线观看 | 日一区二区 | 欧美精品一二三区 | 国产精品欧美三级在线观看 | 亚洲成人一区 | 久久成人综合 | 成人亚洲视频 | 国产精品一品二区三区的使用体验 | 欧美二区在线观看 | 国产精品久久久 | 欧美精品久久久久久久久 | 国产www| 自拍偷拍第一页 | 台湾佬成人网 | 国产精品亲子伦av一区二区三区 | 九九精品视频在线观看 | h肉动漫无修一区二区无遮av | 日本高清精品 | 波多野结衣电影一区 |