建站
咨詢
售后
建站咨詢
新聞中心
1.環(huán)境說明
10年專注成都網站制作，企業(yè)網站設計，個人網站制作服務，為大家分享網站制作知識、方案，網站設計流程、步驟,成功服務上千家企業(yè)。為您提供網站建設,網站制作,網頁設計及定制高端網站建設服務,專注于企業(yè)網站設計,高端網頁制作,對PVC花箱等多個行業(yè)，擁有多年的網站維護經驗。
master 192.168.0.223 mesos-master
slave 192.168.0.225 mesos-salve
2.環(huán)境準備
關閉防火墻
關閉selinux
兩臺機器修改主機名master/slave
設置hosts，能互相解析
3.master和slave配置ssh互信
這里配置hadoop用戶雙機互信，因為hadoop用hadoop用戶啟動
master yum -y install sshpass ssh-keygen 一路回車 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220 slave yum -y install sshpass ssh-keygen 一路回車 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.201 測試ssh對方主機，不提示輸入密碼則OK
4.安裝JDK
tar zxvf jdk-8u65-linux-x64.tar.gz mv jdk1.8.0_65 /usr/jdk
4.1設置環(huán)境變量
export JAVA_HOME=/usr/jdk export JRE_HOME=/usr/jdk/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 執(zhí)行 source /etc/profile
4.2測試JDK
java -version #出現版本信息
5.安裝mesos主從，看其他博客
安裝完成，會在/usr/local/lib下生成一個libmesos.so文件
6.安裝和配置Hadoop
master和slave
tar zxvf hadoop-2.5.0-cdh6.4.8.tar.gz mv hadoop-2.5.0-cdh6.4.8 /usr/hadoop cd /usr/hadoop mkdir -p tmp cd /usr/hadoop/ mv bin bin-mapreduce2/ ln -s bin-mapreduce1 bin mv example example-mapreduce2 ln -s example-mapreduce1 example cd etc/ mv hadoop hadoop-mapreduce2 ln -s hadoop-mapreduce1 hadoop
7.添加hadoop環(huán)境變量
vim /etc/profile export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin source /etc/profile
8.獲取hadoop on mesos的jar包
yum -y install maven openjdk-7-jdk git git clone cd hadoop mvn package #獲取jar包,jar包會在target下
9.把獲取的jar包放到hadoop安裝目錄下
master和slave
cp hadoop/target/hadoop-mesos-0.1.0.jar /usr/hadoop/share/hadoop/common/lib/
10.配置hadoop on mesos
master和slave
vim /usr/hadoop/etc/hadoop/mapred.site.xmlmapred.job.tracker localhost:9001 mapred.jobtracker.taskScheduler org.apache.hadoop.mapred.MesosScheduler mapred.mesos.taskScheduler org.apache.hadoop.mapred.JobQueueTaskScheduler mapred.mesos.master zk://192.168.0.223 mapred.mesos.executor.uri hdfs://localhost:9000/hadoop-2.5.0-cdh6.2.0.tar.gz
11.給hadoop用戶權限
master和slave
chown -R hadoop:hadoop /usr/hadoop
12.在master上啟動jobtracker，連接mesos
su hadoop MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so hadoop jobtracker
13.測試
輸入 192.168.0.223:5050 看看框架里有沒有hadoop
----------------------------------------------------------------------------------------
二、搭建完HDFS，搭建hadoop on mesos
按照搭建hadoop文檔配置完HDFS，需要配置core-site.xml，hdfs-site.xml，mapred-site.xml
mv bin bin-mapreduce2 ln -s bin-mapreduce1 bin #不用移動hadoop，搭建hadoop on mesos 的時候直接在hadoop里修改
2.移動hdfs命令和start-dfs.sh
cd /usr/hadoop/bin-mapreduce2 cp hdfs /usr/hadoop/bin-mapreduce1 cd /usr/hadoop/sbin cp start-dfs.sh /sur/hadoop/bin-mapreduce1
3.搭建hadoop on mesos
修改mapred-site.xml配置文件
mapred.job.tracker localhost:9002 #改為9002 避免和hdfs-site.xml中的端口沖突mapred.jobtracker.taskScheduler org.apache.hadoop.mapred.MesosScheduler mapred.mesos.taskScheduler org.apache.hadoop.mapred.JobQueueTaskScheduler mapred.mesos.master zk://192.168.0.223 mapred.mesos.executor.uri hdfs://localhost:9000/hadoop-2.5.0-cdh6.2.0.tar.gz
4.格式化和啟動HDFS
hdfs namenode -foramt start-dfs.sh
5.啟動hadoop on mesos
su hadoop MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so hadoop jobtracker
網頁名稱：centos7安裝hadoop-cdh-2.5onmesos
瀏覽地址：http://m.biofuelwatch.net/article/ispcje.html
