Per kelias minutes gaukite „Hadoop-1.2.1“ sankaupą ir sukurkite „Hadoop-1.2.1“ grupę naudodami „Linux“

Get Hadoop 1 2 1 Cluster Minutes Build Hadoop 1



Gaukite „Hadoop-1.2.1“ grupę per kelias minutes

Sukurkite „Hadoop-1.2.1“ grupę „Linux“



Gaukite „Hadoop-1.2.1“ grupių serijas per 10 minučių (1) http://chwshuang.iteye.com/blog/2037102



Gaukite „Hadoop-1.2.1“ grupių seriją per 10 minučių (2) http://chwshuang.iteye.com/blog/2037530



Prieš sukurdami „Hadoop“ grupę, pasiruoškite ir pasiruoškite taip, kad per 10 minučių pamatytumėte klasterio aplinką.

1. Kurti aplinką (būtinos sąlygos)

Sistema: „CentOS6.4 64bit“



Programinės įrangos aplinka: JDK1.6.0_45 „Linux“ diegimas JDK, žr. Kitus tinklo straipsnius

Kiti: „sshd“ prisijungimo aplinka be slaptažodžio Žr. Šį straipsnį http://chwshuang.iteye.com/admin/blogs/2015040

Atsisiųskite programinės įrangos paketą:

hadoop-1.2.1.tar.gz parsisiuntimo nuoroda http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

zoologijos sargas-3.4.6.tar.gz parsisiuntimo nuoroda http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

hbase-0.94.17.tar.gz parsisiuntimo nuoroda http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.17/hbase-0.94.17.tar.gz

serverių sąrašas:

Pseudonimo serveris serverio adresas Serverio aprašymas
myhadoop1 192.168.1.111 Pagrindinis „NameNode“ serveris
myhadoop2 192.168.1.112 Iš Datanode serverio
myhadoop3 192.168.1.113 Iš Datanode serverio

Antra, statybos procesas

1. Pridėkite vartotoją - (Vykdyti kaip šakninį vartotoją kiekviename serveryje)

(1) Vykdykite komandą pridėti vartotoją

useradd -d / home / myhadoop -s / bin / bash -m myhadoop

(2) Norėdami nustatyti vartotojo „myhadoop“ slaptažodį, vykdykite šią komandą.

passwd myhadoop
(3) Du kartus pagal sistemos eilutę turite įvesti slaptažodį „1234QWER“, tada įveskite pagrindinį katalogą naudodami šią komandą

[root@xxxxx ~]# useradd -d /home/myhadoop -s /bin/bash -m myhadoop [root@xxxxx ~]# passwd myhadoop Changing password for user myhadoop. New password: BAD PASSWORD: it is too simplistic/systematic Retype new password: passwd: all authentication tokens updated successfully. [root@xxxxx ~]#

2. Pakeiskite pagrindinio kompiuterio pavadinimą- pagrindinio kompiuterio vardas Pridėti sankaupos serverio slapyvardžio IP ryšį - (Vykdyti kaip šakninį vartotoją kiekviename serveryje)

Yra trys vietos, kurias reikia modifikuoti. Jei pakeista tik pagrindinio kompiuterio komanda, ji vis tiek bus pakeista iš naujo paleidus kompiuterį. / etc / hosts pagrindinio failo, ši vieta yra pakeista DNS raiška, ir nepakanka tik ją modifikuoti. Vienu metu galima peržiūrėti tik tris vietas. Po modifikavimo Iš naujo paleiskite serverį

【1】 Pakeista pagrindinio kompiuterio pavadinimo instrukcijoje.

Įveskite kompiuterio pavadinimą tiesiogiai, kad pamatytumėte, ar pagrindinio kompiuterio vardas yra hadoopas, jei ne, įveskite „hostname myhadoop1“ ir įveskite „hostname“, kad patikrintumėte

[root@xxxxx ~]# hostname hadoop1 [root@xxxxx ~]# hostname myhadoop1 [root@xxxxx ~]# hostname myhadoop1 [root@xxxxx ~]#

【2】 Norėdami pakeisti pagrindinio kompiuterio pavadinimą tinklo konfigūracijoje, naudokite „vim / etc / sysconfig / network“, pakeiskite HOSTNAME = myhadoop1, jei jis yra 192.168.1.112, pakeiskite į HOSTNAME = myhadoop2

[root@xxxxx ~]# vim /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=myhadoop1

[3] Norėdami pakeisti vietinį pavadinimą pagrindiniame faile, naudokite „vim / etc / hosts“, o pavadinimą po 192.168.1.101 pakeiskite į myhadoop1. Ir taip toliau.

[root@xxxxx ~]# vim /etc/hosts 127.0.0.1 localhost 192.168.1.111 myhadoop1 192.168.1.112 myhadoop2 192.168.1.113 myhadoop3 #::1 localhost6.localdomain6 localhost6

4 iš naujo paleiskite serverį

Prisijungę kaip root vartotojas, įveskite reboot

3. Diegimas

Prieš diegdami turite sukonfigūruoti. Konfigūruojant reikia sukonfigūruoti tik 111 serverį. Baigę konfigūruoti, nukopijuokite 111 sukonfigūruotą „Hadoop“ katalogą į kitus serverius.

[1] Išpakuokite ir sukonfigūruokite diegimo paketą- (prisijunkite prie serverio su ką tik sukurtu „myhadoop“ vartotoju)

(1) atsisiųsti wget

/ Home / myhadoop kataloge įveskite šią komandą atsisiųsti:

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

wget http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.17/hbase-0.94.17.tar.gz

(2) Jei pastebite, kad pirmasis metodas yra labai lėtas, galite naudoti kitus metodus atsisiųsti ir tada įkelti į serverį

Nukopijuokite hadoop-1.2.1.tar.gz, zookeeper-3.4.6.tar.gz, hbase-0.94.17.tar.gz diegimo paketus į / home / myhadoop katalogą

(3) Leidimas

Jei atsisiuntėte šakninis vartotojas, turite naudoti šį metodą, kad galėtumėte autorizuoti

[root @ myhadoop1 myhadoop] # ll --- First check the permissions of the file just downloaded total 136864 -rw-rw--w-. 1 root root 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz -rw-rw--w-. 1 root root 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz -rw-rw--w-. 1 root root 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root @ myhadoop1 myhadoop] # chown myhadoop.myhadoop * --- Set the owner and group of the file to myhadoop [root@xxxxx myhadoop]# ll total 136864 -rw-rw--w-. 1 myhadoop myhadoop 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz -rw-rw--w-. 1 myhadoop myhadoop 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz -rw-rw--w-. 1 myhadoop myhadoop 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root @ myhadoop1 myhadoop] # chmod 775 * --- Open the file read, write and execute permissions [root@xxxxx myhadoop]# ll total 136864 -rwxrwxr-x. 1 myhadoop myhadoop 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz -rwxrwxr-x. 1 myhadoop myhadoop 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz -rwxrwxr-x. 1 myhadoop myhadoop 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root@xxxxx myhadoop]#

(4) Prisijunkite kaip „myhadoop“ vartotojas ir išspauskite suspaustą paketą

[root @ myhadoop1 myhadoop] # su myhadoop-root user switched to myhadoop user [root@xxxxx ~]$ ls hadoop-1.2.1.tar.gz hbase-0.94.17.tar.gz zookeeper-3.4.6.tar.gz [myhadoop @ myhadoop1 ~] $ tar -xzf hadoop-1.2.1.tar.gz --- unzip [root@xxxxx ~]$ tar -xzf hbase-0.94.17.tar.gz [root@xxxxx ~]$ tar -xzf zookeeper-3.4.6.tar.gz [root@xxxxx ~]$ ll total 136876 drwxr-xr-x. 15 myhadoop myhadoop 4096 Jul 23 2013 hadoop-1.2.1 -rwxrwxr-x. 1 myhadoop myhadoop 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz drwxr-xr-x. 10 myhadoop myhadoop 4096 Feb 19 07:42 hbase-0.94.17 -rwxrwxr-x. 1 myhadoop myhadoop 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz drwxr-xr-x. 10 myhadoop myhadoop 4096 Feb 20 18:58 zookeeper-3.4.6 -rwxrwxr-x. 1 myhadoop myhadoop 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root@xxxxx ~]$

(5) Nustatykite aplinkos kintamuosius - nustatykite kaip root vartotoją

[myhadoop @ myhadoop1 ~] $ exit --- If the root user logs in to the myhadoop user, log out directly to the root user exit [root @ myhadoop1 myhadoop] # vim / etc / profile --- environment profile to be modified ## -------------------JAVA HADOOP PATH------------------------## JAVA_HOME=/usr/java/jdk1.6.0_45 HADOOP_HOME=/home/myhadoop/hadoop-1.2.1 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME PATH HADOOP_HOME export HADOOP_HOME_WARN_SUPPRESS = 1 --- This configuration is used to solve the Hadoop startup warning ##----------------------- hbase ------------------------------## export HBASE_HOME=/home/myhadoop/hbase-0.94.17 export PATH=$PATH:$HBASE_HOME/bin ##------------------------ zookeeper -------------------------## ZK_HOME=/home/myhadoop/zookeeper-3.4.6 PATH=$ZK_HOME/bin:$PATH export PATH ZK_HOME [root @ myhadoop1 myhadoop] # source / etc / profile --- let the configuration take effect immediately

【2】 Įdiekite hadoop

Reikia konfigūruoti hadoop-env.sh, core-site.xml

(1) Konfigūracija - modifikuokite paleisties failą hadoop-1.2.1 / conf / hadoop-env.sh

[root @ myhadoop1 myhadoop] # su myhadoop --- configured as user myhadoop [root@xxxxx ~]$ ls hadoop-1.2.1 hadoop-1.2.1.tar.gz hbase-0.94.17 hbase-0.94.17.tar.gz zookeeper-3.4.6 zookeeper-3.4.6.tar.gz [root@xxxxx ~]$ vim hadoop-1.2.1/conf/hadoop-env.sh # The java implementation to use. Required. export JAVA_HOME=/usr/java/jdk1.6.0_45

(2) Konfigūruokite pagrindinį konfigūracijos failą hadoop-1.2.1 / conf / core-site.xml

[root@xxxxx ~]$ vim hadoop-1.2.1/conf/core-site.xml fs.default.name hdfs://192.168.1.111:9000

(3) Pakeiskite hdfs konfigūracijos failą hadoop-1.2.1 / conf / hdfs-site.xml

[root@xxxxx ~]$ vim hadoop-1.2.1/conf/hdfs-site.xml dfs.replication 3

(4) Konfigūruokite užduočių planavimo paslaugos konfigūraciją hadoop-1.2.1 / conf / mapred-site.xml

[root@xxxxx ~]$ vim hadoop-1.2.1/conf/mapred-site.xml mapred.job.tracker 192.168.1.111:9001

(5) Konfigūruokite pagrindinio serverio adresą hadoop-1.2.1 / conf / masters

[root@xxxxx ~]$ vim hadoop-1.2.1/conf/masters 192.168.1.111

(6) Konfigūruokite vergo serverio adresą hadoop-1.2.1 / conf / slaves

[root@xxxxx ~]$ vim hadoop-1.2.1/conf/slaves 192.168.1.111 192.168.1.112 192.168.1.113

(7) Formatuokite mazgo serverį. Pastaba: Jei vykdymo metu pasirodo pranešimas KLAIDA, jis turi būti išspręstas ir suformatuotas iš naujo

[myhadoop @ myhadoop1 ~] $ cd hadoop-1.2.1 / bin / --- enter the bin execution file directory [myhadoop @ myhadoop1 bin] $ hadoop namenode -format --- execute node format 14/03/27 10:46:39 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = myhadoop1/192.168.1.111 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.1 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152 compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013 STARTUP_MSG: java = 1.6.0_45 ************************************************************/ 14/03/27 10:46:39 INFO util.GSet: Computing capacity for map BlocksMap 14/03/27 10:46:39 INFO util.GSet: VM type = 64-bit 14/03/27 10:46:39 INFO util.GSet: 2.0% max memory = 1013645312 14/03/27 10:46:39 INFO util.GSet: capacity = 2^21 = 2097152 entries 14/03/27 10:46:39 INFO util.GSet: recommended=2097152, actual=2097152 14/03/27 10:46:40 INFO namenode.FSNamesystem: fsOwner=myhadoop 14/03/27 10:46:40 INFO namenode.FSNamesystem: supergroup=supergroup 14/03/27 10:46:40 INFO namenode.FSNamesystem: isPermissionEnabled=true 14/03/27 10:46:40 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 14/03/27 10:46:40 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 14/03/27 10:46:40 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0 14/03/27 10:46:40 INFO namenode.NameNode: Caching file names occuring more than 10 times 14/03/27 10:46:41 INFO common.Storage: Image file /tmp/hadoop-myhadoop/dfs/name/current/fsimage of size 114 bytes saved in 0 seconds. 14/03/27 10:46:41 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/tmp/hadoop-myhadoop/dfs/name/current/edits 14/03/27 10:46:41 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/tmp/hadoop-myhadoop/dfs/name/current/edits 14/03/27 10:46:41 INFO common.Storage: Storage directory /tmp/hadoop-myhadoop/dfs/name has been successfully formatted. 14/03/27 10:46:41 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at myhadoop1/192.168.1.111 ************************************************************/ [root@xxxxx bin]$

(8) Nukopijuokite hadoop-1.2.1 į kitus serverius

[myhadoop @ myhadoop1 ~] $ cd ~ --- Enter the main directory of myhadoop Enter the following command to copy [root@xxxxx ~]$ scp -r hadoop-1.2.1 root@xxxxx:~ [root@xxxxx ~]$ scp -r hadoop-1.2.1 root@xxxxx:~

Kopijavimo metu slaptažodžio nereikia. Jei būsite paraginti įvesti slaptažodį, prisijungimas be slaptažodžio neturėtų būti nustatytas.

(9) Grupės paleidimas ir sustabdymas Pagrindiniame serveryje įveskite: start-all.sh, kad paleistumėte grupę, įveskite jps, kad pamatytumėte pradėtą ​​paslaugą

[root@xxxxx ~]$ start-all.sh starting namenode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-namenode-myhadoop1.out 192.168.1.112: starting datanode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-datanode-myhadoop2.out 192.168.1.113: starting datanode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-datanode-myhadoop3.out 192.168.1.111: starting datanode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-datanode-myhadoop1.out 192.168.1.111: starting secondarynamenode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-secondarynamenode-myhadoop1.out starting jobtracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-jobtracker-myhadoop1.out 192.168.1.112: starting tasktracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-tasktracker-myhadoop2.out 192.168.1.113: starting tasktracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-tasktracker-myhadoop3.out 192.168.1.111: starting tasktracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-tasktracker-myhadoop1.out [root@xxxxx ~]$ jps 3749 DataNode 3629 NameNode 3972 JobTracker 4102 TaskTracker 4149 Jps 3872 SecondaryNameNode [root@xxxxx ~]$

Įveskite iš serverio: jps gali matyti, kad mazgo paslauga ir užduočių planavimo paslauga buvo paleista

[root@xxxxx ~]$ jps 3690 Jps 3607 TaskTracker 3502 DataNode [root@xxxxx ~]$

Pagrindiniame serveryje įveskite stop-all.sh, kad išjungtumėte visą klasterį

[root@xxxxx ~]$ stop-all.sh stopping jobtracker 192.168.1.112: stopping tasktracker 192.168.1.111: stopping tasktracker 192.168.1.113: stopping tasktracker stopping namenode 192.168.1.112: stopping datanode 192.168.1.111: stopping datanode 192.168.1.113: stopping datanode 192.168.1.111: stopping secondarynamenode [root@xxxxx ~]$

(10) Žiūrėti

Žiūrėti per naršyklę: http://192.168.1.111:50070/ Peržiūrėkite hadoopo veikimo būseną



Jei kai kurių adresų nematyti, tai turėtų sukelti pagrindinio kompiuterio failas, esantis „Windows“, nėra sukonfigūruotas pagrindinio kompiuterio IP ir pagrindinio kompiuterio vardo atvaizdavimui. Pvz., „Windows 7“ pakeiskite failą C: Windows System32 drivers etc hosts ir pridėkite pagrindinio kompiuterio pavadinimą ir IP žemėlapį

192.168.1.111 hadoop1
192.168.1.112 hadoop2
192.168.1.113 hadoop3