HBase instalēšana Ubuntu

Šajā apmācībā jūs uzzināsit,

Apache HBase instalēšanas režīmi

Apache HBase var instalēt trīs režīmos. Šo režīmu iezīmes ir minētas zemāk.

1) Standarta režīma instalēšana (nav atkarības no Hadoop sistēmas)

  • Šis ir HBase noklusējuma režīms
  • Tas darbojas pret vietējo failu sistēmu
  • Tas neizmanto Hadoop HDFS
  • Var palaist tikai HMaster dēmonu
  • Nav ieteicams ražošanas videi
  • Darbojas vienā JVM

2) Pseido-sadalītā režīma instalācija (viena mezgla Hadoop sistēma + HBase instalācija)

  • Tas darbojas ar Hadoop HDFS
  • Visi dēmoni darbojas vienā mezglā
  • Ieteicams ražošanas videi

3) Pilnībā sadalīta režīma instalācija (MultinodeHadoop vide + HBase instalācija)

  • Tas darbojas ar Hadoop HDFS
  • Visi dēmoni skries pāri visiem klasterī esošajiem mezgliem
  • Ļoti ieteicams ražošanas vidē

Hadoop instalēšanai skatiet šo URL Šeit

Kā lejupielādēt stabilu Hbase tar faila versiju

1. darbība) Dodieties uz saiti šeit lai lejupielādētu HBase. Tas atvērs tīmekļa lapu, kā parādīts zemāk.

2. darbība) Izvēlieties stabilu versiju, kā parādīts 1.1.2 versijā

3. darbība) Noklikšķiniet uz hbase-1.1.2-bin.tar.gz. Tas lejupielādēs darvas failu. Kopējiet darvas failu instalācijas vietā.

Hbase - atsevišķa režīma instalēšana:

Instalēšana tiek veikta Ubuntu ar jau instalētu Hadoop.

1. darbība) Ievietojiet hbase-1.1.2-bin.tar.gz mapē /home /hduser

2. darbība) Izsaiņojiet to, izpildot komandu $ tar -xvf hbase-1.1.2-bin.tar.gz . Tas izpakos saturu un izveidos hbase-1.1.2 vietā /home /hduser

3. darbība) Atveriet vietni hbase-env.sh, kā norādīts zemāk, un norādiet atrašanās vietu JAVA_HOME.

4. darbība) Atveriet failu ~/.bashrc un pieminiet HBASE_HOME ceļu, kā parādīts zemāk

eksportēt HBASE_HOME =/home/hduser/hbase-1.1.1 eksportēt PATH = $ PATH: $ HBASE_HOME/bin

5. darbība) Atveriet hbase-site.xml un ievietojiet failā šādus rekvizītus

hduser@ubuntu $ gedit hbase-site.xml (kods kā norādīts zemāk) | _+_ |

Šeit mēs ievietojam divus īpašumus

  • Viens HBase saknes direktorijam un
  • Otrais datu katalogs atbilst ZooKeeper.

Visas HMaster un ZooKeeper aktivitātes norāda uz šo hbase-site.xml.

6. darbība) Atveriet saimniekdatora failu, kas atrodas mapē /etc. atrašanās vietu un minēt IP, kā parādīts zemāk.

7. darbība) Tagad palaidiet Start-hbase.sh hbase-1.1.1/bin vietā, kā parādīts zemāk.

Un mēs varam pārbaudīt ar jps komandu, lai redzētu, vai HMaster darbojas vai nē.

8. solis) HBase apvalks var sākties, izmantojot “hbase shell”, un tas nonāks interaktīvā apvalka režīmā, kā parādīts zemāk esošajā ekrānuzņēmumā. Kad tas nonāk čaulas režīmā, mēs varam izpildīt visu veidu komandas.

Patstāvīgais režīms neprasa Hadoop dēmonu palaišanu. HBase var darboties neatkarīgi.

Hbase - pseido izplatītais instalācijas režīms:

Šī ir vēl viena metode Apache Hbase instalēšanai, kas pazīstama kā pseido izplatītais instalācijas režīms. Tālāk ir norādītas darbības, kā instalēt HBase, izmantojot šo metodi.

1. darbība) Ievietojiet hbase-1.1.2-bin.tar.gz mapē /home /hduser

2. darbība) Izsaiņojiet to, izpildot komandu $ tar -xvf hbase-1.1.2-bin.tar.gz . Tas izpakos saturu un izveidos hbase-1.1.2 vietā /home /hduser

3. darbība) Atveriet hbase-env.sh, kā norādīts zemāk, un miniet JAVA_HOME ceļu un reģiona serveru ceļu atrašanās vietā un eksportējiet komandu, kā parādīts

4. darbība) Šajā solī mēs atvērsim failu ~/.bashrc un pieminēsim ceļu HBASE_HOME, kā parādīts ekrānuzņēmumā.

5. darbība) Atveriet HBase-site.xml un failā miniet tālāk norādītos rekvizītus. (Kods kā norādīts zemāk)

 hbase.rootdir file:///home/hduser/HBASE/hbase hbase.zookeeper.property.dataDir /home/hduser/HBASE/zookeeper 

  1. Šajā rekvizītā tiek iestatīta Hbase saknes direktorija
  2. Izplatītai iestatīšanai mums ir jāiestata šis rekvizīts
  3. Šeit ir jāizveido ZooKeeper kvoruma īpašums
  4. Šajā īpašumā ir veikta replikācijas iestatīšana. Pēc noklusējuma mēs ievietojam replikāciju kā 1.

    Pilnībā sadalītā režīmā ir vairāki datu mezgli, lai mēs varētu palielināt replikāciju, ievietojot rekvizītā dfs.replication vairāk nekā 1 vērtību

  5. Šajā īpašumā ir jānorāda klienta osta
  6. Šajā īpašumā var minēt ZooKeeper datu direktoriju

6. darbība) Vispirms palaidiet Hadoop dēmonus un pēc tam palaidiet HBase dēmonus, kā parādīts zemāk

Šeit vispirms ir jāsāk Hadoop dēmoni, izmantojot './start-all.sh' komandu, kā parādīts zemāk.

Pēc Hbase dēmonu palaišanas, izmantojot hbase-start.sh

Tagad pārbaudiet jps

Hbase - pilnībā sadalīta režīma instalēšana: -

  • Šī iestatīšana darbosies Hadoop klasteru režīmā, kur vairāki mezgli nārsto pāri klasterim un darbojas.
  • Instalēšana ir tāda pati kā pseido izplatītais režīms; vienīgā atšķirība ir tā, ka tas nārsto vairākos mezglos.
  • Konfigurācijas faili, kas minēti HBase-site.xml un hbase-env.sh, ir tādi paši kā minēti pseido režīmā.

HBase instalēšanas problēmu novēršana

1) Problēmas izklāsts: Galvenais serveris inicializē, bet reģiona serveri neinicializē

Komunikācija starp galveno un reģiona serveriem, izmantojot to IP adreses. Tāpat kā tas, kā meistars klausās, ka reģiona serveri darbojas vai IP adrese ir 127.0.0.1. IP adrese 127.0.0.1, kas ir vietējais resursdators un tiek atrisināta ar galvenā servera vietējo resursdatoru.

Iemesls:

Dubultā saziņā starp reģiona serveriem un galveno, reģiona serveris nepārtraukti informē galveno serveri par to IP adresēm 127.0.0.1.

Risinājums:

  • Jānoņem galvenā servera nosaukuma mezgls no vietējā resursdatora, kas atrodas saimniekdatora failā
  • Saimnieka faila atrašanās vieta /etc /hosts

Ko mainīt:

Atveriet /etc./hosts un dodieties uz šo vietu | _+_ |

Mainiet iepriekš minēto konfigurāciju, kā norādīts zemāk (noņemiet reģiona servera nosaukumu, kā norādīts iepriekš) | _+_ |

2) Problēmas izklāsts: Nevarēju atrast manu adresi: XYZ Zookeeper kvoruma serveru sarakstā

Iemesls:

  • ZooKeeper serveri nevarēja palaist, un tas servera nosaukumā iemetīs tādu kļūdu kā .xyz.
  • HBase mēģina sākt ZooKeeper serveri kādā mašīnā, bet tajā pašā laikā iekārta nespēj atrast sev kvoruma konfigurāciju, t.i. HBase.zookeeper.quorum konfigurācijas fails.

Risinājums:-

  • Resursdatora nosaukums ir jāaizstāj ar resursdatora nosaukumu, kas parādīts kļūdas ziņojumā
  • Pieņemsim, ka mums ir DNS serveris, tad mēs varam iestatīt tālāk norādītās konfigurācijas vietnē HBase-site.xml.
    • HBase.zookeeper.dns.interface
    • HBase.zookeeper.dns.nameserver

3) Problēmas izklāsts: Izveidoja sakņu direktoriju HBase, izmantojot Hadoop DFS

  • Meistars saka, ka jums jāpalaiž HBase migrācijas skripts.
  • Palaižot to , HBase migrācijas skripts atbild kā neviens fails saknes direktorijā .

Iemesls:

  • Jauna HBase direktorija izveide, izmantojot Hadoop Distributed failu sistēmu
  • Šeit HBase sagaida divas iespējas

1) Saknes direktorija neeksistē

2) HBase iepriekšējā darbības instance tika inicializēta iepriekš

Risinājums:

  • Pārliecinieties, vai HBase saknes direktorijs pašlaik nepastāv vai ir inicializēts iepriekšējā HBase instances izpildē.
  • Kā daļa no risinājuma mums ir jāveic darbības

1. darbība) Izmantojot Hadoop dfs, lai izdzēstu HBase saknes direktoriju

2. darbība) HBase izveido un inicializē direktoriju pats

4) Problēmas izklāsts: Zookeeper sesijas notikumu derīguma termiņš ir beidzies

Iemesls:

  • HMaster vai HRegion serveri tiek izslēgti, izmetot izņēmumus
  • Ja mēs novērojam žurnālus, mēs varam uzzināt faktiskos izņēmumus, kas tika izmesti

Tālāk ir parādīts izņēmums, kas tika izlaists Zookeeper izbeigšanās notikuma dēļ. Izceltie notikumi ir daži no žurnāla failā notikušajiem izņēmumiem

Žurnāla failu kods, kā parādīts zemāk: | _+_ |

Risinājums:

  • Noklusējuma RAM izmērs ir 1 GB. Lai veiktu ilgstošu importēšanu, mēs esam saglabājuši RAM ietilpību vairāk nekā 1 GB.
  • Jāpalielina Zookeeper sesijas taimauts.
  • Lai palielinātu sesijas laiku no Zookeeper, mums ir jāpārveido šāds rekvizīts sadaļā 'hbase-site.xml', kas atrodas mapes hbase /conf ceļā.
  • Noklusējuma sesijas taimauts ir 60 sekundes. Mēs varam mainīt to līdz 120 sekundēm, kā minēts zemāk
 hbase.rootdir hdfs://localhost:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum localhost dfs.replication 1 hbase.zookeeper.property.clientPort 2181 hbase.zookeeper.property.dataDir /home/hduser/hbase/zookeeper