NameNode og DataNode

NameNode og DataNode

i dette indlæg lad os tale om de 2 vigtige typer noder, og det er funktioner i din Hadoop – klynge-NameNode og DataNode.

hvad er HDFS?

Vi dækkede meget information om HDFS i ” HDFS-hvorfor et andet filsystem?”kapitel i Hadoop Starter Kit kursus. Hvis du er ny hos Hadoop, foreslår vi at tage det gratis kursus.

Namenode

1. NameNode er kernen i HDFS.
2. NameNode er også kendt som Master
3. NameNode gemmer kun metadataene for HDFS – katalogtræet for alle filer i filsystemet og sporer filerne på tværs af klyngen.
4. NameNode gemmer ikke de faktiske data eller datasættet. Selve dataene gemmes faktisk i Datanoderne.
5. NameNode kender listen over blokkene og dens placering for en given fil i HDFS. Med denne information ved NameNode, hvordan man konstruerer filen fra blokke.
6. NameNode er så kritisk for HDFS, og når Namenoden er nede, er HDFS / Hadoop-klyngen utilgængelig og betragtes som nede.
7. NameNode er et enkelt fejlpunkt i Hadoop cluster.
8. NameNode er normalt konfigureret med en masse hukommelse (RAM). Fordi blokplaceringerne er hjælp i hovedhukommelsen.

DataNode

1. DataNode er ansvarlig for lagring af de faktiske data i HDFS.
2. DataNode er også kendt som slaven
3. NameNode og DataNode er i konstant kommunikation.
4. når en DataNode starter, annoncerer den sig selv til Namenoden sammen med listen over blokke, den er ansvarlig for.
5. når en DataNode er nede, påvirker den ikke tilgængeligheden af data eller klyngen. NameNode sørger for replikation for de blokke, der administreres af Datanoden, der ikke er tilgængelig.
6. DataNode er normalt konfigureret med en masse plads på harddisken. Fordi de faktiske data er gemt i Datanoden.

Udstyrskonfiguration

udstyrskonfiguration af noder varierer fra klynge til klynge, og det afhænger af brugen af klyngen. I nogle Hadoop-klynger er hastigheden af datavækst høj, i det tilfælde lægges større vægt på lagerkapaciteten. Hvis sla ‘ erne for jobudførelserne er vigtige og ikke kan gå glip af, er der større betydning for nodernes processorkraft.

ofte er udtrykket” Råvarecomputere ” misforstået. Commodity computere eller noder betyder ikke billig eller mindre kraftfuld udstyr, det betyder bare i-dyre computer og understrege behovet for specialiseret udstyr.

Her er en prøvekonfiguration for konfiguration af NameNode og DataNode.

Name node Configuration

processorer: 2 fire Core CPU ‘er kører @ 2 GB
RAM: 128 GB
Disk: 6 1 TB SATA
netværk: 10 Gigabit Ethernet

Dataknudekonfiguration

processorer: 2 fire Core CPU’ er kører @ 2 GB
RAM: 64 GB
Disk: 12-24 gange 1 TB SATA
netværk: 10 Gigabit Ethernet

ligesom hvad du læser? Tilmeld dig vores gratis Hadoop Starter Kit course & Udforsk Hadoop i dybden.