NameNode e DataNode

NameNode e DataNode

In questo post parliamo dei 2 importanti tipi di nodi e delle sue funzioni nel tuo cluster Hadoop – NameNode e DataNode.

Che cos’è HDFS?

Abbiamo coperto una grande quantità di informazioni su HDFS in “HDFS – Perché un altro Filesystem?”capitolo nel corso Hadoop Starter Kit. Se sei nuovo di Hadoop, ti consigliamo di seguire il corso gratuito.

Namenode

  1. NameNode è il fulcro di HDFS.
  2. NameNode è anche conosciuto come Master
  3. NameNode memorizza solo i metadati di HDFS-l’albero delle directory di tutti i file nel file system, e tiene traccia dei file attraverso il cluster.
  4. NameNode non memorizza i dati effettivi o il set di dati. I dati stessi sono effettivamente memorizzati nei DataNodes.
  5. NameNode conosce l’elenco dei blocchi e la sua posizione per ogni dato file in HDFS. Con queste informazioni NameNode sa come costruire il file da blocchi.
  6. NameNode è così fondamentale per HDFS e quando il NameNode è inattivo, il cluster HDFS / Hadoop è inaccessibile e considerato inattivo.
  7. NameNode è un singolo punto di errore nel cluster Hadoop.
  8. NameNode è solitamente configurato con molta memoria (RAM). Perché le posizioni dei blocchi sono di aiuto nella memoria principale.

DataNode

  1. DataNode è responsabile della memorizzazione dei dati effettivi in HDFS.
  2. DataNode è anche conosciuto come Slave
  3. NameNode e DataNode sono in comunicazione costante.
  4. Quando un DataNode si avvia, si annuncia al NameNode insieme all’elenco dei blocchi di cui è responsabile.
  5. Quando un DataNode è inattivo, non influisce sulla disponibilità dei dati o del cluster. NameNode organizzerà la replica per i blocchi gestiti dal DataNode che non è disponibile.
  6. DataNode è di solito configurato con un sacco di spazio su disco rigido. Perché i dati effettivi sono memorizzati nel DataNode.

Configurazione hardware

La configurazione hardware dei nodi varia da cluster a cluster e dipende dall’utilizzo del cluster. In alcuni cluster Hadoop la velocità di crescita dei dati è elevata, in tal caso viene data maggiore importanza alla capacità di archiviazione. Se gli SLA per le esecuzioni di lavoro sono importanti e non possono mancare allora più importanza è dare alla potenza di elaborazione dei nodi.

Spesso il termine “Computer delle materie prime” viene frainteso. Computer Commodity o Nodi non significa hardware a buon mercato o meno potente, significa solo in-costoso computer e deemphasize la necessità di hardware specializzato.

Ecco una configurazione di esempio per la configurazione hardware NameNode e DataNode.

Nome del Nodo di Configurazione

Processori: 2 Quad Core Cpu a 2 GHz
RAM: 128 GB
Disco: 6 x 1 tb SATA
di Rete: 10 Gigabit Ethernet

Dati di Configurazione del Nodo

Processori: 2 Quad Core Cpu a 2 GHz
RAM: 64 GB
Disco: 12-24 x 1 tb SATA
Rete: 10 Gigabit Ethernet

Come quello che stai leggendo? Iscriviti al nostro corso gratuito Hadoop Starter Kit & esplora Hadoop in profondità.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.