Ferramenta de big data de código aberto

Hadoop Ferramenta de big data grátis

Analise conjuntos de dados complexos com software de análise de big data

Processamento mais rápido de dados complexos com ferramentas de big data de código aberto e gratuitas. Lidar com volume maciço, variedade de conjuntos de dados e melhorar a tomada de decisões de negócios.

Visão geral

O Hadoop é uma ferramenta de big data de código aberto e gratuito. É um software robusto, confiável e escalável de Big Data Analytics. HDFS (sistema de arquivos distribuído alto), MapReduce e Yarn são os três componentes principais do Hadoop. O HDFS é uma camada de armazenamento composta por dois tipos de nós: Namenodes e Datanodes. Os metadados sobre a localização de um bloco são armazenados no Namenode. Em um período predeterminado, o Datanodes armazena o bloco e envia relatórios de bloco para o NameNode. A camada de processamento do MapReduce é dividida em duas fases: a fase do mapa e a fase de redução. Destina -se ao processamento simultâneo de dados que são distribuídos em vários nós. No Hadoop Big Data, o YARN é a camada de agendamento de empregos e gerenciamento de recursos. O Hadoop é um dos melhores softwares de big data para processar dados grandes. O Hadoop Cluster é altamente escalável, por isso permite a escala horizontal e vertical para a estrutura do Hadoop. Possui uma função de tolerância a falhas que depende de um mecanismo de replicação para garantir a tolerância a falhas. O Hadoop garante que os dados ainda estejam disponíveis, mesmo quando as coisas não estão indo bem. Se um dos Datanodes falhar, o usuário poderá acessar dados de outros DataNodes que possuem uma cópia dos mesmos dados. O Hadoop é um sistema de armazenamento de dados distribuído que permite que os dados sejam processados ​​através de um cluster de nós. Como resultado, fornece aos recursos de processamento de raios-lâmpadas da estrutura do Hadoop.

Requisitos de sistema

Para instalar o Hadoop, você deve ter os seguintes softwares:

  • Java
  • Usuário com privilégios sudo

Características

A seguir estão os principais recursos do Hadoop:

  • código aberto e de código aberto
  • Processamento de dados mais rápido
  • Processo de distribuição
  • Tolerância ao erro
  • confiável e escalável
  • fácil de usar e econômico
  • Localidade de dados
  • Alta disponibilidade de dados

Instalação

Instale o Hadoop no Ubuntu

Primeiro, execute abaixo o comando para instalar o servidor e o cliente OpenSsh.

sudo apt install openssh-server openssh-client -y

Execute o comando para baixar o Hadoop.

wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

Extraia os arquivos para iniciar a instalação do Hadoop.

tar xzf hadoop-3.2.1.tar.gz

Explore

Você pode encontrar os seguintes links relevantes:

 Português