A desduplicação de dados é uma tecnologia de armazenamento popular e popular que otimiza a capacidade de armazenamento. Ela elimina dados redundantes removendo dados duplicados do conjunto de dados, deixando apenas uma cópia.Conforme mostrado na figura abaixo.Esta tecnologia pode reduzir significativamente a necessidade de armazenamento físico espaço para atender à crescente demanda por armazenamento de dados. A tecnologia de desduplicação pode trazer muitos benefícios práticos, incluindo principalmente os seguintes aspectos:
| (1) | Atender aos requisitos de ROI (Retorno sobre Investimento)/TCO (Custo Total de Propriedade); |
| (2) | O rápido crescimento dos dados pode ser controlado de forma eficaz; |
| (3) | Aumente o espaço de armazenamento efetivo e melhore a eficiência do armazenamento; |
| (4) | Economize o custo total de armazenamento e o custo de gerenciamento; |
| (5) | Economize a largura de banda da rede de transmissão de dados; |
| (6) | Economize custos de operação e manutenção, como espaço, fonte de alimentação e resfriamento. |
A tecnologia de desduplicação é amplamente utilizada em sistemas de backup e arquivamento de dados, porque há muitos dados duplicados após vários backups de dados, o que é muito adequado para esta tecnologia. Na verdade, a tecnologia de desduplicação pode ser usada em muitas situações, incluindo dados online, dados near-line e sistemas de armazenamento de dados offline. Ele pode ser implementado em sistemas de arquivos, gerenciadores de volume, NAS e sans.Dedupe também pode ser usado para recuperação de desastres de dados, transmissão e sincronização de dados, pois uma tecnologia de compactação de dados pode ser usada para empacotamento de dados. armazenamento de dados, economize largura de banda da rede, melhore a eficiência do armazenamento, reduza a janela de backup e economize custos.
A desduplicação tem duas dimensões principais: taxas de desduplicação e desempenho. O desempenho da desduplicação depende da tecnologia de implementação específica, enquanto a taxa de desduplicação é determinada pelas características dos próprios dados e pelos padrões do aplicativo, conforme mostrado na tabela abaixo. das 20:1 às 500:1.
| Alta taxa de desduplicação | Baixa taxa de desduplicação |
| Dados criados pelo usuário | Dados do mundo natural |
| Baixa taxa de alteração de dados | Alta taxa de mudança de dados |
| Dados de referência, dados inativos | Dados ativos |
| Aplicativo com baixa taxa de alteração de dados | Aplicativo com alta taxa de alteração de dados |
| Backup completo de dados | Backup incremental de dados |
| Armazenamento de dados a longo prazo | Armazenamento de dados de curto prazo |
| Ampla gama de aplicações de dados | Pequena variedade de aplicativos de dados |
| Processamento contínuo de negócios de dados | Processamento comercial de dados gerais |
| Segmentação de pequenos dados | Segmentação de big data |
| Amplie a segmentação de dados | Segmentação de dados de comprimento fixo |
| Conteúdo de dados percebido | Conteúdo de dados desconhecido |
| Desduplicação de dados de tempo | Desduplicação de dados espaciais |
Pontos de implementação de eliminação de duplicação
Vários fatores devem ser considerados ao desenvolver ou aplicar a tecnologia Dedupe, pois afetam diretamente seu desempenho e eficácia.
| (1) | O que | Quais dados são desponderados? |
| (2) | Quando | Quando o peso será eliminado? |
| (3) | Onde | Onde está a eliminação de peso? |
| (4) | Como | Como reduzir o peso? |
Tecnologia chave de desduplicação
O processo de desduplicação do sistema de armazenamento em geral é o seguinte: primeiro, o arquivo de dados é dividido em um conjunto de dados, para cada bloco de dados calcular a impressão digital e, em seguida, com base nas palavras-chave de pesquisa de hash da impressão digital, a correspondência indica os dados para a duplicata blocos de dados, armazena apenas o número de índice do bloco de dados, caso contrário, significa que o bloco de dados é a única parte de um novo bloco de dados e cria meta informações relevantes. Assim, um arquivo físico no sistema de armazenamento corresponde a uma representação lógica de um conjunto de metadados FP. Ao ler o arquivo, primeiro leia o arquivo lógico e, em seguida, de acordo com a sequência FP, retire o bloco de dados correspondente do sistema de armazenamento, restaure a cópia do arquivo físico. Pode-se ver no processo acima que as principais tecnologias de Dedupe incluem principalmente dados de arquivo segmentação de blocos, cálculo de impressão digital de blocos de dados e recuperação de blocos de dados.
(1) Segmentação de bloco de dados de arquivo
(2) Cálculo de impressão digital de bloco de dados
(3) Recuperação de bloco de dados
Para encontrar esses modelos recomendados para iniciar sua desduplicação de pacotes de rede:
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ mais 4*40GE/100GE QSFP28, máximo de 880Gbps
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 mais 48*10GE/25GE SFP28, máximo de 1,8 Tbps
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-506048 * 10GE SFP + mais 2 * 40GE QSFP, máximo de 560 Gbps
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-486048 * 10GE SFP +, máximo de 480 Gbps, função Plus
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, máximo de 480 Gbps
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-2410P24 * 10GE SFP +, máximo de 240 Gbps, função DPI
Corretor de pacotes de rede Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ mais 4*40GE/100GE QSFP28, máximo de 880Gbps
Horário da postagem: 18 de outubro de 2022
