A desduplicação de dados é uma tecnologia de armazenamento popular e popular que otimiza a capacidade de armazenamento. Ela elimina dados redundantes removendo dados duplicados do conjunto de dados, deixando apenas uma cópia. Conforme mostrado na figura abaixo. Essa tecnologia pode reduzir significativamente a necessidade de espaço de armazenamento físico para atender à crescente demanda por armazenamento de dados. A tecnologia de desduplicação pode trazer muitos benefícios práticos, incluindo principalmente os seguintes aspectos:
| (1) | Atender aos requisitos de ROI (Retorno sobre Investimento)/TCO (Custo Total de Propriedade); |
| (2) | O rápido crescimento de dados pode ser controlado de forma eficaz; |
| (3) | Aumentar o espaço de armazenamento efetivo e melhorar a eficiência do armazenamento; |
| (4) | Economize o custo total de armazenamento e o custo de gerenciamento; |
| (5) | Economize a largura de banda da rede de transmissão de dados; |
| (6) | Economize custos de operação e manutenção, como espaço, fornecimento de energia e resfriamento. |
A tecnologia de dedupe é amplamente utilizada em sistemas de backup e arquivamento de dados, pois há muitos dados duplicados após múltiplos backups, o que é muito adequado para essa tecnologia. De fato, a tecnologia de dedupe pode ser usada em diversas situações, incluindo dados online, dados near-line e sistemas de armazenamento de dados offline. Ela pode ser implementada em sistemas de arquivos, gerenciadores de volume, NAS e SANs. A dedupe também pode ser usada para recuperação de desastres de dados, transmissão e sincronização de dados, já que uma tecnologia de compactação de dados pode ser usada para empacotamento de dados. A tecnologia de dedupe pode ajudar muitas aplicações a reduzir o armazenamento de dados, economizar largura de banda de rede, melhorar a eficiência do armazenamento, reduzir a janela de backup e economizar custos.
A dedupe tem duas dimensões principais: taxas de deduplicação e desempenho. O desempenho da dedupe depende da tecnologia de implementação específica, enquanto a taxa de dedupe é determinada pelas características dos dados em si e pelos padrões de aplicação, conforme mostrado na tabela abaixo. Os fornecedores de armazenamento atualmente relatam taxas de desduplicação que variam de 20:1 a 500:1.
| Alta taxa de desduplicação | Baixa taxa de desduplicação |
| Dados criados pelo usuário | Dados do mundo natural |
| Baixa taxa de variação de dados | Dados com alta taxa de variação |
| Dados de referência, dados inativos | Dados ativos |
| Aplicação de baixa taxa de alteração de dados | Aplicação de alta taxa de alteração de dados |
| Backup completo de dados | Backup incremental de dados |
| Armazenamento de dados de longo prazo | Armazenamento de dados de curto prazo |
| Ampla gama de aplicações de dados | Pequena gama de aplicações de dados |
| Processamento contínuo de dados empresariais | Processamento geral de dados comerciais |
| Segmentação de dados pequenos | Segmentação de big data |
| Segmentação de dados alongada | Segmentação de dados de comprimento fixo |
| Conteúdo de dados percebido | Conteúdo de dados desconhecido |
| Desduplicação de dados de tempo | Desduplicação de dados espaciais |
Pontos de implementação de dedupe
Vários fatores devem ser considerados ao desenvolver ou aplicar a tecnologia Dedupe, pois esses fatores afetam diretamente seu desempenho e eficácia.
| (1) | O que | Quais dados são desponderados? |
| (2) | Quando | Quando o peso será eliminado? |
| (3) | Onde | Onde está a eliminação de peso? |
| (4) | Como | Como reduzir o peso? |
Tecnologia de chave de desduplicação
O processo de desduplicação do sistema de armazenamento em geral é este: primeiro, o arquivo de dados é dividido em um conjunto de dados, para cada bloco de dados para calcular a impressão digital e, em seguida, com base nas palavras-chave de pesquisa de hash de impressão digital, a correspondência indica os dados para os blocos de dados duplicados, armazena apenas o número de índice do bloco de dados, caso contrário, significa que o bloco de dados é a única parte de um novo armazenamento de bloco de dados e cria meta informações relevantes. Assim, um arquivo físico no sistema de armazenamento corresponde a uma representação lógica de um conjunto de metadados FP. Ao ler o arquivo, primeiro leia o arquivo lógico e, de acordo com a sequência FP, retire o bloco de dados correspondente do sistema de armazenamento e restaure a cópia do arquivo físico. Pode-se ver no processo acima que as principais tecnologias de deduplicação incluem principalmente segmentação de bloco de dados de arquivo, cálculo de impressão digital de bloco de dados e recuperação de bloco de dados.
(1) Segmentação de bloco de dados de arquivo
(2) Cálculo da impressão digital do bloco de dados
(3) Recuperação de bloco de dados
Para encontrar esses modelos recomendados para iniciar sua desduplicação de pacotes de rede:
Agente de Pacotes de Rede Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ mais 4*40GE/100GE QSFP28, máx. 880 Gbps
Agente de Pacotes de Rede Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 mais 48*10GE/25GE SFP28, máx. 1,8 Tbps
Agente de Pacotes de Rede Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ mais 2*40GE QSFP, máx. 560 Gbps
Agente de Pacotes de Rede Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, Máx. 480 Gbps, Função Plus
Agente de Pacotes de Rede Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, máx. 480 Gbps
Agente de pacotes de rede Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, Máx. 240 Gbps, Função DPI
Agente de Pacotes de Rede Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ mais 4*40GE/100GE QSFP28, máx. 880 Gbps
Horário da publicação: 18 de outubro de 2022
