Truque de Metadados de Morsa: Sobrecarga Linear em vez de Pesadelo Quadrático
Metadados em sistemas distribuídos são frequentemente negligenciados até que se tornem o fator limitante. Rastrear locais de fragmentos, responsabilidades de validadores e caminhos de recuperação entre milhões de blobs pode explodir quadraticamente. Um sistema que armazena n blobs entre m validadores precisa rastrear quais fragmentos existem onde—isso pode significar nm entradas de metadados.
Sistemas clássicos aceitam essa sobrecarga quadrática. Eles mantêm tabelas de consulta elaboradas mapeando IDs de blobs para locais de fragmentos. À medida que as redes escalam, o armazenamento de metadados se torna o gargalo. As consultas ficam lentas. A sincronização se torna cara. O sistema se dobra sob o fardo dos metadados.
@Walrus 🦭/acc usa um truque estrutural inteligente: os metadados são codificados diretamente na estrutura de grade 2D. Em vez de manter tabelas de consulta separadas, a própria grade especifica onde os fragmentos devem existir. A estrutura de linhas e colunas diz ao protocolo exatamente quais validadores devem manter quais peças. Nenhum armazenamento de metadados separado é necessário.
Isso significa que a sobrecarga de metadados é linear—proporcional ao número de blobs—em vez de quadrática. Adicionar um novo blob adiciona uma entrada de metadados, não entradas proporcionais ao número de validadores. Adicionar validadores não multiplica os custos de metadados.
O truque funciona porque a codificação 2D tem uma estrutura inerente. O protocolo pode calcular locais de fragmentos de forma algorítmica a partir do ID do blob e da posição da grade. Metadados explícitos tornam-se desnecessários.
Essa elegância estrutural se propaga pelo sistema. Os metadados tornam-se transparentes. As consultas tornam-se rápidas. A sincronização torna-se trivial. O sistema escala para milhões de blobs sem que os metadados se tornem um gargalo.
#Walrus $WAL
