Wussten Sie, dass das größte Missverständnis über Erasure-Coding in Walrus darin besteht, dass es nur eine anspruchsvolle Redundanz wie einfache Backups sei, während es tatsächlich eine mathematische Stärke ist, die Ihre Daten in Fragmente und Paritätsstücke aufteilt, sodass die Wiederherstellung möglich ist, selbst wenn bis zu ein Drittel der Knoten ausfallen, und dabei der Speicheroverhead minimal bleibt – bei etwa 1,5-fach im Vergleich zu der 3-fachen Ausweitung bei vollständiger Replikation?
In Walrus funktioniert Erasure-Coding durch die Kodierung von Blobs mit Reed-Solomon-Algorithmen, bei denen die ursprünglichen Daten in k Shards und m Paritäts-Shards aufgeteilt werden, die über dezentrale Sui-Validator- und Speicherknoten verteilt werden. Dadurch ist es möglich, das vollständige Blob wiederherzustellen, solange nur k Shards verfügbar sind, ohne dass das gesamte Set benötigt wird – dies bekämpft direkt Einzelpunkte des Ausfalls in traditionellen zentralisierten Speichersystemen.
Dieser Prozess integriert sich nahtlos mit der Move-Sprache von Sui für on-chain-Verifizierung, bei der kryptografische Hashes und Beweise die Datenintegrität bei der Kodierung und beim Abruf bestätigen, um Manipulationen zu verhindern und eine effiziente Skalierung für große Datensätze wie KI-Trainingsmodelle zu ermöglichen, die mehrere Gigabyte umfassen können.
WAL-Token spielen hier eine entscheidende Rolle, da sie dazu verwendet werden, Knoten für Kodierungsaufgaben zu staken, die Zertifizierung von Blobs on-chain zu bezahlen und ehrliches Verhalten durch Strafmaßnahmen zu belohnen, falls ein Knoten seinen Shard während einer Abrufprüfung nicht bereitstellt. Dadurch entsteht eine selbsttragende Wirtschaft, die die Anreize der Betreiber mit der Datenzuverlässigkeit verbindet.
Beispielsweise könnten Sie bei der Entwicklung einer KI-Anwendung auf Sui eine 10 GB große Datenmenge über Walrus hochladen, sie in 30 Shards (20 Daten + 10 Parität) aufteilen und über 30 Knoten verteilen, und später das gesamte Datenpaket vollständig abrufen, selbst wenn 10 Knoten offline gehen, wobei Sie nur WAL für die ursprüngliche Zertifizierung und minimale laufende Speichergebühren aufgrund einer epochenbasierten Preisgestaltung zahlen.
Welcher spezifische Schwellenwert an Knotenausfällen würde Sie dazu veranlassen, Erasure-Coding gegenüber der vollständigen Replikation in Ihrem nächsten Walrus-integrierten Projekt zu überdenken?
