В центре децентрализованных систем существует основное напряжение, которое большинство людей воспринимает как неизбежное: вы можете иметь безопасность, вы можете иметь эффективность, или вы можете иметь масштаб, но одновременное получение всех трех, похоже, требует нарушения законов физики. Каждая блокчейн-система, запущенная за последнее десятилетие, по существу выбрала две из этих трех и примирилась с компромиссом. Те, кто выбрал безопасность и масштаб, в конечном итоге копировали данные сотни раз через валидаторов, сжигая ресурсы и ограничивая то, что на самом деле можно построить. Те, кто выбрал эффективность и масштаб, часто шли на компромисс в области безопасности таким образом, который становится очевидным только тогда, когда что-то ломается катастрофически.
Walrus подходит к этому иначе, признавая, что сама формулировка проблемы была неполной. Реальный вопрос не в том, как эффективно хранить данные на децентрализованных узлах. Реальный вопрос - как сделать данные жизнеспособными и извлекаемыми, даже когда значительная часть вашей сети исчезает, сохраняя при этом затраты достаточно низкими, чтобы система могла действительно конкурировать с централизованными альтернативами. Это разница между оптимизацией для теоретического совершенства и оптимизацией для того, что на самом деле происходит, когда инфраструктура работает в масштабе в реальном мире.
Идея, движущая Walrus, возникает из понимания того, что децентрализованное хранение с самого начала было неправильно. Системы, такие как IPFS и Filecoin, приняли полную репликацию, что означает хранение полных копий файлов на нескольких узлах. Это работает в том смысле, что ваши данные остаются доступными, пока выживает хотя бы один честный узел. Но экономика быстро становится абсурдной. Если вы хотите двенадцать девяток надежности, что означает менее одной триллионной вероятности потери доступа к вашему файлу, вам нужно примерно двадцать пять полных копий, распределенных по сети. Это двадцать пять раз увеличение хранения, что делает децентрализованное хранение неприемлемо дорогим.
Альтернативой, которая возникла, было кодирование с удалением, при котором файлы разбиваются на фрагменты, которые могут восстановить оригинал из любого достаточного подмножества. Кодирование Рида-Соломона, стандартный подход, может достичь того же уровня безопасности с лишь трехкратным увеличением хранения. Это звучит как огромное улучшение, и это так, пока вы не столкнетесь с проблемой восстановления. Когда узел хранения отключается, что происходит постоянно в любой реальной системе, традиционное кодирование с удалением требует передачи всего файла по сети для восстановления недостающих частей. Сделайте это достаточно много раз, и затраты на полосу пропускания стирают все, что вы сэкономили на хранении.
Здесь Walrus представляет Red Stuff, протокол кодирования с удалением в двух измерениях, который коренным образом меняет экономику восстановления. Вместо кодирования данных в одном измерении, где реконструкция требует загрузки всего, Red Stuff кодирует как горизонтально, так и вертикально в матричной структуре. Когда узлу нужно восстановить недостающие данные, он загружает только конкретные символы, которые ему не хватает, из других узлов, а не весь файл. Стоимость полосы пропускания пропорциональна потерянным данным, а не общему размеру файла. Для системы с тысячей узлов это означает, что затраты на восстановление падают с эквивалента загрузки полного файла до загрузки только одной тысячной его части.
Последствия выходят далеко за пределы экономии полосы пропускания. В традиционных системах высокая текучесть узлов, естественное приход и уход участников в сети без разрешений, создает экзистенциальную проблему. Каждый раз, когда узлы уходят и присоединяются, вы передаете огромные объемы данных для восстановления, что быстро становится неприемлемым. Red Stuff делает текучесть управляемой, потому что восстановление достаточно дешево, чтобы происходить непрерывно, не перегружая сеть. Это позволяет достичь того, что большинство децентрализованных систем хранения не могут действительно предоставить: подлинная безразрешенность, где узлы могут свободно входить и выходить, не требуя от всей системы приостановки и реорганизации.
Но эффективность без гарантий безопасности - это просто дорогая неудача, ожидающая своего часа. Вот здесь Walrus делает еще одно важное нововведение, став первым протоколом хранения, поддерживающим асинхронные механизмы вызова. В каждой другой децентрализованной системе хранения доказательство того, что узлы действительно хранят то, что они утверждают, требует предположения о синхронности сети. Протокол отправляет вызов и ожидает немедленного ответа. Если узлы отвечают достаточно быстро, они проходят. Проблема в том, что противоборствующие узлы могут просто не хранить данные, дождаться вызова, быстро загрузить то, что им нужно, из честных узлов, и ответить до истечения времени. Система считает, что они хранят данные, когда на самом деле они лишь пользуются.
Walrus решает эту проблему с помощью той же двухмерной структуры кодирования. Когда возникают проблемы, узлы перестают отвечать на обычные запросы на чтение и переключаются в режим вызова. Поскольку реконструкция требует символов от честных узлов, а эти честные узлы прекратили обслуживать обычные запросы, противоборствующие узлы не могут собрать достаточно информации, чтобы пройти вызовы. У них либо есть данные, хранящиеся локально, либо они терпят неудачу, и точка. Это работает в полностью асинхронных сетях, где задержки сообщений непредсказуемы, что делает это первым практическим решением для доказательства хранения без предположений о времени.
Техническая сложность распространяется на то, как Walrus обрабатывает переходы комитетов между эпохами. Большинство блокчейн-систем сталкиваются с трудностями при реорганизации, потому что вам нужно поддерживать обслуживание, одновременно перемещая состояние к новым участникам. Walrus реализует многоступенчатый протокол изменения эпох, где записи немедленно перенаправляются к новому комитету, в то время как чтения продолжаются от старого комитета. Это предотвращает состояние гонки, когда новые данные продолжают поступать быстрее, чем уходящие узлы могут передать свои обязанности. Узлы хранения явно сигнализируют, когда они завершили миграцию, и только после подтверждения супербольшинством система полностью переходит. Это позволяет непрерывной работе без простоя, даже когда состав участников полностью меняется.
Что делает это практически жизнеспособным, так это интеграция с блокчейном Sui в качестве контрольной плоскости. Вместо того чтобы строить еще один блокчейн с нуля для координации узлов хранения, Walrus использует Sui для всех операций с метаданными, обработки платежей и управления. Узлы хранения регистрируются в Sui, сертификаты доступности публикуются там, и вся структура стимулов работает через смарт-контракты. Это разделение задач означает, что Walrus может сосредоточиться исключительно на том, что он делает уникально хорошо, эффективном хранении и извлечении блобов, унаследовав безопасность консенсуса Sui и пропускную способность транзакций для координации.
Экономическая модель отражает сложное мышление о долгосрочном соблюдении контрактов в децентрализованных системах. Узлы хранения ставят капитал, который зарабатывает вознаграждения за честное поведение и теряет за неудачи. Но вместо того чтобы требовать от узлов блокировки огромных сумм заранее, система использует динамические штрафы, откалиброванные на основе фактического поведения. Узлы, которые не справляются с вызовами хранения или не участвуют в восстановлении шардов, сталкиваются с значительными штрафами, в то время как узлы, которые постоянно показывают хорошие результаты, накапливают вознаграждения. Уровень ставок поддерживает делегирование, так что пользователи, которые хотят участвовать в безопасности сети, не запуская инфраструктуру, могут ставить с профессиональными операторами, создавая естественную специализацию.
Цены устанавливаются через механизм консенсуса, где узлы хранения голосуют за размеры шардов и цены за полную эпоху вперед. Система принимает шестьдесят шестой процентиль подачи как по емкости, так и по стоимости, гарантируя, что две трети узлов по ставкам предлагают как минимум такую же емкость по этой цене или лучше. Это предотвращает манипулирование ценами со стороны какого-либо отдельного узла, одновременно отражая подлинную динамику рынка. Ресурсы хранения становятся объектами торговли на Sui, позволяя вторичным рынкам, где пользователи могут эффективно покупать, продавать или передавать выделения хранения.
Проблема, которую большинство людей не замечает в децентрализованном хранении, вовсе не техническая. Это вопрос о том, может ли система обеспечить надежность, которая имеет значение для реальных приложений, сохраняя при этом затраты, которые имеют экономический смысл. Хранение метаданных NFT вне цепи бессмысленно, если эти метаданные могут исчезнуть или стать чрезмерно дорогими для доступа. Использование децентрализованного хранения для наборов данных для обучения ИИ работает только в том случае, если вы можете действительно быстро извлекать терабайты данных, когда это необходимо. Запуск децентрализованных приложений с интерфейсами, обслуживаемыми из децентрализованного хранения, требует уверенности в том, что эти интерфейсы будут загружаться надежно для пользователей.
В настоящее время Walrus работает на публичном тестнете с более чем ста независимо управляемыми узлами хранения в семнадцати странах. Это не тестовые узлы, работающие в контролируемых средах. Это настоящая инфраструктура, управляемая разными операторами, использующими разные хостинговые провайдеры, разные аппаратные конфигурации, разные сетевые условия. Система регулярно обрабатывает блобы размером от килобайтов до сотен мегабайтов с задержкой чтения менее пятнадцати секунд для небольших файлов и задержкой записи, масштабируемой линейно с размером блоба. Общая емкость сети превышает пять петабайт, что демонстрирует, что архитектура действительно масштабируется с количеством узлов, а не достигает искусственных потолков.
То, что мы наблюдаем с Walrus, - это инфраструктура, которая серьезно восприняла фундаментальные ограничения децентрализованного хранения, чтобы перепроектировать с первых принципов, а не постепенно улучшать существующие подходы. Результат - это система, где безопасность обеспечивается криптографическими свойствами и структурами избыточности, а не слепой репликацией, где восстановление происходит эффективно, чтобы справляться с реальной текучестью, где вызовы доказывают хранение без предположений о синхронности и экономика на самом деле работает в масштабе. Это важно, потому что децентрализованное хранение перестает быть теоретической любопытностью и становится практической инфраструктурой, на которую приложения могут действительно полагаться.
Широкие последствия заключаются в том, что мы наконец видим, как децентрализованные системы переходят на стадию, когда каждая проблема решается не просто увеличением репликации. Walrus демонстрирует, что тщательный дизайн протокола может предоставить гарантии безопасности, эквивалентные массовой перенастройке, при этом действуя на затраты, которые конкурируют с централизованными альтернативами. Это не просто инженерное достижение. Это разница между тем, чтобы децентрализованное хранение оставалось нишевым решением для истинных верующих и стало инфраструктурой, которая имеет смысл для основных приложений, которым нужны достоверно нейтральные, устойчивые к цензуре, проверяемо доступные данные.
