@Walrus 🦭/acc $WAL #Walrus

Trong nhiều năm, lời hứa về lưu trữ phi tập trung đã bị trói buộc bởi một gánh nặng kinh tế vô hình: chi phí bảo trì. Dù tầm nhìn về một lớp dữ liệu bền bỉ, do người dùng sở hữu là rất hấp dẫn, nhưng việc triển khai thực tế thường bị vỡ vụn trước một thực tế tài chính khắc nghiệt. Vấn đề cốt lõi không nằm ở hành động ban đầu lưu trữ một tập tin trên mạng phân tán; mà nằm ở nhiệm vụ kéo dài, tốn tài nguyên là duy trì sự nguyên vẹn của tập tin đó khi các nút trong mạng—những người vận hành cá nhân với mức độ đáng tin cậy khác nhau—bất khả kháng xuất hiện và biến mất. Quá trình này, được gọi là sửa chữa dữ liệu, đã trở thành nguyên nhân giấu mặt khiến khả năng mở rộng và tính khả thi về chi phí bị phá vỡ. Các hệ thống cổ điển, được xây dựng trên các khung toán học từ thời kỳ tiền đám mây, áp đặt một khoản thuế băng thông khổng lồ mỗi khi một mảnh dữ liệu đơn lẻ cần được khôi phục. Khoản thuế này thể hiện dưới dạng phí xuất dữ liệu cao ngất ngưởng, tắc nghẽn mạng và cuối cùng là chi phí lưu trữ không thể cạnh tranh với các nhà cung cấp tập trung quy mô lớn. Ngành công nghiệp vì vậy đã rơi vào lựa chọn giả tạo: chấp nhận giá cao ngất ngưởng để có được sự phi tập trung thực sự, hoặc phải hy sinh tính bền vững bằng cách sao chép quá mức, lãng phí tài nguyên. Do đó, vấn đề không phải là thiếu tham vọng, mà là sự thiếu hiệu quả cơ bản trong hình học mật mã điều khiển cách dữ liệu được bảo vệ và duy trì theo thời gian.

Sự không hiệu quả này có nguồn gốc từ một tiêu chuẩn đã tồn tại hàng thập kỷ: mã hóa xóa Reed-Solomon một chiều. Để hiểu những hạn chế của nó, chúng ta phải hình dung dữ liệu không phải là một khối thống nhất, mà là một tập hợp các mảnh mã hóa. Trong một hệ thống 1 chiều, một tệp được chia thành một dòng các mảnh dữ liệu, với các mảnh parity bổ sung được thêm vào như một lưới an toàn. Độ bền của hệ thống thật ấn tượng; nó có thể chịu được sự mất mát của một vài mảnh. Tuy nhiên, cơ chế sửa chữa một mảnh bị mất đơn lẻ là nơi hình thành nút cổ chai. Toán học quy định rằng để tái tạo một mảnh bị thiếu, mạng lưới phải thu thập một số lượng lớn các mảnh khác từ khắp nơi trên thế giới. Về mặt thực tiễn, mất một mảnh tệp 100 megabyte có thể cần tải xuống vài gigabyte dữ liệu liên quan chỉ để thực hiện việc tính toán lại. Đây là Nghịch lý Sửa chữa đang hoạt động: duy trì tính toàn vẹn của dữ liệu tiêu tốn băng thông mạng nhiều hơn hàng triệu lần so với việc truyền tải dữ liệu ban đầu. Thiết kế này tạo ra một gánh nặng kinh tế vĩnh viễn, làm giảm động lực tham gia của tất cả trừ những nhà điều hành nút được cung cấp tốt nhất và buộc chi phí lưu trữ phải giữ cao để trang trải cho các hoạt động sửa chữa liên tục này.

Đột phá mà WALRUS giới thiệu thông qua thuật toán Red Stuff của nó là một cuộc cách mạng hình học. Nó di chuyển từ một mô hình dữ liệu tuyến tính, một chiều sang một lưới hai chiều tinh vi. Đây không phải là một cải tiến biên; đó là một kiến trúc lại cơ bản về cách các mối quan hệ dữ liệu được cấu trúc để tăng cường độ bền. Trong lưới tinh thể 2D này, thông tin dữ liệu và parity được mã hóa dọc theo cả hai hàng và cột cùng một lúc. Hãy tưởng tượng một mạng lưới chính xác, liên kết chặt chẽ nơi mỗi điểm được hỗ trợ bởi hai trục độc lập. Khi một mảnh dữ liệu đơn lẻ trên một nút bị mất, logic sửa chữa không còn yêu cầu tái tạo toàn bộ hàng của nó. Thay vào đó, hệ thống có thể tận dụng cột giao nhau, chỉ kéo những mảnh tối thiểu, cụ thể cần thiết từ chiều lệch đó. Điều này thay đổi toàn bộ phương trình kinh tế của việc sửa chữa. Băng thông cần thiết sụp đổ từ kích thước toàn bộ tệp xuống một phần rất nhỏ, thường dưới một phần trăm. Red Stuff hiệu quả trong việc định vị vấn đề sửa chữa, biến một sự kiện mạng toàn cầu thành một hoạt động nhắm mục tiêu, hiệu quả. Bước nhảy thuật toán này trực tiếp tấn công vào Nghịch lý Sửa chữa, tách rời chi phí bảo trì mạng khỏi kích thước của dữ liệu được lưu trữ.

Ý nghĩa thực tiễn của sự hiệu quả này là sâu sắc, được minh họa tốt nhất bởi chỉ số quan trọng về chi phí lưu trữ. Chi phí lưu trữ là bội số của không gian đĩa vật lý cần thiết để lưu trữ một tệp ở một mức độ bền nhất định. Để đạt được độ tin cậy cấp carrier, các mạng phi tập trung truyền thống thường phải resort đến việc sao chép đơn giản, yêu cầu 25 bản sao của một tệp, với chi phí lưu trữ 25x. Đây là một giải pháp thô bạo lãng phí một lượng lớn vốn cho phần cứng và năng lượng. WALRUS, sử dụng mã hóa 2D của Red Stuff, đạt được độ bền tương đương hoặc superior với chi phí lưu trữ khoảng 4.5x. Sự giảm 80% trong việc tiêu thụ tài nguyên vật lý này là động lực trực tiếp cho việc tăng hiệu quả tổng thể 100x của nó. Nó phá vỡ mức giá lịch sử của lưu trữ phi tập trung. Lần đầu tiên, mô hình kinh tế chuyển từ việc tiêu tốn vốn, thiên về các trung tâm dữ liệu lớn, sang việc hiệu quả về hoạt động, cho phép một mạng lưới thực sự phân tán của các nhà điều hành đa dạng.