@Walrus 🦭/acc #walrus $WAL
Quand je pense à l'AI dataset hub, je ne le vois pas comme un simple entrepôt de données, mais comme la "colonne vertébrale" de toute la chaîne de valeur de l'IA.

Les données ne sont pas seulement collectées et stockées, mais également normalisées, identifiées, traçables et réutilisées tout au long du cycle de vie du modèle.

Dans un contexte où l'IA dépend de plus en plus de données massives, diversifiées et ayant une durée de vie longue, la question centrale pour moi n'est plus "y a-t-il des données ou non", mais plutôt où sont stockées les données, qui les contrôle, et comment la valeur générée à partir de ces données est-elle répartie.

C'est pourquoi je pense que le stockage des données d'entraînement sur Walrus est une approche valable à approfondir.

En regardant la situation actuelle, la plupart des données d'entraînement de l'IA se trouvent dans des silos centralisés : le cloud des grandes technologies, les serveurs internes des entreprises ou les entrepôts de données fermés.

Lorsque je travaille avec des équipes IA, je constate trois problèmes récurrents.

Premièrement, il y a le risque de centralisation : les données peuvent être verrouillées, supprimées ou leurs conditions d'accès modifiées simplement à cause d'une décision politique.

Deuxièmement, il y a un manque de capacité de vérification : il est presque impossible de savoir comment un jeu de données utilisé pour entraîner un modèle a été modifié ou sélectionné.

Troisièmement, la distribution de la valeur est extrêmement déséquilibrée : les créateurs de données, les nettoyeurs de données et les annotateurs de données ne reçoivent souvent rien lorsque ce jeu de données produit un modèle d'une valeur de plusieurs millions ou centaines de millions de dollars.

Walrus, pour moi, est une couche d'infrastructure qui ouvre une nouvelle façon de penser.

Au lieu de considérer les données d'IA comme de simples « matières premières », Walrus me permet de voir le jeu de données comme un actif à long terme, identifiant, avec une histoire et la possibilité d'y attacher des mécanismes économiques directement.

Le fait que Walrus se concentre sur le stockage de grandes données, durables et pouvant être référencées à long terme, correspond très bien aux spécificités des données d'entraînement, qui n'ont pas besoin de changer constamment mais nécessitent une fiabilité extrêmement élevée.

Dans le modèle de hub de jeux de données IA que j'imagine, chaque jeu de données - ou même chaque fragment du jeu de données - est stocké sur Walrus sous forme de blob immuable.

Lors de la publication sur Walrus, le jeu de données a un ID adressé par contenu, ce qui signifie qu'il suffit de changer un bit pour que l'ID soit différent.

Pour moi, c'est extrêmement important : cela crée la capacité de retracer avec précision sur quelles données un modèle a été entraîné, quelle version.

Il n'y a plus de cas de « jeu de données ressemblant à une ancienne version » ou « légèrement mis à jour mais sans annotation ».

C'est la base pour que l'IA s'approche d'une véritable reproductibilité, et ne se limite pas à un niveau papier ou blog.

Le hub de jeux de données IA, tel que je le vois, n'est pas seulement un endroit pour télécharger et télécharger des données.

C'est une couche de coordination.

Sur Walrus, le hub peut construire une couche de métadonnées liée à chaque jeu de données : origine, licence, domaine, langue, méthode de collecte, niveau de sensibilité, et même les biais découverts.

Lorsque je suis utilisateur du jeu de données pour affiner le modèle, je ne prends pas seulement des données brutes, mais je comprends également le contexte.

Cela m'aide à prendre de bien meilleures décisions lors de l'entraînement et de l'évaluation du modèle.

Un point que j'apprécie beaucoup est la capacité de concevoir des droits d'accès flexibles.

Toutes les données d'entraînement ne devraient pas être publiques.

Dans la réalité, je rencontre beaucoup de jeux de données sensibles ou propriétaires.

En combinant Walrus avec un contrat intelligent, le hub de jeux de données IA peut permettre à de nombreux modèles d'accéder de manière conditionnelle : miser des tokens pour lire, payer pour télécharger, ou simplement permettre de vérifier la somme de contrôle sans copier l'intégralité.

Cela crée une zone grise très intéressante entre les données ouvertes et les données fermées, au lieu d'être contraint de choisir l'un ou l'autre.

D'un point de vue économique, c'est ce qui m'enthousiasme le plus.

Lorsque le jeu de données est stocké sur Walrus et référencé par plusieurs modèles différents, ce jeu de données commence à générer un flux de valeur répétée.

Le hub de jeux de données IA peut directement attribuer une part de revenus aux contributeurs de données : chaque fois qu'un jeu de données est utilisé pour l'entraînement ou l'affinage, une partie des frais est automatiquement redistribuée.

Pour moi, c'est une façon très « native à la chaîne » de résoudre la question de qui profite de l'IA, plutôt que de passer par des accords juridiques complexes et peu transparents.

Du point de vue des MLOps, le fait que les données d'entraînement soient sur Walrus rend le pipeline plus modulaire.

Au lieu de coder en dur le seau S3 ou le chemin interne, le pipeline peut simplement référencer l'ID du jeu de données.

La carte du modèle peut indiquer clairement sur quel jeu de données ce modèle a été entraîné, quelle version.

Lorsque j'ai besoin d'auditer, de revenir en arrière ou de comparer les performances entre les sessions d'entraînement, tout est clair et peut être reproduit.

Dans un contexte où la réglementation sur l'IA devient de plus en plus stricte, c'est un grand avantage.

Un cas d'utilisation que je trouve extrêmement pertinent est celui des jeux de données curés par la communauté.

Par exemple, une communauté spécialisée dans le droit, la bio-médecine ou les langues à ressources faibles peut collaborer pour créer un jeu de données, le stocker sur Walrus et le gérer via le hub de jeux de données IA.

Les jeux de données n'appartiennent pas à une seule entreprise, mais ne sont pas non plus sans propriétaire.

Le pouvoir de décision d'ouvrir l'accès, la tarification ou la mise à jour du jeu de données peut être coordonné via un DAO.

C'est quelque chose que je n'ai presque jamais vu Web2 réaliser efficacement.

Bien sûr, je ne pense pas que Walrus soit la balle d'argent.

L'entraînement de l'IA nécessite un débit élevé, tandis que le stockage décentralisé privilégie la durabilité et l'intégrité.

Mais en réalité, tous les pipelines modernes ont des caches, du préchargement et des couches de streaming.

Pour moi, Walrus devrait jouer le rôle de source de vérité, tandis que la performance est optimisée au niveau supérieur.

Enfin, le hub de jeux de données IA stocke les données d'entraînement sur Walrus, pour moi, ce n'est pas seulement une question d'infrastructure.

C'est ma vision de l'avenir de l'IA : un endroit où les données sont considérées comme des actifs, où les contributeurs de données ont des droits clairs, et où le modèle n'est qu'une couche de valeur construite sur des données transparentes.

Si l'IA veut vraiment devenir un bien public à long terme, la façon dont nous stockons et gérons les données d'entraînement dès maintenant déterminera beaucoup de choses à venir.