Одобренный сообществом клон e4eeb3 в предложении 13094 завершает этап циклотрона в дорожной карте ICP.
Цель этого этапа — обеспечить возможность вывода моделей ИИ с миллионами параметров в сети, что является первым шагом на пути к более амбициозной цели — обучения в сети и вывода крупномасштабных моделей ИИ.
Как мы все знаем, рабочие нагрузки ИИ требуют больших вычислительных ресурсов, а вывод моделей ИИ с миллионами параметров требует миллиардов арифметических операций, таких как умножение и сложение. Это означает, что для поддержки вывода в цепочке блокчейнам необходима способность обрабатывать миллиарды операций в секунду.
Этап Cyclotron увеличивает вычислительную мощность ICP на порядок (примерно в 10 раз), что делает его единственным блокчейном, имеющим рабочий пример смарт-контракта, который полностью выполняет распознавание лиц внутри цепочки, а также другие варианты использования, такие как классификация изображений. и GPT2 (разработанный DecideAI).
Посмотрите демонстрационное видео Доминика Уильямса по распознаванию лиц в начале этой статьи.
Основа сетевых вычислений искусственного интеллекта
Виртуальная машина является частью блокчейна и имеет решающее значение для вычислений ИИ, поскольку она может выполнять код смарт-контрактов. Функции и производительность виртуальной машины напрямую влияют на то, сколько вычислений ИИ может выполнить смарт-контракт.
Например, EVM — это виртуальная машина Ethereum. Она специально создана для смарт-контрактов DeFi и в ней отсутствуют такие функции, как операции с плавающей запятой, необходимые для вычислений ИИ. Напротив, ICP использует WebAssembly в качестве виртуальной машины, а WebAssembly поддерживает числа с плавающей запятой. . И разработан с нуля для обеспечения производительности, близкой к нативной.
Идея Cyclotron заключается в том, чтобы выжать из виртуальной машины ICP как можно больше производительности с плавающей запятой.
Оптимизация 1: Детерминированные операции с плавающей запятой
Большинство библиотек и инфраструктур искусственного интеллекта полагаются на операции с плавающей запятой, а в контексте ICP операции с плавающей запятой должны быть детерминированными, то есть они должны давать одинаковые предсказуемые результаты с использованием одних и тех же входных операндов.
Это детерминированное свойство важно, поскольку ICP выполняет один и тот же код на нескольких узлах, а затем запускает свой алгоритм консенсуса для установления правильного результата. Если операция с плавающей запятой не является детерминированной, узлы могут не согласиться, что препятствует развитию блокчейна.
Инженеры DFINITY нашли способ ускорить детерминированные операции с плавающей запятой в реализации виртуальной машины WebAssembly под названием Wasmtime, низкоуровневой оптимизации компилятора, которая создает более быстрый код, который приносит пользу не только ICP, но и приносит пользу другим платформам и блокчейнам, использующим Wasmtime.
Оптимизация 2: одна инструкция, несколько данных (SIMD)
SIMD — это технология, поддерживаемая всеми современными процессорами, которая позволяет процессору выполнять несколько арифметических операций с помощью одной инструкции. Например, WebAssembly может выполнять четыре параллельных сложения с плавающей запятой, используя одну инструкцию, как показано на рисунке ниже.
WebAssembly SIMD также может обрабатывать целые числа; например, он может выполнять 16 параллельных арифметических операций над небольшими 8-битными целыми числами, что потенциально повышает производительность в 4–16 раз в зависимости от типа чисел и операций.
Смарт-контракты, работающие на ICP, теперь могут использовать детерминированные инструкции SIMD и получать преимущества от параллельных вычислений. Узнайте, как компилировать смарт-контракты с использованием SIMD:
github.com/dfinity/examples/tree/master/rust/simd
Оптимизация 3: поддержка SIMD в механизме вывода AI
Последней частью головоломки Cyclotron является добавление поддержки WebAssembly SIMD в библиотеку искусственного интеллекта, при этом инженеры DFINITY вносят реализацию WebAssembly SIMD в механизм вывода Sonos Tract с открытым исходным кодом.
Новый код использует инструкции SIMD для реализации умножения матриц и других числовых алгоритмов, аналогичных первым оптимизациям в Wasmtime, что приносит пользу не только ICP, но и более широкому сообществу разработчиков.
результат
В совокупности эти оптимизации улучшают численное микротестирование в 28 раз, при этом наблюдаемые улучшения варьируются от 5 до 19 раз в зависимости от модели в сквозных рабочих нагрузках вывода ИИ, как показано на рисунке ниже.
Исходный код смарт-контрактов, содержащих эти модели ИИ, доступен на GitHub, поэтому любой может воспроизвести и проверить результаты:
Классификация изображений: это модель MobileNet, которая классифицирует входное изображение и возвращает наиболее вероятную метку из 1000 известных меток, сокращая количество инструкций Wasm, необходимых для выполнения одного вывода, с 24,7 миллиардов до 3,7 миллиардов.
Обнаружение лиц: это модель Ultraface, которая может найти ограничивающую рамку лица на входном изображении, сокращая количество инструкций Wasm, необходимых для выполнения одного вывода, с 6,1 миллиарда до 1,2 миллиарда.
Распознавание лиц: это модель, которая рассчитывает векторное встраивание входных изображений лица. Количество инструкций Wasm, необходимых для выполнения одного вывода, уменьшено с 77 миллиардов до 9 миллиардов. Предел выполнения в основной сети составляет 40 миллиардов инструкций. означает, что предыдущее распознавание лиц не может работать в основной сети и может работать только локально на исправленных репликах.
GPT2: это модель GPT2, которую DecideAI преобразовала в смарт-контракты с помощью своей среды ржавчины-connect-py-ai-to-ic. Подробности теста описаны на GitHub.
Тесты проводились в dfx версии 0.20.1 (базовая версия) и версии 0.22.0-beta.0 (Cyclotron).
в заключение
Этап Cyclotron приближает производительность вычислений ИИ на ICP к производительности собственного процессора за счет оптимизации операций с плавающей запятой и включения инструкций WebAssembly SIMD. Он поддерживает обработку моделей с миллионами параметров, таких как классификация изображений, распознавание лиц и GPT2. Рассуждения ИИ.
Это первый шаг к полному использованию крупномасштабных моделей ИИ в цепочке для решения проблемы доверия к ИИ. Следующая веха в области ИИ в дорожной карте ICP направлена на преодоление ограничений ЦП для выполнения выводов ИИ и крупномасштабной модели. обучение цепочке требует умных контрактов. Метод выполнения вычислительных вычислений и вычислений с интенсивным использованием памяти на специализированном оборудовании, таком как графические процессоры.
Следите за обновлениями Gyrotron.
#AI模型 #DEAI🤖🤖🤖 #gpt4 $BTC $ETH $ICP
IC-контент, который вам важен
Технологический прогресс | Информация о проекте Глобальные события |
Собирайте и следите за IC Binance Channel
Будьте в курсе самой последней информации