EdgeCortix представляет передовой ИИ-ускоритель для генеративного искусственного интеллекта

EdgeCortix представляет ускоритель искусственного интеллекта SAKURA-II Edge AI, созданный для решения самых сложных задач генеративного искусственного интеллекта (GenAI) на рынке.

Компания EdgeCortix Inc., производитель полупроводников без фабрики, выпустила ускоритель SAKURA-II Edge AI с инновационной архитектурой Dynamic Neural Accelerator (DNA) второго поколения. Это устройство разработано для эффективного решения самых сложных задач в области GenAI.

SAKURA-II отличается гибкостью и энергоэффективностью, позволяя пользователям легко справляться с различными сложными задачами, такими как большие языковые модели (LLM), большие модели зрения (LVM) и мультимодальные приложения на основе трансформеров, и все это при работе в жестких условиях на границе. Ускоритель характеризуется низкой задержкой, высокой пропускной способностью памяти, высокой точностью и компактным форм-фактором, обеспечивая исключительную производительность и экономическую эффективность для широкого спектра приложений ИИ на границе.

Идеально подходящий для таких отраслей, как производство, Индустрия 4.0, безопасность, робототехника, аэрокосмическая промышленность и телекоммуникации, SAKURA-II включает последнее поколение реконфигурируемого во время выполнения движка нейронной обработки EdgeCortix, DNA-II. Этот конфигурируемый блок интеллектуальной собственности повышает энергоэффективность и улучшает обработку в реальном времени, обеспечивая одновременное выполнение нескольких моделей глубоких нейронных сетей с минимальной задержкой.

Производительность SAKURA-II достигает 60 триллионов операций в секунду (TOPS) в 8-битных целых числах и 30 триллионов 16-битных операций с плавающей запятой в секунду (TFLOPS), а также поддерживает смешанную точность, чтобы соответствовать жестким требованиям задач ИИ нового поколения.

Платформа SAKURA-II дополнена передовым программным комплексом MERA, который включает в себя платформу гетерогенных компиляторов, расширенные возможности квантования и калибровки моделей. Этот пакет обеспечивает встроенную поддержку ведущих фреймворков разработки, таких как PyTorch, TensorFlow Lite и ONNX.

Унифицированная среда выполнения MERA масштабируется на одно-, многочиповых и многокарточных системах, что позволяет упростить процесс вывода ИИ и сократить время развертывания для специалистов по обработке данных. Кроме того, интеграция с библиотекой моделей MERA и бесшовный интерфейс с Hugging Face Optimum предоставляют пользователям доступ к огромному количеству новейших моделей-трансформеров, обеспечивая плавный переход от обучения к выводу на границе.

SAKURA-II будет доступен в виде отдельного устройства, двух типов модулей M.2 с различной емкостью DRAM, а также низкопрофильных PCIe-карт с одним и двумя устройствами. Клиенты могут оформить предварительный заказ на модули M.2 и карты PCIe уже сейчас, а поставки запланированы на вторую половину 2024 года.