EdgeCortix запускает новую волну GenAI на границе вычислений

Последняя новинка EdgeCortix, ускоритель искусственного интеллекта SAKURA-II Edge AI, предназначена для решения самых сложных задач генеративного искусственного интеллекта в отрасли.

Полупроводниковая компания EdgeCortix Inc. представила ускоритель SAKURA-II Edge AI. Это устройство нового поколения с архитектурой Dynamic Neural Accelerator (DNA) создано для эффективного управления сложными рабочими нагрузками генеративного искусственного интеллекта (GenAI).

SAKURA-II отличается гибкостью и энергоэффективностью, позволяя пользователям справляться с широким спектром сложных задач, таких как большие языковые модели (LLM), большие модели зрения (LVM) и мультимодальные приложения на основе трансформеров, даже в жестких условиях граничных вычислений. Благодаря низкой задержке, отличной пропускной способности памяти, высокой точности и компактному дизайну, SAKURA-II обеспечивает исключительную производительность и экономическую эффективность в различных приложениях краевого ИИ.

SAKURA-II подходит для различных отраслей, включая производство, Индустрию 4.0, безопасность, робототехнику, аэрокосмическую промышленность и телекоммуникации. В SAKURA-II используется передовой нейронный процессор DNA-II от EdgeCortix. Этот движок обеспечивает энергоэффективность и обработку в реальном времени, позволяя одновременно запускать несколько моделей глубоких нейронных сетей с минимальной задержкой. SAKURA-II может выполнять до 60 триллионов операций в секунду (TOPS) в 8-битных целых числах и 30 триллионов 16-битных операций с плавающей запятой в секунду (TFLOPS), поддерживая смешанную точность для удовлетворения жестких требований приложений ИИ нового поколения.

Платформа SAKURA-II дополнена сложным программным комплексом MERA, включающим платформу гетерогенных компиляторов, расширенное квантование и калибровку моделей. Этот пакет поддерживает такие популярные фреймворки для разработки, как PyTorch, TensorFlow Lite и ONNX.

Унифицированная среда выполнения MERA для операций между хостом и ускорителем масштабируется на одно-, многочиповых и многокарточных системах, что значительно упрощает выводы ИИ и сокращает время развертывания для специалистов по обработке данных. Кроме того, библиотека моделей MERA, легко взаимодействующая с Hugging Face Optimum, предоставляет доступ к широкому спектру моделей-трансформеров, обеспечивая плавный переход от обучения к выводам по краям.

SAKURA-II будет доступен в виде отдельного устройства, с двумя типами модулей M.2, предлагающими различную емкость DRAM, а также в виде низкопрофильных PCIe-карт с одним и двумя устройствами. Покупатели уже сейчас могут оформить предварительный заказ на модули M.2 и карты PCIe, которые будут поставлены во второй половине 2024 года.