FuriosaAI представила чип RNGD AI Inference для центров обработки данных

RNGD станет самым эффективным ускорителем для больших языковых моделей и мультимодальных выводов в центрах обработки данных.

Компания FuriosaAI на выставке Hot Chips 2024 анонсировала свой новейший ИИ-ускоритель RNGD (произносится как "Ренегат"). Этот чип нацелен на то, чтобы стать лидером среди ускорителей для обработки данных в центрах обработки, особенно при работе с большими языковыми моделями (LLM) и мультимодальными моделями вывода. RNGD претендует на роль революционного устройства, способного изменить рынок, на котором доминируют давно установившиеся лидеры и крупные стартапы в области ИИ.

FuriosaAI, основанная в 2017 году тремя инженерами, ранее работавшими в таких компаниях, как AMD, Qualcomm и Samsung, продемонстрировала быстрые темпы инноваций. Это позволило компании оперативно разработать и запустить чип RNGD. После получения образцов кремния от партнера, TSMC, компания быстро завершила процесс внедрения чипа, что подтвердило репутацию FuriosaAI как компании, способной к быстрым и эффективным разработкам. Первый чип компании, выпущенный в 2021 году, продемонстрировал результаты бенчмарка MLPerf всего через три недели после получения кремния, а благодаря улучшению компилятора показатели были увеличены на 113 % к следующей презентации.

Первые тесты RNGD показали выдающуюся производительность на таких моделях, как GPT-J и Llama 3.1. При работе с моделями, содержащими около 10 миллиардов параметров, чип достиг производительности от 2000 до 3000 токенов в секунду на одной PCIe-карте RNGD, что зависит от длины контекста.

Генеральный директор FuriosaAI заявил, что запуск RNGD — это важная веха для компании, отражающая многолетнюю работу и быструю интеграцию новых кремниевых технологий. RNGD разрабатывался с целью предоставить доступное и энергоэффективное решение для ИИ-выводов, и компания продолжает совершенствовать и развивать этот продукт. По словам генерального директора, скорость и слаженность работы команды вызывают особую гордость.

На выставке Hot Chips компания FuriosaAI представила бенчмарки, демонстрирующие возможности RNGD, в рамках сессии под названием "Furiosa RNGD: процессор тензорного сжатия для устойчивых вычислений ИИ". В ходе сессии была продемонстрирована производительность RNGD через живую демонстрацию, показавшую его функциональность и потенциал.

Основные особенности RNGD включают нематмульную архитектуру Tensor Contraction Processor (TCP), которая обеспечивает идеальный баланс между производительностью, эффективностью и гибкостью программирования. Уникальный компилятор, оптимизированный для TCP, обрабатывает целые модели как единые операции, что позволяет достичь высокой скорости и эффективности. Важным преимуществом RNGD является его низкое энергопотребление — всего 150 Вт, что значительно ниже по сравнению с более чем 1000 Вт у ведущих GPU. При этом 48 ГБ памяти HBM3 позволяют моделям, таким как Llama 3.1 8B, работать на одной карте без задержек.

Руководитель компании Supermicro высоко оценил чип RNGD, назвав его важным шагом для продвижения "зеленых" вычислений. Он отметил, что интеграция RNGD в системы Supermicro обеспечит значительное сокращение энергопотребления без снижения вычислительных возможностей, что особенно важно для современных центров обработки данных, стремящихся к повышенной энергоэффективности. Этот чип, по его словам, станет важным элементом в создании устойчивых и мощных вычислительных систем.

Маркетинговый директор GUC также выделил RNGD как пример высочайшей инженерной точности и энергоэффективности. Он подчеркнул, что показатели производительности и энергоэффективности чипа являются одними из лучших в отрасли, что делает его перспективным решением для широкого применения в ИИ-вычислениях.

На данный момент RNGD проходит тестирование в рамках программ раннего доступа, и его коммерческое внедрение ожидается в начале 2025 года, когда чип станет доступен для более широкого круга пользователей.