Кластеры GPU для графических вычислений нового уровня

Подход, получивший название IndeX, при котором осуществляется кластеризация графических ядер (GPU) с объединением циклов вычислений и рендеринга изображения, подтолкнул Nvidia к выработке новой архитектуры Pascal. Новое решение базируется на предыдущем, но имеет большую пропускную способность, возможности и эффективность.

Фактически, до сегодняшнего дня при параллельных вычислениях вовлекался один графический процессор, и он давал 10- и 100-кратное ускорение в некоторых типах задач. Однако потребности постоянно растут, поэтому появилась идея объединять кластеры серверов с графическими ускорителями и достигать большей производительности. Такая схема с использованием кластеров для визуализации огромных массивов данных получила название IndeX.

Но прогресс требует ещё большего. Однако что будет, если мы смогли бы объединить множество графических ядер в рамках одного кластера?

Теперь средства межъядерной коммуникации типа GPU-GPU, получившие название NVlink, позволяют достичь нового уровня. NVlink даёт возможность масштабировать множество графических ядер в кластер, а также масштабировать сами кластеры. Просто представьте, какую биткоин-ферму можно было бы собрать.

Интерактивная визуализация объёмных данных очень важна для экспертов в различных областях. Насыщенные 3-мерные изображения используются в медицинских исследованиях, метеорологии, геофизике. Это очень и очень большие объёмы данных.

Объём данных, генерируемый при высокоточном моделировании, может быть экстремально большим. Традиционные методы визуализации упираются в свои пределы, а исследователям нужен новый уровень возможностей.

Типичное исследование подземных ресурсов может достигать размеров 80 х 120 км при глубине до 8-10 км и более. Геологам необходима точность, как минимум до 20 м, что примерно соответствует 60 Б на точку и 20 ГБ на один кадр. Специалисты делают множество кадров.

Если взглянуть на приведённый рисунок, то можно отметить голубые и оранжевые слои. Представьте, что один из этих слоёв перемещается, отображая подземную структуру. Такие «фильмы» воспроизводятся при частоте кадров 30 FPS. При медицинской диагностике (МРТ) решаются аналогичные задачи с подобными объёмами данных.

Медицинские и геофизические исследования (а также ряд других) критически важны. А теперь представьте погодные системы, моделирование ядерных взрывов и «краш» тестов автомобилей – какие огромные объёмы данных необходимо обрабатывать, и обрабатывать быстро!

IndeX

Для возможности управления большими объёмами данных и использования преимуществ параллельной обработки при помощи GPU, Nvidia разработала схему, в которой графические процессоры образуют кластеры, связанные по локальной сети (графические процессоры взаимодействуют друг с другом по интерфейсу PCIe либо InfiniBand).

Схема, которую Nvidia назвала IndeX, позволяет масштабировать от одного до N кластеров. Программная инфраструктура схемы содержит масштабируемые вычислительные алгоритмы, исполняемые на отдельных рабочих станциях, или на выделенных GPU кластерах (что более вероятно). По существу, IndeX объединяет циклы вычислений и рендеринга в одной интерактивной системе. И это очень важный момент. Возможность задействовать вычислительную мощь выделенного GPU кластера посредством кластера рендеринга выводит интерактивные графические вычисления на новый уровень.

Этот замечательный подход используется в различных системах. Но необходима ещё большая производительность. Одним из способов её повышения является реализация более эффективного взаимодействия между графическими процессорами. Такую систему Nvidia показала на выставке GPU Technology Conference.

Pascal

Платформа Pascal, заслуживающая отдельной статьи, имеет множество интересных особенностей, не последней из которых является наличие встроенной, или корректнее будет сказать, надстроенной памяти. В Pascal предусмотрены связанные между собой структуры памяти. Это не только ведёт к более компактному корпусу, но и, что более важно, обеспечивает 4-кратным повышением производительности GPU (около 1 ТБ/с), 3-кратным повышением ёмкости и 4-кратным улучшением энергетической эффективности.

Решение уже само по себе обеспечивает улучшением рабочих характеристик, но Nvidia пошла дальше и реализовала межпроцессорное взаимодействие GPU-GPU, за счёт которого несколько процессоров работают как одно гигантское устройство.

На сегодняшний день обычные системы имеют один или несколько графических процессоров, связанных с центральным процессором по шине PCI Express. Даже на самых высоких скоростях интерфейса PCIe 3.0 (8 млрд. пересылок в сек. на одну линию) при большом количестве линий (до 16) пропускная способность меркнет по сравнению со скоростью обмена данными между GPU и системной памятью.

Средства связи NVLink предоставляют более эффективный и широкополосный канал между GPU и центральным процессором с пропускной способностью, превышающей скорость обмена PCIe 3.0 в 5-12 раз (80 – 200 ГБ/с).

Астрономические цифры, не так ли? И такие цифры нужны, поскольку объёмы данных и скорости обмена лишь растут. Забавная игра слов, но новая платформа с астрономическими цифрами также улучшит астрофизические и астрономические исследования. Системы от Nvidia используются для изучения Большого взрыва – это действительно огромный массив данных.

Хорошие новости заключаются в том, что затраты и энергопотребление новой платформы вовсе не астрономические. Энергетические затраты в 10 раз меньше от того значения, которое предполагалось ещё 4 года назад (для эквивалентной вычислительной мощности).

Наступает новая фаза и новые границы понимания комплексных систем и явлений, например в изучении погоды, геофизики, механики и человеческого тела. Пройдут десятки лет, и наша жизнь станет намного лучше благодаря чудесам медицины и возможностям управления сложными системами. Мы оглянемся назад с улыбкой и удивимся, как люди жили тогда с такими примитивными техническими средствами?