10.06.2021

Нейронный процессор


Нейронный процессор (англ. Neural Processing Unit, NPU или ИИ-ускоритель англ. AI accelerator) — это специализированный класс микропроцессоров и сопроцессоров (часто являющихся специализированной интегральной схемой), используемый для аппаратного ускорения работы алгоритмов искусственных нейронных сетей, компьютерного зрения, распознавания по голосу, машинного обучения и других методов искусственного интеллекта.

Описание

Нейронные процессоры относятся к вычислительной технике и используются для аппаратного ускорения эмуляции работы нейронных сетей и цифровой обработки сигналов в режиме реального времени. Как правило, нейропроцессор содержит регистры, блоки памяти магазинного типа, коммутатор и вычислительное устройство, содержащее матрицу умножения, дешифраторы, триггеры и мультиплексоры.

На современном этапе (по состоянию на 2017 год) к классу нейронных процессоров могут относится разные по устройству и специализации типы чипов, например:

  • Нейроморфные процессоры — построенные по кластерной асинхронной архитектуре, разработанной в Корнеллском университете (принципиально отличающейся от фон Неймановской и Гарвардской компьютерных архитектур, используемых последние 70 лет в IT-отрасли). В отличие от традиционных вычислительных архитектур, логика нейроморфных процессоров изначально узкоспециализирована для создания и разработки разных видов искусственных нейронных сетей. В устройстве используются обычные транзисторы, из которых строятся вычислительные ядра (каждое ядро, как правило, содержит планировщик заданий, собственную память типа SRAM и маршрутизатор для связи с другими ядрами), каждое из ядер эмулирует работу нескольких сотен нейронов и, таким образом, одна интегральная схема, содержащая несколько тысяч таких ядер, алгоритмически может воссоздать массив из нескольких сотен тысяч нейронов и на порядок больше синапсов. Как правило, такие процессоры применяются для алгоритмов глубокого машинного обучения.
  • Тензорные процессоры — устройства, как правило, являющиеся сопроцессорами, управляемыми центральным процессором, оперирующие тензорами — объектами, которые описывают преобразования элементов одного линейного пространства в другое и могут быть представлены как многомерные массивы чисел, обработка которых осуществляется с помощью таких программных библиотек, как, например TensorFlow. Они, как правило, оснащаются собственной встроенной оперативной памятью и оперируют низкоразрядными (8-битными) числами, и узкоспециализированы для выполнения таких операций, как матричное умножение и свёртка, используемая для эмуляции свёрточных нейронных сетей, которые используются для задач машинного обучения.
  • Процессоры машинного зрения — во многом похожи на тензорные процессоры, но они узкоспециализированы для ускорения работы алгоритмов машинного зрения, в которых используются методы свёрточных нейронных сетей (CNN) и масштабно-инвариантная трансформация признаков (SIFT). В них делается большой акцент на распараллеливание потока данных между множеством исполнительных ядер, включая использование модели блокнотной памяти — как в многоядерных цифровых сигнальных процессорах, и они так же, как тензорные процессоры, используются для вычислений c низкой точностью, принятой при обработке изображений.

История

Области применения

  • Беспилотный автомобиль — например, в этом направлении развивает свои платы Drive PX-series компания Nvidia.
  • Беспилотный летательный аппарат — например, навигационная система основанная на чипах Movidius Myriad 2 успешно управляет автономными беспилотными летательными аппаратами.
  • Диагностика в здравоохранении.
  • Машинный перевод.
  • Обработка естественного языка.
  • Поисковая система — NPU повышают энергоэффективность центров обработки данных, и дают возможность использовать все более сложные запросы.
  • Промышленный робот — NPU позволяют расширить спектр задач, которые возможно автоматизировать, путём добавления приспособляемости к меняющимся ситуациям.
  • Распознавание по голосу — например, в мобильных телефонах использование технологии Qualcomm Zeroth
  • Сельскохозяйственный робот — например, борьба с сорняками без применения химических средств.

Примеры

Существующие продукты

  • Процессоры машинного зрения:
    • Intel Movidius Myriad 2, который является многоядерным ИИ-ускорителем, основанным на VLIW-архитектуре, с дополненными узлами, предназначенными для обработки видео.
    • Mobileye EyeQ — это специализированный процессор, ускоряющий обработку алгоритмов машинного зрения для использования в беспилотном автомобиле.
  • Тензорные процессоры:
    • Google TPU (англ. Tensor Processing Unit) — представлен как ускоритель для системы Google TensorFlow, которая широко применяется для свёрточных нейронных сетей. Сфокусирован на большом объёме арифметики 8-битной точности.
    • Huawei Ascend 310 / Ascend 910 — первые два чипа оптимизированные под решения задач искусственного интеллекта из линейки Ascend компании Huawei.
    • Intel Nervana NNP (англ. Neural Network Processor) — это первый коммерчески доступный тензорный процессор, предназначенный для постройки сетей глубокого обучения, компания Facebook была партнёром в процессе его проектирования.
    • Qualcomm Cloud AI 100 — ускоритель искусственного интеллекта предназначенный для использования в составе облачных платформ, поддерживающий программные библиотеки PyTorch, Glow, TensorFlow, Keras и ONNX.
  • Нейроморфные процессоры:
    • IBM TrueNorth — нейроморфный процессор, построенный по принципу взаимодействия нейронов, а не традиционной арифметики. Частота импульсов представляет интенсивность сигнала. По состоянию на 2016 год среди исследователей ИИ нет консенсуса, является ли это правильным путём для продвижения, но некоторые результаты являются многообещающими, с продемонстрированной большой экономией энергии для задач машинного зрения.
  • Adapteva Epiphany — предназначен как сопроцессор, включает модель блокнотной памяти сети на кристалле, подходит к модели программирования потоком информации, которая должна подходить для многих задач машинного обучения.
  • ComBox x64 Movidius PCIe Blade board - плата расширения PCI Express с максимальной плотностью VPU Intel Movidius (MyriadX) для инференса сверхточных нейронных сетей в ЦОД
  • Cambricon MLU100 — карта расширения PCI Express с ИИ-процессором мощностью 64 TFLOPS с половинной точностью или 128 TOPS для вычислений INT8.
  • Cerebras Wafer Scale Engine (WSE, CS-1) — экспериментальный суперпроцессор компании Cerebras, содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM, и всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Чип Cerebras ― это фактически суперкомпьютер на чипе, где вычислительные ядра SLAC (Sparse Linear Algebra Cores) ― полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями.
  • KnuPath — процессор компании KnuEdge, предназначен для работы в системах распознавания речи и прочих отраслях машинного обучения, он использует соединительную технологию LambdaFabric и позволяет объединять в единую систему до 512 тысяч процессоров.

GPU-продукты

  • Nvidia Tesla — серия специализированных GPGPU-продуктов компании Nvidia:
    • Nvidia Volta — графические процессоры (GPU) архитектуры Volta (2017 год) компании Nvidia (такие как Volta GV100), содержат до 640 специальных ядер для тензорных вычислений.
    • Nvidia Turing — графические процессоры архитектуры Turing (2018 год) компании Nvidia (такие как Nvidia TU104), содержат до 576 специальных ядер для тензорных вычислений.
    • Nvidia DGX-1 — специализированный сервер, состоящий из 2 центральных процессоров и 8 GPU Nvidia Volta GV100 (5120 тензорных ядер), связанных через быструю шину NVLink. Специализированная архитектура памяти у этой системы является особенно подходящей для построения сетей глубокого обучения.
  • AMD Radeon Instinct — специализированная GPGPU-плата компании AMD, предлагаемая как ускоритель для задач глубокого обучения.

ИИ-ускорители в виде внутренних сопроцессоров (аппаратных ИИ-блоков)

  • Cambricon-1A — NPU-блок в ARM-чипах Huawei Kirin 970 разработанный компанией Cambricon Technologies.
  • CEVA NeuPro — семейство лицензируемых ИИ-процессоров для глубокого обучения компании CEVA, Inc..
  • Neural Engine — ИИ-ускоритель внутри ARM-чипов Apple A11 Bionic и A12 Bionic SoC.
  • PowerVR 2NX NNA (Neural Network Accelerator) — семейство лицензируемых IP-модулей для машинного обучения компании Imagination Technologies.

Научные исследования и разрабатываемые продукты

  • Индийский технологический институт в Мадрасе — разрабатывает ускоритель на импульсных нейронах для новых систем архитектуры RISC-V, направленных на обработку больших данных на серверных системах.
  • Eyeriss — разработка, направлена на свёрточные нейронные сети, с применением блокнотной памяти и сетевой архитектуры в пределах кристалла.
  • Fujitsu DLU — многоблочный и многоядерный сопроцессор компании Fujitsu использующий вычисления с низкой точностью и предназначенный для глубокого машинного обучения.
  • Intel Loihi — нейроморфный процессор компании Intel который сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку. Например при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети.
  • Kalray — показала MPPA и сообщила о повышении эффективности свёрточных нейронных сетей в сравнении с GPU.
  • SpiNNaker — массово-параллельная компьютерная архитектура, которая сочетает ядра традиционной ARM-архитектуры с усовершенствованной сетевой структурой, специализированной для моделирования крупной нейронной сети.
  • Zeroth NPU — разработка компании Qualcomm, направленная непосредственно на привнесение возможностей распознавания речи и изображений в мобильные устройства.
  • IVA TPU — тензорный процессор, над созданием которого работает российская компания IVA Technologies. В октябре 2020 года были опубликованы результаты тестирования архитектуры ускорителя расчета нейронных сетей IVA TPU, проведенного международным консорциумом MLPerf (учрежден в 2018 году Baidu, Google, Harvard University, Stanford University, University of California, Berkeley).





Яндекс.Метрика