Оптический процессор искусственного интеллекта для снижения энергопотребления центра обработки данных...

Исследователи из Массачусетского технологического института в США и Технического университета Берлина создали процессор оптической нейронной сети со встроенными лазерами, который снижает энергопотребление больших языковых моделей искусственного интеллекта, таких как GPT4.0.

3D-архитектура основана на новейших массивах вертикальных лазеров поверхностного излучения (VCSEL), разработанных группой Reitzenstein в Техническом университете Берлина. Это дает 100-кратное повышение энергоэффективности и 20-кратное улучшение плотности вычислений.

«Это был совместный проект, который был бы невозможен без них», — говорит исследователь Райан Хамерли из Исследовательской лаборатории электроники (RLE) Массачусетского технологического института, который вместе с коллегами запатентовал эту конструкцию.

Система может достичь энергоэффективности 7 фемтоджоулей на операцию (ОП) при вычислительной плотности 6 ТОП/мм2/с1, что представляет собой 100-кратное и 20-кратное улучшение соответственно по сравнению с современными цифровыми процессорами. Ближайшая перспектива может улучшить эти показатели еще на два порядка, открывая возможности машинного обучения от центров обработки данных до децентрализованных устройств.

«Мы ожидаем, что через несколько лет его можно будет масштабировать для коммерческого использования. Например, задействованные лазерные матрицы широко используются для идентификации лица в мобильных телефонах и передачи данных», — говорит Зайджун Чен, первый автор, который проводил работу, будучи постдоком в Массачусетском технологическом институте в RLE, а сейчас является доцентом в Университете Южного университета. Калифорния.

«Размер ChatGPT ограничен мощностью современных суперкомпьютеров. Просто экономически невыгодно обучать модели гораздо большего размера. Наша новая технология может позволить перейти к моделям машинного обучения, которые в противном случае были бы недоступны в ближайшем будущем», — сказал Дирк Инглунд, доцент кафедры электротехники и информатики Массачусетского технологического института и руководитель работы.

«Мы не знаем, какими возможностями будет обладать ChatGPT следующего поколения, если он будет в 100 раз мощнее, но это тот режим открытий, который может обеспечить технология такого рода». Энглунд также является руководителем Лаборатории квантовой фотоники Массачусетского технологического института и связан с RLE и Лабораторией исследования материалов.

Дополнительными соавторами текущей статьи Nature Photonics являются Александр Слуддс, Рональд Дэвис, Ян Кристен, Лиана Бернштейн и Ламия Атешян, все из RLE; и Тобиас Хойзер, Нильс Хеермайер, Джеймс А. Лотт и Стефан Райценштайн из Технического университета Берлина.

Чен, Хамерли и Энглунд подали заявку на патент на эту работу, спонсорами которой выступили Исследовательский офис армии США и исследовательская компания NTT в Японии, а также Фонд Volkswagen в Германии.