' style='fill:%23c4c4c4;fill-opacity:1'%3E%3Cpath d='M93.28-57.4h2.52l-6.33 11.74h-2.6l6.41-11.75zM98.5-57.4h2.52L94.7-45.67h-2.6l6.4-11.75zM103.78-57.4h2.52l-6.33 11.74h-2.6l6.4-11.75z'/%3E%3C/a%3E%3C/svg%3E)
Нейросеть научили воссоздавать изображения, о которых думает человек
Японские ученые создали нейросеть, которая может воссоздавать изображения предметов, основываясь на мозговой активности людей, которые на них смотрят. Нейросеть способна реконструировать буквы, фигуры, изображения животных и предметов, пишет N+1 со ссылкой на препринт ученых.
Разработчики из Киотского университета под руководством Юкиасу Камитани создали сеть, которая отслеживает мозговую активность и на основе полученных данных воспроизводит изображение, о котором думает или на которое смотрит человек. Эту систему «обучали» в ходе эксперимента, когда испытуемым по пять раз показывали 1200 разных изображений, а нейросеть запоминала мозговую активность, которая соответствует каждому изображению.
Чтобы создаваемые программой изображения были максимально похожи на оригинал, разработчики ввели дополнительную нейросеть — глубокая генеративная нейросеть (DGN).
Ученые утверждают, что попиксельное сравнение исходного и полученного изображения оказалось эффективным на 79,7% без дополнительной DGN и на 76,1 — с ее использованием. Люди угадывали, что изображено на полученном изображении в 99,1% случаев с DGN и 96,5% без нее. По мнению ученых, это означает, что улучшение изображения с помощью дополнительной нейросети помогает людям узнавать картинки.
Ученые обещают, что продолжат совершенствовать технологию, поскольку пока лучшие результаты она показала при реконструировании простых форм и цифр, но не реальных объектов.
