Группа исследователей из университетов Израиля и США разработали (PDF) технику определения содержимого экрана при помощи анализа звуковых колебаний, исходящих от LCD-мониторов. Представлено несколько прототипов атак, которые позволяют определить открываемые в браузере типовые сайты, распознать вводимые через виртуальную клавиатуру символы и даже с определённой вероятностью воссоздать текст, вводимый в полях ввода.

Атаке оказались подвержены различные модели мониторов от разных производителей, включая мониторы от Dell, Samsung, HP, ViewSonic, Philips, Soyo и Apple. Самый старый из протестированных мониторов был выпущен в 2003 году, а самый новый в 2017. Суть метода состоит в сопоставлении незначительных высокочастотных звуков, которые монитор издаёт во время вывода изображения, с реальным содержимым экрана. Звук издают цепи питания и его характер зависит от энергопотребления, которое меняется в зависимости от выводимой на экран информации.

Таким образом, экранный вывод модулируется в звуковой фон и различная информация имеет свою звуковую сигнатуру. Для определения связи применяется система машинного обучения, для которой требуется проведение калибровки и создание индивидуальной модели. Модель машинного обучения строится с учётом характеристик звуковых колебаний конкретного монитора и микрофона, а также привязывается к выводу типового содержимого (например, перебираются разные варианты ввода на определённом сайте, и в дальнейшем модель может применяться при работе пользователя с этим сайтом).

Для приёма высокочастотного звука достаточно встроенного в web-камеру микрофона, микрофона положенного рядом смартфона или умных колонок, таких как Amazon Echo или Google Home. При этом у атакующего не обязательно должен быть доступ к системе, так как возможно совершение атаки через анализ фоновых звуков во время проведения видеоконференции (атака протестирована с использованием Google Hangouts) или через изучение архивных записей. При использовании специализированного направленного микрофона проведение атаки возможно на расстоянии до 10 метров от монитора.

В ходе эксперимента продемонстрирована возможность использования микрофона для определения текста, вводимого для отправки по электронной почте или через мессенджер. Тем не менее, атака представляет скорее теоретический интерес и достаточно трудна для реализации на практике. Например, кроме создания индивидуальной модели машинного обучения для успешного проведения эксперимента по определению отображаемого на экране текста требовалось выполнение ряда дополнительных условий, таких как достаточно большой размер отображаемых символов, применение моноширинного шрифта и посимвольный ввод текста в форме с заранее известным окружением (например, атакующий должен знать на каком сайте заполняется форма). Для осуществления реальной атаки также требуется учитывать тип и положение микрофона, и отсеивать окружающий шум.

Исследователями было проведено несколько тестов в обычном офисном помещении при наличии шума от другой электронной техники и говорящих в комнате людей. В тесте на определение сайта (были подготовлены модели для 97 популярных сайтов), открытого на экране пользователя, уровень ошибок составил 8% при помещении микрофона или смартфона рядом с экраном и 16% при использовании удалённого направленного микрофона. Учёт положения микрофона позволил снизить уровень ошибок до 3% и 9%.

В тесте на определение вводимых символов точность распознавания составила от 88% до 98%. При проверке 100 тестовых слов правильно удалось определить наиболее вероятное слово в 56 случаях, в 72 случаях введённое слово входило в список 5 наиболее вероятных слов, предложенных системой машинного обучения, предварительно обученной на примерах ввода 55 тысяч слов.