Google Gemini теперь может «видеть» экран Mac: новые возможности ИИ
Google расширила функционал Gemini для macOS: ИИ‑ассистент умеет автоматически редактировать надиктованный текст и анализировать содержимое открытых окон.
Умное диктование в любой программе
Новая функция intelligent dictation включена по умолчанию для всех пользователей Gemini на Mac. В отличие от обычного голосового ввода, система сразу же исправляет текст, удаляя паузы, «засекание» и лишние звуки. Пользователь активирует диктовку нажатием клавиши Fn и произносит фразу, после чего полученный текст появляется в месте текущего курсора, независимо от того, открыто ли окно браузера, почтовый клиент или текстовый редактор.
Это упрощает создание черновиков писем, сообщений и документов, избавляя от необходимости переключаться в отдельный чат‑бот или вручную править полученный результат.
Анализ содержимого экрана
Вторая новинка получила название screen‑aware reasoning. В отличие от диктовки, её использование добровольное: пользователь должен включить её в настройках Gemini. После активации ИИ получает доступ к содержимому всех открытых на мониторе окон.
Благодаря этому Gemini может выполнять более сложные задачи. Например, если открыто приложение с заметками, пользователь может удерживая клавишу Fn сказать: «Сделай по этому краткий итог для дневной встречи». Ассистент прочитает текст на экране, сформирует резюме и вставит его в нужное место.
- Каскадные команды. Пользователь может попросить составить письмо, указав, чтобы ИИ автоматически подтянул данные из открытых файлов.
- Коррекция «на лету». Если в процессе диктовки меняется формулировка, например «Нет, перенеси встречу с 18:30 на 19:00», система понимает контекст и вносит изменения без повторного ввода.
Конфиденциальность и кибербезопасность
Расширенный доступ к рабочему столу повышает риски утечки данных. Основная угроза – так называемые prompt‑injection атаки, когда злоумышленник скрывает вредоносные команды в веб‑странице или документе. При обработке такой информации Gemini может выполнить скрытую инструкцию, например загрузить файл или попытаться получить доступ к локальным данным.
Google рекомендует пользователям включать функцию только при необходимости и внимательно следить за тем, какие окна предоставляются ИИ для анализа.
Планы дальнейшего развития
Обновление Gemini для macOS уже доступно глобально на английском языке. Поддержка дополнительных языков будет добавлена позже. По заявлению компании, дальнейшее развитие будет направлено на улучшение точности распознавания и расширение возможностей взаимодействия с приложениями.