Теперь вы можете бесплатно разрешить Gemini видеть экран вашего Mac.

Примечание: Самое важное, что вам нужно знать

• В Gemini теперь доступна функция «Умная диктовка» для macOS, которая автоматически удаляет звуковые частоты, такие как «а» и «мм», при наборе текста в любом окне простым нажатием клавиши Fn.
• Теперь Gemini может «понимать» содержимое экрана вашего Mac с помощью функции «Screen Aware Inference» (по умолчанию отключена), что позволяет ей выполнять сложные задачи, такие как составление кратких обзоров заметок или создание электронных писем из ваших файлов.
• Несмотря на преимущества, предоставление Gemini полного доступа к экрану вашего Mac сопряжено с потенциальными рисками для конфиденциальности и безопасности, которые следует учитывать.

Мнения об ИИ могут различаться, но в настоящее время его используют многие люди. Большинство из них ограничиваются использованием чат-ботов, таких как ChatGPT или Gemini, либо в качестве альтернативы Google (не делайте этого), либо в качестве близкого друга ( пожалуйста, не делайте этого тоже ). Но если ваша цель — использовать ИИ в качестве личного помощника, имейте в виду: в среду Google анонсировал два новых обновления для Gemini на macOS, одно из которых может иметь последствия для конфиденциальности и безопасности пользователей — если они решат его включить.

Улучшена функция диктовки для Gemini на macOS.

Если вы используете функцию диктовки в macOS (произносите слова вслух, а искусственный интеллект набирает их за вас), у вас теперь может появиться причина использовать Gemini вместо встроенных решений Apple. На данный момент Gemini в macOS поддерживает «интеллектуальную диктовку», которая, по словам Google, исправляет текст «мгновенно у курсора». Это означает, что Gemini будет удалять шипящие звуки, такие как «э» и «мм», между словами — то, что вы никогда бы не напечатали сами. Эта функция работает в любом окне вашего Mac: просто нажмите клавишу Fn и начните говорить.

Чтобы оценить эффективность этой функции, нам нужно будет увидеть её в действии, но она основана на аналогичных улучшениях, которые Gemini уже внесла на других платформах. Это небольшая доработка, но она позволит использовать Gemini для создания черновиков текстов, электронных писем или документов без необходимости полного автоматического редактирования. Именно такие преимущества я ищу в функциях, работающих на основе ИИ. А поскольку она включена по умолчанию, любой пользователь Gemini на Mac будет её использовать — если только он не зайдёт в настройки, чтобы отключить её.

Теперь Gemini может «понимать» экран вашего Mac.

Второе обновление Google для Gemini на macOS не столь простое и не включено по умолчанию. Эта функция, называемая Google «анализом экрана», позволяет Gemini «понимать», что происходит на экране вашего Mac. Идея заключается в том, чтобы делегировать Gemini задачи: например, если открыто приложение «Заметки», вы можете нажать клавишу Fn и сказать: «Превратить эти заметки в краткое изложение для сегодняшнего совещания». Предполагается, что Gemini будет знать, как просмотреть ваше приложение «Заметки», проанализировать текст и отформатировать его, и все это без необходимости использования отдельного приложения.

Вы также можете составить серию команд: например, попросить Gemini составить электронное письмо для командного ужина и извлечь важную информацию (например, участников, бюджетные требования, диетические ограничения и т. д.) из выбранных файлов на вашем Mac. Затем вы можете попросить Gemini найти в Google Maps рестораны определенного типа и включить их в список вариантов для команды. В любой момент вы можете внести исправления, и Gemini внесет соответствующие корректировки. Например, если вы изначально указали, что командный ужин должен состояться в 18:30 в пятницу, но позже в своей команде добавили: «Извините, ужин должен быть в 19:00», Gemini внесет соответствующие изменения.

Безусловно, у подобных функций есть свои преимущества. Если вы уже используете Gemini на macOS, то разрешение ему «видеть» экран вашего Mac делает его еще более полезным. Вместо того чтобы полагаться на Gemini для всех своих задач, вы могли бы расширить его возможности на весь ваш Mac, причем весьма сложным способом, если Google прав. Но всегда существует риск нарушения конфиденциальности при предоставлении программному обеспечению ИИ полного доступа к тому, что происходит на вашем ПК, а также потенциальный риск для безопасности. Действительно ли вы хотите, чтобы ИИ Google мог видеть все, что происходит на вашем экране?

Конечно, этот риск не так значителен, как тот, который представляют собой реальные агентские программы. Если вы подписаны на более дорогой тарифный план Google по искусственному интеллекту, вы можете получить доступ к Gemini Spark, который может работать независимо на вашем Mac. Самый большой риск, на который следует обратить внимание, — это «внедрение подсказок», когда хакеры скрывают вредоносные команды для вашего ИИ на веб-сайтах. Если вы поручите своему ИИ задание, и он столкнется с такой командой, он предположит, что запрос поступил от вас, а не от хакера. Поэтому, когда он обрабатывает запрос, например, «Открыть [вредоносный веб-сайт] и загрузить [вредоносный файл]», он выполнит его без колебаний; или «Открыть [криптовалютный кошелек], войти с сохраненными учетными данными и отправить средства на [счет]», он выполнит его. В текущем состоянии это не должно быть проблемой для Gemini, хотя теоретически это может произойти, если вы поручите ему задание, которое подвергает его воздействию внедрения команд.

Если вас интересуют новейшие функции, цель этого предупреждения не в том, чтобы отговорить вас от использования новой функции прокси Gemini на macOS , но важно учитывать вполне реальные риски, прежде чем продолжить.