Мой опыт использования Copilot Vision: странное ощущение, но в чем-то полезное — вот мое мнение

Пользователи в США теперь могут использовать Copilot Vision на Windows 11 (и 10), помощника на основе искусственного интеллекта, который помогает вам практически во всем, что вы делаете на своем ПК. Хотите узнать, действительно ли это работает? Что ж, я попробовал, и в этом руководстве я подробно объясню, что предлагает эта функция, как ее получить, и поделюсь своим личным опытом работы с ней.

В приложении Copilot есть такая функция: "Видение" Функция, которая позволяет вам делиться своим экраном с чат-ботом, позволяя ему видеть и интерпретировать то, что находится на вашем экране. Он действует как вторая пара глаз, предоставляя помощь в режиме реального времени, ответы и идеи на основе контента, отображаемого в ваших приложениях или браузере.

Это также необязательная функция, поэтому ее необходимо включить вручную в Copilot версии 1.25061.104.0 и более поздних. Если вы используете браузер Microsoft EdgeВы также можете получить доступ к этой функции через интеграцию Copilot.

Важно отметить, что ИИ может отображать практически любой контент, если только он не защищен DRM или не является каким-либо другим типом ограниченного контента.

Эта функция доступна всем, у кого нет подписки. Второй пилот Про На Windows 10 и 11. Вы также можете получить доступ к Copilot Vision на iOS и Android, но для использования на этих мобильных устройствах вам понадобится подписка.

В этом руководстве я опишу шаги, необходимые для начала использования этой функции, и поделюсь своим опытом.

Как получить и активировать Copilot Vision в Windows 11

Copilot Vision в настоящее время доступен в США, начиная с версии приложения Copilot 1.25061.104.0 и более поздних. Поэтому первым шагом будет открытие приложения Microsoft Store, переход в раздел «Загрузки и обновления» и нажатие кнопки «Получить обновления», чтобы убедиться, что на вашем компьютере установлена ​​последняя версия приложения. Этот шаг необходим для обеспечения совместимости вашего устройства с новыми функциями и повышения общей производительности Copilot.

Вы можете получить приложение из Microsoft Store, если вы ранее удалили его. Найдите Copilot в Store и установите его, чтобы воспользоваться всеми его функциями.

Microsoft объясняет, что Vision — это необязательная функция, что технически верно, поскольку вам нужно предоставить ей разрешение на совместное использование экрана. Однако она доступна по умолчанию, поскольку на странице настроек нет возможности полностью отключить эту функцию. Это означает, что после обновления приложения Vision будет готов к использованию, но для доступа к содержимому экрана требуется ваше явное согласие.

На странице настроек Copilot вы найдете только опцию включения и выключения «Highlights», но эта функция контролирует только способность ИИ визуально обозначать действия на экране. Она не контролирует доступность функции в приложении. Другими словами, даже если вы отключите «Highlights», функция Vision все равно будет доступна, но она не будет выделять визуальные элементы на экране.

Если вам не нравится идея использования Copilot в целом, лучше удалить его из Настройки > Приложения > Установленные приложения и нажать «Удалить», чтобы войти в «Copilot». Это полностью удалит приложение с вашего устройства, гарантируя, что оно не получит доступ к вашим данным или системным ресурсам.

Мой опыт использования Copilot Vision в Windows 11: первый взгляд

Мое первое взаимодействие с Copilot Vision на Windows 11 показалось мне немного странным, поскольку оно представляло собой смену парадигмы, которую я никогда раньше не испытывал. Вместо того, чтобы формулировать подробные текстовые или голосовые команды для определения контекста, интеллектуальный помощник Copilot, казалось, понимал контекст автоматически, что позволяло ему оказывать немедленную и эффективную помощь. Эта способность понимать контекст без необходимости получения конкретных инструкций представляет собой значительный сдвиг в способе нашего взаимодействия с компьютерами.

Хотя точность Copilot Vision все еще находится в стадии разработки, она предлагает ранний взгляд на будущее вычислений. Она представляет собой многообещающий шаг к более бесшовному и интегрированному опыту вычислений, где компьютер становится интеллектуальным партнером, который понимает и предвосхищает наши потребности, а не просто инструментом, которому мы отдаем определенные команды. Эта технология имеет потенциал радикально изменить то, как мы работаем, творим и учимся.

Начало работы с Copilot Vision

Убедившись, что Copilot Vision доступен на моем компьютере, я начал его тестировать. Я открыл несколько приложений, затем запустил Copilot Из меню Пуск. Далее нажмите кнопку "Видение" (Очки), затем выберите приложение, которым вы хотите поделиться с Copilot, и включите опцию "Поделиться".

Контрольный вопрос по приложению

Используя Блокнот, я попросил Copilot показать мне, как изменить шрифт по умолчанию для приложения, но он дал неверный ответ.

Второй пилот предложил поискать в списке. "Посмотреть" (Просмотр), но эта опция не была представлена ​​в этом месте. Причина этого, согласно текущему дизайну Блокнота, заключается в том, что настройки изменения шрифта находятся на странице Настройки, доступ к которой можно получить из меню. "Редактировать" (Изменить) или нажав кнопку "Механизм" (шестеренка), расположенная в правом верхнем углу приложения.

В конце концов, Copilot пришел к правильному ответу путем постепенного исключения. Интересно, что чат-бот указал, что он совершил ошибку, потому что перепутал разные версии Notepad. Однако я не припомню ни одной версии Notepad, в меню которой были бы настройки шрифтов. "Посмотреть" (Показать) вообще. Это говорит о том, что Copilot мог основываться на устаревшей или неточной информации.

Настройки тестового вопроса

В ходе тестирования я запустил приложение «Параметры» в Windows 11, а затем попросил Copilot обновить мой ПК до последних обновлений системы.

В этом случае это было возможно Microsoft Copilot С Vision он правильно определил, что я нахожусь в приложении «Настройки». Он направил меня точно в раздел "Центр обновления Windows" И выделил кнопку "Проверить обновления".

Затем я представил ему менее распространенный (но все еще релевантный) запрос. Я спросил, как запретить моему компьютеру загружать обновления на другие устройства во время процесса обновления. Хотя это был не особенно сложный запрос, он проверял способность помощника интерпретировать более тонкие намерения пользователя.

При первой попытке Vision неправильно понял запрос и по умолчанию перешел к общим инструкциям по обновлению устройства. При второй попытке, после уточнения моей формулировки, он правильно распознал вопрос.

Однако его указания не соответствовали тому, что я видел на экране. Например, он указал, что я успешно отключил функцию обмена обновлениями, хотя я не предпринял никаких действий. Это говорит о том, что помощник делал предположения на основе ожидаемого поведения, а не фактически анализировал текущее состояние системы. Это подчеркивает необходимость улучшения способности Microsoft Copilot точнее понимать контекст пользователя и предоставлять более точные и надежные ответы, особенно в отношении настроек Windows 11 и параметров обновления.

Тест на распознавание элементов: этап 3

В следующем тесте я хотел проверить способность Copilot распознавать визуальные элементы на экране. Для этого я открыл определенное изображение и попросил Copilot точно идентифицировать элемент на нем.

В этом случае Copilot было показано изображение красной куртки. Чат-бот смог точно идентифицировать и описать продукт и даже предоставить дополнительную релевантную информацию по запросу. Это демонстрирует способность Copilot Vision анализировать изображения и предоставлять подробную информацию об их содержании.

Однако, хотя чат-бот распознал, что куртка продается на Amazon, даже с изображением, открытым в отдельной вкладке, он не смог определить, что я не просматриваю фактическую страницу продукта. В результате он не смог предоставить мне информацию о текущей странице продукта на Amazon. Это говорит об ограничениях в способности Copilot соотносить визуальную информацию с текущим контекстом просмотра пользователя.

Тест на извлечение текста

Еще одна функция, которую предлагает Copilot Vision, — извлечение текста из изображений. Раньше операционные системы не могли обнаруживать и извлекать текст из изображений, но теперь доступно несколько методов для эффективного выполнения этой задачи.

Например, теперь у вас есть специализированные инструменты для извлечения текста, такие как функция Text Extractor, доступная через PowerToys, Snipping Tool, а также Нажмите, чтобы сделатьТеперь вы также можете положиться на Copilot Vision в этом процессе.

Чтобы протестировать эту функцию, я открыл приложение «Настройки» на странице «Игровой режим» и спросил Copilot, может ли он извлечь существующий текст. Интеллектуальный бот успешно прочитал весь текст на странице вслух.

Единственным недостатком, с которым я столкнулся, была невозможность копировать извлеченный текст в буфер обмена или выделять текст напрямую, как это возможно в Click to Do. Однако бот копировал все в приложение Copilot как часть истории разговора.

Тест по написанию текста: возможности ИИ в анализе и оптимизации контента

Технически вы можете задать любой вопрос о чем угодно на экране. Например, если вы работаете над определенным файлом, вы можете поручить ИИ проанализировать диаграмму или любой другой тип отображаемых данных.

Эта технология также позволяет вам запрашивать описание определенной сцены или изображения, определять ориентир или географическое местоположение или что-либо еще, что вы можете себе представить. Возможности безграничны.

Если вы работаете над письменным текстом, вы можете попросить ИИ прочитать его и предложить идеи для улучшения. Эта функция особенно полезна для авторов, блогеров и студентов, которые хотят улучшить качество своего письма.

В моем последнем тесте я загрузил простой текст в Notepad и попросил чат-бота удлинить его. Он успешно предложил улучшенную альтернативную версию исходного текста.

Хотя способность умного помощника понимать текст, отображаемый на экране, и предлагать альтернативную версию была впечатляющей, он не очень точно понимал, какие следующие действия необходимо выполнить.

Хотя я знал, что невозможно напрямую скопировать и заменить текст предложенным вариантом, я спросил, можно ли скопировать и вставить заменяющую версию текста, но он указал мне на раздел в файле, который нужно было вставить вместо этого.

Решение здесь — открыть и закрыть Copilot Vision, а затем из интерфейса Copilot выбрать и скопировать текст из истории чата. Это позволяет вам легко и эффективно использовать предложения ИИ.

Суть

С точки зрения человека, который пишет руководства уже много лет, я нахожу эту технологию действительно впечатляющей с точки зрения понимания содержимого экрана и предоставления необходимой помощи.

Однако следует признать, что он допускает много ошибок и может быть не очень полезен, если у вас еще нет базового понимания процедуры, которую вы хотите выполнить. Другими словами, для получения максимальной пользы от него необходимы предварительные знания предмета.

Кроме того, кажется, что он действует с полной осознанностью, но на самом деле это просто искусственный интеллект, воспроизводящий контент, уже доступный в сети. Это снижает его ценность как инновационного инструмента.

Иногда использование Copilot Vision похоже на разговор с техподдержкой по телефону. Хотя чат-бот видит экран, он направляет вас так же, как это делает агент техподдержки, и часто не понимает, выполнили ли вы задачу. Такое отсутствие контекстной осведомленности является существенной проблемой.

Более того, в большинстве случаев вы должны быть предельно конкретными в своих инструкциях, часто даже указывая точное действие, которое вы хотите выполнить. Это в корне противоречит цели ИИ, который должен естественным образом понимать намерения пользователя. Важно помнить, что эта функция в первую очередь предназначена для нетехнических пользователей, поскольку люди с техническими знаниями вряд ли будут полагаться на нее.

В целом, хотя Vision и выглядит многообещающе в качестве вашего личного помощника, его более глубокая контекстная осведомленность и точность все еще нуждаются в улучшении. Он больше похож на «угадывание» на основе команды, чем на активное отслеживание и реагирование на текущее состояние контента на экране. Это делает его менее надежным в сложных сценариях.

Наконец, важно отметить, что я не упоминаю конкретные вопросы, которые я использовал для этого руководства, потому что они не имеют значения. Идея чат-бота заключается в том, чтобы вести обычный разговор, как если бы вы говорили с другим человеком. Основное внимание следует уделять плавности взаимодействия.

Кроме того, эта функция не может выполнять действия от вашего имени. Она может только анализировать содержимое на вашем экране. Чтобы выполнять действия, ИИ должен быть агентом, но в настоящее время только ПК Copilot+ имеют такую ​​возможность, с ограниченной возможностью в приложении «Настройки».

Наконец, хотя эта функция бесплатна, у нее есть ограничения. Например, даже если у меня есть подписка на Microsoft 365, после нескольких взаимодействий приложение предлагает мне обновиться до Copilot Pro.

Итак, если вы устраняете проблему и находитесь в середине процесса, вас могут попросить заплатить за помощь AI-помощника, чтобы он выполнил исправление. Такой подход может расстроить пользователей, которые рассчитывают на бесплатную помощь.