Мой опыт использования Copilot Vision: странное ощущение, но в чем-то полезное — вот мое мнение

Пользователи в США теперь могут использовать Copilot Vision на Windows 11 (и 10), помощника на основе искусственного интеллекта, который помогает вам практически во всем, что вы делаете на своем ПК. Хотите узнать, действительно ли это работает? Что ж, я попробовал, и в этом руководстве я подробно объясню, что предлагает эта функция, как ее получить, и поделюсь своим личным опытом работы с ней.

В приложении Copilot функция «Vision» позволяет делиться экраном с чат-ботом, давая ему возможность видеть и интерпретировать отображаемую информацию. Он выступает в роли «второй пары глаз», предоставляя помощь, ответы и аналитические данные в режиме реального времени на основе контента, отображаемого в ваших приложениях или браузере.

Это также необязательная функция, поэтому её необходимо включить вручную в Copilot версии 1.25061.104.0 и более поздних. Если вы используете Microsoft Edge , вы также можете получить доступ к этой функции через интеграцию с Copilot.

Важно отметить, что ИИ может отображать практически любой контент, если только он не защищен DRM или не является каким-либо другим типом ограниченного контента.

Эта функция доступна всем, у кого нет подписки Copilot Pro на Windows 10 и 11. Вы также можете получить доступ к Copilot Vision на iOS и Android, но для использования на этих мобильных устройствах потребуется подписка.

В этом руководстве я опишу шаги, необходимые для начала использования этой функции, и поделюсь своим опытом.

Как получить и активировать Copilot Vision в Windows 11

Copilot Vision в настоящее время доступен в США, начиная с версии приложения Copilot 1.25061.104.0 и более поздних. Поэтому первым шагом будет открытие приложения Microsoft Store, переход в раздел «Загрузки и обновления» и нажатие кнопки «Получить обновления», чтобы убедиться, что на вашем компьютере установлена ​​последняя версия приложения. Этот шаг необходим для обеспечения совместимости вашего устройства с новыми функциями и повышения общей производительности Copilot.

Вы можете получить приложение из Microsoft Store, если вы ранее удалили его. Найдите Copilot в Store и установите его, чтобы воспользоваться всеми его функциями.

Microsoft объясняет, что Vision — это необязательная функция, что технически верно, поскольку вам нужно предоставить ей разрешение на совместное использование экрана. Однако она доступна по умолчанию, поскольку на странице настроек нет возможности полностью отключить эту функцию. Это означает, что после обновления приложения Vision будет готов к использованию, но для доступа к содержимому экрана требуется ваше явное согласие.

На странице настроек Copilot вы найдете только опцию включения и выключения «Highlights», но эта функция контролирует только способность ИИ визуально обозначать действия на экране. Она не контролирует доступность функции в приложении. Другими словами, даже если вы отключите «Highlights», функция Vision все равно будет доступна, но она не будет выделять визуальные элементы на экране.

Если вам не нравится идея использования Copilot в целом, лучше удалить его из Настройки > Приложения > Установленные приложения и нажать «Удалить», чтобы войти в «Copilot». Это полностью удалит приложение с вашего устройства, гарантируя, что оно не получит доступ к вашим данным или системным ресурсам.

Мой опыт использования Copilot Vision в Windows 11: первый взгляд

Мое первое взаимодействие с Copilot Vision на Windows 11 показалось мне немного странным, поскольку оно представляло собой смену парадигмы, которую я никогда раньше не испытывал. Вместо того, чтобы формулировать подробные текстовые или голосовые команды для определения контекста, интеллектуальный помощник Copilot, казалось, понимал контекст автоматически, что позволяло ему оказывать немедленную и эффективную помощь. Эта способность понимать контекст без необходимости получения конкретных инструкций представляет собой значительный сдвиг в способе нашего взаимодействия с компьютерами.

Хотя точность Copilot Vision все еще находится в стадии разработки, она предлагает ранний взгляд на будущее вычислений. Она представляет собой многообещающий шаг к более бесшовному и интегрированному опыту вычислений, где компьютер становится интеллектуальным партнером, который понимает и предвосхищает наши потребности, а не просто инструментом, которому мы отдаем определенные команды. Эта технология имеет потенциал радикально изменить то, как мы работаем, творим и учимся.

Начало работы с Copilot Vision

Убедившись, что Copilot Vision установлен на моем компьютере, я сразу же приступил к его тестированию. Я открыл несколько приложений, затем запустил приложение Copilot из меню «Пуск». Далее я нажал кнопку «Vision» , выбрал приложение, которым хотел поделиться с Copilot, и активировал опцию «Поделиться».

Контрольный вопрос по приложению

Используя Блокнот, я попросил Copilot показать мне, как изменить шрифт по умолчанию для приложения, но он дал неверный ответ.

В Copilot предлагалось поискать в меню «Вид» , но этой опции там не было. Это связано с тем, что, согласно текущему дизайну Блокнота, настройки шрифтов находятся на странице «Настройки», доступной из меню « Редактировать» или при нажатии на кнопку с изображением шестеренки в правом верхнем углу приложения.

В итоге Copilot пришёл к правильному ответу путём постепенного удаления. Интересно, что чат-бот указал на свою ошибку, поскольку перепутал разные версии Блокнота. Однако я не помню, чтобы в какой-либо версии Блокнота когда-либо были настройки шрифтов в меню «Вид» . Это говорит о том, что Copilot, возможно, использовал устаревшую или неточную информацию.

Настройки тестового вопроса

В ходе тестирования я запустил приложение «Параметры» в Windows 11, а затем попросил Copilot обновить мой ПК до последних обновлений системы.

В данном случае Microsoft Copilot with Vision смог правильно определить, что я нахожусь в приложении «Параметры». Он точно перенаправил меня в раздел «Центр обновления Windows» и выделил кнопку «Проверить наличие обновлений».

Затем я представил ему менее распространенный (но все еще релевантный) запрос. Я спросил, как запретить моему компьютеру загружать обновления на другие устройства во время процесса обновления. Хотя это был не особенно сложный запрос, он проверял способность помощника интерпретировать более тонкие намерения пользователя.

При первой попытке Vision неправильно понял запрос и по умолчанию перешел к общим инструкциям по обновлению устройства. При второй попытке, после уточнения моей формулировки, он правильно распознал вопрос.

Однако его указания не соответствовали тому, что я видел на экране. Например, он указал, что я успешно отключил функцию обмена обновлениями, хотя я не предпринял никаких действий. Это говорит о том, что помощник делал предположения на основе ожидаемого поведения, а не фактически анализировал текущее состояние системы. Это подчеркивает необходимость улучшения способности Microsoft Copilot точнее понимать контекст пользователя и предоставлять более точные и надежные ответы, особенно в отношении настроек Windows 11 и параметров обновления.

Тест на распознавание элементов: этап 3

В следующем тесте я хотел проверить способность Copilot распознавать визуальные элементы на экране. Для этого я открыл определенное изображение и попросил Copilot точно идентифицировать элемент на нем.

В этом случае Copilot было показано изображение красной куртки. Чат-бот смог точно идентифицировать и описать продукт и даже предоставить дополнительную релевантную информацию по запросу. Это демонстрирует способность Copilot Vision анализировать изображения и предоставлять подробную информацию об их содержании.

Однако, хотя чат-бот распознал, что куртка продается на Amazon, даже с изображением, открытым в отдельной вкладке, он не смог определить, что я не просматриваю фактическую страницу продукта. В результате он не смог предоставить мне информацию о текущей странице продукта на Amazon. Это говорит об ограничениях в способности Copilot соотносить визуальную информацию с текущим контекстом просмотра пользователя.

Тест на извлечение текста

Еще одна функция, которую предлагает Copilot Vision, — извлечение текста из изображений. Раньше операционные системы не могли обнаруживать и извлекать текст из изображений, но теперь доступно несколько методов для эффективного выполнения этой задачи.

Например, теперь у вас есть специализированные инструменты для извлечения текста, такие как функция «Извлечение текста», доступная в PowerToys, инструмент «Ножницы» и Click to Do. Теперь вы также можете использовать для этого Copilot Vision.

Чтобы протестировать эту функцию, я открыл приложение «Настройки» на странице «Игровой режим» и спросил Copilot, может ли он извлечь существующий текст. Интеллектуальный бот успешно прочитал весь текст на странице вслух.

Единственным недостатком, с которым я столкнулся, была невозможность копировать извлеченный текст в буфер обмена или выделять текст напрямую, как это возможно в Click to Do. Однако бот копировал все в приложение Copilot как часть истории разговора.

Тест по написанию текста: возможности ИИ в анализе и оптимизации контента

Технически вы можете задать любой вопрос о чем угодно на экране. Например, если вы работаете над определенным файлом, вы можете поручить ИИ проанализировать диаграмму или любой другой тип отображаемых данных.

Эта технология также позволяет вам запрашивать описание определенной сцены или изображения, определять ориентир или географическое местоположение или что-либо еще, что вы можете себе представить. Возможности безграничны.

Если вы работаете над письменным текстом, вы можете попросить ИИ прочитать его и предложить идеи для улучшения. Эта функция особенно полезна для авторов, блогеров и студентов, которые хотят улучшить качество своего письма.

В моем последнем тесте я загрузил простой текст в Notepad и попросил чат-бота удлинить его. Он успешно предложил улучшенную альтернативную версию исходного текста.

Хотя способность умного помощника понимать текст, отображаемый на экране, и предлагать альтернативную версию была впечатляющей, он не очень точно понимал, какие следующие действия необходимо выполнить.

Хотя я знал, что невозможно напрямую скопировать и заменить текст предложенным вариантом, я спросил, можно ли скопировать и вставить заменяющую версию текста, но он указал мне на раздел в файле, который нужно было вставить вместо этого.

Решение здесь — открыть и закрыть Copilot Vision, а затем из интерфейса Copilot выбрать и скопировать текст из истории чата. Это позволяет вам легко и эффективно использовать предложения ИИ.

Суть

С точки зрения человека, который пишет руководства уже много лет, я нахожу эту технологию действительно впечатляющей с точки зрения понимания содержимого экрана и предоставления необходимой помощи.

Однако следует признать, что он допускает много ошибок и может быть не очень полезен, если у вас еще нет базового понимания процедуры, которую вы хотите выполнить. Другими словами, для получения максимальной пользы от него необходимы предварительные знания предмета.

Кроме того, кажется, что он действует с полной осознанностью, но на самом деле это просто искусственный интеллект, воспроизводящий контент, уже доступный в сети. Это снижает его ценность как инновационного инструмента.

Иногда использование Copilot Vision похоже на разговор с техподдержкой по телефону. Хотя чат-бот видит экран, он направляет вас так же, как это делает агент техподдержки, и часто не понимает, выполнили ли вы задачу. Такое отсутствие контекстной осведомленности является существенной проблемой.

Более того, в большинстве случаев вы должны быть предельно конкретными в своих инструкциях, часто даже указывая точное действие, которое вы хотите выполнить. Это в корне противоречит цели ИИ, который должен естественным образом понимать намерения пользователя. Важно помнить, что эта функция в первую очередь предназначена для нетехнических пользователей, поскольку люди с техническими знаниями вряд ли будут полагаться на нее.

В целом, хотя Vision и выглядит многообещающе в качестве вашего личного помощника, его более глубокая контекстная осведомленность и точность все еще нуждаются в улучшении. Он больше похож на «угадывание» на основе команды, чем на активное отслеживание и реагирование на текущее состояние контента на экране. Это делает его менее надежным в сложных сценариях.

Наконец, важно отметить, что я не упоминаю конкретные вопросы, которые я использовал для этого руководства, потому что они не имеют значения. Идея чат-бота заключается в том, чтобы вести обычный разговор, как если бы вы говорили с другим человеком. Основное внимание следует уделять плавности взаимодействия.

Кроме того, эта функция не может выполнять действия от вашего имени. Она может только анализировать содержимое на вашем экране. Чтобы выполнять действия, ИИ должен быть агентом, но в настоящее время только ПК Copilot+ имеют такую ​​возможность, с ограниченной возможностью в приложении «Настройки».

Наконец, хотя эта функция бесплатна, у нее есть ограничения. Например, даже если у меня есть подписка на Microsoft 365, после нескольких взаимодействий приложение предлагает мне обновиться до Copilot Pro.

Итак, если вы устраняете проблему и находитесь в середине процесса, вас могут попросить заплатить за помощь AI-помощника, чтобы он выполнил исправление. Такой подход может расстроить пользователей, которые рассчитывают на бесплатную помощь.