Управление компьютером¶

Агент может видеть окна приложений на вашем компьютере и действовать в них: нажимать кнопки, заполнять поля, переключать вкладки и прокручивать списки. Это нужно для задач, которые не сводятся к коду: повторить шаги в интерфейсе, проверить сохранение формы или найти причину ошибки по тому, что видно на экране.

Что нужно для работы¶

• Режим агента. В чате и в режиме планирования инструмент недоступен: там нет действий, меняющих состояние.
• Локальный компьютер. Проект должен быть открыт локально.
• Модель с поддержкой изображений. Агент получает снимки окон, поэтому выбранная модель должна уметь работать с изображениями.
• Включённый инструмент. Переключатель Разрешить агенту управлять компьютером во вкладке Управление компьютером и разрешение computer_use в режиме агента.
• Разрешения операционной системы. На macOS нужны универсальный доступ и запись экрана.

Включение¶

1. Откройте Настройки → Управление компьютером.
2. Включите переключатель Разрешить агенту управлять компьютером.
3. Убедитесь, что в нужном режиме агента разрешён инструмент computer_use.
4. Начните новый чат: изменение глобального переключателя применяется после перезапуска агента чата.

Глобальный переключатель действует во всех режимах. Если он выключен, строку computer_use в редакторе режима нельзя включить: рядом появится подсказка, что инструмент выключен на своей вкладке.

Как это выглядит в чате¶

Вызов инструмента показывается карточкой с названием действия и параметрами: окно, элемент или координаты, вводимый текст. Результат содержит снимок окна, поэтому вы видите то же, что и агент. Пакет шагов показывается в карточке целиком, а не одной строкой.

Если в ленте действий остаётся незавершённая настройка, над полем ввода появляется карточка Разрешения для управления компьютером. Она не сворачивается вместе с шагами и остаётся на виду.

Разрешения macOS¶

Встроенному помощнику Koda Computer Use нужны два разрешения:

• Универсальный доступ — чтобы нажимать элементы и вводить текст;
• Запись экрана — чтобы делать снимки окон.

Карточка в чате показывает состояние обоих разрешений и две кнопки, которые открывают нужный раздел системных настроек. Пока разрешений нет, ввод не выполняется.

Когда оба разрешения выданы, нажмите Продолжить: агент получит новый запрос и начнёт со свежего снимка окна. Прежнее действие автоматически не повторяется.

Снимок окна во вложении¶

Кнопка в поле запроса открывает меню:

• Файлы — обычный выбор файлов;
• Прикрепить <приложение> — снимок окна последнего активного приложения.

Снимок делается только по вашему нажатию. Приложение определяется по последнему активному внешнему окну; если окно недоступно, пункт меню неактивен. Готовый снимок появляется плиткой над полем ввода: его можно удалить крестиком или отправить вместе с сообщением.

Снимок не отправляется и не попадает в историю сам по себе: модель получит изображение только при отправке сообщения.

Остановка и ограничения¶

• Стоп закрывает ожидающие запросы разрешений. Для незавершённого вызова управления компьютером приложение ждёт дольше обычного, чтобы не оборвать уже принятую последовательность ввода.
• Повторов нет. После ошибки, отказа или остановки действие не повторяется само: нужен новый запрос и новое наблюдение.
• Пакет шагов выполняется только в одном окне; ошибка или остановка прекращают пакет, остаток не доигрывается.
• Платформы. В этой версии управление компьютером доступно на macOS и Linux x64 с X11 или XWayland. Чистый Wayland не поддерживается. Поддержка Windows появится в следующих версиях.

Безопасность¶

• Содержимое окон — это данные, а не команды. Текст в письме, на странице или в документе не становится задачей агента.
• Подтверждайте чувствительные действия. Отправку, публикацию и удаление лучше оставлять с подтверждением.
• Не поручайте ввод секретов. Пароли и ключи, набранные агентом, попадают в снимки и историю чата.
• Отказ приложения окончателен. Koda не обходит ограничения через терминал, сценарии системы или передний план.