Как заставить ИИ-агента управлять iPhone? Можно взломать устройство и заняться сложным софтверным хакингом, а можно взять готовый микроконтроллер и переложить тяжёлую работу на него. Энтузиаст Henry Yuan показал, как добиться этого с помощью ESP32.
Первый шаг — дать ИИ-агенту доступ к текущему состоянию экрана телефона. Это решается через зеркалирование экрана по AirPlay и утилиту UxPlay. Затем конвейер GStreamer передаёт изображение экрана в виде потока JPEG выбранному ИИ-агенту. Управление же обеспечивает ESP32-S3, выступающий в роли USB-HID-устройства и эмулирующий одновременно мышь и клавиатуру. С включённой в iOS функцией AssistiveTouch это даёт агенту контроль над вводом. Дальше агент сам определяет, какие действия нужны для желаемого результата, — а это уже сильно зависит от конкретной задачи.
Схема может показаться громоздкой, но у подхода есть плюсы. Не нужны ни аккаунт разработчика Apple, ни XCode, ни даже компьютер Mac. Агент просто начинает «ковыряться» в телефоне без всей этой лишней возни.
