← 全部项目

PROJECT 02 / 手机交互

让 Codex 操作 iPhone.

从 Mac 发出任务,让实体 iPhone 完成操作,再把结果整理回来。

我的参与

场景设计、专用设备接入与真机验证;与 Codex 协作整理技能

状态

自用实践

PROJECT FILM / 项目演示

让 Codex 用上 iPhone

41 秒

从 Mac 发出任务,在 iPhone 上展开和滚动评论,再整理成带来源的结果。手机操作使用真机录屏,Mac 与接线手机的场景包含已标注的 AI 情景示意。

打开视频 ↗

我为 Codex 准备了一台专用 iPhone,让电脑上的任务可以延伸到手机应用:打开页面、输入中文、搜索和滚动,再把读到的内容带回工作中。

从一句任务到手机上的动作

在 Mac 上交代要做的事,Codex 通过连接的实体 iPhone 查看页面并执行操作。视频以展开评论、滚动阅读和整理反馈为例,把请求、手机动作和最后的结果连起来。

基于上游工具,整理自己的使用方式

手机控制基于钟二信的 iPhone Use 插件和 WebDriverAgent。我完成专用设备接入、实际应用测试,并将连接检查、操作经验与恢复方式整理成 Codex 可按需调用的 dedicated-iphone 技能。

已经实际使用的场景

已在专用 iPhone 上验证小红书的页面读取、中文输入、搜索和滚动,并录制评论展开过程。当前成果面向自己的设备与工作流程,尚未提供公共安装包。

视频中的画面

应用内评论展开与滚动来自真机录屏;Mac、连接线和实体手机的部分场景为 AI 情景示意,已在片中标注。这里展示当前使用实践,后续继续根据真实任务改进。

下一个项目Project Long Memory↗