利益相关声明:作者与文中产品有直接的利益相关(开发者、自家产品等)
我是 Tapilot 的开发者,最近把这个项目开源了。想做的事情很直接:拿起安卓手机,说出任务,让手机自己操作。
我做的开源项目 Tapilot 把 Agent 放在安卓手机上运行,所以日常操作不需要连接电脑。模型推理仍然使用远程服务。下面结合演示说明这种方式的条件和限制。
使用时直接在安卓手机上输入任务,或配置语音服务后说出来。Midscene 读取手机截图,定位可见目标,Android 无障碍服务负责执行动作。电脑不需要参与这条流程,模型推理则仍使用远程服务。
这个区别很重要:不连接电脑,指的是手机能独立运行 Agent,并不意味着模型完全离线,也不意味着免配置。需要 Android 11 及以上的 ARM64 手机、无障碍权限和支持的视觉模型。
我在演示中放了手机接收语音指令并打开微信的过程,也展示了 Midscene 报告如何回看截图和动作。遇到失败时,可以沿执行过程排查,而不是只依赖助手最后一句回答。
有电脑端需求时,还可以通过 Skill 或 Codex 插件,经 Wi-Fi 配对操作手机。手机独立执行仍是主要使用方式。
它目前是实验项目,不能保证所有应用和任务都能完成。自绘输入控件、受保护页面与后台限制都可能成为障碍。
演示:https://tapilot.lifeos.md/zh/
源码:https://github.com/tapilot-ai/tapilot
中文演示:https://www.bilibili.com/video/BV1ANxb6XEMy/
源码采用 MIT 许可证;模型和语音服务可能产生用量费用,当前下载为测试版。
