解放双手:AutoGLM-GUI打造专属AI手机助手,自动订外卖全攻略
通过自然语言指令,让AI助理自动为您操作手机完成各类任务,如今已不再是科幻场景。本文将详细介绍如何利用开源工具,实现让AI自动为您点外卖、购物、播放音乐等一系列自动化操作。

认识核心工具:AutoGLM与AutoGLM-GUI
智谱推出的AutoGLM是一款前沿的AI智能体应用程序。其核心能力在于理解人类的自然语言指令,并能够自主规划操作路径、识别手机屏幕内容,最终模拟人类在手机或网页上的交互行为,自动化执行多样化的复杂任务。而AutoGLM-GUI则是专门为AutoGLM设计的现代化Web图形界面工具,它将AI自动化操控Android设备的过程进行了高度可视化封装,极大地降低了使用门槛。

核心特性一览
该工具集成了多项先进功能,为自动化操作提供了强大支持:
- 分层代理协作 - 采用创新的决策模型与视觉模型双层架构,将复杂任务规划与精准界面操作分离,提升了执行成功率。
- 完全无线连接 - 对于Android 11及以上版本的设备,支持通过二维码扫描进行配对,无需任何数据线即可建立连接并控制设备。
- 多设备并行管理 - 能够同时连接并控制多台Android设备,各设备之间的任务和状态保持完全独立,互不干扰。
- 对话式交互控制 - 用户可以通过类似聊天的自然界面向AI助手发送指令,从而远程控制安卓设备执行任务。
- 工作流快捷执行 - 支持预定义常用任务流程(Workflow),实现一键快速执行,并允许用户自由创建、编辑与管理这些流程。
- 实时屏幕镜像 - 基于scrcpy技术提供低延迟的设备屏幕视频流,用户可以实时查看AI正在执行的操作步骤。
- 直观手动干预 - 用户可以在实时画面中直接点击、滑动来操控手机,系统支持精确的坐标转换并提供视觉反馈。
- 简化API配置 - 支持任何符合OpenAI接口规范的LLM API,实现了近乎零配置的快速部署。
- 深度ADB集成 - 通过Android调试桥直接控制设备,同时支持USB有线与WiFi无线两种连接方式。
- 模块化界面设计 - 采用清晰的侧边栏与独立设备面板布局,使各项功能区域分明,操作逻辑直观。
部署前的准备工作
在开始部署前,请确保满足以下基本条件:
- 安卓设备:需要一台Android设备。若为Android 11及以上版本,则可体验完全无线的二维码配对功能;其他版本亦可通过ADB连接。
- AI模型API:需要一个兼容OpenAI接口的API服务端点。官方推荐使用智谱AI的BigModel,也支持魔塔社区或用户自行搭建的类似服务。
关于设备连接方式的说明
连接方式根据设备系统版本有所不同:
- Android 11及以上:设备支持二维码扫码配对,整个过程无需连接数据线,即可实现无线调试与控制。
- Android 10及以下版本:需要先通过USB数据线连接电脑并开启无线调试功能,成功授权后即可移除数据线,转为无线连接使用。
安装部署指南
推荐使用Docker Compose进行快速部署,此方法能有效管理依赖并简化配置流程。
Docker Compose配置文件示例
services:
autoglm-gui:
image: ghcr.io/suyiiyii/autoglm-gui:main
container_name: autoglm-gui
ports:
- 8080:8000
volumes:
- ./autoglm_config:/root/.config/autoglm
- ./autoglm_logs:/app/logs
restart: unless-stopped
关键参数解析(更多高级配置建议参阅官方文档):
/root/.config/autoglm:此卷用于持久化保存应用程序的配置文件。/app/logs:此卷用于保存运行过程中产生的日志文件,便于排查问题。/dev/bus/usb:这是一个可选映射项,若需通过USB直接连接安卓设备,可能需要挂载此路径以访问宿主机的USB总线。
网络模式提示:为保证ADB设备发现与二维码配对功能的最佳兼容性,建议在Docker中使用host网络模式。本文为演示清晰,仍采用默认的桥接网络。
上手使用详解
部署完成后,在浏览器中访问 http://你的服务器IP:8080 即可打开AutoGLM-GUI的主界面。

第一步:配置AI模型参数
首次打开界面,通常会弹出模型配置向导,提示您设置AI服务。

在模型提供商选项中,您可以选择智谱AI、魔塔社区或任何其他兼容OpenAI接口的服务。考虑到AutoGLM本身由智谱开源,其模型可能针对该框架有特定优化,因此个人推荐优先使用智谱的API。

点击相应选项会跳转至智谱AI的官方平台,您需要在此申请获取API Key。

若已有账户,登录后可在控制台中“创建新的API Key”。

成功获取API Key后,将其填写到AutoGLM-GUI的配置页面对应位置即可,其余参数通常保持默认。

除了基础的视觉识别模型,决策模型(用于规划任务步骤)也需要配置。同样地,如果选择智谱的模型,填入对应的API Key即可完成设置。

第二步:连接您的安卓设备
模型配置完成后,下一步是添加并连接需要被控制的设备。本次演示中,尝试通过USB映射连接物理手机未成功,可能与设备安卓版本有关,因此转而使用安卓模拟器进行测试。

连接方式主要有三种:
- 直接连接:适用于安卓模拟器或已知网络地址的设备,需要手动输入设备的IP地址和ADB端口号。

- 配对连接:适用于Android 11+的物理手机。在手机开发者选项中开启“无线调试”,使用此功能扫描AutoGLM-GUI提供的二维码即可完成配对。

- 远程设备:此选项用于连接配置更为复杂的远程ADB服务。
以MuMu模拟器为例:首先需要在模拟器设置中开启ADB调试功能(默认端口为5555)。
随后,在AutoGLM-GUI中选择“直接连接”,输入运行模拟器的电脑主机IP地址及端口号5555。
连接成功后,界面左侧设备列表会显示在线设备,右侧主区域将实时显示该设备的屏幕画面。

第三步:实际功能体验
为了充分测试AI助手的自动化能力,事先已在模拟器中安装了多个常用应用程序。

基础识别测试:首先提出一个简单问题:“当前界面有什么app应用?”。AI能够准确识别屏幕上的应用图标并列出其名称。

音乐播放任务:发出一个模糊指令:“我想听红莲华”。AI助手会自动打开网易云音乐应用,执行搜索“红莲华”并开始播放音乐的全过程。

复杂购物指令:进一步提升难度,下达复合指令:“打开淘宝,帮我找一台性价比高,价格在千元以下的NAS设备,加入到购物车”。AI能够依次完成启动淘宝、输入关键词搜索、浏览商品列表、筛选价格、选择商品加入购物车等一系列操作。

操作提示:在上述测试过程中,当AI执行到需要在搜索框输入文字时,曾出现输入不成功的情况,这可能是使用特定安卓模拟器环境导致的个别兼容性问题,在物理手机上可能表现不同。

分层代理模式:本计划进一步测试“分层代理”模式在复杂任务规划上的优势,但因测试所用的API额度耗尽而未能完成。

工作流功能:除了即时对话控制,系统还支持创建工作流。用户可以预先定义一系列详细的步骤描述,将其保存为一个可重复执行的任务流程。

历史记录查看:所有与AI助手的交互指令和执行结果都会被完整记录,方便用户回溯查看或分析。

定时任务创建:这是该工具一个非常实用的功能亮点。用户可以为任何指令或工作流创建定时任务,设想空间巨大,例如设定每天中午自动下单常点的外卖套餐。

综合评价与总结
AutoGLM结合其GUI工具最大的意义在于,将强大的AI能力与普及的安卓设备深度融合,使得普通用户也能通过一句简单的自然语言,实现以往需要复杂脚本或手动操作才能完成的手机自动化任务。此前,虽然AutoGLM核心框架已经开源,但缺乏友好的操作界面,对普通用户而言技术门槛较高。AutoGLM-GUI的出现完美解决了这一问题,其现代化的Web界面和便捷的Docker化部署,使得这套先进的AI自动化技术变得易于获取和使用。
- 综合推荐指数:⭐⭐⭐⭐⭐(理念极具前瞻性,真正实现“一句话搞定任务”)
- 实际使用体验:⭐⭐⭐⭐(让普通安卓手机/模拟器也能拥有高度智能的AI助手)
- 部署配置难度:⭐⭐(流程清晰,借助Docker非常简便)