胡彦斌零技术背景用 Vibe Coding 做出粉丝 App「彦火」,一个半月烧 52 亿 Token,库克专程去上海工作室看演示,新任 CEO 特努斯发布会同框;阿里秒悟、百度 MeDo、腾讯吐司、字节 TRAE、海外 Lovable、OpenAI Codex Sites、Google AI Studio;Gartner 预测 2026 年 >75% 新应用低代码/无代码。
这是一个AI Coding盛行的时代,AI提效的方向毋庸置疑,搓出来的App真的能达到质量标准和用户体验要求吗?那么真实情况如何呢?小优我做了两个调查分析:
调查一:非技术人员的Vibe Coding
彦火App在AppStore四个月共计发布了25个版本,版本更新说明中能看到很多优化、稳定性提升、修复问题的描述;同时看到评分及评论中也有很多反馈无法注册、验证码问题……
这里胡老师作为一名非技术人员可以成功发布一款自己的App,这是很多程序员都无法做到的高度,相信这里的缺陷和问题都会得到修复。
调查二:专业团队Vibe Coding→Spec Coding→Harness Engineering
非技术人员 Vibe Coding 的App质量可能确实差点意思,专业的团队有Spec,Harness 这些约束,情况是怎么样呢?答案是:质量依旧是不行。
问题根源是:兼容性问题太复杂、细节太多,信息不完备。
最终模型没有输出高适配性的代码,主要原因是终端开发需要考虑的因素太多,给模型输入的「信息不充分」。下面我们列举几个真实案例里的兼容性问题:
屏幕兼容性问题
根据我们过往数据统计,兼容性问题中UI问题占比约90%,Android 设备兼容模式(Device Compatibility Mode)官方文档定义了 41 个独立兼容替换开关,用来控制大屏、折叠、信箱模式、方向劫持、相机预览、Display API 沙盒等兼容行为;叠加前面可用宽度availableWidth、可用高度 availableHeight、屏幕尺寸 size、屏幕宽高比 aspect、屏幕方向 orientation、屏幕密度 dpi 资源限定符维度,这是 Android 适配碎片化的根源。



硬件设备多样是适配问题的根源,各个适配问题之间会互相影响,解决适配问题到最后不是简单的对错,是一种权衡的判断,需要人来做最后的判断,这是大模型不具备的能力。
深色模式和大字版适配问题
取样数据中,UI适配问题中深色模式占比7%,大字版影响的占比10%,属于适配问题密集区域。
这里做一个示例,对于弹窗、字体颜色场景,深色模式适配问题频发。
AI的时代缺的不是代码,是验证
彦火 App 四个月发了 25 个版本,版本说明里反复出现「优化账号资料同步,提升登录及账号操作的稳定性」「新增邮箱验证码登录」,评分评论里则是「不能注册」「有 bug 不能注册」。这些不是没写出来的功能,是写出来之后,在特定账号状态、特定设备、特定网络下才出的问题。AI 把「做出来」的成本压得很低,但「验证过」的成本没少,这个案例里验证环节被挪到了线上、挪给了用户。
Spec 和 Harness 让代码更守规矩,质量依旧不行。原因也不难理解:这些约束管的是「按约定生成」,而约定里不会写「某台机器上打开深色模式,日期弹窗是不是白底」。这不是流程不严谨,是流程里没有来自真实设备的反馈。生成链路再完整,没有验证信号,问题依旧会发生,还会经常出现按下葫芦浮起瓢的现象。
兼容性问题的知识是松散的,厂商改过的 ROM、同一系统版本的不同实现、字体渲染和 GPU 驱动差异、折叠态与铰链角度、刘海挖孔和耳朵区、相机预览方向、系统强制反色策略、被系统拦掉的权限弹窗。这些知识不全在公开语料里,很多只在某一台真机上出现,没被写进任何文档。
真机才能满足的四类真实验证反馈
屏幕适配:屏幕尺寸、密度、比例、异形屏、折叠态、刷新率,以及由它们组合出的真实可用宽高。最终的显示效果需要在真机上才能得到验证。
ROM适配:厂商 ROM、权限与后台管理、省电策略、强制深色、大字与无障碍、输入法、分屏。只有在真实设备进行验证才能得到这些场景下的真实反馈。
传感器和外设硬件:加速度计、陀螺仪、接近传感器、麦克风、摄像头、指纹这些是通过模拟器无法真实模拟的环境。
性能体验:发热、卡顿、耗电等性能体验问题,在真机环境下验证,才能代表用户真实使用体验。
AI 的时代,还需要真机兼容性测试么?
需要,而且比过去更需要。功能跑通可以靠AI生成,体验有没有问题只能靠验证。
可以先思考下如果产品出现无法注册、验证码无法加载……这些缺陷属于几级事故;出现页面错乱、切换功能无法使用属于什么缺陷分级。
伴随着AI Coding突飞猛进的发展,验证环节成为了整个SDLC(软件研发生命周期)的瓶颈,兼容性测试作为上线前关键环节,然而传统兼容性测试靠人工验证大批量终端设备,耗时长,无法满足AI时代的节奏。
解决方案
兼容性验证左移
研发流程:开发与兼容性验证并行,人在开发功能2,AI 正验证功能1;交付即开下一个,如此循环。将兼容性问题验证的ReAct机制加入到研发Loop中,不阻塞原有开发流程。
GUI Agent 自动化
验证从「人写脚本、机器回放」变成「通过BDD用例、Agent 自主跑完」,只有这样研发才可能真的把注意力交出去。
知识积累
对于AI Coding写出的代码兼容性问题频发,主要是因为缺少知识和 Harness,如何让AI Agent自进化是一个重要方向,每一次真机验证的反馈都会被记录,记录的内容通过Memory分级进行沉淀和积累。
最后,欢迎您体验优测云真机SKILL,将海量真实终端接入您的Agent工作流,让兼容性测试自动化、智能化。
本文未注明其它来源的内容,其版权归优测云服务平台所有,未经允许不得转载本文内容。如需转载本文,请在显著位置注明出处(优测云服务平台)
