AI大语言模型已经成为各行业提高产业效率的技术新动能,Testin云测将AI智能作为移动应用测试技术升级的重要推动力,借助AI大语言模型在保证测试质量的前提下,大幅提升自动化测试产品的易用性和自动化效率。
为了降低测试人员的使用门槛,提升测试脚本录制的效率,Testin云测开发了支持自然语言的脚本录制功能 ,并且支持与传统脚本的无缝混合使用。目前自然语言脚本能够支持点击、长按、滑动等操作交互,同时也支持条件判断、断言等语义逻辑,并支持通过自然语言指定文字、图标、图片等操作对象选取及其空间位置关系的使用。与此同时,自然语言脚本能无缝对接OCR、图标分类模型等基于深度学习的AI算法模块,显著提升自动化测试产品的智能化程度。
传统的自动化测试技术基于操作系统UI控件树,由于控件树的获取依赖操作系统的版本,面对高度碎片化的安卓操作系统,测试脚本需要根据不同手机及操作系统版本进行调整和适配,难以实现多种设备上自动化执行的高通过率。此外,控件树获取在遇到市面上大量不遵循操作系统控件标准的控件框架和应用时无法进行有效识别,导致此类应用自动化率很低基于无法自动化。为了解决这些问题,Testin云测打造了基于深度学习的OCR和图标识别的自动化测试执行引擎,显著提高了自动化测试产品的易用性和自动化效率。
基于计算机视觉和深度学习的OCR(光学字符识别)技术检测App UI界面上的文字位置并识别文字内容,缓解文字控件信息获取困难的自动化执行难题。针对App的场景特点,Testin云测采集了8万余张生产环境中的真实App UI截图,基于Testin云测数据的采集标注服务,标注了96万个文字框的位置及其文本内容用于模型训练,除了真实场景的训练数据以外,结合应用场景的语料、字体等统计信息,使用程序自动生成了1000多万条文字识别的训练数据。Testin云测OCR算法侧重App特有字体,能够适应手机分辨率变化,解决通用OCR存在词语粘连等难题。在1061张具有代表性的评测数据集上,Testin云测OCR模型文字检测精度、文字识别正确率、算法运行速度等关键性能指标上,全面达到并超越国内互联网公司提供的高精度带位置版OCR付费服务。在支撑Testin云测自动化测试产品之外,Testin云测积极反哺行业,计划在第四季度推出针对App应用测试领域的独立OCR服务,针对性地帮助应用测试行业解决普遍面临的文字识别技术障碍。
在未来,Testin云测会继续推进AI大语言模型在各类测试产品上的落地,进一步提升产品的智能化水平,不断提升产品和服务的易用性和工作效率。
