PerfDog使用说明书

2020-12-08  腾讯质量测试 

English User's Guidehttps://bbs.perfdog.qq.com/article-detail.html?id=7

介绍:

移动全平台iOS/Android性能测试、分析工具平台。快速定位分析性能问题,提升APP应用及游戏性能和品质。手机无需ROOT/越狱,手机硬件、游戏及应用APP也无需做任何修改,极简化即插即用。

PerfDog支持移动平台所有应用程序(游戏、APP应用、浏览器、小程序、小游戏、H5、后台系统进程等)、Android模拟器、云真机等性能测试。支持APP多进程测试(Android多子进程及iOS扩展进程APP Extension)


Windows & Mac OS X平台PerfDog桌面应用程序版本都支持对iOSAndroid设备进行测试。PCPerfDog可多开,单PC可同时测试多台手机。

重要说明Q&Ahttps://bbs.perfdog.qq.com/detail-128.html

特殊机型指南https://bbs.perfdog.qq.com/detail-127.html

性能参考标准说明https://bbs.perfdog.qq.com/detail-145.html

WEB使用手册https://bbs.perfdog.qq.com/article-detail.html?id=49

安装及运行:

步骤1:登录PerfDog官网https://perfdog.qq.com/,根据您的PC平台选择想要下载的桌面应用程序

Windows平台:解压下载包,双击打开PerfDog.exe桌面应用程序。

Mac平台:直接运行dmg桌面应用程序。

备注:PerfDog采用免安装软件(绿色版)模式,想要更新软件则重新在官网下载最新版即可。

步骤2USB连接手机,自动检测添加手机到应用列表中。

iOS则即插即用,用户无需做任何操作。若PerfDog检测不到连接手机或无法测试,请先安装确保最新itunes是否能连上手机(最新itunes可在QQ管家上直接下载安装)

备注:若无法使用请参考:https://bbs.perfdog.qq.com/detail-128.html

Android有两种模式,非安装模式和安装模式。(注:请开启手机USB调试模式及允许USB应用安装。)

a.   非安装模式:

手机即插即用,无需任何设置及安装,使用非常简单,但手机屏幕上没有实时性能数据显示。

b.   安装模式:

需要在手机上自动安装PerfDog.apk,手机屏幕上有实时性能数据显示(允许USB应用安装和PerfDog悬浮窗管理权限),启动PCPerfDog.exe,则会在手机上自动PUSH安装PerfDog.apk,具体安装类似各个手机厂商安装第三方APP提示安装即可。(注:由于很多手机安装需要账号密码,导致无法自动安装,如果自动安装失败,则会把安装文件PerfDog.apk释放到当前文件夹里,手动安装PerfDog.apk即可)。此模式下,在测试过程中,可能由于系统资源紧缺会kill PerfDog显示app(手机界面性能数据显示),但不影响正常测试功能。

备注:若无法使用请参考:https://bbs.perfdog.qq.com/detail-128.html


步骤3:测试模式

l   USB模式测试:

              USB连线后,在设备列表选择USB图标设备进行USB模式测试

l   WIFI模式测试(测试功率)

只能在WIFI模式测试功率等信息。USB连线后,在设备列表选择WIFI图标设备进行WIFI模式测试。WIFI检测连接成功后,拔掉USB连接线。(注:需要PC和被测手机连接同一WIFIWIFI检测连接成功后,拔掉被测手机USB线(USB模式测试功率无任何意义,会充电)(备注:一般公司WIFI可能做了安全策略限制,导致iOS平台在公司WIFI下无法使用)

步骤4:选择测试的游戏&应用

PC如图:

Android平台,安装模式下,手机屏幕左上角有实时性能数据显示Android手机请打开PerfDog悬浮窗管理权限,否则手机上不会显示性能参数

软件性能数据采集:

iOS平台(苹果官方Xcode工具参数对齐。注:iOS系统对进程性能参数做严格限制,超过限制则会被系统kill

l   ScreenShot(只支持USB模式)

l   FPS(1秒内游戏画面或者应用界面真实平均刷新次数,俗称帧率/FPS)

1)      Avg(FPS):平均帧率(一段时间内平均FPS)

2)      Var(FPS):帧率方差(一段时间内FPS方差)

3)      Drop(FPS):降帧次数(平均每小时相邻两个FPS点下降大于8帧的次数)

l   Jank(1s内卡顿次数。iOS9.1以下系统暂时不支持。类似AndroidJank卡顿和iOSFramePacing平滑度统计原理。帧率FPS高并不能反映流畅或不卡顿。比如:FPS50帧,前200ms渲染一帧,后800ms渲染49帧,虽然帧率50,但依然觉得非常卡顿。同时帧率FPS低,并不代表卡顿,比如无卡顿时均匀FPS15帧。所以平均帧率FPS与卡顿无任何直接关系)

参考:https://bbs.perfdog.qq.com/article-detail.html?id=6

PerfDog Jank计算方法:

1.      同时满足以下两条件,则认为是一次卡顿Jank.

a)      当前帧耗时>前三帧平均耗时2倍。

b)      当前帧耗时>两帧电影帧耗时(1000ms/24*2=84ms)

2.      同时满足两条件,则认为是一次严重卡顿BigJank.

a)      当前帧耗时>前三帧平均耗时2倍。

b)      当前帧耗时>三帧电影帧耗时(1000ms/24*3=125ms)

1)      BigJank:1s内严重卡顿次数

2)      Jank(/10min):平均每10分钟卡顿次数。

3)      BigJank(/10min):平均每10分钟严重卡顿次数

l   FTime(上下帧画面显示时间间隔,即认为帧耗时,iOS9.1以下系统暂时不支持)

1)      Avg(FTime):平均帧耗时

2)      Delta(FTime):增量耗时(平均每小时两帧之间时间差>100ms的次数)

l   CPU Usage(TotalCPU表示整机CPU使用率,AppCPU表示进程CPU使用率,统计结果和Xcode一致,PerfDog使用率=Xcode使用率/核心数。备注:iOS平台CPU Usage是未规范化CPU使用率,请参考https://bbs.perfdog.qq.com/detail-146.html)

l   Memory (是统计FootPrint,注:OOMFootPrint有关,与系统、机型无关。只与RAM有关,如1G内存机器。FootPrint超过650MB,引发OOM)。注:PerfDog暂时在iOS910系统无法获取,其他版本ok。后续版本增加。如做性能测试,建议升级iOS系统版本

l   Xcode Memory (XCode Debug gauges统计方式即XCode Memory)。注:iOS910系统暂时无法获取,其他版本ok。后续版本增加。如做性能测试,建议升级iOS系统版本

l   Real Memory(Xcode Instrument统计方式即Real Memory,实际占用物理内存。注:物理内存系统策略有关,衡量内存指标时不会关注,但是它有助于分析定位整体性能问题。比如:footprint没有降低,说明应用没有释放内存,但是real memory却降低了,说明系统对内存做了压缩。由于压缩会占用CPU资源,同时相应会导致FPS降低)

l   Virtual Memory(虚拟内存)

l   Wakeups(线程唤醒次数。注:超过150进程很大可能会被系统killa sleep/wake cycle on each thread per secondExceeding limit of 150 wakeups per second over 300 seconds,特别是iOS13.2闷杀后台进程事件,建议重点关注)

l   CSwitch(上下文切换测试。注:单核超过14000进程会被系统KillContext Switch Limit 14000(Core/Second)

l   GPU Utilization

1)      Render:渲染器利用率(像素着色处理阶段,若占比高,说明是PS阶段出现瓶颈,shader过于复杂或纹理大小、采样复杂等)

2)      Tiler: Tiler利用率(顶点着色处理阶段,若占比高,说明是VS阶段出现瓶颈,顶点数太多等原因)

3)      Device:设备利用率(整体GPU利用率)

l   Network(Recv/Send,测试目标进程流量,统计结果合Xcode一致)

l   BTemp(电池温度)

l   Battery Power(整机实时Current电流、Voltage电压、Power功耗)注:20s获取一次,目前最精准的统计方式,结果和Battery life结果一致,支持所有iOS机型

注:Sum(Battery)是耗电量。

l   Energy Usage(即为Xcode Energy Impact。监控应用使用的能耗情况(包括CPUGPUNetWorkLocationDisplay (iPhone X only)Overhead)。(注:和Xcode Energy Impact结果一致。有线模式下测试,支持iOS9及以上系统。Total Energy<=270Low270<Total Energy<=1000HighTotal Energy>1000Very High)。

参考:https://help.apple.com/xcode/mac/11.0/index.html?localePath=en.lproj#/devf7f7c5fcd

l   Log日志采集(WIFI模式下,不支持Log收集)

Android平台

l   ScreenShot(只支持USB模式)

l   FPS(1秒内游戏画面或者应用界面真实平均刷新次数,俗称帧率/FPS)

1)      Avg(FPS):平均帧率(一段时间内平均FPS)

2)      Var(FPS):帧率方差(一段时间内FPS方差)

3)      Drop(FPS):降帧次数(平均每小时相邻两个FPS点下降大于8帧的次数)

备注:高阶FPS功能-Android窗口与FPS

请参考https://bbs.perfdog.qq.com/?m=app&c=detail&a=index&id=201

l   Jank(1S内卡顿次数。解释说明如iOS平台说明)

1)      BigJank:1s内严重卡顿次数

2)      Jank(/10分钟):平均每10分钟卡顿次数。

3)      BigJank(/10分钟):平均每10分钟严重卡顿次数

l   FTime(上下帧画面显示时间间隔,即认为帧耗时)

1)      Avg(FTime):平均帧耗时

2)      Delta(FTime):增量耗时(平均每小时两帧之间时间差>100ms的次数)

l   CPU Usage(传统CPU利用率,也叫未规范化CPU利用率TotalCPU表示整机未规范化CPU使用率,AppCPU表示进程规范化CPU使用率。备注:统计结果和Android Studio Profiler一致。具体参考https://bbs.perfdog.qq.com/detail-146.html)

l   CPU Usage (Normalized)(规范化CPU利用率TotalCPU表示整机规范化CPU使用率,AppCPU表示进程规范化CPU使用率。备注:建议参考规范化CPU利用率,性能参考更精准。具体参考https://bbs.perfdog.qq.com/detail-146.html)

l   CPU Clock(各个CPU核心的未规范化频率和未规范化使用率)


l   CPU Clock (Normalized) (各个CPU核心的规范化频率和规范化使用率)

l   Memory (PSS Memory,统计结果和Android Java API标准结果一致,与Meminfo也一致。注:部分三星机器系统修改了Meminfo底层统计方式,导致MeminfoJava AP统计结果不一致,新出三星机器已修复)

l   Swap Memory (Swap Memory,部分设备支持Swap功能,在启用Swap功能后,系统会对PSS内存进行压缩,Swap增加,PSS会相应减少,由于压缩会占用CPU资源,同时相应会导致FPS降低)

l   Virtual Memory(VSS)

l   Memory Detail(NativePSSGFXGLUnknown)

l   GPU Usage(目前仅支持部分高通芯片手机)。注:Top Android GPU测试机型,请参考:https://bbs.perfdog.qq.com/detail-195.html

l   GPU Frequency(目前仅支持部分高通芯片手机)

l   Network(Recv/Send,测试目标进程流量)

l   CTemp(CPU温度)

Battery Power(Current电流、Voltage电压、Power功耗)(注:与仪器测试误差<3%左右)。注:Sum(Battery)是耗电量。


l   Log日志采集(WIFI模式下,不支持Log收集)

Web性能数据管理:

l   账户信息管理

l   性能数据管理、图表展示、编辑、大版本对比

l   性能数据统计、分析及多维度对比等

l   性能测试任务管理

软件功能介绍:

1.      性能参数控制Page

点击”+ ”按钮,选择需要收集性能参数,控制性能参数显示page

2.      记录保存:

测试结束时,可自主选择两种方式保存处理(Upload/Save)性能数据:

1)   将性能数据同步上传PerfDog云端web看板

2  本地导出Excel文件

3.      记录回放(方便回看分析):

打开要回放文件

回放结果如图:

4.      批注及标定(鼠标左键双击,则批注。左键双击已生成的批注,则取消。鼠标左键单击,则标定)

5.      设定性能参数统计分析阈值、编辑统计参数分析及框选记录保存(对齐TDR标准)

可以通过鼠标框选/拖动查询时间周期内,统计数据等。同时可对框选数据进行保存。右边可以设定对应的性能参数统计分析阈值等。

6.      场景Label标签:

通过标签按钮给性能数据打标签,鼠标左键双击颜色区域可修改对应区域标签名

7.      屏幕记录:

注意:截屏记录开启,影响性能

8.      多进程测试。

iOS平台,APP多进程分为APP Extension和系统XPC Server

比如:某电竞直播软件用到APP Extension扩展进程(扩展进程名LABroadcastUpload)。当然也可能用到系统XPC Server服务进程,如一般web浏览器会用到webkit

Android平台,一般大型APP,比如游戏有时候是多进程协作运行(微信小游戏,微视等APP及王者荣耀等游戏多子进程),可选择目标子进程进行针对性测试。默认是主进程。如图王者荣耀

Android如何测试微信小游戏&小程序:https://bbs.perfdog.qq.com/article-detail.html?id=46

iOS如何测试微信小游戏&小程序:https://bbs.perfdog.qq.com/article-detail.html?id=47

微信小游戏、小程序测试等,如下是微信小游戏-浪漫玫瑰园

       备注:子程序进程名高亮显示,表示当前子进程处于顶层。

9. FPS高阶功能(Android平台):

满足高级用户更精准测试窗口帧率(游戏、小游戏、小程序、直播、视频类、web等所有应用都适用)。

请参考:https://bbs.perfdog.qq.com/?m=app&c=detail&a=index&id=201

10.      Log日志功能:

采集系统日志信息。

11.    停止功能:

无需拔手机,StopProfilling即可停止采集信息。

12.    自定义数据文件服务器地址,构建自己web云:

可修改数据文件服务器上传地址。Post上传http协议格式文件至自己服务器地址。

参考说明及Demo: https://bbs.perfdog.qq.com/detail-217.html

Web云平台功能介绍:

1.      个人性能数据MyData

具体性能数据展示。

2.      测试任务管理

创建任务邀请测试成员加入,或加入其他人创建的测试任务中。

3.      性能数据共享归纳

4.      测试任务性能数据Task Data

5.      数据报告隐私分享

访问别人分享链接即可查看数据报告:

https://perfdog.qq.com/case_detail/367665   Password: xs2BPa

6.      Case报告多维度对比(详情、机型、版本、比例、区间、趋势、拖拉缩放等)

比例、区间、趋势、拖拉缩放等对比(鼠标左右拖动性能曲线)



261°/2612 人阅读/0 条评论 发表评论

登录 后发表评论