8月30日下午,“Testin云测“质量管家QAMaster”服务全国巡回沙龙(北京站)在望京上方花园顺利举行,Testin云测技术总监葛志启现场表示,质量管家QAMaster服务在Testin云测基础服务做了交付分解,首先跟用户沟通,看用户的实际需求,拿到实际需求之后会进行分析,看看怎样满足用户的需求,以最快的方式去交付。
质量管家QAMaster新增若干测试项目,如功能测试。葛志启表示Testin基于内部PM交付和测试专家的意见,这些会成为PM交付的一部分,因为很多用户并不能指望单纯的功能验证就能解决所有的问题,只要偶尔会出现问题,解决就需要多人进行测试验证的问题。
而在用户体验测试环节,质量管家QAMaster进行了一些问题设计,包括在玩游戏时的第一感觉,包括名字,图标,动画的效果,游戏付费策略等等是否符合用户的体验和感受,这些都很重要。葛志启认为用户玩游戏往往有特别强烈的付费欲望,所以要从于付费角度入手更重要。(完)
以下为部分演讲内容:
这是我们整个的交付流程(PPT),现在我们基于Testin云测的服务做了交付的分解,流程发生了一些变化。首先,第一步需要跟用户沟通,看用户的实际需求,拿到实际需求之后会进行分析,看看怎样满足用户的需求,以最快的方式去交付。
比如,我们拿到个应用想验证一些崩溃点,这样我们就完全没有必要再进行重新脚本编写、提交等等一系列复杂的流程,我们完全可以进行直接的崩溃验证,第一时间完成交付。所以,我们基于这个流程,以最快的速度反馈给用户相关问题。包括后续我们把问题也反馈之后再继续跟进。
大家都了解,在云测适配的机型非常多,首先有一个全面的安装适配,PM部门会把工作量拿到我们自己内部进行提交。我们有一个案例,有一个手游客户,他的需求是在安卓2.3、512以上的内存上进行适配,我们基于Testin以前的一些基础数据,筛选了其中TOP500进行测试。这就是我们交付的模板,跟以前的平台内容不太一样。
我们会提交其中的几项:一个是安装、启动、星球适配。最后是UI检测,这也是我们QAMaster的增值服务放在里面,所有的UI问题都会以图片的形式列出来。包括,我们会让用户看到我们实际用的流程。后续我们还会不断开发一些交付的工具,使效率有明显的提升。这一页是我们把TOP500里面运行失败的机型进行了承接。 这是手游,我们需要先过一遍引导,再全部跑一遍就行了。
我们这里也有一个案例,他给了我们四个功能点,基于这四个功能点我们把主流的机型,其中客户有一个要求,要把把低分辨率的终端都覆盖到。这是UI方面的截图,我们可以看到它有很多的65误解,小分辨率展示的不是太全,把所有的都列到这个报告里面。这样,就不需要做任何筛圆,直接分析就OK了。 这是我们一个详细的测试列表,每个机器详细的信息以及当时的情况,当时的截图,都可以在这个报告中下载。 除了这样的测试,我们也增加了一些新的测试项目,像功能测试,我们会基于我们内部的PM交付和测试专家,都会成为我们PM交付的一部分。
我这个案例主要是应用类,因为每个公司内部都有个非常详细的KISS列表,我们依靠这个就可以做很多工作了,但很多用户并不是单纯的功能验证就能解决所有的问题。我们实际接触到的一些需求,它是一个UC浏览器,只有偶尔会出现问题,我们统计发现,完成的人数里面,有很多跟帐号相关的数据,解决需要多人进行测试验证的问题。
手游类跟应用类还是有区别的,首先在手游公司,其实内部没有这个案例的概念,跑到哪就算哪,看看有什么问题。基于这种情况,也有很多手游公司找到我们,帮他们做验证。我们把所有的功能点进行了梳理,我们把案例下发之后拿来了100个案例进行验证。可以看到,一些功能点会出现问题和崩溃的情况。
刚才介绍的是手游和应用,下面看一下质量管家QAMaster,就是我们的专利和测试人员非常多,可以快速包括用户营业部、管理部没有案例编写的过程,我们可以帮助用户对此进行完善。 下一个服务是用户体验测试,我们进行了一些问题设计,这些问题是我们跟客户实际沟通得到的,包括在玩游戏时的第一感觉,像名字和图标的一些感觉,动画的效果等等,包括游戏付费策略上,是不是符合用户的体验和感受,这些都很重要。
我们在玩一个游戏的时候,有特别强烈的付费欲望,我不付费的话可能今天晚上就睡不着了,但是有的游戏我不玩儿了,也不去付费。所以,要从于付费角度入手。 下发任务到收回一些零散的数据,再恢复到完整的结果。这是我们对测试人员的统计,包括他是哪些职业,在哪些地区,用的手机是什么样子,这些都可以看到。
在做体验的同时还要做BUG探索,不管是室内个的还是适配时式的,还是UI类的,我们都要进行全面的分析。这是我们里面的一项服务,这个视频其实是有配音的,包括吐槽提意见都有,大家感兴趣的话可以体验一下。
我们最后一项服务是性能测试,其实功能体验反映到实际的用户手指,我们的个应用是航空类的,我们进行对比,行业内TOP10内和预备DOEO的探索型号,还有产品质量的时候消耗的时间,CPU、内存、流量没有获得OMC技术言。因为它背后反映的是隐性数据,我们要跟行业内外对比才会知道。
这是其中的一项启动时间的对比,我们可以看到跟TOP10的对比。手游我们会加两个指标,一个是GPU,还有一个是帧率,可以看到这个用户的GPU占用是很高的。