长文详解PlatON的自动化测试

原创 PlatON

长文详解PlatON的自动化测试

自动化测试泛指使用程序或工具来代替人工的测试方式。相比人工测试,自动化测试准确度更高,且具有高可复用性,对保障产品质量、缩短测试时间有极大作用。本文将介绍PlatON开展自动化测试的思路与技术实践。

| 为什么做自动化测试

在PlatON的世界中,存在着各种状态,如:质押状态、锁仓状态、提案状态等。其中,节点的质押状态就分为犹豫期、锁定期、冻结期三种,当某个账户对节点进行质押、解质押后,这些状态就开始随着PlatON块高增长而发生自动变化。在人工测试时,测试人员很难把握好其变化的时间,一旦出现失误,就会导致环境不符合测试要求,只能重新开始测试。

自动化测试把人工测试时难以把握的状态变化,交给测试代码来负责。测试人员编写好自动化测试程序,这些程序按照代码逻辑,可以方便、精确地完成整个测试验证。这很好地解决了人工测试的困境,同时,我们也可以享受自动化高复用性带来的测试工作上的便利。

| 自动化测试的要点

在我们进行自动化测试前,需要通过对测试需求的延展和细化,来梳理出自动化测试的要点。有了这些要点,才能让我们在建立测试框架时,不至于出现设计上的偏差。

PlatON自动化测试包括以下三个要点:

支持分布式请求与检查-区块链的分布式特性,决定了我们在进行测试时,也要做到分布式请求和分布式检查。这体现在自动化测试上,就是能够在任意节点发送交易,在任意节点校验交易结果。

支持自由组装交易-我们测试PlatON时,主要是通过发送交易对其程序逻辑进行验证。交易的类型、交易包含的数据不同时,打包该交易的程序逻辑也完全不同。自动化测试必须具备自由组装交易的能力,才能够更完善地构造测试场景,尤其是在模拟异常、作恶的测试场景时,该能力不可或缺。

支持自动化、自定义的部署链 – 区块链有不同的网络结构模式,有节点的接入、退出,测试这些场景时,需要自动化测试能够自定义的部署链。除此之外,在进行测试场景恢复的时候(执行完某一个测试场景,将场景恢复为初始状态),遇到需要长时间等待的情况时,重新部署链将是更好的选择。

| 自动化测试框架介绍

PlatON自动化测试框架使用Python语言开发,基于Pytest、PlatON SDK实现,主要分为Case、Lib、SDK三层。

代码详情见Github仓库:

https://github.com/PlatONnetwork/PlatON-Tests

长文详解PlatON的自动化测试
框架设计图

框架详细介绍

1. Case

基于Pytest框架规则编写的自动化测试用例。

2. Fixture

基于Pytest框架开发的Fixture,用于支持测试用例开发,实现了自定义测试运行参数、构造测试环境、判断环境是否满足用例运行条件、获取测试对象、用例前后置动作、使用钩子拉取异常日志等功能。

在使用Fixture来获取测试对象时,我们会将每个节点抽象化为一个Client对象,并返回所有Client对象列表给予用例使用,使得用例可以根据测试场景需要,自由进行分布式的交易请求和检查。

我们定义了一批检查环境的Fixture,用于检查当前链是否满足某一类测试场景的运行条件。能够满足则运行该测试场景,不能满足,则将链进行重新部署,然后基于重新部署的链运行该测试场景。我们以这种方式,来保证自动化测试可以持续运行。

3. Lib

Lib作为测试用例的支持层,对接Fixture,封装了一些公共方法、测试工具、计算公式、配置信息等。其中Client类为Lib层的主类,它组装了整个Lib层的对象,方便自动化测试代码开发,并加入了Env SDK 和PlatON SDK的主对象,以实现链环境部署、自定义交易发送的能力。

4. Env

PlatON链部署代码,将测试环境抽象为Env、Server、Node等类,使用Supervisor来进行PlatON节点的进程、日志管理。Env支持多线程的方式,对链、对节点进行部署、修改、查询、清理等操作。

5. SDK

PlatON SDK,提供了自由组装和发送交易能力,当我们需要构造特殊的交易时,我们会直接深入到SDK层再进行构造。

| 多层面的自动化测试

在全方位生态系统中,基于隐私AI计算网络衍生的周边产品,如区块链浏览器PlatScan、区块链钱包ATON等,我们也需要对其进行自动化测试。

对于PlaON网络,我们主要是调用节点的RPC接口来进行自动化测试。而对于周边产品,其涉及的测试范围更加宽泛,涵盖了UI、接口、数据库等多个测试层面。我们要建立完善的自动化测试,就需要从各个层面,以不同的视角进行切入,来开展分层自动化测试。

分层测试原则

那么,怎么开展分层自动化测试,又要怎么避免因为存在多个测试层面而导致重复测试相同场景呢?我们梳理了三点分层自动化测试原则:

明确主层:根据业务侧重点,选择UI、接口等某一个层面作为主层,自动化测试场景倾向于在主层去实现测试。 

各层互补:除了主层外,其他层面作为主层的辅助层,用于补充主层的不足。当接口层作为主层时,UI层就倾向于做UI的校验,业务逻辑在接口层进行测试。

多层结合:在检验业务流程的时候,自动化用例应实现端到端的测试,在多个层面进行检查,实现全视角覆盖。每个层面都应该拥有自己的Case、Fixture和Lib,多个层面之间,通过Fixture来实现衔接。

| 自动化测试的应用

PlatON的自动化测试,涵盖了2000余个测试场景,对黑盒测试场景的覆盖率达到了90%。同时,我们把自动化测试加入到了持续集成的过程中,与研发工作流程相结合,为迭代测试、版本发布测试工作,贡献了一份独有的力量。

本文转载自https://mp.weixin.qq.com/s/a7iiMRMOS790gRM3mFLZzA

(0)
上一篇 8月 9, 2021 10:07
下一篇 8月 10, 2021 09:07

相关推荐

发表评论

登录后才能评论