深度IOT应用程序测试的终极指南

IOT应用测试指南 -  SCIENCESTOFT

在IOT自2011年以来,Sciencesoft一直在提供外包QA服务19年和软件测试服务 为32. years.

IOT应用测试:本质

IOT测试包括与分布式架构的细节相关的功能和集成测试,性能测试检查该应用程序如何处理大量的流数据,在IOT应用程序,网关和设备的级别中的安全测试。

IOT应用程序模式的示例

IOT应用测试计划

实际的IOT测试设置计划将根据IOT解决方案的要求,所选的开发模型,当前SDLC阶段而有所不同IOT项目。但是,有一些常见的阶段通过。

IOT应用测试计划

1.设计IOT应用程序测试过程

早在要求规范开发时,将分配单独的QA经理以确保IOT功能要求以可测试的方式设计。通常,要求以一种用户故事绘制。

决定未来的QA团队和物联网开发团队应如何合作,以确保相关的测试用例的优先级,高效缺陷的管理和回归测试。选择相关的项目管理工具,以简化他们的协作。

考虑可能的物联网测试风险,并为您的项目设计全面的风险缓解计划。在风险中可能存在:

  • 不可扩展,不完整,配置不当的IOT测试环境不完全反映实际的硬件配置,缺少模拟器或虚拟化工具。
  • 无法进行测试自动化框架的选择和配置。
  • 缺乏物联网测试人才,以便立即创建和执行解决潜在物联网特定质量问题的测试用例。

2.准备内部IOT应用程序测试

指定的QA管理器设计了整体物联网测试策略和计划,包括努力估算。由于IOT系统的架构容易发生变化,因此QA管理器需要定期修改和更新测试伪像。

然后,经理组装IOT测试团队或团队。

笔记:您可能需要几个测试团队迎合不同的IOT应用程序模块。测试团队的实际数量取决于应用程序的架构复杂性。

此外,为避免时间和数据密集重复的重复测试用例执行,IOT测试项目需要平衡手动和自动化测试的组合。应组装单独的团队接管自动化测试。

最佳实践:自动化集成,回归测试和关键功能测试用例,而性能测试本质上是自动化的。仍然,应手动执行IoT安全性,可用性和大多数功能测试用例。

在IOT应用程序测试计划中应良好呈现的测试类型:

IOT应用需要在API级别进行彻底的功能测试。首先,测试工程师以隔离检查每个IOT应用程序组件,向每个组件发送测试输入事件以验证其输出和行为是否要求。然后,运行端到端的功能API测试用例,以确保整个物联网应用程序的正常运行。一旦UI准备就绪,测试工程师也验证了其组件的运行。最后,在IOT现场测试期间,测试工程师在特定网络配置下验证整个IOT系统的正常运行,并引人注目的现实生活环境。

验证IOT应用程序,应特别注意不同的IOT应用程序组件与其技术堆栈兼容性之间的完美通信。此外,IOT解决方案通常与资产跟踪和监控,现场服务应用,ERP,CRM,外部数据仓库等企业解决方案集成。因此,需要外部集成测试来验证复杂的企业工作流程和高质量数据传输,确保在所有连接的系统中相应地更改一个系统中的数据,以及相关的更改历史可用。

为确保物联网应用对黑客攻击的恢复能力,安全测试工程师源介绍系统架构的安全性,执行漏洞评估和穿透测试。

为了保护整个物联网系统的网络安全,您还可以选择安全测试:

  • IOT字段网关(验证通信信道安全性和适当的数据加密)。
  • IOT设备(检查设备的固件及其升级过程,用于漏洞,从安全视角查看引导过程)。

此外,您的IOT测试计划可能包括以下性能测试:

  • 测量IOT应用程序的性能指标(例如,延迟,吞吐量,响应时间,CPU利用率)。
  • 在压力负载下验证整个应用程序功能和优雅劣化的稳定性,不断变化的操作和网络条件(如间歇性故障或网络连接丢失)。
  • 考虑成千上万的设备持续发送和接收数据的影响。

笔记:并非所有流行的性能测试工具都支持特定于IOT的通信协议标准(例如,MQTT,XMPP,CAAP,SOAP)。

3.外包物联网测试的供应商选择

如果您意识到您的内部资源不足以总体的IOT测试,并且您对招聘或培训所需资源不感兴趣,请考虑与IOT测试供应商的合作。要选择配件供应商,您应该:

  • 根据您的IOT解决方案的特定要求和架构设计了对提案(RFP)的全面请求。
  • 寻找具有成功的IoT测试项目的QA供应商。
  • 考虑测试供应商的技术堆栈和人力资源的可用性,以满足您的需求。
  • 签订3-5供应商,符合条件的经验和资源。
  • 分享您的IOT测试RFP与缺点供应商进行成本估算和IOT测试演示。这样,您可以了解供应商对IoT测试策略的方法,测试团队阵容,测试工具包,计划的测试自动化参与。
  • 使用匹配的供应商协商SLA和IOT测试成本。

4.物联网测试发布

为了获得IOT测试,测试团队设计测试用例并开发测试脚本。然后,要检查端到端的整个系统的功能,请在选择的服务虚拟化工具和模拟器的帮助下创建一个IOT测试实验。您应该介意,对于IOT现场测试,最好的做法是使用一些真实的IOT设备。

IOT应用程序测试人才

物联网测试团队阵容

测试复杂的物联网系统可能需要几个测试团队,每个测试团队负责系统的特定模块。下面我们描述了基本的测试项目角色。

QA经理(适用于涉及几个测试团队的项目)

  • 以可测试的方式帮助设计IOT要求。
  • 开发强大的物联网测试策略并对解决方案的要求和架构进行计划。
  • 收集IOT测试团队。
  • 决定IOT测试管理软件。
  • 指导IoT测试实验室设置过程和收购其组件。

测试团队领导(每个测试团队的一个)

  • 为相应的IOT应用程序组件设计测试计划。
  • 指导测试工程师,措施并分析其性能。
  • 解决了测试过程问题并提出了相关的测试过程改进。

笔记:每个测试团队中的测试工程师的实际数量将受到物联网模块的功能和技术复杂性的影响。

测试工程师

  • 设计和维护IOT应用程序的测试用例。
  • 执行手动测试。
  • 通过规定的工具报告缺陷。

自动化测试团队领先

  • 决定哪种IOT集成和功能测试场景适用于测试自动化,并且将包括在IOT系统的每次更改后运行自动回归测试套件。
  • 设计IOT应用程序的测试自动化架构。
  • 选择测试自动化工具和与正在测试的IOT解决方案相关的框架。
  • 与IOT Architect和开发人员合作,以确保测试脚本的可维护性和粒度。

测试自动化工程师

  • 配置相关的测试自动化工具。
  • 开发,执行和维护IOT自动集成和回归测试脚本。
  • 分析测试结果后报告缺陷。

安全测试工程师(对于整个项目)

  • 为IoT系统开发威胁模型,以主动大纲潜在的安全问题。
  • 执行IOT解决方案的代码审核和漏洞评估。
  • 评估IOT设备的访问安全性和固件配置,提供有关如何减轻所显示的问题的说明。
  • 根据IOT系统的第10个安全风险检查列表,请按照IOT系统的前10名安全风险检查IOT解决方案的渗透测试。

IOT测试采购模型

QA管理和测试团队在内部

此选项可提供对IOT测试过程的完全控制。尽管如此,您可能缺乏在某些物联网测试细节或测试类型中测试专业人​​员或能力(例如,集成,安全性,性能测试,数据质量检查)。

QA管理是内部;测试团队完全或部分外部

此模型可以通过及时扩展和下调IOT测试细节的测试团队成员数量的数量来帮助您平衡IOT测试成本。但是,您需要一个熟练的QA经理来设计和规划IOT测试过程,指导并定期评估IOT测试提前和外部测试团队的效率。

QA管理和测试团队外包

使用此选项,您可以通过经验丰富的QA管理和物联网测试人才,物联网测试最佳实践以及精通IOT测试策略和计划。尽管如此,您还应明智地选择一个带有可扩展的测试专家的IoT测试供应商,​​为知识转移做好准备,并介绍外包QA团队和内部IOT开发团队和测试工程师之间的潜在沟通问题,如果有的话。

适用于物联网应用测试的工具

选择内部IOT测试,您应该决定对项目特定的IOT测试工具包。以下是Sciencesoft认为与IoT测试项目相关的一些经过验证的测试框架。

苏普苏

强调

  • 属于SmartBear Family - 2019年软件测试自动化的Gartner领导者。
  • 启用自动API功能测试,因为IOT测试项目必不可少,因为IOT系统中的大多数数据共享是通过API进行的。
  • 支持HTTP,SOAP,RESTful测试。
  • 提供SOAP,REST Mock服务和服务虚拟化(具有ReadyApi - Soapui的付费版本)。

最好的

IOT应用自动API测试使用API​​嘲笑和服务虚拟化。

价钱

Soapui - 开源,Readyapi虚拟化 - $ 1,378 /用户/年。

Apache Jmeter.

强调

  • Gartner Reviewers中最受欢迎的开源性能测试解决方案。
  • 通过限制输出带宽,可以通过改变连续负载和不同的网络速度来测试IOT软件行为。
  • 有助于测试支持MQTT,COAP,HTTP,AMQP和KAFKA特定协议的IOT系统组件之间的通信。
  • 有助于SQL和NOSQL数据仓库的负载和压力测试。
  • 对于利用基于Hadoop MapReduce的数据处理的IOT系统,有特定插件用于验证Mapreduce. jobtracker.服务。

最好的

IOT应用程序性能测试.

价钱

开源。

Acunetix.

强调

  • Gartner Peer见解客户在2020年适用于应用安全测试的选择。
  • 启用IOT Web用户界面和REST API的漏洞扫描。
  • 与OpenVAS网络安全扫描仪集成以启用网络安全评估。
  • 有助于检测超过6,500多个漏洞,包括SQL注入,XS,MIRCONFURATIONS,弱密码,缺少授权,公开的FTP,SSH和数据库服务器。
  • 使用OWASP Top 10和CVSS漏洞严重分类生成报告。
  • 与Jenkins,项目和测试管理工具(如JIRA或Github(Premium Package)等流行的CI / CD工具集成。

最好的

IOT应用程序和网络安全扫描.

价钱

免费试用14天,3个有限的网站扫描和3个全网络扫描。标准包 - 4,500美元/用户/年;溢价 - 7,000美元/年/无限数量的用户。

物联网测试成本

每个IOT解决方案都是唯一的,需要定制的测试过程,因此,物联网测试成本急剧变化。其中确定物联网应用测试成本的因素是:

  • IOT应用程序功能的数量和复杂性。
  • 所需用户数量。
  • IOT系统的性能要求(包括可扩展性,可靠性,平均响应时间,每单位时间的事务数等)。
  • IOT解决方案中使用的技术(例如,实时监控,大数据分析,AI和机器学习等)。
  • 物联网系统组件的数量和复杂性。
  • 所需的第三方集成的数量。
  • 具体的安全性和合规性要求(例如,HIPAA,GLBA,SOX,GDPR)。

成本计算因素特定于不同的采购模型:

适用于内部选项

  • 每一个内部测试团队和测试工程师的数量。
  • 物联网检测和QA专业人员招聘成本和完全装载的薪水。
  • 用于测试团队成员的额外培训。
  • 使用工具的成本(例如,IOT测试框架的许可证,模拟器,虚拟机和存储等)

对于外包选项

  • 每一个内部测试团队和测试工程师的数量。
  • 物联网测试专业人​​士(根据他们的经验和能力)。
  • 基于:
    • 总检验案例数。
    • 每个测试用例的设计和维护工作。
  • 用于测试外包与应用程序的开发并行:
    • 测试自动化的百分比。
    • 回归测试覆盖范围。

例如,我们可以为公司进行测试项目制造在一个国家拥有4家工厂的汽车发动机. 每个 智能工厂具有6个部门5-10台机器配备IoT传感器。传感器测量机器的温度,振动,运行时间,操作速度和产品输出。基于IOT云的事件驱动应用程序可以靠近实时监控工厂,部门和机器的性能; oee和其他kpis在报告和仪表板上的可视化。该公司要求单圆形验收测试.

此测试项目的粗略估计,包括功能,集成,性能,安全测试类型将是关于70,000美元.

笔记:系统的现场测试成本不包括在内,并应另外计算。

考虑专业的物联网测试服务

32. 多年的软件测试服务和10 IOT解决方案的多年来,Sciencesoft的QA专家可以立即进入您的IoT解决方案的具体细节(3周内),并确保其高品质。

物联网测试咨询

科学科技委员会的顾问将:

  • 设计一个常规测试策略,并为每个模块的整个IOT应用程序和测试计划进行规划。
  • 为IOT系统的组件创建一个测试自动化架构。
  • 帮助选择最佳IoT测试框架和工具。
  • 提供IOT测试工作的估算和成本细分。
  • 关于您的IOT测试项目最优采购模型的建议。
  • 在正在进行的项目的情况下,执行潜在物联网申请测试问题的分析和缓解。

物联网测试外包

SCIENCESSOFT的测试专家将:

  • 设计物联网测试过程:a 测试策略计划对于整个IOT应用程序和特定模块;一种 测试自动化架构关于每个IOT App组件的细节;一种 tailored 测试工具包。
  • 设置并维护IoT测试实验室,生成和管理IoT测试数据。
  • 开发,执行和维护IoT测试用例和脚本。
  • 为您的IOT系统创建可重用的自动回归测试套件。
关于Sciencesoft.

关于Sciencesoft.

Sciencesoft是一个全球IT咨询,软件开发和QA公司总部位于德克萨斯州麦金尼,德克萨斯州。我们提供外包QA.IOT测试项目的服务,以帮助客户确保其IOT解决方案的顺利运作,强大的集成,可扩展性和安全性。 ISO 9001和ISO 27001认证,我们依靠成熟的质量管理体系,保证与我们的合作不会对客户的数据安全构成任何风险。