自动化测试最佳实践

出版时间：2013-4-1  出版社：机械工业出版社华章公司  作者：Dorothy Graham,Mark Fewster  译者：朱少民,张秋华,赵亚男  
Tag标签：无  

前言

自动化测试——集“圣杯”、“青春之泉”、“点金石”为一身。在过去的几十年中，测试者为了能从手动测试——构建测试实例与测试数据，设置系统先决条件，运行测试，比较实际数据与预期数据并报告可能的缺陷——的苦海中脱离而不断追寻自动化测试。自动化测试能够简化所有这些操作，甚至还能简化更多的测试操作。  然而遗憾的是，成功有效并且经济实用的自动化测试往往很难实现。自动化测试项目大多在启动后便步履蹒跚、时常跌倒，最终迷失路途，被遗弃在不断增长的废弃项目堆上。 自动化的失败可以归咎于很多原因，其中无法实现预期效果或许是最常见的原因，还有就是不充足的资源分配（例如时间、人员和资金）。其他因素包括：难以满足需求的开发工具，阻碍工作质量的欲速则不达的急躁情绪，缺乏对自动化测试的理解——自动化测试也是一种软件开发，需要用与软件开发一致的专业方法来进行。Dorothy和Mark在1999年出版的著作《Software Test Automation》，为同类书籍设定了标准。该书的第一部分详细列举了在大多数成功的自动化实例中发掘出的方法——脚本技术、自动比较、测试件架构和有用的衡量标准。第二部分讲述了一些机构在实现自动化测试过程中所吸取的经验教训。现在，又经过了10年在行业内的摸爬滚打，Dorothy和Mark提供了另外一些机构和个人的实践经历，用以指导自动化作业。本书同时描述了经典的和最新潮的自动化测试方法。每一章通过叙述某一独特自动化实例的一个故事（既有成功的也有失败的），给我们提供指导。某些主题在本书中再次出现：合理、可以达成的目标；管理层支持；衡量标准，包括ROI（Return On Investment）；需要的技术；规划；设定期望；建立关系；工具；培训；以及政策——所有的一切都是成功的测试自动化所必需的。然后，这些主题同样也可运用在项目及个人层面。本书一个非常大的好处在于拓展了测试自动化领域，从更全面的角度来考虑这些主题。我第一次见到Dorothy和Mark是在1998年的“慕尼黑Euro STAR软件测试会议”上。他们对自动化测试的认知以及帮助其他人完成自动化测试的热情，给我留下了非常深刻的印象。我真心祝贺他们取得如此出众的成就，并向大家推荐本书。——Lee Copeland

内容概要

自动化测试不再是奢侈品而成为软件测试的必需品。随着应用程序和系统规模越来越大、越来越复杂，仅仅依赖手动测试已经无法全面地测试系统。随着技术的变动，越来越多的公司加入到了敏捷开发的阵营中，必须对这些程序进行测试，而且速度要快。测试自动化是非常基本的需求，但有时糟糕的自动化只会适得其反——如何才能知道应该在哪里进行自动化呢？
作者Dorothy Gramham和Mark Fewster之前写的《Software Test Automation》这本书在自动化测试领域影响深远，它为很多公司指明了测试成功的方向。本书讲述了一些公司应用自动化的经历，其中涉及了很多项目，从复杂的政府部门系统到医疗设备，从SAP业务过程开发到Android移动应用和云计算。本书讨论了管理方面和技术方面的因素，讲述了成功和失败的例子、卓越的想法以及灾难性的决定，为读者提供了可以借鉴的经验教训。
本书对于那些考虑、实施、使用、管理测试自动化的人来说是无价之宝。测试人员、开发人员、自动化人员以及自动化架构师、测试经理、项目经理、分析师、QA专家和技术总监都可以从本书受益。
本书主要内容：
敏捷开发中的测试自动化
管理层的支持力度是如何导致自动化成功和失败的
设计良好的测试件结构和抽象层的重要性
如何衡量收益和ROI
管理的因素，包括技能、项目规划、项目领域和项目期望
基于模型测试（MBT）、猴子测试和探索式测试的自动化
标准、沟通、文档和灵活性在企业级测试自动化中的重要性
测试支持性活动的自动化
明智的选择：对哪些测试进行自动化、不要对哪些测试进行自动化
自动化测试的隐藏开销：对其进行的维护和错误分析
测试自动化的正确目标：为什么“为了发现bug”并不是一个好的目标
重点强调一些学到的教训、真知灼见和有用的小技巧

作者简介

Dorothy Graham　软件测试领域的大师级人物，有着40余年的软件测试经验，曾获得软件测试领域欧洲卓越成就奖。世界知名的顾问，Grove Constaltants公司的创始人，在软件测试的学术研究方面有极深的造诣，写作经验也极为丰富，著有软件测试领域的世界名著《Software Test Automation》，影响深远。Mark Fewster　软件测试领域的大师级人物，在软件测试和自动化领域有30余年的工作经验。现担任英国计算机协会软件测试专家兴趣小组（BCS SIGiST）和信息系统考试委员会（ISEB）的委员。最近20年致力于为软件测试的各个方面提供培训和咨询服务。经常在国内和国际会议与研讨会上发表演讲，并且与Graham合著了软件测试领域的世界名著《Software Test Automation》

书籍目录

本书赞誉译者序序前言第0章　案例研究反思   10.1　管理层问题   10.2　技术因素   60.3　总结   12第1章　敏捷团队的自动化测试之旅：第一年   131.1　本案例研究的背景   141.2　整个团队的承诺    141.3　建立自动化策略   151.4　利用验收测试驱动开发，使用FitNesse测试GUI   181.5　使用增量方法   201.6　正确度量   201.7　庆祝成功   211.8　引入工程冲刺   221.9　团队成功   221.10　持续改进   241.11　总结   24第2章　终极数据库自动化   252.1　本案例研究的背景    252.2　测试中的软件    262.3　自动化测试的目标    272.4　开发内部测试工具   282.5　结果   302.6　管理自动化测试   312.7　测试套件和类型   312.8　现状   332.9　在经过一段很艰难的时光后才得到的经验教训   332.10　如何使用自动化测试书中的建议   342.11　总结    362.12　致谢    36第3章　移动到云端：TiP的演化——在线的持续回归测试   373.1　本案例研究的背景    383.2　将测试移到云端    393.3　如何实施TiP    413.4　每月服务评审记分卡样例   433.5　Exchange TiP v2——将TiP迁移到Windows Azure云端   463.6　我们的心得   473.7　总结   493.8　致谢   50第4章　Automator的自动化   514.1　本案例研究的背景：我的第一份工作   524.2　我的伟大构想   534.3　一个突破   544.4　总结   58第5章　自动化人员自传：从主机到框架的自动化      605.1　本案例研究的背景    615.2　主机绿屏自动化测试项目   635.3　主机和基于脚本工具的差异   655.4　使用新的基于脚本的工具   665.5　IBM Maximo的自动化测试   705.6　总结   745.7　参考文献  74第6章　项目1：失败！项目2：成功！   766.1　本案例研究的背景    776.2　项目1：失败    776.3　项目2：成功    786.4　下一个时间段：真实地测试   856.5　总结   92第7章　复杂政府系统的自动化测试   937.1　本案例研究的背景    937.2　自动化需求分析    947.3　我们的自动化测试解决方案——自动化测试和再测试   957.4　自动化测试解决方案的应用   1017.5　总结   102第8章　设备仿真框架   1038.1　本案例研究的背景   1038.2　设备仿真框架的诞生   1048.3　构建DSF   1058.4　自动化目标   1068.5　案例研究   1078.6　没有银弹   1108.7　总结    1118.8　致谢    111第9章　ESA项目中基于模型的测试用例生成   1129.1　本案例研究的背景    1139.2　基于模型的测试和测试用例生成    1139.3　我们的应用：ESA多任务用户服务项目    1169.4　学到的经验和教训    1219.5　总结    1259.6　参考文献   1269.7　致谢   126第10章　10年过去了，项目还在进行   12710.1　本案例研究的背景：之前的故事   12810.2　每月进行自动化测试的保险报价系统   12810.3　接下来发生了什么   13810.4　总结   138第11章　凤凰在灰烬中重生   14111.1　本案例研究的背景   14111.2　凤凰的诞生   14211.3　凤凰的死亡   14411.4　凤凰的重生   14511.5　凤凰的新生   14811.6　总结   152第12章　政府机构运作系统的自动化测试之旅   15512.1　本案例研究的背景   15612.2　该机构的自动化测试   15612.3　2000~2008年   15912.4　三次巧合   16212.5　在测试团队中完善能力   16512.6　未来的方向：继续旅程   16612.7　总结   168第13章　使用硬件接口的自动化可靠性测试   16913.1　本案例的研究背景    17013.2　采取措施的必要性   17013.3　自动化测试启动（增量式方法）   17113.4　来自管理层的支持   17213.5　测试框架的进一步开发   17413.6　部署并改进报告形式   17713.7　总结   178第14章　Android应用的基于模型GUI测试   18014.1　本案例研究的背景   18114.2　使用TEMA工具集的MBT   18214.3　应用行为建模   18714.4　测试用例的生成   19014.5　连接和适配   19114.6　结果   19414.7　总结   19414.8　致谢   19514.9　参考文献   195第15章　SAP业务流程的自动化测试   19715.1　本案例研究的背景    19815.2　标准和最佳实践   20015.3　eCATT使用实例   20315.4　总结   20715.5　致谢   208第16章　SAP实现的自动化测试   20916.1　本案例研究的背景    21016.2　项目概述   21116.3　第1阶段：概念的证明   21216.4　第2阶段：项目启动   21716.5　总结   226第17章　选择了错误的工具   22817.1　本案例研究的背景   22817.2　（可能）早已存在的自动化测试   23017.3　必要的决策：新工具还是主要维护成本   23117.4　继续推进eggPlant工具   23317.5　我们在eggPlant项目之后还将做什么   23917.6　总结   239第18章　市场交易系统的自动化测试：十年经验和三个框架   24218.1　本案例研究的背景   24318.2　自动化测试框架   24318.3　测试角色   24518.4　抽象层   24618.5　配置   24818.6　成本和投资回报率   24918.7　总结   251第19章　自动化测试不仅仅是回归测试：发挥创造性思维   25319.1　本案例研究的背景   25419.2　任务自动化的两个故事   25419.3　自动化测试用来支持手动探索式测试   25819.4　自动化测试数据交互   26019.5　自动化测试和监测   26219.6　通过组合简单的工具模拟现实世界的负载   26419.7　总结   26519.8　参考文献   265第20章　医疗设备软件需要优秀的自动化软件测试   26720.1　本案例研究的背景   26820.2　每个项目不同方法的比较   27220.3　项目HAMLET   27420.4　项目PHOENIX   27520.5　项目DOITYOURSELF   27720.6　项目MINIWEB   27920.7　测试执行   28020.8　结果报告   28120.9　总结   283第21章　通过后门（通过支持手动测试）进行自动化   28721.1　本案例研究的背景   28821.2　我们的技术解决方案   28821.3　通过ISS测试站实现测试自动化   29121.4　实现测试自动化   29321.5　支持手动测试   29621.6　新的手动测试过程   29821.7　总结   30221.8　参考文献   303第22章　使用自动化测试为可移植性测试增值   30522.1　本案例研究的背景   30622.2　可移植性测试：喜欢它或者讨厌它   30622.3　将软件组合起来作为解决方案   30722.4　总结   31222.5　致谢   312第23章　保险公司中的自动化测试：感受我们测试的方法   31323.1　本案例研究的背景   31323.2　应用程序   31423.3　目标   31523.4　我们做的工作   31523.5　教训   31723.6　总结   318第24章　使用测试猴子的冒险之旅   320-24.1　本案例研究的背景   32024.2　自动化回归测试的局限性   32124.3　测试猴子   32224.4　实现测试猴子   32424.5　使用测试猴子   32524.6　收益和局限性   32824.7　总结   32924.8　参考文献   329第25章　在NATS对SYSTEM-OF-SYSTEMS的自动化测试   33025.1　本案例研究的背景   33125.2　测试执行工具的集成   33325.3　工具的试点项目   33325.4　系统使用中（In-Service）的测试模式   33425.5　实现   33425.6　典型的脚本模板   33625.7　得到的教训   33825.8　总结   339第26章　对汽车电子系统进行自动化测试   34026.1　本案例研究的背景   34126.2　自动化项目的目标   34226.3　自动化项目的简史   34226.4　自动化项目的结果   34426.5　总结   345第27章　宏伟目标、改变和测试转型   34627.1　本案例研究的背景   34627.2　管理层的认可   34727.3　构建自动化框架的故事   35027.4　自动化测试框架的描述   35227.5　测试环境   35527.6　度量标准   35627.7　总结   358第28章　自动化探索测试：超越当前时代的例子   36128.1　本案例研究的背景   36228.2　什么是故障管理工具   36228.3　测试故障管理系统中的事务   36328.4　用编程的方法结构化测试用例   36528.5　思考自动化测试的新方式   36528.6　测试故障管理系统的工作流   36628.7　运行中生成测试   37128.8　项目的冲刺阶段   37228.9　发布之后   37328.10　总结   37428.11　致谢   374第29章　测试自动化的轶事   37529.1　三个小故事   37529.2　需要更多对自动化的理解   37829.3　自动化测试的第一天   37929.4　尝试开始实施自动化   38429.5　与管理层作斗争   38529.6　探索性测试自动化：数据库记录锁定   38729.7　在嵌入式硬件-软件计算机环境中进行测试自动化所得到的教训   39229.8　传染性的时钟   39529.9　自动化系统的灵活性   39729.10　使用过多工具（跨部门的支持不够）的故事   39829.11　成功的案例却有着意料之外的结局   40129.12　合作能够克服资源的限制   40429.13　取得了大规模成功的自动化过程   40529.14　测试自动化并不总是像看上去那样   409附录A　工具   413案例研究的作者简介   422

编辑推荐

《自动化测试最佳实践:来自全球的经典自动化测试案例解析》编辑推荐：自动化测试领域公认经典，30余位世界级专家和大师经验结晶，30余个来自世界各行业的经典案例。

名人推荐

“你手中的这本书是关于自动化测试的不可多得的至宝，它讲述了在自动化测试的实践中什么是好实践，什么不是。本书使你避免陷入自动化测试的泥潭，从而更可能取得成功。”——Linda Hayes“在本书中，Dorothy Graham 和Mark Fewster通过一系列引人注目的案例研究展示了自动化测试中的各种学习经历，每个案例研究都讲述了自动化使用的工具和方法。本书内容如此全面，是同类书中第一本带读者深入到自动化测试世界中的书籍。本书包含了许多案例研究，案例研究讲述了在自动化过程中都发生了什么，案例包含的项目来自各行各业，测试环境包括了各种技术环境。通过找出各个案例之间的类似点以及对某些主题的重复，能够帮助读者更加理解应该避免哪些错误。通过本书，读者可以了解到需要做些什么才能取得测试自动化的成功。——Andrew L. Pollner， ALP International Corporation的总裁和CEO“在畅销书 《Software Test Automation: Effective Use of Test Execution Tools》出版之后很多年，Mark Fewster和Dorothy Graham又写出了一本畅销书。敏捷方法已经赋予自动化测试在当今测试实践中的主导地位。本书从各种不同视角讲述了自动化测试的案例研究，这些案例写得都很好，这使得本书非常有实用价值。我强烈地将本书推荐给那些从事或者想要从事自动化测试的人。”——Erik van Veenendaal，Improve Quality Services的创始人，TMMi Foundation 的副主席“阅读本书就像参加一个测试学术会议一样，书中包含了多个案例研究和对自动化测试深刻的见解。但是本书要比参加学术会议便宜得多，而且还不需要到处奔波去参加会议。令我印象尤其深刻的是，本书在第0章中浓缩了我能想到的使得自动化成功的各个方面。这是在学术会议中得不到的。——Hans Buwalda“本书包含了大量令人兴奋的、写得很好的、涉及范围极广的案例研究，案例讲述了在现实世界中自动化测试的经验、技巧、教训和其他值得记住的要点。对于任何需要向经理和同事证明在自动化实践中什么是好的、什么是不好的人员来说，本书都是非常有用的。”——Isabel Evans，FBCS CITP，质量经理，Dolphin Computer Access“本书首先讲述了使得自动化测试有效的基本手段。之后讲述了各种情境下的自动化测试中值得注意的事项。本书会指导你：因合理的缘由而应用自动化测试，如何采取适合于公司和项目的自动化方法，以及如何避免各种错误。对于任何参与测试的人——无论是管理人员、测试人员，还是自动化测试人员，本书都非常有价值。”——Martin Gijsen，自由的测试自动化架构师“Fewster和Graham为我们提供了连接自动化测试理论与现实之间的一座重要桥梁。自动化测试的框架设计和实施是一种非精确的科学，亟须一套可复用的标准，而这套标准只能从不断涌现的先例中总结出来，而本书则能帮助建立这样的先例。就如同在司法系统中使用先前判决案例作为支持当下做出法律判决的依据一样。在自动化框架设计与实施上，从本书所能习得的各式案例，适用于帮助人们做出当下的决定，支持这样的活动或教育相关人员。——Dion Johnson，Automated Testing Institute（ATI）软件测试顾问及首席咨询师“即使我一贯秉持‘自动化测试无用’的立场，本书也的确让我驻足思考。它让我开阔了思维，同时也让我做出‘噢，原来这种情况我没考虑到’的反省。对于那些想要参与自动化测试的公司，我推荐将本书作为入门参考书。”——Audrey Leng“本书是一个惊人的成就。我相信它是自动化测试方面写得最好的书之一。Dot和Mark通过对28个案例研究的叙述给予我们一个完全崭新的概念，包括引人注目的小窍门、真知灼见以及经验教训。这些案例研究来自于生活经验中，既有成功的，也有失败的，包括了自动化的多个方面、不同的环境以及多种混合的解决方案。书本来就是智慧之源，而作者采用了非常好的方式——利用叙述故事的形式给我们留下很深的印象，从而增强学习效果。无论读者处于何种层次，本书是所有想要进入或者已经进入自动化测试领域的人所必备的。它的确是同类型书中独一无二的。”——Mieke Gevers

用户评论 (总计4条)

•   一般的书，不是很推荐。
•   里面案例非常的多，涉及各行各业，很不错。但对求精的人来说，或许是个遗憾~~
•   这怎么能叫最佳实践,这叫总结吧,一个案例就3,5页纸,还一堆废话,烂.完全没有写具体怎么去实现,想参考怎么写自动化测试就不用买了.
•   自动化解决方案必备工具书，印刷质量很好，很实用的工具书，值得品味。