Assessing the maturity of software testing services: A model and its industrial evaluation

Abstract

While many companies conduct their software testing activities in-house, many other companies outsource their software testing needs to other firms who act as software testing service providers. In the context of software testing services, there could be various challenges and as a result the quality of services is not always as expected. Thus, it is important, for both providers and also customers of services, to assess the quality and maturity of test services and subsequently improve them. This thesis proposes a maturity model for software testing services (called MM-TSVC) which has been developed based on the principles of the 'CMMI for Services' (CMMI-SVC) model and in close collaboration with several industry partners offering software testing services. To assess the applicability and usefulness of the model, the model was evaluated in two industrial settings by applying it in two companies who provide software testing services in Turkey. The quantitative and qualitative results of the case study have shown that the proposed model has been helpful for both of the companies and their managers by helping them objectively assess the maturity of their testing services and also to pinpoint potential improvement areas.

Birçok şirket yazılım test ihtiyaçlarını kendi içlerinde hallederken, büyük bir çoğunluktaki şirketler ise yazılım test ihtiyaçlarını dışarıdaki hizmet sağlayıcıları vasıtasıyla karşılamaktadır. Yazılım Testi hizmeti alımı esnasında beklenmedik çeşitli zorluklarla karşılaşılabilmektedir. Bu durum, servis sağlayıcılarının ve test hizmeti alan müşterinin hizmet kalitesini ve hizmet olgunluğunu ölçmek için önemli bir husustur. Bu tez, yazılım test hizmetleri sunan çeşitli endüstri ortaklarının önerileri ve 'Servisler için Uyumluluk Olgunluk Modeli Entegrasyonu' (CMMI-SVC) modeli baz alınarak geliştirilen 'Yazılım Test Servisleri için Olgunluk Modeli' ni (bundan sonra MM-TSVC olarak anılacak) içermektedir. Modelin uygulanabilirliğini ve yararlılığını değerlendirmek için, model Türkiye'de Yazılım Test Hizmetleri sağlayan iki şirkette uygulayarak endüstriyel uygunluğu değerlendirilmiştir. Bu vaka çalışmasının nitel ve nicel sonuçları, önerilen modelin test yöneticilerine ve test hizmeti sağlayan firmalara yardımcı olduğunu göstermektedir.