Assessing the quality of the requirements specification by applying GQM approach and using NLP tools

Evgeny Timoshchuk
2020 Proceedings of the Institute for System Programming of RAS  
Software requirements are quite difficult to measure in terms of quality without reviews and subjective opinions of stakeholders. Quality assessment of specifications in an automated way saves project resources and prevents future latent defects in software. Requirements quality can be evaluated based on a huge variety of attributes, but their meaning is quite vague without any mapping to specific measurement metrics. Application of goal-question-metric (GQM) approach in the quality model helps
more » ... to choose the most important quality attributes and create a mapping with metrics, which can be collected and calculated automatically. Text of software requirements written in natural language can be analyzed by NLP tools due to identify weak signle words and phrases, which make statements ambiguous. Metrics for such quality attributes as ambiguity, singularity, subjectivity, completeness, and readability are proposed in this work. The quality model was implemented in a prototype by adopting natural language processing techniques for requirements written in the Russian language with the support of external API. For citation: Timoshchuk E.V. Assessing the quality of the requirements specification by applying GQM approach and using NLP tools. Trudy ISP RAN/Proc. (2)-2 every single person who contributed to the success of this event. This research would not have been conducted without efforts of Konstantin Valeev, the challenge owner, who shed more light on grey areas of this project and provided this research with enough resources. Оценка качества требований к программному обеспечению с применением метода GQM и инструментов обработки естественного языка Е.В. Тимощук, ORCID 0000-0001-9985-7036 Санкт-Петербургский политехнический университет Петра Великого, 195251, Россия, Санкт-Петербург, ул. Политехническая, д. 29 Аннотация. Требования к программному обеспечению достаточно трудно объективно измерить по критериям качества без вовлечения в процесс оценки непосредственно самих заинтересованных сторон. Оценка качества документов спецификации требований в автоматическом режиме может существенно сократить расходы бюджета проекта и также предотвращает появление скрытых дефектов в программном обеспечении на более поздних этапах разработки. Качество требований может быть оценено, основываясь на широком разнообразии атрибутов качества, но значение каждого такого атрибута достаточно расплывчато и не имеет строгой привязки к какой-либо измеримой метрике. Использование метода GQM (Goal-Question-Metric) в процессе построения модели оценки может Timoshchuk E.V. Assessing the quality of the requirements specification by applying GQM approach and using NLP tools. Trudy ISP RAN/Proc. ISP RAS, vol. 32, issue 2, 2020. pp. 15-28 16 помочь выявить наиболее важные критерии качества и установить связь между атрибутами и конкретными метриками, которые могут быть собраны и вычислены автоматически. Текст требований к программному обеспечению, написанный на естественном языке, может быть проанализирован при помощи инструментов NLP (Natural Language Processing) с целью выявления наиболее слабых слов и фраз, которые делают предложения неоднозначными и двусмысленными. Метрики для таких критериев качества как неоднозначность, единственность, субъективность, полнота и удобочитаемость предложены в данной работе. Описанная модель оценки качества была реализована при помощи сторонних инструментов с открытым исходным кодом для требований, написанных на русском языке. Keywords: качество требований; метод GQM; оценка качества; обработка естественного языка Для цитирования: Тимощук Е.В. Оценка качества требований к программному обеспечению с применением метода GQM и инструментов обработки естественного языка. Труды ИСП РАН, том 32, вып. 2, 2020 г., стр. 15-28 (на английском языке). Благодарности. Автор хотел бы поблагодарить организаторов CASE in Tools International Hackathon и всех, кто внес свой вклад в успех этого мероприятия. Это исследование не было бы выполнено без поддержки Константина Валеева, постановщика задачи, который помог понять суть проекта и обеспечил исследование достаточными ресурсами.
doi:10.15514/ispras-2020-32(2)-2 fatcat:bnee4u3f2rb6zabnbd7wctcyqi