Estudio empírico de la influencia de la experiencia y del conocimiento del dominio del analista en la efectividad de la educción de requisitos [thesis]

Alejandrina Aranda López King
Agradecimientos En primer lugar agradezco a Dios y a la Virgen María, por todas las gracias y luces concedidas en estos años de estudio aquí en España. Agradezco a mis padres y hermanos que a pesar de la distancia física que nos separa, han estado acompañándome muy de cerca durante todo este tiempo, animándome a confiar y a seguir adelante a pesar de las dificultades. A las chicas del piso con las que he convivido durante este tiempo, por la gran amistad que hemos cultivado, por el ejemplo que
more » ... por el ejemplo que me han dado y me seguirán dando de perseverancia, estudio, confianza, alegría, olvido de sí, entrega a los demás desinteresada y sin límites, la importancia de dar mucho valor a las pequeñas cosas que parecen insignificantes pero que en realidad tienen gran valor. ¡Gracias por todo chicas!. Y muy especialmente a las mayores, que han sido como mis madres "segundas", han estado acompañándome en todo momento, escuchándome, orientándome, corrigiéndome cuando hacía falta y más que nada por el buen ejemplo que transmiten, el bien que hacen y pueden hacer desde el lugar en que se encuentran. Y de manera especial a Conchi Pedregal, una gran investigadora y madre espiritual, quien con su ejemplo, oración, sencillez y alegría me ha ayudado a saber orientar la investigación como un servicio al bien común, animándome a aspirar a metas altas y a darle al día a día su verdadero sentido e importancia. A mis tutores Oscar Dieste y Natalia Juristo por su profesionalidad, enseñanzas, orientaciones, paciencia que han tenido conmigo, por sus palabras de ánimo, correcciones y buenos consejos. A los estudiantes de RE de la UPM, profesionales del REFSQ, John Castro y Rodrigo Fonseca quienes hicieron posible que esta investigación pudiera llevarse a cabo. A Itaipu Binacional quien me ha dado la oportunidad de estar aquí, capacitarme y crecer como profesional. A mis compañeros/as del doctorado por la ayuda que me han dado durante este tiempo y por los buenos momentos que hemos pasado. A mis amigos/as y a todas las personas que de alguna forma con su entrega y oraciones diarias, me han estado ayudando a la distancia. iii Resumen Contexto: La presente tesis doctoral se enmarca en la actividad de educción de los requisitos. La educción de requisitos es generalmente aceptada como una de las actividades más importantes dentro del proceso de Ingeniería de Requisitos, y tiene un impacto directo en la calidad del software. Es una actividad donde la comunicación entre los involucrados (analistas, clientes, usuarios) es primordial. La efectividad y eficacia del analista en la compresión de las necesidades de clientes y usuarios es un factor crítico para el éxito del desarrollo de software. La literatura se ha centrado principalmente en estudiar y comprender un conjunto específico de capacidades o habilidades personales que debe poseer el analista para realizar de forma efectiva la actividad de educción. Sin embargo, existen muy pocos trabajos que han estudiado dichas capacidades o habilidades empíricamente. Objetivo: La presente investigación tiene por objetivo estudiar el efecto de la experiencia, el conocimiento acerca del dominio y la titulación académica que poseen los analistas en la efectividad del proceso de educción de los requisitos, durante los primeros contactos del analista con el cliente. Método de Investigación: Hemos ejecutado 8 estudios empíricos entre cuasi-experimentos (4) y experimentos controlados (4). Un total de 110 sujetos experimentales han participado en los estudios, entre estudiantes de post-grado de la Escuela Técnica Superior de Ingenieros Informáticos de la Universidad Politécnica de Madrid y profesionales. La tarea experimental consistió en realizar sesiones de educción de requisitos sobre uno o más dominios de problemas (de carácter conocido y desconocido para los sujetos). Las sesiones de educción se realizaron empleando la entrevista abierta. Finalizada la entrevista, los sujetos reportaron por escrito toda la información adquirida. Resultados: Para dominios desconocidos, la experiencia (entrevistas, requisitos, desarrollo y profesional) del analista no influye en su efectividad. En dominios conocidos, la experiencia en entrevistas (r = 0.34, p-valor = 0.080) y la experiencia en requisitos (r = 0.22, p-valor = 0.279), ejercen un efecto positivo. Esto es, los analistas con más años de experiencia en entrevistas y/o requisitos tienden a alcanzar mejores efectividades. Por el contrario, la experiencia en desarrollo (r = -0.06, p-valor = 0.765) y la experiencia profesional (r = -0.35, p-valor = 0.077), tienden a ejercer un efecto nulo y negativo, respectivamente. En lo que respecta al conocimiento acerca del dominio del problema que poseen los analistas, ejerce un moderado efecto positivo (r=0.31), estadísticamente significativo (p-valor = 0.029) en la efectividad de la actividad de educción. Esto es, los analistas con conocimiento tienden a ser más efectivos en los dominios de problema conocidos. En lo que respecta a la titulación académica, por falta de diversidad en las titulaciones académicas de los sujetos experimentales no es posible alcanzar una conclusión. Hemos podido explorar el efecto de la titulación académica en sólo dos cuasi-experimentos, sin embargo, nuestros resultados arrojan efectos contradictorios (r = 0.694, p-valor = 0.51 y r = -0.266, p-valor = 0.383). Además de las variables estudiadas indicadas anteriormente, hemos confirmado la existencia de variables moderadoras que afectan a la actividad de educción, tales como el entrevistado o la formación. Nuestros datos experimentales confirman que el entrevistado es un factor clave en la actividad de educción. Estadísticamente ejerce una influencia significativa en la efectividad de los analistas (p-valor= 0.000). La diferencia entre entrevistar a uno u otro entrevistado, en unidades naturales, varía entre un 18% -23% en efectividad. Por otro lado, la formación en requisitos aumenta v Estudio empírico de la influencia de la experiencia y del conocimiento del dominio del analista en la efectividad del proceso de educción de requisitos Abstract Context: This PhD dissertation addresses requirements elicitation activity. Requirements elicitation is generally acknowledged as one of the most important activities of the requirements process, having a direct impact in the software quality. It is an activity where the communication among stakeholders (analysts, customers, users) is paramount. The analyst's ability to effectively understand customers/users' needs represents a critical factor for the success of software development. The literature has focused on studying and comprehending a specific set of personal skills that the analyst must have to perform requirements elicitation effectively. However, few studies have explored those skills from an empirical viewpoint. Goal: This research aims to study the effects of experience, domain knowledge and academic qualifications on the analysts' effectiveness when performing requirements elicitation, during the first stages of analyst-customer interaction. Research method: We have conducted eight empirical studies, quasi-experiments (four) and controlled experiments (four). 110 experimental subjects participated, including: graduate students with the Escuela Técnica Superior de Ingenieros Informáticos of the Universidad Politécnica de Madrid, as well as researchers and professionals. The experimental tasks consisted in elicitation sessions about one or several problem domains (ignorant and/or aware for the subjects). Elicitation sessions were conducted using unstructured interviews. After each interview, the subjects reported in written all collected information. Results: In ignorant domains, the analyst's experience (interviews, requirements, development and professional) does not influence her effectiveness. In aware domains, interviewing experience (r = 0.34, p-value = 0.080) and requirements experience (r = 0.22, p-value = 0.279), make a positive effect, i.e.: the analysts with more years of interviewing/requirements experience tend to achieve higher effectiveness. On the other hand, development experience (r = -0.06, p-value = 0.765) and professional experience (r = -0.35, p-value = 0.077) tend to make a null and negative effect, respectively. On what regards the analyst's problem domain knowledge, it makes a modest positive effect (r=0.31), statistically significant (p-value = 0.029) on the effectiveness of the elicitation activity, i.e.: the analysts with tend to be more effective in problem domains they are aware of. On what regards academic qualification, due to the lack of diversity in the subjects' academic degrees, we cannot come to a conclusion. We have been able to explore the effect of academic qualifications in two experiments; however, our results show opposed effects (r = 0.694, p-value = 0.51 y r = -0.266, p-value = 0.383). Besides the variables mentioned above, we have confirmed the existence of moderator variables influencing the elicitation activity, such as the interviewee and the training. Our data confirm that the interviewee is a key factor in the elicitation activity; it makes statistically significant effect on analysts' effectiveness (p-value = 0.000). Interviewing one or another interviewee represents a difference in effectiveness of 18% -23%, in natural units. On the other hand, requirements training increases to a large extent the analysts' effectiveness. Those subjects who performed requirements elicitation after specific training tend to be 12% -20% more effective than those who did not receive training. The effect is statistically significant (p-value = 0.000). vii Estudio empírico de la influencia de la experiencia y del conocimiento del dominio del analista en la efectividad del proceso de educción de requisitos Finally, we have observed three phenomena that could have an influence on the results of this research. First, the analysts' effectiveness differs depending on domain element types. In aware domains, experienced analysts tend to capture more concepts than novices. In ignorant domains, processes are identified more frequently. Second, analysts get to a "glass ceiling" that prevents them to acquire more information, i.e.: analysts only identify (part of) the elements of the problem domain. This fact can be observed in both the ignorant and aware domains. Third, experience years do not look like a good predictor of how effective an analyst will be; however, they seem to guarantee that an analyst with some experience years will have a higher minimum effectiveness than the minimum effectiveness of analysts with fewer experience years. Conclusions: Our results point out that experience alone does not explain analysts' effectiveness in ignorant domains. In aware domains, analysts' effectiveness is influenced the experience in interviews and requirements, albeit partially. Other variables influence analysts' effectiveness, e.g.: soft skills. The analysts' problem domain knowledge makes a positive effect in analysts' effectiveness; it positively interacts with the experience, increasing even further analysts' effectiveness. Although we could not obtain solid conclusions on the effect of the academic qualifications, it is plain clear that specific requirements training makes a rather positive effect on analysts' effectiveness. Finally, the analyst is not the only relevant factor in the elicitation activity. The customers/users (interviewees) play also an important role in the information generation process.
doi:10.20868/upm.thesis.40566 fatcat:7xrzthk7abactjf5pjxziy5oge