Pruebas predictivas en JavaScript con Machine Learning

Hola a todos, bienvenidos a TestJS Summit 2021 y soy Shivaay, quien presentará un tema sobre las pruebas predictivas en JavaScript con aprendizaje automático. Una breve introducción sobre mí, soy Shivaay y actualmente soy miembro del grupo de trabajo de TensorFlow.JS. Soy mentor de código del servidor de Google en TensorFlow y esta es mi tercera conferencia de GitNation este año. Anteriormente, también di una charla en la conferencia de Node.js y también en React Advanced este año. Estoy muy emocionado de presentar otra charla en GitNation, específicamente en TestJS Summit. Así que sin perder más tiempo, ¡comencemos!

Ahora, primero, el aprendizaje automático está realmente en todas partes hoy en día. No hay duda al respecto. Se puede ver que el aprendizaje automático se utiliza en la atención médica, la educación, pero también en el desarrollo de software en sí. Hoy en día, el aprendizaje automático se utiliza para hacer muchas cosas diferentes. Por ejemplo, hemos visto cómo GitHub Copilot se utiliza hoy en día para generar automáticamente o sugerir nuevo código. También se utiliza en MLOps, en diferentes formas de operaciones en DevOps para mejorar los ciclos de DevOps. Y eso hace que sea realmente importante también usarlo en otras áreas donde tradicionalmente no pensaríamos que se podría utilizar. Entonces, eso es lo que hace que el aprendizaje automático sea realmente poderoso hoy en día. Y por eso, ¿por qué no pensar en introducir el aprendizaje automático en las pruebas de software?

Las pruebas de software tradicionalmente se han centrado en poder escribir casos de prueba, poder comprender fundamentalmente dentro de todo el ciclo de vida de la ingeniería de software cómo podemos hacer que nuestros software sean cada vez más productivos y libres de errores. Eso significa que idealmente, si tienes un probador de software o un analista de control de calidad, revisarán todo el código y escribirán casos de prueba unitarios. Y, por supuesto, tenemos todo el proceso de cómo comienza realmente la prueba, donde primero escribimos algo de código, luego preparamos las pruebas unitarias, tenemos pruebas de integración. Y en función de esto, una vez que los casos de prueba se aprueban y nuestro código pasa por todos estos diferentes casos de prueba tanto de la unidad como de la integración, finalmente ponemos nuestro código en producción. También utilizamos cosas como pruebas de regresión para ver cómo el nuevo código está afectando el código que se ha escrito anteriormente o, digamos, algunas de las bases de código antiguas y cómo se está viendo afectado este código. Todos estos procesos implican básicamente que puedes usar pruebas manuales o también tienes muchas herramientas de pruebas de automatización diferentes, como Selenium. Y tradicionalmente, estas no han utilizado realmente el aprendizaje automático. Tiene más que ver con escribir estos casos de prueba si estás haciendo pruebas manuales o incluso si estás utilizando herramientas de pruebas de automatización como Selenium para poder configurarlas para que puedan pasar por tu aplicación. Y en general, las pruebas de software realmente no han visto mucho uso de la IA, pero esta charla específicamente hablará sobre cómo podemos introducir y cuáles son los beneficios de agregar el aprendizaje automático o la IA a las pruebas de software.

Entonces, escribamos sobre algunos de los grandes escenarios donde la IA podría ser utilizada en las pruebas. El primero es la generación automatizada de casos de prueba. Muchas veces, pasamos mucho tiempo creando casos de prueba. Eso podría ser programación orientada al comportamiento o desarrollo orientado al comportamiento, donde creamos los casos de prueba antes de escribir el código en sí, o digamos que hemos escrito una función en particular y escribimos un caso de prueba unitario para ella. ¿Cómo podemos usar la IA para generar casos de prueba sobre la marcha evaluando simplemente el código, revisando el código? Donde un modelo de IA simplemente comprende el código que se ha escrito, los cambios de código que se han realizado y luego genera automáticamente casos de prueba sin ninguna intervención manual. Luego, ser capaz de descubrir qué pruebas particulares se deben ejecutar realmente y que son más importantes, lo que ahorrará tiempo y el proceso completo del tiempo de prueba de software, donde solo estamos ejecutando los casos de prueba más importantes. También entraré en discusiones más profundas específicamente sobre el segundo punto y luego cómo podemos usar el aprendizaje automático no solo para probar la interfaz de usuario basada en frontend específicamente en JavaScript, sino también cómo podemos usar el aprendizaje automático para probar las API del backend. Eso también es uno de los campos donde actualmente se están desarrollando muchas herramientas de pruebas de software basadas en IA. Y luego, ¿cómo podemos lograr una cobertura de código del 100% con la ayuda de la IA? Porque la cobertura de código es un tema realmente importante que se utiliza cuando evaluamos cualquier tipo de base de código, cuando, digamos, creamos una nueva compilación o probamos nuevos despliegues, nuevos cambios que se han realizado. Si podemos lograr incluso un 90% o un 95% de cobertura de código, eso en sí mismo se considera un punto realmente excelente. Pero, ¿cómo podemos lograr una cobertura de código cercana al 100% con la ayuda de la IA? Y eso es algo en lo que la IA realmente puede ayudar, debido al hecho de que podemos evaluar el código con la ayuda de la IA y podemos generar pruebas automatizadas, podemos ejecutar las pruebas más importantes que son realmente importantes para ese cambio de código en particular, y eso ayudará a comprender todas las diferentes sutilezas del código que existen, incluidos los cambios de código y cómo los nuevos cambios han afectado realmente su código anterior. Todo eso se puede tener en cuenta al intentar lograr una cobertura de código con la ayuda de la IA. Y luego, incluso dentro del marco de pruebas de automatización, ¿cómo podemos usar realmente la IA, o digamos, con respecto a Selenium, para que cuando estemos haciendo cualquier tipo de prueba automatizada, la IA pueda ayudar a mejorarla al analizar específicamente los problemas que pueden surgir, y estamos utilizando una prueba manual, básicamente estamos utilizando pruebas de automatización para buscar específicamente esos problemas particulares y tratar de resolverlos. Estos son algunos de los escenarios en los que la IA se está utilizando actualmente en las pruebas de software.

Entonces, tenemos muchos softwares diferentes que utilizan IA para automatizar la generación de pruebas, utilizar el aprendizaje automático para mejorar las pruebas de regresión, utilizar el aprendizaje automático para obtener mejores predicciones en las pruebas de automatización, y estas soluciones gradualmente reemplazarán las pruebas de automatización basadas en Selenium, y por supuesto, la idea ahora es lograr una cobertura de código del 100% con la ayuda de la IA. Algunos de los beneficios que la IA proporcionará a las pruebas de software son, en primer lugar, ayuda a ahorrar tiempo. Ya sea al generar casos de prueba automatizados, lo cual ahorra mucho tiempo para los QA, o para aquellos que tenían que escribir los casos de prueba inicialmente, ayuda a ampliar el alcance de las pruebas. Ahora no se limita a probar solo los cambios entrantes, las pruebas de regresión o los cambios que se han realizado en el código y cómo han afectado a los cambios anteriores, también se encarga, con la ayuda de algoritmos relevantes basados en IA, de hacer que sea mucho más fácil de usar estos casos de prueba generados automáticamente o probados automáticamente proporcionados por la IA, lo que hace que el proceso general de las pruebas sea realmente simple y amplía el alcance para buscar este tipo de casos de prueba que los humanos o los probadores de software podrían olvidar, por lo que proporciona

Me pregunto si podríamos llegar a un punto en el que la máquina no solo analice el código base y los cambios y vea qué debe agregarse en términos de testing, sino también qué debe eliminarse. ¿Alguna vez lo has pensado? Como, ¿casos de prueba que ya no son válidos, sabes? Exactamente. Eso tiene mucho sentido. Digamos que hemos llegado a esa parte de nuestro ciclo de código donde algunos de los cambios de código, algunos de los casos de prueba pueden haberse vuelto redundantes y probablemente no los hayamos usado durante mucho tiempo. Entonces puede sugerirlo. Es algo que personalmente no he investigado, pero definitivamente es un buen proceso de pensamiento a considerar. Definitivamente. De acuerdo. Genial. Tenemos otra pregunta aquí de Mark Michaelis sobre cómo responder al cambio, que sería cómo la IA manejaría los fallos esperados porque el comportamiento cambió intencionalmente. Bueno, sí, supongo que esta es una pregunta realmente buena. Y nuevamente, lo que sucede es que cuando hablamos del comportamiento. Ahora el comportamiento, al menos lo que asumo de esta pregunta en particular, es que si estamos haciendo un cambio de código en particular y ahora digamos que una vez que hemos realizado un cambio de código en particular, queremos que la IA vea, okay, para este cambio de código en particular, ¿qué caso de prueba esperado podríamos ejecutar, pero digamos intencionalmente, si alguien está cambiando el código y la IA no ha pasado realmente por esa escena de código en particular, ¿verdad? Entonces no ha sido entrenada de esa manera. Entonces, en ese caso, lo que podemos hacer es, quiero decir, también habrá un grado de autoaprendizaje involucrado, a medida que le demos más y más casos de prueba más nuevos para que los analice, o, ya sabes, incluso con la IA, siempre tenemos ese tipo de escenarios en los que hay algún tipo de casos límite, que podrían hacer que la IA falle. Entonces, la respuesta esperada allí sería que proporcionemos un escenario adecuado de informe de errores y simplemente ayudemos a la IA a entrenar también con ese tipo de casos de prueba. Tiene mucho sentido. Y como dijiste, al principio, es algo que no está tan maduro como otros tipos de técnicas. Entonces tenemos que enseñarle a la máquina para que pueda absorber más por nosotros, los profesionales, para que pueda ayudarnos más en el futuro, ¿verdad? Sí, tenemos otra pregunta aquí de Carlos R, ¿tienes alguna otra métrica además de la cobertura de código? Por mi experiencia, incluso una cobertura de casi el 100% no garantiza que el producto esté realmente bien probado. Y estoy totalmente de acuerdo con Carlos R. Sí, absolutamente. Nuevamente, una pregunta realmente buena. Y mira, quiero decir, si consideramos cómo la IA puede ayudarte a alcanzar una cobertura de código del 200%, lo otro que sugeriría es que, aparte de ayudarte a alcanzar una cobertura de código del 200%, como mencioné, con la ayuda de la IA, lo que realmente estamos tratando de hacer es ahorrar tiempo a los probadores. Entonces, en lugar de escribir casos de prueba manuales una y otra vez, si solo obtienes una lista de casos de prueba unitarios sugeridos, o incluso si solo obtienes sugerencias de que, okay, para este cambio de código en particular que has hecho, este podría ser un buen caso de prueba que puedes agregar. Entonces, lo que la IA está haciendo aquí no es solo generar los casos de prueba para ti, sino que al mismo tiempo también está tratando de analizar esos casos en los que un humano podría pasar por alto. Por ejemplo, un QA o un desarrollador de software, un probador de software está mirando okay, ¿qué casos de prueba debo escribir? La IA podría sugerirte casos potenciales que probablemente pasarías por alto o que se te olvidarían. Esa podría ser otra métrica a considerar. Sí, creo que tiene mucho sentido. Ayer en la charla de Vlad con Ramon, creo que era, o no recuerdo exactamente su nombre, pero mencionaron otras cosas, no solo se trata, por ejemplo, del tiempo de ejecución, sino de cómo facilita y acelera la escritura y el mantenimiento de las tareas. Así que creo que sí, la IA puede ayudar mucho en eso.

Aquí es donde también quiero compartir nuevamente sobre Pony code. Sí, porque como mencioné, lo mencioné brevemente en una de mis diapositivas. Pony code es una de esas plataformas que básicamente es una herramienta construida para JavaScript y TypeScript. Y lo que hace es que analiza una de las funciones que has escrito. Por ejemplo, tienes como nodes.js y has creado una función simple y has utilizado module.export, ¿verdad? Entonces analizará la función y luego entenderá, okay, cuál es el contexto de esa función en particular y te ayudará a generar automáticamente algunos casos de prueba como pruebas unitarias. Te sugerirá y luego puedes, ya sabes, seleccionar los que sean relevantes para tu caso. No te obligamos a que te los dé directamente, sino que te da sugerencias para que las revises, que okay, estos son posibles casos de prueba que podrías tener. Sí, me gusta verlo como cuando hacemos programación en pareja, como el Nopilot u otra herramienta, es como si fueras un par y te está dando sugerencias, puedes

Sí, creo que se trata de entrenar a los modelos para que puedan aprender cómo escribir cualquier tipo de prueba, ¿verdad? Entonces, hay otra pregunta de J. Munro, que es, ¿esto es un producto específico? ¿Qué complemento de VSCode estarías buscando? Claro, como acabo de mencionar, Pawnee Code es una herramienta realmente buena. Tienen una CNI, tienen una extensión de VSCode. También podrías, como mencionó Valmira, probar GitHub Copilot. Aunque principalmente GitHub Copilot está destinado a sugerirte código, pero si estás escribiendo tus propias pruebas, también se puede utilizar para ayudarte a dar sugerencias para los casos de prueba, como mencionó Valmira. Por lo tanto, definitivamente puedes usar Copilot. Se integra directamente, por lo que si usas Copilot, se puede incrustar directamente en tu VSCode, y también puedes usar la extensión de VSCode para Pawnee Code. Pero también hay muchas otras herramientas que puedes usar, sí. Sí, y es posible que debas esperar en la lista de espera para Copilot, pero en algún momento llegará. Hay otra pregunta que es, según entendí, la IA crea algunos scripts. ¿Qué tan fácil es leer o verificar estos scripts por parte de los humanos? Esa es una gran pregunta. Bueno, me gustaría dividir esto en dos partes. Una es que sí, puede haber ciertos scripts que se pueden preparar, pero luego la otra parte es que simplemente puedes obtener sugerencias sobre qué casos de prueba particulares debes usar, o simplemente obtendrás bloques de código que son los propios casos de prueba. En cuanto a la parte del script, no estoy 100% seguro, porque no he trabajado realmente en ese lado yo mismo. Pero en lo que he trabajado es en la generación del código en sí. Esos se han centrado en, por ejemplo, para una función en particular, puedes corresponder directamente ese caso de prueba particular con esa función. Tiene sentido. Shibhai, fue genial tenerte aquí. Muchas gracias por tu charla. Absolutamente. Muchas gracias por tenerme, Valmir. Y muchas gracias a todo el equipo de TestJS. Gracias.