¿Quién está probando las pruebas?

Rate this content
Bookmark

¿Alguna vez te has preguntado: "¿quién está probando las pruebas"? Por supuesto, las pruebas solo son valiosas si detectan errores, pero ¿cómo se puede validar eso? ¡Bueno, déjame hablarte sobre la prueba de mutación!


La prueba de mutación consiste en probar tus pruebas para verificar que detecten errores. Por supuesto, puedes hacer esto manualmente insertando errores y ejecutando las pruebas, ¡pero un marco de prueba de mutación puede hacerlo por ti!


Únete a mí y aprende los conceptos básicos de la prueba de mutación y cómo usar StrykerJS, el marco de prueba de mutación para JavaScript o TypeScript.

Al final de esta charla, serás tú quien esté probando tus pruebas, ¡y ni siquiera te costará mucho tiempo!

8 min
19 Nov, 2021

Video Summary and Transcription

La prueba de mutación es un método para mejorar la calidad de las pruebas insertando errores en el código para comprobar si las pruebas pueden detectarlos. Los marcos de prueba de mutación como Striker.js permiten realizar diversas mutaciones. La prueba de mutación proporciona una puntuación de mutación que es una herramienta mejor que la cobertura de código para medir la calidad de las pruebas. Puede ayudar a identificar pruebas faltantes o errores en las pruebas existentes. Se recomienda Stryker para la prueba de mutación en JavaScript y TypeScript.

Available in English

1. Introducción a la Prueba de Mutación

Short description:

Hola, soy Simon, un ingeniero de software en InfoSupport. Vamos a hablar sobre cómo la prueba de mutación puede mejorar la calidad de las pruebas. La cobertura de código es una métrica deficiente para medir la calidad de las pruebas. La prueba de mutación inserta errores en el código para probar si las pruebas pueden detectarlos. Genera mutantes y ejecuta pruebas para detectar las que fallan. Se realizan cientos de mutaciones para generar un informe completo. Un ejemplo de mutación de código es cambiar un signo mayor o igual por un signo menor que.

sobre cómo la prueba de mutación puede ayudar a mejorar la calidad de tus pruebas. Pero antes de sumergirnos en la prueba de mutación, primero quiero hablar un poco sobre la cobertura de código. La cobertura de código se utiliza a menudo por los desarrolladores como una forma de medir la calidad de sus pruebas. En mi opinión, es una métrica deficiente para medir esto. Lo único que la cobertura de código realmente prueba es si el código se ejecuta o no. La razón por la que escribo pruebas unitarias es verificar que mi código funcione correctamente en este momento y asegurarme de que siga funcionando en el futuro. Y si algo sucede y mi código se comporta de manera diferente, obtendré una prueba fallida. Y nuevamente, la cobertura de código no mide esto, solo mide si se ejecuta tu código. Entonces, ¿cómo medimos realmente la calidad de tus pruebas? Bueno, eso nos lleva al tema de esta charla, la prueba de mutación. La prueba de mutación es una forma de insertar errores en tu código fuente para probar si tus pruebas pueden detectarlos. ¿Cómo funciona esto? Bueno, un marco de prueba de mutación comenzará con tu código fuente, que está todo bien y no hay nada malo con él. Luego hará una pequeña mutación en tu código fuente, lo que generará un mutante. Por ejemplo, A más B podría mutar a A menos B. Esto dará como resultado un resultado diferente para tu código fuente. Y debido a que tu código fuente ha cambiado, debería provocar una prueba fallida. Entonces, el marco de prueba de mutación ejecutará tus pruebas y puede tener dos resultados. O bien, el mutante ha sido detectado debido a una prueba fallida, en ese caso el mutante ha sido eliminado, o ninguna de tus pruebas falló y el mutante pudo sobrevivir. En la prueba de mutación, queremos haber eliminado los mutantes. Entonces, queremos que las pruebas realmente fallen porque hemos insertado un error. En el marco de prueba de mutación, haremos esto cientos o miles de veces para tu código fuente, y al final, lo combinaremos todo y generaremos un informe completo.

Entonces, ¿cómo funciona esta mutación en el código real? Bueno, aquí tengo una pequeña función JavaScript en la parte superior para verificar si un cliente tiene permitido comprar alcohol. Este cliente tiene permitido comprar alcohol en este país si la edad es al menos 18. Y a continuación tengo una prueba para el Profesor X, que tiene 96 años y, por lo tanto, tiene permitido comprar alcohol. En la prueba de mutación miramos el código fuente anterior y hacemos un pequeño cambio. En este caso, el signo mayor o igual se cambiará por un signo menor que, invirtiendo así la comprobación. Si hacemos este cambio en nuestro código fuente, la prueba fallará, por lo tanto, el mutante ha sido eliminado. Esto demuestra que tenemos una prueba para este caso específico y este error no puede insertarse en nuestro código sin que lo sepamos. También podemos cambiarlo de otra manera.

2. Prueba de Mutación y Marcos

Short description:

Comenzamos con mayor o igual, ahora es mayor que. Cambiar toda la declaración de retorno para que siempre devuelva 2 también pasa. Los marcos de prueba de mutación permiten varias mutaciones como cambiar signos, vaciar cadenas y matrices, e invertir operaciones. Se recomienda Striker.js para JavaScript y TypeScript, pero también hay opciones para otros lenguajes. Hay una pequeña demostración de striker.js disponible en nuestro sitio web. Ejecutar pruebas de mutación puede ser más lento para aplicaciones grandes debido al número de mutaciones que se están probando. La aplicación de demostración generó 126 mutantes a partir de 12 archivos fuente.

Por ejemplo, podemos cambiarlo a mayor que. Comenzamos con mayor o igual, ahora es mayor que. Dado que solo tenemos un caso de prueba para alguien de 96 años, todas nuestras pruebas pasan y el mutante ha sobrevivido. También podemos cambiar toda la declaración de retorno y simplemente devolver siempre 2. En nuestro caso, aún pasa y tenemos un mutante sobreviviente.

Este es un código muy simple. La mayoría de nuestro código no se parece a esto y la mayoría de nuestras pruebas también son más complicadas. Si alguien mira este código, podría decir, `oye, obviamente te faltan algunos casos de prueba`, en el código de producción que estamos escribiendo, a menudo es mucho más difícil. Entonces, ¿qué tipo de mutaciones puedes esperar para los marcos de prueba de mutación? Bueno, la lista definitiva depende del marco y del lenguaje que estés usando. Pero en la mayoría de los casos, son posibles mutaciones como esta. Por ejemplo, cambiar el signo más por un signo menos, vaciar cadenas, vaciar matrices, invertir operaciones, puedes hacer muchas cosas con un cambio muy pequeño en tu código. Y solo uno de estos cambios estará activo a la vez para asegurarnos de qué mutación está causando que una prueba falle. Bueno, la prueba de mutación está disponible para muchos marcos diferentes. Y como estamos en una conferencia de JavaScript, recomendaría striker.js como el marco a usar para JavaScript y TypeScript. Pero está disponible para casi todos los lenguajes que conoces. Si no está en esta lista, simplemente búscalo en Google para tu lenguaje y probablemente encontrarás algo. Entonces, para striker.js, tengo una pequeña demostración. La aplicación de demostración que tenemos también está disponible en nuestro sitio web. El enlace estará al final de las diapositivas con información sobre cómo configurarlo tú mismo. Puedo iniciar striker desde la línea de comandos. Y comenzará a ejecutar nuestras pruebas. Como la aplicación de demostración es pequeña, es bastante rápida. Si tienes una aplicación enterprise grande, es probable que notes que la prueba de mutación es bastante más lenta que la ejecución de la prueba unitaria. Debido a que se realizan miles de mutaciones y cada una de ellas debe ser probada. Entonces, mi computadora portátil se está iniciando ahora mismo. Está testing. Y en uno o dos segundos, estará terminado. Para nuestra aplicación, tiene 12 archivos fuente para mutar y pudo generar 126 mutantes. Así que está hecho.

3. Importancia de la Prueba de Mutación

Short description:

La prueba de mutación proporciona una puntuación de mutación basada en el número de mutantes eliminados. Es una herramienta mejor que la cobertura de código para medir la calidad de las pruebas. Al examinar mutaciones específicas, se pueden identificar pruebas faltantes o errores en las pruebas existentes. Recomiendo probar la prueba de mutación con Stryker para JavaScript y TypeScript.

Aquí obtenemos una tabla agradable como resultado. Pero también tenemos un informe HTML. Y si miramos este informe, podemos ver que tenemos una puntuación de mutación. Esa es la cantidad de mutantes que pudimos eliminar. Cuantos más mutantes elimines, mayor será tu puntuación. Y al igual que con la cobertura de código, probablemente quieras una puntuación alta. En este caso, hemos obtenido aproximadamente el 85% de nuestra aplicación. Bueno, si miramos la cobertura de código para esta aplicación, tendríamos una cobertura de código del 100%. Entonces, si solo usamos la cobertura de código como métrica, estaríamos engañados pensando que hemos probado esto correctamente. Ahora, si miramos archivos específicos, también puedes ver mutaciones específicas, por ejemplo, el H-check aquí, y notamos que tenemos un operador de igualdad que sobrevive. Para mí, esto indica que nos falta una prueba porque pudimos cambiar el signo mayor que por mayor o igual. Entonces, en un informe como este para tu código fuente, realmente puedes descubrir qué tipo de pruebas te faltan o si tienes algún error en tus pruebas. En resumen, la prueba de mutación en mi opinión es una herramienta mucho mejor para medir la calidad de tus pruebas. Te recomendaría encarecidamente que lo pruebes. Para JavaScript y TypeScript, recomiendo Stryker. Hay un ejemplo disponible en nuestros sitios web. Si tienes alguna pregunta, no dudes en contactarnos en Twitter en Stryker en el mutador cuadrado, y las diapositivas también están en GitHub.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

TestJS Summit 2021TestJS Summit 2021
33 min
Network Requests with Cypress
Top Content
Whether you're testing your UI or API, Cypress gives you all the tools needed to work with and manage network requests. This intermediate-level task demonstrates how to use the cy.request and cy.intercept commands to execute, spy on, and stub network requests while testing your application in the browser. Learn how the commands work as well as use cases for each, including best practices for testing and mocking your network requests.
TestJS Summit 2021TestJS Summit 2021
38 min
Testing Pyramid Makes Little Sense, What We Can Use Instead
Top Content
Featured Video
The testing pyramid - the canonical shape of tests that defined what types of tests we need to write to make sure the app works - is ... obsolete. In this presentation, Roman Sandler and Gleb Bahmutov argue what the testing shape works better for today's web applications.
TestJS Summit 2022TestJS Summit 2022
27 min
Full-Circle Testing With Cypress
Top Content
Cypress has taken the world by storm by brining an easy to use tool for end to end testing. It’s capabilities have proven to be be useful for creating stable tests for frontend applications. But end to end testing is just a small part of testing efforts. What about your API? What about your components? Well, in my talk I would like to show you how we can start with end-to-end tests, go deeper with component testing and then move up to testing our API, circ
TestJS Summit 2021TestJS Summit 2021
31 min
Test Effective Development
Top Content
Developers want to sleep tight knowing they didn't break production. Companies want to be efficient in order to meet their customer needs faster and to gain competitive advantage sooner. We ALL want to be cost effective... or shall I say... TEST EFFECTIVE!But how do we do that?Are the "unit" and "integration" terminology serves us right?Or is it time for a change? When should we use either strategy to maximize our "test effectiveness"?In this talk I'll show you a brand new way to think about cost effective testing with new strategies and new testing terms!It’s time to go DEEPER!
TestJS Summit 2023TestJS Summit 2023
21 min
Everyone Can Easily Write Tests
Let’s take a look at how Playwright can help you get your end to end tests written with tools like Codegen that generate tests on user interaction. Let’s explore UI mode for a better developer experience and then go over some tips to make sure you don’t have flakey tests. Then let’s talk about how to get your tests up and running on CI, debugging on CI and scaling using shards.

Workshops on related topic

React Summit 2023React Summit 2023
151 min
Designing Effective Tests With React Testing Library
Featured Workshop
React Testing Library is a great framework for React component tests because there are a lot of questions it answers for you, so you don’t need to worry about those questions. But that doesn’t mean testing is easy. There are still a lot of questions you have to figure out for yourself: How many component tests should you write vs end-to-end tests or lower-level unit tests? How can you test a certain line of code that is tricky to test? And what in the world are you supposed to do about that persistent act() warning?
In this three-hour workshop we’ll introduce React Testing Library along with a mental model for how to think about designing your component tests. This mental model will help you see how to test each bit of logic, whether or not to mock dependencies, and will help improve the design of your components. You’ll walk away with the tools, techniques, and principles you need to implement low-cost, high-value component tests.
Table of contents- The different kinds of React application tests, and where component tests fit in- A mental model for thinking about the inputs and outputs of the components you test- Options for selecting DOM elements to verify and interact with them- The value of mocks and why they shouldn’t be avoided- The challenges with asynchrony in RTL tests and how to handle them
Prerequisites- Familiarity with building applications with React- Basic experience writing automated tests with Jest or another unit testing framework- You do not need any experience with React Testing Library- Machine setup: Node LTS, Yarn
TestJS Summit 2022TestJS Summit 2022
146 min
How to Start With Cypress
Featured WorkshopFree
The web has evolved. Finally, testing has also. Cypress is a modern testing tool that answers the testing needs of modern web applications. It has been gaining a lot of traction in the last couple of years, gaining worldwide popularity. If you have been waiting to learn Cypress, wait no more! Filip Hric will guide you through the first steps on how to start using Cypress and set up a project on your own. The good news is, learning Cypress is incredibly easy. You'll write your first test in no time, and then you'll discover how to write a full end-to-end test for a modern web application. You'll learn the core concepts like retry-ability. Discover how to work and interact with your application and learn how to combine API and UI tests. Throughout this whole workshop, we will write code and do practical exercises. You will leave with a hands-on experience that you can translate to your own project.
React Summit 2022React Summit 2022
117 min
Detox 101: How to write stable end-to-end tests for your React Native application
Top Content
WorkshopFree
Compared to unit testing, end-to-end testing aims to interact with your application just like a real user. And as we all know it can be pretty challenging. Especially when we talk about Mobile applications.
Tests rely on many conditions and are considered to be slow and flaky. On the other hand - end-to-end tests can give the greatest confidence that your app is working. And if done right - can become an amazing tool for boosting developer velocity.
Detox is a gray-box end-to-end testing framework for mobile apps. Developed by Wix to solve the problem of slowness and flakiness and used by React Native itself as its E2E testing tool.
Join me on this workshop to learn how to make your mobile end-to-end tests with Detox rock.
Prerequisites- iOS/Android: MacOS Catalina or newer- Android only: Linux- Install before the workshop
TestJS Summit 2023TestJS Summit 2023
48 min
API Testing with Postman Workshop
WorkshopFree
In the ever-evolving landscape of software development, ensuring the reliability and functionality of APIs has become paramount. "API Testing with Postman" is a comprehensive workshop designed to equip participants with the knowledge and skills needed to excel in API testing using Postman, a powerful tool widely adopted by professionals in the field. This workshop delves into the fundamentals of API testing, progresses to advanced testing techniques, and explores automation, performance testing, and multi-protocol support, providing attendees with a holistic understanding of API testing with Postman.
1. Welcome to Postman- Explaining the Postman User Interface (UI)2. Workspace and Collections Collaboration- Understanding Workspaces and their role in collaboration- Exploring the concept of Collections for organizing and executing API requests3. Introduction to API Testing- Covering the basics of API testing and its significance4. Variable Management- Managing environment, global, and collection variables- Utilizing scripting snippets for dynamic data5. Building Testing Workflows- Creating effective testing workflows for comprehensive testing- Utilizing the Collection Runner for test execution- Introduction to Postbot for automated testing6. Advanced Testing- Contract Testing for ensuring API contracts- Using Mock Servers for effective testing- Maximizing productivity with Collection/Workspace templates- Integration Testing and Regression Testing strategies7. Automation with Postman- Leveraging the Postman CLI for automation- Scheduled Runs for regular testing- Integrating Postman into CI/CD pipelines8. Performance Testing- Demonstrating performance testing capabilities (showing the desktop client)- Synchronizing tests with VS Code for streamlined development9. Exploring Advanced Features - Working with Multiple Protocols: GraphQL, gRPC, and more
Join us for this workshop to unlock the full potential of Postman for API testing, streamline your testing processes, and enhance the quality and reliability of your software. Whether you're a beginner or an experienced tester, this workshop will equip you with the skills needed to excel in API testing with Postman.
TestJS Summit - January, 2021TestJS Summit - January, 2021
173 min
Testing Web Applications Using Cypress
WorkshopFree
This workshop will teach you the basics of writing useful end-to-end tests using Cypress Test Runner.
We will cover writing tests, covering every application feature, structuring tests, intercepting network requests, and setting up the backend data.
Anyone who knows JavaScript programming language and has NPM installed would be able to follow along.
TestJS Summit 2023TestJS Summit 2023
148 min
Best Practices for Writing and Debugging Cypress Tests
Workshop
You probably know the story. You’ve created a couple of tests, and since you are using Cypress, you’ve done this pretty quickly. Seems like nothing is stopping you, but then – failed test. It wasn’t the app, wasn’t an error, the test was… flaky? Well yes. Test design is important no matter what tool you will use, Cypress included. The good news is that Cypress has a couple of tools behind its belt that can help you out. Join me on my workshop, where I’ll guide you away from the valley of anti-patterns into the fields of evergreen, stable tests. We’ll talk about common mistakes when writing your test as well as debug and unveil underlying problems. All with the goal of avoiding flakiness, and designing stable test.