¡Ejecución de Tiempo de Prueba! ¿Por qué no se puede ignorar?

Rate this content
Bookmark

Para los equipos ágiles modernos, la velocidad de lanzamiento es muy crítica. Desafortunadamente, uno de los mayores cuellos de botella para una mayor velocidad de lanzamiento son los tiempos de prueba. Incluso después de que los equipos implementen la automatización de pruebas de extremo a extremo, los largos tiempos de prueba retrasan significativamente los pipelines. Este retraso significa que los desarrolladores reciben retroalimentación de sus esfuerzos muy tarde, lo que puede tener un efecto acumulativo y afectar la velocidad de envío. Por lo tanto, el tiempo de ejecución de las pruebas se convierte en uno de los KPI más críticos para cualquier negocio que desee lanzar características más rápido que las fechas límite que se acercan. LambdaTest ayuda a los equipos de desarrollo modernos a lanzar más rápido ejecutando pruebas más rápido en una nube de pruebas escalable y confiable.

10 min
18 Nov, 2021

Video Summary and Transcription

Lambda Test es una plataforma de calidad continua basada en la nube que aborda los desafíos comunes que enfrentan los equipos de QA y desarrollo modernos. Estos desafíos incluyen la necesidad de acortar los ciclos de lanzamiento, el aumento en el tiempo de ejecución de las pruebas debido a la infraestructura de pruebas y el impacto de las pruebas inestables en la retroalimentación y productividad de los desarrolladores. Lambda Test ofrece una amplia gama de funciones, que incluyen pruebas en vivo para máquinas virtuales y pruebas de aplicaciones nativas, una nube de automatización para ejecutar conjuntos de pruebas e integración con varias herramientas. La plataforma es conocida por su confiabilidad, escalabilidad y rendimiento, y se puede implementar e integrar rápidamente con conjuntos de pruebas existentes y herramientas de CI/CD.

Available in English

1. Introducción y Antecedentes

Short description:

Hola, soy Jay, uno de los fundadores de Lambda Test. Hoy quiero compartir los problemas comunes que enfrentan los equipos de QA y desarrollo modernos. Comenzamos en 2017 y tenemos una gran base de usuarios y clientes empresariales. Antes de discutir lo que hacemos, resaltemos los problemas que he escuchado de los líderes de ingeniería y los equipos ágiles.

Hola a todos. Soy Jay, uno de los fundadores de Lambda Test. Gracias por sintonizar y también me alegra ser parte del evento TestJS aquí.

Entonces, solo para darles un breve contexto. Comencé Lambda Test hace cuatro años y medio. He estado construyendo nuestra plataforma completa de ejecución de pruebas en la cloud. Esa es nuestra visión en la que estamos trabajando. Y hoy, solo quiero tomar unos momentos para compartir los problemas comunes que escucho y a menudo escucho de los equipos de QA y desarrollo modernos.

Y antes de eso, me gustaría darles una idea rápida de nuestro origen. Comenzamos en 2017 y recientemente obtuvimos financiamiento de series de Sequoia y Telstra Ventures. Y desde que lanzamos nuestro primer producto, tenemos cerca de medio millón de usuarios que se han registrado. Y de nuestros 7,000 clientes activos, tenemos 500 empresas que han sido parte del viaje. Y antes de hablar sobre lo que hacemos, me gustaría resaltar varios problemas. He estado hablando con muchos líderes de ingeniería y los equipos ágiles y de QA modernos.

2. Desafíos en la Infraestructura y Ejecución de Pruebas

Short description:

Un problema común que enfrentan los equipos es la necesidad de acortar los ciclos de lanzamiento, impulsados por factores como la innovación, la corrección de errores y la refactorización de código. Si bien se implementa la prueba de extremo a extremo, la infraestructura de prueba puede aumentar significativamente el tiempo de ejecución de las pruebas. La infraestructura interna requiere tiempo y esfuerzo para construir y mantener, y el alto tiempo de ejecución de las pruebas se convierte en un obstáculo para los equipos que buscan aumentar la velocidad de lanzamiento. A medida que las suites de pruebas se escalan, el tiempo de ejecución aumenta, lo que afecta la retroalimentación y la productividad de los desarrolladores. Las pruebas inestables a gran escala complican aún más el problema. Lambda Test ofrece una plataforma de calidad continua basada en la nube para abordar estos desafíos.

Y una de las cosas que escucho con frecuencia es que apuntan a acortar los ciclos de lanzamiento. Ahora, eso podría ser debido a N número de razones. Eso podría ser debido a, ya sabes, innovation donde quieren implementar nuevas características o tal vez solo quieren corregir los errores para mejorar la experiencia para los clientes o tal vez simplemente refactorizar el código para una mayor estabilidad de su aplicación en general.

Ahora, todos sabemos que estas herramientas de automation han existido. Y aunque los usuarios y clientes con los que he estado hablando han implementado una suite de pruebas de extremo a extremo, todavía existe un problema más grande, y es la infraestructura de pruebas en la que se ejecutan las pruebas. Y desafortunadamente, esta infraestructura en la que se ejecutan las pruebas, si no está realmente a la altura, aumenta significativamente el tiempo de ejecución de las pruebas.

Ahora, hablemos de la infraestructura en sí. Hablando de la infraestructura interna, si estás en ella, en primer lugar, lleva mucho tiempo construir y mantener esta infraestructura. Y si no está realmente a la altura y personalizada según las necesidades del equipo de QA, se vuelve muy difícil escalarla. Y también esto agrega mucho costo para mantener todo este esfuerzo. Y el segundo aspecto es el alto tiempo de ejecución de las pruebas. Ahora, es muy, muy importante, especialmente para los equipos modernos de QA y desarrollo que se centran en aumentar sus velocidades de lanzamiento y enviar código más rápido. El alto tiempo de ejecución de las pruebas es uno de los mayores obstáculos que escuchamos con frecuencia. Y nuevamente, como dije, no es el problema de la suite de automatización de extremo a extremo, sino es la velocidad de lanzamiento a la que apuntan. Y uno de los obstáculos nuevamente, es debido a las horas y horas que lleva ejecutar tu suite de pruebas.

Ahora, si observas este gráfico a la derecha, al comenzar tu suite de pruebas, normalmente solo toma segundos ejecutarla. Y a medida que escalas tu suite de pruebas, como sabes que tu suite de pruebas, el tiempo de ejecución está relacionado proporcionalmente con el código que envías. Entonces, cuanto más código envíes, más scripts de prueba se escriben y tus casos de prueba crecen. Ahora, a medida que avanzas hacia la suite enterprise, donde tienes miles de pruebas, tu tiempo de ejecución pasa de minutos a horas para completarse. Y ese es un problema más grande para resolver porque tus desarrolladores están esperando recibir la retroalimentación del código que han escrito. Ahora, es posible que hayas notado que aquí estamos esperando que las pruebas se completen, y nuevamente, con la infraestructura deficiente en la que estamos ejecutando las pruebas, estamos afectando la productividad tanto de los equipos de QA como de desarrollo.

Ahora, el tercer problema son las pruebas inestables a gran escala. Ahora, las pruebas inestables pueden ser debido a una serie de razones. Especialmente cuando estás ejecutando tus pruebas en una infraestructura, puede haber muchos problemas relacionados con el consumo de CPU. Puede haber un alto consumo de recursos en la máquina en la que estás ejecutando una prueba, lo que conduce a resultados inestables. Ahora, este es un problema mucho más grande para resolver. Y uno de los aspectos clave es que si ves, si correlacionas tu alto tiempo de ejecución de pruebas con tu ciclo de lanzamiento, puedes ver directamente que el alto tiempo de ejecución de las pruebas está llevando a ciclos de lanzamiento retrasados. Entonces, el tiempo de retroalimentación que tardas en volver al desarrollador también se está alargando. Ahora, todos sabemos que este problema existe. Ahí es exactamente donde entra en juego Lambda Test. Estamos construyendo una plataforma de calidad continua en la cloud donde puedes probar con confianza en tu infraestructura y escalar tus pruebas también.

3. Resumen de las características de Lambda Test

Short description:

Ofrecemos pruebas en vivo para máquinas virtuales de más de 2000 combinaciones de navegadores y sistemas operativos, así como pruebas de aplicaciones nativas en simuladores y emuladores. Nuestra nube de automatización permite ejecutar conjuntos de pruebas y sesiones de votación para reducir el tiempo de ejecución. Con un enfoque en el rendimiento, la confiabilidad y la escalabilidad, ofrecemos la cuadrícula de Selenium más rápida, pruebas de navegadores sin cabeza e informes avanzados. Nuestra nube de dispositivos reales permite pruebas manuales de aplicaciones nativas y admitimos pruebas de automatización y análisis de registros de dispositivos. La integración con herramientas de CI/CD es rápida y sencilla, con soporte para ejecutar pruebas en paralelo en diferentes navegadores, dispositivos y sistemas operativos. Ofrecemos 120 integraciones con marcos de trabajo, automatización sin código, CI/CD y herramientas de seguimiento de errores, lo que convierte a Lambda Test en una solución compatible con el ecosistema. Nuestra confiabilidad, escalabilidad y rendimiento han captado la atención en el espacio de JITU Crowd. La incorporación e integración de nuestra suite de pruebas y herramientas de CI/CD solo lleva 30 minutos. Gracias por su tiempo y disfrute de la conferencia TestJS.

Comenzamos con nuestro producto, el primer producto que lanzamos es la testing en vivo, donde puedes iniciar las máquinas virtuales de más de 2000 combinaciones de navegadores y sistemas operativos y probar tus aplicaciones. También puedes probar tus aplicaciones nativas en simuladores y emuladores.

Luego tenemos la nube de automatización, donde puedes ejecutar tus conjuntos de pruebas de automatización y ejecutar cientos de sesiones de votación para asegurarte de poder reducir tu ciclo de ejecución de pruebas.

Y lo más importante, desde el día en que comenzamos la empresa, nos enfocamos en tres parámetros aquí. Nos enfocamos en el rendimiento, en la confiabilidad y en la escalabilidad. Estos fueron los tres aspectos importantes porque entendemos que son los más cruciales para los equipos de QA y desarrollo.

Construimos la cuadrícula de Selenium más rápida en la nube, donde también puedes realizar pruebas de navegadores sin cabeza y obtener informes y análisis avanzados. Recientemente lanzamos nuestra Nube de Dispositivos Reales, donde puedes realizar pruebas manuales de aplicaciones nativas. También ofrecemos pruebas de automatización y análisis de registros de dispositivos.

Junto con la infraestructura que construimos, también ofrecemos otras funcionalidades, como la posibilidad de ejecutar tus pruebas en entornos de prepod utilizando nuestro túnel listo para la empresa. Puedes ejecutar tus pruebas en paralelo en diferentes navegadores, dispositivos y sistemas operativos para acelerar el tiempo de ejecución de las pruebas. También ofrecemos soporte para geolocalización y es fácilmente integrable con tus herramientas de CI/CD. Si deseas ejecutar tus pruebas desde CI/CD en nuestra infraestructura, solo toma 5 minutos integrarlo y comenzar.

Además de eso, también quiero destacar las integraciones que tenemos. Nuestro panorama de integraciones abarca alrededor de 120 integraciones que hemos construido con marcos de trabajo, automatización sin código, CI/CD y herramientas de seguimiento de errores. Cuando comenzamos a construir Lambda Test, queríamos que fuera parte del ecosistema, no que funcionara como un sistema independiente. Por eso intentamos integrarlo tanto como fuera posible para facilitar aún más el trabajo de los equipos de QA y desarrollo. En poco tiempo, hemos captado mucha atención en el espacio de JITU Crowd gracias a nuestra confiabilidad, escalabilidad y rendimiento en nuestra infraestructura.

Hemos estado liderando y capacitando en JITU Crowd como líderes de impulso, y podrás ver las reseñas que recibimos y la facilidad de uso. Solo toma alrededor de 30 minutos como máximo para que un usuario se integre y comience a ejecutar las pruebas con nuestra suite de pruebas y herramientas de CI/CD. Esto es solo un resumen rápido sobre nosotros. Agradezco mucho que me hayas escuchado. Aprecio el tiempo y espero que disfrutes de la conferencia TestJS. Cuídate. Adiós. ♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪♪

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

TestJS Summit 2021TestJS Summit 2021
33 min
Network Requests with Cypress
Top Content
Whether you're testing your UI or API, Cypress gives you all the tools needed to work with and manage network requests. This intermediate-level task demonstrates how to use the cy.request and cy.intercept commands to execute, spy on, and stub network requests while testing your application in the browser. Learn how the commands work as well as use cases for each, including best practices for testing and mocking your network requests.
TestJS Summit 2021TestJS Summit 2021
38 min
Testing Pyramid Makes Little Sense, What We Can Use Instead
Top Content
Featured Video
The testing pyramid - the canonical shape of tests that defined what types of tests we need to write to make sure the app works - is ... obsolete. In this presentation, Roman Sandler and Gleb Bahmutov argue what the testing shape works better for today's web applications.
TestJS Summit 2022TestJS Summit 2022
27 min
Full-Circle Testing With Cypress
Top Content
Cypress has taken the world by storm by brining an easy to use tool for end to end testing. It’s capabilities have proven to be be useful for creating stable tests for frontend applications. But end to end testing is just a small part of testing efforts. What about your API? What about your components? Well, in my talk I would like to show you how we can start with end-to-end tests, go deeper with component testing and then move up to testing our API, circ
TestJS Summit 2022TestJS Summit 2022
20 min
Testing Web Applications with Playwright
Top Content
Testing is hard, testing takes time to learn and to write, and time is money. As developers we want to test. We know we should but we don't have time. So how can we get more developers to do testing? We can create better tools.Let me introduce you to Playwright - Reliable end-to-end cross browser testing for modern web apps, by Microsoft and fully open source. Playwright's codegen generates tests for you in JavaScript, TypeScript, Dot Net, Java or Python. Now you really have no excuses. It's time to play your tests wright.
TestJS Summit 2021TestJS Summit 2021
31 min
Test Effective Development
Top Content
Developers want to sleep tight knowing they didn't break production. Companies want to be efficient in order to meet their customer needs faster and to gain competitive advantage sooner. We ALL want to be cost effective... or shall I say... TEST EFFECTIVE!But how do we do that?Are the "unit" and "integration" terminology serves us right?Or is it time for a change? When should we use either strategy to maximize our "test effectiveness"?In this talk I'll show you a brand new way to think about cost effective testing with new strategies and new testing terms!It’s time to go DEEPER!

Workshops on related topic

React Summit 2023React Summit 2023
151 min
Designing Effective Tests With React Testing Library
Featured Workshop
React Testing Library is a great framework for React component tests because there are a lot of questions it answers for you, so you don’t need to worry about those questions. But that doesn’t mean testing is easy. There are still a lot of questions you have to figure out for yourself: How many component tests should you write vs end-to-end tests or lower-level unit tests? How can you test a certain line of code that is tricky to test? And what in the world are you supposed to do about that persistent act() warning?
In this three-hour workshop we’ll introduce React Testing Library along with a mental model for how to think about designing your component tests. This mental model will help you see how to test each bit of logic, whether or not to mock dependencies, and will help improve the design of your components. You’ll walk away with the tools, techniques, and principles you need to implement low-cost, high-value component tests.
Table of contents- The different kinds of React application tests, and where component tests fit in- A mental model for thinking about the inputs and outputs of the components you test- Options for selecting DOM elements to verify and interact with them- The value of mocks and why they shouldn’t be avoided- The challenges with asynchrony in RTL tests and how to handle them
Prerequisites- Familiarity with building applications with React- Basic experience writing automated tests with Jest or another unit testing framework- You do not need any experience with React Testing Library- Machine setup: Node LTS, Yarn
TestJS Summit 2022TestJS Summit 2022
146 min
How to Start With Cypress
Featured WorkshopFree
The web has evolved. Finally, testing has also. Cypress is a modern testing tool that answers the testing needs of modern web applications. It has been gaining a lot of traction in the last couple of years, gaining worldwide popularity. If you have been waiting to learn Cypress, wait no more! Filip Hric will guide you through the first steps on how to start using Cypress and set up a project on your own. The good news is, learning Cypress is incredibly easy. You'll write your first test in no time, and then you'll discover how to write a full end-to-end test for a modern web application. You'll learn the core concepts like retry-ability. Discover how to work and interact with your application and learn how to combine API and UI tests. Throughout this whole workshop, we will write code and do practical exercises. You will leave with a hands-on experience that you can translate to your own project.
React Summit 2022React Summit 2022
117 min
Detox 101: How to write stable end-to-end tests for your React Native application
Top Content
WorkshopFree
Compared to unit testing, end-to-end testing aims to interact with your application just like a real user. And as we all know it can be pretty challenging. Especially when we talk about Mobile applications.
Tests rely on many conditions and are considered to be slow and flaky. On the other hand - end-to-end tests can give the greatest confidence that your app is working. And if done right - can become an amazing tool for boosting developer velocity.
Detox is a gray-box end-to-end testing framework for mobile apps. Developed by Wix to solve the problem of slowness and flakiness and used by React Native itself as its E2E testing tool.
Join me on this workshop to learn how to make your mobile end-to-end tests with Detox rock.
Prerequisites- iOS/Android: MacOS Catalina or newer- Android only: Linux- Install before the workshop
TestJS Summit 2023TestJS Summit 2023
48 min
API Testing with Postman Workshop
WorkshopFree
In the ever-evolving landscape of software development, ensuring the reliability and functionality of APIs has become paramount. "API Testing with Postman" is a comprehensive workshop designed to equip participants with the knowledge and skills needed to excel in API testing using Postman, a powerful tool widely adopted by professionals in the field. This workshop delves into the fundamentals of API testing, progresses to advanced testing techniques, and explores automation, performance testing, and multi-protocol support, providing attendees with a holistic understanding of API testing with Postman.
1. Welcome to Postman- Explaining the Postman User Interface (UI)2. Workspace and Collections Collaboration- Understanding Workspaces and their role in collaboration- Exploring the concept of Collections for organizing and executing API requests3. Introduction to API Testing- Covering the basics of API testing and its significance4. Variable Management- Managing environment, global, and collection variables- Utilizing scripting snippets for dynamic data5. Building Testing Workflows- Creating effective testing workflows for comprehensive testing- Utilizing the Collection Runner for test execution- Introduction to Postbot for automated testing6. Advanced Testing- Contract Testing for ensuring API contracts- Using Mock Servers for effective testing- Maximizing productivity with Collection/Workspace templates- Integration Testing and Regression Testing strategies7. Automation with Postman- Leveraging the Postman CLI for automation- Scheduled Runs for regular testing- Integrating Postman into CI/CD pipelines8. Performance Testing- Demonstrating performance testing capabilities (showing the desktop client)- Synchronizing tests with VS Code for streamlined development9. Exploring Advanced Features - Working with Multiple Protocols: GraphQL, gRPC, and more
Join us for this workshop to unlock the full potential of Postman for API testing, streamline your testing processes, and enhance the quality and reliability of your software. Whether you're a beginner or an experienced tester, this workshop will equip you with the skills needed to excel in API testing with Postman.
TestJS Summit - January, 2021TestJS Summit - January, 2021
173 min
Testing Web Applications Using Cypress
WorkshopFree
This workshop will teach you the basics of writing useful end-to-end tests using Cypress Test Runner.
We will cover writing tests, covering every application feature, structuring tests, intercepting network requests, and setting up the backend data.
Anyone who knows JavaScript programming language and has NPM installed would be able to follow along.
TestJS Summit 2023TestJS Summit 2023
148 min
Best Practices for Writing and Debugging Cypress Tests
Workshop
You probably know the story. You’ve created a couple of tests, and since you are using Cypress, you’ve done this pretty quickly. Seems like nothing is stopping you, but then – failed test. It wasn’t the app, wasn’t an error, the test was… flaky? Well yes. Test design is important no matter what tool you will use, Cypress included. The good news is that Cypress has a couple of tools behind its belt that can help you out. Join me on my workshop, where I’ll guide you away from the valley of anti-patterns into the fields of evergreen, stable tests. We’ll talk about common mistakes when writing your test as well as debug and unveil underlying problems. All with the goal of avoiding flakiness, and designing stable test.