Pruebas en Producción

Rate this content
Bookmark

FAQ

Hacer pruebas en producción significa evaluar las características directamente en el ambiente en el que operarán, no usando un entorno ficticio como la preparación. Esto permite verificar el desempeño y la funcionalidad de las características en condiciones reales y identificar errores antes de que afecten a los usuarios finales.

Los flags de características permiten separar la implementación del código del lanzamiento de las características. Esto significa que puedes probar nuevas características en producción sin exponerlas a todos los usuarios, minimizando el impacto de los errores y permitiendo ajustes antes de su lanzamiento general.

La automatización en las pruebas en producción se puede lograr de dos maneras principales: dirigirse a usuarios de prueba y automatizar los flujos con ellos o anular los flags de características para probar diferentes escenarios. Esta automatización ayuda a mantener la integridad y el rendimiento del software en el entorno de producción.

Talia recomienda el uso de Split para la segmentación de usuarios, el marco de robot para la automatización, y Jenkins o Circle CI para la programación de trabajos. Para las alertas, sugiere herramientas como Pager Duty y Slack, que se integran bien con los sistemas de programación.

Probar en producción es crucial porque es la única manera de asegurar que las características del software funcionan correctamente en el entorno live. Esto permite a las empresas lanzar actualizaciones con confianza, reduciendo los riesgos y maximizando la satisfacción del usuario.

Talia Nassi
Talia Nassi
29 min
24 Jun, 2021

Comments

Sign in or register to post your comment.

Video Summary and Transcription

La charla de hoy discute el concepto de pruebas en producción, incluyendo los desafíos con los entornos de preparación y la falta de coincidencia de datos. Se destaca el uso de banderas de características como solución para habilitar las pruebas en producción. Se enfatiza la automatización como componente clave para las pruebas eficientes de banderas de características. Los beneficios de las pruebas en producción son el aumento de la velocidad y la confianza del desarrollador. También se abordan los requisitos organizativos y la resistencia a las pruebas en producción. La charla concluye discutiendo la gestión de banderas de características y la segmentación de usuarios en los servicios de banderas de características.

Available in English: Testing in Production

1. Introducción a las pruebas en producción

Short description:

Hoy vamos a hablar sobre cómo habilitar las pruebas en producción, incluyendo qué es la prueba en producción, cómo configurarla y los problemas comunes. Como antigua ingeniera de pruebas, me enfrenté a desafíos con los entornos de preparación y la falta de coincidencia de datos. Los datos en el entorno de preparación no siempre coinciden con la producción, lo que lleva a resultados de prueba que no se alinean. Además, la desviación de configuración crea una brecha entre la preparación y la producción, lo que hace que las pruebas en preparación sean menos confiables. Además, los entornos de preparación a menudo tienen un rendimiento lento, lo que no refleja con precisión las interacciones del usuario en producción.

Hola a todos, soy Talia y hoy vamos a hablar sobre cómo habilitar las pruebas en producción. Vamos a hablar sobre qué es la prueba en producción, cómo configurarla y los problemas comunes con los que generalmente nos encontramos. Esta es mi información de contacto, mi Twitter y mi correo electrónico, en caso de que tengan preguntas más adelante.

Pero un poco sobre mí, soy una defensora del desarrollo en Split y solía ser ingeniera de pruebas. Trabajé en QA y automatización de pruebas durante un tiempo antes de unirme a Split. Ser ingeniera de pruebas fue realmente difícil para mí porque la mayoría de los problemas con los que me encontré giraban en torno a la preparación y el uso de este entorno ficticio. La preparación no es lo mismo que la producción. Tenía tantos problemas y estos son algunos de los problemas con los que lidié que estoy segura de que la mayoría de ustedes también han lidiado. Si han trabajado con algún tipo de entorno de prueba, cualquier tipo de entorno de QA, cualquier cosa que no sea producción. Estos son algunos de los aspectos que me dificultaron mucho hacer mi trabajo. El primer problema fue la falta de coincidencia de datos. Los datos en la preparación no coinciden con la producción, lo que significa que los resultados de las pruebas no siempre coinciden. Solía trabajar muy duro para asegurarme de probar cada requisito del producto y revisaba la documentación con el donante del producto y trabajaba con mis desarrolladores para solucionar todos los errores, asegurarme de que mis pruebas de extremo a extremo pasaran y luego firmaba la función. Y tan pronto como se lanzaba a producción, había un error. Y es una sensación horrible cuando hay tanta presión sobre ti para asegurarte de que tu función funcione en un entorno ficticio.

Y luego, lo siguiente con la falta de coincidencia de datos que me sucedió fue algo llamado desviación de configuración. Y lo que esto significa es que supongamos que te llaman una noche porque hay un incidente en tu aplicación y miras los registros e identificas los problemas, pero para solucionarlo, debes actualizar una configuración específica en producción. Entonces haces el cambio en producción y vuelves a dormir. Y aunque solucionaste el problema, acabas de crear una brecha aún mayor entre tus entornos de preparación y producción. Esta brecha se llama desviación de configuración. Y muchas veces los entornos de preparación no son iguales que la producción debido a los cambios realizados durante la gestión de incidentes, lo que solo agrava la desviación de configuración. Y sentí que, ¿cuál es el punto de las pruebas en preparación si no me va a dar los mismos resultados que la producción? El siguiente problema que tuve fue que la preparación era muy lenta. Tenía un rendimiento muy malo. Y muchas veces, cuando estás escribiendo pruebas en preparación, a menudo tienes que agregar esperas porque las cosas tardan más en cargarse. Por ejemplo, haces clic en un botón. Espera 10 segundos a que suceda algo. Realiza esta acción. Espera otros 10 segundos a que suceda algo. Tu usuario no va a esperar 10 segundos para que aparezca algo a tiempo real. Eso es una locura. Entonces, ¿por qué hacer eso diferente en la preparación?

2. Desafíos de las pruebas y la solución: Feature Flags

Short description:

Me enfrenté a desafíos con un entorno de preparación deficiente y una mala experiencia de pruebas. Las pruebas en producción significan probar características y su entorno, no utilizar un entorno ficticio como la preparación. Grandes empresas como Google, Facebook, Netflix y Twitter están realizando pruebas en producción. Los feature flags separan la implementación del código del lanzamiento de características, lo que permite lanzamientos sin errores con solo hacer clic en un botón.

A nadie le importa si la preparación está caída. Otra cosa con la que tuve que lidiar es que me asignaban para probar diferentes problemas. Para probar diferentes tickets de corrección urgente, y estos eran solo correcciones críticas de errores que necesitaban ser lanzadas de inmediato a producción. Así que ingresaba a la preparación para probarlo, pero la preparación estaba caída. Así que tenía que contactar al chico de DevOps. Pero el chico de DevOps decía que tenía que abrir un ticket de TI. Y luego el ticket de TI tenía que ser escalado por mi gerente. Y mientras tanto, todo lo que intentaba hacer era probar este ticket para nuestro producto, y a nadie parecía importarle. No era una prioridad para nadie. Nadie va a recibir una llamada en medio de la cena de Acción de Gracias si la preparación está caída. Y estaba tan cansada de lidiar con un entorno de preparación realmente malo y una experiencia de pruebas realmente mala y ser ciega cuando las cosas no funcionaban. Y pensé que tenía que haber una mejor manera de probar software. Mis usuarios finales no van a ingresar a la preparación para usar mi aplicación. Van a ingresar a producción. Así que hice mucha investigación y averigüé qué están haciendo otras empresas. Y esto es lo que hacen las empresas. Es la norma que las empresas utilicen entornos de preparación, especialmente las empresas que todavía siguen el modelo en cascada. Lo siguiente es que la mayoría de las empresas utilizan más de un entorno de preparación. Entonces, preparación, preproducción, beta, la mayoría de las empresas tienen más de uno. Y empresas conocidas como Google, Facebook, Netflix, Twitter, todas están haciendo pruebas en producción. Y cuando leí eso, pensé, ¿qué es hacer pruebas en producción? ¿Cómo es posible eso? ¿Qué quieres decir con hacer pruebas en producción? Así que hacer pruebas en producción significa hacer pruebas de tus características y el entorno en el que vivirán tus características, no utilizando un entorno ficticio como la preparación y pensé, wow, esto es perfecto. Esto va a resolver todos mis problemas. Y también aprendí que hacer pruebas en prod no significa que solo hagas pruebas en prod, aún vas a utilizar la preparación para GDPR y temas relacionados con SOCKS y privacidad, y pensé, esto es perfecto porque lo que no puedo probar en producción, simplemente lo probaría en la preparación, pero esos flujos críticos de usuarios, los puedo ejecutar en producción y pensé que esto es genial. ¿Cómo lo hago? ¿Cuáles son los pasos para llegar allí? Y la respuesta fue los feature flags. Y un feature flag es básicamente una forma de separar la implementación del código del lanzamiento de características. Y la idea aquí es que implementas tu código en producción detrás de un feature flag, lo pruebas en prod y luego lanzas la característica con el clic de un botón tan pronto como esté libre de errores. Entonces, ¿cómo funciona? Así es más o menos cómo se ve esto. Nuestros desarrolladores crearían un feature flag desde la interfaz de usuario, y luego lo dirigirían a todos nuestros compañeros internos. Y lo que eso significa es que solo los usuarios que estén dentro del feature flag mientras el flag esté desactivado, podrán acceder a la característica. Entonces, aquí puedes ver a los desarrolladores, probadores, diseño de productos. Solo ellos podrán acceder a esta nueva característica mientras el feature flag esté desactivado.

QnA

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Solicitudes de Red con Cypress
TestJS Summit 2021TestJS Summit 2021
33 min
Solicitudes de Red con Cypress
Top Content
Ya sea que estés probando tu UI o API, Cypress te proporciona todas las herramientas necesarias para trabajar y gestionar solicitudes de red. Esta tarea de nivel intermedio demuestra cómo usar los comandos cy.request y cy.intercept para ejecutar, espiar y simular solicitudes de red mientras pruebas tu aplicación en el navegador. Aprende cómo funcionan los comandos, así como los casos de uso para cada uno, incluyendo las mejores prácticas para probar y simular tus solicitudes de red.
Testing Pyramid Makes Little Sense, What We Can Use Instead
TestJS Summit 2021TestJS Summit 2021
38 min
Testing Pyramid Makes Little Sense, What We Can Use Instead
Top Content
Featured Video
Gleb Bahmutov
Roman Sandler
2 authors
The testing pyramid - the canonical shape of tests that defined what types of tests we need to write to make sure the app works - is ... obsolete. In this presentation, Roman Sandler and Gleb Bahmutov argue what the testing shape works better for today's web applications.
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Node Congress 2022Node Congress 2022
26 min
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Top Content
¿Sabes qué está pasando realmente en tu carpeta node_modules? Los ataques a la cadena de suministro de software han explotado en los últimos 12 meses y solo están acelerándose en 2022 y más allá. Profundizaremos en ejemplos de recientes ataques a la cadena de suministro y qué pasos concretos puedes tomar para proteger a tu equipo de esta amenaza emergente.
Puedes consultar las diapositivas de la charla de Feross aquí.
Pruebas de ciclo completo con Cypress
TestJS Summit 2022TestJS Summit 2022
27 min
Pruebas de ciclo completo con Cypress
Top Content
Cypress ha tomado al mundo por sorpresa al traer una herramienta fácil de usar para pruebas de extremo a extremo. Sus capacidades han demostrado ser útiles para crear pruebas estables para aplicaciones de frontend. Pero las pruebas de extremo a extremo son solo una pequeña parte de los esfuerzos de prueba. ¿Qué pasa con tu API? ¿Qué pasa con tus componentes? Bueno, en mi charla me gustaría mostrarte cómo podemos comenzar con pruebas de extremo a extremo, profundizar con pruebas de componentes y luego subir a probar nuestra API, circ
Desarrollo Efectivo de Pruebas
TestJS Summit 2021TestJS Summit 2021
31 min
Desarrollo Efectivo de Pruebas
Top Content
Los desarrolladores quieren dormir tranquilos sabiendo que no rompieron la producción. Las empresas quieren ser eficientes para satisfacer las necesidades de sus clientes más rápido y obtener una ventaja competitiva antes. TODOS queremos ser coste efectivos... o debería decir... ¡PRUEBA EFECTIVA!¿Pero cómo hacemos eso?¿Nos sirve bien la terminología de "unidad" e "integración"?¿O es hora de un cambio? ¿Cuándo deberíamos usar cada estrategia para maximizar nuestra "efectividad de prueba"?¡En esta charla te mostraré una nueva forma de pensar sobre las pruebas coste efectivas con nuevas estrategias y nuevos términos de prueba!¡Es hora de ir MÁS PROFUNDO!
Playwright Test Runner
TestJS Summit 2021TestJS Summit 2021
25 min
Playwright Test Runner
Top Content

Workshops on related topic

Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
React Summit 2023React Summit 2023
151 min
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
Top Content
Featured Workshop
Josh Justice
Josh Justice
La Biblioteca de Pruebas de React es un gran marco para las pruebas de componentes de React porque responde muchas preguntas por ti, por lo que no necesitas preocuparte por esas preguntas. Pero eso no significa que las pruebas sean fáciles. Todavía hay muchas preguntas que tienes que resolver por ti mismo: ¿Cuántas pruebas de componentes debes escribir vs pruebas de extremo a extremo o pruebas de unidad de nivel inferior? ¿Cómo puedes probar una cierta línea de código que es difícil de probar? ¿Y qué se supone que debes hacer con esa persistente advertencia de act()?
En esta masterclass de tres horas, presentaremos la Biblioteca de Pruebas de React junto con un modelo mental de cómo pensar en el diseño de tus pruebas de componentes. Este modelo mental te ayudará a ver cómo probar cada bit de lógica, si debes o no simular dependencias, y ayudará a mejorar el diseño de tus componentes. Te irás con las herramientas, técnicas y principios que necesitas para implementar pruebas de componentes de bajo costo y alto valor.
Tabla de contenidos- Los diferentes tipos de pruebas de aplicaciones de React, y dónde encajan las pruebas de componentes- Un modelo mental para pensar en las entradas y salidas de los componentes que pruebas- Opciones para seleccionar elementos DOM para verificar e interactuar con ellos- El valor de los mocks y por qué no deben evitarse- Los desafíos con la asincronía en las pruebas de RTL y cómo manejarlos
Requisitos previos- Familiaridad con la construcción de aplicaciones con React- Experiencia básica escribiendo pruebas automatizadas con Jest u otro marco de pruebas unitarias- No necesitas ninguna experiencia con la Biblioteca de Pruebas de React- Configuración de la máquina: Node LTS, Yarn
Cómo empezar con Cypress
TestJS Summit 2022TestJS Summit 2022
146 min
Cómo empezar con Cypress
Featured WorkshopFree
Filip Hric
Filip Hric
La web ha evolucionado. Finalmente, también lo ha hecho el testing. Cypress es una herramienta de testing moderna que responde a las necesidades de testing de las aplicaciones web modernas. Ha ganado mucha popularidad en los últimos años, obteniendo reconocimiento a nivel mundial. Si has estado esperando aprender Cypress, ¡no esperes más! Filip Hric te guiará a través de los primeros pasos sobre cómo empezar a usar Cypress y configurar tu propio proyecto. La buena noticia es que aprender Cypress es increíblemente fácil. Escribirás tu primer test en poco tiempo y luego descubrirás cómo escribir un test de extremo a extremo completo para una aplicación web moderna. Aprenderás conceptos fundamentales como la capacidad de reintentar. Descubre cómo trabajar e interactuar con tu aplicación y aprende cómo combinar pruebas de API y de UI. A lo largo de todo este masterclass, escribiremos código y realizaremos ejercicios prácticos. Saldrás con una experiencia práctica que podrás aplicar a tu propio proyecto.
Detox 101: Cómo escribir pruebas de extremo a extremo estables para su aplicación React Native
React Summit 2022React Summit 2022
117 min
Detox 101: Cómo escribir pruebas de extremo a extremo estables para su aplicación React Native
Top Content
WorkshopFree
Yevheniia Hlovatska
Yevheniia Hlovatska
A diferencia de las pruebas unitarias, las pruebas de extremo a extremo buscan interactuar con su aplicación tal como lo haría un usuario real. Y como todos sabemos, puede ser bastante desafiante. Especialmente cuando hablamos de aplicaciones móviles.
Las pruebas dependen de muchas condiciones y se consideran lentas e inestables. Por otro lado, las pruebas de extremo a extremo pueden dar la mayor confianza de que su aplicación está funcionando. Y si se hace correctamente, puede convertirse en una herramienta increíble para aumentar la velocidad del desarrollador.
Detox es un marco de pruebas de extremo a extremo en caja gris para aplicaciones móviles. Desarrollado por Wix para resolver el problema de la lentitud e inestabilidad y utilizado por React Native en sí como su herramienta de pruebas E2E.
Únete a mí en esta masterclass para aprender cómo hacer que tus pruebas de extremo a extremo móviles con Detox sean excelentes.
Prerrequisitos- iOS/Android: MacOS Catalina o más reciente- Solo Android: Linux- Instalar antes de la masterclass
Masterclass de Pruebas de API con Postman
TestJS Summit 2023TestJS Summit 2023
48 min
Masterclass de Pruebas de API con Postman
Top Content
WorkshopFree
Pooja Mistry
Pooja Mistry
En el panorama siempre en evolución del desarrollo de software, garantizar la fiabilidad y funcionalidad de las API se ha vuelto primordial. "Pruebas de API con Postman" es una masterclass completa diseñada para equipar a los participantes con los conocimientos y habilidades necesarios para sobresalir en las pruebas de API utilizando Postman, una herramienta poderosa ampliamente adoptada por profesionales en el campo. Esta masterclass profundiza en los fundamentos de las pruebas de API, avanza a técnicas de prueba avanzadas y explora la automatización, las pruebas de rendimiento y el soporte multiprotocolo, proporcionando a los asistentes una comprensión holística de las pruebas de API con Postman.
Únete a nosotros para esta masterclass para desbloquear todo el potencial de Postman para las pruebas de API, agilizar tus procesos de prueba y mejorar la calidad y fiabilidad de tu software. Ya seas un principiante o un probador experimentado, esta masterclass te equipará con las habilidades necesarias para sobresalir en las pruebas de API con Postman.
Masterclass de Node.js
Node Congress 2023Node Congress 2023
109 min
Masterclass de Node.js
Top Content
Workshop
Matteo Collina
Matteo Collina
¿Alguna vez has tenido dificultades para diseñar y estructurar tus aplicaciones Node.js? Construir aplicaciones que estén bien organizadas, sean probables y extensibles no siempre es fácil. A menudo puede resultar ser mucho más complicado de lo que esperas. En este evento en vivo, Matteo te mostrará cómo construye aplicaciones Node.js desde cero. Aprenderás cómo aborda el diseño de aplicaciones y las filosofías que aplica para crear aplicaciones modulares, mantenibles y efectivas.

Nivel: intermedio
Pruebas de Aplicaciones Web utilizando Cypress
TestJS Summit - January, 2021TestJS Summit - January, 2021
173 min
Pruebas de Aplicaciones Web utilizando Cypress
WorkshopFree
Gleb Bahmutov
Gleb Bahmutov
Este masterclass te enseñará los conceptos básicos de cómo escribir pruebas de extremo a extremo utilizando Cypress Test Runner.
Cubriremos la escritura de pruebas, abarcando todas las características de la aplicación, estructurando las pruebas, interceptando solicitudes de red y configurando los datos del backend.
Cualquier persona que conozca el lenguaje de programación JavaScript y tenga NPM instalado podrá seguir el masterclass.