Monitorización, Alertas y Visualización de la infraestructura del servidor Node.js con herramientas de código abierto

Genial. Muchas gracias por la introducción. Debo admitir que el video me sorprendió un poco, no esperaba el ruido. Así que vamos a comenzar. Voy a hablar sobre monitoreo, alertas y visualización de tu infraestructura del servidor Node.js con herramientas de código abierto. Así que vamos a continuar. Ya tenemos una muy buena introducción. Pero si quieren agregarme en LinkedIn, si no quieren hacer preguntas aquí, lo cual no sé por qué no lo harían, porque todo es muy, cómo decirlo, pueden simplemente hacerlas sin tener que adjuntar su nombre. Sí, así que es realmente genial. Pero de lo contrario, pueden conectarse conmigo allí. Así que repasemos rápidamente la agenda de la sesión, porque solo tenemos unos 20 minutos aquí. Vamos a repasar rápidamente por qué quieres usar una base de datos de series de tiempo para el monitoreo del servidor. Vamos a hablar rápidamente sobre influx data y las herramientas de la plataforma que vienen incorporadas. Así que influx data es una base de datos de series de tiempo de influx DB totalmente de código abierto. También ofrecemos una cloud, pero solo vamos a hablar sobre la de código abierto durante esta charla. Vamos a hablar brevemente sobre la biblioteca de cliente JavaScript. Vamos a hablar sobre esta increíble plantilla de monitoreo que ofrecemos para el monitoreo del servidor Node.js que puedes instalar fácilmente y comenzar a usar. Voy a hacer una demostración en vivo donde mostraré todas estas piezas juntas. La razón por la que incluí algo de código en las diapositivas es porque de lo contrario podría olvidarme de mostrarlo y podría no tener mucho sentido. Pero vamos a intentar darle algo de tiempo extra a esa demostración. Y finalmente, preguntas y respuestas y recursos adicionales. Así que tendré una diapositiva final que tendrá un montón de enlaces que puedes fotografiar con tu teléfono. Porque sé que la gente tiende a tomar fotos durante toda la charla. Así que los pongo todos al final para que sea más conveniente para ustedes.

Una cosa a tener en cuenta, que ya expliqué aquí, pero eso no significa que no puedas usar otras bases de datos para el monitoreo de tu servidor. Ese no es el caso en absoluto. Hay muchas bases de datos entre las que puedes elegir, pero en su mayoría, vemos que otras bases de datos son buenas para otros tipos de data. Estos son solo algunos ejemplos enumerados aquí. Como ustedes saben, probablemente estén usando Elastic si tienen alguna búsqueda en su sitio web. Podrían usar Mongo para documentos. Por supuesto, todos usamos SQL para, diría yo, alrededor del 90% de los data en la World Wide Web se almacena en, sí, una base de datos de tipo SQL. Todas estas bases de datos ofrecen alguna forma de código abierto también. Vamos a repasar rápidamente esta visión general para tener una idea de algunas de las herramientas que podemos comenzar a usar. Así es como termina viéndose la plataforma. Tenemos esas fuentes de data, que ya mencioné. Para nosotros, probablemente sean servicios en la nube. Y luego, dentro de la plataforma InfluxDB, tenemos Telegraf, que algunos de ustedes podrían haber usado antes en el pasado. No es necesariamente conocido que InfluxDB es el responsable de Telegraf. Es completamente de código abierto. No escribimos todo el código para ello. Muchas de las empresas o individuos escriben las bibliotecas ellos mismos. Pero nos encargamos de ello en el sentido de que no permitimos cargas de código malicioso y cosas por el estilo. La otra cosa es que tenemos nuestras bibliotecas de cliente. Esas son gestionadas por nosotros. Hoy vamos a repasar la biblioteca de cliente JavaScript/Node.js. Están combinadas dentro de la biblioteca de cliente, pero tienen funcionalidades ligeramente diferentes.

Y finalmente, la plataforma real y lo que nos permite hacer, que son cosas como recopilación, transformación, de las que vamos a tocar brevemente, pero no profundizar demasiado, reducción de la muestra, activación y alerta. Ahora voy a mostrar algunas de estas, pero no vamos a tener suficiente tiempo para cubrir todas, pero hay toneladas de recursos en línea. Básicamente, la idea es que puedes iniciar el proyecto, almacenar tus data y luego construir sobre eso. Estos son los métodos actuales de adquisición de datos. Ya he hablado bastante sobre los dos principales. Y lo que voy a mencionar aquí es la diferencia entre Telegraph y la diferencia entre nuestras bibliotecas de cliente. Telegraph es básicamente un archivo YAML que se ejecuta. Tenemos más de 300 complementos de entrada, algunos complementos de salida diferentes, unos 20 de esos. Pero básicamente la razón por la que lo usas es porque no requiere código. Básicamente solo cambias los parámetros dentro del archivo YAML y luego puedes comenzar a cargar. Mostraré una visualización de algunos de estos en nuestra interfaz de usuario. Así tendrá un poco más de sentido. Y luego las bibliotecas de cliente , que puedes pensar en ellas casi como una API REST. Te permiten leer, escribir, eliminar y en general ver tus data. De eso hablaré un poco más porque, al menos para mi proyecto y para la mayoría de los proyectos de las personas, vas a usar las bibliotecas de cliente para obtener tus data. Podrías usar Telegraph. No hay razón para no hacerlo. Simplemente elegí usar la biblioteca de cliente porque fue lo más fácil para mi caso de uso. Estas son algunas de las cosas que puedes hacer. Así que puedes hacer visualizaciones, que mostraré en formato de panel de control. Puedes tomar acciones. Este motor de tareas aquí arriba es básicamente como un motor CronJob. Básicamente te permite decir algo como, cada hora del día, ejecuta este CronJob. Lo que puedes hacer son cosas como reducir la muestra, que cuando hablamos de reducir la muestra, nos referimos a la capacidad de tomar tus data y agregarla. Es algo así como que el día ha terminado. Tienes todos los datos de monitoreo del servidor, pero tu servidor ha enviado datos por cada segundo. Entonces tienes un montón de puntos de datos. Básicamente tienes millones de ellos. Pero la cosa es que el día fue bastante bueno. Fue un día tranquilo.

No ocurrió nada realmente emocionante. Así que ahora vas a ejecutar esta tarea programada que dice: dame el promedio agregado de cada hora del día. En lugar de tener la carga de la CPU en este rango de segundos, te devolvería 24 puntos de datos del promedio a lo largo del día. Así que aún puedes ver tus momentos de alta y baja y demás, pero en general, es un paquete de datos mucho más pequeño para almacenar, lo cual siempre es bueno, porque cuanto más pequeño sea el paquete de datos que almacenes, en teoría, si fueras, ya sabes, un cliente grande que gasta dinero en almacenarlo, te ahorra dinero a largo plazo. Otra cosa que puedes ver aquí es la verificación y las notificaciones en la parte inferior. Sé que visualmente puede ser un poco difícil de ver. Lo mostraré en la interfaz de usuario y se verá un poco más claro, pero básicamente lo que estás haciendo aquí es decir: voy a establecer este umbral, si la carga de la CPU supera esta cantidad, adelante y envíame una notificación de Slack o una notificación de PagerDuty. Tienes algunas opciones diferentes aquí. También tenemos un punto final HTTP, así que realmente el Rolls Royce aquí con ese, puedes enviarlo a donde quieras. Por ejemplo, yo tengo uno en casa que monitoreo y me envío un mensaje de texto a través de Twilio cuando necesita ser regado, lo cual probablemente ignoro por supuesto, porque ¿por qué aprovecharlo realmente? Vamos a comenzar con la biblioteca de cliente JavaScript. Estos son los dos proyectos a seguir. Nuevamente, tendré estos enlaces disponibles al final. Esto es más por si las personas tenían sus computadoras portátiles y querían seguir. En el lado izquierdo, el más largo, ese es el panel de control de Node.js, del cual hablaré. Y luego el otro más cerca de mí es la biblioteca de cliente JS. Así que esa es solo la biblioteca básica. Esta es cómo realmente harías la plantilla de monitoreo del servidor. Entonces, como dije antes, hay dos bibliotecas principales. En mi caso, estoy usando específicamente la biblioteca de cliente mFluxDB porque eso es lo que me permite consultar y escribir mis datos en ella. La otra es para la gestión. Entonces, lo que eso significa es que si quisieras, no tendrías que iniciar la interfaz de usuario de mFluxDB en tu localhost. No tienes que hacer eso. Puedes hacer todos tus buckets, autorizaciones y tareas dentro de la API de cliente, pero yo no voy a usar eso. Voy a seguir adelante y usar la interfaz de usuario porque es un poco más fácil visualmente para que todos lo entendamos. Y es un poco más emocionante que simplemente hacerlo en la línea de comandos, solo pequeños fragmentos de línea de comandos. No es tan emocionante. Así es básicamente cómo se instala todo. Es muy sencillo. Tú

En cuanto a la API de escritura, básicamente, lo que estamos haciendo aquí es configurar nuestra autenticación. Necesitas una URL, un token o una organización y un bucket, que en este caso es otra palabra para base de datos. Básicamente, es cómo nombras tu base de datos. Y mostraré cómo se ve esto en realidad. Y voy a ser una mala persona y simplemente mostrarte mis tokens y todo lo demás. Pero está bien, porque puedo ... Todo esto es mi localhost. De todos modos, no puedes hacer nada con mi token. Pero básicamente, te mostraré cómo configurar todo esto. Solo ten en cuenta que en el futuro, por favor, mantén esto en un archivo separado cuando ingreses estas variables de entorno. Como puedes ver aquí arriba, las tengo en un archivo MJS de entorno. Pero básicamente, configuras toda tu autenticación y finalmente puedes comenzar a escribir.

La escritura es bastante sencilla aquí. Como puedes ver, una cosa a tener en cuenta aquí es que somos una base de datos sin esquema, lo que significa que no tienes que decirnos qué esperas poner allí. Puedes comenzar a escribir de inmediato, lo cual es un poco diferente porque la mayoría de las personas tienen que decirle a su base de datos qué esperan recibir. Dicho esto, eso tiene una doble cara, la doble cara es que podrías enviar datos incorrectos y los escribiríamos. Tenemos una opción de esquema explícito, por lo que podrías cargar un esquema y decir: solo espero que se envíe este tipo de datos, no permitas nada que no coincida con el esquema. Pero una cosa a tener en cuenta aquí es que estamos enviando un punto, un punto de temperatura. Tenemos una etiqueta para ello, que en este caso, la etiqueta se llama ejemplo y es una cadena llamada write.ts. Y finalmente tenemos un valor, que en este caso es un número matemático aleatorio porque es solo un ejemplo de cómo hacer esto. Y básicamente, como no estamos enviando una marca de tiempo con esto, Influx automáticamente le asignará una marca de tiempo cuando llegue. Puedes poner una marca de tiempo, incluso puedes poner una marca de tiempo que sea teóricamente histórica, como algo de hace dos días si es necesario, obviamente algunas personas necesitan cargar datos antiguos, cosas de archivos CSV y demás. Entonces, en ese caso, tendrás que decirnos la marca de tiempo, pero de lo contrario, puedes comenzar a escribir datos y nosotros los adjuntaremos automáticamente.

No voy a entrar demasiado en esto porque no lo necesitamos para este proyecto. Pero si realmente quieres recuperar tus datos, puedes usar una consulta Flux para recuperarlos. La forma en que funciona Flux es bastante sencilla.

Esta es solo una consulta muy básica. Básicamente estamos diciendo desde mi bucket, dame un rango del último día. Podrías hacerlo, podrías no darle un rango. Podrías simplemente decir desde bucket, pero la mayoría de las personas tienden a darle algún tipo de rango razonable para obtener sus data. Y luego, en este caso, estamos filtrando la medida de temperatura. Entonces estamos diciendo que tal vez te di algunos valores de luz, te di algunos valores de humedad, pero ahora mismo solo quiero mis valores de temperatura para poder graficar solo esos en su lugar. Y lo que eso hace aquí abajo es convertirlos en filas. Y esas filas se pueden usar dentro de una biblioteca de visualización. También permitimos cosas como marcos de datos y otras formas de obtener tus data. Todo está diseñado para ser compatible con otras bibliotecas de trazado de código abierto.

Vamos a entrar en la demostración porque eso es honestamente lo más importante de todo y eso nos ayudará a entender un poco mejor. Así que por favor, disculpen mi código un poco desordenado aquí, pero básicamente este es mi pequeño servidor express falso, me está enviando algunos datos, no es muy emocionante porque no está alojando nada. Pero como pueden ver aquí arriba, tengo mi token, tengo mi ID de organización, mi bucket se llama Centro de IoT porque así lo descargué, y luego tengo una URL porque todo esto se está ejecutando en mi localhost.

Como pueden ver aquí, tengo esta API Get Right, le he dado etiquetas predeterminadas, lo que básicamente hace que el servicio sea automáticamente Centro de IoT, y el host actualmente es básicamente mi laptop, eso es lo que dirá dentro de la tabla. No es necesario tener estas etiquetas predeterminadas, pero el panel de control no funcionará sin ellas básicamente. Y a partir de ahí estoy usando ese código de punto del que hablamos antes, el que tiene el uso de CPU, el uso de memoria y el uso de recursos, y el que crea el valor de punto real. Así que todos estos están viviendo aquí juntos.

Para mi punto Express, estuve luchando demasiado con él, así que terminé haciendo algunos valores codificados en duro, pero aún así ayudará a transmitir el mensaje y podemos ver cómo termina viéndose. Y a partir de ahí, solo se está ejecutando en el puerto 3000. Este es un proyecto muy, muy básico. Esto es solo para ayudarnos a empezar realmente. Solo quiero mostrar cómo se ve esto. Así es como se ve dentro de localhost. Déjame ver si puedo hacer esto un poco más grande. Esto puede hacer que algunas cosas se vean un poco extrañas, pero vamos a intentarlo. Así que vamos a entrar en fuentes. Estoy usando, estoy usando la biblioteca del cliente para cargar esto obviamente. Hay otras bibliotecas de clientes que puedes elegir. Y si vienes aquí a este sitio web y esto está disponible, esto es de código abierto. Oh querido, esto no está funcionando. Está bien, probablemente no esté funcionando porque estamos en el código abierto, pero está disponible en línea. Déjame encontrarlo rápidamente. Normalmente te lleva aquí a InfluxDB client JS, que tiene ejemplos de cómo comenzar, así como todos los demás detalles. Es básicamente todo lo que ya he explicado. Pero normalmente también enlazaría a otros. Estos son algunos de esos complementos de telegraf de los que estaba hablando. Voy a hacer esto un poco más pequeño para que aparezcan. Obviamente tenemos muchos diferentes para muchas tecnologías diferentes en general. No todos están aquí en este

Mientras estamos aquí, tal vez otra pregunta. ¿Cómo puedes definir el diseño de un panel de control? ¿Si puedes mostrar eso tal vez? Con CloudWatch. Veamos. Vamos a Telegraph. Veamos qué tiene. Y veamos si tenemos CloudWatch porque creo que esa es una de las integraciones que ofrecemos. Y sería muy bueno ver eso. Así es. Creo que la lista completa está en algún lugar más abajo. Lo siento, chicos. Voy a retroceder un poco. En realidad, vamos a ir a la documentación porque están un poco. Hombre, ¿dónde está la lista completa? Debería haberla tenido en una pestaña. Pero de todos modos la habría eliminado. Sí. Así que aquí están todos nuestros complementos de salida, en algún lugar está nuestra lista. ¿Sabes qué, tengo una idea aún mejor? Voy a poner en Telegraph CloudWatch. Esa es una gran solución para mis problemas.

Otra pregunta, ¿hay un complemento de integración entre CloudWatch e Integrate? Sí. Parece que tenemos una integración aquí y te permite hacer uso de métricas estadísticas de monitoreo. Y como puedes ver, aquí tenemos una amplia lista que puedes usar para obtener métricas. La mayoría de estas están basadas en AWS. Así que puedes consultar la documentación aquí, que te mostrará las estadísticas de AWS CloudWatch. Y realmente, solo te llevará al GitHub, así que iremos allí. Y así, con esto, puedes ver toda la autenticación que necesitarás, las opciones de configuración globales. Y nuevamente, esto es cómo se ve ese archivo YAML. Como puedes ver, la mayoría está comentado, pero necesitarías, obviamente, comenzar a comentar algunos de estos. Creo que, por ejemplo, todos estos están doblemente comentados, así que se supone que son comentarios, pero deberás proporcionar cosas como la clave de acceso, la clave secreta, el token.

Genial. Gracias por eso. Sí, hay otra pregunta. ¿Además de métricas, soportan algo más? En el código abierto, normalmente solo sugerimos métricas. En nuestra versióncloud en la nube, ahora tenemos cardinalidad ilimitada, por lo que admitimos métricas, trazas y eventos. Eventualmente estará disponible en el código abierto en los próximos meses. Simplemente aún no está disponible. De acuerdo. Bueno saberlo. Tal vez volvamos a eso más adelante, sí. ¿Cómo definimos el diseño de los paneles de control? Por diseño, supongo que se refieren a cómo está estructurado. Obviamente, este es un panel de control predefinido, viene preconfigurado con estas celdas y todo. Cuando haces la descarga aquí, no puedes hacer ninguna edición. Sin embargo, puedes editar desde aquí. Puedes reconfigurar estas celdas o, como hice yo, agregar nuevas celdas o eliminar algunas. En cuanto a mover cosas, suele ser como arrastrar y soltar. No voy a mentir, puede ser un poco complicado dependiendo de la cantidad de celdas que tengas. Y en este caso, como mi celda se creó justo en la parte superior, desplazó todo de manera extraña. La mayoría de los paneles de control que veo suelen tener muchos gráficos largos y algunos de estos en la parte superior. Podría mostrar algunos ejemplos adicionales en las plantillas de la community. Pero en su mayoría, con este, será tal como está. Y si deseas cambiarlo, tendrás que hacerlo desde adentro. Por ejemplo, este de Docker es lo que llamaría un poco más sencillo, donde todos los gráficos están en un bloque de cuatro por cuatro. Y, por ejemplo, aquí abajo, tienen dos gráficos más largos. Si tiene sentido.

Absolutamente. Creo que tenemos una pregunta más. De hecho, están haciendo muchas preguntas. Entonces, sí, tal vez la primera. ¿Agregarán soporte para TypeScript? Por ejemplo, exportar tipos? No estoy seguro de esa pregunta. Entonces, con esa, la haría, desafortunadamente, en nuestro canal de Slack porque no estoy seguro de lo que están planeando nuestros amigos y desarrolladores. Según lo que entiendo, deberías poder usar nuestra biblioteca incluso si tienes TypeScript instalado. Debería ser relativamente compatible porque lo he usado en algunos proyectos de TypeScript sin problemas.

Bueno, muchas gracias. Nuevamente, tengo una última pregunta. ¿Qué hay de los calcetines en la mesa? Muy bien. Entonces, para todos los que están aquí en persona, traje algunos calcetines realmente geniales para que los agarren. Están aquí arriba en la mesa. Tenemos dos colores diferentes, pero tengo estos azules aquí. Mira esta increíble pequeña database en ellos. Estos son excelentes calcetines para hacer senderismo y se ajustan a la mayoría de los pies, como nos gusta decir. Genial. Muchas gracias nuevamente, Zoe.