Creando un Servidor HTTP desde Cero con Node-addon-api, Libuv y Milo

Rate this content
Bookmark

¡Vamos a explorar la magia detrás de Node.js y crear un servidor http simple! Iremos paso a paso, comprendiendo cómo libuv hace que node sea asíncrono y cómo Milo ayuda a nuestro servidor a analizar las solicitudes HTTP. Utilizaremos node-addon-api para crear el puente entre c++ y javascript.

Marco Ippolito
Marco Ippolito
18 min
04 Apr, 2024

Video Summary and Transcription

La charla de hoy se centra en la creación de un servidor HTTP desde cero utilizando Node.js y complementos nativos. El proceso implica implementar un socket TCP utilizando Libuv para el intercambio de datos entre el servidor y el cliente. La charla también aborda la invocación de devoluciones de llamada, la creación de una abstracción de alto nivel para el servidor HTTP y el análisis de datos HTTP utilizando un analizador HTTP experimental llamado Milo. El proyecto sirve como una prueba de concepto, mostrando la facilidad de crear complementos e interactuar con APIs de bajo nivel en Node.js.

Available in English

1. Introducción a Node.js y complementos nativos

Short description:

Hoy vamos a hablar de Node.js y específicamente de cómo crear un servidor HTTP desde cero. Crearemos un complemento nativo que nos permita acceder al sistema que estamos utilizando y extender las funcionalidades de bajo nivel de Node.js. Para crear un complemento nativo, necesitamos las bibliotecas Node.addon-api y Node.jyp, junto con el módulo de enlaces. Veamos la estructura del proyecto.

Bienvenidos a todos. Hoy vamos a hablar de Node.js y específicamente de cómo crear un servidor HTTP desde cero. Mi nombre es Marco Ippolito. Soy Ingeniero Senior de Experiencia de Desarrollo en NearForm. También soy colaborador principal de Node.js y entusiasta del código abierto.

Así que empecemos. Lo que quiero decir con `desde cero` es literalmente desde cero. Crearemos un complemento nativo y no utilizaremos la biblioteca estándar de Node.js. Por lo tanto, lo que haremos es llamar directamente a libuv y escribir un poco de C++. Pero incluso si no eres desarrollador de C++, no te preocupes porque será muy sencillo. Entonces, ¿qué es un complemento nativo? Un complemento nativo es un módulo escrito en C++ o en C, pero también puede estar escrito en Rust que extiende algunas de las funcionalidades de bajo nivel de Node.js, como libuv. Si no sabes qué es libuv, hablaremos de ello más adelante en detalle. Y también V8, que es el motor de JavaScript. Zlib y muchas otras bibliotecas que componen Node.js. Este complemento nativo nos permite acceder al sistema que estamos utilizando y que normalmente no podríamos acceder en JavaScript. Para crear un complemento nativo, necesitamos una biblioteca llamada Node.addon-api. Node.js tiene un montón de APIs que son públicas y están disponibles. Este paquete proporciona los archivos de encabezado para facilitar mucho, mucho más el desarrollo. Y también son estables, lo que significa que si actualizas las versiones de Node.js, no se romperán. Serán estables. Y también está mantenida por el equipo de Node.js. Como puedes ver, tiene bastantes descargas en NPM. La otra biblioteca que necesitamos es Node.jyp. Históricamente, los complementos de Node.js se han construido con Node.jyp. Fue utilizado por Chromium al principio y se adoptó en los primeros días de Node.js. Pero también puedes usar CMake o cualquier otra herramienta que uses para construir aplicaciones en C++. Y con este sistema de compilación, se generará un archivo .node que podemos llamar desde JavaScript. Y por último, tenemos bindings. Este es un módulo muy importante porque es un ayudante que nos permite importar el complemento .node en nuestro archivo de JavaScript, al igual que importaríamos un módulo de JavaScript. Con bindings, puedes importar un complemento nativo.

2. Creando un Complemento Nativo y un Socket TCP

Short description:

Para crear el complemento nativo, primero agrega en el package.json que estás exportando un archivo .jp. Establece el tipo de módulo como ESM. Luego, crea dos scripts para construir y limpiar. Incluye las tres dependencias de las que hablamos. En la carpeta de origen, encontrarás los archivos C++. Declara el módulo del complemento y exporta la clase de socket TCP entrante. Vincula los archivos de origen y utiliza la clase con un constructor. El socket TCP es independiente de la capa de transporte.

Veamos la estructura del proyecto. Veremos un poco de code, pero será bastante simple. Para crear el complemento nativo, primero debes agregar en el package.json que estás exportando un archivo .jp. Así que establecemos .jp como verdadero y, para este ejemplo, establecemos el tipo de módulo como ESM. Esto permite que NPM sepa que se trata de un complemento nativo y desbloqueará algunas funcionalidades como la construcción durante la instalación, y es un modo especial para NPM. Luego, necesitaremos tener dos scripts para construir y limpiar. Con el script de limpiar, simplemente se elimina la carpeta de construcción. Y luego tenemos estas tres dependencias de las que acabamos de hablar. En nuestra carpeta de origen, tenemos los archivos C++. Así que tenemos un archivo de complemento que básicamente exporta nuestro complemento. Así que echa un vistazo al objeto de exportación. Es básicamente lo mismo que hacer module.export. Es el mismo objeto, simplemente pasado al lado de C++. En esta charla, verás muchas similitudes y hay mucho código C++ que es en realidad código JavaScript. Se comportan de la misma manera y te mostraré la comparación uno a uno. Una vez que hemos declarado nuestro módulo de complemento, luego tenemos que exportar nuestra clase. Así que exportaremos la clase de socket TCP entrante, la clase de socket TCP. Como dije antes, lo que estamos haciendo en C++ es básicamente exportar este socket TCP entrante. Hablaremos de qué es un socket TCP entrante y por qué es importante crear un servidor HTTP. Ahora que hemos declarado nuestros archivos de origen, necesitamos vincularlos. Así que creamos un archivo binding.gwp y agregamos los archivos C++ dentro de sources. Así que tenemos el archivo de complemento C++ y el archivo de socket TCP entrante C++. Y luego escribimos como nombre de destino el nombre de nuestro complemento. En este caso, queremos exportarlo como socket TCP entrante. Esto será importante porque cuando vayamos a importarlo con los bindings, tendremos que escribir el mismo nombre. Así que estamos haciendo bindings socket TCP entrante. Y ahora podemos simplemente usar la clase que hemos creado anteriormente y podemos instanciarla con un constructor. No te preocupes por el code, lo veremos en detalle más adelante. Así que hablemos un poco sobre el socket TCP. ¿Qué es nuestro socket TCP? Sabemos que HTTP es una aplicación

3. Usando un Socket TCP y LibuV

Short description:

Para intercambiar datos entre el servidor y el cliente, utilizamos un socket TCP. LibuV es una biblioteca que abstrae las diferencias entre plataformas y proporciona una API consistente para trabajar con sockets. El servidor TCP se enlaza a una dirección y escucha las conexiones entrantes. Acepta conexiones y permite la transferencia de datos entre el cliente y el servidor. En JavaScript, creamos un socket utilizando un constructor y pasamos el nombre de host y el puerto. En la capa de C++, creamos una clase llamada socket TCP entrante. Implementamos una función de escucha que invoca un callback cada vez que se recibe un nuevo dato. La función libuv uvlisten nos permite comenzar a escuchar datos en el socket. Cuando se recibe un dato, se crea un objeto de solicitud con los datos del socket y se crea un objeto de respuesta para leer y escribir en el mismo socket para las respuestas del cliente.

El protocolo de capa de transporte. Por lo tanto, es técnicamente independiente de la capa de transporte. Por lo tanto, podríamos escribir HTTP a través de TCP o UDP en el caso de HTTP3. En este caso, utilizamos un socket TCP para intercambiar esos datos entre el servidor y el cliente. Por lo tanto, los datos fluirán a través de este socket. Y necesitamos enlazar el socket a una dirección, es decir, un host y un puerto de nuestra máquina, y escuchar las conexiones entrantes. Para esto, necesitamos LibuV. LibuV es una biblioteca muy importante porque abstrae todas las diferencias entre diferentes plataformas como Windows. En Windows, los sockets se implementan de manera diferente. Tienen características ligeramente diferentes. Y también en las otras plataformas que admite Node.js, todos son diferentes. Por lo tanto, LibuV estandariza esas API y nos permite simplemente usar una función que funciona en todas partes. Es una biblioteca realmente increíble y más adelante utilizaremos algunas API. A la derecha, podemos ver cómo funciona el servidor TCP. Primero, necesitamos enlazarlo, luego necesitamos comenzar a escuchar las conexiones entrantes. Necesitamos aceptar conexiones entrantes y luego podemos leer y escribir desde el socket, es decir, transferir datos entre el cliente y el servidor. Así que empecemos. En el lado izquierdo, tendremos el código JavaScript y en el lado derecho, tenemos el código C++ y verás que estamos saltando entre JavaScript y C++. Para crear nuestro socket, utilizamos el constructor del que hablamos antes y le pasamos el nombre de host y el puerto. Y luego, en la capa de C++, simplemente creamos una clase llamada socket TCP entrante y guardamos este puerto y este nombre de host como una instancia de clase. Luego, lo que hacemos es crear una función de escucha y pasarle un callback. Por lo tanto, tenemos una solicitud, una respuesta y un error. Esta función se invocará cada vez que haya nuevos datos en el socket TCP. Y como puedes ver en C++, este callback se recibe dentro de la función de escucha y se llamará callback. Ahora que tenemos un callback que se invocará cada vez que recibamos datos, necesitamos comenzar a escuchar estos datos. Y para esto, llamamos a uvlisten, que es la función de libuv. Y como dije antes, lo increíble es que esto funcionará en Windows, en plataformas compatibles con POSIX, en Android. Esto funcionará casi en todas partes donde libuv es compatible y no tenemos que escribir un código diferente basado en la plataforma. Por lo tanto, cuando comenzamos a escuchar, recibiremos datos. Así que imagina que ahora enviamos un fetch, en realidad un HTTP post a nuestro servidor, a nuestro socket. Y lo que hacemos es recibir una solicitud que básicamente crea un objeto de solicitud y agrega como propiedad los datos que hemos leído del socket. Y luego creamos un objeto de respuesta donde agregamos la función write para que podamos

4. Invocando Callback y Creando un Servidor HTTP

Short description:

Al invocar el callback en C++, se coincide la firma con solicitud, respuesta e indefinido. El código es el mismo que llamar a una función en JavaScript. El mensaje HTTP sin procesar es una cadena que necesita ser analizada y manipulada. Escribimos una respuesta sin procesar en el socket y la enviamos de vuelta al cliente. Los datos fluyen a través de JavaScript y C++ en ambas direcciones. Ahora necesitamos crear una abstracción de alto nivel para el servidor HTTP para analizar y validar las solicitudes, y escribir respuestas en un formato HTTP válido.

Leemos y escribimos en el mismo socket para que el cliente tenga una respuesta. Y luego invocamos el callback que hemos pasado a C++ y coincidiremos la firma. Será una solicitud, respuesta e indefinido porque no hay error. Y será lo mismo que llamar a una función en JavaScript. Todo este código es en realidad lo mismo debido a cómo se llaman las API de V8 en segundo plano mediante la API de Node. Así que simplemente estamos escribiendo JavaScript, pero en C++. Esto es lo que tenemos. Esto es lo que leemos del socket. Este es el mensaje HTTP sin procesar. Es solo una cadena. Y necesitamos analizar esta cadena para manipularla y responder. Así que veremos cómo hacer eso más adelante. Pero por ahora, simplemente escribimos una respuesta sin procesar en un socket y escribimos un poco de HTTP sin procesar. Y lo que haremos de nuevo es llamar a la función response.write. Analizamos la respuesta sin procesar. Y en C++, obtenemos los datos como una cadena. Y luego los escribimos en el socket. De vuelta al cliente. Y luego cerramos el socket porque hemos respondido al cliente. Y el cliente leerá 'hello world'. Como has visto, es un juego de ping pong. Los datos fluyen a través de JavaScript y C++ en ambas direcciones para que podamos leer datos de nuestro sistema operativo, manipularlos en JavaScript y enviarlos de vuelta a las API de bajo nivel. Ahora hemos creado el socket, que es el mecanismo interno de un servidor HTTP. Es la parte sin procesar. Ahora necesitamos crear una abstracción de alto nivel y comenzar a implementar los métodos HTTP, etc. Entonces, lo que necesitamos hacer con el servidor HTTP es analizar y validar la solicitud que hemos recibido del socket. Queremos saber que hemos recibido un HTTP válido y queremos poder manipularlo como un objeto. Queremos poder reconocer cuáles son los encabezados, cuáles son los métodos, cuál es el cuerpo. Así que necesitamos analizarlo. Y también necesitamos escribir la respuesta en un formato HTTP válido. No podemos simplemente enviar una cadena como lo hicimos antes con

5. Versiones de HTTP y Analizador

Short description:

Existen tres versiones principales de HTTP: 1.1, 2 y 3. Para esta prueba de concepto, no implementaremos HTTP 2 y 3. Utilizamos Milo, un analizador experimental de HTTP escrito en Rust y empaquetado como un módulo de WebAssembly. Instanciamos la nueva clase InboundSocket y analizamos los datos recibidos del socket.

el socket. Y también debemos tener en cuenta que existen tres versiones principales de HTTP. Hay HTTP 1.1, HTTP 2 y HTTP 3. Son diferentes en algunas de las características. La más utilizada es obviamente HTTP 1.1. Pero para esta prueba de concepto, no implementaremos HTTP 2 y 3. Por lo tanto, para el analizador, utilizamos Milo, que es un analizador de HTTP creado por mi colega Paolo Insogna. Veremos más sobre esto más adelante. Todavía es experimental y está escrito en Rust. Y también lo empaquetaremos como un módulo de WebAssembly. Así que Node.js en realidad tiene un analizador de HTTP llamado LLHTTP. Pero se utiliza dentro de Undiji, por ejemplo, pero también se utiliza dentro de Node. Así que también podríamos usar eso. Pero para esta prueba de concepto, usaremos Milo. Así que instanciaremos la nueva clase InboundSocket. Entonces el socket TCP dentro de la clase HTTPServer. Y luego tendremos la misma función, listen. Pero ahora analizaremos los datos que recibimos del socket. Si quieres saber más sobre cómo funciona el analizador de HTTP, por favor ve a ver la charla de mi colega Paolo. Él estará hablando aquí en el Congreso de Node. Así que lo sabrás

6. Envoltura de Datos e Instantiación del Servidor

Short description:

Después de analizar los datos, los envolvemos en un objeto de solicitud y enviamos la respuesta de vuelta al cliente o al socket. De manera similar al socket TCP, instanciamos un nuevo servidor y manejamos las solicitudes entrantes. Como ejemplo, al ejecutar un fetch a nuestro servidor HTTP, se devuelve los datos HTTP analizados con los encabezados y la respuesta. Esto es solo el funcionamiento básico de un servidor HTTP. El proyecto es una prueba de concepto disponible en mi GitHub, que muestra la facilidad de crear complementos e interactuar con API de bajo nivel. Si estás interesado en Node.js y HTTP, únete a nuestro grupo de trabajo sobre el marco de servidor web de Node.js.

todo sobre los analizadores de HTTP. Ahora tomamos los data que se han analizado como un objeto y lo envolvemos dentro de un objeto de solicitud para cumplir con los estándares web. Luego veremos que enviaremos la respuesta de vuelta al cliente. Aquí analizaremos la respuesta que hemos escrito y la enviaremos de vuelta al cliente o al socket. ¿Cómo funciona? Muy similarmente al socket TCP que hemos creado al principio, instanciamos el nuevo servidor. Pasamos el nombre del host y el puerto. Luego, cuando hay datos en una solicitud, enviaremos la respuesta y esta respuesta será recibida por el cliente. Como ejemplo, ejecutamos un fetch a nuestro servidor HTTP pasando 'Hola Marco'. Y luego podemos ver desde el registro de la consola que hemos visto antes en la solicitud que aquí en el cuerpo está 'Hola Marco'. Y estos son todos los datos HTTP analizados con todos los encabezados y el método de protocolo HTTP, etc. Y luego escribiremos lo que hemos respondido, que es 'Hola Mundo'. Y la respuesta del fetch será 'Hola Mundo'. Así que esto fue la magia detrás de cómo funciona un servidor HTTP. Esto fue simplificado en gran medida. Esto es solo el funcionamiento básico. Y como descargo de responsabilidad, esto es una prueba de concepto. Puedes encontrar el proyecto completo en mi GitHub. Es un proyecto completo donde puedes probar esto por ti mismo. Puedes investigar y ver cómo funciona en realidad. Pero lo interesante es cómo crear un complemento y cómo comunicarse con API de bajo nivel. Además, si estás interesado en trabajar con Node.js y te gusta el tema de HTTP, tenemos un grupo de trabajo. Puedes encontrarlo en el marco de servidor web de Node.js. Hablamos sobre HTTP, el futuro del módulo HTTP de Node.js y cosas muy interesantes sobre HTTP, pero también TCP y redes. Eso fue todo. Gracias a Nierform por permitirme trabajar en Node.js. Y muchas gracias. Puedes encontrar toda mi información en este código QR. Por favor, contáctame si deseas más contenido o información sobre este tema.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

It's a Jungle Out There: What's Really Going on Inside Your Node_Modules Folder
Node Congress 2022Node Congress 2022
26 min
It's a Jungle Out There: What's Really Going on Inside Your Node_Modules Folder
Top Content
Do you know what’s really going on in your node_modules folder? Software supply chain attacks have exploded over the past 12 months and they’re only accelerating in 2022 and beyond. We’ll dive into examples of recent supply chain attacks and what concrete steps you can take to protect your team from this emerging threat.
You can check the slides for Feross' talk here.
Towards a Standard Library for JavaScript Runtimes
Node Congress 2022Node Congress 2022
34 min
Towards a Standard Library for JavaScript Runtimes
Top Content
You can check the slides for James' talk here.
Out of the Box Node.js Diagnostics
Node Congress 2022Node Congress 2022
34 min
Out of the Box Node.js Diagnostics
In the early years of Node.js, diagnostics and debugging were considerable pain points. Modern versions of Node have improved considerably in these areas. Features like async stack traces, heap snapshots, and CPU profiling no longer require third party modules or modifications to application source code. This talk explores the various diagnostic features that have recently been built into Node.
You can check the slides for Colin's talk here. 
ESM Loaders: Enhancing Module Loading in Node.js
JSNation 2023JSNation 2023
22 min
ESM Loaders: Enhancing Module Loading in Node.js
Native ESM support for Node.js was a chance for the Node.js project to release official support for enhancing the module loading experience, to enable use cases such as on the fly transpilation, module stubbing, support for loading modules from HTTP, and monitoring.
While CommonJS has support for all this, it was never officially supported and was done by hacking into the Node.js runtime code. ESM has fixed all this. We will look at the architecture of ESM loading in Node.js, and discuss the loader API that supports enhancing it. We will also look into advanced features such as loader chaining and off thread execution.
Node.js Compatibility in Deno
Node Congress 2022Node Congress 2022
34 min
Node.js Compatibility in Deno
Can Deno run apps and libraries authored for Node.js? What are the tradeoffs? How does it work? What’s next?
Multithreaded Logging with Pino
JSNation Live 2021JSNation Live 2021
19 min
Multithreaded Logging with Pino
Top Content
Almost every developer thinks that adding one more log line would not decrease the performance of their server... until logging becomes the biggest bottleneck for their systems! We created one of the fastest JSON loggers for Node.js: pino. One of our key decisions was to remove all "transport" to another process (or infrastructure): it reduced both CPU and memory consumption, removing any bottleneck from logging. However, this created friction and lowered the developer experience of using Pino and in-process transports is the most asked feature our user.In the upcoming version 7, we will solve this problem and increase throughput at the same time: we are introducing pino.transport() to start a worker thread that you can use to transfer your logs safely to other destinations, without sacrificing neither performance nor the developer experience.

Workshops on related topic

Node.js Masterclass
Node Congress 2023Node Congress 2023
109 min
Node.js Masterclass
Top Content
Workshop
Matteo Collina
Matteo Collina
Have you ever struggled with designing and structuring your Node.js applications? Building applications that are well organised, testable and extendable is not always easy. It can often turn out to be a lot more complicated than you expect it to be. In this live event Matteo will show you how he builds Node.js applications from scratch. You’ll learn how he approaches application design, and the philosophies that he applies to create modular, maintainable and effective applications.

Level: intermediate
Build and Deploy a Backend With Fastify & Platformatic
JSNation 2023JSNation 2023
104 min
Build and Deploy a Backend With Fastify & Platformatic
WorkshopFree
Matteo Collina
Matteo Collina
Platformatic allows you to rapidly develop GraphQL and REST APIs with minimal effort. The best part is that it also allows you to unleash the full potential of Node.js and Fastify whenever you need to. You can fully customise a Platformatic application by writing your own additional features and plugins. In the workshop, we’ll cover both our Open Source modules and our Cloud offering:- Platformatic OSS (open-source software) — Tools and libraries for rapidly building robust applications with Node.js (https://oss.platformatic.dev/).- Platformatic Cloud (currently in beta) — Our hosting platform that includes features such as preview apps, built-in metrics and integration with your Git flow (https://platformatic.dev/). 
In this workshop you'll learn how to develop APIs with Fastify and deploy them to the Platformatic Cloud.
0 to Auth in an Hour Using NodeJS SDK
Node Congress 2023Node Congress 2023
63 min
0 to Auth in an Hour Using NodeJS SDK
WorkshopFree
Asaf Shen
Asaf Shen
Passwordless authentication may seem complex, but it is simple to add it to any app using the right tool.
We will enhance a full-stack JS application (Node.JS backend + React frontend) to authenticate users with OAuth (social login) and One Time Passwords (email), including:- User authentication - Managing user interactions, returning session / refresh JWTs- Session management and validation - Storing the session for subsequent client requests, validating / refreshing sessions
At the end of the workshop, we will also touch on another approach to code authentication using frontend Descope Flows (drag-and-drop workflows), while keeping only session validation in the backend. With this, we will also show how easy it is to enable biometrics and other passwordless authentication methods.
Table of contents- A quick intro to core authentication concepts- Coding- Why passwordless matters
Prerequisites- IDE for your choice- Node 18 or higher
Building a Hyper Fast Web Server with Deno
JSNation Live 2021JSNation Live 2021
156 min
Building a Hyper Fast Web Server with Deno
WorkshopFree
Matt Landers
Will Johnston
2 authors
Deno 1.9 introduced a new web server API that takes advantage of Hyper, a fast and correct HTTP implementation for Rust. Using this API instead of the std/http implementation increases performance and provides support for HTTP2. In this workshop, learn how to create a web server utilizing Hyper under the hood and boost the performance for your web apps.
GraphQL - From Zero to Hero in 3 hours
React Summit 2022React Summit 2022
164 min
GraphQL - From Zero to Hero in 3 hours
Workshop
Pawel Sawicki
Pawel Sawicki
How to build a fullstack GraphQL application (Postgres + NestJs + React) in the shortest time possible.
All beginnings are hard. Even harder than choosing the technology is often developing a suitable architecture. Especially when it comes to GraphQL.
In this workshop, you will get a variety of best practices that you would normally have to work through over a number of projects - all in just three hours.
If you've always wanted to participate in a hackathon to get something up and running in the shortest amount of time - then take an active part in this workshop, and participate in the thought processes of the trainer.
Mastering Node.js Test Runner
TestJS Summit 2023TestJS Summit 2023
78 min
Mastering Node.js Test Runner
Workshop
Marco Ippolito
Marco Ippolito
Node.js test runner is modern, fast, and doesn't require additional libraries, but understanding and using it well can be tricky. You will learn how to use Node.js test runner to its full potential. We'll show you how it compares to other tools, how to set it up, and how to run your tests effectively. During the workshop, we'll do exercises to help you get comfortable with filtering, using native assertions, running tests in parallel, using CLI, and more. We'll also talk about working with TypeScript, making custom reports, and code coverage.