La Vida Secreta de los Gestores de Paquetes

Rate this content
Bookmark

¿Alguna vez te has preguntado qué sucede después de ejecutar npm install y vas a tomar un café? Vamos a sumergirnos en el proceso de instalación de Npm y Yarn, y cómo puedes poner este conocimiento en práctica.

9 min
18 Feb, 2022

Video Summary and Transcription

npm install puede ser un proceso misterioso, pero entender cómo funcionan los gestores de paquetes es esencial. NPM resolvió problemas como los grandes node_modules, las dependencias circulares y las múltiples instancias del mismo paquete. Gestionar las versiones y conflictos de los paquetes es crucial para mantener la consistencia en los proyectos. Enfoques alternativos para la gestión de paquetes, como PNPM y Yarn2, brindan información sobre las complejidades ocultas de los gestores de paquetes.

Available in English

1. The Secret Life of Package Managers

Short description:

npm install puede ser un proceso misterioso, pero entender cómo funcionan los gestores de paquetes es esencial. Cuando instalas un paquete, crea una carpeta node_modules y agrega el código necesario. Sin embargo, esto puede llevar a problemas como node_modules grandes, dependencias circulares y múltiples instancias del mismo paquete. NPM resolvió estos problemas al deduplicar los paquetes y utilizar una estructura jerárquica. Esto garantiza una recuperación eficiente de paquetes y elimina la necesidad de copias redundantes.

Entonces, estás ejecutando npm install y te vas a tomar una taza de café, y luego vuelves y no tienes idea o tal vez ni te importa lo que npm hizo durante este tiempo.

Entonces, mi nombre es Tali Barak. Trabajo para Youbeek y déjame contarte sobre la vida secreta de los gestores de paquetes. Esto es lo que sucede en tu proyecto, esto es lo básico de npm. Entonces, tienes tu proyecto y necesitas un paquete llamado foo. Entonces, estás ejecutando npm install foo y eso agrega npm install a tu package.json y crea una carpeta node_modules en tu proyecto y coloca el código de foo dentro de ella. Pero, ¿qué pasa si foo requiere buzz? Ok, no hay problema. Creará otra carpeta node_modules debajo de foo y colocará buzz allí. ¿Y si buzz requiere bugs? Bueno, lo mismo. Lo colocará y lo agregará allí. Y ¿qué sucede si tanto foo como bar requieren buzz? En este caso, en la implementación ingenua de npm, tendrás dos paquetes de buzz en el mismo proyecto. Y esto crea toda la estructura de tu sistema de archivos que replica la estructura de paquetes que tienes en tu proyecto. Y esto fue bueno, pero creó algunos problemas. Por ejemplo, hizo que tus node_modules fueran enormes. También creó un problema con las dependencias circulares. Eso significa que si foo necesitaba buzz, que necesitaba buzz, que necesitaba buzz, que necesitaba bar nuevamente, que necesitaba buzz y necesitaba buzz, entrarías en un bucle infinito. Y esto, por cierto, es bastante común. No es tan raro como podrías pensar. Otro problema común es con los singletons. Si necesitas una única instancia de un cierto paquete, como el paquete debug, por ejemplo, en esta estructura tendrías múltiples instancias, y eso puede causar errores cuando ejecutas los paquetes. Y el último ya no está con nosotros. Gracias a Dios por eso. Era un problema de Windows 8 que la ruta del archivo estaba limitada a 256 caracteres. Esto es menos común.

Entonces, ¿qué hizo NPM para resolver eso? Decidieron hacer una deduplicación de los paquetes que estaban duplicados. Entonces, en lugar de tener buzz dos veces, lo colocarían en el nivel más alto posible y lo usarían allí. Y la razón por la que esto funcionó es debido a la forma en que Node requiere los paquetes. Entonces, si buzz necesitaba buzz, iría debajo de la carpeta node_modules de Node y lo buscaría. Si no lo encuentra, subirá un nivel y buscará un tercero.

2. Managing Package Versions and Conflicts

Short description:

Cuando los paquetes tienen diferentes versiones y surgen conflictos, la estructura de paquetes se convierte en un grafo. NPM y Yarn abordan este problema tomando una instantánea de los módulos de nodo, asegurando la consistencia en los proyectos.

Y luego, si no lo encuentra, subirá otro nivel. Y ahí está. De hecho, encontró buzz allí y lo usará. A continuación, decidieron, bueno, vamos a llevarlo un paso más allá. Si podemos mover los paquetes hacia arriba en el árbol, ¿por qué solo el duplicado? En realidad, podemos hacer eso para todos los paquetes. Y crearon un árbol muy plano con todos los paquetes. Y esto fue bueno. Esto resolvió el problema. Ahora tenías paquetes más pequeños, rutas más cortas porque no iba tan profundo. Era solo unidireccional, sin circulares. Hacía que cada paquete fuera único.

Era bueno, pero luego tuvimos un problema. Cada paquete podría tener una versión diferente que requiere. Entonces, tu árbol, el árbol que necesitas, en realidad no se ve como este. Tienes diferentes versiones de los mismos paquetes requeridos en diferentes lugares del árbol. Y aún peor, en algunos casos, las versiones podrían entrar en conflicto. Eso significa que tu foo podría requerir buzz en la versión uno, pero bar requiere buzz en la versión dos. ¿Y cómo lo aplanas? ¿Qué pones en el nivel superior? De hecho, tenemos un problema aquí, tu estructura de archivos, tu estructura de paquetes, ya no es un árbol. En realidad, es un grafo. Y la forma en que se resolvió es que diferentes versiones de NPM tenían diferentes soluciones. A veces tomaría una popular. A veces tomaría la primera y la colocaría en la parte superior del árbol. Mientras que la otra versión que se requería se dejaba debajo del paquete que lo requería. Como en este caso aquí, donde podrías promover dos o uno, dependiendo del orden. Y esto es un problema porque ahora obtenemos un árbol muy inestable e impredecible. Y la forma en que NPM y también Yarn en la versión 1 lo resolvieron fue tomando una instantánea de todos tus módulos de nodo. Y este es el famoso archivo de registro. NPM lo tiene como un archivo shrink wrap. Y luego Yarn agregó el archivo de registro de Yarn. Y esta es la forma en que NPM se asegura de que la estructura de paquetes y los archivos de módulos de nodo en un proyecto sean los mismos que los de

3. Alternative Approaches to Package Management

Short description:

PNPM y Yarn2 ofrecen enfoques alternativos para la gestión de paquetes. PNPM mantiene las estructuras de paquetes originales en una caché, utilizando enlaces duros para señalar a las versiones requeridas. Yarn2, con el nombre en clave berry, mantiene un mapa de todos los paquetes y sus dependencias, interceptando las solicitudes de archivos de Node para proporcionar los paquetes requeridos. Estas soluciones brindan información sobre las complejidades ocultas de los gestores de paquetes.

el CI o es el mismo que ejecutan tus colegas. Pero aquí hay otra solución. PNPM está haciendo algo inteligente y diferente. PNPM mantiene las estructuras originales, las estructuras de árbol de las que hablamos, manteniendo todos los paquetes y todas sus versiones. Pero en realidad no instalan los paquetes. Almacenan todos los paquetes y todas las versiones diferentes en una caché. Y luego el modules de nodo apunta al nivel del sistema operativo, utilizando enlaces duros a la caché y almacenando la versión exacta y señalando a la versión correcta donde se requiere.

Entonces esta es una solución que se utilizó y la otra solución es la que yarn2, que tiene el nombre en clave berry, introdujo. Básicamente dicen que ellos son el gestor de paquetes y saben exactamente qué paquete es requerido por cada paquete. Tienen un mapa de todos los modules de nodo y todos los paquetes y lo que requieren. Y parchean, cambian la forma en que Node solicita los archivos. Entonces, si Node ahora requiere un paquete, ya no irá directamente al sistema de archivos y obtendrá el paquete, sino que accederá a yarn y solicitará el paquete específico que necesita y yarn buscará en este mapa de modules y devolverá el archivo exacto que muestra eso.

Así que eso fue un vistazo muy, muy breve y rápido a la vida secreta del gestor de paquetes. ¡Muchas gracias! tú

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Node Congress 2022Node Congress 2022
26 min
It's a Jungle Out There: What's Really Going on Inside Your Node_Modules Folder
Top Content
Do you know what’s really going on in your node_modules folder? Software supply chain attacks have exploded over the past 12 months and they’re only accelerating in 2022 and beyond. We’ll dive into examples of recent supply chain attacks and what concrete steps you can take to protect your team from this emerging threat.
You can check the slides for Feross' talk here.
Node Congress 2022Node Congress 2022
34 min
Out of the Box Node.js Diagnostics
In the early years of Node.js, diagnostics and debugging were considerable pain points. Modern versions of Node have improved considerably in these areas. Features like async stack traces, heap snapshots, and CPU profiling no longer require third party modules or modifications to application source code. This talk explores the various diagnostic features that have recently been built into Node.
You can check the slides for Colin's talk here. 
JSNation 2023JSNation 2023
22 min
ESM Loaders: Enhancing Module Loading in Node.js
Native ESM support for Node.js was a chance for the Node.js project to release official support for enhancing the module loading experience, to enable use cases such as on the fly transpilation, module stubbing, support for loading modules from HTTP, and monitoring.
While CommonJS has support for all this, it was never officially supported and was done by hacking into the Node.js runtime code. ESM has fixed all this. We will look at the architecture of ESM loading in Node.js, and discuss the loader API that supports enhancing it. We will also look into advanced features such as loader chaining and off thread execution.
DevOps.js Conf 2022DevOps.js Conf 2022
31 min
pnpm – a Fast, Disk Space Efficient Package Manager for JavaScript
You will learn about one of the most popular package managers for JavaScript and its advantages over npm and Yarn.A brief history of JavaScript package managersThe isolated node_modules structure created pnpmWhat makes pnpm so fastWhat makes pnpm disk space efficientMonorepo supportManaging Node.js versions with pnpm

Workshops on related topic

Node Congress 2023Node Congress 2023
109 min
Node.js Masterclass
Workshop
Have you ever struggled with designing and structuring your Node.js applications? Building applications that are well organised, testable and extendable is not always easy. It can often turn out to be a lot more complicated than you expect it to be. In this live event Matteo will show you how he builds Node.js applications from scratch. You’ll learn how he approaches application design, and the philosophies that he applies to create modular, maintainable and effective applications.

Level: intermediate
Node Congress 2023Node Congress 2023
63 min
0 to Auth in an Hour Using NodeJS SDK
WorkshopFree
Passwordless authentication may seem complex, but it is simple to add it to any app using the right tool.
We will enhance a full-stack JS application (Node.JS backend + React frontend) to authenticate users with OAuth (social login) and One Time Passwords (email), including:- User authentication - Managing user interactions, returning session / refresh JWTs- Session management and validation - Storing the session for subsequent client requests, validating / refreshing sessions
At the end of the workshop, we will also touch on another approach to code authentication using frontend Descope Flows (drag-and-drop workflows), while keeping only session validation in the backend. With this, we will also show how easy it is to enable biometrics and other passwordless authentication methods.
Table of contents- A quick intro to core authentication concepts- Coding- Why passwordless matters
Prerequisites- IDE for your choice- Node 18 or higher
JSNation 2023JSNation 2023
104 min
Build and Deploy a Backend With Fastify & Platformatic
WorkshopFree
Platformatic allows you to rapidly develop GraphQL and REST APIs with minimal effort. The best part is that it also allows you to unleash the full potential of Node.js and Fastify whenever you need to. You can fully customise a Platformatic application by writing your own additional features and plugins. In the workshop, we’ll cover both our Open Source modules and our Cloud offering:- Platformatic OSS (open-source software) — Tools and libraries for rapidly building robust applications with Node.js (https://oss.platformatic.dev/).- Platformatic Cloud (currently in beta) — Our hosting platform that includes features such as preview apps, built-in metrics and integration with your Git flow (https://platformatic.dev/). 
In this workshop you'll learn how to develop APIs with Fastify and deploy them to the Platformatic Cloud.
JSNation Live 2021JSNation Live 2021
156 min
Building a Hyper Fast Web Server with Deno
WorkshopFree
Deno 1.9 introduced a new web server API that takes advantage of Hyper, a fast and correct HTTP implementation for Rust. Using this API instead of the std/http implementation increases performance and provides support for HTTP2. In this workshop, learn how to create a web server utilizing Hyper under the hood and boost the performance for your web apps.
React Summit 2022React Summit 2022
164 min
GraphQL - From Zero to Hero in 3 hours
Workshop
How to build a fullstack GraphQL application (Postgres + NestJs + React) in the shortest time possible.
All beginnings are hard. Even harder than choosing the technology is often developing a suitable architecture. Especially when it comes to GraphQL.
In this workshop, you will get a variety of best practices that you would normally have to work through over a number of projects - all in just three hours.
If you've always wanted to participate in a hackathon to get something up and running in the shortest amount of time - then take an active part in this workshop, and participate in the thought processes of the trainer.
TestJS Summit 2023TestJS Summit 2023
78 min
Mastering Node.js Test Runner
Workshop
Node.js test runner is modern, fast, and doesn't require additional libraries, but understanding and using it well can be tricky. You will learn how to use Node.js test runner to its full potential. We'll show you how it compares to other tools, how to set it up, and how to run your tests effectively. During the workshop, we'll do exercises to help you get comfortable with filtering, using native assertions, running tests in parallel, using CLI, and more. We'll also talk about working with TypeScript, making custom reports, and code coverage.