Aceleración de GPU para servicios web y visualización en Node.js con RAPIDS

Rate this content
Bookmark

La expansión del tamaño y la complejidad de los datos, la adopción más amplia de ML, así como las altas expectativas puestas en las aplicaciones web modernas, exigen cada vez más potencia de cálculo. Aprenda cómo se pueden utilizar las bibliotecas de ciencia de datos RAPIDS más allá de los cuadernos, con servicios web acelerados por GPU en Node.js. Desde la ETL hasta las visualizaciones en tiempo real renderizadas en el lado del servidor, el proyecto experimental Node RAPIDS está desarrollando un amplio conjunto de módulos capaces de ejecutarse en escritorios locales e instancias de nube multi-GPU.

FAQ

Rapids es una plataforma de ciencia de datos acelerada por GPU de código abierto. Node Rapids es un proyecto que integra Rapids con Node.js, ofreciendo una biblioteca modular que incluye enlaces de Rapids y otros métodos complementarios para visualizaciones de alto rendimiento similares a las de un navegador.

Puedes encontrar más detalles sobre Rapids en los sitios web rapids.ai y nvidia.com. Para información específica sobre Node Rapids, puedes visitar github.com/rapidsai/Node.

El objetivo principal de Node Rapids es acelerar las tuberías de ciencia de datos y visualización usando completamente JavaScript y TypeScript. Además, busca llevar la aceleración GPU a una mayor variedad de utilidades en NodeJS y JS.

Rapids ofrece varias bibliotecas de ciencia de datos como CUDF para operaciones de DataFrame, CUML que incluye algoritmos de aprendizaje automático acelerados por GPU, y otras como Cougraph, Forgraph, Spatial, Signal.

Puedes usar Rapids en Windows a través de WSL 2, ya que las bibliotecas de Rapids se utilizan principalmente en sistemas basados en Linux.

Node Rapids ofrece una API simplificada que permite a los desarrolladores de Node.js aprovechar las características de la plataforma Rapids sin necesidad de aprender un nuevo lenguaje o entorno, facilitando la integración de bibliotecas de visualización JS existentes y la ejecución de aplicaciones en la nube o localmente.

Node Rapids permite el manejo de grandes conjuntos de datos utilizando la memoria de la GPU, procesamiento de datos con SQL en configuraciones multi-nodo y multi-GPU, y visualización avanzada mediante tecnologías como WebGL y OpenGL para mejorar el rendimiento.

Allan Enemark
Allan Enemark
26 min
20 Jun, 2022

Comments

Sign in or register to post your comment.

Video Summary and Transcription

Bienvenido a la aceleración de GPU para servicios web y visualización en Node.js con Rapids. Rapids tiene como objetivo llevar capacidades de ciencia de datos de alto rendimiento a Node.js, proporcionando una API simplificada a la plataforma Rapids sin la necesidad de aprender un nuevo lenguaje o entorno. La aceleración de GPU en Node.js permite la optimización del rendimiento y el acceso a la memoria sin cambiar el código existente. Las demos muestran la potencia y velocidad de las GPUs y Rapids en el procesamiento de datos ETL, la visualización de gráficos y la interacción con nubes de puntos. Los planes futuros incluyen la expansión de la biblioteca, la mejora de la experiencia del desarrollador y la exploración del soporte nativo de Windows.

1. Introducción a la Aceleración GPU y Node Rapids

Short description:

Bienvenido a la Aceleración GPU de los servicios web de Node.js y la visualización con Rapids. Rapids es una plataforma de ciencia de datos acelerada por GPU de código abierto, y Node Rapids es una biblioteca modular de enlaces inclusivos de Rapids en Node.js de código abierto. Nuestro objetivo principal es acelerar las tuberías de ciencia de datos y visualización completamente en JavaScript y TypeScript, y llevar la aceleración GPU a una mayor variedad de utilidades de NodeJS y JS.

Hola, y bienvenido a la Aceleración GPU de los servicios web de Node.js y la visualización con Rapids. Soy Allan Ane-Mark, y soy el líder del equipo de Rapids Viz aquí en NVIDIA.

Entonces, Rapids es una plataforma de ciencia de datos acelerada por GPU de código abierto, y puedes encontrar más detalles en rapids.ai y nvidia.com, y Node Rapids, que es el proyecto del que voy a hablar, es una biblioteca modular de enlaces inclusivos de Rapids en Node.js, así como algunos otros métodos complementarios para admitir visualizaciones similares a las de un navegador de alto rendimiento. Actualmente está en vista previa técnica, pero puedes encontrar más detalles al respecto en github.com slash rapids.ai slash Node.

Y realmente, nuestro objetivo principal en este marco es crear algo que pueda acelerar las tuberías de ciencia de datos y visualización completamente en JavaScript y TypeScript, algo que tradicionalmente se hace principalmente en, digamos, Python. Y nuestro segundo objetivo es llevar la aceleración GPU a una mayor variedad de utilidades de NodeJS y JS, ya que sentimos que la comunidad en general tiene acceso limitado a estas herramientas de alto

2. Introducción a Node Rapids

Short description:

Rapids proporciona bibliotecas de ciencia de datos, algoritmos de aprendizaje automático y herramientas de visualización. Tradicionalmente se utiliza con Python y C++, pero también se puede utilizar con Windows a través de WSL 2. En el ecosistema Viz, se utilizan bibliotecas como Cougraph y DataShader para crear paneles de control y renderizado en el lado del servidor. Node Rapids tiene como objetivo llevar capacidades de ciencia de datos de alto rendimiento a Node.js, permitiendo a los desarrolladores aprovechar las bibliotecas de visualización JS existentes y acelerar sus aplicaciones. Proporciona una API simplificada a la plataforma Rapids sin necesidad de aprender un nuevo lenguaje o entorno.

Entonces, ¿qué obtienes con Rapids, que tradicionalmente se utiliza con Python y C++? Obtienes estas bibliotecas de ciencia de datos, como las operaciones de DataFrame en CUDF, obtienes CUML, que son muchos algoritmos de aprendizaje automático acelerados por GPU, Cougraph, Forgraph, Spatial, Signal, y más que se están desarrollando continuamente y mejorando constantemente. La advertencia es que principalmente se utilizan en sistemas basados en Linux, por lo que si quieres usarlos en Windows, puedes hacerlo, pero debe ser a través de WSL 2.

Entonces, ¿qué tipo de bibliotecas en el ecosistema Viz tradicionalmente se utilizan en Python? Tenemos nuestro propio filtro Cougraph, que es una herramienta de filtrado cruzado basada en cuadernos donde puedes crear paneles de control muy rápidamente con unas pocas líneas de código Python, y luego interactuar rápidamente con cientos de millones de filas de datos de una manera bastante personalizable. Y hacemos un uso extensivo de una de las otras grandes bibliotecas de visualización llamada DataShader, que es excelente para renderizar en el lado del servidor cientos de millones de puntos. Todo esto está acelerado por GPU. Y realmente forma parte de este gran ecosistema de herramientas de Viz y Analytics, que se encuentra en el espectro entre tu back-end en C, C++, Python que se va transformando en solo JS en el front-end. Y realmente, cuando se trata de Ciencia de Datos y Cómputo, principalmente cosas analíticas, más en el lado del rendimiento, todo comienza en el lado de Python y C++. Y luego se traduce a JavaScript para la interfaz. Algunos están un poco más en un punto intermedio, pero realmente comienza allí y luego termina en JavaScript, o simplemente se queda en JavaScript. Lo que estamos proponiendo es lo contrario. Vamos a comenzar con las bibliotecas de JS y luego llevarlas de vuelta a este back-end de alto rendimiento en Node.js. Así que les daremos acceso a CUDA, CUDF, Cugraph, todas esas cosas. Nuestra experiencia con esto comenzó hace un tiempo cuando estábamos haciendo muchas demostraciones para RAPIDS, y en este caso estábamos haciendo una gran visualización de hipotecas donde teníamos DECGL y React, y todo era una interfaz muy rápida y agradable. Se adapta a todo tipo de pantallas diferentes y todo eso, pero el back-end era un desastre. Teníamos múltiples lenguajes, múltiples servidores. Se volvió insostenible y básicamente cada uno se rindió y dijo: `Bueno, hagámoslo en Python y Notebooks`. Pero en el fondo estábamos realmente tristes porque hay todas estas grandes bibliotecas de visualización de JS y las capacidades personalizadas que obtienes al usarlas que nos faltaban, y es una pena porque ahora tienes esta división continental, ¿verdad? Tienes Python y C++ y tienes JavaScript y TypeScript, y hay un abismo entre ellos donde se separan las capacidades entre ellos. Por un lado, tienes acceso directo al hardware, la mayoría de las bibliotecas de cómputo, ciencia de datos y alto rendimiento están en este espacio. No es la mejor usabilidad porque tiene una curva de aprendizaje alta, pero este es el lugar al que debes ir para cosas de alto rendimiento. Por otro lado, tienes el entorno agradable del navegador que es excelente para compartir y compatibilidad, en mi opinión, una visualización y bibliotecas de interfaz un poco más refinadas, pero nuevamente no obtienes ese rendimiento porque estás limitado por el sandbox del navegador. Es una pena porque tienes científicos de datos e ingenieros y personas frente a ellos y están un poco aislados en su lado, pero pueden beneficiarse mutuamente de las herramientas y la experiencia del otro. Por eso está Node Rapids, donde esperamos dar a los desarrolladores de Node.js una API simplificada a una plataforma de ciencia de datos de alto rendimiento, Rapids, sin la necesidad de aprender un nuevo lenguaje o entorno. Así que luego puedes aprovechar las características de Rapids y Node.js, puedes acelerar el catálogo de grandes bibliotecas de visualización JS que ya existen sin necesidad de una refactorización importante, puedes aprender localmente o a través de instancias en la nube y es adecuado para aplicaciones de visualización aceleradas, aplicaciones de servicios de Node, y nuevamente ayuda a que estas dos comunidades trabajen más estrechamente juntas y viceversa. Eso es un poco la idea principal y cuál es la carne y los huesos reales de esto. Bueno, aquí está, Node Rapids. Es una biblioteca muy modular. Es como un buffet. Puedes elegir lo que necesitas para tu caso de uso. Está organizado en estas categorías principales. La principal es la memoria.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

(Más fácil) Visualización interactiva de datos en React
React Advanced Conference 2021React Advanced Conference 2021
27 min
(Más fácil) Visualización interactiva de datos en React
Top Content
Si estás construyendo un tablero de control, una plataforma de análisis o cualquier aplicación web donde necesites dar a tus usuarios una visión de sus datos, necesitas hermosas, personalizadas, visualizaciones de datos interactivas en tu aplicación React. Pero construir visualizaciones a mano con una biblioteca de bajo nivel como D3 puede ser un gran dolor de cabeza, que implica reinventar la rueda. En esta charla, veremos cómo el desarrollo de visualización de datos puede ser mucho más fácil gracias a herramientas como Plot, una biblioteca de dataviz de alto nivel para una rápida y fácil creación de gráficos, y Observable, un entorno de prototipado de dataviz reactivo, ambos del creador de D3. A través de ejemplos de codificación en vivo, exploraremos cómo los refs de React nos permiten delegar la manipulación del DOM para nuestras visualizaciones de datos, y cómo la funcionalidad de incrustación de Observable nos permite reutilizar fácilmente las visualizaciones construidas por la comunidad para nuestros propios datos y casos de uso. Al final de esta charla, sabremos cómo obtener una hermosa, personalizada, visualización de datos interactiva en nuestras aplicaciones con una fracción del tiempo y esfuerzo!
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Node Congress 2022Node Congress 2022
26 min
Es una jungla ahí fuera: ¿Qué está pasando realmente dentro de tu carpeta Node_Modules?
Top Content
¿Sabes qué está pasando realmente en tu carpeta node_modules? Los ataques a la cadena de suministro de software han explotado en los últimos 12 meses y solo están acelerándose en 2022 y más allá. Profundizaremos en ejemplos de recientes ataques a la cadena de suministro y qué pasos concretos puedes tomar para proteger a tu equipo de esta amenaza emergente.
Puedes consultar las diapositivas de la charla de Feross aquí.
Hacia una Biblioteca Estándar para Runtimes de JavaScript
Node Congress 2022Node Congress 2022
34 min
Hacia una Biblioteca Estándar para Runtimes de JavaScript
Top Content
Puedes revisar las diapositivas de la charla de James aquí.
Charlie Gerard's Career Advice: Be intentional about how you spend your time and effort
6 min
Charlie Gerard's Career Advice: Be intentional about how you spend your time and effort
Featured Article
Charlie Gerard
Jan Tomes
2 authors
When it comes to career, Charlie has one trick: to focus. But that doesn’t mean that you shouldn’t try different things — currently a senior front-end developer at Netlify, she is also a sought-after speaker, mentor, and a machine learning trailblazer of the JavaScript universe. "Experiment with things, but build expertise in a specific area," she advises.

What led you to software engineering?My background is in digital marketing, so I started my career as a project manager in advertising agencies. After a couple of years of doing that, I realized that I wasn't learning and growing as much as I wanted to. I was interested in learning more about building websites, so I quit my job and signed up for an intensive coding boot camp called General Assembly. I absolutely loved it and started my career in tech from there.
 What is the most impactful thing you ever did to boost your career?I think it might be public speaking. Going on stage to share knowledge about things I learned while building my side projects gave me the opportunity to meet a lot of people in the industry, learn a ton from watching other people's talks and, for lack of better words, build a personal brand.
 What would be your three tips for engineers to level up their career?Practice your communication skills. I can't stress enough how important it is to be able to explain things in a way anyone can understand, but also communicate in a way that's inclusive and creates an environment where team members feel safe and welcome to contribute ideas, ask questions, and give feedback. In addition, build some expertise in a specific area. I'm a huge fan of learning and experimenting with lots of technologies but as you grow in your career, there comes a time where you need to pick an area to focus on to build more profound knowledge. This could be in a specific language like JavaScript or Python or in a practice like accessibility or web performance. It doesn't mean you shouldn't keep in touch with anything else that's going on in the industry, but it means that you focus on an area you want to have more expertise in. If you could be the "go-to" person for something, what would you want it to be? 
 And lastly, be intentional about how you spend your time and effort. Saying yes to everything isn't always helpful if it doesn't serve your goals. No matter the job, there are always projects and tasks that will help you reach your goals and some that won't. If you can, try to focus on the tasks that will grow the skills you want to grow or help you get the next job you'd like to have.
 What are you working on right now?Recently I've taken a pretty big break from side projects, but the next one I'd like to work on is a prototype of a tool that would allow hands-free coding using gaze detection. 
 Do you have some rituals that keep you focused and goal-oriented?Usually, when I come up with a side project idea I'm really excited about, that excitement is enough to keep me motivated. That's why I tend to avoid spending time on things I'm not genuinely interested in. Otherwise, breaking down projects into smaller chunks allows me to fit them better in my schedule. I make sure to take enough breaks, so I maintain a certain level of energy and motivation to finish what I have in mind.
 You wrote a book called Practical Machine Learning in JavaScript. What got you so excited about the connection between JavaScript and ML?The release of TensorFlow.js opened up the world of ML to frontend devs, and this is what really got me excited. I had machine learning on my list of things I wanted to learn for a few years, but I didn't start looking into it before because I knew I'd have to learn another language as well, like Python, for example. As soon as I realized it was now available in JS, that removed a big barrier and made it a lot more approachable. Considering that you can use JavaScript to build lots of different applications, including augmented reality, virtual reality, and IoT, and combine them with machine learning as well as some fun web APIs felt super exciting to me.


Where do you see the fields going together in the future, near or far? I'd love to see more AI-powered web applications in the future, especially as machine learning models get smaller and more performant. However, it seems like the adoption of ML in JS is still rather low. Considering the amount of content we post online, there could be great opportunities to build tools that assist you in writing blog posts or that can automatically edit podcasts and videos. There are lots of tasks we do that feel cumbersome that could be made a bit easier with the help of machine learning.
 You are a frequent conference speaker. You have your own blog and even a newsletter. What made you start with content creation?I realized that I love learning new things because I love teaching. I think that if I kept what I know to myself, it would be pretty boring. If I'm excited about something, I want to share the knowledge I gained, and I'd like other people to feel the same excitement I feel. That's definitely what motivated me to start creating content.
 How has content affected your career?I don't track any metrics on my blog or likes and follows on Twitter, so I don't know what created different opportunities. Creating content to share something you built improves the chances of people stumbling upon it and learning more about you and what you like to do, but this is not something that's guaranteed. I think over time, I accumulated enough projects, blog posts, and conference talks that some conferences now invite me, so I don't always apply anymore. I sometimes get invited on podcasts and asked if I want to create video content and things like that. Having a backlog of content helps people better understand who you are and quickly decide if you're the right person for an opportunity.What pieces of your work are you most proud of?It is probably that I've managed to develop a mindset where I set myself hard challenges on my side project, and I'm not scared to fail and push the boundaries of what I think is possible. I don't prefer a particular project, it's more around the creative thinking I've developed over the years that I believe has become a big strength of mine.***Follow Charlie on Twitter
ESM Loaders: Mejorando la carga de módulos en Node.js
JSNation 2023JSNation 2023
22 min
ESM Loaders: Mejorando la carga de módulos en Node.js
El soporte nativo de ESM para Node.js fue una oportunidad para el proyecto de Node.js de lanzar soporte oficial para mejorar la experiencia de carga de módulos, permitiendo casos de uso como la transpilación sobre la marcha, la sustitución de módulos, el soporte para cargar módulos desde HTTP y la monitorización.
Aunque CommonJS tiene soporte para todo esto, nunca fue oficialmente compatible y se hacía mediante hackeo del código de ejecución de Node.js. ESM ha solucionado todo esto. Analizaremos la arquitectura de la carga de ESM en Node.js y discutiremos la API del cargador que lo admite. También veremos características avanzadas como la concatenación de cargadores y la ejecución fuera de hilo.
Diagnostics de Node.js listos para usar
Node Congress 2022Node Congress 2022
34 min
Diagnostics de Node.js listos para usar
En los primeros años de Node.js, los diagnósticos y la depuración eran puntos problemáticos considerables. Las versiones modernas de Node han mejorado considerablemente en estas áreas. Características como seguimiento de pila asíncrono, capturas de montón y perfilado de CPU ya no requieren módulos de terceros o modificaciones en el código fuente de la aplicación. Esta charla explora las diversas características de diagnóstico que se han incorporado recientemente a Node.
Puedes consultar las diapositivas de la charla de Colin aquí. 

Workshops on related topic

Masterclass de Node.js
Node Congress 2023Node Congress 2023
109 min
Masterclass de Node.js
Top Content
Workshop
Matteo Collina
Matteo Collina
¿Alguna vez has tenido dificultades para diseñar y estructurar tus aplicaciones Node.js? Construir aplicaciones que estén bien organizadas, sean probables y extensibles no siempre es fácil. A menudo puede resultar ser mucho más complicado de lo que esperas. En este evento en vivo, Matteo te mostrará cómo construye aplicaciones Node.js desde cero. Aprenderás cómo aborda el diseño de aplicaciones y las filosofías que aplica para crear aplicaciones modulares, mantenibles y efectivas.

Nivel: intermedio
Construye y Despliega un Backend con Fastify y Platformatic
JSNation 2023JSNation 2023
104 min
Construye y Despliega un Backend con Fastify y Platformatic
WorkshopFree
Matteo Collina
Matteo Collina
Platformatic te permite desarrollar rápidamente APIs GraphQL y REST con un esfuerzo mínimo. La mejor parte es que también te permite aprovechar todo el potencial de Node.js y Fastify cuando lo necesites. Puedes personalizar completamente una aplicación de Platformatic escribiendo tus propias características y complementos adicionales. En el masterclass, cubriremos tanto nuestros módulos de código abierto como nuestra oferta en la nube:- Platformatic OSS (open-source software) — Herramientas y bibliotecas para construir rápidamente aplicaciones robustas con Node.js (https://oss.platformatic.dev/).- Platformatic Cloud (actualmente en beta) — Nuestra plataforma de alojamiento que incluye características como aplicaciones de vista previa, métricas integradas e integración con tu flujo de Git (https://platformatic.dev/).
En este masterclass aprenderás cómo desarrollar APIs con Fastify y desplegarlas en la nube de Platformatic.
0 a Auth en una Hora Usando NodeJS SDK
Node Congress 2023Node Congress 2023
63 min
0 a Auth en una Hora Usando NodeJS SDK
WorkshopFree
Asaf Shen
Asaf Shen
La autenticación sin contraseña puede parecer compleja, pero es fácil de agregar a cualquier aplicación utilizando la herramienta adecuada.
Mejoraremos una aplicación JS de pila completa (backend de Node.JS + frontend de React) para autenticar usuarios con OAuth (inicio de sesión social) y contraseñas de un solo uso (correo electrónico), incluyendo:- Autenticación de usuario - Administrar interacciones de usuario, devolver JWT de sesión / actualización- Gestión y validación de sesiones - Almacenar la sesión para solicitudes de cliente posteriores, validar / actualizar sesiones
Al final del masterclass, también tocaremos otro enfoque para la autenticación de código utilizando Flujos Descope en el frontend (flujos de arrastrar y soltar), manteniendo solo la validación de sesión en el backend. Con esto, también mostraremos lo fácil que es habilitar la biometría y otros métodos de autenticación sin contraseña.
Tabla de contenidos- Una breve introducción a los conceptos básicos de autenticación- Codificación- Por qué importa la autenticación sin contraseña
Requisitos previos- IDE de tu elección- Node 18 o superior
Construyendo un Servidor Web Hiper Rápido con Deno
JSNation Live 2021JSNation Live 2021
156 min
Construyendo un Servidor Web Hiper Rápido con Deno
WorkshopFree
Matt Landers
Will Johnston
2 authors
Deno 1.9 introdujo una nueva API de servidor web que aprovecha Hyper, una implementación rápida y correcta de HTTP para Rust. El uso de esta API en lugar de la implementación std/http aumenta el rendimiento y proporciona soporte para HTTP2. En este masterclass, aprende cómo crear un servidor web utilizando Hyper en el fondo y mejorar el rendimiento de tus aplicaciones web.
GraphQL: De Cero a Héroe en 3 horas
React Summit 2022React Summit 2022
164 min
GraphQL: De Cero a Héroe en 3 horas
Workshop
Pawel Sawicki
Pawel Sawicki
Cómo construir una aplicación GraphQL fullstack (Postgres + NestJs + React) en el menor tiempo posible.
Todos los comienzos son difíciles. Incluso más difícil que elegir la tecnología es desarrollar una arquitectura adecuada. Especialmente cuando se trata de GraphQL.
En este masterclass, obtendrás una variedad de mejores prácticas que normalmente tendrías que trabajar en varios proyectos, todo en solo tres horas.
Siempre has querido participar en un hackathon para poner algo en funcionamiento en el menor tiempo posible, entonces participa activamente en este masterclass y únete a los procesos de pensamiento del instructor.
Dominando Node.js Test Runner
TestJS Summit 2023TestJS Summit 2023
78 min
Dominando Node.js Test Runner
Workshop
Marco Ippolito
Marco Ippolito
Node.js test runner es moderno, rápido y no requiere bibliotecas adicionales, pero entenderlo y usarlo bien puede ser complicado. Aprenderás a utilizar Node.js test runner a su máximo potencial. Te mostraremos cómo se compara con otras herramientas, cómo configurarlo y cómo ejecutar tus pruebas de manera efectiva. Durante la masterclass, haremos ejercicios para ayudarte a sentirte cómodo con el filtrado, el uso de afirmaciones nativas, la ejecución de pruebas en paralelo, el uso de CLI y más. También hablaremos sobre trabajar con TypeScript, hacer informes personalizados y la cobertura de código.