Dando Superpoderes a tus Aplicaciones de React con Aprendizaje Automático

Rate this content
Bookmark
Slides

¿Alguna vez te has preguntado si Javascript es una alternativa viable a Python o R para crear modelos de aprendizaje automático? Después de todo, una encuesta de 2019 realizada por Stack Overflow encontró que Javascript es el lenguaje que más utilizan los desarrolladores. Dado que los modelos de aprendizaje automático como las redes neuronales requieren mucha potencia computacional y que Javascript no fue diseñado para computación de alta velocidad, este enfoque parece irrazonable. Pero espera, ¡esto no es del todo cierto, ya que las bibliotecas de Javascript como Onnx.js y Tensorflow.js están aquí para salvar el día! En esta charla, profundizaré en cómo crear aplicaciones de aprendizaje automático intuitivas e innovadoras con React.

11 min
06 Jun, 2023

Video Summary and Transcription

Bienvenido a mi charla relámpago en React Summit 2023, donde discutiré la integración de capacidades de aprendizaje automático en aplicaciones de React utilizando bibliotecas de JavaScript como TensorFlow.js y ONNX.js. Estas bibliotecas permiten una mejor privacidad, menor costo y menor latencia al aprovechar el hardware del sistema. Los ejemplos incluyen el uso de TensorFlow.js y CocoaSSIST para clasificar imágenes y Ermine.ai para transcripción de audio en vivo. Los desarrolladores de React ahora pueden integrar el aprendizaje automático sin necesidad de tener un amplio conocimiento de Python u otros frameworks.

Available in English

1. Introducción al Aprendizaje Automático en React

Short description:

Bienvenidos a mi charla relámpago en React Summit 2023. Está otorgando superpoderes a tus aplicaciones de React con aprendizaje automático. Como ingeniero de front-end, puedes aprovechar el aprendizaje automático en tus propias aplicaciones. Por lo general, los nuevos desarrolladores web se adentran en React, pero integrar el aprendizaje automático generalmente requiere Python o R. Sin embargo, puedes utilizar bibliotecas de aprendizaje automático para JavaScript para integrar capacidades de aprendizaje automático en tu aplicación de React.

Bueno, hola a todos. Bienvenidos a mi charla relámpago en React Summit 2023. Está otorgando superpoderes a tus aplicaciones de React con aprendizaje automático. Soy Shailamba. Soy líder del grupo de trabajo y SIG de TensorFlow.js en India. Y también soy mentor de código de Google en TensorFlow.

Ahora, estamos aprendiendo sobre la emoción del aprendizaje automático. Y, por supuesto, con herramientas como Chats ABT y modelos de lenguaje grandes, estamos viendo el aprendizaje automático en todas partes. Ya sea que se trate de texto iterativo o de IA iterativa. Y como ingeniero de front-end, es posible que también estés muy interesado en aprovechar el uso del aprendizaje automático en tus propias aplicaciones.

Por lo general, si observamos a cualquier nuevo desarrollador web que quiera construir una aplicación basada en aprendizaje automático muy genial, tienden a adentrarse directamente en React. Y sabemos que React en sí puede ser muy confuso y tiene muchos temas avanzados. Así que en lugar de saltar directamente de HTML, Javascript y aprender sobre Git y GitHub y luego finalmente aprender sobre React, los nuevos desarrolladores tienden a saltar directamente a React. Y ahora piensa en ti como un nuevo desarrollador de front-end donde estás aprendiendo los conceptos básicos de Javascript, si quieres integrar capacidades de aprendizaje automático en tu aplicación de Javascript o tu aplicación de React, tradicionalmente tendrías que usar un lenguaje de programación como Python o R, que están más enfocados en general hacia el aprendizaje automático.

2. Integración del Aprendizaje Automático en React

Short description:

Puedes integrar capacidades de aprendizaje automático en tu aplicación de React utilizando bibliotecas de aprendizaje automático de código abierto para JavaScript. Estas bibliotecas, como TensorFlow.js y ONNX.js, te permiten agregar modelos de aprendizaje automático directamente en tu navegador, brindando una mejor privacidad, menor costo y menor latencia. Aprovechan el hardware del sistema como CPUs y GPUs, mejorando el rendimiento. JavaScript puede superar a Python en muchos casos. Utilizaremos TensorFlow.js y el modelo CocoaSSIST para clasificar imágenes en nuestra demostración.

Pero ese no es el caso. Tú mismo, como ingeniero de front-end, puedes integrar capacidades de aprendizaje automático sin tener que entrar en el bucle o aprender un nuevo conjunto de lenguajes por completo. Y cómo puedes lograrlo es con la ayuda de una gran cantidad de bibliotecas de aprendizaje automático de código abierto para Javascript que están disponibles para que las uses con tu aplicación de React.

Entonces, ya sea una de las bibliotecas de aprendizaje automático de código abierto más populares basadas en Javascript como TensorFlow.js o ONNX.js, o incluso algunos de los frameworks y bibliotecas más nuevos como Transformers.js que te permiten agregar la capacidad de modelos de aprendizaje automático muy grandes directamente en tu navegador con la ayuda de Javascript, que por supuesto puedes incluir en tu aplicación de React.

Y hay cinco razones diferentes por las que deberías ejecutar el modelo de inferencia de aprendizaje automático en React y en tus aplicaciones de front-end. Y principalmente se debe a cinco cosas. La primera es la privacidad. Cuando utilizas estos modelos basados en aprendizaje automático y ejecutas estas inferencias en el navegador mismo, eso es mucho más privado y tiene una mejor privacidad. Porque no estás haciendo la inferencia de aprendizaje automático en un servidor dedicado. Eso también es mucho menos costoso porque no tienes que mantener servidores dedicados. Por lo tanto, puedes hacer todas estas inferencias de aprendizaje automático directamente en el navegador y también obtienes un menor costo y una menor latencia.

Y el alcance y la escala con los que realmente puedes construir y servir estas aplicaciones ahora es mucho mayor. También una cosa importante a considerar aquí es que la forma en que podemos hacer esta inferencia en el navegador es con la ayuda de poder aprovechar el uso del hardware del sistema como CPU, GPU, porque todas estas bibliotecas diferentes que hemos discutido vienen con soporte para tecnologías como WebAssembly, WebGPU, que permiten mejorar el rendimiento de tus aplicaciones basadas en el navegador con la ayuda de diferentes tecnologías como WebGL o, por supuesto, con el hardware de tu sistema que se utiliza para ejecutar estas inferencias o entrenamientos directamente en el navegador. Por lo tanto, la idea es que, con la ayuda de estas bibliotecas en particular, puedes usarlas sin tener que aprender algo como Python y, de hecho, en muchos casos obtienes un mejor rendimiento con JavaScript en comparación incluso con Python en muchos de estos modelos en particular, porque están más optimizados para JavaScript y en algunos casos JavaScript es incluso más rápido.

Y una demostración que les mostraré a todos ustedes está construida con la ayuda de TensorFlow.js, que, por supuesto, es una biblioteca de aprendizaje automático de código abierto completamente disponible para que cualquiera la use, y utilizaremos un modelo de aprendizaje automático preconstruido que utilizaremos para nuestra aplicación. Por lo tanto, hay muchas aplicaciones o modelos preconstruidos que ya están disponibles con TensorFlow y de manera similar para otras bibliotecas que ya hemos cubierto, incluidas las basadas en humanos, texto, sonido y otras más. Y el que usaremos es el modelo CocoaSSIST. Por lo tanto, el modelo CocoaSSIST es un modelo muy famoso y conocido por ser capaz de clasificar tus imágenes. Así que será un paso muy sencillo. Cargaremos una imagen, cargaremos el modelo de aprendizaje automático real y obtendremos predicciones. Por ejemplo, aquí estamos prediciendo algunos perros dentro de una imagen que subimos, y obtenemos un cuadro delimitador con el resultado de la imagen clasificada y la etiqueta con la que se clasifica. Entonces, para nuestra demostración, instalaremos estos paquetes en particular. Será el propio TensorFlow.js y el modelo CocoaSSIST. Y puedes importar estos modelos directamente en React utilizando esta forma en particular. Luego cargaremos estos modelos en nuestra aplicación de React y esperaremos a que el modelo se cargue por completo. En este caso, vamos a cargar el modelo CocoaSSIST. Ahora, una vez que se haya cargado el modelo, podemos seguir adelante y escribir las predicciones para poder predecir en función de una fuente de video en particular. Así que digamos que abro mi cámara web y trato de detectar qué hay en la fuente de video y podré hacerlo muy fácilmente con la ayuda de la función de predicciones. Ahora, para comenzar con esto, veamos cómo se ve en realidad. Así que iré a mi VS Code y esta es mi aplicación de React.

3. Integración del Aprendizaje Automático en React

Short description:

Estoy utilizando React Blanco y CocoaSSIST para mi aplicación de React. He creado estados para asegurarme de que el modelo esté cargado. La función de detección predice la clase y la puntuación de una imagen. Hemos creado una aplicación de detección de objetos con un modelo preconstruido en menos de 70 líneas de código de React. Otro ejemplo es Ermine.ai, una aplicación de React alimentada por Transforms.js para transcripción de audio en vivo.

Así que estoy utilizando React Blanco y CocoaSSIST. Si echas un vistazo a mi packets.json, aquí están mis dos dependencias principales para mi aplicación de React.

Ahora, si voy a mi archivo principal, ese es mi app.jsx. Aquí es donde he importado mis dos marcos de JavaScript para el marco de ML que significa JS y el modelo en sí. He creado algunos estados para asegurarme de que mi modelo esté cargado. Aquí está la función que cubrimos en la diapositiva donde cargo mi modelo CocoaSSIST.

Primero cargo o obtengo mi conjunto de datos. Este conjunto de datos es un conjunto de imágenes que han sido entrenadas. Y una vez que realmente abres tu fuente de video, si uno de los fotogramas contiene alguna imagen que está en el conjunto de datos, podrá detectar y clasificar esa imagen en particular. Luego tenemos nuestra función asíncrona donde estamos usando el modelo cargado.detect. Entonces, la función detect primero analizará el fotograma de tu fuente de video y luego básicamente predecirá una clase particular y la puntuación de la predicción. Entonces, ¿qué tan seguro está el algoritmo de aprendizaje automático en determinar si por ejemplo, una imagen lo contiene todo, si está 90% seguro o 100% seguro. Entonces, estás obteniendo esas detecciones para tu configuración. Y, por supuesto, aquí estamos usando nuestro componente de cámara web para obtener las imágenes de la cámara web y luego aquí, desde la línea número 56 y 57, en realidad estamos detectando estos resultados.

Entonces, sigamos adelante y abramos una terminal y hagamos rápidamente npm run dev. Así que voy a hacer npm run dev y comenzar a ejecutar en mi navegador. Entonces, si actualizo mi pantalla, esta es mi simple detección de objetos y si hago clic en predecir objeto, verá que esto es una persona con una precisión del 58%. Intentemos traer un teléfono. Así que tengo mi teléfono delante de mí y veamos si puede detectar esto también. Por supuesto, en este momento está tratando de detectar a la persona y ahora podemos ver que es un teléfono celular. Así que volveré atrás y si intento hacer clic de nuevo, detecta el nombre de la persona. Entonces, lo que hemos hecho fácilmente es crear una aplicación de front-end donde básicamente hemos implementado un modelo preconstruido. No tuvimos que entrenar el modelo. No tuvimos que saber qué está sucediendo detrás de escena con este modelo en particular. Pero pudimos entender, ver y crear una aplicación de aprendizaje automático muy simple de usar en menos de 70 líneas de código de React real.

De manera similar, también podrías usar algunas de las otras bibliotecas como Transforms.js, esta también es un marco muy popular, un ejemplo realmente genial que se está utilizando y que me gustaría mostrar rápidamente es este llamado Ermine.ai que en realidad hace transcripción de audio en vivo en el lado del cliente directamente con la ayuda de Transforms.js y es también una aplicación de React para que puedas echar un vistazo aquí. Entonces, si cargas, esperas a que se cargue el modelo, esto hace grabación y transcripción de audio en vivo para ti. Por ejemplo, digamos, hola, soy Shivaay, y estoy hablando en React Summit virtualmente. Entonces, si detengo esto ahora, hará la transcripción en vivo para ti. Y está utilizando Transforms.js, y puedes ver que dice que estoy hablando en React Summit virtualmente, así que en cuestión de dos segundos, hizo la transcripción de audio en vivo.

4. Integración del Aprendizaje Automático en React

Short description:

Puedes usar directamente TensorFlow.js y Onyx.js para integrar capacidades de aprendizaje automático en tu aplicación de React. Solo necesitas conocer los conceptos básicos del aprendizaje automático, como el entrenamiento y la predicción, para construir una aplicación de este tipo. Hay muchos marcos y bibliotecas de JavaScript disponibles para los desarrolladores de React, lo que elimina la necesidad de aprender Python u otros marcos de aprendizaje automático. Aprovecha estas bibliotecas para crear tu próxima idea de startup sin necesidad de tener un amplio conocimiento en aprendizaje automático. Conéctate conmigo en Twitter si tienes alguna pregunta relacionada con la integración de aprendizaje automático en React. Gracias y que tengas un maravilloso React Summit.

Y de manera similar, por supuesto, puedes usar TensorFlow.js. También puedes usar Onyx.js. Y estas son todas las diferentes bibliotecas que puedes usar directamente, así que solo necesitas conocer o estar al tanto de al menos los conceptos básicos del aprendizaje automático, es decir, qué es el entrenamiento, qué es la predicción, y tú mismo puedes construir una aplicación de este tipo.

Aquí tienes algunos de los recursos que puedes aprovechar. Y finalmente, puedes conectarte conmigo en Twitter. Ahí es donde soy más activo, si tienes alguna pregunta relacionada con cómo integrar capacidades de aprendizaje automático en tu aplicación de React. Pero me gustaría concluir con la afirmación de que como desarrollador de React, no tienes que preocuparte demasiado por aprender los conceptos básicos del aprendizaje automático o aprender otro marco como Python.

Hay suficientes marcos y bibliotecas de JavaScript disponibles para que los uses en tu aplicación de React, y muchos de ellos se utilizan en producción también. Así que si tienes una idea genial para una startup y quieres crear una aplicación de React que aproveche el uso del aprendizaje automático, adelante y usa todas estas diferentes bibliotecas que compartí contigo hoy y construye tu próxima idea de startup sin tener que aprender otro lenguaje de aprendizaje automático o las capacidades básicas del aprendizaje automático. Eso es todo. Muchas gracias, y espero que tengas un maravilloso React Summit. Gracias.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

React Advanced Conference 2022React Advanced Conference 2022
25 min
A Guide to React Rendering Behavior
Top Content
React is a library for "rendering" UI from components, but many users find themselves confused about how React rendering actually works. What do terms like "rendering", "reconciliation", "Fibers", and "committing" actually mean? When do renders happen? How does Context affect rendering, and how do libraries like Redux cause updates? In this talk, we'll clear up the confusion and provide a solid foundation for understanding when, why, and how React renders. We'll look at: - What "rendering" actually is - How React queues renders and the standard rendering behavior - How keys and component types are used in rendering - Techniques for optimizing render performance - How context usage affects rendering behavior| - How external libraries tie into React rendering
React Summit Remote Edition 2021React Summit Remote Edition 2021
33 min
Building Better Websites with Remix
Top Content
Remix is a new web framework from the creators of React Router that helps you build better, faster websites through a solid understanding of web fundamentals. Remix takes care of the heavy lifting like server rendering, code splitting, prefetching, and navigation and leaves you with the fun part: building something awesome!
React Advanced Conference 2023React Advanced Conference 2023
33 min
React Compiler - Understanding Idiomatic React (React Forget)
React provides a contract to developers- uphold certain rules, and React can efficiently and correctly update the UI. In this talk we'll explore these rules in depth, understanding the reasoning behind them and how they unlock new directions such as automatic memoization. 
React Advanced Conference 2022React Advanced Conference 2022
30 min
Using useEffect Effectively
Top Content
Can useEffect affect your codebase negatively? From fetching data to fighting with imperative APIs, side effects are one of the biggest sources of frustration in web app development. And let’s be honest, putting everything in useEffect hooks doesn’t help much. In this talk, we'll demystify the useEffect hook and get a better understanding of when (and when not) to use it, as well as discover how declarative effects can make effect management more maintainable in even the most complex React apps.
React Summit 2022React Summit 2022
20 min
Routing in React 18 and Beyond
Top Content
Concurrent React and Server Components are changing the way we think about routing, rendering, and fetching in web applications. Next.js recently shared part of its vision to help developers adopt these new React features and take advantage of the benefits they unlock.In this talk, we’ll explore the past, present and future of routing in front-end applications and discuss how new features in React and Next.js can help us architect more performant and feature-rich applications.
React Advanced Conference 2021React Advanced Conference 2021
27 min
(Easier) Interactive Data Visualization in React
Top Content
If you’re building a dashboard, analytics platform, or any web app where you need to give your users insight into their data, you need beautiful, custom, interactive data visualizations in your React app. But building visualizations hand with a low-level library like D3 can be a huge headache, involving lots of wheel-reinventing. In this talk, we’ll see how data viz development can get so much easier thanks to tools like Plot, a high-level dataviz library for quick & easy charting, and Observable, a reactive dataviz prototyping environment, both from the creator of D3. Through live coding examples we’ll explore how React refs let us delegate DOM manipulation for our data visualizations, and how Observable’s embedding functionality lets us easily repurpose community-built visualizations for our own data & use cases. By the end of this talk we’ll know how to get a beautiful, customized, interactive data visualization into our apps with a fraction of the time & effort!

Workshops on related topic

React Summit 2023React Summit 2023
170 min
React Performance Debugging Masterclass
Featured WorkshopFree
Ivan’s first attempts at performance debugging were chaotic. He would see a slow interaction, try a random optimization, see that it didn't help, and keep trying other optimizations until he found the right one (or gave up).
Back then, Ivan didn’t know how to use performance devtools well. He would do a recording in Chrome DevTools or React Profiler, poke around it, try clicking random things, and then close it in frustration a few minutes later. Now, Ivan knows exactly where and what to look for. And in this workshop, Ivan will teach you that too.
Here’s how this is going to work. We’ll take a slow app → debug it (using tools like Chrome DevTools, React Profiler, and why-did-you-render) → pinpoint the bottleneck → and then repeat, several times more. We won’t talk about the solutions (in 90% of the cases, it’s just the ol’ regular useMemo() or memo()). But we’ll talk about everything that comes before – and learn how to analyze any React performance problem, step by step.
(Note: This workshop is best suited for engineers who are already familiar with how useMemo() and memo() work – but want to get better at using the performance tools around React. Also, we’ll be covering interaction performance, not load speed, so you won’t hear a word about Lighthouse 🤐)
React Advanced Conference 2021React Advanced Conference 2021
132 min
Concurrent Rendering Adventures in React 18
Top Content
Featured WorkshopFree
With the release of React 18 we finally get the long awaited concurrent rendering. But how is that going to affect your application? What are the benefits of concurrent rendering in React? What do you need to do to switch to concurrent rendering when you upgrade to React 18? And what if you don’t want or can’t use concurrent rendering yet?

There are some behavior changes you need to be aware of! In this workshop we will cover all of those subjects and more.

Join me with your laptop in this interactive workshop. You will see how easy it is to switch to concurrent rendering in your React application. You will learn all about concurrent rendering, SuspenseList, the startTransition API and more.
React Summit Remote Edition 2021React Summit Remote Edition 2021
177 min
React Hooks Tips Only the Pros Know
Top Content
Featured Workshop
The addition of the hooks API to React was quite a major change. Before hooks most components had to be class based. Now, with hooks, these are often much simpler functional components. Hooks can be really simple to use. Almost deceptively simple. Because there are still plenty of ways you can mess up with hooks. And it often turns out there are many ways where you can improve your components a better understanding of how each React hook can be used.You will learn all about the pros and cons of the various hooks. You will learn when to use useState() versus useReducer(). We will look at using useContext() efficiently. You will see when to use useLayoutEffect() and when useEffect() is better.
React Advanced Conference 2021React Advanced Conference 2021
174 min
React, TypeScript, and TDD
Top Content
Featured WorkshopFree
ReactJS is wildly popular and thus wildly supported. TypeScript is increasingly popular, and thus increasingly supported.

The two together? Not as much. Given that they both change quickly, it's hard to find accurate learning materials.

React+TypeScript, with JetBrains IDEs? That three-part combination is the topic of this series. We'll show a little about a lot. Meaning, the key steps to getting productive, in the IDE, for React projects using TypeScript. Along the way we'll show test-driven development and emphasize tips-and-tricks in the IDE.
React Advanced Conference 2021React Advanced Conference 2021
145 min
Web3 Workshop - Building Your First Dapp
Top Content
Featured WorkshopFree
In this workshop, you'll learn how to build your first full stack dapp on the Ethereum blockchain, reading and writing data to the network, and connecting a front end application to the contract you've deployed. By the end of the workshop, you'll understand how to set up a full stack development environment, run a local node, and interact with any smart contract using React, HardHat, and Ethers.js.
React Summit 2023React Summit 2023
151 min
Designing Effective Tests With React Testing Library
Featured Workshop
React Testing Library is a great framework for React component tests because there are a lot of questions it answers for you, so you don’t need to worry about those questions. But that doesn’t mean testing is easy. There are still a lot of questions you have to figure out for yourself: How many component tests should you write vs end-to-end tests or lower-level unit tests? How can you test a certain line of code that is tricky to test? And what in the world are you supposed to do about that persistent act() warning?
In this three-hour workshop we’ll introduce React Testing Library along with a mental model for how to think about designing your component tests. This mental model will help you see how to test each bit of logic, whether or not to mock dependencies, and will help improve the design of your components. You’ll walk away with the tools, techniques, and principles you need to implement low-cost, high-value component tests.
Table of contents- The different kinds of React application tests, and where component tests fit in- A mental model for thinking about the inputs and outputs of the components you test- Options for selecting DOM elements to verify and interact with them- The value of mocks and why they shouldn’t be avoided- The challenges with asynchrony in RTL tests and how to handle them
Prerequisites- Familiarity with building applications with React- Basic experience writing automated tests with Jest or another unit testing framework- You do not need any experience with React Testing Library- Machine setup: Node LTS, Yarn