Utiliza el aprendizaje automático... ¡y diviértete con ello!

Rate this content
Bookmark
Slides

El aprendizaje automático es visto por muchos como el siguiente paso en la inteligencia artificial hacia una nueva etapa de la evolución humana. Y así nos ayuda a encontrar nuevos enfoques para resolver problemas del mundo real. Uf... Eso suena complejo... ¿Y cómo se supone que eso es divertido? Bueno, además de los grandes problemas de nuestro tiempo, al final es solo otra herramienta con la que podemos jugar. Si bien es importante entender primero los conceptos básicos del aprendizaje automático, podemos ir mucho más allá rápidamente. ¡Prepárate para algunos ejemplos inesperados de cómo comenzar con el aprendizaje automático en tu aplicación de React!

9 min
06 Jun, 2023

Video Summary and Transcription

Nico, un desarrollador frontend independiente y parte del programa de Expertos en Desarrolladores de Google, ofrece una introducción al aprendizaje automático en el navegador. Explica cómo el aprendizaje automático difiere de los algoritmos tradicionales y destaca el uso de TensorFlow.js para implementar el aprendizaje automático en el navegador. La charla también cubre el uso de diferentes backends, como WebGL, y la conversión de audio en espectrogramas para la comparación de modelos. Nico menciona el uso de superposición para mejorar la precisión de detección y la disponibilidad de detección de comandos de voz y entrenamiento de modelos personalizados con TensorFlow. En general, la charla enfatiza los beneficios de utilizar y entrenar modelos de aprendizaje automático directamente en el dispositivo.

Available in English

1. Introducción al Aprendizaje Automático en el Navegador

Short description:

Hola a todos. Soy Nico, un desarrollador frontend independiente de Suiza y parte del programa Google Developer Experts. Hoy les daré una breve introducción al aprendizaje automático en el navegador. De manera clásica, definimos reglas y condiciones para los algoritmos, pero el aprendizaje automático adopta un enfoque diferente al entrenar los algoritmos con datos de entrada y salida. TensorFlow.js nos permite utilizar el aprendizaje automático directamente en el navegador con JavaScript.

Hola a todos. Mi nombre es Nico. Soy un desarrollador frontend independiente de Suiza. También formo parte del programa Google Developer Experts para tecnologías web, lo que básicamente significa que paso demasiado tiempo libre jugando con todo tipo de nuevas tecnologías para navegadores.

Y hoy estoy aquí para darles una breve introducción al aprendizaje automático en el navegador. En los últimos años he dado muchas charlas, principalmente en inglés, algunas en alemán, pero solo dos charlas en Baden Dich, que es nuestro dialecto suizo alemán local. Ahora, en septiembre de 2021, di mi primera charla en suizo alemán, que afortunadamente fue grabada. Permítanme mostrarles un breve clip de eso. Y así sucesivamente. Como pueden ver, logré usar la palabra schlussendlich e im Endeffekt más de 35 veces en unos 30 minutos, lo cual fue extremadamente molesto para mí después. Ambas palabras básicamente significan finalmente o al final.

Ahora, en febrero de 2023, mi segunda charla en Bandage estaba a la vuelta de la esquina y era enormemente importante para mí encontrar una forma de detener esto. Así que busqué formas de detectar esas palabras en mi discurso. Lo más obvio sería utilizar la API de Reconocimiento de Voz en el navegador. El problema aquí es que esto funciona bastante bien para el alemán, pero no para el suizo alemán o incluso para Bandage. Pero nuevamente, el reconocimiento de voz no es más que modelos de aprendizaje automático, ¿verdad? Y ¿no podemos ejecutarlos directamente en el navegador? Por supuesto que sí.

En esta charla relámpago no podré profundizar en los detalles, pero quiero darles una breve descripción general. En el núcleo, el aprendizaje automático es un enfoque completamente diferente para escribir algoritmos. De manera clásica, cuando intentamos escribir un algoritmo para resolver un problema, definiríamos un conjunto de reglas y condiciones y luego pasaríamos una entrada y obtendríamos una salida. Y eso funciona muy bien para problemas simples, pero tan pronto como tenemos una entrada más compleja data, necesitamos una nueva forma de procesarla. Y el aprendizaje automático adopta este enfoque diferente. Aquí la idea es entrenar el algoritmo con una entrada y salida predefinidas y luego el algoritmo encuentra patrones por sí mismo. Esto significa que tenemos muchos datos de entrada y la salida esperada. Ahora la máquina aprende a predecir la salida esperada de una entrada similar. Este algoritmo entrenado es el núcleo del aprendizaje automático y se llama modelo. Y ahí es donde entra en juego TensorFlow. TensorFlow es una plataforma de aprendizaje automático de código abierto de extremo a extremo que te permite utilizar modelos pre-entrenados existentes, pero también entrenar nuevos modelos o ampliar modelos existentes con tu propio caso de uso. Y desde 2019, con TensorFlow.js, incluso podemos usarlo directamente en el navegador con JavaScript. Ahora, al igual que cualquier tarea de aprendizaje automático, TensorFlow.js depende de operaciones matemáticas bastante complejas. Estas operaciones se procesan en los llamados backends.

2. Aprendizaje Automático en el Navegador

Short description:

La web puede utilizar diferentes backends, como WebGL, para el aprendizaje automático. El audio se puede convertir en espectrogramas para comparar con modelos. Una superposición puede mejorar la precisión de detección. TensorFlow ofrece detección de comandos de voz y permite entrenar modelos personalizados con Teachable Machine. El aprendizaje automático en el navegador permite usar y entrenar modelos directamente en el dispositivo.

Por ahora, la web puede utilizar un par de backends diferentes dependiendo del navegador y el sistema operativo. La forma más eficiente sería utilizar el backend WebGPU, pero eso requiere la API WebGPU que solo está disponible en Chrome Canary detrás de la bandera. Así que en mi ejemplo, estoy utilizando WebGL, que es el backend más eficiente que está disponible en la mayoría de los navegadores en este momento.

Ahora, probablemente todos hayamos visto ejemplos básicos de reconocimiento de imágenes, como en este caso la detección de puntos de referencia faciales, donde podemos dar una imagen como entrada y luego recibir la posición de los puntos clave en la cara. Y las imágenes funcionan bastante bien con el aprendizaje automático porque al final, los modelos de aprendizaje automático esperan una entrada numérica y devuelven una salida, y las imágenes no son más que los valores numéricos RGB en un rectángulo 2D.

Ahora, en mi caso, quiero reconocer ciertas palabras, y bueno, las palabras no son imágenes, ¿verdad? Excepto cuando lo son. Así que al final, cada fragmento de audio se puede convertir en un espectrograma, y imaginemos que tenemos 100 grabaciones de mí diciendo las palabras a Sandler. Ahora tenemos 100 imágenes de este clip de dos segundos que ahora podemos comparar con el espectrograma de mi charla. Ahora, por supuesto, es difícil comparar un espectrograma de toda la charla que crece con el tiempo con mi clip de dos segundos, pero podemos dividir la pista completa en partes de dos segundos y comparar esos dos segundos con nuestro modelo. El problema aquí es que perderemos muchas palabras, porque no podemos estar seguros de que la división realmente corte una palabra completa. La solución aquí sería agregar una superposición. En este caso, tenemos una superposición de 0.5, lo que significa que tenemos más imágenes por segundo para analizar. Cuanto mayor sea la superposición, más imágenes habrá para analizar y más precisa será la detección. En mi ejemplo, incluso necesité una superposición de 0.95 para obtener un resultado significativo.

Ahora, similar a la detección de puntos de referencia faciales, TensorFlow también ofrece detección de comandos de voz, y al igual que antes, podemos importarlo, podemos crear un reconocedor y podemos comenzar a escuchar. El modelo predeterminado busca un par de palabras clave predefinidas, pero por supuesto, mis palabras en suizo alemán no están en esa lista, así que necesito entrenar mi propio modelo. Con Teachable Machine, Google publicó una aplicación web que te permite entrenar tu propio modelo de imagen o audio basado en tus propios datos de entrada. En la derecha puedes ver mis datos de entrenamiento, donde tengo alrededor de una hora de mí hablando como la clase de fondo, y luego tenemos 50 y 70 ejemplos de las dos palabras clave que quiero detectar. Y con Teachable Machine, ahora puedo entrenar los datos en el navegador y simplemente genera el modelo para mí. Ahora, todo lo que necesito hacer es pasar el modelo creado y los metadatos a la función Create y ahora usará el nuevo modelo para detectar mi entrada personalizada. Mis diapositivas se están ejecutando en el navegador y ahora puedo activar el oyente. Eso puede llevar algo de tiempo. Ahora, cada vez que digo palabras como MandEffect, activará el zumbador. Y en realidad funcionó bastante bien en mi última charla en suizo alemán. Así que realmente espero haberlos inspirado con esta breve visión del aprendizaje automático en el navegador para que podamos usar modelos, entrenar nuevos modelos, todo directamente en el dispositivo en el navegador. Para obtener más y un conocimiento más profundo, también puedo recomendar el curso gratuito de Jason Maes de Google Machine Learning para desarrolladores web. Y con esto, me gustaría agradecerles por su interés y les deseo un buen resto de la conferencia. ¡Adiós!

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

React Advanced Conference 2022React Advanced Conference 2022
25 min
A Guide to React Rendering Behavior
Top Content
React is a library for "rendering" UI from components, but many users find themselves confused about how React rendering actually works. What do terms like "rendering", "reconciliation", "Fibers", and "committing" actually mean? When do renders happen? How does Context affect rendering, and how do libraries like Redux cause updates? In this talk, we'll clear up the confusion and provide a solid foundation for understanding when, why, and how React renders. We'll look at: - What "rendering" actually is - How React queues renders and the standard rendering behavior - How keys and component types are used in rendering - Techniques for optimizing render performance - How context usage affects rendering behavior| - How external libraries tie into React rendering
React Summit Remote Edition 2021React Summit Remote Edition 2021
33 min
Building Better Websites with Remix
Top Content
Remix is a new web framework from the creators of React Router that helps you build better, faster websites through a solid understanding of web fundamentals. Remix takes care of the heavy lifting like server rendering, code splitting, prefetching, and navigation and leaves you with the fun part: building something awesome!
React Advanced Conference 2023React Advanced Conference 2023
33 min
React Compiler - Understanding Idiomatic React (React Forget)
React provides a contract to developers- uphold certain rules, and React can efficiently and correctly update the UI. In this talk we'll explore these rules in depth, understanding the reasoning behind them and how they unlock new directions such as automatic memoization. 
React Advanced Conference 2022React Advanced Conference 2022
30 min
Using useEffect Effectively
Top Content
Can useEffect affect your codebase negatively? From fetching data to fighting with imperative APIs, side effects are one of the biggest sources of frustration in web app development. And let’s be honest, putting everything in useEffect hooks doesn’t help much. In this talk, we'll demystify the useEffect hook and get a better understanding of when (and when not) to use it, as well as discover how declarative effects can make effect management more maintainable in even the most complex React apps.
React Summit 2022React Summit 2022
20 min
Routing in React 18 and Beyond
Top Content
Concurrent React and Server Components are changing the way we think about routing, rendering, and fetching in web applications. Next.js recently shared part of its vision to help developers adopt these new React features and take advantage of the benefits they unlock.In this talk, we’ll explore the past, present and future of routing in front-end applications and discuss how new features in React and Next.js can help us architect more performant and feature-rich applications.
React Advanced Conference 2021React Advanced Conference 2021
27 min
(Easier) Interactive Data Visualization in React
Top Content
If you’re building a dashboard, analytics platform, or any web app where you need to give your users insight into their data, you need beautiful, custom, interactive data visualizations in your React app. But building visualizations hand with a low-level library like D3 can be a huge headache, involving lots of wheel-reinventing. In this talk, we’ll see how data viz development can get so much easier thanks to tools like Plot, a high-level dataviz library for quick & easy charting, and Observable, a reactive dataviz prototyping environment, both from the creator of D3. Through live coding examples we’ll explore how React refs let us delegate DOM manipulation for our data visualizations, and how Observable’s embedding functionality lets us easily repurpose community-built visualizations for our own data & use cases. By the end of this talk we’ll know how to get a beautiful, customized, interactive data visualization into our apps with a fraction of the time & effort!

Workshops on related topic

React Summit 2023React Summit 2023
170 min
React Performance Debugging Masterclass
Featured WorkshopFree
Ivan’s first attempts at performance debugging were chaotic. He would see a slow interaction, try a random optimization, see that it didn't help, and keep trying other optimizations until he found the right one (or gave up).
Back then, Ivan didn’t know how to use performance devtools well. He would do a recording in Chrome DevTools or React Profiler, poke around it, try clicking random things, and then close it in frustration a few minutes later. Now, Ivan knows exactly where and what to look for. And in this workshop, Ivan will teach you that too.
Here’s how this is going to work. We’ll take a slow app → debug it (using tools like Chrome DevTools, React Profiler, and why-did-you-render) → pinpoint the bottleneck → and then repeat, several times more. We won’t talk about the solutions (in 90% of the cases, it’s just the ol’ regular useMemo() or memo()). But we’ll talk about everything that comes before – and learn how to analyze any React performance problem, step by step.
(Note: This workshop is best suited for engineers who are already familiar with how useMemo() and memo() work – but want to get better at using the performance tools around React. Also, we’ll be covering interaction performance, not load speed, so you won’t hear a word about Lighthouse 🤐)
React Advanced Conference 2021React Advanced Conference 2021
132 min
Concurrent Rendering Adventures in React 18
Top Content
Featured WorkshopFree
With the release of React 18 we finally get the long awaited concurrent rendering. But how is that going to affect your application? What are the benefits of concurrent rendering in React? What do you need to do to switch to concurrent rendering when you upgrade to React 18? And what if you don’t want or can’t use concurrent rendering yet?

There are some behavior changes you need to be aware of! In this workshop we will cover all of those subjects and more.

Join me with your laptop in this interactive workshop. You will see how easy it is to switch to concurrent rendering in your React application. You will learn all about concurrent rendering, SuspenseList, the startTransition API and more.
React Summit Remote Edition 2021React Summit Remote Edition 2021
177 min
React Hooks Tips Only the Pros Know
Top Content
Featured Workshop
The addition of the hooks API to React was quite a major change. Before hooks most components had to be class based. Now, with hooks, these are often much simpler functional components. Hooks can be really simple to use. Almost deceptively simple. Because there are still plenty of ways you can mess up with hooks. And it often turns out there are many ways where you can improve your components a better understanding of how each React hook can be used.You will learn all about the pros and cons of the various hooks. You will learn when to use useState() versus useReducer(). We will look at using useContext() efficiently. You will see when to use useLayoutEffect() and when useEffect() is better.
React Advanced Conference 2021React Advanced Conference 2021
174 min
React, TypeScript, and TDD
Top Content
Featured WorkshopFree
ReactJS is wildly popular and thus wildly supported. TypeScript is increasingly popular, and thus increasingly supported.

The two together? Not as much. Given that they both change quickly, it's hard to find accurate learning materials.

React+TypeScript, with JetBrains IDEs? That three-part combination is the topic of this series. We'll show a little about a lot. Meaning, the key steps to getting productive, in the IDE, for React projects using TypeScript. Along the way we'll show test-driven development and emphasize tips-and-tricks in the IDE.
React Advanced Conference 2021React Advanced Conference 2021
145 min
Web3 Workshop - Building Your First Dapp
Top Content
Featured WorkshopFree
In this workshop, you'll learn how to build your first full stack dapp on the Ethereum blockchain, reading and writing data to the network, and connecting a front end application to the contract you've deployed. By the end of the workshop, you'll understand how to set up a full stack development environment, run a local node, and interact with any smart contract using React, HardHat, and Ethers.js.
React Summit 2023React Summit 2023
151 min
Designing Effective Tests With React Testing Library
Featured Workshop
React Testing Library is a great framework for React component tests because there are a lot of questions it answers for you, so you don’t need to worry about those questions. But that doesn’t mean testing is easy. There are still a lot of questions you have to figure out for yourself: How many component tests should you write vs end-to-end tests or lower-level unit tests? How can you test a certain line of code that is tricky to test? And what in the world are you supposed to do about that persistent act() warning?
In this three-hour workshop we’ll introduce React Testing Library along with a mental model for how to think about designing your component tests. This mental model will help you see how to test each bit of logic, whether or not to mock dependencies, and will help improve the design of your components. You’ll walk away with the tools, techniques, and principles you need to implement low-cost, high-value component tests.
Table of contents- The different kinds of React application tests, and where component tests fit in- A mental model for thinking about the inputs and outputs of the components you test- Options for selecting DOM elements to verify and interact with them- The value of mocks and why they shouldn’t be avoided- The challenges with asynchrony in RTL tests and how to handle them
Prerequisites- Familiarity with building applications with React- Basic experience writing automated tests with Jest or another unit testing framework- You do not need any experience with React Testing Library- Machine setup: Node LTS, Yarn