Visualiza tu música con React, un experimento de diseño de sonido

Rate this content
Bookmark

React es una gran biblioteca para diseñar interfaces de usuario, pero ¿qué pasa con la reproducción de sonidos? En esta charla profundizaremos en el manejo de sonidos, creando una transformación para convertir cualquier vibración de entrada en imágenes.

9 min
22 Oct, 2021

Video Summary and Transcription

Claudia Bressi, una desarrolladora senior de front-end y móvil, combina música y ciencias de la computación en su proyecto de diseño de sonido utilizando React y la API de Web Audio. El proyecto admite diferentes formatos de archivo de audio y utiliza métodos poderosos para analizar y visualizar sonidos. Se utilizan hooks personalizados para modularidad y reutilización de código. El proyecto se divide en cuatro áreas: forma, color, animación y reproducción. Las mejoras futuras incluyen convertirlo en una aplicación web progresiva, agregar algoritmos de aprendizaje automático, renderizado del lado del servidor y optimización del rendimiento con workers.

Available in English

1. Introducción al Proyecto de Diseño de Sonido

Short description:

Soy Claudia Bressi, una desarrolladora senior de front-end y móvil de Italia. Soy apasionada por la música y la informática, y las he combinado en mi proyecto de diseño de sonido utilizando React. El proyecto visualiza la música utilizando la API de Web Audio y admite diferentes formatos de archivo de audio. Utilizamos React, TypeScript, Redux Toolkit, Framer Motion y Material UI para el desarrollo. La API de Web Audio proporciona métodos potentes para analizar, filtrar y visualizar sonidos, y utilizamos el nodo Analizador y Audio Worklet para este proyecto. La compatibilidad con el navegador es una consideración, y hemos creado hooks personalizados para modularidad y reutilización de código.

Hola a todos. Estoy muy agradecida de unirme a react advanced hoy para presentarles mi proyecto de diseño de sonido. Soy Claudia Bressi, y soy una desarrolladora senior de front-end y móvil. Vivo cerca de Venecia en Italia, y trabajo para una agencia de consultoría en Milán, Italia, donde construimos aplicaciones utilizando react y react native para móviles.

Realmente me apasiona tanto la música como la informática. Y desde que era niña, comencé a aprender piano y también a usar la computadora en la oficina de mi padre. En la actualidad, todavía me encanta tocar instrumentos como el teclado electrónico y la guitarra, escuchar mis listas de reproducción favoritas y me encanta ir a conciertos y festivales. Por eso intento combinar un proyecto de front-end con la música.

Hablemos del proyecto. El objetivo principal es visualizar la música utilizando la biblioteca React. Y la aplicación en general puede manejar cualquier tipo de archivo audio, por ejemplo, archivos MP3 o WAV. Y como resultado, generamos un componente visual para cada espectro de sonido. Y como resultado, generamos un componente visual para cada espectro de sonido. Sumergámonos más en los detalles del proyecto. El código es React y TypeScript para tener una mayor facilidad de mantenimiento. Para manejar un estado global en toda la aplicación, he configurado Redux toolkit Para animar componentes, he optado por la biblioteca Framer Motion, que es un paquete bastante moderno y sencillo. Luego, en los componentes de interfaz de usuario globales, como botones, entradas y tipografía, he elegido el conocido Material UI, que probablemente muchos de ustedes ya usen en sus aplicaciones de React.

La API de Web Audio es una biblioteca increíble que te permite trabajar con audio data. Nos brinda a los desarrolladores miles de métodos para analizar, filtrar y visualizar sonidos. Además, hay múltiples opciones disponibles para agregar efectos especiales 3D, panoramización, división multicanal y mucho más. Para este proyecto, principalmente utilizamos dos interfaces, el nodo Analizador, que nos permite manejar información específica del audio como las frecuencias, y el Audio Worklet, que nos permite a los desarrolladores agregar nuevos módulos que se ejecutan en el hilo principal. Hablando en términos generales, cada vez que trabajas con la API de Web Audio, el resultado generado será un grafo acíclico directo, donde cada nodo es una fuente de audio, un efecto de filtro o un destino de destino. A través de la API de Web Audio, las visualizaciones se logran evaluando parámetros de audio a lo largo del tiempo. Estas variables son ganancia, tono y frecuencias la mayoría de las veces. La API de Web Audio tiene, de hecho, el nodo de analizador mencionado anteriormente que deja inalterada la señal de audio que pasa a través de él. En cambio, produce data de audio que se puede pasar a una tecnología de visualización como HTML Canvas o, en nuestro caso, componentes funcionales de React. Un dato curioso esperado es la compatibilidad con el navegador. Como pueden ver, Internet Explorer no es compatible en absoluto. Afortunadamente para nosotros, este navegador se retirará el próximo año el 15 de junio.

2. Mejorando el Proyecto y Reflexiones Finales

Short description:

Para mejorar nuestro proyecto, he creado hooks personalizados para modularidad y reutilización. UseFrequency extrae valores de frecuencia, UseWaveform obtiene datos del espectro de sonido, UsePitch lee valores de tono y useGain extrae el volumen. Dividimos el proyecto en cuatro áreas: forma con Pitch Audio, color con UseFrequency, animación con FramerMotion y reproducción con AudioHTML. Herramientas como AudioOnChrome y WebAudioDevToolsExtension son útiles para depurar e inspeccionar el gráfico de audio. A continuación, convertiremos el proyecto en una aplicación web progresiva, agregaremos algoritmos de ML, renderizado en el lado del servidor y optimizaremos el rendimiento con workers. Experimenta con React, AudioData y la API de Web Audio en tus proyectos. Comparte tus ideas con el hashtag que he creado. ¡Gracias por escuchar y disfruta de la conferencia!

Para mejorar nuestro proyecto, he creado hooks personalizados para mejorar la modularidad y reutilización en todo el código base. UseFrequency extrae cualquier valor de frecuencia del archivo de audio. UseWaveform obtiene todo el espectro de sonido en términos de datos de dominio de tiempo. UsePitch lee el valor actual del tono del sonido. Y finalmente, useGain extrae el volumen de la entrada.

Tener una visualización rica de datos es fundamental, y para lograr esto, dividí el proyecto en cuatro áreas. Para dar forma específica, he utilizado el parámetro Pitch Audio. Para colorear los componentes, he aplicado el hook personalizado UseFrequency. Mientras que para animar la interfaz de usuario, he optado por la API de FramerMotion. Y he utilizado la etiqueta AudioHTML para proporcionar la funcionalidad de reproducción al usuario en los archivos de audio ya cargados.

Tener herramientas es una parte crucial en el desarrollo de código para permitirnos inspeccionar y solucionar problemas en nuestro código. AudioOnChrome es un útil complemento de Chrome para depurar cualquier proyecto de audio. Luego, tenemos WebAudioDevToolsExtension que resulta práctico para inspeccionar el gráfico de audio generado.

Como próximo paso, mejoraré todo el proyecto, lo convertiré en una aplicación web progresiva, lo que lo convertirá en una herramienta universalmente accesible. También mejoraré las características agregando algoritmos de Machine Learning, renderizado en el lado del servidor y la capacidad de utilizar workers para optimizaciones de rendimiento.

Finalmente, te dejaré algunas reflexiones. React es una gran biblioteca para expresar el desarrollo web de una manera creativa. Así que te sugiero que pruebes y experimentes tanto como sea posible en tu proyecto personal, en particular, codificando con AudioData y la API de Web Audio, que es muy sencilla de aplicar. Si alguna vez intentas codificar sobre este tema, comparte tus ideas utilizando el hashtag que he creado a continuación. Sería genial ver tu creación. Así que sí, gracias por escuchar, espero que hayas encontrado interesante este tema y disfruta el resto de la conferencia. Adiós.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

React Advanced Conference 2022React Advanced Conference 2022
25 min
A Guide to React Rendering Behavior
Top Content
React is a library for "rendering" UI from components, but many users find themselves confused about how React rendering actually works. What do terms like "rendering", "reconciliation", "Fibers", and "committing" actually mean? When do renders happen? How does Context affect rendering, and how do libraries like Redux cause updates? In this talk, we'll clear up the confusion and provide a solid foundation for understanding when, why, and how React renders. We'll look at: - What "rendering" actually is - How React queues renders and the standard rendering behavior - How keys and component types are used in rendering - Techniques for optimizing render performance - How context usage affects rendering behavior| - How external libraries tie into React rendering
React Summit Remote Edition 2021React Summit Remote Edition 2021
33 min
Building Better Websites with Remix
Top Content
Remix is a new web framework from the creators of React Router that helps you build better, faster websites through a solid understanding of web fundamentals. Remix takes care of the heavy lifting like server rendering, code splitting, prefetching, and navigation and leaves you with the fun part: building something awesome!
React Advanced Conference 2023React Advanced Conference 2023
33 min
React Compiler - Understanding Idiomatic React (React Forget)
React provides a contract to developers- uphold certain rules, and React can efficiently and correctly update the UI. In this talk we'll explore these rules in depth, understanding the reasoning behind them and how they unlock new directions such as automatic memoization. 
React Advanced Conference 2022React Advanced Conference 2022
30 min
Using useEffect Effectively
Top Content
Can useEffect affect your codebase negatively? From fetching data to fighting with imperative APIs, side effects are one of the biggest sources of frustration in web app development. And let’s be honest, putting everything in useEffect hooks doesn’t help much. In this talk, we'll demystify the useEffect hook and get a better understanding of when (and when not) to use it, as well as discover how declarative effects can make effect management more maintainable in even the most complex React apps.
React Summit 2022React Summit 2022
20 min
Routing in React 18 and Beyond
Top Content
Concurrent React and Server Components are changing the way we think about routing, rendering, and fetching in web applications. Next.js recently shared part of its vision to help developers adopt these new React features and take advantage of the benefits they unlock.In this talk, we’ll explore the past, present and future of routing in front-end applications and discuss how new features in React and Next.js can help us architect more performant and feature-rich applications.
React Advanced Conference 2021React Advanced Conference 2021
27 min
(Easier) Interactive Data Visualization in React
Top Content
If you’re building a dashboard, analytics platform, or any web app where you need to give your users insight into their data, you need beautiful, custom, interactive data visualizations in your React app. But building visualizations hand with a low-level library like D3 can be a huge headache, involving lots of wheel-reinventing. In this talk, we’ll see how data viz development can get so much easier thanks to tools like Plot, a high-level dataviz library for quick & easy charting, and Observable, a reactive dataviz prototyping environment, both from the creator of D3. Through live coding examples we’ll explore how React refs let us delegate DOM manipulation for our data visualizations, and how Observable’s embedding functionality lets us easily repurpose community-built visualizations for our own data & use cases. By the end of this talk we’ll know how to get a beautiful, customized, interactive data visualization into our apps with a fraction of the time & effort!

Workshops on related topic

React Summit 2023React Summit 2023
170 min
React Performance Debugging Masterclass
Featured WorkshopFree
Ivan’s first attempts at performance debugging were chaotic. He would see a slow interaction, try a random optimization, see that it didn't help, and keep trying other optimizations until he found the right one (or gave up).
Back then, Ivan didn’t know how to use performance devtools well. He would do a recording in Chrome DevTools or React Profiler, poke around it, try clicking random things, and then close it in frustration a few minutes later. Now, Ivan knows exactly where and what to look for. And in this workshop, Ivan will teach you that too.
Here’s how this is going to work. We’ll take a slow app → debug it (using tools like Chrome DevTools, React Profiler, and why-did-you-render) → pinpoint the bottleneck → and then repeat, several times more. We won’t talk about the solutions (in 90% of the cases, it’s just the ol’ regular useMemo() or memo()). But we’ll talk about everything that comes before – and learn how to analyze any React performance problem, step by step.
(Note: This workshop is best suited for engineers who are already familiar with how useMemo() and memo() work – but want to get better at using the performance tools around React. Also, we’ll be covering interaction performance, not load speed, so you won’t hear a word about Lighthouse 🤐)
React Advanced Conference 2021React Advanced Conference 2021
132 min
Concurrent Rendering Adventures in React 18
Top Content
Featured WorkshopFree
With the release of React 18 we finally get the long awaited concurrent rendering. But how is that going to affect your application? What are the benefits of concurrent rendering in React? What do you need to do to switch to concurrent rendering when you upgrade to React 18? And what if you don’t want or can’t use concurrent rendering yet?

There are some behavior changes you need to be aware of! In this workshop we will cover all of those subjects and more.

Join me with your laptop in this interactive workshop. You will see how easy it is to switch to concurrent rendering in your React application. You will learn all about concurrent rendering, SuspenseList, the startTransition API and more.
React Summit Remote Edition 2021React Summit Remote Edition 2021
177 min
React Hooks Tips Only the Pros Know
Top Content
Featured Workshop
The addition of the hooks API to React was quite a major change. Before hooks most components had to be class based. Now, with hooks, these are often much simpler functional components. Hooks can be really simple to use. Almost deceptively simple. Because there are still plenty of ways you can mess up with hooks. And it often turns out there are many ways where you can improve your components a better understanding of how each React hook can be used.You will learn all about the pros and cons of the various hooks. You will learn when to use useState() versus useReducer(). We will look at using useContext() efficiently. You will see when to use useLayoutEffect() and when useEffect() is better.
React Advanced Conference 2021React Advanced Conference 2021
174 min
React, TypeScript, and TDD
Top Content
Featured WorkshopFree
ReactJS is wildly popular and thus wildly supported. TypeScript is increasingly popular, and thus increasingly supported.

The two together? Not as much. Given that they both change quickly, it's hard to find accurate learning materials.

React+TypeScript, with JetBrains IDEs? That three-part combination is the topic of this series. We'll show a little about a lot. Meaning, the key steps to getting productive, in the IDE, for React projects using TypeScript. Along the way we'll show test-driven development and emphasize tips-and-tricks in the IDE.
React Advanced Conference 2021React Advanced Conference 2021
145 min
Web3 Workshop - Building Your First Dapp
Top Content
Featured WorkshopFree
In this workshop, you'll learn how to build your first full stack dapp on the Ethereum blockchain, reading and writing data to the network, and connecting a front end application to the contract you've deployed. By the end of the workshop, you'll understand how to set up a full stack development environment, run a local node, and interact with any smart contract using React, HardHat, and Ethers.js.
React Summit 2023React Summit 2023
151 min
Designing Effective Tests With React Testing Library
Featured Workshop
React Testing Library is a great framework for React component tests because there are a lot of questions it answers for you, so you don’t need to worry about those questions. But that doesn’t mean testing is easy. There are still a lot of questions you have to figure out for yourself: How many component tests should you write vs end-to-end tests or lower-level unit tests? How can you test a certain line of code that is tricky to test? And what in the world are you supposed to do about that persistent act() warning?
In this three-hour workshop we’ll introduce React Testing Library along with a mental model for how to think about designing your component tests. This mental model will help you see how to test each bit of logic, whether or not to mock dependencies, and will help improve the design of your components. You’ll walk away with the tools, techniques, and principles you need to implement low-cost, high-value component tests.
Table of contents- The different kinds of React application tests, and where component tests fit in- A mental model for thinking about the inputs and outputs of the components you test- Options for selecting DOM elements to verify and interact with them- The value of mocks and why they shouldn’t be avoided- The challenges with asynchrony in RTL tests and how to handle them
Prerequisites- Familiarity with building applications with React- Basic experience writing automated tests with Jest or another unit testing framework- You do not need any experience with React Testing Library- Machine setup: Node LTS, Yarn