Controlando aplicaciones con tu mente y AI

Hola a todos. Estoy muy emocionado de estar aquí en la edición remota de React Summit, transmitiendo desde el espacio exterior. Y hoy quiero hablar sobre controlar aplicaciones con tu mente. Mi nombre es Vladimir Novik, soy arquitecto de software y consultor en Vladimir Novik Labs. Soy Google Developer Expert, autor, ingeniero y a diario trabajo en los campos de web, móvil, VR, AR, IoT y AI.

También soy CTO y co-fundador de EventLoop, y estamos creando una experiencia de conferencia en línea robusta, eficiente y con muchas funciones. Básicamente, en lugar de tener Zoom para tu conferencia virtual, te ofrecemos un conjunto de herramientas de conferencia y diferentes complementos y widgets, etc., que te ayudan a organizar y asistir a la conferencia. Así que si eres organizador, orador o asistente y te pones en contacto con nosotros y te registras en nuestro producto Alpha, será un producto de código abierto. Así que si quieres colaborar, eres bienvenido. Puedes encontrarnos en eventloop.ai o en Twitter en eventloopHQ.

Hoy quiero hablar sobre el futuro. Y creo que estamos en una especie de fase de transición tecnológica. Cuando estamos explorando nuevos horizontes, exploramos nuevos medios, tenemos VR, AR, realidad mixta, web, móvil. Todo está cambiando constantemente. Y por eso somos los que rompemos las reglas para crear nuevas. Pensemos en qué medio usaremos en el futuro. ¿Qué dimensiones usaremos? ¿Quizás VR? ¿Quizás AR? ¿Quizás algo diferente? Solo estoy pensando en voz alta, pero la computación cuántica está ganando impulso, VR está ganando impulso, AR está ganando impulso. Todo está cambiando. ¿Qué dimensiones usaremos? ¿Habrá web como la conocemos hoy o móvil o cambiaremos completamente a un medio diferente? ¿Cómo debemos prepararnos para esa transición? ¿Cómo debemos adaptarnos? ¿Debemos adaptarnos o debemos realmente romper los fundamentos que tenemos? ¿Quizás inventar nuevas técnicas para manipular las cosas, interactuar de manera diferente? ¿Quizás nuevos patrones de UX, quizás nuevas mejores prácticas?

Así que tenemos esta capacidad ahora mismo de cambiar las cosas, de adaptarnos y transformarlas en algo completamente diferente. Y hablemos de cuáles son los fundamentos mismos de la UI y cuáles son los fundamentos mismos de la UX. Y creo que es un medio 2D. Y si piensas en eso, hemos recorrido un largo camino desde los dibujos en las cuevas hasta las aplicaciones móviles. Pero si piensas en toda la teoría del color y las líneas y la historia del arte y cómo todo creó los fundamentos del diseño y todo en nuestras pantallas es básicamente un medio 2D. Porque somos falsos 3D. Tercera dimensión. No es realmente como la tercera dimensión. Tenemos modelos 3D en el navegador o en auriculares o donde sea, pero todas las formas y la profundidad se basan en sombreadores, que básicamente es una función de cómo se refleja la luz. Así que es algo falso, ¿verdad? Y tenemos cosas en nuestros teléfonos, tenemos pantallas. Todo es 2D.

Y XR está agregando una nueva dimensión a eso. Entonces, cómo lo hemos adoptado. Tomamos diferentes forms. Digamos que tienes un formulario de registro. Entonces tenemos este formulario flotando en el aire en VR. ¿Realista? No realmente. Algo que hemos adoptado del medio 2D, ¿verdad? O en AR, tenemos flechas que apuntan en diferentes direcciones que rompen por completo la inmersión. Pero lo tenemos porque lo hemos adoptado. Y no hemos inventado algo nuevo.

Así que creo que es más crucial crear interacciones basadas en la realidad en VR y AR. Y si piensas en eso, si necesitas iniciar sesión dentro de VR, actualmente tienes un formulario de inicio de sesión, tienes este teclado flotante, y luego ingresas, escribes tu nombre de usuario y contraseña y entras. Pero ¿es algo que verías en la realidad? No realmente, ¿verdad? Entonces es más realista tener algún tipo de contraseña o llave o lo que sea que simplemente colocas en el lugar o giras la llave dentro de la puerta, y te dejará pasar. Es una especie de interacciones basadas en la realidad, ¿verdad? Entonces necesitamos comprender nuestra realidad para crear estas interacciones. Y el medio es completamente diferente.

Ahora, en VR hay otra dimensión, algo que sucede detrás del espectador. Entonces, estoy mirando a la cámara, pero algo está sucediendo detrás. Entonces no puedo usar la teoría del color para hacer esta increíble animación de botón de llamada a la acción. Entonces necesito usar cosas diferentes como hápticos, sonidos, tal vez ralentizar el tiempo, y así sucesivamente. También hay una UI adaptativa. La UI adaptativa es algo que se usa en la web. Y la idea es que la UI aprende de lo que estás haciendo con ella. Entonces, como, los forms están aprendiendo y adaptándose. Así que puedes buscar eso. Es una especie de nueva tendencia. Y otra cosa que propongo es la lectura de la mente real. Y, sí, obviamente no puedo leer tus pensamientos, ¿verdad? Pero hasta cierto punto. Y quiero preguntarte, ¿qué es? Y obviamente, como estamos en línea. Puedes responder en el chat. Haré una pausa. Entonces, es el universo conocido.

Y todos estos, como, puntos son cúmulos de galaxias. Y se ve increíble. Pero, ¿qué es esto? Parece bastante similar, ¿verdad? Pero en realidad son neuronas en nuestro cerebro. Entonces, nosotros somos el universo. Y, pregunte en consecuencia.

Entonces, ¿cómo funcionan las neuronas en nuestro cerebro... cómo funcionan? Entonces, las neuronas vienen en pares. Y hay una neurona excitatoria y libera glutamato y crea un mecanismo de dipolo. Básicamente, tiene un polo positivo y uno negativo. Y actúa como una especie de batería. Entonces, tienes un cambio potencial entre diferentes neuronas.

Esto crea un cambio potencial que puede ser medido por electrodos en nuestro cráneo. Y se ve así. Si mides tu cerebro. Entonces, este es el estado de vigilia. Este es el estado de sueño. Y ves que es un poco diferente, ¿verdad? Pero es algo aleatorio, ¿verdad? Entonces, necesitamos analizar eso y entender qué significa todo esto, ¿verdad?

Para hacerlo, utilizaremos auriculares EEG. Y hay muchas versiones de consumo y versiones de investigación de auriculares EEG. Y la idea es colocar electrodos en tu cráneo, y basándonos en eso, medir el cambio potencial debajo de nuestro cráneo. Entonces, los EEG de investigación se ven así. Y son bastante costosos. Pero también hay versiones de consumo. Y en realidad tengo uno aquí. Se llama Muse. Es un buen producto que te ayuda con la meditación. Entonces, si estás meditando, te ayuda a concentrarte y demás. Y, sí, leeré mis ondas cerebrales, y verás cómo se ve. Así que es bastante económico. Solo tiene como 5 electrodos y eso es todo. Pero es bueno para nuestro ejemplo.

Entonces, ¿cómo conectamos esto a nuestro cerebro? Ahora, no necesito abrir mi cráneo y enchufarlo. Puedo conectarlo usando Bluetooth. Y específicamente usaremos Bluetooth Web. Puedo usar Bluetooth accediendo al objeto Navigator, Bluetooth. Y llamo a requestDevice. Filtraré el servicio de Muse. Y simplemente me conectaré y obtendré algunos atributos del Bluetooth.

Ahora, el soporte no es del todo completo, ¿verdad? Lo vemos en Chrome y por alguna razón en Opera. Pero el resto es más o menos... no, ¿verdad? No es compatible. Pero estamos hablando de experimentos, ¿verdad? Es como un experimento mental, literalmente. Pero también como experimentos donde la tecnología nos llevará. Y veamos la demostración. Así que tengo este espacio de juego aquí. Y puedo emparejarlo con mi auricular. Y verás las ondas cerebrales que pasan. Y estas son mis ondas cerebrales reales. Y como puedes ver, cuando hablo, las ondas cambian un poco. Cuando parpadeo, ves estos pequeños picos, ¿verdad?, de picos de voltaje. Si hago algo como esto, ves los picos más altos. Así que puedo medir en cierta medida lo que está sucediendo en mi cerebro, ¿verdad? Así que esto es bastante bueno.

Pero, ¿qué hago con estos data? Así que he creado aquí una pequeña aplicación. Y antes de conectar a Muse, en realidad, sí, antes de conectar a Muse, en TeamViewer, lo que quiero hacer es ver todas las lecturas de este auricular. Me suscribiré a las lecturas y simplemente las registraré en la consola. Ahora, utilizo la biblioteca Muse.js. Y esta biblioteca expone tus lecturas como RxStream a las que puedo suscribirme. Y simplemente registro en la consola lo que Muse.js me muestra. Así que vamos a conectar. Y veamos qué tenemos aquí.

Y como puedes ver, similar al gráfico, no tenemos realmente como los datos son bastante extraños, así que no podemos hacer mucho con eso. Entonces, la pregunta es cómo medimos las cosas de manera más precisa. Para medir de manera más precisa, utilizaremos un filtro de paso de banda. Así que eliminamos las frecuencias, como en el gráfico, eliminamos estas y obtenemos solo los picos.

Ahora, luego necesitamos dividir todo esto en épocas, que básicamente es un marco de tiempo porque queremos tener una referencia temporal, si en un período de tiempo específico hay un pico, probablemente eso sea un parpadeo, ¿verdad? Entonces dividimos esto en épocas y también necesitamos pasar esto por la Transformada Rápida de Fourier. Eso significa que tomamos los datos que obtenemos en microvoltios y queremos convertirlos al dominio de frecuencia, por lo que utilizamos la Transformada Rápida de Fourier y convertimos eso al dominio de frecuencia, por lo que vemos diferentes frecuencias a partir de los datos en bruto que obtenemos.

Ahora podemos reconocer diferentes ondas cerebrales en función de estas frecuencias y la diferenciación es gamma, beta, alfa, theta y delta, y cada una de ellas es diferente para nuestro estado mental. Por ejemplo, en delta, es el sueño, la pérdida de conciencia corporal, la reparación, y así sucesivamente. Gamma es la percepción elevada, el aprendizaje, la resolución de problemas, las tareas, el procesamiento de calidad. Como puedes ver, no son muy distintivas, es un rango amplio. Beta es generalmente estar despierto, y alfa es relajación. Puedo medir el estado alfa y ver si estoy relajado. Así que podemos reaccionar a los picos de las ondas cerebrales, y también podemos alimentar estos datos al aprendizaje automático.

Pero antes de hacer cosas increíbles con el aprendizaje automático, quiero mostrarte algo. Quiero suscribirme al enfoque. Y básicamente me dará las lecturas de las ondas alfa. Además, quiero suscribirme a los parpadeos. Para diferenciar el parpadeo, obtengo las lecturas. Las filtro. Obtengo la lectura solo para el electrodo sobre mi ojo izquierdo. Obtengo el máximo de eso, como el pico. Luego uso RXOperatorSwitchMap para diferenciar el pico. Realmente no me importa el resto de los datos, solo el pico. Si hay un pico, eso es algo que devolveré. Cómo se ve. También necesito eliminar este. Vamos a conectarlo de nuevo. Y lo que veremos. Si parpadeo, puedes ver aquí que estoy parpadeando.

Entonces, como puedes ver, a veces es peor y no es porque sea un umbral, y tal vez no lo puse realmente cerca de mi cráneo. Entonces, sí, esto es el parpadeo, ¿verdad? Ahora, queremos alimentar estos data al aprendizaje automático. Para hacerlo, lo que haré es ir a mi app.js y agregaré mi panel de predicción, o predecir algunas cosas. Y aquí tengo tres cartas, y estas tres cartas, una es web y móvil, otra es VRXR y otra es IoT AI. Entonces, lo que intentaré hacer es conectarme a mi auricular usado, obtener todos los data, pasarlos por todos los filtros que necesito, y luego agregar esto como una muestra al Clasificador KNN, que es un algoritmo de aprendizaje automático, y comenzaremos a clasificar en qué carta estoy pensando. Entonces, permíteme grabar estas ondas muy rápido. Entonces, haré clic en este botón mientras miro la web y el móvil. Ahora VRXL, y ahora IoT AI. Entonces, ahora, si hago clic en clasificar, podré cambiar solo mirando, las manos están aquí, así que puedo simplemente mirar diferentes cartas y cambiar entre ellas. Y, sí, como puedes ver, el tema principal en el que estoy interesado es VRXL y IoT AI.

Entonces, esto es bastante genial, pero si funciona, agregaré otro nivel de genialidad aquí. Así que... Tengo una tienda más grande aquí con la bandera de habilitar drones, y sí, tengo un dron aquí, este pequeño compañero. Así que, a veces funciona, así que veamos si funciona esta vez. Lo que haré primero es conectarme a mi auricular Muse, no debo parpadear. Luego me conectaré a mi dron. Ok, aquí tenemos el dron y espero que lo vean. Grabaré las ondas cerebrales y comenzaré a clasificar. Ahora, espero que esté en la vista de la cámara. Ok, ahora intentaré moverlo solo mirándolo y lo haré aterrizar. Y se cayó. No estoy seguro si estaba en la vista, así que intentaré ponerlo en la vista nuevamente. Ahora probablemente esté aquí y nuevamente, lo estoy moviendo solo con el poder de mi pensamiento. Eso fue bastante genial. La idea principal aquí es cuál es el propósito de todo esto, ¿verdad? ¿Por qué volamos drones con nuestra mente? ¿Por qué usamos estos dispositivos? No son tan confiables. Solo tenemos soporte de Bluetooth web en Chrome. La razón principal de esto es que nosotros somos quienes establecemos las reglas y rompemos las reglas, inventamos cosas nuevas, ¿verdad? Mi conclusión principal de esta charla es que el futuro ya está aquí y ustedes son quienes lo construirán. Gracias. Muy bien. Eso fue increíble. No pensé que veríamos a alguien volar un dron con su mente tan temprano en la mañana. Desafortunadamente, no tenemos mucho tiempo, pero vamos a traer a Vlad de vuelta al escenario para una pregunta rápida. Y luego pasaremos a nuestra próxima sesión. Entonces, Vlad, después de ver algo como esto, el control mental con AR, ¿por dónde empieza alguien si quiere comenzar a aprender estas cosas por sí mismo? Quiero decir, el punto principal de esta charla fue que, ¿verdad? Necesitas, como, puedes cambiar el mundo básicamente, ¿verdad? Y tú eres quien puede cambiar todo, ¿verdad? Y luego debes decidir qué quieres aprender, en términos de tecnología. ¿Quieres ser más experimentado solo en React o quieres ampliar tus horizontes, ¿verdad? Por ejemplo, si quieres tener React Native y AR, o tener React y Bluetooth y drones, puedes acceder a diferentes recursos. Hay Egghead.io, que es un sitio web increíble donde también estaré dando cursos. De hecho, pronto haré un masterclass sobre React Native y AR. De hecho, creé este sonido para React Summit, así que enviaré el enlace en el canal de la comunidad. Si quieres participar en este masterclass, puedes hacerlo. Además, también he dado muchas charlas. Tengo un canal de YouTube donde transmito sobre VR, pero también estaré grabando muchas cosas sobre este tema. Porque, quiero decir, me gusta enseñar estas cosas, ¿verdad? Por eso también comencé un canal de Twitch. Y sí, ese es uno de los lugares, pero obviamente hay muchos lugares donde aprender. Y si realmente quieres meterte en esto, te diría que me envíes un mensaje directo en Twitter, y te informaré. Dime qué quieres hacer en cuanto a tecnología, y probablemente podré dirigirte a materiales de aprendizaje y fuentes gratuitas en algún lugar, y así sucesivamente. Excelente. Bueno, Vlad, muchas gracias. Realmente lo apreciamos. Desearía que tuviéramos más tiempo para preguntas y respuestas. Pero para volver al rumbo, ahora pasaremos a una mesa redonda.