El poder del aprendizaje transferido en NLP: Construye un modelo de clasificación de texto usando BERT

¡Hola a todos y bienvenidos a esta sesión de Transferencia de Aprendizaje con Burt! Estoy muy emocionado de que todos estén aquí y se unan a mí en esta sesión. Así que veamos qué aprenderemos sobre Transferencia de Aprendizaje y Burt hoy.

Antes de comenzar, una breve introducción sobre mí. Hola, mi nombre es Jayita Pudukonda. Trabajo como Científico de Datos Senior en Intelliint US Inc. Estamos ubicados en la ciudad de Nueva York. Y para darles una visión general, Intelliint es una empresa de servicios profesionales impulsada por el cliente. Nos especializamos en soluciones de software y tecnología a medida. Trabajamos con muchas empresas de análisis de datos y basadas en IA y desarrollamos algunas de nuestras herramientas y software en torno a esos estados. Así que pueden contactarme en Twitter y LinkedIn si tienen alguna pregunta sobre la sesión más adelante y podemos discutir al respecto.

Genial. Para la sesión de hoy, vamos a hablar durante unos 20 minutos y luego tendremos algunas preguntas y respuestas. También tengo algo de código que puedo compartir en mi GitHub. Así que contáctenme si quieren echar un vistazo más tarde después de la sesión. Ahora viene la parte emocionante, digo esto porque el NLP es difícil y ustedes dirían por qué. Ahora miren esta imagen. ¿Cuál es la primera inferencia que se les viene a la mente? Sé que los seres humanos podemos hacer conexiones y referencias geniales. Esta es una tarea muy trivial para nosotros. Pero si lo piensan desde la perspectiva de un programa de computadora, esto es un desafío muy desalentador para entender esta complejidad del idioma inglés. Entonces, aquí en la imagen dice: Soy un gran fanático del Metal. Nosotros, como humanos, sabríamos que, okay, el ventilador de metal es como, ya saben, una componente eléctrica personificada y dice que, okay, soy un ventilador de metal, pero también puede referirse a que eres un gran fanático del metal, ya saben, de la música. Entonces, ¿cómo diferencia la computadora entre estos dos significados del mismo término? Hay ambigüedad, sinonimia, correferencia. Y, por supuesto, las reglas sintácticas de la literatura inglesa, eso dificulta o hace que sea una tarea más desalentadora para un programa de computadora. Así que para la agenda de hoy, simplemente repasaremos qué es NLP, cómo y dónde se utiliza, cómo se puede utilizar la transferencia de aprendizaje. Y veremos un caso simple de utilizar Burt para un modelo de clasificación de texto. Así que empecemos de inmediato. Para el NLP, siento que esta imagen lo describe muy bien. Es una subrama de la lingüística, la inteligencia artificial.

Hay ciencias de la computación y también en ingeniería de la información. Básicamente ayuda a todas las máquinas a comprender y, ya sabes, comunicarse de ida y vuelta con los seres humanos en un discurso fluido sin perder el contexto o las referencias. Y si ves que NLP ha tenido un crecimiento exponencial en los últimos, diría dos, dos, años, como los enormes modelos en los que Google, OpenAI y Vidya han estado trabajando y lanzando que tienen una cantidad enorme de parámetros. Así que en mayo de 2020, OpenAI presentó un modelo de 175 mil millones de parámetros, lo cual es, puedes entender cuánto texto se ha procesado en ese modelo y cuánto trabajo puede hacer con tanta precisión.

Entonces, ¿dónde se utiliza NLP? Sé que la mayoría de ustedes está familiarizado con esto, pero solo quería dar una descripción rápida de dónde siento que se utiliza más. Y he trabajado en estas áreas de manera práctica. Definitivamente, la traducción automática, como texto a audio, audio a texto, hay chatbots, construcción de árboles de conocimiento, clasificación de intenciones, también hay generación de texto natural. Estoy seguro de que cuando usas Gmail, has visto las sugerencias que aparecen cuando estás escribiendo un correo electrónico, que te dicen que estas dos palabras siguientes, creo que serían buenas para completar la oración que estás intentando escribir. Esas son como, ya sabes, sugerencias de completado de texto que recibes. También se utiliza mucho en el modelado de temas, agrupamiento, comprensión con el contexto completo o qué tipo de ideas se pueden generar a partir de una gran cantidad de texto. Y también en la clasificación de texto, que es, ya sabes, ¿quieres hacer un análisis de sentimiento? ¿Cómo entiendes cuál es la idea general, por ejemplo, en las reseñas de Yelp o en las reseñas de productos de Amazon? Así que esto tiene muchas implicaciones y buenas aplicaciones en problemas de NLP.

Entonces, ¿cómo lo hacemos? Sé que esto puede sonar subyacente, pero es muy importante que lo hagamos en todo tipo de casos de negocio o problemas empresariales que estamos tratando de resolver utilizando NLP, así que solo una idea rápida. Necesitamos manejar cuando tenemos, digamos, todo nuestro texto, asegurarnos de manejar espacios adicionales. Luego también necesitamos cuidar cómo tokenizamos nuestro texto. La tokenización solo usando espacios es la norma tradicional, pero también necesitamos tener en cuenta casos de uso, como por ejemplo, el nombre completo de Estados Unidos de América, si lo tokenizamos solo por los espacios, a veces puede suceder que no tenga sentido en el contexto en el que estamos tratando de trabajar, ¿verdad? Entonces necesitamos mantener toda la frase `Estados Unidos de América` como una sola frase, en lugar de tokenizarla por palabra, para que la extracción de información funcione mucho mejor que si se tokeniza por palabra. El siguiente paso sería la corrección ortográfica. Me refiero aquí directamente a una herramienta muy buena que Peter Norvig de Google creó. Es un corrector ortográfico. Básicamente, la idea es comparar la distancia entre múltiples palabras. Y ver, okay. ¿Tiene sentido esta ortografía y qué tan cerca está de una ortografía similar o un significado de palabra similar que existe en el espacio vectorial de todo el corpus de NLP? Entonces puedes ver aquí que cuando paso la ortografía incorrecta con una sola L, el valor devuelto sería una ortografía con una doble L y también para corregido con la K no con la K y el valor final sería corregido con una C. Esto realmente puede ayudar a asegurarnos de que nuestros datos estén limpios. Y como dicen, en NLP es como basura entra y basura sale. Perdón por eso, basura entra y basura sale. Así que debemos asegurarnos de que los datos limpios tengan sentido con un sentido gramatical. Sentido sintáctico y también significado semántico. El siguiente paso sería el mapeo de contracciones. Puede parecer que no es necesario hacerlo.

Pero luego se entiende que, okay, si estás usando una palabra como won't y can't, la tokenización puede o no ser capaz de manejarla correctamente. Entonces necesitamos expandirla y mapearla de vuelta a sus palabras completas como won't, will not y can't, cannot. El siguiente paso es definitivamente el stemming y lemmatización. Esto es solo para asegurarnos de que estamos manteniendo nuestras métricas de corpus de NLP lo más ajustadas posible utilizando palabras similares como gaming, games, games, tiene la palabra base como game. Entonces la idea es mantener la palabra base como nuestra palabra y así el significado alrededor de eso permanece igual. Y el contexto se puede identificar de una mejor manera.

Lo siguiente son las stopwords. Definitivamente. Entonces, ya sabes, cuando hablamos de manera correcta, digamos, cuando estás recopilando mucho texto de Twitter, Reddit y todos los demás blogs de noticias, hay muchas palabras adicionales como los artículos, y hay uh, y todos los otros pronombres que a veces pueden o no agregar mucho contexto a toda la oración. Entonces de esta manera podemos deshacernos de ellos. Pero también me gustaría mencionar que esto depende mucho del caso. Por ejemplo, si tienes una buena cantidad de data, como un conjunto de datos legales o un conjunto de datos de patentes, es posible que no funcione bien eliminar todas estas stopwords. Entonces, necesitamos comprender nuestros casos de uso empresarial y asegurarnos de que tenga sentido eliminar esas stopwords. Y, por supuesto, hay cosas basadas en el caso que puedes hacer, como etiquetar qué tipo de palabra es, si es un verbo, si es un sustantivo, eso te ayudaría a comprender mejor las ideas de tu texto antes de comenzar a modelar. Es por eso que se dice que debes conocer los data o el texto no estructurado es más difícil de entender. Entonces, para asegurarte de que una vez que te adentres en las secciones de modelado, antes de eso, tienes un entendimiento completo y conocimiento sobre qué tipo de data tienes en tus manos con el que estás tratando.

Genial. Ahora que hemos aclarado todas las técnicas básicas, pasemos directamente a pensar en qué es el aprendizaje por transferencia. Esta es una gran cita de Andrew Engie, por supuesto, es una figura importante en el espacio de IA y ML. Y en 2016, mencionó que el aprendizaje por transferencia sería el próximo gran impulsor del éxito del ML. Y ahora estamos en 2020. Y creo que, y verás que se han desarrollado muchos problemas o modelos para resolver diferentes tipos de modelos a través del aprendizaje por transferencia.

Entonces, ¿qué es? Una comprensión rápida es simplemente una técnica de aprendizaje automático en la que un modelo se entrena en una tarea y se reutiliza para una segunda tarea. Ahora veremos qué significa eso. Digamos que tienes un conjunto de datos, ¿verdad? Tienes un conjunto de datos uno, que es como, digamos, un conjunto de datos de imágenes generales y la variable objetivo es un objeto clasificado. Ese objeto podría ser, ya sabes, un gato o un perro, un árbol, un autobús o un camión, cualquier cosa, cualquier objeto del mundo que ya esté en el conjunto de datos de imágenes. Un ejemplo de esto es ImageNet. Estoy seguro de que todos ustedes han trabajado un poco o han probado con este conjunto de datos en su trabajo. Ahora, esto, en una vista general, es como una estructura de red neuronal con algunas capas ocultas y capas de entrada y una capa de salida. Entonces, la capa de salida para el problema del conjunto de datos uno sería, ya sabes, si la clasificación entre si es un gato o un perro u otro objeto en particular del conjunto de datos de entrenamiento.

Ahora, piensa en el segundo caso. Ahora, el segundo caso es que tienes un conjunto de datos dos y es un conjunto de datos muy pequeño. No tienes muchos casos de entrenamiento, pero tienes algunos. Y el conjunto de datos objetivo es si es una imagen urbana o una imagen rural. Entonces, ¿qué crees que es la conexión común entre estos dos conjuntos de datos? Los conjuntos de datos son como ambos tratan con imágenes, ambos tienen, ya sabes, muchos objetos del mundo capturados en ellos. Pero el objetivo final no es exactamente el mismo. Aquí es donde entra en acción el aprendizaje por transferencia, donde puedes utilizar el conocimiento del conjunto de datos uno que has creado en tu primera fase de modelado y simplemente, ya sabes, volver a entrenar la última capa. Aquí, es la capa cuatro si puedes ver, mencioné que es la última capa, la capa densa, volver a entrenar los pesos de la última capa utilizando softmax y clase y, ya sabes, crear o cambiar esa capa de salida final para clasificarla como urbana o rural basándose en el nuevo conjunto de datos que hemos entrelazado con el nivel cuatro. Ahora esto puede parecer, ¿vale, por qué estamos haciendo esto? Antes de eso, veamos, ¿dónde estamos haciendo esto? Entonces, digamos, incluso en el reconocimiento de voz, si estás extrayendo o voz data de diferentes fuentes como YouTube, y eso es en inglés o hindi, que es, ya sabes, uno de los idiomas que hablamos en India. Y luego preentrenas tu red. Ahora, digamos que tienes un conjunto de datos muy pequeño en bengalí y quieres, ya sabes, traducir o entender qué dice el discurso. Entonces puedes utilizar el modelo que has entrenado con un conjunto de datos más grande en inglés y luego usar, ya sabes, traducción. Y luego utilizar eso para el reconocimiento de voz, que está en bengalí. El segundo ejemplo es de lo que acabamos de hablar.

Por ejemplo, si tienes una red de imágenes con millones de imágenes etiquetadas de objetos generales del mundo, puedes utilizar eso. O, ya sabes, reconocimiento de imágenes, como urbano versus rural, y así sucesivamente. Entonces, ¿por qué usamos el aprendizaje por transferencia? Porque, ¿hay algún beneficio positivo que queremos lograr? Sí, primero, es si hay escasez de data etiquetados. Entendemos que a veces crear un conjunto de datos etiquetados puede ser muy costoso. Necesitamos, ya sabes, invertir tiempo y recursos expertos en SMEs (Subject Matter Experts) que nos ayuden a crear esos conjuntos de datos etiquetados. Entonces, si no tenemos eso para empezar, y puede ser costoso, ¿qué podemos hacer en nuestra mano? Pues intentar averiguar si ya se ha resuelto un problema más grande o si hay un modelo pre-entrenado que se ha resuelto. Y ahí es donde entra en juego, si ya hay una red que existe, diría con una gran cantidad de data y está pre-entrenada, podemos utilizar eso, que es el siguiente mejor escenario que podemos hacer. Y, por supuesto, la tarea uno y la tarea dos deben tener, ya sabes, propiedades de entrada similares. ¿Es esto lo que mencioné? Por ejemplo, hablamos de un data que tenía, ya sabes, gato, perro y otros objetos del mundo. Y el segundo sería rural versus urbano, pero las características o componentes de entrada se mantuvieron iguales.

Estoy seguro de que todos ustedes han visto esta imagen antes. Esta es simplemente la diferencia entre un modelo de aprendizaje de ML tradicional, donde tienes diferentes tareas y creas, ya sabes, un sistema de aprendizaje diferente para cada tarea. Pero aquí, en el aprendizaje por transferencia, tienes, ya sabes, dos tareas de origen donde creas un modelo, tienes una base de conocimientos para ello. Y la idea es cómo podemos aprovechar esa base de conocimientos para lograr una tarea objetivo, en el caso que discutimos fue urbano versus rural.

Ahora, BERT entra en juego aquí. Y antes de entender qué es BERT, hablemos un poco muy brevemente sobre qué son las incrustaciones de palabras. Ahora, la incrustación de palabras no es más que, ya sabes, una representación vectorial de características de la palabra. Que tienes en tu corpus de entrenamiento. ¿Qué significa eso? Entonces, el concepto subyacente de utilizar el contexto en la palabra es crear una conexión o referencias entre múltiples palabras. El famoso ejemplo es, ya sabes, hombre es a rey. Entonces, ¿mujer es a qué? Es a. Entonces, la respuesta sería reina. Esas relaciones ocurren cuando mapeamos palabras, utilizando diferentes oraciones en el contexto de la incrustación de palabras.

El siguiente ejemplo que quiero resaltar es que si ves aquí, hay múltiples palabras y puedes ver pequeños grupos y puedes ver que pescado, huevos y carne caen en un grupo similar. Esta es una versión simplificada en 2D. Y en casos reales, es mucho mejor con una representación matricial multidimensional. Pero aquí, si ves otro ejemplo, es como calor, electricidad, energía, petróleo y combustible son como un grupo, un mini grupo y por sí mismos. Entonces, eso tiene sentido para el modelo de que, vale, si una de estas palabras aparece, entonces podemos decir que la distancia entre estas palabras es similar y están más cerca entre sí. En este ejemplo, simplemente muestra que helicóptero, dron y cohete están mucho más cerca entre sí que helicóptero y ganso. Mientras que ganso, águila y abeja están mucho más cerca entre sí que de dron o cohete. Vale. Esta es una palabra muy famosa, Burt Mountain, como yo la llamo, y Chris McCormick ha acuñado este término. Entonces, lo que menciona es que se ha construido sobre mucha tecnología que hemos estado viendo desarrollarse a lo largo de los años. Pero si estás estudiando ahora mismo y estás tratando de entender LLP y Burt, no pienses que es un gran dominio de creación. Tienes que investigar mucho y es imposible de aprender. No lo es. Así que dice que, vale, la atención del transformador, estos son los dos conceptos que necesitamos entender. Y eso te dará una buena base para comenzar a aplicar Burt y ajustarlo. Ahora, a veces esto puede parecer, ya sabes, un terminología grande y desalentadora. Así que cómo me siento es que, ya sabes, los transformadores pueden ser un concepto pesado, pero están ahí para ayudarnos.

Así como Optimus Prime, y no te desvíes por eso. Pero solo piensa en el concepto simple de cómo podemos explicarlo, tienes, digamos, criterios de entrada. Entonces hay una capa de codificadores que tomarían esas entradas. Y luego hay decodificadores que transferirán esas entradas al resultado que deseas. Por ejemplo, aquí la traducción se realiza de un idioma a otro.

Entonces, básicamente, ¿qué es Burt? Burt es el primero en su tipo. Es el primer modelo profundamente bidireccional entrenado de manera no supervisada y en texto plano. Cuando digo bidireccional, me refiero a que si tienes, digamos, varias oraciones, algunos modelos iniciales lo harían secuencialmente. Primero aprenderían de izquierda a derecha y luego aprenderían de derecha a izquierda. Pero Burt es un solo enlace que lo hace de una vez. Lo que esto ayuda a lograr es asegurarse de que aprenda información de ambos lados juntos y tome en cuenta el contexto de los tokens durante el entrenamiento sin perder ninguna información adicional sobre qué tokens están disponibles en el lado izquierdo y qué tokens están disponibles en el lado derecho.

Para darte una comprensión rápida, este es un ejemplo muy famoso, si miras estas dos oraciones, dice que fuimos al banco del río y dice que necesito ir a un banco para hacer un depósito. Entonces, la palabra banco aquí tiene diferentes significados gramaticalmente, es la misma palabra llamada banco, pero su significado es completamente diferente según las palabras de contexto con las que se ha utilizado. Ahora Burt puede entender rápidamente, ¿cuál es el río y cuál es el banco, es una institución financiera a la que está conectado? Entonces, esta es la capa rápida o diría la estructura de cómo se ha organizado Burt. Se basa en tokens, segmentos y también en posiciones, en qué posición te encuentras en toda la oración y si el token está en la primera oración, si es un corpus de varias oraciones y, por supuesto, la oración del token. Estas son las dos tareas que acabo de mencionar rápidamente. Sé que estamos quedando sin tiempo, pero podemos discutir más en la sección de preguntas y respuestas si tienes alguna pregunta en particular al respecto.

Entonces, ya sabes, si la idea es entender la fortaleza de la bidireccionalidad, es que el hombre fue al y fue al de leche, donde estamos enmascarando las palabras, y las etiquetas que Burt intenta producir o predecir es que la primera oración sería tienda y la siguiente palabra sería galón. Y el siguiente caso de uso en el que Burt ha sido pre-entrenado es la predicción de oraciones. Por ejemplo, si ves la primera oración, el hombre fue a la tienda. Y la oración B es que compró un galón de leche. Entonces eso tiene sentido, ¿verdad? Esas dos oraciones se relacionan entre sí y esta etiqueta sería su siguiente oración. Pero si ves, el segundo conjunto es que el hombre fue a la tienda y los pingüinos no vuelan, aunque son gramaticalmente correctos en sus respectivas oraciones, pero no pertenecen entre sí. Entonces la etiqueta sería no siguiente oración. Entonces está prediciendo si la siguiente oración o el siguiente token tiene sentido con el que tienes en mano o no. Entonces este es el concepto de atención. La atención no es más que si miras la frase el animal no cruzó la calle porque estaba muy cansado.

Así que no voy a revisar el código en este momento, pero solo quiero resaltar un factor más, sabes, entrenar un modelo de IA particular como este es un informe del MIT, y dice que durante un modelo de IA particular puede emitir tanto carbono como, sabes, cinco autos en toda su vida. Entonces, la idea del aprendizaje por transferencia es ver si podemos utilizarlo ya preconstruido y usarlo en nuestras tareas diarias pequeñas, en lugar de volver a entrenarlo una y otra vez para casos de uso particulares.

Como comentarios de cierre, es difícil, pero debemos asegurarnos de que los data estén limpios, comprender nuestros data mejor que cualquier otra cosa. No es magia y las redes neuronales siempre advanced no son la respuesta a todos tus problemas. Comienza con el modelado de referencia de NLP, y luego avanza paso a paso. Estos son algunos de los recursos adicionales que puedes consultar y leer algunos de los blogs. Gracias a MLConf por organizar este brillante evento. Gracias a todos los ponentes y a ustedes que se unieron. Gracias. Estoy listo para responder cualquier pregunta que tengan, y definitivamente echen un vistazo al portafolio de Dell Ensport. Estoy seguro de que encontrarán muchos casos de uso y estudios de casos interesantes en los que hemos trabajado en la industria. Genial, creo que gracias a todos ustedes y gracias por unirse. Vamos a responder algunas preguntas, si tienen alguna. Hola Jay, ¿cómo estás? Hola, Ajay, ¿cómo estás? Estoy bien. Fantástico, fantástico, fantástico. Lo sé, entiendo que también estás en Estados Unidos. Siempre me reconforta saber que alguien con quien estoy hablando está muy cerca de casa, a solo unos miles de kilómetros de distancia. Sí, al otro lado del país. Costa este, costa oeste, no importa. Es genial. Muy bien, así que con eso, vamos a pasar a algunas preguntas y respuestas de nuestra encantadora audiencia. Aquí hay una pregunta de a. Aquí hay una pregunta. OK, ¿en qué problemas de NLP no funciona bien BERT? ¿Alguna idea al respecto? Sí. Supongo que la mejor idea o, una vez que comienzas a aprender paso a paso, a veces utilizar o mirar algunas de las medidas de vanguardia te daría una idea, pero sé por qué elegí BERT para la clasificación, puede que no sea el. Supongo que no es el algoritmo óptimo que se puede utilizar para una técnica de clasificación, pero supongo que para todo tipo de respuesta a preguntas, como donde tienes un conjunto de data factual, donde se asegura de que esté leyendo de los bloques de data en los que estás entrenando, funciona mejor en eso, pero para la clasificación, supongo que, de nuevo, a veces depende del tipo de problema empresarial que estés tratando de resolver. Entonces, lo que he visto que funciona con él es que para Albert me dio una puntuación bastante buena incluso, e incluso Bert Light dio una buena puntuación para una pequeña clasificación de respuesta a preguntas en la que estaba trabajando

Incluso para el problema de clasificación, solo me dio una puntuación de referencia de, digamos, 0.6, que no es excelente, pero es bueno para empezar. Y ahí es donde pones manos a la obra y dices, ok, ¿cómo puedo ajustarlo y tal vez agregar más parámetros o qué tipo de ingeniería de características puedo hacer para mejorarlo?

Sí, eso es realmente un buen punto, porque sé que, como mencionaste, no creo que BERT pueda funcionar bien si hay etiquetas de clasificación muy estrictas en la respuesta a preguntas, y respuestas muy directas. Pero estoy pensando que BERT podría no ser el mejor. Al menos aún no estamos en la etapa en la que sea muy bueno en la IA conversacional, donde creo que he visto algunos ejemplos video donde BERT da respuestas un poco extrañas aquí y allá, especialmente si las respuestas tienden a ser muy largas. A veces no tiene sentido en ocasiones. Supongo que ese es el problema de la claridad o tal vez responder a través de la tensión es el objetivo final. Y supongo que las personas importantes en la industria todavía están trabajando en ello, y hay mucho en proceso que aún están desarrollando, así que supongo que algún día podremos decir que, oh, pongamos todo en BERT y BERT lo resolverá. Estoy esperando que llegue ese día. Algún día, algún día. Esperemos, y llegará pronto.

Muy bien, otra pregunta. Sabes, creo que mencionaste hacia el final de tu presentación o algo así, que lo abordaremos en la sesión de preguntas y respuestas, así que te lo voy a preguntar ahora. ¿Por qué entrenamos a BERT específicamente en los dos problemas de predicción de la siguiente oración y modelado masivo del lenguaje, y por qué no, como, cualquier otra tarea? Sí, supongo que esa es la respuesta a lo que estamos tratando de resolver, ¿verdad? Comencemos desde el proceso de pensamiento de word2vec. Entonces, word2vec también es una buena manera de hacer este modelo de entrenamiento de lenguaje, pero lo que no sirve es que no nos ayuda a crear ese contexto y comprender cómo manejar palabras sinónimas. A veces las mapeará correctamente. A veces, el ejemplo de uso que mostré para un banco, un banco de río y una institución bancaria financiera, ¿cómo separamos correctamente esos mismos términos basados en el contexto? Entonces, para MAST, lo que sucede es que, dado que estamos haciendo un entrenamiento bidireccional con BERT, la idea es capturar toda la esencia, y si no lo hacemos de la manera de MAST, lo que sucederá es que BERT podrá, de alguna manera, hacer trampa y ver qué palabra podría ser la siguiente. Sí, en realidad sucede de esa manera. Así que supongo que la forma de MAST es simplemente asegurarse de que lo restrinjamos para no ver las soluciones en todo su entrenamiento, entrenamiento bidireccional, sino tratar de inferirlo a partir de parte de lo que ha visto en lugar de mapearlo de otras formas. Así que supongo que eso responde a uno de los desafíos principales que estamos tratando de resolver, en comparación con los otros modelos. Y el segundo para la siguiente oración, supongo que es muy importante para entender el contexto y pensarlo desde la perspectiva de si quieres hacer una resumen, si estás haciendo un resumen abstracto, ¿cómo sabes que al resumir estás capturando la esencia de todas las palabras o todas las oraciones del bloque completo del corpus de entrenamiento por el que lo estás pasando? Así que supongo que la siguiente oración es solo para asegurarnos de que no lo mapeemos de manera incoherente, incluso a veces porque las oraciones pueden ser gramaticalmente correctas por sí mismas, pero pueden no tener un significado o no crear un significado semántico cuando se colocan una al lado de la otra. Entonces, cuando se colocan una al lado de la otra, debería tener sentido. Y ese flujo continuo de significado debe mantenerse dentro de ese análisis objetivo. Así que supongo que, a partir del desarrollo de todos los modelos que hemos visto a lo largo del tiempo, supongo que parte de la solución es tratar de resolver estos dos problemas de manera práctica. Y así es como lo infiero y lo veo funcionando en todas las soluciones a las que se aplica. Sí. Y sí, en realidad, ese también es otro buen punto, porque supongo que, en general, el modelado masivo del lenguaje es como Bird simplemente tratando de entender el propio lenguaje, mientras que la predicción de la siguiente oración intenta comprender el contexto dentro de las oraciones o entre oraciones para entradas más grandes. ¿Verdad? Incluso si no solo la directa, sino también cómo se mapea en el flujo de trabajo. Digamos que la oración uno y la oración tres tienen sentido. Pero luego la oración dos no pertenece a la oración tres. Entonces, ¿cómo mantienes esa conversación o coherencia? Todo se reduce nuevamente a la atención, como lo que estás hablando en el contexto. ¿Esto sigue un patrón correcto en la forma en que se describe a través de él? Entonces, sí, es una de las características clave de Purposeful. Muy fascinante. Otra pregunta aquí de nuestra audiencia. ¿Cuál es tu principal desafío o dificultad cuando comenzaste a trabajar como científico de datos? Sí, el desafío aún persiste. No desaparece. El desafío es, ya sabes, cuando comencé a trabajar con datos de texto en NLP, lo primero fue que estaba demasiado desestructurado. ¿Cómo lo procesas para que tenga sentido? Porque en NLP, todo tiene sentido, si introduces basura, obtendrás basura. Había desafíos para solucionar, ya sabes, palabras basadas en el contexto, uso, cómo adjuntar sinónimos, cómo conectar o corregir errores ortográficos. Los errores ortográficos son un gran problema en problemas de NLP no estructurados.

Y a veces sucede que, dado que son ortografías muy específicas del dominio, es posible que no puedas usar correctores ortográficos genéricos que existen. Por lo tanto, debes trabajar con expertos en el tema, tratar de entender qué conocimiento del dominio necesitas. ¿Pueden proporcionarnos algún corpus o metadatos o etiquetas que tengan o la taxonomía que tienen en el backend?

A veces no funciona de esa manera. Por lo tanto, se necesita mucha exploración y comprensión de los data para ver cómo solucionarlo. Sí, supongo que el preprocesamiento de datos para cualquier tarea de NLP es una parte muy importante y eso te lleva a crear un mejor modelo. De lo contrario, no importa cuánta ingeniería de características hagas o cuánto ajuste fino hagas. No funcionará y te quedarás atrapado en un laberinto preguntándote qué estoy haciendo mal. Si tu modelo es tan bueno como tus data, entonces basura adentro, basura afuera. Absolutamente.

Muy bien. Aquí hay otra pregunta. Entonces, sabes, mostraste esta pirámide de BERT y eso fue muy interesante. Y como dijiste, aprender todos estos conceptos no debería ser tan desalentador. Pero cuando miro esa pirámide, veo que, OK, sabes, necesito conocer transformers. Y para saber eso, también necesito conocer la atención. Y para saber eso, muchos artículos sobre LSTMs, RNNs y entender eso. Y eventualmente puedes ver cómo puedes meterte en este agujero de conejo donde, cuando estás estudiando un tema, tienes que leer doscientos artículos. Entonces, ¿cómo comprendes los transformers, y BERT específicamente, sin quedar atrapado en estos detalles técnicos muy, muy difíciles? Pero necesitas comprenderlo. Entonces, ¿cómo lo hago? Sí. Diría que la primera forma de hacerlo es simplemente comprender qué está tratando de resolver. Digamos, ¿qué están tratando de resolver los transformers? Lo primero es codificar, decodificar y luego crear esa parte de transformación de data. ¿Qué intenta hacer la atención? Básicamente, intenta crear contexto dentro de los datos contextuales diciendo que, OK, esta palabra pertenece a esta, esta palabra o este sustantivo, o este objetivo al que se está refiriendo. Estas son las dos ideas generales. Ahora necesitas relacionarlo. Entiendo que se han desarrollado muchas formas en el proceso. Pero si comprendes esta comprensión central y luego lees algunos blogs muy, He mencionado algunos de los blogs de GLMR y Chris McCormick, echa un vistazo a cómo los han implementado en sus casos de uso empresariales. Si comprendes lo que hacen y no quieres quedarte atrapado en el agujero de conejo para comprender toda la matemática detrás de ello de una vez, diría que lo hagas paso a paso. Pero primero comprende qué hace, luego ve qué tipo de escenarios empresariales puede resolver, qué tipo de data necesitas para ese escenario. Una vez que comiences a aplicarlo un poco y leas paso a paso lo que está haciendo, así es como te familiarizas con ello. Si estoy atrapado en esta posición, ¿qué opciones de ajuste fino tengo? ¿Qué características adicionales puedo crear para resolver ese problema? Sucede mucho.

Si buscas cualquier tema, encontrarás miles de materiales de lectura y miles de documentos asociados a él. Pero eso ha sido mi curva de aprendizaje. Solo entiendo qué está tratando de resolver y desde dónde. Intenta resolver algunos de los desafíos que Word2Vec no puede manejar, construyendo sobre eso.

¿Cuáles son los parámetros, entradas necesarias? ¿Cómo se ven las categorías de salida? Y luego, ¿cuáles son los pasos internos? Está haciendo modelado de máscaras, está haciendo predicción de oraciones. Estas son las dos características principales. Bueno, ahora, ¿qué tipo de data necesito para resolver algunos desafíos? Entonces, sí, solo para mantener ese proceso y flujo de pensamiento sin quedarme demasiado atrapado en los objetivos internos. Pero si estás interesado, siempre puedes hacerlo, supongo. Definitivamente.

Y honestamente, creo que muchos de nosotros estaríamos interesados en escuchar muchos más detalles. Pero desafortunadamente, en este momento, nos estamos quedando sin tiempo para preguntas y respuestas. Pero Jaytha estará disponible en su sala de conferencias a partir de ahora. Así que si tienes alguna pregunta que necesites hacerle, búscala. Puedes ir a hablar con ella ahora mismo y dirigirte a su sala de conferencias y estoy seguro de que ella estará encantada de responder algunas de tus maravillosas preguntas. Muchas gracias. Fue genial tenerte aquí, Jaytha. Muchas gracias, Ajay. Por supuesto, fue un placer tenerte aquí. Y nos vemos muy pronto. Cuídate. ♪♪♪