Aprendizaje profundo de transferencia para la visión por computadora

Hola a todos. Hoy estaremos hablando sobre el aprendizaje profundo de transferencia para la visión por computadora, y estaremos cubriendo un par de aplicaciones del mundo real en el contexto de la industria de fabricación de semiconductores a nivel nanométrico.

Un poco sobre nosotros, yo soy Dipanjan. Soy líder de ciencia de datos en Applied Materials, también soy un Experto en Desarrollo de Google en Aprendizaje Automático y autor. Te cedo la palabra, Sachin.

Gracias, Dipanjan. Hola a todos. Mi nombre es Sachin. Lidero la competencia de ciencia de datos desde Bangalore en Applied Materials. Tengo más de una década de experiencia manejando múltiples casos de uso en toda la empresa. Y en este escenario en particular, estaremos discutiendo sobre casos de uso de IA relacionados con la industria de semiconductores. Así que comencemos, Dipanjan.

Bien, hoy vamos a hablar sobre la clasificación de defectos. Creo que todos conocemos la ley de Moore, que establece que cada dos años se duplica el número de transistores en un chip. Y cómo es posible, es posible gracias a la ingeniería a nivel atómico que las empresas como Applied Materials realizan día a día. Y para eso, necesitan desarrollar estas recetas. Y estas recetas no son fáciles de desarrollar.

Los ingenieros de proceso que trabajan en estas recetas tienen que lidiar con muchos defectos mientras perfeccionan estas recetas. Trabajan con técnicas de captura de imágenes de alta gama, como herramientas láser y AFM (Microscopía de Fuerza Atómica), que se tienen en cuenta. Y en estos casos particulares, algunas de estas técnicas son muy destructivas, donde las obleas se destruyen. Ahí es donde la IA puede ayudar a detectar estos defectos y ahorrar mucho en costos y tiempo.

Les daré una breve descripción de cómo estamos aprovechando las técnicas de IA y detección de defectos en la fabricación de semiconductores. Si hablamos de los defectos, tratamos con múltiples tipos de defectos. En este caso particular, tenemos defectos como partículas grandes, pequeñas, etc. Pueden ver que hay mucho ruido y variación. Por lo tanto, no fue fácil tener un solo algoritmo o un solo modelo para lidiar y encontrar toda la clasificación realizada. Lo que hemos hecho aquí es aprovechar múltiples clasificadores, una técnica de apilamiento donde ingresamos la imagen. Luego realizamos mucho procesamiento de imágenes con diferentes técnicas. Realizamos la eliminación de ruido y luego alimentamos esa imagen al primer nivel de clasificador, que determina si hay un defecto o no. Si hay un defecto, luego tratamos de determinar el segundo nivel de clasificadores, si es desconocido, grande o pequeño.

Incluso si encontramos eso, luego aplicamos diferentes tipos de técnicas de procesamiento de imágenes para resaltar ese defecto del fondo. Luego intentamos hacer un análisis adicional, como si hay ruido o si los niveles de umbral están por debajo... los niveles de ruido están por debajo del umbral para que podamos ir directamente al cuarto nivel de clasificadores, que son para decidir la clase final, si es una partícula o una partícula grande. De esta manera, intentamos aprovechar las técnicas basadas en el aprendizaje de transferencia para determinar el enfoque de clasificación que hemos obtenido.

Entonces, creo que Dipanjan profundizará más en esto y... Te toca a ti, Dipanjan. Aquí, intentamos aplicar un sistema de clasificación híbrido donde ajustamos un modelo pre-entrenado ResNet para extraer las características profundas. También utilizamos características tradicionales basadas en el procesamiento de imágenes, como matrices de co-ocurrencia de niveles de gris y características de momentos zónicos. Combinamos esto para formar un vector de características de fusión y lo pasamos a través de una red de aprendizaje profundo para realizar el último nivel de clasificación. También realizamos una ampliación de imágenes, especialmente en casos donde tenemos menos datos, como en estos casos, porque no podemos permitirnos tener muchos datos, especialmente en escaneos de microscopio electrónico a nivel de semiconductores. También aprovechamos modelos pre-entrenados como ResNet-50 en la parte trasera de un modelo de detección de objetos como un RCNN más rápido para detectar y contar el número de defectos, porque a veces también tenemos que proporcionar el recuento de defectos además del tipo de defecto. En cuanto a nuestro rendimiento de evaluación, como pueden ver, el rendimiento es del 95 por ciento en una visión general holística en términos de los cuatro tipos de clasificadores, y también realizamos un rendimiento a nivel de clasificador para comprender el nivel de rendimiento que estamos obteniendo en cada nivel específico de nuestra clasificación jerárquica general.

Ahora discutiremos sobre un caso de aprendizaje no supervisado en el contexto del aprendizaje profundo. Te toca, Sachin. Gracias, Dipanjan. Como vimos en el último caso, teníamos conocimiento previo del tipo de defectos, pero eso no siempre es así. Muchas veces no sabemos cómo se induce el defecto en toda esta receta, y ahí es donde necesitamos hacer mucho análisis, como contar los defectos, analizar la morfología de la forma y determinar los elementos presentes, como nitrógeno o aluminio, en diferentes partes o pasos de la receta, donde pueden aparecer diferentes partículas extrañas que podrían provocar defectos. Debido a la falta de conocimiento previo, recurrimos a técnicas de aprendizaje no supervisado, donde hemos desarrollado una interfaz que permite al usuario explorar la ubicación donde se encuentran todas estas imágenes de defectos. Una vez que las imágenes se ingresan al sistema, utilizamos el modelo ResNet-50 para extraer las características. Luego, estas características se alimentan a algoritmos de agrupamiento que hemos desarrollado. Obtenemos un nivel más alto de agrupamiento que luego se presenta al usuario para que decida cuántos grupos desea. Luego, realizamos un agrupamiento más detallado utilizando técnicas de agrupamiento aglomerativo o de propagación de afinidad. En función de estos resultados de agrupamiento, identificamos los grupos correctos y los valores atípicos, y se los presentamos al usuario. Este proceso hace que todo el proceso sea muy reproducible y repetible, lo cual de otra manera sería muy subjetivo entre diferentes usuarios manuales. Ahora, Dipanjan profundizará más en los detalles de todo este algoritmo. Sí, nuevamente aprovechamos un modelo pre-entrenado ResNet junto con características específicas de visión por computadora, como las características jerárquicas de las proyecciones ortogonales momentáneas zónicas, y obtenemos esos vectores de fusión que normalmente pasamos a nuestros modelos de agrupamiento. Es aquí donde utilizamos el agrupamiento jerárquico para formar el dendrograma y obtener el nivel adecuado de corte para formar esos grupos a partir de los datos mismos. También aislamos los grupos individuales, que son básicamente muy diferentes de los grupos regulares en términos de defectos similares. Esto se puede ver en la interfaz, que muestra los diferentes grupos al usuario y luego pueden guardarlo y utilizarlo en el futuro, incluso para alimentar un problema de aprendizaje supervisado. Y así concluye nuestro recorrido rápido por el aprendizaje profundo para la visión por computadora. Gracias.