¿Qué es el BERT?

No es ningún secreto que la inteligencia artificial afecta a la sociedad de formas sorprendentes. Una forma en que la mayoría de la gente ha utilizado la IA sin su conocimiento es al buscar en Google. Al hacerlo, es probable que el buscador haya utilizado sin saberlo el BERT en forma de algoritmo de inteligencia artificial, ya que alrededor del 10% de todas las búsquedas lo utilizan. 

Este marco ha permitido a Google reconocer cómo buscan los usuarios, entendiendo mejor las palabras en su orden y contexto correctos. Sin embargo, BERT es algo más que una parte del algoritmo de Google. Como marco de código abierto, cualquiera puede utilizarlo para una amplia gama de tareas de aprendizaje automático. 

¿Qué es el BERT?

BERT (que significa Representaciones Codificadoras Bidireccionales de Transformadores) es un marco de aprendizaje automático de código abierto que se utiliza para diversas tareas de procesamiento del lenguaje natural (PLN). Está diseñado para ayudar a los ordenadores a comprender mejor los matices del lenguaje captando el significado de las palabras circundantes en un texto. La ventaja es que se puede comprender el contexto de un texto en lugar de sólo el significado de las palabras individuales. 

¿QUÉ OPINAN LOS TITANES DE LA TECNOLOGÍA SOBRE LA AI? REFLEXIONES DE ELON MUSK, BILL GATES Y MARK ZUCKERBERG

Desde su publicación como artículo académico titulado "BERT: Preentrenamiento de Transformadores Bidireccionales Profundos para la Comprensión del Lenguaje", ha revolucionado el mundo del aprendizaje automático. A continuación, Google Research lo publicó como plataforma de código abierto. Eso significa que cualquiera puede utilizar BERT para entrenar su propio sistema para realizar tareas de procesamiento del lenguaje natural.

BERT se convirtió en algo tan importante en la comunidad del aprendizaje automático porque, en lugar de leer el texto secuencialmente, los modelos BERT miran todas las palabras circundantes para comprender el contexto. Entiende una palabra en función de la compañía que tiene, como hacemos en el lenguaje natural. Por ejemplo, el término "rosa" puede tener significados distintos dependiendo de si las palabras circundantes incluyen "espina", "silla" o "poder". BERT puede entender la palabra objetivo basándose en las demás palabras de la frase, tanto si van antes como después. 

¿Qué puede hacer el BERT?

Parte de lo que hace único al BERT es que se trata de un marco preentrenado bidireccionalmente que puede proporcionar comprensión contextual del lenguaje y de frases ambiguas, especialmente las compuestas por palabras con múltiples significados. Por tanto, es útil en tareas basadas en el lenguaje.

INTELIGENCIA ARTIFICIAL FAQ

BERT se utiliza dentro de los chatbots para ayudarles a responder preguntas. Puede ayudar a resumir documentos largos y distinguir entre palabras con varios significados. Como actualización del algoritmo de Google, distribuye mejores resultados en respuesta a la consulta de un usuario.

Dado que Google ha puesto a disposición de otros los modelos BERT preentrenados, el modelo de código abierto está listo para ser utilizado, una vez realizado el ajuste fino, en una amplia variedad de tareas basadas en el lenguaje, como la respuesta a preguntas y el reconocimiento de entidades con nombre. 

¿Cómo se utiliza el BERT en el motor de búsqueda de Google?

Un año después de la publicación del trabajo de investigación, Google anunció una actualización del algoritmo para las consultas de búsqueda en inglés. En su lanzamiento, Google dijo que BERT afectaría a 1 de cada 10 búsquedas. Además, el BERT afecta a los fragmentos destacados, que es un cuadro distinto que proporciona directamente la respuesta al buscador en lugar de una lista de URL. 

En lugar de sustituir a RankBrain (el primer método de algoritmo de IA de Google), es aditivo al algoritmo de búsqueda subyacente. BERT ayuda al motor de búsqueda a entender el lenguaje tal y como hablan los seres humanos entre sí.

Considera Internet como la biblioteca más extensa que existe. Si Google es un bibliotecario, esta actualización del algoritmo ayuda al motor de búsqueda a producir los resultados más precisos en función de la petición realizada por el buscador. Google utiliza BERT en su algoritmo para ayudar a comprender no sólo la definición de la palabra, sino lo que significan las palabras individuales cuando se juntan en una frase. BERT ayuda a Google a procesar el lenguaje y a comprender el contexto, el tono y la intención de una frase de búsqueda en la forma en que aparece, lo que permite al algoritmo comprender la intención del buscador. 

FLASHBACK: STEPHEN HAWKING ADVIRTIÓ QUE LA AI PODRÍA SIGNIFICAR EL "FIN DE LA RAZA HUMANA" EN LOS AÑOS PREVIOS A SU MUERTE

Esta nueva capa del algoritmo también ayuda a Google a comprender los matices de la consulta, lo que es cada vez más vital a medida que la gente realiza las búsquedas de la forma en que piensa y habla. 

Antes de BERT, Google sacaba las palabras que consideraba más importantes en una búsqueda, lo que a menudo conducía a resultados menos que óptimos. Google afinó la actualización de su algoritmo BERT en tareas de procesamiento del lenguaje natural, como preguntar y responder, para ayudarle a comprender los matices lingüísticos de la consulta de un buscador. Estos matices y palabras más pequeñas, como "a" y "para", ahora se tienen en cuenta cuando forman parte de una petición de búsqueda. 

La tecnología toma pistas del orden de las palabras en la consulta, de forma similar a como se comunican los humanos. Ahora, Google puede entender mejor el significado de una búsqueda en lugar de sólo el significado de las palabras de la frase.

Sin embargo, el BERT no se utiliza en todas las búsquedas. Google lo utilizará cuando considere que el algoritmo puede comprender mejor la entrada de la búsqueda con su ayuda. Se puede recurrir a esta capa del algoritmo cuando es necesario aclarar el contexto de la consulta de búsqueda, por ejemplo, si el buscador escribe mal una palabra. En este caso, puede ayudar a localizar la palabra que cree que el buscador intentaba deletrear. También se utiliza cuando una entrada de búsqueda incluye sinónimos de palabras que están en documentos relevantes. Google podría emplear BERT para hacer coincidir los sinónimos y mostrar el resultado deseado. 

TEST DE INTELIGENCIA ARTIFICIAL ¿CONOCES BIEN LA INTELIGENCIA ARTIFICIAL?

¿Cómo se forma el BERT?

BERT se preentrenó simultáneamente en dos tareas. La primera es el modelo de lenguaje enmascarado. El objetivo es que el modelo aprenda intentando predecir la palabra enmascarada en una secuencia. Este método de entrenamiento enmascara aleatoriamente algunas palabras de entrada con un token enmascarado, y luego el ordenador predice cuál sería ese token en la salida. Con el tiempo, el modelo aprende los distintos significados de las palabras basándose en las demás palabras que las rodean y en el orden en que aparecen en la frase u oración. El modelado del lenguaje ayuda al marco a desarrollar una comprensión del contexto. 

¿CUÁL ES LA HISTORIA DE LA AI?

La predicción de la frase siguiente preentrena entonces al BERT. Con este sistema de entrenamiento, el ordenador recibe un par de frases como entrada, y debe predecir si la segunda es posterior a la primera. Durante este entrenamiento, el 50% de las veces, las frases son un par en el que la segunda frase es posterior a la primera, mientras que el 50% de las veces, la segunda frase se elige al azar del corpus de texto. 

La etapa final de entrenamiento es el ajuste fino para una amplia variedad de tareas de procesamiento del lenguaje natural. Como BERT está preentrenado con mucho texto, se distingue de otros modelos y sólo requiere una capa de salida final y un conjunto de datos exclusivo para la tarea que el usuario intenta realizar. Cualquiera puede hacerlo, ya que BERT es de código abierto. 

¿Qué hace que el BERT sea "no supervisado"?

El proceso de preentrenamiento de BERT se considera no supervisado porque se preentrenó en un conjunto de datos sin etiquetar, que es otra de las razones por las que es un modelo lingüístico de vanguardia. El preentrenamiento de BERT utilizó corpus de texto sin formato, como Wikipedia y un corpus de libros de texto sin formato. 

¿CUÁLES SON LOS CUATRO TIPOS PRINCIPALES DE INTELIGENCIA ARTIFICIAL? DESCUBRE CÓMO LOS FUTUROS PROGRAMAS DE AI PUEDEN CAMBIAR EL MUNDO

¿Qué significa bidireccional en BERT?

BERT pretende resolver los límites que existen durante el proceso de preentrenamiento de los modelos lingüísticos estándar anteriores. Anteriormente, estos modelos sólo podían examinar el texto de izquierda a derecha o de derecha a izquierda. En ese caso, el contexto no tiene en cuenta las palabras posteriores de la secuencia. 

BERT, por otra parte, puede aprender el contexto de una palabra basándose en las palabras que la rodean, de modo que puede entender toda la frase, o secuencia de entrada, de una vez en lugar de una palabra cada vez. Así es como los humanos entienden el contexto de una frase. Este aprendizaje bidireccional es posible gracias a que el marco está preentrenado con una arquitectura basada en transformadores.

¿Qué es un Transformador y cómo lo utiliza el BERT?

El Transformer es una arquitectura codificador-decodificador mediante la cual el BERT puede comprender mejor la relación contextual de las palabras individuales de un texto. En términos básicos, la ventaja es que los modelos Transformer pueden aprender de forma similar a los humanos: identificando la parte más importante de una secuencia (o de una frase). 

¿QUÉ ES CHATGPT?

El uso de capas de autoatención en la arquitectura Transformer es la forma en que la máquina puede comprender mejor el contexto relacionando partes específicas de la entrada con otras. Como su nombre indica, las capas de autoatención permiten al codificador centrarse en partes concretas de la entrada. Con la autoatención, la representación de una frase se descifra relacionando palabras dentro de la frase. Esta capa de autoatención es el elemento principal de la arquitectura del transformador dentro del BERT. 

Con esta arquitectura, el BERT puede relacionar distintas palabras en la misma secuencia, identificando al mismo tiempo el contexto de las demás palabras cuando se relacionan entre sí. Esta técnica ayuda al sistema a entender una palabra basándose en el contexto, como por ejemplo entender las palabras polisémicas, las que tienen varios significados, y las homógrafas, palabras que se escriben igual pero tienen significados diferentes.

¿Es el BERT mejor que el GPT?

El Transformador Preentrenado Generativo (GPT) y el BERT son dos de los primeros algoritmos preentrenados que realizan tareas de procesamiento del lenguaje natural (PLN). La principal diferencia entre BERT y las primeras iteraciones de GPT es que BERT es bidireccional, mientras que GPT es autorregresivo y lee el texto de izquierda a derecha.

HAZ CLIC AQUÍ PARA OBTENER LA APLICACIÓN FOX NEWS

Los tipos de tareas para los que se utilizan Google BERT y ChatGPT-4 son la principal diferencia de estos modelos. ChatGPT-4 se utiliza principalmente para la IA conversacional, como dentro de un chatbot. BERT se encarga de tareas de respuesta a preguntas y representación de entidades con nombre, que requieren contexto para ser comprendidas.

BERT es único porque examina todo el texto de una secuencia y comprende de cerca el contexto de una palabra en relación con las demás dentro de esa secuencia. La arquitectura Transformer, junto con el preentrenamiento bidireccional de BERT, logra este desarrollo.