Análisis de Corpus Lingüísticos

Este elemento es una expansión del contenido de los cursos y guías de Lawi. Ofrece hechos, comentarios y análisis sobre este tema. [aioseo_breadcrumbs]

Análisis de Corpus Lingüísticos

En la actualidad existen numerosos corpus, muchos de los cuales están disponibles a través del Linguistic Data Consortium (LDC) (ldc.upenn.edu) en Estados Unidos y de la European Language Resources Association (ELRA) (elra.org) en Europa, ambos fundados a mediados de los años 90 para servir de repositorios y distribuidores de corpus y otros recursos lingüísticos como los léxicos.

Puntualización

Sin embargo, debido al coste y a la dificultad de obtener algunos tipos de textos (por ejemplo, los de ficción), los corpus existentes varían considerablemente en su composición; se han hecho muy pocos esfuerzos para compilar muestras de lengua que estén “equilibradas” en su representación de los diferentes géneros. Excepciones notables (aparte de los primeros Brown y LOB) son el British National Corpus (BNC) (hcu.ox.ac.uk/BNC/) y el American National Corpus (ANC) (Amer-icanNationalCorpus.org), así como (hasta cierto punto) los corpus de varias lenguas de Europa occidental elaborados por el proyecto PAROLE. De hecho, la mayor parte de los corpus de texto existentes se componen de materiales fácilmente disponibles, como datos de periódicos, manuales técnicos, documentos gubernamentales y, más recientemente, materiales extraídos de la Web.

Informaciones

Los datos del habla, cuya adquisición está necesariamente controlada en la mayoría de los casos, son más a menudo representativos de un dialecto específico o de una gama de dialectos.

Muchos corpus están disponibles para fines de investigación mediante la firma de una licencia y el pago de una pequeña tasa de reproducción. Otros corpus sólo están disponibles mediante el pago de una tasa (a veces considerable); éste es el caso, por ejemplo, de muchos de los fondos de la LDC, lo que los hace prácticamente inaccesibles para los humanistas.

Los corpus lingüísticos tienen dos usos principales: la recopilación de estadísticas para apoyar el procesamiento del lenguaje natural y el análisis lingüístico para apoyar el aprendizaje de idiomas y la creación de diccionarios.

Recogida de estadísticas

Un corpus proporciona un banco de muestras que permite el desarrollo de modelos numéricos del lenguaje, por lo que el uso de corpus va de la mano de los métodos empíricos. A finales de la década de 1980, la mayor disponibilidad de grandes cantidades de texto electrónico permitió, por primera vez, el uso a gran escala de métodos basados en datos para atacar problemas genéricos de la lingüística computacional, como la identificación de partes del habla, la fijación de frases preposicionales, la alineación de textos paralelos, la desambiguación del sentido de las palabras, etc. El éxito en el tratamiento de al menos algunos de estos problemas con métodos estadísticos llevó a su aplicación a otros, y a mediados de la década de 1990, los métodos estadísticos se habían convertido en un elemento básico del trabajo de la lingüística computacional.

El elemento clave para muchos enfoques estadísticos del procesamiento del lenguaje (en particular, los llamados métodos “supervisados”) es la disponibilidad de grandes corpus anotados, sobre los que se entrenan los algoritmos de anotación para identificar patrones comunes y crear transformaciones o reglas para ellos. Los etiquetadores estocásticos de parte del discurso descritos anteriormente son probablemente la aplicación más conocida que se basa en corpus previamente anotados, pero también se utilizan enfoques similares para la desambiguación del sentido de las palabras, el análisis sintáctico probabilístico y el reconocimiento del habla.Entre las Líneas En la desambiguación del sentido de las palabras, por ejemplo, se recogen estadísticas que reflejan el grado de probabilidad de que otras palabras aparezcan en el contexto de alguna palabra previamente etiquetada en un corpus. Estas estadísticas se utilizan entonces para desambiguar las apariciones de esa palabra en corpus no etiquetados, calculando el solapamiento entre el contexto no visto y el contexto en el que la palabra fue vista en un sentido conocido.

El reconocimiento del habla es, de hecho, el área de la lingüística computacional en la que los corpus se utilizaron por primera vez a gran escala para apoyar el procesamiento del lenguaje, comenzando con la utilización de los modelos ocultos de Markov (HMM) en la década de 1970. Este paradigma (un conjunto de principios, doctrinas y teorías relacionadas que ayudan a estructurar el proceso de investigación intelectual) requería datos para entrenar estadísticamente un modelo acústico para capturar las secuencias típicas de sonidos y un modelo lingüístico para capturar las secuencias típicas de palabras, y produjo resultados mucho más precisos y robustos que los métodos tradicionales. No fue hasta finales de la década de 1980 cuando el enfoque estadístico se aplicó a otros ámbitos, uno de los primeros de los cuales fue la traducción automática. Siguiendo el mismo enfoque que los sistemas de reconocimiento del habla, los investigadores entrenaron automáticamente un modelo de correspondencia francés-inglés (el Modelo de Traducción) sobre 3 millones de frases de francés e inglés paralelas procedentes de los registros del Parlamento canadiense, y también entrenaron un Modelo de Lengua para la producción de inglés a partir de los datos del Wall Street Journal. Para traducir, se utilizó el primer modelo para sustituir las palabras o frases en francés por los equivalentes más probables en inglés, y luego el segundo modelo ordenó las palabras y frases en inglés en las secuencias más probables para formar las frases de salida.

El análisis sintáctico probabilístico es una de las aplicaciones más recientes de los métodos estadísticos a las tareas de procesamiento del lenguaje. Una vez más, se necesitan grandes cantidades de datos previamente anotados y validados para la estructura sintáctica con el fin de proporcionar estadísticas relativas a la probabilidad de que una determinada construcción sintáctica sea la correcta en su contexto. La estructura sintáctica puede ser muy ambigua; los analizadores sintácticos tradicionales suelen producir numerosos análisis estructurales alternativos para una frase de entrada. Un analizador sintáctico probabilístico utiliza las estadísticas recopiladas previamente para elegir la interpretación más probable.

Cuestiones relativas a la recopilación de estadísticas basadas en corpus

Para que un corpus sea representativo de cualquier lengua en su conjunto, es necesario que incluya muestras de una variedad de textos que reflejen la gama de fenómenos sintácticos y semánticos de esa lengua. Esto exige, en primer lugar, que los datos sean suficientemente amplios para evitar el problema de la escasez de datos que afecta a muchos enfoques estadísticos. Por ejemplo, para tareas como la desambiguación del sentido de las palabras, los datos deben ser lo suficientemente amplios como para garantizar que todos los sentidos de una palabra polisémica no sólo estén representados, sino que lo estén con la suficiente frecuencia como para poder elaborar estadísticas significativas. Aunque se ha utilizado ampliamente para el procesamiento del lenguaje natural, los millones de palabras de un corpus como el Brown Corpus no son suficientes para las aplicaciones actuales a gran escala: muchos sentidos de las palabras no están representados; muchas estructuras sintácticas ocurren con muy poca frecuencia para ser significativas, y el corpus es demasiado pequeño para ser utilizado para calcular las probabilidades de bi-gramo y tri-gramo que son necesarias para el entrenamiento de modelos de lenguaje para el reconocimiento del habla.

Desgraciadamente, los grandes corpus disponibles para la investigación consisten en textos que pueden adquirirse fácilmente y que están disponibles para su redistribución sin problemas indebidos de derechos de autor, etc. Por este motivo, los corpus utilizados para la recopilación de estadísticas para el procesamiento del lenguaje están muy sobrerrepresentados en ciertos géneros, en particular en muestras de periódicos, que constituyen el mayor porcentaje de textos disponibles actualmente, por ejemplo, en la LDC, y que también dominan los datos de entrenamiento disponibles para el reconocimiento del habla. Otros corpus disponibles suelen consistir en informes técnicos, transcripciones de actas parlamentarias y otras, breves conversaciones telefónicas, etc. El resultado es que el procesamiento del lenguaje natural basado en corpus se ha basado en gran medida en muestras de lenguaje representativas del uso en un puñado de dominios limitados y lingüísticamente especializados. Esto puede llevar a resultados drásticamente sesgados: por ejemplo, en los datos de los periódicos, hay un número desproporcionado de complementos NP complejos para algunos verbos, que aparecen en oraciones típicas del estilo de los periódicos, como “El precio subió un dos por ciento a 102 dólares por acción desde 100 dólares por acción”. Problemas similares surgen en el trabajo de desambiguación del sentido de las palabras: se ha observado que para algunas palabras de prueba típicas, como “línea”, ciertos sentidos (por ejemplo, el sentido común de “línea”, como en la frase “Realmente le entregó una línea”) están ausentes por completo en recursos como el Wall Street Journal.

El problema del equilibrio es grave en el reconocimiento del habla. Los sistemas de reconocimiento del habla dependen notoriamente de las características de sus corpus de entrenamiento. Los corpus lo suficientemente grandes como para entrenar los modelos lingüísticos de trigramas de los reconocedores del habla modernos (muchas decenas de millones de palabras) están compuestos invariablemente por textos escritos en lugar de hablados.Si, Pero: Pero las diferencias entre el lenguaje escrito y el hablado son aún más graves que las diferencias entre corpus equilibrados como el de Brown y corpus de periódicos como el del Wall Street Journal.

Una Conclusión

Por lo tanto, cada vez que una investigación sobre el reconocimiento del habla se traslada a un nuevo ámbito, es necesario recopilar un nuevo corpus de entrenamiento de gran tamaño, transcribirlo a nivel de palabras y alinear la transcripción con el habla.

Análisis del lenguaje

La recopilación de datos lingüísticos auténticos a partir de corpus permite una descripción del lenguaje que parte de las pruebas y no de la imposición de un modelo teórico. Dado que los hablantes y escritores producen un lenguaje con objetivos comunicativos reales, los corpus de textos de hablantes nativos proporcionan, en principio, muestras de lenguaje genuino. Por esta razón, uno de los usos más antiguos de los corpus es la elaboración de diccionarios, o lexicografía, y en particular, la lexicografía con el objetivo de producir los llamados “diccionarios para estudiantes”, diseñados para quienes aprenden una nueva lengua.

El corpus COBUILD se recopiló a principios de los años ochenta, cuando incluía unos 7 millones de palabras. Este corpus se utilizó para crear el Collins COBUILD English Dictionary, el primer diccionario que se basó totalmente en corpus para su creación. Siguiendo este ejemplo, a lo largo de la siguiente década la mayoría de los editores de diccionarios británicos empezaron a utilizar corpus como fuente de datos principal para sus diccionarios, aunque curiosamente, los editores de diccionarios estadounidenses sólo están empezando a confiar en los corpus para guiar la lexicografía.

La herramienta lexicográfica básica para analizar un corpus es un concordador, un programa que muestra las apariciones de una palabra en medio de una línea de contexto del corpus.

Puntualización

Sin embargo, el enorme aumento de los datos disponibles ha llevado a una situación en la que los lexicógrafos se encuentran con cientos o incluso miles de líneas de concordancia para una sola palabra. Como consecuencia, los lexicógrafos han empezado a recurrir a técnicas derivadas de la lingüística computacional para resumir los datos de concordancia. La más común es la puntuación de la “información mutua” (IM), una medida estadística que muestra el grado de asociación de una palabra con otras en función de la regularidad con la que coinciden en el contexto. Por ejemplo, en inglés, la puntuación de información mutua de las palabras “strong” y “tea” es mucho mayor que la de “powerful” y “tea”, a pesar de que “strong” y “powerful” tienen significados similares. Este tipo de información es muy valiosa para los lexicógrafos, especialmente para la creación de diccionarios para estudiantes de idiomas que deben ofrecer este tipo de distinciones.

Basado en la experiencia de varios autores, mis opiniones, perspectivas y recomendaciones se expresarán a continuación (o en otros lugares de esta plataforma, respecto a las características en 2026 o antes, y el futuro de esta cuestión):

Recientemente, los creadores de diccionarios se han unido a los investigadores del campo de la lingüística computacional para obtener información aún más precisa de los datos del corpus. Por ejemplo, las puntuaciones del IM pueden mostrar que “fuerte” se coloca con norte, muestra, creyente, corriente, partidario y olor, mientras que “poderoso” se coloca con palabras como herramienta, minoría, vecino, símbolo, figura, arma y poste; pero la puntuación del IM no indica los tipos de relaciones gramaticales que existen entre una palabra y sus colocaciones. La información gramatical complementaria puede proporcionar una comprensión aún más precisa del uso de las palabras. Por ejemplo, la palabra “té” se coloca con palabras como cuchara, leche y azúcar cuando estas palabras aparecen como objeto de la preposición “con”; con taza, platillo y vaso cuando son objetos de la preposición “en”; con café, tostada, azúcar, etc., cuando van unidas por “y” o “o”; y “té” suele ser el objeto de verbos como beber, sorber, verter, terminar y hacer.

Para recopilar esta información, se necesita un software de procesamiento lingüístico relativamente sofisticado que pueda anotar los datos en busca de uno o varios de los tipos de información señalados en las secciones anteriores. La necesidad de obtener resultados más informativos que sirvan a las necesidades de la lexicografía ha llevado a una mayor colaboración con los lingüistas computacionales. Vemos, pues, cómo dos grupos de investigadores que antes trabajaban de forma independiente se unen para abordar problemas comunes.

En general, los investigadores de humanidades y los de lingüística computacional no han colaborado, a pesar de sus problemas y objetivos comunes. Con la llegada de la World Wide Web, esto debería cambiar pronto.

Pormenores

Los humanistas tienen un mayor acceso a la información sobre el trabajo en lingüística computacional, así como a las herramientas y recursos desarrollados por esa comunidad. Los lingüistas computacionales, por su parte, se enfrentarán probablemente a nuevos retos de procesamiento del lenguaje debido a la necesidad de manejar una mayor variedad de materiales accesibles en la web, como obras literarias, documentos históricos y similares. La eventual colaboración de estos dos grupos debería conducir, al final, a un aumento considerable de las capacidades de ambos.

La mayoría de las ficciones interactivas trazan una trayectoria estrechamente guionizada. Los jugadores deben visitar una serie de lugares, en orden libre o fijo, y deben resolver un problema para llegar al siguiente lugar.Entre las Líneas En Spider and Web, por ejemplo, el jugador A puede probar el blaster y la ganzúa para entrar en un espacio antes de tener éxito con el escáner; el jugador B puede no resolver nunca el problema y ser atrapado por los guardias en el pasillo (un destino que puede evitarse consultando las soluciones publicadas en la web); mientras que el jugador C puede tener éxito en el primer intento. El único margen de variación reside en los intentos fallidos del jugador. Spider and Web crea una variación original de este patrón al presentar las acciones fallidas del usuario no como hechos reales, sino como mentiras contadas por el personaje del jugador a un interrogador que quiere saber cómo ha conseguido infiltrarse en un laboratorio de guerra secreto.

Algunas ficciones interactivas tienen dos o tres finales, pero, en general, la variedad de aportaciones del jugador no se traduce en una variedad igual en el plano de la trama. Aunque pueden desarrollarse guiones muy imaginativos que aderezan la resolución de problemas con interés narrativo, los textos de las IF ofrecen pocos incentivos para volver a entrar en su mundo una vez superado el juego.Si, Pero: Pero la rejugabilidad infinita no es un signo fiable de alta variabilidad narrativa.

Datos verificados por: Brooks

Recursos

Véase También

Bibliografía

Antropología Lingüística, Documentación Lingüística, Etimología, Etnografía, Etnolingüística, Fonología, Lenguas amenazadas, Lexicografía, pedagogía,

▷ Esperamos que haya sido de utilidad. Si conoces a alguien que pueda estar interesado en este tema, por favor comparte con él/ella este contenido. Es la mejor forma de ayudar al Proyecto Lawi.