CORPUS PARALELOS PARA SISTEMAS DE TA
Construya y mejore sistemas de traducción automática con corpus paralelos elaborados por humanos y de alta calidad
Debido a nuestras raíces en el campo de la traducción, tenemos una larga trayectoria en la creación de corpus paralelos para sistemas de traducción automática. Nuestros servicios de stock, traducción y postedición se han utilizado para entrenar algunos de los sistemas de traducción automática en línea más conocidos del mundo.
¿Qué es un corpus paralelo?
Los corpus paralelos son colecciones de traducciones, normalmente en dos lenguas, que están alineadas a nivel de frase u oración.
Los corpus paralelos se convirtieron en datos muy codiciados con la llegada de los primeros sistemas de traducción automática estadística y, más tarde, los neuronales. También son recursos esenciales para el entrenamiento de cualquier sistema de traducción automática. De igual manera, se trata de recursos muy valiosos para otras aplicaciones de IA que requieren datos multilingües, como es el caso de muchas disciplinas relacionadas con el PLN (procesamiento del lenguaje natural), por ejemplo, la generación de lenguaje natural (NLG).
¿Qué importancia tienen los corpus paralelos para la IA?
Muchos sistemas de IA, como los sistemas de traducción automática, requieren datos bilingües o multilingües. Estos datos se deben curar muy bien, estar dentro del dominio y limpiarse antes de su entrega. Pangeanic recopila datos libres de propiedad intelectual y genera sus propios datos monolingües que se traducen a petición del cliente para construir o ajustar sistemas de traducción automática.
Nuestros corpus paralelos permiten a los sistemas aprender cómo se traducen las palabras y frases entre dos o más lenguas, y reconocer las sutiles diferencias de significado y uso que existen entre ellas.
¡Más de 200 idiomas! Y con el español como idioma central (sin pivotar por el inglés)
Trabajamos con el español como idioma central de nuestros desarrollos, creando motores de traducción directamente entre el español y el inglés, francés, chino, japonés, alemán, italiano.... para mantener así los matices entre el español y los demás idiomas.
También ayudamos a crear sistemas verdaderamente multilingües no solo con corpus paralelos desde o hacia el inglés, sino también en combinaciones lingüísticas complejas como chino, japonés, coreano, hindi, hokkien o árabe hacia español, francés, alemán, italiano, portugués de Brasil, ruso o polaco.
Confidencialidad y propiedad (derechos de propiedad intelectual)
Muchos de nuestros clientes nos hacen pedidos de nuestra base de datos o solicitan servicios de traducción a partir de los que nos han facilitado. La reputación de Pangeanic se cimienta en la confidencialidad y la privacidad. Recopilamos, creamos y elaboramos corpus monolingües y traducimos partes de ellos previa solicitud. Muchos de nuestros clientes aprecian los datos únicos que pueden diferenciarlos de otras empresas tecnológicas y no quieren compartir derechos ni reutilizar corpus de acceso abierto disponibles comúnmente. Por ello, nuestros clientes pueden elegir tener plenos derechos sobre los datos, de forma que pasan a ser de su propiedad. Posteriormente, Pangeanic los etiqueta con un identificador único y los separa de la base de datos general para que nunca se revendan.
Calidad de los datos
Los corpus paralelos deben ser de gran calidad, lo que significa que las traducciones deben ser precisas y estar alineadas a nivel de frase u oración. Esto puede ser difícil de conseguir, sobre todo cuando se trata de lenguas con pocos recursos. La posedición se ha convertido en una estrategia para reforzar el estilo a partir de un determinado motor de TA y no es ajena a Pangeanic.
Cantidad de datos
Los corpus paralelos deben ser lo suficientemente grandes para ser útiles, lo que significa que deben contener un número suficiente de oraciones para permitir un entrenamiento eficaz de los sistemas de traducción automática. Las lenguas de escasos recursos, con un bajo número de hablantes o sin presencia digital (lenguas africanas, del subcontinente indio o del sudeste asiático) han representado históricamente un reto para la recopilación de datos y Pangeanic trabaja a diario para constituir una base datos. Encontrar datos específicos en ámbitos como las conversaciones o los diálogos, ya que los temas fiscales son ámbitos "limitados", también representa un reto.
Diversidad de datos
Los corpus paralelos deben ser lo suficientemente diversos como para captar toda la gama de variaciones y matices de las lenguas estudiadas. Esto puede representar un reto, sobre todo cuando se trabaja con lenguas como el árabe o el alemán (de Austria, de Alemania, de Suiza) o el español que tienen múltiples dialectos o variaciones regionales.
¿Está construyendo o mejorando su sistema de traducción automática?
¿Tiene un conjunto de datos que necesita una traducción humana cuidadosa y especializada para que forme parte de sus datos de entrenamiento?
Las lenguas evolucionan y la IA sigue avanzando
Nuestros equipos de recopilación de corpus están ocupados recopilando nuevas palabras, expresiones novedosas creadas por nuevas circunstancias como covid-19, trabajo a distancia o staycation (vacaciones en casa), en muchos idiomas para alimentar la demanda de corpus paralelos de alta calidad y actualizar motores de traducción automática.
