INTELIGÊNCIA ARTIFICIAL

Barcelona Supercomputing Center: Dados para IA, RLHF, testes de LLM e P&D

Espanha

Visão Geral

A Pangeanic estabeleceu uma relação de colaboração com o Barcelona Supercomputing Center (BSC), principalmente através do nosso envolvimento na área de Processamento de Linguagem Natural (PLN) e Inteligência Artificial (IA). Essa parceria é notavelmente facilitada pela Unidade de Tecnologias de Linguagem do BSC, que se concentra no avanço das tecnologias de PLN, incluindo a construção de modelos de linguagem massivos e projetos de tradução automática. A Pangeanic contribui para as iniciativas do BSC, aproveitando sua expertise em serviços de tradução impulsionados por IA e desenvolvendo ferramentas que aprimoram as capacidades de processamento de linguagem.

Tarefa

Anotação de Dados para IA: A Pangeanic forneceu serviços de anotação de dados que apoiam o treinamento de IA, o que pode envolver a colaboração com o BSC para garantir que conjuntos de dados de alta qualidade estejam disponíveis para aplicações de PLN. Nossa ferramenta PECAT facilita o controle de qualidade humano no ciclo (human-in-the-loop), garantindo que os dados anotados atendam aos altos padrões necessários para um treinamento de IA eficaz.

Aprendizado por Reforço com Feedback Humano (RLHF): A coleta de feedback humano e a coleta de dados onde humanos classificam ou pontuam os resultados gerados pelo modelo ajudam a criar um modelo de recompensa.

Mecanismos de detecção de viés: Trabalho para prevenir vieses em modelos de linguagem e aplicações de PLN, desenvolvendo ferramentas e usando humanos para criar conjuntos de dados para detectar discursos de ódio em múltiplos idiomas.

Projetos de P&D em Tradução Automática: A Pangeanic tem participado de várias iniciativas de pesquisa e desenvolvimento para aprimorar as tecnologias de tradução automática. Isso inclui projetos que utilizam os recursos de supercomputação do BSC para melhorar a eficiência e a precisão dos motores de tradução, especialmente através da integração de técnicas de tradução automática com IA.

A solução da Pangeanic

A colaboração entre a Pangeanic e o BSC envolve a criação de conjuntos de dados personalizados contendo segmentos bilíngues classificados por domínio e estilo, focando na coleta de dados bilíngues. Este projeto responde à crescente demanda por dados personalizados de alta qualidade em diversas indústrias. O processo inclui a seleção de domínios e estilos de texto, identificação e obtenção de fontes de dados, coleta de dados (crawling), limpeza e processamento de dados, validação e rotulagem de dados, e preparação do conjunto de dados para aplicações de processamento de linguagem natural. O conjunto de dados do projeto é um recurso valioso, especialmente para idiomas com poucos recursos, como o catalão. Ao oferecer conjuntos de dados personalizados, o projeto Pangeanic BSC estabelece um novo padrão de qualidade e relevância de dados, levando a soluções baseadas em dados mais eficientes e precisas em diversas indústrias.

Um dos modelos de LLM está disponível no HuggingFace.

Resultados

- Pesquisa e Desenvolvimento Conjuntos: A Pangeanic colabora com o BSC em projetos europeus de P&D para melhorar as tecnologias de PLN. Isso inclui trabalhos em tradução automática, onde os motores de tradução automática da Pangeanic complementam os recursos de computação de alto desempenho e os LLMs do BSC em espanhol, inglês, catalão e outros idiomas.
- Foco em Idiomas com Poucos Recursos: Ambas as organizações estão empenhadas em promover a inclusão na IA, desenvolvendo recursos para idiomas com poucos recursos. Sua colaboração visa criar ferramentas e conjuntos de dados de código aberto que facilitem a integração desses idiomas em modelos de IA, abordando assim as lacunas na representação digital.
- Infraestrutura Tecnológica: A parceria também enfatiza a construção de uma infraestrutura tecnológica robusta para tecnologias de linguagem. Isso inclui a hospedagem de plataformas de benchmarking que ajudam a definir o estado da arte em PLN, o que é crucial para a pesquisa acadêmica e aplicações industriais.
- Desenvolvimento Ético de IA: A Pangeanic dedica-se a práticas éticas no desenvolvimento de IA, focando na privacidade de dados e no uso responsável de tecnologias de IA. Isso se alinha com a missão do BSC de fomentar avanços tecnológicos que beneficiem a sociedade, mantendo os padrões éticos.

O Futuro

A colaboração entre o Barcelona Supercomputing Center (BSC) e a Pangeanic representa um passo significativo no avanço das tecnologias de Inteligência Artificial e Processamento de Linguagem Natural. À medida que olhamos para o futuro, essa parceria está preparada para fazer contribuições substanciais para várias áreas críticas do desenvolvimento da IA.

Avançando no Desenvolvimento de Modelos de Linguagem

As parcerias entre a Pangeanic e o BSC continuarão a crescer, e o foco na construção de modelos de linguagem massivos chega em um momento crucial na evolução da IA. Com o surgimento de modelos de linguagem cada vez mais sofisticados, as capacidades de supercomputação do BSC e a experiência da Pangeanic em tecnologias de linguagem os posicionam para desenvolver modelos de linguagem mais eficientes e culturalmente conscientes. Seu trabalho em espanhol, inglês, catalão e outros idiomas contribuirá para o avanço do estado da arte, à medida que o campo da IA avança em direção a modelos linguisticamente mais diversos.

A abordagem da parceria para o Aprendizado por Reforço com Feedback Humano (RLHF) é um testemunho do nosso espírito inovador. Ao coletar cuidadosamente o feedback humano e criar modelos de recompensa sofisticados, não estamos apenas construindo sistemas de IA melhores, mas criando uma IA que realmente entende e respeita os valores e preferências humanas. Este trabalho chega em um momento crucial, quando o alinhamento dos sistemas de IA com as necessidades humanas nunca foi tão importante.

Nos gusta la filosofía de trabajo de Pangeanic así como su profesionalidad. Su constante trabajo de escucha activa hacia el cliente les hace mejorar cada día más y esa, bajo mi punto de vista, es una de sus grandes cualidades.

Rafael de Jorge

Director de Marketing - Onahotels

Servicio rápido y eficiente. Encontramos la creación de una base de datos de traducciones realizadas por parte de Pangeanic una herramienta muy útil para otras ocasiones y/o trabajos similares.

Chloe Wu

Hisense

La calidad es excelente, como de costumbre. El texto de origen cambió muchas veces durante el proceso de traducción. Pangeanic reaccionó rápidamente a los cambios, lo cual nos ayudó mucho.

Eisuke Seki

ES Japan

Seja nosso próximo caso de sucesso?

Escolha um objetivo: economizar tempo e dinheiro, dimensionar operações, ou adicionar IA aos seus fluxos de trabalho de tradução: gestão de conhecimento e disseminação multilíngue com ECOChat. A Pangeanic fornecerá uma solução para dimensionar a comunicação e a distribuição do seu conteúdo para alcançar públicos em todo o mundo.