機械翻訳システム用パラレルコーパス
人間が作った高品質なパラレルコーパスで機械翻訳システムを構築・改善
当社は翻訳業からスタートしているため、機械翻訳システム用のパラレルコーパスの作成において長年の実績があります。当社の蓄積データ、翻訳サービス、ポストエディティングサービスは、世界的に有名なオンライン機械翻訳システムの多くの訓練に使用されてきました。
パラレルコーパスとは何か？
パラレルコーパスとは、通常2つの言語で書かれた翻訳文の集合体で、文または句レベルで対応付けられたものです。
パラレルコーパスは、最初の統計的機械翻訳システム、そしてその後のニューラル機械翻訳システムの出現により、非常に需要の高いデータとなりました。これらは、あらゆる機械翻訳システムの訓練に不可欠なリソースです。また、多言語データを必要とする他の人工知能（AI）アプリケーションにとっても非常に価値のあるリソースとなっています。例えば、自然言語生成（NLG）など、多くの自然言語処理（NLP）分野でそのような例が見られます。
パラレルコーパスはAIにとってどれほど重要か？
機械翻訳システムをはじめとする多くのAIシステムには、バイリンガルデータまたは多言語データが必要です。このデータは、提供前に高度に管理され、特定分野に適合し、精製されている必要があります。Pangeanicは知的財産権（IP）から自由なデータを収集し、クライアントの要請に応じて独自の単言語データを生成し、それを翻訳して機械翻訳システムの構築や微調整を行います。
当社のパラレルコーパスにより、システムは2つ以上の言語間で単語や句がどのように翻訳されるかを学習し、それらの間に存在する意味や用法の微妙な違いを認識することが可能になります。
200以上の言語の組み合わせが可能です
英語から、または英語への並列コーパスだけでなく、中国語、日本語、韓国語、ヒンディー語、福建語、アラビア語からスペイン語、フランス語、ドイツ語、イタリア語、ブラジルポルトガル語、ロシア語、ポーランド語などの難しい言語ペアの並列コーパスを使用して、真の多言語システムの構築を支援します。
機密保持と所有権 (知的財産権)
当社のクライアントの多くは、既存のデータのオーダー、またはクライアントが提供したデータの翻訳を依頼します。Pangeanic の評判は、機密保持とプライバシー保護の上に成り立っています。当社は単一言語のコーパスを収集、作成、製造し、リクエストに応じてその一部を翻訳します。他のテクノロジー企業との差別化を図ることができる当社独自のデータは、多くのクライアントから高く評価されています。また、クライアントは権利の共有や、一般公開されているオープンアクセスのコーパスの再利用は望んでいません。弊社のクライアントはデータに関する全ての権利を持つことを選択できます。その場合、データはクライアントの所有物となり、弊社はそのデータに固有の識別子をタグ付けして一般のデータベースから分離するため、再販されることはありません。
データの品質
パラレルコーパスは高品質でなければなりません。つまり、正確な翻訳と、文または語句レベルでの整合性が必要です。これは、リソースの少ない言語の場合には実現が難しい場合があります。MTエンジンはポストエディットによって強化されますが、Pangeanic はこの方法に精通しています。
データの量
機械翻訳システムを効果的にトレーニングするには、十分な数の文章が含まれたパラレルコーパスが必要です。話者数が少ない言語や、デジタル上のデータが不足しているリソースの少ない言語（アフリカや、インド亜大陸、東南アジアの言語）は、これまでデータ収集の課題となってきました。Pangeanic はこれらのデータを収集しストックすることに、日々取り組んでいます。会話やダイアログ、税金問題などの「狭い」ドメインで特定のデータを見つけることも課題となります。
データの多様性
パラレルコーパスは、学習対象言語のあらゆるバリエーションとニュアンスを捉えるために、多様でなければなりません。これは、アラビア語やドイツ語 （オーストリア、ドイツ、スイス）、スペイン語など、複数の方言や地域的なバリエーションを持つ言語の場合には特に困難です。
お客様の機械翻訳システムを構築または微調整していますか？
訓練データの一部となるよう、慎重な専門家による人間による翻訳が必要なデータセットをお持ちですか？
言語は進化し、AIは進歩し続ける
当社のコーパス収集チームは、新しい単語や、新型コロナウイルス、リモートワーク、ステイケーションなどの新しい状況によって生まれた新しい表現を、多くの言語で収集することに尽力しています。これは、高品質なパラレルコーパスや機械翻訳エンジンの更新に対する需要に応えるためです。
