機械翻訳システム用パラレルコーパス
人手で作成された高品質パラレルコーパスで機械翻訳システムを構築・改善
当社は翻訳業を起源とするため、機械翻訳システム用パラレルコーパスの作成において長年の実績があります。当社の蓄積データ、翻訳サービス、ポストエディティングサービスは、世界的に有名なオンライン機械翻訳システムの多くの訓練に使用されてきました。
パラレルコーパスとは何か？
パラレルコーパスとは、通常2つの言語で書かれた翻訳文の集合体で、文または句レベルで対応付けられたものです。
パラレルコーパスは、最初の統計的機械翻訳システム、そしてその後のニューラル機械翻訳システムの出現により、非常に需要の高いデータとなりました。これらは、あらゆる機械翻訳システムの訓練に不可欠なリソースです。また、多言語データを必要とする他の人工知能（AI）アプリケーションにとっても非常に価値のあるリソースとなっています。例えば、自然言語生成（NLG）など、多くの自然言語処理（NLP）分野でそのような例が見られます。
パラレルコーパスはAIにとってどれほど重要か？
機械翻訳システムをはじめとする多くのAIシステムには、バイリンガルデータまたは多言語データが必要です。このデータは、提供前に高度に管理され、特定分野に適合し、精製されている必要があります。Pangeanicは知的財産権（IP）から自由なデータを収集し、クライアントの要請に応じて独自の単言語データを生成し、それを翻訳して機械翻訳システムの構築や微調整を行います。
当社のパラレルコーパスにより、システムは2つ以上の言語間で単語や句がどのように翻訳されるかを学習し、それらの間に存在する意味や用法の微妙な違いを認識することが可能になります。
+200 の言語の組み合わせ!
私たちは、英語からまたは英語への並列コーパスだけでなく、中国語、日本語、韓国語、ヒンディー語、福建語、アラビア語からスペイン語、フランス語、ドイツ語、イタリア語、ブラジルポルトガル語、ロシア語、ポーランド語などの難しい言語ペアの並列コーパスを使用して、真の多言語システムの構築を支援します。
機密保持と所有権 (知的財産権)
当社の顧客の多くは、当社の在庫から注文したり、提供されたデータから翻訳サービスを要求したりしています。 Pangeanic の評判は機密保持とプライバシーによって築かれています。弊社は単一言語コーパスを収集、作成、製造し、ご要望に応じてその一部を翻訳します。当社のクライアントの多くは、他のテクノロジー企業と差別化できる独自のデータを高く評価しており、権利を共有したり、一般に入手可能なオープンアクセスのコーパスを再利用したりすることを望んでいません。 当社のクライアントは、データに対する完全な権利を持つことを選択でき、データは自分の財産となり、Pangeanic がそのデータに一意の識別子をタグ付けして一般のデータベースから分離するため、再販されることはありません。
Data quality
対訳コーパスは高品質でなければなりません。つまり、翻訳は正確で、文または語句レベルで整合していなければなりません。これは、特にリソースの少ない言語を扱う場合には達成が困難な場合があります。ポストエディットは特定の MT エンジンのスタイルを強化する戦略となっており、パンゲアニックにとっては珍しいことではありません。
データ量
対訳コーパスは、有用であるために十分な大きさでなければなりません。これは、機械翻訳システムの効果的なトレーニングを可能にするのに十分な数の文が含まれている必要があることを意味します。話者が少ない、またはデジタルでの存在感が不足しているリソースの少ない言語 (アフリカの言語、インド亜大陸、東南アジアの言語) は歴史的にデータ収集の課題となっており、パンゲアニック語ではストックを構築するために日々取り組んでいます。会話や対話などの領域で特定のデータを見つけること、税務問題は「狭い」領域であることも課題です。
データの多様性
パラレルコーパスは、学習対象の言語のあらゆるバリエーションとニュアンスを捉えるのに十分な多様性を持っていなければなりません。これは、アラビア語やドイツ語 (オーストリア発、ドイツ発、スイス発) やスペイン語など、複数の方言や地域的バリエーションがある言語を扱う場合に特に困難になる可能性があります。
お客様の機械翻訳システムを構築または微調整していますか？
訓練データの一部となるよう、慎重な専門家による人手翻訳が必要なデータセットをお持ちですか？
言語は進化し、AIは進歩し続ける
当社のコーパス収集チームは、新しい単語や、新型コロナウイルス、リモートワーク、ステイケーションなどの新しい状況によって生まれた新しい表現を、多くの言語で収集することに尽力しています。これは、高品質なパラレルコーパスや機械翻訳エンジンの更新に対する需要に応えるためです。
