JP7441864B2

JP7441864B2 - 多音字の発音を予測する方法、装置、設備、および記憶媒体

Info

Publication number: JP7441864B2
Application number: JP2021574349A
Authority: JP
Inventors: 俊杰李; 志宇張; 駿馬; 少軍王
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2020-12-10
Filing date: 2021-03-29
Publication date: 2024-03-01
Anticipated expiration: 2041-03-29
Also published as: WO2022121166A1; CN112528648A; JP2023509257A

Description

本出願は、２０２０年１２月１０日に中国特許局に提出された、「多音字の発音を予測する方法、装置、設備、および記憶媒体」と題する中国特許出願第２０２０１１４３２５８５．６号の優先権を主張し、その全ての内容が参照により本出願に組み込まれている。

本出願は、人工知能における知的意思特定の分野に関し、特に、多音字の発音を予測する方法、装置、設備、および記憶媒体に関する。

テキスト読み上げ（Ｔｅｘｔ－ｔｏ－Ｓｐｅｅｃｈ）システムでは、書記素から音素（ｇｒａｐｈｅｍｅ－ｔｏ－ｐｈｏｎｅｍｅ）への変換が重要な構成部分である。しかし、他の言語とは異なり、中国語の１つの文字が文脈によって異なる発音を持つことがよく見られ、さらに３つ以上の発音を持つ漢字も多く存在している。したがって、多音字発音ラベリングシステムの品質は、中国語音声合成ラベリングシステムの品質に大きく影響され、発音ラベリングが間違っていると、合成された音声に明らかな誤りが生じる。現在、多音字発音の予測方法に関しては、通常、ラベリングされたデータを使用し、ラベリングされたデータからの特定のベクトル集合をランダムに初期化して多音字発音を予測することである。

しかし、本発明者らは、ベクトル集合をランダムに初期化すると、多音字発音を予測する際、モデルを訓練する場合ラベリングされていない単語を認識できないという問題、すなわち未登録語問題（ｏｕｔｏｆｖｏｃａｂｕｌａｒｙ）が発生し、その結果、多音字発音を予測する精度が低下することに気が付いた。

本出願は、多音字発音を予測する精度を向上させるための多音字の発音を予測する方法、装置、設備、および記憶媒体を提供する。

本出願の第１の態様は、多音字発音の予測方法を提供し、
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得することと、
前記被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換することと、
前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得ることと、
予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定することと、を含む。

本出願の第２の態様は、多音字発音の予測装置を提供し、
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得するための取得モジュールと、
前記被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換するための変換モジュールと、
前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得るためのスティッチングモジュールと、
予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定するための特定モジュールと、を含む。

本出願の第３の態様は、多音字発音の予測設備を提供し、命令が記憶されたメモリと、少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサが前記メモリにおける前記命令を呼び出すことで、前記多音字発音の予測設備に、以下のような多音字発音の予測方法、すなわち、
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得し、
前記被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換し、
前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得て、
そして、予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定すること、を実行させる。

本出願の第４の態様は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体に命令が記憶され、それがコンピュータ上で実行されると、コンピュータに、以下のような多音字発音の予測方法、すなわち、
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得し、
前記被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換し、
前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得て、
そして、予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定すること、を実行させる。

本出願が提供する技術的解決手段では、ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得し、被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換し、多音字表現ベクトルと単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得て、そして、予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定する。本出願の実施例では、目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換し、単語の特徴を単語レベル特徴に変換することで、未登録語の問題が回避され、それによって、多音字発音予測の精度を効果的に向上させ、また、多音字表現ベクトルと単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、しかも予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定し、さらに、目標分割単語と注意力メカニズムを組み合わせて、目標多音字の発音を予測することで、いかなるルールや手動の特徴設計も不要になり、単語分割に存在するラベリングエラー問題の影響を緩和し、被処理中国語フレーズのテキスト意味情報を正確に捉えることができ、多音字発音の予測精度を向上させる。

本出願の実施例における多音字発音の予測方法の一実施例の模式図である。本出願の実施例における多音字発音の予測方法の別の実施例の模式図である。本出願の実施例における多音字発音の予測装置の一実施例の模式図である。本出願の実施例における多音字発音の予測装置の別の実施例の模式図である。本出願の実施例における多音字発音の予測設備の一実施例の模式図である。

本出願の実施例は、多音字発音を予測する精度を向上させる多音字の発音を予測する方法、装置、設備、および記憶媒体を提供する。

本出願の明細書、特許請求の範囲、および上記の図面における「第１」、「第２」、「第３」、「第４」（存在する場合）などの用語は、特定の順序または優先順序を説明するためのものではなく、類似した対象物を区別するために使用されている。このように使用されるデータは、適切な場合には交換可能であり、これによって、本明細書に記載されている実施例は、本明細書に図示または記載されているものと異なる順序で実行することができることを理解すべきである。さらに、「含む」または「有する」という用語およびその変型は、非排他的な包含をカバーすることを意図しており、例えば、一連のステップまたはユニットを含む過程、方法、システム、製品または設備は、明確に記載されたそれらのステップまたはユニットに限定される必要はなく、明確に記載されていない他のステップまたはユニットを含むか、それらの過程、方法、製品または設備に固有のステップまたはユニットを含んでもよい。

理解を容易にするために、本出願の実施例の具体的な流れを以下に説明し、図１を参照すると、本出願の実施例における多音字発音の予測方法の一実施例は、１０１、１０２、１０３、および１０４を含む。

１０１、ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得する。

理解されるように、本出願の実行主体は、多音字発音の予測装置だけでなく、端末やサーバであってもよく、ここでは具体的に限定されない。本出願の実施例は、サーバを実行主体として説明する。

サーバは、予め設定されたインターフェースから送信された初期中国語フレーズを受信し、初期中国語フレーズに対してデータクリーニングを行い、候補中国語フレーズを得て、そして、汎用辞書、ビジネスドメイン辞書、およびユーザ画像ラベルのうちの少なくとも１つの多音字に基づいて作成された付箋であり得る、予め作成された多音字ラベルを取得ことで、マルチドメインラベリングに基づく多音字の普遍性と精度を向上させ、また、ユーザ画像ラベルの関心に基づいて、多音字のラベリング精度を向上させ、多音字ラベルは、多音字と、意味情報に基づく多音字の発音とを含み、候補中国語フレーズのビジネスドメインとユーザ情報を認識し、ビジネスドメインとユーザ情報に基づいて、対応する多音字ラベルを呼び出し、さらに、当該多音字ラベルを用いて、候補中国語フレーズにおける目標多音字を認識し、かつ目標多音字をラベリングすることで、ラベリングされた被処理中国語フレーズを得る。

サーバは、ラベリングされた被処理中国語フレーズを得た後、予め訓練された文字ベクトルおよび予め設定された文字ベクトル変換アルゴリズムを呼び出して、被処理中国語フレーズの単語に対してベクトル変換を行い、文字表現ベクトルセットを得て、ラベリングされた目標多音字に応じて、文字表現ベクトルセットにおける目標多音字に対応する表現ベクトルを抽出し、それによって、多音字表現ベクトルを得て、または、サーバは、ラベリングされた被処理中国語フレーズにおける目標多音字を抽出し、予め訓練された文字ベクトルおよび予め設定された文字ベクトル変換アルゴリズムを呼び出して、被処理中国語フレーズの単語と目標多音字に対してそれぞれベクトル変換を行い、文字表現ベクトルセットおよび多音字表現ベクトルを得る。ここで、目標多音字の数は、１つ以上である。

１０２、被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換する。

サーバは、予め設定された吃音ｊｉｅｂａ単語分割ツールや、中国語処理パケットｈａｎｌｐ単語分割ツールなどの単語分割ツールを呼び出して、被処理中国語フレーズに対して、元の文順に基づく単語分割処理を行い、初期分割単語を得て、あるいは、サーバは、予め設定された、辞書に基づく中国語単語分割アルゴリズム、または統計に基づく中国語単語分割アルゴリズムを呼び出して、被処理中国語フレーズに対して、元の文順に基づく単語分割処理を行い、初期分割単語を得て、予め設定されたワードスティッチングルールに応じて、初期分割単語をスティッチングして目標分割単語を得て、ここで、初期分割単語と目標分割単語の数はいずれも１つ以上である。サーバは、目標分割単語に応じて、文字表現ベクトルセットにおける文字表現ベクトルを分類し、各目標分割単語に対応する文字表現ベクトル群を得て、各目標分割単語に対応する文字表現ベクトル群をスティッチングして、単語レベル特徴表現ベクトルを得、単語レベル特徴表現ベクトルの数は１つ以上であり、１つの目標分割単語は、１つの単語レベル特徴表現ベクトルに対応する。

１０３、多音字表現ベクトルと単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得る。

サーバは、予め設定された注意力メカニズムによって、多音字表現ベクトルの多音字注意力値を計算し、当該多音字注意力値と多音字表現ベクトルを乗算して多音字ベクトル行列を得て、多音字表現ベクトルに基づく単語レベル特徴表現ベクトルの単語注意力値を計算し、単語ベクトル行列を得て、多音字ベクトル行列と単語ベクトル行列に対して行列加算または行列乗算を行って目標ベクトルを得てよく、あるいは、サーバは、予め設定された注意力メカニズムによって、単語レベル特徴表現ベクトルに対する多音字表現ベクトルの第１の注意力値を計算し、多音字表現ベクトルに対する単語レベル特徴表現ベクトルの第２の注意力値を得て、第１の注意力値と単語レベル特徴表現ベクトルを乗算して第１のベクトルを得て、第２の注意力値と多音字表現ベクトルを乗算して第２のベクトルを得て、第１のベクトルと第２のベクトルに対して行列加算または行列乗算を行って目標ベクトルを得てもよい。

１０４、予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定する。

予め設定された線形層の層数は、複数の層であってもよく、各層はそれぞれ１つの分類器に対応し、すなわち、線形層は複数の分類器を含み、サーバは、複数の分類器を用いて、目標ベクトルに対してピンイン分類と確率値計算をそれぞれ行い、各分類器に対応する複数の初期ピンイン確率を得て、複数の分類器に対応する初期ピンイン確率に対して重み付け加算を行い、目標ベクトルの１つ以上の目標ピンイン確率を得て、そして、初期ピンイン確率、予め設定された閾値および初期ピンイン確率の大きさを比較して、目標ピンイン確率を得て、目標ピンイン確率に対応するピンインを目標多音字の目標発音として特定し、例えば、複数の分類器は、分類器１、分類器２および分類器３であり、分類器１は、目標ベクトルに対してピンイン分類と確率値計算を行い、ピンイン１に基づく確率Ａ１とピンイン２に基づく確率Ａ２を得て、分類器２は、目標ベクトルに対してピンイン分類と確率値計算を行い、ピンイン１に基づく確率Ｂ１とピンイン２に基づく確率Ｂ２を得て、分類器３は、目標ベクトルに対してピンイン分類と確率値計算を行い、ピンイン１に基づく確率Ｃ１とピンイン２に基づく確率Ｃ２を得て、Ａ１、Ｂ１とＣ１に対して重み付け加算を行い、ピンイン１に基づく目標ベクトルの初期ピンイン確率１を得て、Ａ２、Ｂ２とＣ２に対して重み付け加算を行い、ピンイン２に基づく目標ベクトルの初期ピンイン確率２を得て、初期ピンイン確率１と初期ピンイン確率２のいずれかが予め設定された閾値よりも大きい場合、予め設定された閾値よりも大きい初期ピンイン確率を目標ピンイン確率として特定し、初期ピンイン確率１と初期ピンイン確率２が両方とも予め設定された閾値よりも大きい場合、初期ピンイン確率１と初期ピンイン確率２のうちの大きい方を目標ピンイン確率として特定し、初期ピンイン確率１と初期ピンイン確率２が両方とも予め設定された閾値以下である場合、初期ピンイン確率を再計算する。サーバは、目標ピンイン確率を得た後、目標ピンイン確率に対応するピンインを目標多音字の目標発音として特定する。

ここで、別の実施例では、サーバは、被処理中国語フレーズと目標多音字に応じて、予め設定されたデータベースに記憶された初期履歴多音字情報をマッチングし、対応する目標履歴多音字情報を得て、目標履歴多音字情報は、目標履歴中国語フレーズ、目標履歴中国語フレーズにおける履歴多音字と履歴多音字発音を含み、目標多音字の目標発音と履歴多音字発音との間の類似度を計算し、当該類似度と１の差を計算して目標値を得て、目標値が予め設定された類似度の値よりも小さいか否かを判断し、そうである場合、目標多音字の目標発音を最後の目標発音として特定し、そうでない場合、履歴多音字発音を目標多音字の目標発音として特定する。

本出願の実施例では、目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換し、単語の特徴を単語レベル特徴に変換することで、未登録語の問題が回避され、それによって、多音字発音予測の精度を効果的に向上させ、また、多音字表現ベクトルと単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、しかも予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定し、さらに、目標分割単語と注意力メカニズムを組み合わせて、目標多音字発音を予測することで、いかなるルールや手動の特徴設計も不要になり、単語分割に存在するラベリングエラー問題の影響を緩和し、被処理中国語フレーズのテキスト意味情報を正確に捉えることができ、多音字発音の予測精度を向上させる。

図２を参照すると、本出願の実施例における多音字発音の予測方法の別の実施例は、２０１、２０２、２０３、２０４、および２０５を含む。

２０１、ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得する。

具体的には、サーバは、初期中国語フレーズ、初期中国語フレーズにおける目標多音字、および目標多音字に対応する多音字位置情報を取得し、多音字位置情報に応じて、初期中国語フレーズにおける目標多音字をラベリングし、被処理中国語フレーズを得て、被処理中国語フレーズに対して文字ベクトルの符号化と多音字ベクトルの抽出を順次行い、文字表現ベクトルセットと多音字表現ベクトルを得る。

サーバは、予め設定されたインターフェースから送信された初期中国語フレーズを受信し、予め作成された多音字辞書を呼び出し、初期中国語フレーズに対して多音字認識を行い、目標多音字を得て、初期中国語フレーズにおける目標多音字の位置情報（すなわち、多音字位置情報）を抽出し、初期中国語フレーズの多音字位置情報に対応する目標多音字をラベリングし、ラベリングされる内容は、目標多音字と目標多音字の多音字位置情報を含み、ラベリングされる内容はさらに、初期中国語フレーズに対応する中国語フレーズに基づく目標多音字の発音を含んでもく、ここで、意味的類似度、感情的類似度、および構文的類似度の重み付け加算値を計算することで、初期中国語フレーズに対応する中国語フレーズをマッチングすることができ、それによって、被処理中国語フレーズを得る。

サーバは、予め設定された教師付きニューラルネットワークエンコーダーおよび／または教師なしの事前訓練済みネットワークエンコーダーを呼び出して、被処理中国語フレーズに対して文字ベクトル符号化を行い、文字表現ベクトルセットを得て、文字表現ベクトルセットから目標多音字に対応する多音字表現ベクトルを抽出する。

具体的には、サーバは、予め設定されたディープニューラルネットワークエンコーダーによって、被処理中国語フレーズにおける各文字を符号化し、文字表現ベクトルセットを得て、１つの文字表現ベクトルが１つの文字に対応し、多音字位置情報に応じて、文字表現ベクトルセットから目標多音字に対応する表現ベクトルを抽出し、多音字表現ベクトルを得る。

サーバは、予め設定された教師付きニューラルネットワークエンコーダーにおけるディープニューラルネットワークエンコーダーを呼び出し、ディープニューラルネットワークエンコーダーは、長短期記憶人工ニューラルネットワーク（ｌｏｎｇｓｈｏｒｔ－ｔｅｒｍｍｅｍｏｒｙ、ＬＳＴＭ）モデル、およびトランスフォーマーからの双方向エンコーダー表現（ｂｉｄｉｒｅｃｔｉｏｎａｌｅｎｃｏｄｅｒｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍｔｒａｎｓｆｏｒｍｅｒｓ、ＢＥＲＴ）モデルのうちの少なくとも１つを含んでもよいが、これらに限定されなく、ディープニューラルネットワークエンコーダーによって、被処理中国語フレーズにおける各単語の配列順に応じて、被処理中国語フレーズにおける各単語に対して文脈上の意味情報に基づく符号化を行い、各単語の表現ベクトル、すなわち文字表現ベクトルセットを得て、文字表現ベクトルセットにおける多音字位置情報対応する表現ベクトルを抽出して、多音字表現ベクトルを得て、例えば、被処理中国語フレーズは「全ての商品がいずれも割引価格で販売されている」である場合、多音字位置情報は被処理中国語フレーズの７番目の単語となり、文字表現ベクトルセットから７番目の文字表現ベクトルを抽出して、目標多音字に対応する多音字表現ベクトルを得る。

２０２、被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換する。

具体的には、サーバは、被処理中国語フレーズに対して単語分割処理を行って目標分割単語を得て、目標分割単語に応じて文字表現ベクトルセットを分割して各単語の表現ベクトル群を得、予め設定されたハイブリッドプーリング層によって、各単語の表現ベクトル群をハイブリッドプーリングして、単語レベル特徴表現ベクトルを得る。

サーバは、予め設定された中国語単語分割アルゴリズムを呼び出して、被処理中国語フレーズに対して単語分割処理を行って初期分割単語を得て、初期分割単語に対して品詞検出とフレーズ検出を行い、検出に合格した初期分割単語を目標分割単語として特定し、当該中国語単語分割アルゴリズムは、ユニグラムＮ－Ｇｒａｍモデルと双方向最大マッチング（ｂｉ－ｄｉｒｅｃｔｃｔｉｏｎｍａｔｃｈｉｎｇｍｅｔｈｏｄ、ＢＭ）モデルを統合したもので、すなわち、Ｎ－Ｇｒａｍモデルの出力がＢＭモデルの入力になったり、ＢＭモデルの出力がＮ－Ｇｒａｍモデルの入力になったり、Ｎ－ＧｒａｍモデルとＢＭモデルが並んで接続されたりすることが可能である。

サーバは、目標分割単語に応じて文字表現ベクトルセットを分割して、各単語の表現ベクトル群を得て、例えば、被処理中国語フレーズは「全ての商品がいずれも割引価格で販売されている」である場合、対応する目標分割単語は、「全ての」、「商品」、「いずれも」、「割引価格」と「販売」となり、「割引価格」を例に挙げると、「割引価格」という単語の表現ベクトル群は、「割引」の表現ベクトルと「価格」の表現ベクトルで構成され、他の単語も同様である。

予め設定されたハイブリッドプーリング層は、最大プーリングと平均プーリングを組み合わせたプーリング層を示すために用いられ、サーバは、予め設定されたハイブリッドプーリング層を呼び出し、各単語の表現ベクトル群をハイブリッドプーリングして、単語レベル特徴表現ベクトルを得、例えば、単語の表現ベクトル群における「割引」の表現ベクトルと「価格」の表現ベクトルを融合して、「割引価格」の単語レベル特徴表現ベクトルを得る。ここで、サーバは、ハイブリッドプーリング層における最大プーリング畳み込みカーネルまたは最大プーリング層によって、各単語の表現ベクトル群に対して最大プーリング処理を行い、第１の単語表現ベクトル群を得、また、ハイブリッドプーリング層における平均プーリング畳み込みカーネルまたは平均プーリング層によって、第１の単語表現ベクトル群に対して平均プーリング処理を行い、単語レベル特徴表現ベクトルを得てよく、あるいは、サーバは、ハイブリッドプーリング層における最大プーリング畳み込みカーネルまたは最大プーリング層によって、各単語の表現ベクトル群に対して最大プーリング処理を行い、第１の単語表現ベクトル群を得、また、ハイブリッドプーリング層における平均プーリング畳み込みカーネルまたは平均プーリング層によって、各単語の表現ベクトル群に対して平均プーリング処理を行い、第２の単語表現ベクトル群を得て、第１の単語表現ベクトル群と第２の単語表現ベクトル群を融合して、単語レベル特徴表現ベクトルを得てもよく、あるいは、サーバは、最大プーリング畳み込みカーネルと平均プーリング畳み込みカーネルを融合したハイブリッドプーリング層を予め作成し、各単語の表現ベクトル群に対してプーリング畳み込み処理を行い、単語レベル特徴表現ベクトルを得て、単語レベル特徴表現ベクトルの数は１つ以上であり、１つの目標分割単語は、１つの単語レベル特徴表現ベクトルに対応する。

２０３、予め設定されたフィードフォワード注意力メカニズムによって、多音字表現ベクトルと単語レベル特徴表現ベクトルに対して注意力の計算を行い、注意力ベクトルを得る。

サーバは、予め設定されたフィードフォワード注意力メカニズムｆｅｅｄ－ｆｏｒｗａｒｄａｔｔｅｎｔｉｏｎによって、多音字表現ベクトルと単語レベル特徴表現ベクトルとの注意力の値を計算し、当該注意力値によって多音字表現ベクトルと単語レベル特徴表現ベクトルに対して重み付け加算を行い、注意力ベクトルを得、あるいは、サーバは、予め設定されたフィードフォワード注意力メカニズムｆｅｅｄ－ｆｏｒｗａｒｄａｔｔｅｎｔｉｏｎによって、単語レベル特徴表現ベクトルに対する多音字表現ベクトルの注意力の値を計算し、注意力値と多音字表現ベクトルを乗算して多音字表現ベクトル行列を得て、多音字表現ベクトル行列と単語レベル特徴表現ベクトルに対して行列加算または行列乗算を行って注意力ベクトルを得る。

２０４、注意力ベクトルと多音字表現ベクトルをスティッチングして、目標ベクトルを得る。

サーバは、注意力ベクトルを得た後、注意力ベクトルと多音字表現ベクトルに対して行列乗算または行列加算を行って目標ベクトルを得、あるいは、サーバは、注意力ベクトルと多音字表現ベクトルに対して重み付け加算を行い、目標ベクトルを得る。予め設定されたフィードフォワード注意力メカニズムによって目標ベクトルを取得することは、目標多音字に対して、被処理中国語フレーズ中のどの単語の情報がより重要で、より大きな重みを必要とするかを示すことで、目標多音字の文脈的意味融合の精度を向上させる。

２０５、予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定する。

具体的には、サーバは、予め設定された線形層により、各ピンインに基づく目標ベクトルの確率を計算し、多音字ピンイン確率値セットを得て、次に、多音字ピンイン確率値セットにおける多音字ピンイン確率値を降順に並べ、かつ最初に並べられた多音字ピンイン確率値を目標ピンイン確率として特定し、さらに、目標ピンイン確率に対応するピンインを目標多音字の目標発音として特定する。

例えば、線形層の数は１つである場合、サーバは、目標ベクトルを予め設定された線形層に入力し、当該線形層によって各ピンインに基づく目標ベクトルの確率を計算し、多音字ピンイン確率値セットを多音字ピンイン確率値１および多音字ピンイン確率値２として取得し、多音字ピンイン確率値１および多音字ピンイン確率値２を降順に並べることで、「多音字ピンイン確率値２ー多音字ピンイン確率値１」という配列を得て、多音字ピンイン確率値２が最初に並べられた場合、それを目標ピンイン確率とし、目標ピンイン確率に対応するピンインを目標多音字の目標発音として特定する。

具体的には、サーバは、予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定した後、ラベリング発音に基づく目標発音の誤差値を取得し、かつ誤差値に応じて、目標発音を取得する実行プロセス、アルゴリズムやネットワーク構造などを含む、目標発音の取得戦略を最適化する。

サーバは、目標多音字のラベリング発音を取得し、当該ラベリング発音は、被処理中国語フレーズの意味と感情に対応するフレーズに基づく目標多音字の発音であり、当該ラベリング発音は、手動ラベリングによって得られてもよく、または予め訓練された多音字ラベリングモデルによるラベリングによって得られてもよく、目標多音字の目標発音とラベリング発音との間の発音類似度を計算し、発音類似度と１の差値を計算して、ラベリング発音に基づく目標発音の誤差値を得、当該誤差値によって目標発音を取得する実行プロセスを調整し、かつ目標発音を取得するためのネットワーク構造を当該誤差値によって最適化し、当該ネットワーク構造は、ニューラルネットワーク構造とモデルパラメータを含み、可能な対応する処理機能は、表現ベクトルの生成、表現ベクトルの抽出、単語分割や線形層のピンイン確率計算などであってもよく、目標発音を取得するためのアルゴリズムに対して当該誤差値によって増加や削除、または実行順序の調整を行い、誤差値によって目標発音の取得戦略を最適化することで、多音字発音の予測精度を向上させる。

以上は、本出願の実施例における多音字発音の予測方法を説明したが、以下は、本出願の実施例における多音字発音の予測装置を説明し、図３を参照すると、本出願の実施例における多音字発音の予測装置の一実施例は、
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得するための取得モジュール３０１と、
被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換するための変換モジュール３０２と、
多音字表現ベクトルと単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得るためのスティッチングモジュール３０３と、
予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定するための特定モジュール３０４と、を含む。

上記多音字発音の予測装置における各モジュールの機能実現は、上記多音字発音の予測方法の実施例における各ステップと対応し、その機能および実現プロセスはここで繰り返して説明しない。

図４を参照すると、本出願の実施例における多音字発音の予測装置の別の実施例は、
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得するための取得モジュール３０１と、
被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得て、かつ目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換するための変換モジュール３０２と、
多音字表現ベクトルと単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得るためのスティッチングモジュール３０３と、
ここで、スティッチングモジュール３０３が具体的に、
予め設定されたフィードフォワード注意力メカニズムによって、多音字表現ベクトルと単語レベル特徴表現ベクトルに対して注意力の計算を行い、注意力ベクトルを得るための計算ユニット３０３１、および
注意力ベクトルと多音字表現ベクトルをスティッチングして、目標ベクトルを得るためのスティッチングユニット３０３２を含み、
予め設定された線形層により、目標ベクトルの目標ピンイン確率を計算し、かつ目標ピンイン確率に基づいて目標多音字の目標発音を特定するための特定モジュール３０４と、を含む。

任意選択的に、変換モジュール３０２はさらに、具体的に、
被処理中国語フレーズに対して単語分割処理を実行して目標分割単語を得ることと、
目標分割単語に応じて文字表現ベクトルセットを分割して各単語の表現ベクトル群を得ることと、
予め設定されたハイブリッドプーリング層によって、各単語の表現ベクトル群をハイブリッドプーリングして、単語レベル特徴表現ベクトルを得ることと、に使用され得る。

任意選択的に、特定モジュール３０４はさらに、具体的に、
予め設定された線形層により、各ピンインに基づく目標ベクトルの確率を計算し、多音字ピンイン確率値セットを得ることと、
多音字ピンイン確率値セットにおける多音字ピンイン確率値を降順に並べ、かつ最初に並べられた多音字ピンイン確率値を目標ピンイン確率として特定することと、
目標ピンイン確率に対応するピンインを目標多音字の目標発音として特定することと、使用され得る。

任意選択的に、取得モジュール３０１は、
初期中国語フレーズ、初期中国語フレーズにおける目標多音字、および目標多音字に対応する多音字位置情報を取得するための取得ユニット３０１１と、
多音字位置情報に応じて、初期中国語フレーズにおける目標多音字をラベリングし、被処理中国語フレーズを得るためのラベリングユニット３０１２と、
被処理中国語フレーズに対して文字ベクトルの符号化と多音字ベクトルの抽出を順次行い、文字表現ベクトルセットと多音字表現ベクトルを得るための符号化抽出ユニット３０１３と、を含む。

任意選択的に、符号化抽出ユニット３０１３はさらに、具体的に、
予め設定されたディープニューラルネットワークエンコーダーによって、被処理中国語フレーズにおける各文字を符号化し、文字表現ベクトルセットを得て、１つの文字表現ベクトルが１つの文字に対応することと、
多音字位置情報に応じて、文字表現ベクトルセットから目標多音字に対応する表現ベクトルを抽出し、多音字表現ベクトルを得ることと、に使用され得る。

任意選択的に、多音字発音の予測装置はさらに、
ラベリング発音に基づく目標発音の誤差値を取得し、かつ誤差値に応じて、目標発音を取得する実行プロセス、アルゴリズムやネットワーク構造などを含む、目標発音の取得戦略を最適化するための最適化モジュール３０５を含む。

上記多音字発音の予測装置における各モジュールおよび各ユニットの機能実現は、上記多音字発音の予測方法の実施例における各ステップと対応し、その機能および実現プロセスはここで繰り返して説明しない。

上記の図３および図４では、モジュール化機能実体の観点から本出願の実施例における多音字発音の予測装置を詳細に説明したが、以下は、ハードウェア処理の観点から本出願の実施例における多音字発音の予測設備を詳細に説明する。

図５は、本出願の実施例で提供される多音字発音の予測設備の構造模式図であり、当該多音字発音の予測設備５００は、構成や性能によって差異が比較的大きい可能性があり、１つ以上のプロセッサ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔｓ、ＣＰＵ）５１０（例えば、１つ以上のプロセッサ）と、メモリ５２０と、アプリケーション５３３やデータ５３２を記憶する１つ以上の記憶媒体５３０（例えば、１つ以上の大容量記憶設備）を含み得る。ここで、メモリ５２０および記憶媒体５３０は、短期記憶または永続記憶のものであり得る。記憶媒体５３０に記憶されたプログラムは、１つ以上のモジュール（図示せず）を含み得、各モジュールは、多音字発音の予測設備５００における一連の命令操作を含み得る。さらに、プロセッサ５１０は、記憶媒体５３０と通信して、記憶媒体５３０における一連の命令操作を多音字発音の予測設備５００上で実行するように設定してもよい。

多音字発音の予測設備５００はさらに、１つ以上の電源５４０と、１つ以上の有線または無線ネットワークインターフェース５５０と、１つ以上の入出力インターフェース５６０、および／または、ＷｉｎｄｏｗｓＳｅｒｖｅ、ＭａｃＯＳＸ、Ｕｎｉｘ、Ｌｉｎｕｘ、ＦｒｅｅＢＳＤなどの１つ以上のオペレーティングシステム５３１を含み得る。当業者であれば、図５に示す多音字発音の予測設備の構造は、多音字発音の予測設備を限定するものではなく、図示したものよりも多くのまたは少ない部品を含んでもよいし、特定の部品を組み合わせてもよいし、部品の異なる配置であってもよいことを理解できるであろう。

本出願はさらに、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってもよく、揮発性コンピュータ可読記憶媒体であってもよく、コンピュータ可読記憶媒体には命令が記憶され、その命令がコンピュータ上で実行されると、コンピュータに多音字発音の予測方法のステップを実行させる。

さらに、コンピュータ可読記憶媒体は、記憶プログラム領域と記憶データ領域を主に含んでもよく、ここで、記憶プログラム領域は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションなどを含み得、記憶データ領域は、ブロックチェーンノードの使用に基づいて作成されたデータなどを含み得る。

本出願でいうブロックチェーンは、分散型データストレージ、ピアツーピア伝送、コンセンサスメカニズム、暗号アルゴリズムなどのコンピュータ技術の新しい応用モデルである。ブロックチェーン（Ｂｌｏｃｋｃｈａｉｎ）は、実質的には分散型データベースであり、暗号化方法で関連付けて生成されたデータブロックであり、各データブロックには、１回のネットワークトランザクションに関する情報が含まれており、その情報の有効性（偽造防止）を検証し、次のブロックを生成するために使用される。ブロックチェーンは、基礎となるブロックチェーンプラットフォーム、プラットフォーム製品サービス層、およびアプリケーションサービス層などを含み得る。

当業者であれば分かるように、説明の便宜上、上述したシステム、装置、およびユニットの具体的な作業プロセスは、上述した方法実施例における対応するプロセスを参照することができ、ここでは繰り返して説明しない。

統合ユニットは、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合には、コンピュータ可読取記憶媒体に記憶されてもよい。この理解に基づいて、本出願の技術的解決手段は、本質的にまたは従来技術に寄与するその一部、または当該技術的解決手段の全部または一部が、ソフトウェア製品の形で具現化されてもよく、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ設備（パーソナルコンピュータ、サーバやネットワーク設備など）に、本出願の各実施例に記載の方法のステップの全部または一部を実行させるためのいくつかの命令を含む。前述の記憶媒体には、ＵＳＢメモリー、モバイルハードディスク、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ、ＲＡＭ）、ディスクまたは光ディスクなど、プログラムコードを記憶できる媒介が含まれている。

前述のように、上記の実施例は、本出願の技術の解決手段を説明するために過ぎず、それらを限定するものではなく、上記の実施例を参照して本出願を詳細に説明したが、当業者であれば分かるように、上記の各実施例に記載された技術の解決手段を修正したり、その技術の特徴の一部を同等のものに置き換えたりすることは可能であり、そのような修正または置き換えは、対応する技術の解決手段の本質を本出願の各実施例の技術の解決手段の精神と範囲から逸脱させるものではない。

Claims

ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得することと、
前記被処理中国語フレーズに対して元の文順に基づく単語分割処理を行い、初期分割単語を得て、予め設定されたワードスティッチングルールに応じて、前記初期分割単語をスティッチングして目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換することと、
前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得ることと、
予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定することと、を含む、多音字発音の予測方法。
上述した、前記被処理中国語フレーズに対して元の文順に基づく単語分割処理を行い、初期分割単語を得て、予め設定されたワードスティッチングルールに応じて、前記初期分割単語をスティッチングして目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換することは、
前記被処理中国語フレーズに対して元の文順に基づく単語分割処理を行い、初期分割単語を得て、予め設定されたワードスティッチングルールに応じて、前記初期分割単語をスティッチングして目標分割単語を得ることと、
前記目標分割単語に応じて前記文字表現ベクトルセットを分割して各単語の表現ベクトル群を得ることと、
予め設定されたハイブリッドプーリング層によって、前記各単語の表現ベクトル群をハイブリッドプーリングして、単語レベル特徴表現ベクトルを得ることと、を含む、請求項１に記載の多音字発音の予測方法。
上述した、前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得ることは、
予め設定されたフィードフォワード注意力メカニズムによって、前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して注意力の計算を行い、注意力ベクトルを得ることと、
前記注意力ベクトルと前記多音字表現ベクトルをスティッチングして、目標ベクトルを得ることと、を含む、請求項１に記載の多音字発音の予測方法。
前記予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定することは、
予め設定された線形層により、各ピンインに基づく前記目標ベクトルの確率を計算し、多音字ピンイン確率値セットを得ることと、
前記多音字ピンイン確率値セットにおける多音字ピンイン確率値を降順に並べ、かつ最初に並べられた多音字ピンイン確率値を目標ピンイン確率として特定することと、
前記目標ピンイン確率に対応するピンインを前記目標多音字の目標発音として特定することと、を含む、請求項１に記載の多音字発音の予測方法。
上述した、ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得することは、
初期中国語フレーズ、前記初期中国語フレーズにおける目標多音字、および前記目標多音字に対応する多音字位置情報を取得することと、
前記多音字位置情報に応じて、前記初期中国語フレーズにおける目標多音字をラベリングし、被処理中国語フレーズを得ることと、
前記被処理中国語フレーズに対して文字ベクトルの符号化と多音字ベクトルの抽出を順次行い、文字表現ベクトルセットと多音字表現ベクトルを得ることと、を含む、請求項１に記載の多音字発音の予測方法。
上述した、前記被処理中国語フレーズに対して文字ベクトルの符号化と多音字ベクトルの抽出を順次行い、文字表現ベクトルセットと多音字表現ベクトルを得ることは、
予め設定されたディープニューラルネットワークエンコーダーによって、前記被処理中国語フレーズにおける各文字を符号化し、文字表現ベクトルセットを得て、１つの文字表現ベクトルが１つの文字に対応することと、
前記多音字位置情報に応じて、前記文字表現ベクトルセットから前記目標多音字に対応する表現ベクトルを抽出し、多音字表現ベクトルを得ることと、を含む、請求項５に記載の多音字発音の予測方法。
上述した、予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定するステップの後、さらに、
ラベリング発音に基づく前記目標発音の誤差値を取得し、かつ前記誤差値に応じて、前記目標発音を取得する実行プロセス、アルゴリズムやネットワーク構造を含む、前記目標発音の取得戦略を最適化することを、含む、請求項１～６のいずれか１項に記載の多音字発音の予測方法。
ラベリングされた、目標多音字を含む被処理中国語フレーズを取得し、かつ前記被処理中国語フレーズの文字表現ベクトルセットと多音字表現ベクトルを取得するための取得モジュールと、
前記被処理中国語フレーズに対して元の文順に基づく単語分割処理を行い、初期分割単語を得て、予め設定されたワードスティッチングルールに応じて、前記初期分割単語をスティッチングして目標分割単語を得て、かつ前記目標分割単語に応じて前記文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換するための変換モジュールと、
前記多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得るためのスティッチングモジュールと、
予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて前記目標多音字の目標発音を特定するための特定モジュールと、を含む、多音字発音の予測装置。
命令が記憶されたメモリと、少なくとも１つのプロセッサとを含んでおり、
前記少なくとも１つのプロセッサが前記メモリにおける前記命令を呼び出すことで、以下のような多音字発音の予測方法、すなわち、
被処理中国語フレーズに対して元の文順に基づく単語分割処理を行い、初期分割単語を得て、予め設定されたワードスティッチングルールに応じて、前記初期分割単語をスティッチングして目標分割単語を得て、かつ前記目標分割単語に応じて文字表現ベクトルセットを単語レベル特徴表現ベクトルに変換し、
多音字表現ベクトルと前記単語レベル特徴表現ベクトルに対して、注意力メカニズムに基づくスティッチング処理を行い、目標ベクトルを得て、
そして、予め設定された線形層により、前記目標ベクトルの目標ピンイン確率を計算し、かつ前記目標ピンイン確率に基づいて目標多音字の目標発音を特定すること、を前記多音字発音の予測設備に実行させる、多音字発音の予測設備。