JP7122365B2 - テキスト認識処理方法、装置、電子機器及び記憶媒体 - Google Patents

Description

本出願の実施例は、概してコンピュータ技術分野に関し、より具体的に自然言語処理分野、深層学習技術分野に関する。

近年、汎用意味表現モデルＢＥＲＴを代表とする予めトレーニングされたモデルは、様々なＮＬＰ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、自然言語処理）タスクの効果を大幅に向上させることができる「予めトレーニング＋微調整」のパラダイムを提案した。ＢＥＲＴモデルは、深層モデル構造を採用し、大量の監視されていないテキストを使用してコンテキスト依存の表現を学習し、統一された汎用の方法によって様々な自然言語処理タスク（例えば、テキストマッチング、テキスト生成、感情分類、テキスト要約、質疑応答、検索など）を解決する。

しかしながら、現在主流の意味表現モデルは、短い長さ（例えば５１２）以内のフラグメントのみをモデリングすることができ、全体の文章のような、長さが５１２を超えるテキストに対してモデリングが困難であり、長尺テキスト情報を認識して処理することができない。

テキスト認識処理方法、装置、電子機器及び記憶媒体を提供する。

第１態様によれば、テキスト認識処理方法を提供し、
Ｎ個のフラグメントシーケンスを取得するステップであって、ここで、少なくとも１つのフラグメントにマスクがあるステップと、
前記Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、前記Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得するステップと、
各前記フラグメントシーケンスを順次前記初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個の前記フラグメントシーケンスに対応する第２のテキストベクトル情報を取得するステップと、
前記現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、前記第２のテキストベクトル情報及び前記第１のテキストベクトル情報に応じて、前記マスクを予測し、前記マスクに対応する目標位置の予測ワードを取得するステップと、
前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに応じて、前記初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成し、前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するステップと、を含む。

第２態様によれば、テキスト認識処理装置を提供し、
Ｎ個のフラグメントシーケンスを取得するための第１の取得モジュールであって、ここで、少なくとも１つのフラグメントにマスクがある第１の取得モジュールと、
前記Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、前記Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得するための第２の取得モジュールと、
各前記フラグメントシーケンスを順次前記初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個の前記フラグメントシーケンスに対応する第２のテキストベクトル情報を取得するための第３の取得モジュールと、
前記現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、前記第２のテキストベクトル情報及び前記第１のテキストベクトル情報に応じて、前記マスクを予測し、前記マスクに対応する目標位置の予測ワードを取得するための予測モジュールと、
前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに応じて、前記初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成するためのトレーニングモジュールと、
前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するための認識処理モジュールと、を含む。

第３態様によれば、電子機器を提供し、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが第１態様に記載のテキスト認識処理方法を実行する。

第４態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令は、前記コンピュータに第１態様に記載のテキスト認識処理方法を実行させる。

本出願の技術案によれば、Ｎ個のフラグメントシーケンスを取得し、ここで、少なくとも１つのフラグメントにマスクがあり、Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得し、各フラグメントシーケンスを順次初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得し、現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、第２のテキストベクトル情報及び第１のテキストベクトル情報に応じて、マスクを予測し、マスクに対応する目標位置の予測ワードを取得し、その後、目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成し、長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識する。ここから分かるように、本出願は、言語データテキストを繰り返してモデルに入力し（すなわちモデル２回入力する）、言語データテキストをモデルに１回目に入力する場合、言語データテキスト内のフラグメントシーケンスのテキストベクトルを生成するためにのみ使用され、このときマスクの予測学習が行われず、当該言語データテキストを２回目に入力した場合のみ、このとき１回目に入力されたフラグメントシーケンスのテキストベクトル情報が取得されているため、このときモデルによって当該１回目に入力して取得されたフラグメントシーケンスに対応するテキストベクトル、及び２回目に現在入力しているフラグメントシーケンスを使用してマスクを予測することができ、マスク予測が正しいか否かに対して勾配を戻すことにより、モデルのトレーニングを実現し、トレーニングして取得されたモデルは５１２を超える長さのテキストを処理することができるようにする。

また、本出願はセグメントモデリングの方式を採用するので、５１２以内のテキストに対して、モデリングを迅速に実現し、モデリング速度を向上させることができる。言語データテキストは２回繰り返してモデルに入力されたため、各フラグメントシーケンスはコンテキスト情報を取得することができるため、トレーニングモデルの性能を向上させ、トレーニングされたモデルの性能をより良くし、自然言語処理タスクの効果を効果的に向上させることができる。

なお、本出願はフラグメントシーケンスによって初期言語モデルをトレーニングする場合、深層学習の方式によってトレーニングすることができ、他の機械学習方法と比較して、深層学習はビッグデータセットでの表現がより良い。

なお、この部分に記載されている内容は、本開示の実施例の主要なまたは重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図していないことを理解されたい。本開示の他の特徴は、以下の説明を通して容易に理解される。

図面は、本技術案をよりよく理解するために使用されており、本出願を限定するものではない。
本出願の１つの実施例に係るテキスト認識処理方法のフローチャートである。 本出願のもう１つの実施例に係るテキスト認識処理方法のフローチャートである。 本出願の実施例に係る長いテキストモデリングプロセスの概略図である。 本出願のもう１つの実施例に係るテキスト認識処理方法のフローチャートである。 本出願の実施例に係る分類タスク入力の概略図である。 本出願のもう１つの実施例に係るテキスト認識処理方法のフローチャートである。 本出願の実施例に係るテキスト要約生成タスク入力の概略図である。 本出願の１つの実施例に係るテキスト認識処理装置の構成ブロック図である。 本出願の実施例を実現するテキスト認識処理方法を実現するための電子機器のブロック図である。

以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

図１は本出願の１つの実施例に係るテキスト認識処理方法のフローチャートである。なお、本出願の実施例のテキスト認識処理方法は、本出願の実施例のテキスト認識処理装置に適用することができ、当該テキスト認識処理装置は電子機器に配置することができる。

図１に示すように、当該テキスト認識処理方法は、以下のステップを含むことができる。

ステップ１０１：Ｎ個のフラグメントシーケンスを取得し、ここで、少なくとも１つのフラグメントにマスクがある。

本出願のいくつかの実施例において、長いテキスト言語データを取得し、長いテキスト言語データの複数の位置にあるオリジナルワードをそれぞれマスクに置き換えて、長いテキスト隠蔽言語データを取得し、予め設定された目標長さに従って前記長いテキスト隠蔽言語データを分割してＮ個のフラグメントシーケンスを取得する。

ここで、上記各長いテキスト言語データのテキストの長さは、特定の閾値を超えることができ、例えば、各長いテキスト言語データは記事全体であってもよいし、各長いテキスト言語データの長さが５１２をはるかに超えても良い。

選択可能に、長いテキスト言語データを取得した後、長いテキスト言語データに対してエンティティ認識をし、長いテキスト言語データにおけるエンティティに対応するオリジナルワードを隠蔽し、隠蔽されたオリジナルワードをマスクで置き換えて、長いテキスト隠蔽言語データを取得し、その後、予め設定された目標長さに従って長いテキスト隠蔽言語データをフラグメント分割して、Ｎ個のフラグメントシーケンスを取得する。ここで、当該目標長さは５１２である。

例えば、「四つの大名作は、『西遊記』、『水滸伝』、『三国志』、『紅楼夢』を含み、広大で煙のような古典小説の中でそびえる４つの高い山のようなものである」を例として、当該長いテキスト言語データに対してエンティティ認識をし、当該長いテキスト言語データにおける「西遊記」、「古典」のエンティティワードをマスクで隠蔽して、長いテキスト隠蔽言語データの「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、『三国志』、『紅楼夢』を含み、広大で煙のような［Ｍ］［Ｍ］小説の中でそびえる４つの高い山のようなものである」を取得し、その後、５１２の長さに従って当該長いテキスト隠蔽言語データをフラグメント分割して、３つのフラグメントシーケンス、すなわち「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」、「煙のような［Ｍ］［Ｍ］小説の中でそびえる４つの高い山のようなものである」を取得する。

ステップ１０２：Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得する。

このステップにおいて、Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力した後、初期言語モデルはＮ個のフラグメントシーケンスに対して特徴抽出を行って、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得する。

ここで、本出願のいくつかの実施例において、上記初期言語モデルはＴｒａｎｓｆｏｒｍｅｒ－ＸＬモデルであってもよい。Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬモデルはＭｅｍｏｒ７メカニズムを採用して、フラグメント間で情報を転送することができる。つまり、Ｎ個のフラグメントシーケンスを順次Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬモデルに入力し、このプロセスにおいて、Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬモデルは各フラグメントシーケンスに対して特徴抽出を行って、各フラグメントシーケンスに対応するテキストベクトル情報を取得し、各フラグメントシーケンスに対応するテキストベクトル情報に基づいて、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得することができる。

ステップ１０３：各フラグメントシーケンスを順次初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得する。

つまり、Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得した後、各フラグメントシーケンスを順次初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得することができる。

例えば、「四つの大名作は、『西遊記』、『水滸伝』、『三国志』、『紅楼夢』を含み、広大で煙のような古典小説の中でそびえる４つの高い山のようなものである」を例として、それを分割して取得されたフラグメントシーケンスは「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」、「煙のような［Ｍ］［Ｍ］小説の中でそびえる４つの高い山のようなものである」であると仮定し、この３つのフラグメントシーケンスを１回目に初期Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬモデルに入力し、このプロセスにおいて、Ｍｅｍｏｒ７を生成するためにのみ使用され、すなわち各フラグメントシーケンスに対応するテキストベクトル情報を取得し、さらに各フラグメントシーケンスに対応するテキストベクトル情報に基づいて、当該３つのフラグメントシーケンスに対応する第１のテキストベクトル情報を取得することができる。その後、この３つのフラグメントシーケンスを初期Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬモデルに再入力することができ、このとき、Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬモデルは現在入力しているＮ番目のフラグメントシーケンスに対して特徴抽出を行って、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得することができる。

ステップ１０４：現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、第２のテキストベクトル情報及び第１のテキストベクトル情報に応じて、マスクを予測し、マスクに対応する目標位置の予測ワードを取得する。

選択可能に、各フラグメントシーケンスを順次初期言語モデルに再入力する場合、このとき初期言語モデルは現在入力しているＮ番目のフラグメントシーケンスにマスクがあるか否かを判断する必要があり、マスクがある場合、マスクに対応する目標位置の予測ワードを取得するように予測する必要がある。つまり、前記Ｎ個のフラグメントシーケンスを初期言語モデルに２回目に入力する場合、初期言語モデルは当該２回目に入力されたＮ個のフラグメントシーケンスにおけるマスクを予測し、予測結果に応じて当該初期言語モデルをトレーニング学習する。

つまり、本出願は長いテキスト隠蔽言語データを初期言語モデルにループに２回入力し、まず長いテキスト隠蔽言語データを１回目に初期言語モデルに入力するが、このプロセスにおいて、初期言語モデルによって長いテキスト隠蔽言語データにおけるＮ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を生成することができ、このとき初期言語モデルにおいて予測をしない及び勾配を戻さない。長いテキスト隠蔽言語データを２回目に初期言語モデルに入力する場合のみ、初期言語モデルによって長いテキスト隠蔽言語データにおけるＮ個のフラグメントシーケンスにおけるマスクを予測し、マスク予測が正しいか否かに対して損失ＬＯＳＳを戻すことにより、初期言語モデルのトレーニング学習を実現する。

ここから分かるように、Ｎ個のフラグメントシーケンスを初期言語モデルに２回目に入力する場合、このとき１番目の入力されたフラグメントシーケンスに、１回目に入力されたＮ個のフラグメントシーケンスである前のフラグメントのテキストベクトル情報があるため、このときＮ個のフラグメントシーケンスを２回目に入力する場合、初期言語モデルは当該２回目に入力されたＮ個のフラグメントシーケンスに対するトレーニング学習を開始し、モデルの性能を効果的に向上させることができ、自然言語処理タスクの効果を効果的に向上させることができる。

例えば、「四つの大名作は、『西遊記』、『水滸伝』、『三国志』、『紅楼夢』を含み、広大で煙のような古典小説の中でそびえる４つの高い山のようなものである」を例として、それを分割して取得されたフラグメントシーケンスが「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」、「煙のような［Ｍ］［Ｍ］小説の中でそびえる４つの高い山のようなものである」であるとすると、上記３つのフラグメントシーケンスを２回目に初期言語モデルに入力し、１番目に並んでいる「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」というフラグメントシーケンスには、このとき前の３つのフラグメントシーケンスのテキストベクトル情報があり、示された前の３つのフラグメントシーケンスは上記３つのフラグメントシーケンスを１回目に初期言語モデルに入力して取得された第１のテキストベクトル情報である。このように、１番目に並んでいる「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」というフラグメントシーケンスに対してマスクを予測するとき、このとき当該フラグメントシーケンスには前のフラグメントのテキストベクトル情報があるため、それをうまく予測することができ、このトレーニング方式によりモデルの性能を向上させることができる。

ステップ１０５：目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成し、長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識する。

選択可能に、マスクに対応する目標位置の予測ワードを取得した後、目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、対応する損失値を生成し、損失値に基づいて初期言語モデルに対してモデルパラメータを調整し、モデルトレーニング効果が予め設定された要求に達するまで、調整されたモデルに応じてマスクを再予測学習し、トレーニングされたモデルは長いテキスト言語モデルであり、長尺テキストの意味表現を実現することができる。なお、本出願の実施例において、初期言語モデルをトレーニングする場合、深層学習の方式によってトレーニングすることができ、他の機械学習方法と比較して、深層学習はビッグデータセットでの表現がより良い。

本出願のいくつかの実施例において、図２に示すように、前記目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成するステップの具体的な実現プロセスは、以下のとおりであっても良い。

ステップ２０１：予め設定されたアルゴリズムに従って目標位置で予め設定されたオリジナルワード及び予測ワードに対して第１の損失値を生成する。

本出願のいくつかの実施例において、上記予め設定されたアルゴリズムは損失関数であってもよく、損失関数によって、モデルの予測ワードとオリジナルワードとの相違の度合いを評価する。

ステップ２０２：第１の損失値及び予め設定された目標関数に応じて初期言語モデルをトレーニングし、モデルパラメータを取得して長いテキスト言語モデルを生成する。

ここで、上記目標関数は目標損失値であってもよい。選択可能に、予め設定されたアルゴリズムに従って目標位置で予め設定されたオリジナルワード及び予測ワードに対して第１の損失値を生成した後、第１の損失値と目標関数に一定の条件があるか否かを判断し、例えば、第１の損失値が目標損失値以下であるか否かを判断し、第１の損失値が目標損失値以下の場合に、モデルトレーニング済みであることが示され、トレーニングされたモデルを長いテキスト言語モデルとし、第１の損失値が目標損失値より大きい場合に、モデルのトレーニングを続ける必要があることが示され、このとき、当該モデルのパラメータを調整し、調整されたモデルによってマスクを予測し、損失値が目標損失値以下になるまで、マスク予測が正しいか否かに対して損失値を戻し、このときモデルがトレーニング済みであることを示し、トレーニングされたモデルを長いテキスト言語モデルとする。

当業者に容易に理解させるために、以下は図３と組み合わせて説明する。

例えば、「四つの大名作は、『西遊記』、『水滸伝』、『三国志』、『紅楼夢』を含み、広大で煙のような古典小説の中でそびえる４つの高い山のようなものである」を例として、それを分割して取得されたフラグメントシーケンスが「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」、「煙のような［Ｍ］［Ｍ］小説の中でそびえる４つの高い山のようなものである」であるとする。図３に示すように、「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」、「『三国志』、『紅楼夢』を含み、広大で」、「煙のような［Ｍ］［Ｍ］小説の中でそびえる４つの高い山のようなものである」という３つのフラグメントシーケンスを順次初期言語モデルに入力することができ、Ｓｔｅｐ１のモデリングの第１の部分では、このときマスク［Ｍ］文字を見たが、まだすべてのテキストを見ていないため（すなわち「四つの大名作は、『西遊記』、『水滸伝』、『三国志』、『紅楼夢』を含み、広大で煙のような古典小説の中でそびえる４つの高い山のようなものである」というテキストはまだ初期言語モデルに完全に入力されていない）、学習を行わない。Ｓｔｅｐ２では、Ｓｔｅｐ１の部分で抽出された内容を、Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬのＭｅｍｏｒ７メカニズムによって転送する。Ｓｔｅｐ３は順次類推する。Ｓｔｅｐ４の場合、モデルは、［Ｍ］［Ｍ］［Ｍ］として隠された西遊記を２回目に見たが（すなわちフラグメントシーケンス「四つの大名作は、『［Ｍ］［Ｍ］［Ｍ］』、『水滸伝』、」をモデルに２回目に入力した）、このときモデルは予測し、勾配を戻す。その後のＳｔｅｐ５はマスク［Ｍ］という文字がないため、学習を行わない。Ｓｔｅｐ６は［Ｍ］［Ｍ］としてマスクされた古典を学習する。この段落のテキストがモデルモデリングに２回入るまで、次の段落のテキストを学習する。このような方式によって長いテキストの予めトレーニングを実現して、長いテキスト言語モデルを取得する。

長いテキスト言語モデルを取得した後、予め設定された目標タスクに従って対応するマークされたサンプル言語データを取得し、目標タスクに対応するマークされたサンプル言語データに基づいて長いテキスト言語モデルを微調整して、当該目標タスクを認識することに適用されるモデルを取得する。ここで、本出願のいくつかの実施例において、目標タスクは、分類タスク、シーケンスタスク、および生成タスクを含むがこれらに限定されない。ここで、分類タスクは、文書分類、意味マッチング、質疑応答分類などのタスクを含むことができ、シーケンスタスクは、命名エンティティの認識及び読解などのタスクを含むことができ、生成タスクは、要約生成、タイトル生成、対話生成などのタスクを含むことができる。

本出願のいくつかの実施例において、図４に示すように、前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するステップの具体的な実現プロセスは、以下のステップを含むことができる。

ステップ４０１：目標タスクが分類タスクであると検出された場合、複数のサンプル言語データに対して対応するカテゴリマークを行う。

つまり、目標タスクが分類タスクであると検出された場合、長いテキスト言語モデルを微調整して、分類タスクための分類モデルを取得する必要があることを示す。当該分類タスクための分類モデルを取得することができるために、このとき複数のサンプル言語データを取得し、これらのサンプル言語データに対してカテゴリマークを行う。

なお、本出願の実施例において、上記サンプル言語データは第１の言語データと第２の言語データを含むことができ、ここで、第１の言語データと第２の言語データは同じテキスト内容を有し、サンプル言語データに対してカテゴリマークを行う際に、第２の言語データの後でカテゴリマークを行う必要がある。例えば、[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]というサンプル言語データを例として、当該サンプル言語データは、[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]という同じ言語データを含むことがわかり、当該サンプル言語データに対してカテゴリマークを行う場合、２回目の言語データの[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]の後で特別なＣＬＳビットを使用してカテゴリを予測することができ、すなわち[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]というサンプル言語データの文末に［ＣＬＳ］記号を追加することによって、当該記号に対応する出力ベクトルをテキスト全体の意味表現としてテキスト分類に用いる。例えば、図５に示すように、[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]という言語データを繰り返して長いテキスト言語モデルに２回入力することができ、ここで、言語データの入力の２回目が完成した場合、２回目に入力された言語データの文末に［ＣＬＳ］記号を追加する。

ステップ４０２：複数のサンプル言語データ及び対応するカテゴリマークを長いテキスト言語モデルに入力してトレーニングし、モデルパラメータを調整し、分類タスクに対応する長いテキスト言語モデルを取得する。

選択可能に、複数のサンプル言語データを長いテキスト言語モデルに入力して予測し、サンプル言語データに対応する予測カテゴリを取得し、予測カテゴリ及び前記カテゴリマークに応じて対応する損失値を生成し、損失値に応じて長いテキスト言語モデルのモデルパラメータを調整し、調整された長いテキスト言語モデルに応じてサンプル言語データをカテゴリ予測して、分類タスクに対する当該長いテキスト言語モデルのモデルトレーニングを実現し、当該分類タスクに適用されることができる長いテキスト言語モデルを取得することができる。

ステップ４０３：分類タスクに対応する長いテキスト言語モデルに応じて入力テキストを認識し、入力テキストに対応する目標タイプを取得する。

本出願のいくつかの実施例において、図６に示すように、前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するステップの具体的な実現プロセスは、以下のステップを含むことができる。

ステップ６０１：目標タスクがテキスト要約生成タスクであると検出された場合、複数のサンプル言語データに対して対応する要約マークを行う。

つまり、目標タスクがテキスト要約生成タスクであると検出された場合、テキスト要約生成タスクための要約生成モデルを取得するように、長いテキスト言語モデルを微調整する必要があることが示される。当該テキスト要約生成タスクための要約生成モデルを取得することができるために、このとき複数のサンプル言語データを取得し、これらのサンプル言語データに対して要約テキストのマークを行う。なお、当該テキスト要約生成タスクの目標は、テキストＡに基づいてテキストＢを生成することである。

なお、本出願の実施例において、上記サンプル言語データは第１の言語データと第２の言語データを含むことができ、ここで、第１の言語データと第２の言語データは同じテキスト内容を有し、サンプル言語データに対して要約テキストのマークを行う際に、第２の言語データの後で要約テキストのマークを行う必要がある。例えば、[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]というサンプル言語データを例として、当該サンプル言語データは、[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]という同じ言語データを含むことがわかり、当該サンプル言語データに対して要約テキストのマークを行う場合、２回目の言語データ[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]の後で要約テキスト（例えば徽州地理の概要）を使用してマークすることができ、すなわち[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]というサンプル言語データの文末に「徽州地理の概要」である要約テキストを追加して、要約テキストの生成に用いる。例えば、図５に示すように、言語データ[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]を繰り返して長いテキスト言語モデルに２回入力することができ、ここで、２回目の言語データの入力が完成した場合、２回目に入力された言語データの文末に「徽州地理の概要」である要約テキストを追加する。

ステップ６０２：複数のサンプル言語データ及び対応する要約マークを長いテキスト言語モデルに入力してトレーニングし、モデルパラメータを調整し、テキスト要約生成タスクに対応する長いテキスト言語モデルを取得する。

選択可能に、複数のサンプル言語データを長いテキスト言語モデルに入力して予測し、サンプル言語データに対応する予測値を取得し、予測値及び真の要約マークに応じて対応する損失値を生成し、損失値に応じて長いテキスト言語モデルのモデルパラメータを調整し、調整された長いテキスト言語モデルに応じてサンプル言語データを予測して、テキスト要約生成タスクに対する当該長いテキスト言語モデルのモデルトレーニングを実現し、当該テキスト要約生成タスクに適用可能な長いテキスト言語モデルを取得することができる。

ステップ６０３：分類タスクに対応する長いテキスト言語モデルに応じて入力テキストを認識し、入力テキストに対応するテキスト要約を取得する。

つまり、長いテキスト言語モデルによって目標タスクに適用されるモデルをトレーニングする場合、使用されるトレーニング言語データは２回繰り返して長いテキスト言語モデルに入力する必要があり、ここで、言語データを長いテキスト言語モデルに２回目に入力する場合、２回目に入力された言語データをマークし、２回入力された言語データ及びマークに基づいて長いテキスト言語モデルを微調整して、目標タスクに適用されるモデルを取得する。例えば、分類タスクに対して、言語データテキストの２回目の入力が完成した場合、特別なＣＬＳビットを使用してカテゴリを予測することができ、シーケンスタスクに対して、２回目に入力されたすべてのテキストにおいてＮ次元のＳｏｆｔｍａｘ操作を行い、各Ｔｏｋｅｎのシーケンス化マークを実行することができ、生成タスクに対して、それの目標は、テキストＡに基づいてテキストＢを生成することであり、従来の言語モデルまたはＳｅｑ２Ｓｅｑ（循環ニューラルネットワークである）方法との違いは、本出願はテキストを２回目に入力した後に予測することである。例えば、図７に示すように、図における[徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。徽州向号「８．５割は山で、１割は水で、残りの０．５割は農地と荘園である」。領土の峰々が空高くそびえる、丘が屏風のように並び、連峰と谷間が交錯し、深い山、谷があり、盆地、平野もある。]というテキストの内容が正常に入力され、「徽州地理の概要」という部分のテキストはＳｅｑ２Ｓｅｑ技術によって文字ごとに生成されてトレーニングおよび予測される。

なお、本出願は、モデルの基本フレームワークとしてＴｒａｎｓｆｏｒｍｅｒ－ＸＬを使用するとともに、本出願は、初期言語モデルをトレーニングして長いテキスト言語モデルを取得するプロセス、及び長いテキスト言語モデルを微調整するプロセスにおいて、すべてはＴｒａｎｓｆｏｒｍｅｒ－ＸＬを基本フレームワークとして使用しており、Ｔｒａｎｓｆｏｒｍｅｒに劣化することはない。従来技術では、ＸＬＮｅｔは微調整のプロセスにおいて、そのモデルがＴｒａｎｓｆｏｒｍｅｒに劣化し、このときモデルが長いテキスト情報を処理することができない。本出願は微調整の段階でもＴｒａｎｓｆｏｒｍｅｒ－ＸＬを使用しており、微調整の後にも長いテキストという問題を解決することができる。

本出願の実施例のテキスト認識処理方法によれば、Ｎ個のフラグメントシーケンスを取得し、ここで、少なくとも１つのフラグメントにマスクがあり、Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得し、各フラグメントシーケンスを順次初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得し、現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、第２のテキストベクトル情報及び第１のテキストベクトル情報に応じて、マスクを予測し、マスクに対応する目標位置の予測ワードを取得し、その後、目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成し、長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識する。ここから分かるように、本出願は、言語データテキストをモデルにループに入力し（すなわちモデル２回入力する）、言語データテキストをモデルに１回目に入力する場合、言語データテキスト内のフラグメントシーケンスのテキストベクトルを生成するためにのみ使用され、このときマスクの予測学習が行われなく、当該言語データテキストを２回目に入力した場合のみ、このとき１回目に入力されたフラグメントシーケンスのテキストベクトル情報が取得されているため、このときモデルによって当該１回目に入力して取得されたフラグメントシーケンスに対応するテキストベクトル、及び２回目に現在入力しているフラグメントシーケンスを使用してマスクを予測することができ、マスク予測が正しいか否かに対して勾配を戻すことにより、モデルのトレーニングを実現し、トレーニングして取得されたモデルは５１２を超える長さのテキストを処理することができるようにする。

また、本出願はセグメントモデリングの方式を採用するので、５１２以内のテキストに対して、モデリングを迅速に実現し、モデリング速度を向上させることができる。言語データテキストを繰り返してモデルに２回入力して、各フラグメントシーケンスはコンテキスト情報を取得することができるため、トレーニングモデルの性能を向上させ、トレーニングされたモデルの性能をより良くし、自然言語処理タスクの効果を効果的に向上させることができる。

なお、本出願はフラグメントシーケンスによって初期言語モデルをトレーニングする場合、深層学習の方式によってトレーニングすることができ、他の機械学習方法と比較して、深層学習はビッグデータセットでの表現がより良い。

上記実施例を実現するために、本出願は、テキスト認識処理装置を提供する。

図８は本出願の１つの実施例に係るテキスト認識処理装置の構成ブロック図である。図８に示すように、当該テキスト認識処理装置８００は、第１の取得モジュール８０１と、第２の取得モジュール８０２と、第３の取得モジュール８０３と、予測モジュール８０４と、トレーニングモジュール８０５と、認識処理モジュール８０６と、を含むことができる。

具体的に、第１の取得モジュール８０１は、Ｎ個のフラグメントシーケンスを取得することに用いられ、ここで、少なくとも１つのフラグメントにマスクがある。本出願のいくつかの実施例において、第１の取得モジュール８０１は、具体的に、長いテキスト言語データを取得し、長いテキスト言語データの複数の位置にあるオリジナルワードをそれぞれマスクに置き換えて、長いテキスト隠蔽言語データを取得し、予め設定された目標長さに従って前記長いテキスト隠蔽言語データを分割してＮ個のフラグメントシーケンスを取得することに用いられる。

第２の取得モジュール８０２は、Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得することに用いられる。

第３の取得モジュール８０３は、各フラグメントシーケンスを順次初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得することに用いられる。

予測モジュール８０４は、現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、第２のテキストベクトル情報及び第１のテキストベクトル情報に応じて、マスクを予測し、マスクに対応する目標位置の予測ワードを取得することに用いられる。

トレーニングモジュール８０５は、目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成することに用いられる。本出願のいくつかの実施例において、トレーニングモジュール８０５は、具体的に、予め設定されたアルゴリズムに従って目標位置で予め設定されたオリジナルワード及び予測ワードに対して第１の損失値を生成し、第１の損失値及び予め設定された目標関数に応じて初期言語モデルをトレーニングし、モデルパラメータを取得して長いテキスト言語モデルを生成することに用いられる。

認識処理モジュール８０６は、長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識することに用いられる。本出願のいくつかの実施例において、認識処理モジュール８０６は、具体的に、目標タスクが分類タスクであると検出された場合、複数のサンプル言語データに対して対応するカテゴリマークを行い、複数のサンプル言語データ及び対応するカテゴリマークを長いテキスト言語モデルに入力してトレーニングし、モデルパラメータを調整し、分類タスクに対応する長いテキスト言語モデルを取得し、分類タスクに対応する長いテキスト言語モデルに応じて入力テキストを認識し、入力テキストに対応する目標タイプを取得することに用いられる。

本出願のいくつかの実施例において、認識処理モジュール８０６は、具体的に、目標タスクがテキスト要約生成タスクであると検出された場合、複数のサンプル言語データに対して対応する要約マークを行い、複数のサンプル言語データ及び対応する要約マークを長いテキスト言語モデルに入力してトレーニングし、モデルパラメータを調整し、テキスト要約生成タスクに対応する長いテキスト言語モデルを取得し、分類タスクに対応する長いテキスト言語モデルに応じて入力テキストを認識し、入力テキストに対応するテキスト要約を取得することに用いられる。

本出願の実施例のテキスト認識処理装置によれば、Ｎ個のフラグメントシーケンスを取得し、ここで、少なくとも１つのフラグメントにマスクがあり、Ｎ個のフラグメントシーケンスを順次予め設定された初期言語モデルに入力して、Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得し、各フラグメントシーケンスを順次初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個のフラグメントシーケンスに対応する第２のテキストベクトル情報を取得し、現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、第２のテキストベクトル情報及び第１のテキストベクトル情報に応じて、マスクを予測し、マスクに対応する目標位置の予測ワードを取得し、その後、目標位置で予め設定されたオリジナルワード及び予測ワードに応じて、初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成し、長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識する。ここから分かるように、本出願は、言語データテキストを繰り返してモデルに入力し（すなわちモデル２回入力する）、言語データテキストをモデルに１回目に入力する場合、言語データテキスト内のフラグメントシーケンスのテキストベクトルを生成するためにのみ使用され、このときマスクの予測学習が行われなく、当該言語データテキストを２回目に入力した場合のみ、このとき１回目に入力されたフラグメントシーケンスのテキストベクトル情報が取得されているため、このときモデルによって当該１回目に入力して取得されたフラグメントシーケンスに対応するテキストベクトル、及び２回目に現在入力しているフラグメントシーケンスを使用してマスクを予測することができ、マスク予測が正しいか否かに対して勾配を戻すことにより、モデルのトレーニングを実現し、トレーニングして取得されたモデルは５１２を超える長さのテキストを処理することができるようにする。また、本出願はセグメントモデリングの方式を採用するので、５１２以内のテキストに対して、モデリングを迅速に実現し、モデリング速度を向上させることができる。言語データテキストを繰り返してモデルに２回入力して、各フラグメントシーケンスはコンテキスト情報を取得することができるため、トレーニングモデルの性能を向上させ、トレーニングされたモデルの性能をより良くし、自然言語処理タスクの効果を効果的に向上させることができる。なお、本出願はフラグメントシーケンスによって初期言語モデルをトレーニングする場合、深層学習の方式によってトレーニングすることができ、他の機械学習方法と比較して、深層学習はビッグデータセットでの表現がより良い。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図９に示すように、それは本出願の実施例に係るテキスト認識処理方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図９に示すように、当該電子機器は、１つ又は複数のプロセッサ９０１と、メモリ９０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図９では、１つのプロセッサ９０１を例とする。

メモリ９０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサが本出願により提供されるテキスト認識処理方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータに本出願が提供するテキスト認識処理方法を実行させるためのコンピュータ命令を記憶する。

メモリ９０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるテキスト認識処理方法に対応するプログラム命令／モジュール（例えば、図８に示す第１の取得モジュール８０１、第２の取得モジュール８０２、第３の取得モジュール８０３、予測モジュール８０４、トレーニングモジュール８０５及び認識処理モジュール８０６）ように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ９０１は、メモリ９０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、３次元再建装置の様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例におけるテキスト認識処理方法を実現する。

メモリ９０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、テキスト認識処理方法ことに基づく電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ９０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ９０２は、プロセッサ９０１に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介してテキスト認識処理の電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

テキスト認識処理方法の電子機器は、入力装置９０３と出力装置９０４とをさらに含むことができる。プロセッサ９０１、メモリ９０２、入力装置９０３、及び出力装置９０４は、バス又は他の方式を介して接続することができ、図９では、バスによる接続を例とする。

入力装置９０３は、入力された数字又は文字情報を受信することができ、及びテキスト認識処理の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置９０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含んでもよく、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

本出願の実施例の技術案によれば、言語データテキストを繰り返してモデルに入力し（すなわちモデル２回入力する）、言語データテキストをモデルに１回目に入力する場合、言語データテキスト内のフラグメントシーケンスのテキストベクトルを生成するためにのみ使用され、このときマスクの予測学習が行われなく、当該言語データテキストを２回目に入力した場合のみ、このとき１回目に入力されたフラグメントシーケンスのテキストベクトル情報が取得されているため、このときモデルによって当該１回目に入力して取得されたフラグメントシーケンスに対応するテキストベクトル、及び２回目に現在入力しているフラグメントシーケンスを使用してマスクを予測することができ、マスク予測が正しいか否かに対して勾配を戻すことにより、モデルのトレーニングを実現し、トレーニングして取得されたモデルは５１２を超える長さのテキストを処理することができるようにし、本出願はセグメントモデリングの方式を採用するので、５１２以内のテキストに対して、モデリングを迅速に実現し、モデリング速度を向上させることができる。言語データテキストを繰り返してモデルに２回入力して、各フラグメントシーケンスはコンテキスト情報を取得することができるため、トレーニングモデルの性能を向上させ、トレーニングされたモデルの性能をより良くし、自然言語処理タスクの効果を効果的に向上させることができる。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本願に対する保護範囲を限定するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれなければならない。

Claims (13)

1. テキスト認識処理方法であって、
   コンピュータが、Ｎ個のフラグメントシーケンスを取得するステップであって、少なくとも１つのフラグメントにマスクがあるステップと、
   コンピュータが、前記Ｎ個のフラグメントシーケンスを順次予め設定された、フラグメント間で情報を転送可能な初期言語モデルに入力して、前記Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得するステップと、
   コンピュータが、各前記フラグメントシーケンスを順次前記初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個の前記フラグメントシーケンスに対応する第２のテキストベクトル情報を取得するステップと、
   コンピュータが、前記現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、前記第２のテキストベクトル情報及び前記第１のテキストベクトル情報に応じて、前記マスクを予測し、前記マスクに対応する目標位置の予測ワードを取得するステップと、
   コンピュータが、前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに応じて、前記初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成し、前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するステップと、を含む、
   ことを特徴とするテキスト認識処理方法。
2. コンピュータが、Ｎ個のフラグメントシーケンスを取得するステップであって、少なくとも１つのフラグメントにマスクがあるステップは、
   コンピュータが、長いテキスト言語データを取得し、前記長いテキスト言語データの複数の位置にあるオリジナルワードをそれぞれマスクに置き換えて、長いテキスト隠蔽言語データを取得するステップと、
   コンピュータが、予め設定された目標長さに従って前記長いテキスト隠蔽言語データを分割してＮ個のフラグメントシーケンスを取得するステップと、を含む、
   ことを特徴とする請求項１に記載のテキスト認識処理方法。
3. コンピュータが、前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに応じて、前記初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成するステップは、
   コンピュータが、予め設定されたアルゴリズムに従って前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに対して第１の損失値を生成するステップと、
   コンピュータが、前記第１の損失値及び予め設定された目標関数に応じて前記初期言語モデルをトレーニングし、モデルパラメータを取得して長いテキスト言語モデルを生成するステップと、を含む、
   ことを特徴とする請求項１に記載のテキスト認識処理方法。
4. コンピュータが、前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するステップは、
   コンピュータが、前記目標タスクが分類タスクであると検出された場合、複数のサンプル言語データに対して対応するカテゴリマークを行うステップであって、前記カテゴリマークは、テキスト全体の意味表現を生成するためのマークである、ステップと、
   コンピュータが、前記複数のサンプル言語データ及び対応するカテゴリマークを前記長いテキスト言語モデルに入力してトレーニングし、前記モデルパラメータを調整し、前記分類タスクに対応する長いテキスト言語モデルを取得するステップと、
   コンピュータが、前記分類タスクに対応する長いテキスト言語モデルに応じて前記入力テキストを認識し、前記入力テキストに対応する目標タイプを取得するステップと、を含む、
   ことを特徴とする請求項１に記載のテキスト認識処理方法。
5. コンピュータが、前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するステップは、
   コンピュータが、前記目標タスクがテキスト要約生成タスクであると検出された場合、複数のサンプル言語データに対して対応する要約マークを行うステップであって、前記要約マークは、要約テキストを生成するためのマークである、ステップと、
   コンピュータが、前記複数のサンプル言語データ及び対応する要約マークを前記長いテキスト言語モデルに入力してトレーニングし、前記モデルパラメータを調整し、前記テキスト要約生成タスクに対応する長いテキスト言語モデルを取得するステップと、
   コンピュータが、前記分類タスクに対応する長いテキスト言語モデルに応じて前記入力テキストを認識し、前記入力テキストに対応するテキスト要約を取得するステップと、を含む、
   ことを特徴とする請求項１に記載のテキスト認識処理方法。
6. テキスト認識処理装置であって、
   Ｎ個のフラグメントシーケンスを取得するための第１の取得モジュールであって、少なくとも１つのフラグメントにマスクがある第１の取得モジュールと、
   前記Ｎ個のフラグメントシーケンスを順次予め設定された、フラグメント間で情報を転送可能な初期言語モデルに入力して、前記Ｎ個のフラグメントシーケンスに対応する第１のテキストベクトル情報を取得するための第２の取得モジュールと、
   各前記フラグメントシーケンスを順次前記初期言語モデルに再入力して、現在入力しているＮ番目のフラグメントシーケンスに対応する最初のＮ個の前記フラグメントシーケンスに対応する第２のテキストベクトル情報を取得するための第３の取得モジュールと、
   前記現在入力しているＮ番目のフラグメントシーケンスにマスクがあることを検出する場合、前記第２のテキストベクトル情報及び前記第１のテキストベクトル情報に応じて、前記マスクを予測し、前記マスクに対応する目標位置の予測ワードを取得するための予測モジュールと、
   前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに応じて、前記初期言語モデルをトレーニングし、モデルパラメータを取得して、長いテキスト言語モデルを生成するためのトレーニングモジュールと、
   前記長いテキスト言語モデルに応じて予め設定された目標タスクに従って入力テキストを認識するための認識処理モジュールと、を含む、
   ことを特徴とするテキスト認識処理装置。
7. 前記第１の取得モジュールは、具体的に、
   長いテキスト言語データを取得し、前記長いテキスト言語データの複数の位置にあるオリジナルワードをそれぞれマスクに置き換えて、長いテキスト隠蔽言語データを取得し、
   予め設定された目標長さに従って前記長いテキスト隠蔽言語データを分割してＮ個のフラグメントシーケンスを取得することに用いられる、
   ことを特徴とする請求項６に記載のテキスト認識処理装置。
8. 前記トレーニングモジュールは、具体的に、
   予め設定されたアルゴリズムに従って前記目標位置で予め設定されたオリジナルワード及び前記予測ワードに対して第１の損失値を生成し、
   前記第１の損失値及び予め設定された目標関数に応じて前記初期言語モデルをトレーニングし、モデルパラメータを取得して長いテキスト言語モデルを生成することに用いられる、
   ことを特徴とする請求項６に記載のテキスト認識処理装置。
9. 前記認識処理モジュールは、具体的に、
   前記目標タスクが分類タスクであると検出された場合、複数のサンプル言語データに対して対応するカテゴリマークを行い、
   前記複数のサンプル言語データ及び対応するカテゴリマークを前記長いテキスト言語モデルに入力してトレーニングし、前記モデルパラメータを調整し、前記分類タスクに対応する長いテキスト言語モデルを取得し、前記カテゴリマークは、テキスト全体の意味表現を生成するためのマークであり、
   前記分類タスクに対応する長いテキスト言語モデルに応じて前記入力テキストを認識し、前記入力テキストに対応する目標タイプを取得することに用いられる、
   ことを特徴とする請求項６に記載のテキスト認識処理装置。
10. 前記認識処理モジュールは、具体的に、
    前記目標タスクがテキスト要約生成タスクであると検出された場合、複数のサンプル言語データに対して対応する要約マークを行い、
    前記複数のサンプル言語データ及び対応する要約マークを前記長いテキスト言語モデルに入力してトレーニングし、前記モデルパラメータを調整し、前記テキスト要約生成タスクに対応する長いテキスト言語モデルを取得し、前記要約マークは、要約テキストを生成するためのマークであり、
    前記分類タスクに対応する長いテキスト言語モデルに応じて前記入力テキストを認識し、前記入力テキストに対応するテキスト要約を取得することに用いられる、
    ことを特徴とする請求項６に記載のテキスト認識処理装置。
11. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが請求項１～５のいずれかに記載のテキスト認識処理方法を実行する、
    ことを特徴とする電子機器。
12. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項１～５のいずれかに記載のテキスト認識処理方法を実行させることに用いられる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
13. コンピュータ上で動作しているときに、請求項１～５のいずれかに記載のテキスト認識処理方法を前記コンピュータに実行させる、
    ことを特徴とするコンピュータプログラム。

Images