JP7290730B2 - 文生成方法と装置、電子機器及びプログラム - Google Patents

Description

本願は、２０１９年１月２４日に中国国家知識産権局に提出された、出願番号が２０１９１００６８９８７３で、発明の名称が「文生成方法、装置、機器及び記憶媒体」である中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。

本願の実施形態は、人工知能の分野に関し、特に文生成方法、装置、機器及び記憶媒体に関する。

文生成方法は、任意の機能の対話システム、機械翻訳システム、質問応答システム、自動創作システム、読解システムに用いられることができ、特に、大きい情報量と多様性を必要とする対話システムに適用されている。

深層学習に基づく文生成方法は、現在発展の方向であり、ユーザが入力した文シーケンスを取得した後、その出力シーケンスの生成方法は、入力された文シーケンスをベクトルに符号化するステップと、ベクトルを復号化して出力シーケンスを取得するステップとを含む。

上記方法は、出力シーケンスを生成するプロセスにおいて、入力された文シーケンスを効果的に処理できないため、生成した文が正確ではない。

本願に係る様々な実施形態によれば、文生成方法、装置、機器及び記憶媒体を提供する。具体的な技術解決策は、以下のとおりである。

電子機器が実行する文生成方法であって、
入力シーケンスを取得するステップと、
入力シーケンスを符号化処理して、入力シーケンスを表す文特徴ベクトルを取得するステップと、
文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得するステップと、
第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得するステップと、
少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別するステップであって、第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数が第１の所定数より小さい、ステップと、
第２の所定数の候補文シーケンスに基づいて、入力シーケンスに対応する出力シーケンスを決定するステップと、を含む文生成方法。

電子機器に設けられる文生成装置であって、
入力シーケンスを取得するための取得モジュールと、
入力シーケンスを符号化処理して、入力シーケンスを表す文特徴ベクトルを取得するための符号化モジュールと、
文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得するための復号化モジュールと、
第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得するためのクラスタリングモジュールと、
少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別するための選別モジュールであって、第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数が第１の所定数より小さい、選別モジュールと、
第２の所定数の候補文シーケンスに基づいて、入力シーケンスに対応する出力シーケンスを決定するための決定モジュールと、を含む文生成装置。

１つ以上のプロセッサと、
少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されているメモリと、を含み、
１つ以上のプロセッサは、少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットをロードして実行し、上記第１の態様の文生成方法を実現するように構成される、電子機器。

１つ以上のプロセッサによってロードされて実行されると、上記第１の態様の文生成方法を実現する少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されている、１つ以上のコンピュータ可読記憶媒体。

本願の１つ以上の実施形態の詳細は、以下の図面及び説明において提供される。本願の他の特徴、目的及び利点は、本願の明細書、図面及び特許請求の範囲から明らかになる。

本願の実施形態における技術手段をより明確に説明するために、以下、実施形態の説明に必要な図面を簡単に説明するが、明らかに、以下の説明における図面は、本願のいくつかの実施形態に過ぎず、当業者であれば、創造的な労働をせずにこれらの図面に基づいて他の図面を得ることができる。

本願の例示的な一実施形態に係る適用シーンの概略構成図である。 本願の例示的な一実施形態に係る電子機器のハードウェアの概略構成図である。 本願の例示的な一実施形態に係る文生成方法のフローチャートである。 本願の別の例示的な実施形態に係る文生成方法のフローチャートである。 本願の例示的な一実施形態に係る文生成方法の原理概略図である。 本願の別の例示的な実施形態に係る文生成方法のフローチャートである。 本願の別の例示的な実施形態に係る文生成方法のフローチャートである。 本願の例示的な一実施形態に係る文生成装置の概略構成図である。 本願の例示的な一実施形態に係る端末の概略構成図である。 本願の例示的な一実施形態に係るサーバの概略構成図である。

本願の目的、技術手段及び利点をより明確にするために、以下、図面を参照しながら本願の実施形態をさらに詳細に説明する。

まず、本願の実施形態に係るいくつかの用語を解釈する。
復号化とは、自然言語処理において、入力データに基づいて文を逐語に生成する処理プロセスである。

クラスタリングとは、クラスタリングアルゴリズムを用いて複数のデータを少なくとも２つの異なるタイプの集合に統合する処理プロセスである。

一実施形態では、クラスタリングアルゴリズムは、Ｋ平均クラスタリングアルゴリズム、平均シフトクラスタリングアルゴリズム、密度ベースのクラスタリングアルゴリズム、ガウス混合モデルを用いる期待値最大化クラスタリングアルゴリズム、凝集型階層的クラスタリングアルゴリズムのうちの少なくとも１つを含む。

文スコアリングモデルは、入力された文シーケンスに基づいて該文シーケンスの文スコアを決定する数理モデルである。

一実施形態では、該文スコアリングモデルは、文シーケンスが自然言語であるか否かを評価する。

一実施形態では、文スコアリングモデルは、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＤＮＮ）モデル、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＲＮＮ）モデル、埋め込み（ｅｍｂｅｄｄｉｎｇ）モデル、勾配ブースティング決定木（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ、ＧＢＤＴ）モデル、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ、ＬＲ）モデルのうちの少なくとも１つを含むが、これらに限定されない。

ＤＮＮモデルは、深層学習フレームワークである。ＤＮＮモデルは、入力層、少なくとも１つの隠れ層（中間層とも呼ばれる）及び出力層を含む。代替的に、入力層、少なくとも１つの隠れ層（中間層とも呼ばれる）及び出力層は、いずれも受信したデータを処理する少なくとも１つのニューロンを含む。代替的に、異なる層間のニューロンの数は同じであってもよいし、異なってもよい。

ＲＮＮモデルは、フィードバック構造を有するニューラルネットワークである。ＲＮＮモデルにおいて、ニューロンの出力は、次のタイムスタンプで直接自身に作用することができ、即ち、第ｉ層のニューロンのｍ時刻での入力は、（ｉ－１）層のニューロンの該時刻での出力に加えて、その自身の（ｍ－１）時刻での出力を含む。

ｅｍｂｅｄｄｉｎｇモデルは、エンティティと関係との分散ベクトル表現に基づいて、各トリプルインスタンスにおける関係をエンティティヘッドからエンティティテールまでの翻訳と見なす。トリプルインスタンスは、主体、関係、客体を含み、トリプルインスタンスは、（主体，関係，客体）として表すことができ、主体は、エンティティヘッドであり、客体はエンティティテールである。例えば、張君の父が張さんであり、そしてトリプルインスタンスにより（張君，父，張さん）として表す。

ＧＢＤＴモデルは、反復の決定木アルゴリズムであり、該アルゴリズムは複数の決定木で構成され、全ての木の結果が累積されて最終結果とされる。決定木の各ノードは、１つの予測値を取得し、年齢を例とすると、予測値は、年齢に対応するノードに属する全ての人の年齢の平均値である。

ＬＲモデルは、線形回帰に基づいて論理関数を用いて構築されたモデルである。

ビームサーチ（英語：ｂｅａｍ ｓｅａｒｃｈ）とは、グラフのヒューリスティック探索アルゴリズムである。自然言語復号化過程において、ビームサーチは、現在取得された文シーケンス集合（文ビームとも呼ばれる）を探索して、最終的に生成された出力シーケンスを取得する過程である。

ビームサイズ（ｂｅａｍｓ ｓｉｚｅ、ＢＳ）は、ｂｅａｍ ｓｅａｒｃｈアルゴリズムにおける限定された文ビームの数である。

現在の復号化技術は、いずれもｂｅａｍ ｓｅａｒｃｈに基づくものであり、文のコンテンツの差異を体現しないため、複数回の復号化後、常に全ての候補文シーケンスが同じタイプに入る傾向があり、通常、安全な出力シーケンス、即ち、文が流暢であるが、情報量が不足する出力シーケンスであり、例えば、「ハハ」、「なるほど」などの出力シーケンスである。

本願の実施形態は、入力シーケンスを符号化処理して文特徴ベクトルを取得し、文特徴ベクトルを復号化処理して第１の所定数の候補文シーケンスを取得し、第１の所定数の候補文シーケンスに対してクラスタリング及び選別を行って第２の所定数の候補文シーケンスを取得することにより、生成された複数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数の候補文シーケンスに基づいて生成された出力シーケンスが大きな多様性を持ち、関連技術における、対話システムから出力された出力シーケンスがいずれも安全な出力シーケンスである状況を回避し、ユーザの要求を効果的に満たし、文生成の正確性を向上させることができる文生成方法、装置、機器及び記憶媒体を提供する。

本願の実施形態に係る技術解決策の理解を容易にするために、まず、図１を参照しながら本願の例示的な一実施形態に係る適用シーンの概略構成図を説明する。

該適用シーンは、入力オブジェクト１００と、深層学習に基づく電子機器２００（以下、電子機器と略称する）とを含み、電子機器２００は、入力オブジェクト１００の入力シーケンスを取得してから、該入力シーケンスに応答して、出力シーケンスを生成し、出力シーケンスを該入力オブジェクト１００に提示する文生成プロセスを実行する。

一実施形態では、入力シーケンスは、入力される処理対象の文シーケンスであり、出力シーケンスは、出力される処理済みの文シーケンスである。

一実施形態では、該文生成方法は、対話システム、機械翻訳システム、質問応答システム、自動創作システム又は読解システムに適用される。対話システムは、インターネット又はローカルデータベースから、ユーザが入力した応答対象文に対応する応答文を取得するものである。機械翻訳システムは、インターネット又はローカルデータベースから、ユーザが入力した翻訳対象文に対応する翻訳文を取得するものである。質問応答システムは、インターネット又はローカルデータベースから、ユーザが入力した質問文に対応する回答文を取得するものである。自動創作システムは、インターネット又はローカルデータベースから、ユーザが入力した、テーマを説明するテーマ文に対応するコンテンツ文を取得するものである。読解システムは、ユーザが提供する読み物を検索して、ユーザが入力した問題文に対応する答え文を取得するものである。

文生成方法が対話システムに適用される場合、入力シーケンスが応答対象文であり、出力シーケンスが応答文である。

文生成方法が機械翻訳システムに適用される場合、入力シーケンスが翻訳対象の第１の言語タイプの文であり、出力シーケンスが翻訳済みの第２の言語タイプの文であり、第１の言語タイプが第２の言語タイプと異なる。例示的には、第１の言語タイプは英語であり、第２の言語タイプは中国語である。

文生成方法が質問応答システムに適用される場合、入力シーケンスが質問文であり、出力シーケンスが回答文である。

文生成方法が自動創作システムに適用される場合、入力シーケンスがテーマ文であり、出力シーケンスがコンテンツ文である。

文生成方法が読解システムに適用される場合、入力シーケンスが問題文であり、出力シーケンスが答え文である。

一実現形態では、入力オブジェクト１００は人間であってよく、電子機器２００は、携帯電話、コンピュータなどの端末であってよく、上記文生成プロセスは、人間と端末との間で実現される。

一実施形態では、電子機器２００に第１のアプリケーションプログラムがインストールされており、第１のアプリケーションプログラムは、文生成機能を持つアプリケーションプログラムである。例示的には、第１のアプリケーションプログラムは、質問応答、メッセージ自動応答、機械翻訳などの機能を持つアプリケーションプログラムである。

例えば、ユーザが文字又は音声入力により第１のアプリケーションプログラムに対して質問（入力シーケンス）を行い、第１のアプリケーションプログラムがユーザの問題に基づいて回答（出力シーケンス）を生成し表示する。

別の実現形態では、入力オブジェクト１００はクライアントであってよく、電子機器２００はサーバであり、上記文生成プロセスは、クライアントとサーバとの間で実現される。クライアントは、携帯電話、コンピュータなどを含むが、これらに限定されず、サーバは、様々な異なるサービスを提供できるサーバであってよく、サーバは、天気問い合わせ、業務相談、スマートカスタマーサービス（航空券サービス又はレストランサービス等に用いられる）等を含むが、これらに限定されない。

図２は、本願の例示的な一実施形態に係る電子機器のハードウェアの概略構成図である。図２に示すように、電子機器は、１つ以上のプロセッサ１０、メモリ２０及び通信インタフェース３０を含む。当業者が理解できるように、図２に示す構成は、該電子機器を限定するものではなく、図示より多い又は少ない部品を含んでもよく、ある部品を組み合わせたり、異なる部品配置を有したりしてもよい。

１つ以上のプロセッサ１０は、電子機器のコントロールセンターであり、様々なインタフェース及び配線を用いて電子機器全体の各部を接続し、メモリ２０内に記憶されたソフトウェアプログラム及び／又はモジュールを動作させるか又は実行し、メモリ２０内に記憶されたデータを呼び出すことにより、電子機器の様々な機能を実行しデータを処理して、電子機器全体を制御する。１つ以上のプロセッサ１０は、ＣＰＵによって実現することができ、１つ以上のグラフィックスプロセッシングユニット（英語：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵと略称する）によって実現することもできる。

メモリ２０は、ソフトウェアプログラム及びモジュールを記憶することができる。１つ以上のプロセッサ１０は、メモリ２０に記憶されたソフトウェアプログラム及びモジュールを動作させることにより、様々な機能アプリケーション及びデータ処理を実行する。メモリ２０は、主にプログラム記憶領域とデータ記憶領域とを含んでよく、プログラム記憶領域は、オペレーティングシステム２１、取得モジュール２２、符号化モジュール２３、復号化モジュール２４、クラスタリングモジュール２５、選別モジュール２６、決定モジュール２７及び少なくとも１つの機能に必要なアプリケーションプログラム２８（例えば、ニューラルネットワークトレーニングなど）などを記憶でき、データ記憶領域は、電子機器の使用に応じて作成されたデータなどを記憶できる。メモリ２０は、任意のタイプの揮発性又は不揮発性メモリ装置又はそれらの組み合わせにより実現することができ、例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭと略称する）、電気的消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭと略称する）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭと略称する）、プログラマブル読み取り専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＰＲＯＭと略称する）、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称する）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクが挙げられる。それに応じて、メモリ２０は、１つ以上のプロセッサ１０によるメモリ２０へのアクセスを提供するためのメモリコントローラをさらに含んでよい。

ここで、１つ以上のプロセッサ１０は、取得モジュール２２を動作させることにより、入力シーケンスを取得する機能を実行し、１つ以上のプロセッサ１０は、符号化モジュール２３を動作させることにより、入力シーケンスを符号化処理して、入力シーケンスを表す文特徴ベクトルを取得する機能を実行し、１つ以上のプロセッサ１０は、復号化モジュール２４を動作させることにより、文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得する機能を実行し、１つ以上のプロセッサ１０は、クラスタリングモジュール２５を動作させることにより、第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得する機能を実行し、１つ以上のプロセッサ１０は、選別モジュール２６を動作させることにより、少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別する機能を実行し、第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数が第１の所定数より小さく、１つ以上のプロセッサ１０は、決定モジュール２７を動作させることにより、第２の所定数の候補文シーケンスに基づいて、入力シーケンスに対応する出力シーケンスを決定する機能を実行する。

図３は、本願の例示的な一実施形態に係る文生成方法のフローチャートであり、該方法は、前述した適用シーンにおける電子機器を用いて実現することができ、図３を参照すると、該文生成方法は、以下のステップ３０１～３０６を含む。

ステップ３０１では、入力シーケンスを取得する。
一実施形態では、入力シーケンスは、入力されるテキストデータであるか、又は入力される音声データや、イメージデータを認識して得られるテキストデータである。

電子機器が入力シーケンスを取得するステップは、電子機器がテキストデータ（字、単語又はセンテンス）を受信し、テキストデータを入力シーケンスとして決定するステップを含んでよい。或いは、電子機器が音声データを受信し、音声データに対して音声認識を行ってテキストデータを得、音声認識により得られたテキストデータを入力シーケンスとして決定する。或いは、電子機器がイメージデータを受信し、イメージデータに対して光学文字認識を行ってテキストデータを得、認識により得られたテキストデータを入力シーケンスとして決定する。

ステップ３０２では、入力シーケンスを符号化処理して、入力シーケンスを表す文特徴ベクトルを取得する。
一実施形態では、文特徴ベクトルは、ベクトルシーケンス又は単一のベクトルである。

一実施形態では、電子機器が入力シーケンスを符号化処理して文特徴ベクトルを取得するステップは、電子機器が入力シーケンスを、少なくとも１つのベクトルを含むベクトルシーケンスに符号化するステップを含む。

例示的には、電子機器は、ベクトルシーケンスに符号化する場合、まず、入力シーケンスに対して単語分割処理を行って、少なくとも１つの単語を取得し、その後に、単語分割処理により取得された各単語をそれぞれ１つのベクトルに符号化して、ベクトルシーケンスを構成する。

別の実施形態では、電子機器は入力シーケンスを単一のベクトルに符号化する。
電子機器は、エンコーダを用いて入力シーケンスをベクトルに符号化することができ、エンコーダによって符号化されたベクトルは、例えば意図（確認、質問など）や、具体的な名前付きエンティティ（例えば、場所、時間など）などの、入力シーケンスのあらゆる面での情報を含む。

電子機器が入力シーケンスを単一のベクトルに符号化する場合、後続の入力シーケンスに対する処理が該ベクトルに対する処理に変換され、１つのベクトルシーケンスに対する処理に比べて、後続処理の複雑さを大幅に低減すると共に、１つのベクトルを用いて入力シーケンスを表すと、意味の完全性を向上させることができる。

なお、電子機器がベクトルを用いて入力シーケンスを表す場合、入力シーケンスの意味を表現できるようにするために、例えば５０００次元のような高次元のベクトルを使用する必要があり、１つのベクトルシーケンスを用いて入力シーケンスを表す場合、ベクトルシーケンス中の各ベクトルが１つの単語のみを表すため、各ベクトルは、低次元のベクトルを使用することができる。

ステップ３０３では、文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得する。
一実施形態では、電子機器は、文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得する。候補文シーケンスは、少なくとも１つの復号化単語を含む。

第１の所定数は予め設定された数値であり、一実施形態では、第１の所定数値は、ユーザのカスタム設定又は端末のデフォルト設定である。例えば、第１の所定数は１６又は２４である。

なお、出力シーケンスが逐語に生成されるため、出力シーケンスの生成プロセスは、複数回の復号化処理を含み、毎回の復号化処理は、復号化、クラスタリング及び選別を含む。

一実施形態では、本願の実施形態では、復号化は、再編拡張とも呼ばれ、即ち、復号化プロセスは、第２の所定数の候補文シーケンスに基づいて復号化単語を拡張し、拡張した復号化単語を第２の所定数の候補文シーケンスと再編して、第１の所定数の候補文シーケンスを取得する処理プロセスであり、第１の所定数が第２の所定数より大きい。

クラスタリングは、復号化された第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得する処理プロセスを含む。

選別は、クラスタリングして取得された少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選択する処理プロセスを含む。

ステップ３０４では、第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得する。
一実施形態では、電子機器は、第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得する。文シーケンス集合は、少なくとも１つの候補文シーケンスを含む。

一実施形態では、少なくとも２種類の文シーケンス集合それぞれに対応する文特徴タイプは異なる。

一実施形態では、文特徴タイプは、候補文シーケンスの文流暢性及び／又は候補文シーケンスと入力シーケンスの間の関連度を示す。

ステップ３０５では、少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別し、第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数が第１の所定数より小さい。

一実施形態では、電子機器は、少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別する。

一実施形態では、少なくとも２種類の文シーケンス集合の各種類の文シーケンス集合について、電子機器は、該文シーケンス集合から少なくとも１つの候補文シーケンスを選別して、第２の所定数の候補文シーケンスを構成する。

ステップ３０６では、第２の所定数の候補文シーケンスに基づいて、入力シーケンスに対応する出力シーケンスを決定する。
一実施形態では、電子機器は、第２の所定数の候補文シーケンスから１つの候補文シーケンスを入力シーケンスに対応する出力シーケンスとして選択する。

一実施形態では、電子機器は、第２の所定数の候補文シーケンスから、予め設定された選択方略に従って、又はランダムに１つの候補文シーケンスを入力シーケンスに対応する出力シーケンスとして選択する。本実施形態は、これを限定しない。

以上より、本願の実施形態は、入力シーケンスを符号化処理して文特徴ベクトルを取得し、文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得し、第１の所定数の候補文シーケンスに対してクラスタリング及び選別を行って第２の所定数の候補文シーケンスを取得し、クラスタリング及び選別により取得された第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含むため、第２の所定数の候補文シーケンスに基づいて決定された出力シーケンスが大きな多様性を持ち、ユーザの要求を効果的に満たし、文生成効果を向上させる。

図４を参照すると、本願の別の例示的な実施形態に係る文生成方法のフローチャートを示す。該方法は、前述した適用シーンにおける電子機器を用いて実現することができ、図４を参照すると、該文生成方法は、以下のステップ４０１～４０８を含む。

ステップ４０１では、入力シーケンスを取得する。
一実施形態では、電子機器は、第１のアプリケーションプログラムにより、入力された文を取得し、入力された文に基づいて入力シーケンスを生成する。

ステップ４０２では、入力シーケンスを符号化処理して、入力シーケンスを表す文特徴ベクトルを取得する。

電子機器が入力シーケンスを符号化処理して文特徴ベクトルを取得するプロセスについては、上記実施形態における関連詳細を参照することができるため、ここでは説明を省略する。

ステップ４０３では、文特徴ベクトルに対してｉ回目の復号化を行って第１の所定数の候補文シーケンスを取得し、候補文シーケンスがｉ個の復号化単語を含み、ｉの初期値が１である。

一実施形態では、電子機器は、文特徴ベクトルに対して１回目の復号化を行って第２の所定数の候補文シーケンスを取得する。各候補文シーケンスは、１つの復号化単語を含む。

一実施形態では、ｉが１より大きい場合、電子機器が文特徴ベクトルに対してｉ回目の復号化を行って第２の所定数の候補文シーケンスを取得するステップは、ｉ回目の復号化の場合、文特徴ベクトルとｉ－１回目の復号化によって取得された第２の所定数の候補文シーケンスとに基づいて、再編拡張を行って第１の所定数の候補文シーケンスを取得するステップであって、第１の所定数が第２の所定数より大きいステップを含む。

一実施形態では、ｉ回目の復号化の場合、ｉ－１回目の復号化によって取得された第２の所定数の候補文シーケンス中の少なくとも１つの候補文シーケンスについて、電子機器は該候補文シーケンスに再編拡張を行って拡張された複数の候補文シーケンスを取得する。

一実施形態では、第１の所定数は、予め設定された、第２の所定数より大きい数値であり、例示的には、第１の所定数は第２の所定数のｍ倍であり、ｍが１より大きい正の整数である。

ステップ４０４では、第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得する。

電子機器が第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得するステップの前に、さらに、第１の所定数の候補文シーケンスに対して、候補文シーケンス中の重複する単語を排除するための重複排除処理を行うステップを含んでよい。

一実施形態では、電子機器が第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２タイプのシーケンスセットを取得するステップは、第１の所定数の候補文シーケンスを、所定のクラスタリングアルゴリズムを用いてクラスタリングして、少なくとも２種類の文シーケンス集合を取得するステップを含む。

ここで、所定のクラスタリングアルゴリズムは、Ｋ平均クラスタリングアルゴリズム、平均シフトクラスタリングアルゴリズム、密度ベースのクラスタリングアルゴリズム、ガウス混合モデルを用いる期待値最大化クラスタリングアルゴリズム、凝集型階層的クラスタリングアルゴリズムのうちの少なくとも１つを含む。

なお、本実施形態では、端末に使用される、所定のクラスタリングアルゴリズムのタイプを限定せず、以下、所定のクラスタリングアルゴリズムがＫ平均クラスタリングアルゴリズムであることを例として説明する。

少なくとも２種類の文シーケンス集合それぞれに対応する文特徴タイプは異なる。
一実施形態では、文特徴タイプは、候補文シーケンスの文流暢性及び／又は候補文シーケンスと入力シーケンスとの間の関連度を示す。

一実施形態では、文特徴タイプが第１の文特徴タイプ、第２の文特徴タイプ及び第３の文特徴タイプのうちの少なくとも１つを含む。

第１の文特徴タイプは、候補文シーケンスが安全な出力シーケンスであることを示すためのものであり、安全な出力シーケンスは、流暢で安全な出力シーケンスとも呼ばれる。即ち、該候補文シーケンスの文流暢性が流暢閾値より高く、該候補文シーケンスと入力シーケンスとの間の関連度が関連閾値以下である。

第２の文特徴タイプは、候補文シーケンスが流暢でない出力シーケンスであることを示すためのものであり、即ち、該候補文シーケンスの文流暢性が流暢閾値以下である。

第３の文特徴タイプは、候補文シーケンスが流暢でかつ的確性を有する出力シーケンスであることを示すためのものであり、即ち、該候補文シーケンスの文流暢性が流暢閾値より高く、かつ該候補文シーケンスと入力シーケンスとの間の関連度が関連閾値より大きい。

一実施形態では、流暢閾値又は関連閾値は、ユーザのカスタム設定又は端末のデフォルト設定である。本実施形態は、これを限定しない。

なお、電子機器がクラスタリングする際に用いる文特徴タイプと、クラスタリングして取得した文シーケンス集合の数とは、いずれも調整可能であり、本実施形態はこれを限定しない。

例えば、少なくとも２種類の文シーケンス集合は、３タイプの文シーケンス集合を含み、第１のタイプの文シーケンス集合は、複数の第１の文特徴タイプの候補文シーケンスを含み、第１の文特徴タイプは、候補文シーケンスが安全な文シーケンスであることを示すためのものであり、第２のタイプの文シーケンス集合は、複数の第２の文特徴タイプの候補文シーケンスを含み、第２の文特徴タイプは、候補文シーケンスが流暢でない文シーケンスであることを示すためのものであり、第３のタイプの文シーケンス集合は、複数の第３の文特徴タイプの候補文シーケンスを含み、第３の文特徴タイプは、候補文シーケンスが流暢でかつ的確性を有する文シーケンスであることを示すためのものである。

ステップ４０５では、少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別し、第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数が第１の所定数より小さい。

一実施形態では、電子機器が少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別するステップは、少なくとも２種類の文シーケンス集合の各種類の文シーケンス集合について、文シーケンス集合中の複数の候補文シーケンスをソートするステップと、文シーケンス集合中の、ソートした上位Ｎ個の候補文シーケンスを取得するステップであって、Ｎは正の整数であるステップとを含む。

一実施形態では、少なくとも２種類の文シーケンス集合の各種類の文シーケンス集合について、電子機器は、予め設定された指標に従って該文シーケンス集合中の複数の候補文シーケンスをソートする。例示的には、予め設定された指標は、情報エントロピーを含む。

一実施形態では、電子機器は、クラスタリングしてＫタイプの文シーケンス集合を取得した後、Ｋタイプの文シーケンス集合の各種類の文シーケンス集合から、ソートした上位Ｎ個の候補文シーケンスを取得し、Ｋ＊Ｎ個の候補文シーケンスを取得し、ここで、Ｋ＊Ｎは第２の所定数である。

ステップ４０６では、ｉ回目の復号化によって取得された復号化単語に予測された終了単語が含まれない場合、ｉに１を加算し、文特徴ベクトルに対してｉ回目の復号化を行って第１の所定数の候補文シーケンスを取得するステップを継続して実行する。

一実施形態では、予測された終了単語は、復号化を終了するために設定されたキーワードである。例示的には、終了単語は「ｅｎｄ」である。

ｉ回目の復号化によって取得された復号化単語に予測された終了単語が含まれない場合、電子機器は、ｉ回目に取得した第２の所定数の候補文シーケンス（即ち、ｉ回目の復号化、クラスタリング及び選別がなされた第２の所定数の候補文シーケンス）を次回（即ち、今回の次回）の復号化の入力とすると共に、現在のｉに１を加算して新たなｉ回目として、上記ステップ４０３～ステップ４０５を継続して実行する。

ステップ４０７では、ｉ回目の復号化によって取得された復号化単語に予測された終了単語が含まれる場合、ｉ回目の復号化、クラスタリング及び選別がなされた第２の所定数の候補文シーケンスを取得する。

ｉ回目の復号化によって取得された復号化単語に予測された終了単語が含まれる場合、電子機器は、ｉ回目の復号化、クラスタリング及び選別がなされた第２の所定数の候補文シーケンスを取得し、かつステップ４０８を実行する。

ステップ４０８では、取得した第２の所定数の候補文シーケンスに基づいて、出力シーケンスを決定する。

理解できるように、ステップ４０８での第２の所定数の候補文シーケンスは、即ち、最終回の復号化により取得された第１の所定数の候補文シーケンスに対してステップ４０４とステップ４０５とを実行して取得されたものである。

一実施形態では、電子機器が取得された第２の所定数の候補文シーケンスに基づいて出力シーケンスを決定するステップは、文スコアリングモデルを取得するステップであって、文スコアリングモデルは、サンプル文シーケンスに基づいてトレーニングして得られた文評価ルールを表すためのものである、ステップと、第２の所定数の候補文シーケンスの各候補文シーケンスを文スコアリングモデルに入力して文スコアを取得するステップであって、文スコアは候補文シーケンスの文品質を示すためのものである、ステップと、第２の所定数の候補文シーケンスそれぞれに対応する文スコアに基づいて、出力シーケンスを決定するステップと、を含む。

一実施形態では、文スコアリングモデルは、サンプル文シーケンスに基づいてニューラルネットワークをトレーニングして得られたモデルである。該文スコアリングモデルは、文シーケンスの文品質を評価するために用いられる。例示的には、文品質は、文流暢性を含む。

一実施形態では、該文スコアリングモデルは、文シーケンスが自然言語であるか否かを評価するために用いられる。

電子機器が端末である場合、文スコアリングモデルは、端末が予めトレーニングしかつ自身に記憶するものであってもよいし、サーバが予めトレーニングした後に端末に送信するものであってもよい。

電子機器がサーバである場合、文スコアリングモデルは、サーバが予めトレーニングしかつサーバに記憶するものである。本実施形態は、これを限定しない。以下、サーバが文スコアリングモデルをトレーニングすることを例としてモデルトレーニングプロセスを説明する。

サーバが文スコアリングモデルをトレーニングするプロセスは、トレーニングサンプルセットを取得するステップであって、トレーニングサンプルセットが少なくとも１組のサンプルデータ組を含むステップと、少なくとも１組のサンプルデータ組に対して、誤差逆伝播アルゴリズムを用いてトレーニングを行って、文スコアリングモデルを取得するステップと、を含む。各サンプルデータ組は、サンプル文シーケンスと予めアノテーションされた正しい文スコアとを含む。

サーバが少なくとも１組のサンプルデータ組に対して、誤差逆伝播アルゴリズムを用いてトレーニングを行って、文スコアリングモデルを取得するステップは、以下のステップ１～３を含むが、これらに限定されない。

ステップ１では、少なくとも１組のサンプルデータ組の各サンプルデータ組について、サンプル文シーケンスを元のパラメータモデルに入力して、トレーニング結果を取得する。

一実施形態では、元のパラメータモデルは、ニューラルネットワークモデルに基づいて構築されたものであり、例えば、元のパラメータモデルは、ＣＮＮモデル、ＤＮＮモデル、ＲＮＮモデル、埋め込みモデル、ＧＢＤＴモデル、ＬＲモデルのうちの少なくとも１つを含むが、これらに限定されない。

例示的には、各サンプルデータ組について、サーバは、該サンプルデータ組に対応する入出力ペアを作成し、入出力ペアの入力パラメータが該サンプルデータ組中のサンプル文シーケンスであり、出力パラメータが該サンプルデータ組中の正しい文スコアであり、サーバは入力パラメータを元のパラメータモデルに入力して、トレーニング結果を取得する。

例えば、サンプルデータ組がサンプル文シーケンスＡと正しい文スコア「文スコア１」とを含み、端末が作成した入出力ペアは、（サンプル文シーケンスＡ）－＞（文スコア１）であり、ここで、（サンプル文シーケンスＡ）が入力パラメータであり、（文スコア１）が出力パラメータである。

一実施形態では、入出力ペアは、特徴ベクトルにより表される。

ステップ２では、各サンプルデータ組について、トレーニング結果と正しい文スコアとを比較して、計算損失を取得し、計算損失は、トレーニング結果と正しい文スコアとの間の誤差を示す。

一実施形態では、計算損失は交差エントロピー（英語：ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）により表される。

一実施形態では、端末は下式により計算して計算損失Ｈ（ｐ，ｑ）を取得する。

ここで、ｐ（ｘ）とｑ（ｘ）は、長さが等しい離散分布ベクトルであり、ｐ（ｘ）はトレーニング結果を表し、ｑ（ｘ）は出力パラメータを表し、ｘはトレーニング結果又は出力パラメータの１つのベクトルである。

ステップ３では、少なくとも１組のサンプルデータ組それぞれに対応する計算損失に基づいて、誤差逆伝播アルゴリズムを用いてトレーニングして、文スコアリングモデルを取得する。

一実施形態では、端末は、逆伝播アルゴリズムを用い、計算損失に基づいて文スコアリングモデルの勾配方向を決定し、文スコアリングモデルの出力層から層ごとに前に文スコアリングモデルのモデルパラメータを更新する。

一実施形態では、第２の所定数の候補文シーケンスの各候補文シーケンスについて、電子機器は、候補文シーケンスを文スコアリングモデルに入力して文スコアを算出する。

ここで、文スコアリングモデルは、少なくとも１組のサンプルデータ組に基づいてトレーニングして得られたものであり、各サンプルデータ組は、サンプル文シーケンスと予めアノテーションされた正しい文スコアとを含む。

一実施形態では、文スコアは、候補文シーケンスの文品質を示すために用いられる。例示的には、文品質は、文流暢性を含む。

一実施形態では、文スコアと候補文シーケンスの文品質とは負の相関関係にあり、即ち、文スコアが低いほど、該候補文シーケンスの文品質が高く、文流暢性が高く、文スコアが高いほど、該候補文シーケンスの文品質が低く、文流暢性が低い。

一実施形態では、候補文シーケンスの文スコアがスコア閾値より低い場合、該候補文シーケンスが自然文であることを示す。

スコア閾値は、ユーザのカスタム設定又は端末のデフォルト設定であり、本実施形態はこれを限定しない。

一実施形態では、文スコアと候補文シーケンスの文品質とが負の相関関係にある場合、電子機器は、第２の所定数の候補文シーケンスそれぞれに対応する文スコアのうちの最も低い文スコアを決定し、最も低い文スコアに対応する候補文シーケンスを出力シーケンスとして決定する。

一実施形態では、電子機器が出力シーケンスを生成した後に、入力シーケンスと対応する出力シーケンスとが電子機器に表示される。

例示的には、上記実施形態に係る文生成方法に対応するアルゴリズムは、以下のとおりである。

Ｉｎｐｕｔ：Ｂｅａｍ ｓｉｚｅ ＢＳ，Ｃａｎｄｉｄａｔｅｓ Ｃ ｉｎｉｔｉａｌｉｚｅｄ ｗｉｔｈ
ｓｔａｒｔ ｓｙｍｂｏｌ
Ｏｕｔｐｕｔ：Ｆｉｎａｌ ｒｅｓｐｏｎｓｅ ｒｓｐ
Ｄａｔａ：Ｌａｎｇｕａｇｅ ｍｏｄｅｌ ｔｈｒｅｓｈｏｌｄ ｌｍ_ｔｈ
ｗｈｉｌｅ Ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅｄ ｈｙｐｏｔｈｅｓｉｓ ｄｏｅｓ ｎｏｔ
ｒｅａｃｈ ＢＳ ｏｒ ｍａｘｉｍｕｍ ｄｅｃｏｄｉｎｇ ｓｔｅｐ ｉｓ ｎｏｔ ｒｅａｃｈｅｄ
ｄｏ
ｆｏｒ ｉ ｉｎ ＢＳ ｄｏ
ｔｍｐＨｙｐｓ＝Ｔｏｐ－Ｎ（Ｅｘｔｅｎｄ（Ｃ［ｉ］），ＢＳ×２）；
Ｒｅｍｏｖｅ ｈｙｐｓ ｉｎ ｔｍｐＨｕｐｓ ｗｉｔｈ ｒｅｐｅａｔｅｄ
Ｎ－ｇｒａｍｓ ｏｒ ＵＮＫ；
Ｓａｖｅ ｔｍｐＨｙｐｓ ｔｏ ｅｘｔｅｎｄｅｄ ｃａｎｄｉｄａｔｅｓ；
ｅｎｄ
Ｐｅｒｆｏｒｍ Ｋ－ｍｅａｎｓ ｏｖｅｒ ｅｘｔｅｎｄｅｄ ｃａｎｄｉｄａｔｅｓ；
ｆｏｒ ｃａｎｄｉｄａｔｅｓ ｉｎ ｅａｃｈ ｃｌｕｓｔｅｒ ｄｏ
Ｓｏｒｔ ｃａｎｄｉｄａｔｅｓ ｂｙ ｐａｒｔｉａｌ ｌｏｇ－ｐｒｏｂ ｉｎ Ｒ；
Ｃｈｏｏｓｅ ｔｏｐ ＢＳ／Ｋ ｃａｎｄｉｄａｔｅｓ；
Ｐｕｔ ｃａｎｄｉｄａｔｅｓ ｗｉｔｈ ｅｎｄ ｓｙｍｂｏｌ ｉｎ Ｒ；
Ｐｕｔ ｉｎｃｏｍｐｌｅｔｅ ｃａｎｄｉｄａｔｅｓ ｉｎ Ｃ_ｎｅｗ；
ｅｎｄ
Ｃ←Ｃ_ｎｅｗ
ｅｎｄ
Ｓｏｒｔ Ｒ ａｃｃｏｒｄｉｎｇ ｔｏ ｌｏｇ－ｐｒｏｂ ｓｃｏｒｅｓ；
ｆｏｒ ｈｙｐ ｉｎ Ｒ ｄｏ
ｉｆ ｓｏｃｒｅ_ｌｍ（ｈｙｐ）＜ｌｍ_ｔｈ ｔｈｅｎ
ｒｓｐ←ｈｙｐ；
ｂｒｅａｋ；
ｅｎｄ
ｅｎｄ
ここで、ＢＳは第２の所定数であり、Ｃは入力シーケンスに対応する文特徴ベクトルを含み、ｒｓｐは出力シーケンスを表し、ｓｏｃｒｅ_ｌｍ（ｈｙｐ）は文スコアであり、ｌｍ_ｔｈはスコア閾値であり、ｈｙｐは候補文シーケンスを表し、Ｋは文シーケンス集合の数であり、Ｒは候補文シーケンスの集合を表し、Ｋ－ｍｅａｎｓはＫ平均クラスタリングアルゴリズムを表す。

例示的な例では、電子機器は入力シーケンスａを取得し、入力シーケンスａを符号化処理して文特徴ベクトルＡを取得し、電子機器は文特徴ベクトルＡに対して１回目の復号化を行って８個の候補文シーケンスを取得し、図５に示すように、電子機器の２回目の復号化のプロセスを示し、白い円は第１の文特徴タイプの候補文シーケンス（例えば、安全な候補文シーケンス）を表し、黒い円は第２の文特徴タイプの候補文シーケンス（例えば、流暢でかつ的確性を有する候補文シーケンス）を表す。１、電子機器は、文特徴ベクトルと１回目の復号化によって取得された８個の候補文シーケンスに基づいて、再編拡張を行って１６個の候補文シーケンスを取得する。２、電子機器は、１６個の候補文シーケンスをクラスタリングして２タイプの文シーケンス集合、即ち、第１のタイプの文シーケンス集合と第２のタイプの文シーケンス集合とを取得し、第１のタイプの文シーケンス集合は、８個の安全な候補文シーケンスを含み、第２のタイプの文シーケンス集合は、８個の流暢でかつ的確性を有する候補文シーケンスを含む。３、電子機器は、第１のタイプの文シーケンス集合から、４個の安全な候補文シーケンスを選別し、かつ第２のタイプの文シーケンス集合から４個の流暢でかつ的確性を有する候補文シーケンスを選別して、８個の候補文シーケンスを取得する。４、電子機器は、所定の終了条件を受信するまで、取得した８個の候補文シーケンスに基づいて次回の復号化を行う。ここで、次回の復号化は、類似して上記２回目の復号化のプロセスを参照すればよい。

以上より、本願の実施形態は、さらに、電子機器により文スコアリングモデルを取得し、第２の所定数の候補文シーケンスの各候補文シーケンスを文スコアリングモデルに入力して文スコアを取得し、複数の候補文シーケンスそれぞれに対応する文スコアに基づいて出力シーケンスを生成し、文スコアリングモデルがサンプル文シーケンスに基づいてトレーニングして得られた文評価ルールを表すため、決定された文スコアは、該候補文シーケンスの文品質を正確に反映することができ、さらに、生成された出力シーケンスの文品質を確保する。

上記文生成方法が対話システムに適用される場合、図６を参照すると、該文生成方法は、以下のステップ６０１～６０８を含む。

ステップ６０１では、電子機器は対話アプリケーションプログラムにより入力された応答対象文を取得する。

一実施形態では、対話アプリケーションプログラムがフォアグラウンドで動作する場合、音声形式又はテキスト形式で入力された応答対象文を受信する。

ここで、対話アプリケーションプログラムは、電子機器にインストールされ、マンマシン対話機能を有するアプリケーションプログラムである。一実施形態では、対話アプリケーションプログラムは、入力された応答対象文に応答するために用いられる。

ステップ６０２では、電子機器は応答対象文に基づいて入力シーケンスを生成する。

一実施形態では、応答対象文がテキスト形式で入力される場合、応答対象文を入力シーケンスとして決定する。

別の実施形態では、応答対象文が音声形式で入力される場合、音声認識アルゴリズムを用いて応答対象文をテキストデータに変換し、変換後のテキストデータを入力シーケンスとして決定する。

ステップ６０３では、電子機器は入力シーケンスを符号化処理して文特徴ベクトルを取得する。

ステップ６０４では、電子機器は文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得する。

ステップ６０５では、電子機器は第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得する。

ステップ６０６では、電子機器は、少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別し、第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含み、第２の所定数が第１の所定数より小さい。

ステップ６０７では、電子機器は第２の所定数の候補文シーケンスに基づいて、入力シーケンスに対応する出力シーケンスを決定する。

なお、電子機器がステップ６０３～ステップ６０７を実行するプロセスについては、上記実施形態における関連詳細を参照することができるため、ここでは説明を省略する。

ステップ６０８では、電子機器は出力シーケンスに基づいて応答文を生成し、対話アプリケーションプログラムにより応答文を表示する。

一実施形態では、電子機器は出力シーケンスを応答文として決定し、対話アプリケーションプログラムの対話インタフェースに該応答文をテキスト又は音声の形式で表示する。

上記文生成方法が機械翻訳システムに適用される場合、図７を参照すると、上記ステップ６０１と６０２は、以下の幾つかのステップとして置き換えられ、実現されてよい。

ステップ７０１では、電子機器は、翻訳アプリケーションプログラムにより入力された翻訳対象文を取得する。

一実施形態では、翻訳アプリケーションプログラムがフォアグラウンドで動作する場合、音声形式又はテキスト形式で入力された翻訳対象文を受信する。

ここで、翻訳アプリケーションプログラムは、電子機器にインストールされ、翻訳機能を有するアプリケーションプログラムである。一実施形態では、翻訳アプリケーションプログラムは、入力された翻訳対象文を翻訳するために用いられる。
ここで、翻訳対象文は翻訳対象となる第１の言語タイプの文である。

ステップ７０２では、電子機器は翻訳対象文に基づいて入力シーケンスを生成する。

一実施形態では、翻訳対象文がテキスト形式で入力される場合、翻訳対象文を入力シーケンスとして決定する。

別の実施形態では、翻訳対象文が音声形式で入力される場合、音声認識アルゴリズムを用いて翻訳対象文をテキストデータに変換し、変換後のテキストデータを入力シーケンスとして決定する。

それに応じて、上記ステップ６０８は、以下のステップ７０８として置き換えられ、実現されてよい。

ステップ７０８では、電子機器は、出力シーケンスに基づいて翻訳文を生成し、対話アプリケーションプログラムにより翻訳文を表示する。

ここで、翻訳文が翻訳対象となる第１の言語タイプの文に対応する、翻訳済みの第２の言語タイプの文であり、ここで、第１の言語タイプが第２の言語タイプと異なる。例示的には、第１の言語タイプは英語であり、第２の言語タイプは中国語である。

一実施形態では、電子機器は出力シーケンスを翻訳文として決定し、翻訳アプリケーションプログラムの翻訳インタフェースに該翻訳文をテキスト又は音声の形式で表示する。

なお、文生成方法が質問応答システム、自動創作システム又は読解システムに適用される場合、当業者は、類似して文生成方法が対話システム又は機械翻訳システムに適用される場合の上記対応するステップを参照することができるため、ここでは説明を省略する。

本願の各実施形態における文生成方法を実現するためのシステムは、ＤＳＴＣ７（７^ｔｈ Ｄｉａｌｏｇ Ｓｙｓｔｅｍ Ｔｅｃｈｎｏｌｏｇｙ Ｃｈａｌｌｅｎｇｅ、第７回対話システム技術チャレンジ）において第１位を獲得した。具体的なデータは、表１及び表２に示すとおりである。ただし、表１は、自動化評価の結果である。表２は、人工評価の結果である。

表１において、合計２２０８個の試験サンプルを有する。ＤＳＴＣ７の組織者は、以下の３つのベースライン（対照群）を提供する。（１）一定：常に「何を言ってるかわからない。」と回答すること。（２）ランダム：トレーニングデータから１つの解答をランダムに選択すること。（３）ｓｅｑ２ｓｅｑ（シーケンスツーシーケンス）：Ｖａｎｉｌｌａ Ｋｅｒａｓシーケンスツーシーケンスモデルを用いてトレーニングすること。チームＣ／Ｅ及びチームＧは、今回の競争の他の２つのチームに使用されるシステムである。正式評価を行うために、本発明者らは２つのシステムを提出し、１つのシステムはＫ平均値ビームサーチを使用した主なシステムであり、もう１つのシステムはＫ平均値ビームサーチを使用しない補助システムである。また、人（Ｈｕｍａｎ）の応答と比較する。全ての応答出力は、いずれも以下の指標を用いて採点し、これらの指標は、それぞれＮＩＳＴ（Ｄｏｄ－ｄｉｎｇｔｏｎが２００２年に提案した機械翻訳評価指標）、ＢＬＥＵ（Ｐａｐｉｎｅｎｉらが２００２年に提案した）、Ｍｅ－ｔｅｏｒ（Ｄｅｎｋｏｗｓｋｉ及びＬａｖｉｅが２０１４年に提案した）、ＤＩＶ－１、ＤＩＶ－２（ｄｉｓｔｉｎｃｔ－１及びｄｉｓｔｉｎｃｔ－２とも呼ばれる）（Ｌｉらが２０１６年に提案した）及びＥｎｔｒｏｐｙ１－４（Ｚｈａｎｇらが２０１８年に提案した）である。

表１に示すように、本発明者らのシステムは、ＮＩＳＴ－４、ＢＬＥＵ－４及びＭｅｔｅｏｒの主要指標を使用して評価し、いずれも最適な結果を取得する。また、Ｋ平均値ビームサーチを使用すると、ほぼ全ての主要なアルゴリズム及び全てのダイバーシティ指標の性能を効果的に向上させることができる。平均応答長さについて、本発明者らのシステムが生じた応答はｓｅｑ２ｓｅｑのベースラインより長い。また、Ｋ平均値ビームサーチを使用しないシステムに比べて、Ｋ平均値ビームサーチを使用するシステムは、応答時間がより長い。平均から論ずれば、人の応答時間は本発明者らのシステムより長く、Ｇチームが平均して２２個のトークンで生じた応答時間はさらに長い。前の１００ｋの語彙表に含まれないＯＯＶ（未知語）を出力する能力について、本発明者らのシステムは、それぞれＫ平均値ビームサーチ及び従来のビームサーチを用いて、提出した試験応答に９７及び５７個の唯一のＯＯＶ（未知語）を生成する。従来のビームサーチに比べて、Ｋ平均値ビームサーチは、より多くのＯＯＶ（未知語）をコピーすることができる。

表２において、ＤＳＴＣ７の組織者により１ｋ個の試験サンプルを入念に選択して競技試験を行い、さらに人力で結果を評価する。表２に示すように、人力評価は、「相関性と適切性」及び「興味と情報性」という２つのカテゴリから評価する。ｓｅｑ２ｓｅｑのベースラインに比べて、本発明者らのシステムは、９５％の信頼区間レベルでベースラインを明らかに超える。また、２位のチームに比べて、本発明者らのシステムは「興味及び情報量」のカテゴリにおいて９５％の信頼区間で最適な結果を取得する。まとめると、本発明者らのシステムは、競合において１位を勝ち取る。

以下、本願の装置の実施形態であり、本願の方法の実施形態を実行するために用いられることができる。本願の装置の実施形態に開示されない詳細について、本願の方法の実施形態を参照する。

図８を参照すると、本願の例示的な一実施形態に係る文生成装置の概略構成図を示す。該文生成装置は、専用ハードウェア回路、又はソフトウェアとハードウェアとの組み合わせにより、図１又は図２における電子機器の全部又は一部となるように実現されてよく、該文生成装置は、取得モジュール８１０、符号化モジュール８２０、復号化モジュール８３０、クラスタリングモジュール８４０、選別モジュール８５０及び決定モジュール８６０を含む。

取得モジュール８１０は、上記ステップ３０１又は４０１を実行する。
符号化モジュール８２０は、上記ステップ３０２又は４０２を実行する。
復号化モジュール８３０は、上記ステップ３０３を実行する。
クラスタリングモジュール８４０は、上記ステップ３０４又は４０４を実行する。
選別モジュール８５０は、上記ステップ３０５又は４０５を実行する。
決定モジュール８６０は、上記ステップ３０６を実行する。

一実施形態では、復号化モジュール８３０は、さらに、上記ステップ４０３を実行する。

決定モジュール８６０は、さらに、上記ステップ４０６及びステップ４０７の１つ、並びに、ステップ４０８を実行する。

一実施形態では、クラスタリングモジュール８４０は、さらに、第１の所定数の候補文シーケンスを、所定のクラスタリングアルゴリズムを用いてクラスタリングして、少なくとも２種類の文シーケンス集合を取得し、少なくとも２種類の文シーケンス集合それぞれに対応する文特徴タイプが異なり、
ここで、所定のクラスタリングアルゴリズムは、Ｋ平均クラスタリングアルゴリズム、平均シフトクラスタリングアルゴリズム、密度ベースのクラスタリングアルゴリズム、ガウス混合モデルを用いる期待値最大化クラスタリングアルゴリズム、凝集型階層的クラスタリングアルゴリズムのうちの少なくとも１つを含む。

一実施形態では、文特徴タイプは、第１の文特徴タイプ、第２の文特徴タイプ及び第３の文特徴タイプのうちの少なくとも１つを含み、
第１の文特徴タイプは、候補文シーケンスが安全な文シーケンスであることを示すためのものであり、
第２の文特徴タイプは、候補文シーケンスが流暢でない文シーケンスであることを示すためのものであり、
第３の文特徴タイプは、候補文シーケンスが流暢でかつ的確性を有する文シーケンスであることを示すためのものである。

一実施形態では、決定モジュール８６０は、さらに、サンプル文シーケンスに基づいてトレーニングして得られた文評価ルールを表すための文スコアリングモデルを取得し、第２の所定数の候補文シーケンスの各候補文シーケンスを文スコアリングモデルに入力して、候補文シーケンスの文品質を示すための文スコアを取得し、第２の所定数の候補文シーケンスそれぞれに対応する文スコアに基づいて、出力シーケンスを決定する。

一実施形態では、文スコアと候補文シーケンスの文品質とは負の相関関係にあり、決定モジュール８６０は、さらに、第２の所定数の候補文シーケンスそれぞれに対応する文スコアのうちの最も低い文スコアを決定し、最も低い文スコアに対応する候補文シーケンスを出力シーケンスとして決定する。

一実施形態では、決定モジュール８６０は、さらに、それぞれサンプル文シーケンスと予めアノテーションされた正しい文スコアとを含む少なくとも１組のサンプルデータ組を含むトレーニングサンプルセットを取得し、少なくとも１組のサンプルデータ組に基づいて、誤差逆伝播アルゴリズムを用いて元のパラメータモデルをトレーニングし、文スコアリングモデルを取得する。

一実施形態では、選別モジュール８５０は、さらに、少なくとも２種類の文シーケンス集合の各種類の文シーケンス集合について、文シーケンス集合中の複数の候補文シーケンスをソートし、
文シーケンス集合中の、ソートした上位Ｎ個の候補文シーケンスを取得し、Ｎは正の整数である。

一実施形態では、該装置は、さらに重複排除モジュールを含む。該重複排除モジュールは、第１の所定数の候補文シーケンスに対して、候補文シーケンス中の重複する単語を排除するための重複排除処理を行う。

一実施形態では、文生成方法が対話システムに適用される場合、入力シーケンスが応答対象文であり、出力シーケンスが応答文であり、
文生成方法が機械翻訳システムに適用される場合、入力シーケンスが翻訳対象の第１の言語タイプの文であり、出力シーケンスが翻訳済みの第２の言語タイプの文であり、ここで、第１の言語タイプが第２の言語タイプと異なり、
文生成方法が質問応答システムに適用される場合、入力シーケンスが質問文であり、出力シーケンスが回答文であり、
文生成方法が自動創作システムに適用される場合、入力シーケンスがテーマ文であり、出力シーケンスがコンテンツ文であり、
文生成方法が読解システムに適用される場合、入力シーケンスが問題文であり、出力シーケンスが答え文である。

一実施形態では、取得モジュール８１０は、さらに、対話アプリケーションプログラムにより入力された応答対象文を取得し、応答対象文に基づいて入力シーケンスを生成し、
該装置は、さらに、出力シーケンスに基づいて応答文を生成し、対話アプリケーションプログラムにより応答文を表示するための表示モジュールを含む。

関連詳細については、図３～図７に示す方法の実施形態を参照することができる。ここで、取得モジュール８１０は、さらに、上記方法の実施形態における他の任意の示唆又は開示された、取得ステップに関連する機能を実現し、符号化モジュール８２０は、さらに、上記方法の実施形態における他の任意の示唆又は開示された、符号化ステップに関連する機能を実現し、復号化モジュール８３０は、さらに、上記方法の実施形態における他の任意の示唆又は開示された、復号化ステップに関連する機能を実現し、クラスタリングモジュール８４０は、さらに、上記方法の実施形態における他の任意の示唆又は開示された、クラスタリングステップに関連する機能を実現し、選別モジュール８５０は、さらに、上記方法の実施形態における他の任意の示唆又は開示された、選別ステップに関連する機能を実現し、決定モジュール８６０は、さらに、上記方法の実施形態における他の任意の示唆又は開示された、決定ステップに関連する機能を実現する。

なお、上記実施形態に係る装置がその機能を実現する場合に、上記各機能モジュールの分割を例として説明したのみであり、実際の応用において、必要に応じて上記機能を割り当てて異なる機能モジュールにより完了し、つまり、装置の内部構成を異なる機能モジュールに分割して、以上に説明した全て又は一部の機能を完了することができる。また、上記実施形態に係る装置と方法の実施形態は、同じ構想に属し、それらの具体的な実現プロセスの詳細について、方法の実施形態を参照すればよいため、ここでは説明を省略する。

図９は、本願の例示的な一実施形態に係る端末９００の構成ブロック図を示す。該端末９００は、スマートフォン、タブレットコンピュータ、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ムービングピクチャーエクスパーツグループオーディオレイヤー３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ムービングピクチャーエクスパーツグループオーディオレイヤー４）プレーヤー、ノート型パーソナルコンピュータ又はデスクトップコンピュータであってよい。端末９００は、ユーザ機器、携帯端末、ラップトップ型端末、デスクトップ端末などの他の名称と呼ばれることもある。

一般的に、端末９００は、１つ以上のプロセッサ９０１及びメモリ９０２を含む。

１つ以上のプロセッサ９０１は、１つ以上の処理コアを含んでよく、例えば１つ以上の４コアプロセッサや、１つ以上の８コアプロセッサなどである。１つ以上のプロセッサ９０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェアの形態で実現されてよい。１つ以上のプロセッサ９０１は、アウェイク状態でのデータを処理するための、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれる１つ以上のホストプロセッサと、スタンバイ状態でのデータを処理するための低消費電力の１つ以上のコプロセッサとを含んでもよい。一部の実施形態では、１つ以上のプロセッサ９０１には、ディスプレイに表示されるコンテンツのレンダリング及びプロットを司るためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックスプロセッシングユニット）が集積されてよい。一部の実施形態では、１つ以上のプロセッサ９０１は、機械学習に関する演算操作を処理するための１つ以上のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサをさらに含んでもよい。

メモリ９０２は、非一時的であってよい１つ以上のコンピュータ可読記憶媒体を含んでよい。メモリ９０２は、高速ランダムアクセスメモリ及び１つ以上のディスク記憶装置、フラッシュメモリ記憶装置のような不揮発性メモリをさらに含んでよい。一部の実施形態では、メモリ９０２の非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサ９０１によって実行されると、本願における方法の実施形態に係る文生成方法が実現されるための少なくとも１つのコンピュータ可読命令を記憶する。

一部の実施形態では、端末９００は、代替的に、周辺機器インタフェース９０３及び少なくとも１つの周辺機器をさらに含む。１つ以上のプロセッサ９０１と、メモリ９０２と、周辺機器インタフェース９０３とは、バス又は信号線を介して接続することができる。各周辺機器は、バス、信号線又は回路基板を介して周辺機器インタフェース９０３に接続されることができる。具体的には、周辺機器は、無線周波数回路９０４、タッチディスプレイ９０５、カメラ９０６、オーディオ回路９０７、測位コンポーネント９０８及び電源９０９のうちの少なくとも１つを含む。

周辺機器インタフェース９０３は、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、入力／出力）に関する少なくとも１つの周辺機器を１つ以上のプロセッサ９０１及びメモリ９０２に接続することができる。一部の実施形態では、１つ以上のプロセッサ９０１、メモリ９０２及び周辺機器インタフェース９０３は、同一のチップ又は回路基板に集積され、一部の他の実施形態では、１つ以上のプロセッサ９０１、メモリ９０２及び周辺機器インタフェース９０３のいずれか１つ又は２つは、個別のチップ又は回路基板上で実現されてよく、本実施形態は、これを限定しない。

無線周波数回路９０４は、電磁信号とも呼ばれるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）信号を送受信する。

ディスプレイ９０５は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ユーザインタフェース）を表示する。該ＵＩは、図形、テキスト、アイコン、ビデオ及びそれらの任意の組み合わせを含んでよい。ディスプレイ９０５がタッチディスプレイである場合、ディスプレイ９０５は、ディスプレイ９０５の表面又は表面の上方のタッチ信号を収集する機能をさらに有する。該タッチ信号は、制御信号として１つ以上のプロセッサ９０１に入力されて処理されてよい。この場合、ディスプレイ９０５は、さらに仮想ボタン及び／又は仮想キーボードを提供することができ、ソフトボタン及び／又はソフトキーボードとも呼ばれる。

カメラコンポーネント９０６は、画像又はビデオを収集する。代替的に、カメラコンポーネント９０６は、フロントカメラ及びリアカメラを含む。一般的に、フロントカメラは、端末のフロントパネルに設けられ、リアカメラは、端末の背面に設けられる。

オーディオ回路９０７は、マイクロフォン及びスピーカを含んでよい。マイクロフォンは、ユーザ及び環境の音波を収集し、音波を電気信号に変換して１つ以上のプロセッサ９０１に入力して処理するか、又は無線周波数回路９０４に入力して音声通信を実現する。

測位コンポーネント９０８は、端末９００の現在の地理的位置を測位して、ナビゲーション又はＬＢＳ（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、位置情報サービス）を実現する。

電源９０９は、端末９００内の各コンポーネントに電力を供給する。電源９０９は、交流電源、直流電源、使い捨て電池又は充電式電池であってよい。

一部の実施形態では、端末９００は、１つ以上のセンサ９１０をさらに含む。該１つ以上のセンサ９１０は、加速度センサ９１１、ジャイロセンサ９１２、圧力センサ９１３、指紋センサ９１４、光学センサ９１５及び近接センサ９１６を含むが、これらに限定されない。

加速度センサ９１１は、端末９００で作成した座標系の３つの座標軸における加速度の大きさを検出することができる。

ジャイロセンサ９１２は、端末９００の機体方向及び回転角度を検出することができ、加速度センサ９１１と協働してユーザの端末９００に対する３Ｄ動作を収集することができる。

圧力センサ９１３は、端末９００のサイドフレーム及び／又はタッチディスプレイ９０５の下層に設けられてよい。圧力センサ９１３が端末９００のサイドフレームに設けられる場合、ユーザの端末９００に対する把持信号を検出することができ、１つ以上のプロセッサ９０１は圧力センサ９１３によって収集された把持信号に基づいて左手及び右手の認識又はショートカット操作を行う。圧力センサ９１３がタッチディスプレイ９０５の下層に設けられる場合、１つ以上のプロセッサ９０１は、ユーザのタッチディスプレイ９０５に対する押圧操作に応じて、ＵＩインタフェース上の操作可能なコントロールへの制御を実現する。

指紋センサ９１４は、ユーザの指紋を収集し、１つ以上のプロセッサ９０１が、指紋センサ９１４によって収集された指紋に基づいてユーザのアイデンティティを認識するか、或いは、指紋センサ９１４が、収集した指紋に基づいてユーザのアイデンティティを認識する。

光学センサ９１５は、環境光の強度を収集する。一実施形態では、１つ以上のプロセッサ９０１は、光学センサ９１５によって収集された環境光の強度に応じて、タッチディスプレイ９０５の表示輝度を制御することができる。

近接センサ９１６は、距離センサとも呼ばれ、一般的に、端末９００のフロントパネルに設けられる。近接センサ９１６は、ユーザと端末９００の正面との間の距離を収集する。

当業者が理解できるように、図９に示す構造は、端末９００を限定するものではなく、図示より多い又は少ないコンポーネントを含んでもよく、あるコンポーネントを組み合わせてもよく、異なるコンポーネント配置を用いてもよい。

図１０を参照すると、本願の例示的な一実施形態に係るサーバ１０００の概略構成図を示す。具体的には、サーバ１０００は、中央処理装置（ＣＰＵ）１００１と、ランダムアクセスメモリ（ＲＡＭ）１００２及びリードオンリーメモリ（ＲＯＭ）１００３を含むシステムメモリ１００４と、システムメモリ１００４及び中央処理装置１００１を接続するシステムバス１００５とを含む。サーバ１０００は、コンピュータ内の各部品の間の情報伝送を支援する基本入力／出力システム（Ｉ／Ｏシステム）１００６と、オペレーティングシステム１０１３、アプリケーションプログラム１０１４及び他のプログラムモジュール１０１５を記憶するための大容量記憶装置１００７とをさらに含む。

基本入力／出力システム１００６は、情報を表示するためのディスプレイ１００８と、ユーザが情報を入力するための、例えばマウスや、キーボードなどの入力装置１００９とを含む。ディスプレイ１００８と入力装置１００９とは、いずれもシステムバス１００５に接続された入力／出力コントローラー１０１０を介して中央処理装置１００１に接続される。基本入力／出力システム１００６は、キーボード、マウス又は電子スタイラスなどの複数の他の装置からの入力を受信し、処理するための入力／出力コントローラー１０１０をさらに含んでよい。同様に、入力／出力コントローラー１０１０は、ディスプレイ、プリンター又は他のタイプの出力装置に出力をさらに提供する。

大容量記憶装置１００７は、システムバス１００５に接続された大容量記憶コントローラー（未図示）を介して中央処理装置１００１に接続される。大容量記憶装置１００７及びそれに関連するコンピュータ可読媒体は、サーバ１０００に不揮発性ストレージを提供する。つまり、大容量記憶装置１００７は、ハードディスク又はＣＤ－ＲＯＩドライバーのようなコンピュータ可読媒体（未図示）を含んでよい。

一般性を失うことなく、コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体とを含んでよい。コンピュータ記憶媒体は、例えばコンピュータ可読命令や、データ構造、プログラムモジュール又は他のデータなどの情報を記憶するための、任意の方法又は技術で実現される揮発性及び不揮発性、取り外し可能及び取り外し不能媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他の固体記憶技術、ＣＤ－ＲＯＭ、ＤＶＤ又は他の光学記憶装置、磁気テープカートリッジ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置を含む。当然のことながら、当業者は、コンピュータ記憶媒体が上述した幾つかの種類のものに限定されないことがわかる。上述したシステムメモリ１００４及び大容量記憶装置１００７は、メモリと総称されてよい。

本願の種々の実施形態によれば、サーバ１０００は、さらにインターネットなどのネットワークを介してネットワークにおける遠隔コンピュータに接続されて動作することができる。つまり、サーバ１０００は、システムバス１００５に接続されたネットワークインタフェースユニット１０１１を介してネットワーク１０１２に接続されることができ、或いは、ネットワークインタフェースユニット１０１１を用いて他のタイプのネットワーク又は遠隔コンピュータシステム（未図示）に接続されることができる。

一実施形態では、該メモリには、１つ以上のプロセッサによってロードされ実行されると、上記各方法の実施形態に係る文生成方法を実現する少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されている。

本願の実施形態は、さらに、上記図９に係る端末９００であってもよいし、上記図１０に係るサーバ１０００であってもよい電子機器を提供する。

本願の実施形態は、さらに、１つ以上のプロセッサによって実行されると、上記各方法の実施形態に係る文生成方法が実現される少なくとも１つのコンピュータ可読命令が記憶されているコンピュータ可読記憶媒体を提供する。

上記本願の実施形態の番号は説明のためのものに過ぎず、実施形態の優劣を示すものではない。

当業者であれば理解できるように、上記実施形態の文生成方法の全部又は一部のステップの実現は、ハードウェアにより完了してもよく、プログラムによりコンピュータ可読命令に関連するハードウェアを命令して完了してもよく、該プログラムがコンピュータ可読記憶媒体に記憶されてよく、上述した記憶媒体はリードオンリーメモリ、磁気ディスク又は光ディスクなどであってよい。

以上の記載は、本願の好ましい実施形態に過ぎず、本願を限定するものではなく、本願の構想及び原則内に行われる全ての修正、同等置換及び改善などは、いずれも本願の保護範囲に含まれるべきである。

１００ 入力オブジェクト
２００ 電子機器
１０ プロセッサ
２０ メモリ
２１ オペレーティングシステム
２２ 取得モジュール
２３ 符号化モジュール
２４ 復号化モジュール
２５ クラスタリングモジュール
２６ 選別モジュール
２７ 決定モジュール
２８ アプリケーションプログラム
３０ 通信インタフェース
８１０ 取得モジュール
８２０ 符号化モジュール
８３０ 復号化モジュール
８４０ クラスタリングモジュール
８５０ 選別モジュール
８６０ 決定モジュール
９００ 端末
９０１ プロセッサ
９０２ メモリ
９０３ 周辺機器インタフェース
９０４ 無線周波数回路
９０５ ディスプレイ
９０６ カメラコンポーネント
９０７ オーディオ回路
９０８ 測位コンポーネント
９０９ 電源
９１０ センサ
９１１ 加速度センサ
９１２ ジャイロセンサ
９１３ 圧力センサ
９１４ 指紋センサ
９１５ 光学センサ
９１６ 近接センサ
１０００ 端末
１００１ 中央処理装置
１００２ ランダムアクセスメモリ（ＲＡＭ）
１００３ リードオンリーメモリ（ＲＯＭ）
１００４ システムメモリ
１００５ システムバス
１００６ 出力システム
１００７ 大容量記憶装置
１００８ ディスプレイ
１００９ 入力装置
１０１０ 出力コントローラー
１０１１ ネットワークインタフェースユニット
１０１２ ネットワーク
１０１３ オペレーティングシステム
１０１４ アプリケーションプログラム
１０１５ プログラムモジュール

Claims (15)

1. 電子機器が実行する文生成方法であって、
   入力シーケンスを取得するステップと、
   前記入力シーケンスを符号化処理して文特徴ベクトルを取得するステップと、
   前記文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得するステップと、
   前記第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得するステップであって、前記少なくとも２種類の文シーケンス集合それぞれに対応する文特徴タイプが異なる、ステップと、
   前記少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別するステップであって、前記第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含む、ステップと、
   予め設定された決定方略に従って、前記第２の所定数の候補文シーケンスから１つの候補文シーケンスを、前記入力シーケンスに対応する出力シーケンスとして決定するステップであって、前記予め設定された決定方略は、前記第２の所定数の各候補文シーケンスの文品質を評価することを含む、ステップと、を含む文生成方法。
2. 前記文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得する前記ステップは、
   前記文特徴ベクトルに対してｉ回目の復号化を行って前記第１の所定数の候補文シーケンスを取得するステップであって、前記候補文シーケンスがｉ個の復号化単語を含み、前記ｉの初期値が１である、ステップを含み、
   前記少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別する前記ステップの後、前記方法は、さらに、
   前記ｉ回目の復号化によって取得された復号化単語に予測された終了単語が含まれない場合、前記第２の所定数の候補文シーケンスをｉ＋１回目の復号化の入力とすると共に、前記ｉ＋１回目をｉ回目として、前記文特徴ベクトルに対してｉ回目の復号化を行って前記第１の所定数の候補文シーケンスを取得するステップを継続して実行するステップと、
   前記ｉ回目の復号化によって取得された復号化単語に前記予測された終了単語が含まれる場合、予め設定された決定方略に従って、前記第２の所定数の候補文シーケンスから１つの候補文シーケンスを、前記入力シーケンスに対応する出力シーケンスとして決定する前記ステップを実行するステップと、を含むことを特徴とする請求項１に記載の方法。
3. 前記文特徴タイプは、前記候補文シーケンスが安全な文シーケンスであることを示すための第１の文特徴タイプ、前記候補文シーケンスが流暢でない文シーケンスであることを示すための第２の文特徴タイプ、及び、前記候補文シーケンスが流暢でかつ的確性を有する文シーケンスであることを示すための第３の文特徴タイプのうちの少なくとも１つを含む、ことを特徴とする請求項１または２に記載の方法。
4. 予め設定された決定方略に従って、前記第２の所定数の候補文シーケンスから１つの候補文シーケンスを、前記入力シーケンスに対応する出力シーケンスとして決定する前記ステップは、
   文スコアリングモデルを取得するステップであって、前記文スコアリングモデルは、サンプル文シーケンスに基づいてトレーニングして得られた文評価ルールを表すためのものである、ステップと、
   前記第２の所定数の候補文シーケンスの各前記候補文シーケンスを前記文スコアリングモデルに入力して文スコアを取得するステップであって、前記文スコアは、前記候補文シーケンスの文品質を示すためのものである、ステップと、
   前記第２の所定数の候補文シーケンスそれぞれに対応する文スコアに基づいて、前記出力シーケンスを決定するステップと、を含み、
   前記文スコアと前記候補文シーケンスの文品質とは負の相関関係にあり、
   前記第２の所定数の候補文シーケンスそれぞれに対応する文スコアに基づいて、前記出力シーケンスを決定する前記ステップは、
   前記第２の所定数の候補文シーケンスそれぞれに対応する文スコアのうちの最も低い文スコアを決定するステップと、
   前記最も低い文スコアに対応する候補文シーケンスを前記出力シーケンスとして決定するステップと、を含むことを特徴とする請求項１に記載の方法。
5. 文スコアリングモデルを取得する前記ステップは、
   トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルセットが少なくとも１組のサンプルデータ組を含み、各前記サンプルデータ組がサンプル文シーケンスと予めアノテーションされた正しい文スコアとを含む、ステップと、
   前記少なくとも１組のサンプルデータ組に基づいて、誤差逆伝播アルゴリズムを用いて元のパラメータモデルをトレーニングし、前記文スコアリングモデルを取得するステップと、を含むことを特徴とする請求項４に記載の方法。
6. 前記少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別する前記ステップは、
   前記少なくとも２種類の文シーケンス集合の各種類の前記文シーケンス集合について、前記文シーケンス集合中の複数の候補文シーケンスをソートするステップと、
   前記文シーケンス集合中の、ソートした上位所定数の候補文シーケンスを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
7. 前記文生成方法が対話システムに適用され、前記入力シーケンスが応答対象文であり、前記出力シーケンスが応答文である、ことを特徴とする請求項１に記載の方法。
8. 前記文生成方法が機械翻訳システムに適用され、前記入力シーケンスが翻訳対象の第１の言語タイプの文であり、前記出力シーケンスが翻訳済みの第２の言語タイプの文であり、第１の言語タイプが第２の言語タイプと異なる、ことを特徴とする請求項１に記載の方法。
9. 前記文生成方法が質問応答システムに適用され、前記入力シーケンスが質問文であり、前記出力シーケンスが回答文である、ことを特徴とする請求項１に記載の方法。
10. 前記文生成方法が自動創作システムに適用され、前記入力シーケンスがテーマ文であり、前記出力シーケンスがコンテンツ文である、ことを特徴とする請求項１に記載の方法。
11. 前記文生成方法が読解システムに適用され、前記入力シーケンスが問題文であり、前記出力シーケンスが答え文である、ことを特徴とする請求項１に記載の方法。
12. 入力シーケンスを取得する前記ステップは、
    対話アプリケーションプログラムにより入力された応答対象文を入力シーケンスとして取得するステップを含み、
    前記方法は、さらに、
    前記出力シーケンスとして応答文を取得するステップと、
    前記対話アプリケーションプログラムにより前記応答文を表示するステップと、を含むことを特徴とする請求項１に記載の方法。
13. 電子機器に設けられる文生成装置であって、
    入力シーケンスを取得するための取得モジュールと、
    前記入力シーケンスを符号化処理して文特徴ベクトルを取得するための符号化モジュールと、
    前記文特徴ベクトルを復号化して第１の所定数の候補文シーケンスを取得するための復号化モジュールと、
    前記第１の所定数の候補文シーケンスをクラスタリングして、少なくとも２種類の文シーケンス集合を取得するためのクラスタリングモジュールであって、前記少なくとも２種類の文シーケンス集合それぞれに対応する文特徴タイプが異なる、クラスタリングモジュールと、
    前記少なくとも２種類の文シーケンス集合から第２の所定数の候補文シーケンスを選別するための選別モジュールであって、前記第２の所定数の候補文シーケンスが少なくとも２タイプの文特徴タイプを含む、選別モジュールと、
    予め設定された決定方略に従って、前記第２の所定数の候補文シーケンスから１つの候補文シーケンスを、前記入力シーケンスに対応する出力シーケンスとして決定するための決定モジュールであって、前記予め設定された決定方略は、前記第２の所定数の各候補文シーケンスの文品質を評価することを含む、決定モジュールと、を含むことを特徴とする文生成装置。
14. １つ以上のプロセッサと、
    少なくとも１つのコンピュータ可読命令、少なくとも１つのプログラム、コードセット又はコンピュータ可読命令セットが記憶されているメモリと、を含み、
    前記１つ以上のプロセッサは、前記少なくとも１つのコンピュータ可読命令、前記少なくとも１つのプログラム、前記コードセット又はコンピュータ可読命令セットをロードして実行し、請求項１～１２のいずれか一項に記載の文生成方法を実現するように構成される、ことを特徴とする電子機器。
15. コンピュータに、請求項１～１２のいずれか１項に記載の文生成方法を実行させるためのプログラム。

Images