JP7029351B2 - Oos文章を生成する方法及びこれを行う装置 - Google Patents

Oos文章を生成する方法及びこれを行う装置 Download PDF

Info

Publication number
JP7029351B2
JP7029351B2 JP2018101566A JP2018101566A JP7029351B2 JP 7029351 B2 JP7029351 B2 JP 7029351B2 JP 2018101566 A JP2018101566 A JP 2018101566A JP 2018101566 A JP2018101566 A JP 2018101566A JP 7029351 B2 JP7029351 B2 JP 7029351B2
Authority
JP
Japan
Prior art keywords
sentence
target
model
similar
oos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018101566A
Other languages
English (en)
Other versions
JP2019053715A (ja
Inventor
映 錫 金
尚 賢 柳
在 勳 全
俊 輝 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019053715A publication Critical patent/JP2019053715A/ja
Application granted granted Critical
Publication of JP7029351B2 publication Critical patent/JP7029351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling

Description

本発明は、OOS文章の生成に関する。
オートエンコーダ(Auto encoder)は、与えられた入力を符号化してベクトルを生成し、該当のベクトルを復号化して入力に対する出力を生成する。このようなオートエンコーダは、特定サービスのIS(In-Service)入力に基づいて復元エラーが最小化するように学習される。そのため、オートエンコーダモデルは、与えられた入力に対する復元エラーが閾値よりも大きければ、該当の入力が特定サービスに対してはOOS(Out-Of-Service)入力であると決定し、復元エラーが閾値以下であれば、該当の入力が特定サービスに対してはIS入力であると決定する。ここで、閾値は、オートエンコーダモデルを学習させながら決定され、閾値は入力(すなわち、学習データ)がどの様なものであるかに応じて可変的である。
オートエンコーダによる入力がIS入力として決定されれば、分流器は与えられた入力がどのような意図であるかを決定する。
一発明の目的は、OOS発話に対する実行を拒否する性能が向上するよう、IS発話文章と共に学習データとして用いられるOOS発話文章を生成することにある。
一つの側に係るOOS文章生成方法は、ターゲットサービスのターゲット発話テンプレート及び前記ターゲット発話テンプレートから生成されたターゲット文章に基づいてモデルを学習させるステップと、前記学習されたモデルのうちの1つと異なるサービスの発話テンプレートから生成された文章に基づいて、前記ターゲット発話テンプレートの類似発話テンプレートを生成するステップと、前記学習されたモデルのうち他の1つ及び前記類似発話テンプレートに基づいて前記ターゲット文章の類似文章を生成するステップとを含む。
OOS文章生成方法は、前記ターゲットサービスに対して、前記類似文章の意図にOOSレーベルを割り当てるステップをさらに含み得る。
前記OOSレーベルは、前記ターゲットサービスが前記類似文章に対応する機能を実行できないことを示し得る。
前記モデルを学習させるステップは、前記ターゲット文章を前記モデルのうち第1モデルに入力し、前記第1モデルが前記ターゲット文章に基づいて前記ターゲット発話テンプレートを生成するように前記第1モデルを学習させるステップと、前記ターゲット発話テンプレートを前記モデルのうち第2モデルに入力し、前記第2モデルが前記ターゲット発話テンプレートに基づいて前記ターゲット文章を生成するように前記第2モデルを学習させるステップとを含み得る。
前記学習された第1モデルは、前記類似発話テンプレートを生成するために利用されたモデルに該当し、前記学習された第2モデルは、前記類似文章を生成するために利用されたモデルに該当し得る。
前記学習された第2モデルは、学習によるコーパス及び前記類似発話テンプレートによって前記類似文章を生成し得る。
OOS文章生成方法は、前記ターゲット文章及び前記類似文章に基づいて、入力文章の意図を分類する分流器を学習させるステップをさらに含み得る。
前記学習された分流器はユーザの音声信号に対する文章が入力され、前記文章の意図を決定し、前記決定された意図が前記ターゲットサービスのOOSレーベルに該当する場合、前記決定された意図に対応する機能を実行できないことを示す結果を出力し得る。
一実施形態に係るコンピューティング装置は、ターゲットサービスのターゲット発話テンプレート及び前記ターゲット発話テンプレートから生成されたターゲット文章に基づいてモデルを学習させ、前記学習されたモデルのうちの1つと異なるサービスの発話テンプレートから生成された文章に基づいて前記ターゲット発話テンプレートの類似発話テンプレートを生成し、前記学習されたモデルのうち他の1つ及び前記類似発話テンプレートに基づいて前記ターゲット文章の類似文章を生成するプロセッサを含む。
前記プロセッサは、前記ターゲットサービスに対して前記類似文章の意図にOOSレーベルを割り当て得る。
前記OOSレーベルは、前記ターゲットサービスが前記類似文章に対応する機能を実行できないことを示し得る。
前記プロセッサは、前記ターゲット文章を前記モデルのうち第1モデルに入力し、前記第1モデルが前記ターゲット文章に基づいて前記ターゲット発話テンプレートを生成するように前記第1モデルを学習させ、前記ターゲット発話テンプレートを前記モデルのうち第2モデルに入力し、前記第2モデルが前記ターゲット発話テンプレートに基づいて前記ターゲット文章を生成するように前記第2モデルを学習させ得る。
前記学習された第1モデルは、前記類似発話テンプレートを生成するために利用されたモデルに該当し、前記学習された第2モデルは、前記類似文章を生成するために利用されたモデルに該当し得る。
前記学習された第2モデルは、学習によるコーパス及び前記類似発話テンプレートによって前記類似文章を生成し得る。
前記プロセッサは、前記ターゲット文章及び前記類似文章に基づいて前記ターゲット文章の意図を分類する分流器を学習させ得る。
前記学習された分流器は、ユーザの音声信号に対する文章データが入力され、前記文章データの意図を決定し、前記決定された意図が前記サービスのOOSレーベルに該当する場合、前記決定された意図に対応する機能を実行できないことを示す結果を出力し得る。
一実施形態に係る命令実行方法は、入力文章に関するサービスを識別するステップと、前記識別されたサービスに対応する分流器を用いて前記入力文章の意図を決定するステップと、前記決定された意図がOOSに該当するか否かに基づいて、前記決定された意図に対応する機能及び前記入力文章をエラーとして処理する動作のうちの1つを行うステップとを含む。
前記分流器は、前記識別されたサービスのターゲット文章及び類似文章に基づいて予め学習されたものであり得る。
前記類似文章は、前記識別されたサービスのターゲット発話テンプレート及び前記ターゲット発話テンプレートから生成されたターゲット文章に基づいてモデルを学習させるステップと、前記学習されたモデルのうち、第1モデル及び他のサービスの発話テンプレートから生成された文章に基づいて前記ターゲット発話テンプレートの類似発話テンプレートを生成するステップと、前記学習されたモデルのうち、第2モデル及び前記類似発話テンプレートに基づいて前記ターゲット文章の類似文章を生成するステップの実行によって生成され得る。
前記実行するステップは、前記決定された意図がOOSに該当しない場合、前記決定された意図に対応する機能を行うステップを含み得る。
前記実行するステップは、前記決定された意図がOOSに該当する場合、前記入力文章をエラーとして処理する動作を行うステップを含み得る。
コンピュータで読み出し可能な格納媒体は、命令実行方法を実行するための命令語を格納し得る。
他の位置実施形態に係る命令実行方法は、命令実行システムにより動作して入力文章に関するアプリケーションを識別するステップと、前記識別されたアプリケーションに対応する分流器を用いて前記入力文章の意図を決定するステップと、前記決定された意図がOOSに該当する場合、前記入力文章に対応する機能の実行を拒否するステップとを含む。
一実施形態によれば、生成されたOOS発話文章は、既存のルールの予測及び実行モデルが変更されることなく、IS発話文章と共に学習データとして使用されることにより、OOS発話に対する実行を拒否する性能が向上し得る。
ユーザ入力基盤の命令実行システムを説明するための図である。 一実施形態に係るターゲット文章生成方法を説明するための図である。 一実施形態に係るOOS文章生成装置を説明するための図である。 一実施形態に係るOOS文章生成装置の動作を説明するための図である。 一実施形態に係るOOS文章生成装置の動作を説明するための図である。 一実施形態に係る学習装置を説明するための図である。 一実施形態に係るOOS文章生成装置を説明するためのブロック図である。 一実施形態に係るOOS文章生成方法を説明するためのフローチャートである。 一実施形態に係る命令実行システムを説明するための図である。 一実施形態に係る命令実行方法を説明するためのフローチャートである。 一実施形態に係るターゲット文章生成装置を説明するための図である。
以下に、添付する図面を参照しながら実施形態を詳細に説明する。
実施形態に対する特定の構造的又は機能的な説明は、単なる例示を目的として開示されたものとして、様々な形態に変更され得る。したがって、実施形態は特定の開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることができるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に第2構成要素は第1構成要素と命名することもできる。
単数の表現は、文脈上明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、ここで用いる技術的又は科学的な用語を含む全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複説明は省略することにする。実施形態の説明において、関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断する場合、その詳細な説明を省略する。
図1は、ユーザ入力基盤の命令実行システムを説明するための図である。
ユーザ入力基盤の命令実行システム100は、ユーザ入力があれば、ユーザ入力に関するサービスを識別し、識別されたサービスの機能のうちユーザ入力からリクエストされた機能を決定し、決定された機能を行う。ここで、サービスはアプリケーションとして相違に表現されてもよい。
一例として、命令実行システム100は、第1文章「済州島で最近撮った写真を見せて」が入力されれば、第1文章に関するサービス(又は、アプリケーション)をギャラリーアプリケーションとして識別し得る。命令実行システム100は、第1文章のワード「見せて」を介して第1文章でリクエストされた機能を「表示機能」として決定し、決定された機能を行って済州島で最近撮った1つ以上の写真をギャラリーアプリケーションを介してユーザ端末に表示する。ギャラリーアプリケーションは写真を表示できるため、第1文章は、ギャラリーアプリケーションについてはターゲット文章又はIS(In-Service)文章に該当する。
異なる一例として、命令実行システム100は、第2文章「父にメッセージを送信して」が入力されれば、第2文章に関するサービス(又は、アプリケーション)をメッセージアプリケーションとして識別する。命令実行システム100は、第2文章のワード「送信して」を介して第2文章でリクエストされた機能を「送信機能」として決定し、決定された機能を行ってメッセージアプリケーションを介してユーザの父の端末にメッセージを送信する。メッセージアプリケーションは、メッセージを送信できるため、第2文章は、メッセージアプリケーションについてはターゲット文章又はIS文章に該当する。
図1に示された例を参照すると、命令実行システム100は、第3文章「済州島で最近撮った写真を翻訳して」が入力されてもよい。命令実行システム100は、第3文章にワード「写真」が含まれているため、第3文章に関するアプリケーションをギャラリーアプリケーションとして識別する。ここで、ギャラリーアプリケーションは写真を翻訳できないため、第3文章はギャラリーアプリケーションについてはOOS(out-of-service)文章に該当する。命令実行システム100は、第3文章がギャラリーアプリケーションに対してOOS文章であることを認知できない。そのため、命令実行システム100は、第3文章でリクエストされた機能を決定し、決定された機能を行う。一例として、命令実行システム100は、第3文章の「翻訳して」を「捨てて」に認識して、第3文章でリクエストされた機能を「削除」として決定し得る。そのため、命令実行システム100は、済州島で最近撮った1つ以上の写真を削除する。このような状況は、該当ユーザ入力がギャラリーアプリケーションに対してはOOSであるにもかかわらず、命令実行システム100が該当のユーザ入力に対する機能実行を拒否できないことから発生する。
図9を参照して後述する一実施形態に係る命令実行システム900は、ユーザ入力が特定アプリケーション(又は、特定サービス)(以下、ターゲットサービスと称する)のOOS文章に該当すれば、該当のユーザ入力に対する機能実行を拒否し得る。異なって表現すれば、ターゲットサービスのOOS文章に対する拒否性能を向上することができる。一実施形態に係る命令実行システム900は、ターゲットサービスのターゲット文章(すなわち、IS文章)及びOOS文章に基づいて、学習された分流器を含んでいるため前述した拒否性能が向上し得る。
分流器の学習のためには、ターゲットサービスのターゲット文章及びOOS文章を生成しなければならないが、以下に、図2を参照しながらターゲット文章の生成について説明し、図3~図5を参照してOOS文章の生成について説明する。分流器の学習については図6を参照して説明する。
図2は、一実施形態に係るターゲット文章生成方法を説明するための図である。
一実施形態に係るターゲット文章生成方法は、ターゲット文章生成装置によって実行されてもよい。ターゲット文章生成装置は、ターゲットサービスのターゲット発話テンプレートに基づいてターゲット文章を生成する。ここで、ターゲット発話テンプレートは、ターゲット文章を生成するために用いられるテンプレートを示す。
図2には、ギャラリーアプリケーションがターゲットサービスである場合、ターゲット文章生成装置がギャラリーアプリケーションのターゲット文章をどのように生成するかが示されている。
ターゲット文章生成装置は、リスト220にあるワード又はワードの組合せのいずれか1つをターゲット発話テンプレート210内のスロット211に入れ、リスト230にあるワード又はワードの組合せのいずれか1つをターゲット発話テンプレート210内のスロット212に入れて、ターゲット文章240を生成する。一例として、ターゲット文章生成装置は、リスト220にあるワード「済州島」をスロット211に入れ、リスト230にあるワード「最近」をスロット212に入れて、ターゲット文章240「済州島で最近撮った写真を見せて」を生成する。異なる一例として、ターゲット文章生成装置は、リスト220にあるワード「ソウル」をスロット211に入れ、リスト230にあるワード「二日前に」をスロット212に入れて、ターゲット文章「ソウルで二日前に取った写真を見せて」を生成する。
図2には、1つのターゲット発話テンプレート210と1つのターゲット文章240が図示されているが、これは例示的な事項に過ぎず、ターゲット文章生成装置は、ターゲットサービスの複数のターゲット発話テンプレートから複数のターゲット文章を生成することができる。
図3は、一実施形態に係るOOS文章生成装置を説明するための図である。
図3を参照すると、OOS文章生成装置300は、モデル学習器310及び文章生成器320を含む。
モデル学習器310は、ターゲット発話テンプレート210及びターゲット文章240に基づいてモデルを学習させる。図4を参照すると、モデル学習器310はターゲット文章240を発話toテンプレートモデル410に入力する。発話toテンプレートモデル410は、一例として、sequence-to-sequence構造を有する多重神経網モデルであり得る。モデル学習器310は、発話toテンプレートモデル410が、ターゲット文章240からターゲット発話テンプレート210を生成するように、発話toテンプレートモデル410を学習させる。これに制限されることなく、モデル学習器310は、発話toテンプレートモデルモデル410が、1つ又はそれ以上のターゲット文章から1つ又はそれ以上のターゲット発話テンプレートを生成するように、発話toテンプレートモデル410を学習させ得る。モデル学習器310は、ターゲット発話テンプレート210をテンプレートto発話モデル420に入力する。テンプレートto発話モデル420は、一例として、sequence-to-sequence構造を有する多重神経網モデルであり得る。モデル学習器310は、テンプレートto発話モデル420が、ターゲット発話テンプレート210からターゲット文章240を生成するように、テンプレートto発話モデル420を学習させる。これに制限されることなく、モデル学習器310は、テンプレートto発話モデル420が、1つ又はそれ以上のターゲット発話テンプレートから1つ又はそれ以上のターゲット文章を生成するように、テンプレートto発話モデル420を学習させることができる。
文章生成器320は、学習されたモデルのうち発話toテンプレートモデル410と他のサービスの発話テンプレートから生成された文章に基づいて、ターゲット発話テンプレート210の類似発話テンプレートを生成する。また、文章生成器320は、学習されたモデルのうちテンプレートto発話モデル420及び前記生成した類似発話テンプレートに基づいて、ターゲット文章240の類似文章を生成する。類似文章は、図1を参照して説明したOOS文章で、ターゲット文章と似ているがターゲットサービスでOOSである文章を示す。異なって表現すれば、類似文章はターゲットサービスと関連しながらターゲットサービスが実行できない機能をリクエストする入力に該当する。
図5に示された例を参照すると、文章生成器320は、他のサービス(一例として、翻訳サービス)の文章「昨日生成した文書をハングルに翻訳して」を学習された発話toテンプレートモデル510に入力する。ここで、他のサービスの文章は、他のサービスの発話テンプレートから生成される。一例として、他のサービスの発話テンプレートが、「[]生成した[]をハングルに翻訳して」であれば、図2を参照して説明したターゲット発話生成装置は、他のサービスの発話テンプレートのスロットのそれぞれに「昨日」及び「文書」を入れて他のサービスの文章「昨日生成した文書をハングルに翻訳して」を生成する。
文章生成器320は、学習された発話toテンプレートモデル510を介してターゲット発話テンプレート210の類似発話テンプレート520「[]から[]文書を翻訳して」を生成する。図3及び図4を参照して説明したように、学習された発話toテンプレートモデル510は、ターゲット発話テンプレート210及びターゲット文章240に基づいて学習されているため、ターゲット文章240ではない他のサービスの文章が入力されても、ターゲット発話テンプレート210と類似の発話テンプレート520を生成することができる。
文章生成器320は、類似発話テンプレート520を学習されたテンプレートto発話モデル530に入力する。文章生成器320は、学習されたテンプレートto発話モデル530を介してターゲット文章240の類似文章540「昨日撮った写真の中から2番目の写真を翻訳して」を生成する。図3及び図4を参照して説明したように、学習されたテンプレートto発話モデル530は、ターゲット発話テンプレート210及びターゲット文章240に基づいて学習され、学習を介して見た(seen)ワード「写真」等を含むコーパス(corpus)を保有する。学習されたテンプレートto発話モデル530は、類似発話テンプレート520が入力されれば、保有しているコーパス内のワードを類似発話テンプレート520のスロット521及び522に入れて、ターゲット文章240と類似の文章540を生成し得る。言い換えれば、文章生成器320は、ターゲット文章240と類似するものの、ターゲットサービスでOOSとなる類似文章540を生成する。
OOS文章生成装置300は、類似文章540の意図でOOSレーベルを割り当てることができる。ここで、OOSレーベルは、ターゲットサービスが類似文章540に対応する機能又は類似文章540でリクエストされた機能を実行できないことを示すレーベルを示す。図5に示された例で、類似文章540に割り当てられるOOSレーベルは、ギャラリーアプリケーションが翻訳機能を実行できないことを示す。
図1を参照して説明したように、分流器がターゲット文章240及びOOS文章(すなわち、類似文章540)に基づいて学習され得る。以下、図6を参照しながら分流器の学習について説明する。
図6は、一実施形態に係る学習装置を説明するための図である。
図6を参照すると、学習装置600は、入力の意図又は入力でリクエストされた機能を決定する分流器610を、ターゲット文章240及び類似文章540に基づいて学習させる。分流器610は、一例として、多重神経網モデルであってもよい。
学習装置600は、ターゲット文章240を分流器610に入力し、分流器610がターゲット文章240の実際の意図又はターゲット文章240でリクエストされた機能を決定するように分流器610を学習させる。一例として、学習装置600は、分流器610がターゲット文章240「済州島で最近撮った写真を見せて」でリクエストされた機能を表示機能として決定するように分流器610を学習させてもよい。
学習装置600は、類似文章540を分流器610に入力し、分流器610が類似文章540に対応する機能又は類似文章540でリクエストされた機能を実行できないことを示す結果を出力するように分流器610を学習させる。一例として、分流器610は、類似文章540「昨日撮った写真の中から2番目の写真を翻訳して」が入力されれば、類似文章540を分析して類似文章540の意図又は機能をOOSとして決定する。ここで、分流器610は、類似文章540の意図又は機能をOOSとして決定するため、ターゲットサービスに該当するギャラリーアプリケーションが翻訳機能を実行できないことを示す結果を出力する。このような方式により、学習装置600は、ターゲットサービスが異なる類似文章に対応する機能又は異なる類似文章でリクエストされた機能を実行できないことを示す結果を、分流器610が出力するように分流器610を学習させることができる。
学習された分流器は、図9を参照して説明する命令実行システムに搭載されてもよい。
図7は、一実施形態に係るOOS文章生成装置を説明するためのブロック図である。
図7を参照すると、OOS文章生成装置300はコンピューティング装置として、メモリ710及びプロセッサ720を含む。
プロセッサ720は、モデル学習器310及び文章生成器320を実現する。一実施形態によれば、プロセッサ720は、ターゲットサービスのターゲット発話テンプレート210及びターゲット文章240に基づいて、モデル410及び420を学習させる。一例として、プロセッサ720は、ターゲット文章240をモデル410及び420のうち第1モデルに入力し、第1モデルがターゲット文章240に基づいてターゲット発話テンプレート210を生成するように第1モデルを学習させ得る。ここで、第1モデルは、発話toテンプレートモデル410に該当する。また、プロセッサ720は、ターゲット発話テンプレート240をモデル410及び420のうち第2モデルに入力し、第2モデルがターゲット発話テンプレート210に基づいてターゲット文章240を生成するように第2モデルを学習させ得る。ここで、第2モデルは、テンプレートto発話モデル420に該当する。プロセッサ720は、学習されたモデル510及び530のうち学習された発話toテンプレートモデル510と他のサービスの発話テンプレートから生成された文章に基づいてターゲット発話テンプレート210の類似発話テンプレート520を生成する。プロセッサ720は、学習されたモデル510及び530のうちテンプレートto発話モデル530及び類似発話テンプレート520に基づいてターゲット文章240の類似文章540を生成する。
メモリ710は、ターゲット発話テンプレート210及びターゲット文章240を格納し、類似発話テンプレート520及び類似文章を格納する。メモリ710は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な記憶装置を含んでもよい。例えば、メモリ710は、RAM(random access memories)、DRAM(dynamic random access memories)、SRAM(static random access memories)、又は当該技術分野で知られた異なる形態の不揮発性メモリを含んでもよい。
OOS文章生成装置300は、前述のターゲット文章生成装置及び/又は学習装置600を含んでもよい。実現に応じて、ターゲット文章生成装置、OOS文章生成装置300、及び学習装置600は、1つの物理的装置内で論理的に区分されてもよい。又は、ターゲット文章生成装置、OOS文章生成装置300、及び学習装置600は互いに物理的に区分される装置であってもよい。
ターゲット文章生成装置の一例が図11に示されている。ターゲット文章生成装置1100は、OOS文章生成装置300及び学習装置600と物理的に区分される。図2~図11を参照すれば、ターゲット文章生成装置1100は、ターゲット発話テンプレート210、リスト220及びリスト230を格納するメモリ1110とリスト220及び230にあるワード又はワードの組合せをターゲット発話テンプレート210のスロット211及び212に入れて、ターゲット文章240を生成するプロセッサ1120を含む。
図1~図6を参照して記載された事項は、図7を参照して記載された事項に適用され得るため、詳細な説明は省略する。
図8は、一実施形態に係るOOS文章生成方法を説明するためのフローチャートである。
図8を参照すると、OOS文章生成装置300は、ターゲットサービスのターゲット発話テンプレート210及びターゲット文章240に基づいてモデル410及び420を学習させる(S810)。
OOS文章生成装置300は、学習されたモデル510及び530のうち発話toテンプレートモデル510と他のサービスの発話テンプレートから生成された文章に基づいて、ターゲット発話テンプレート210の類似発話テンプレート520を生成する(S820)。
OOS文章生成装置300は、学習されたモデル510及び530のうち、テンプレートto発話モデル530及び類似発話テンプレート520に基づいてターゲット文章240の類似文章540を生成する(S830)。
図1~図7を参照して記載された事項は、図8を参照して記載された事項に適用され得るため、詳細な説明は省略する。
図9は、一実施形態に係るユーザ入力基盤の命令実行システムを説明するための図である。
命令実行システム900は、命令実行装置、自然語分析装置、又はNLU(Natural Language Understanding)エンジンなどとは異なって表現されてもよい。
また、命令実行システム900は、クライアント及びサーバを含む形態に実現されてもよい。ここで、クライアントは、ユーザの発話を受信し、該当発話に対する音声信号をサーバに送信する装置を示し得る。一例として、クライアントは、スマートフォン、タブレットなどのユーザ端末を示してもよい。また、命令実行システム900は、クライアント又はサーバを示してもよい。
図9を参照すると、命令実行システム900は、分流器910を含む。分流器910は、ターゲット文章240及び類似文章540に基づいて、既に学習された分流器に該当する。これに制限されることなく、分流器910は、様々なターゲット文章及び様々な類似文章に基づいて学習された分流器に該当する。
命令実行システム900は「済州島で最近撮った写真を翻訳して」が入力されてもよい。ここで、該当の入力は、ユーザの発話が音声認識されて生成されたものであってもよい。命令実行システム900は、該当の入力に関するアプリケーション又はサービスをギャラリーアプリケーションで識別する。命令実行システム900は、該当の入力によりリクエストされた機能又は該当の入力の意図を決定する。図9に示された例として、分流器910はギャラリーサービスの類似文章、すなわちOOSレーベルを有する類似文章、例えば、「昨日撮った写真の中から2番目の写真を翻訳して」という文章の学習により、入力内のワード「写真」と「翻訳」をすでに見た(seen)ため、該当の入力の意図又は該当の入力でリクエストされた機能をOOSに決定する。そのため、分流器910は、決定された意図に該当する命令又は決定された機能を実行できないことを示す結果を出力する。命令実行システム900は、分流器910の出力に基づいて該当の機能を実行できないというフィードバックをユーザに提供する。
図9に示された例とは異なって、分流器910の入力には、分流器910が学習を介して見ることのできない(unseen)ワードが含まれることがある。ここで、分流器910は、該当のワードと最も類似のワードを介して該当の入力でリクエストされた機能又は該当の入力の意図を決定し、決定された機能又は決定された意図がOOSレーベルであれば、決定された機能を実行できないことを示す結果を出力する。一例として、分流器910が「済州島で最近撮った写真を本若して」が入力されることがある。分流器910は「本若」を学習を介して見ていないため、「本若」と最も近いワードを「翻訳」として予測する。ここで、分流器910は、予測されたワード「翻訳」と見た(seen)ワード「写真」を介して該当のユーザ入力の意図又は該当ユーザ入力でリクエストされた機能をOOSとして決定する。OOSレーベルが決定されるため、分流器910は、決定された意図による命令又は決定された機能を実行できないことを示す結果を出力する。
一実施形態において、命令実行システム900は、アプリケーション又はサービスが行うことはできないOOS発話に対応する命令の実行を拒否することができ、OOS入力に対して拒否性能がより向上し得る。
図10は、一実施形態に係る命令実行方法を説明するためのフローチャートである。
図10を参照すると、命令実行システム900は、入力文章に関するサービスを識別する(S1010)。例えば、入力文章が「済州島で最近撮った写真を翻訳して」であれば、命令実行システム900は、入力文章内のワード「写真」を介して入力文章に関するサービスをギャラリーアプリケーションに識別する。
命令実行システム900は、識別されたサービスの機能のうち入力文章でリクエストされた意図を分流器を用いて決定する(S1020)。例えば、命令実行システム900は、「済州島で最近撮った写真を翻訳して」の意図又は該当の入力文章でリクエストされた機能をOOSに決定する。
命令実行システム900は、決定された意図又は決定された機能がOOSに該当する場合、入力文章の実行を拒否する(S1030)。前述した例において、「済州島で最近撮った写真を翻訳して」でリクエストされた意図はOOSに該当するため、命令実行システム900は、「済州島で最近撮った写真を翻訳して」の実行を拒否する。
図1~図9を参照して記載された事項は、図10を参照して記載された事項に適用され得るため、詳細な説明は省略する。
上述の実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうち1つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述のように、たとえ実施形態を限定された図面によって説明したとしても、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり、置換されても適切な結果を達成することができる。
100 命令実行システム
220、230 リスト
240 ターゲット文章
300 OOS文章生成装置
310 モデル学習器
320 文章生成器
510 学習された発話toテンプレートモデル
530 学習されたテンプレートto発話モデル
600 学習装置

Claims (24)

  1. 処理装置によるOOS(out of service)文章生成方法であって、
    前記処理装置が、ターゲットサービスのターゲット発話テンプレート及び前記ターゲット発話テンプレートから生成されたターゲット文章に基づいてモデルを学習させるステップと、
    前記処理装置が、前記学習されたモデルのうちの1つと異なるサービスの発話テンプレートから生成された文章に基づいて、前記ターゲット発話テンプレートの類似発話テンプレートを生成するステップと、
    前記処理装置が、前記学習されたモデルのうち他の1つ及び前記類似発話テンプレートに基づいて前記ターゲット文章の類似文章を生成するステップと、
    を含む、OOS文章生成方法。
  2. 前記方法は、さらに、
    前記処理装置が、前記ターゲットサービスに対して、前記類似文章の意図にOOSレーベルを割り当てるステップ、を含む、
    請求項1に記載のOOS文章生成方法。
  3. 前記OOSレーベルは、前記ターゲットサービスが前記類似文章に対応する機能を実行できないことを示す、
    請求項2に記載のOOS文章生成方法。
  4. 前記モデルを学習させるステップは、
    前記処理装置が、前記ターゲット文章を前記モデルのうち第1モデルに入力し、前記第1モデルが前記ターゲット文章に基づいて前記ターゲット発話テンプレートを生成するように前記第1モデルを学習させるステップと、
    前記処理装置が、前記ターゲット発話テンプレートを前記モデルのうち第2モデルに入力し、前記第2モデルが前記ターゲット発話テンプレートに基づいて前記ターゲット文章を生成するように前記第2モデルを学習させるステップと、
    を含む、請求項1ないし3のいずれか一項に記載のOOS文章生成方法。
  5. 前記学習された第1モデルは、前記類似発話テンプレートを生成するために利用されたモデルに該当し、
    前記学習された第2モデルは、前記類似文章を生成するために利用されたモデルに該当する、
    請求項4に記載のOOS文章生成方法。
  6. 前記学習された第2モデルは、学習によるコーパス及び前記類似発話テンプレートによって前記類似文章を生成する、
    請求項4に記載のOOS文章生成方法。
  7. 前記方法は、さらに、
    前記処理装置が、前記ターゲット文章及び前記類似文章に基づいて、入力文章の意図を分類する分流器を学習させるステップ、を含む、
    請求項1に記載のOOS文章生成方法。
  8. 前記学習された分流器は、ユーザの音声信号に対する文章が入力され、前記文章の意図を決定し、前記決定された意図が前記ターゲットサービスのOOSレーベルに該当する場合、前記決定された意図に対応する機能を実行できないことを示す結果を出力する、
    請求項7に記載のOOS文章生成方法。
  9. 請求項1ないし請求項8のうちいずれか一項に記載の方法を実行するための命令語を格納する、コンピュータで読み出し可能な格納媒体。
  10. ターゲットサービスのターゲット発話テンプレート及び前記ターゲット発話テンプレートから生成されたターゲット文章に基づいてモデルを学習させ、
    前記学習されたモデルのうちの1つと異なるサービスの発話テンプレートから生成された文章に基づいて前記ターゲット発話テンプレートの類似発話テンプレートを生成し、
    前記学習されたモデルのうち他の1つ及び前記類似発話テンプレートに基づいて前記ターゲット文章の類似文章を生成する、プロセッサ、
    を含む、コンピューティング装置。
  11. 前記プロセッサは、前記ターゲットサービスに対して前記類似文章の意図にOOSレーベルを割り当てる、
    請求項10に記載のコンピューティング装置。
  12. 前記OOSレーベルは、前記ターゲットサービスが前記類似文章に対応する機能を実行できないことを示す、
    請求項11に記載のコンピューティング装置。
  13. 前記プロセッサは、
    前記ターゲット文章を前記モデルのうち第1モデルに入力し、前記第1モデルが前記ターゲット文章に基づいて前記ターゲット発話テンプレートを生成するように前記第1モデルを学習させ、
    前記ターゲット発話テンプレートを前記モデルのうち第2モデルに入力し、前記第2モデルが前記ターゲット発話テンプレートに基づいて前記ターゲット文章を生成するように前記第2モデルを学習させる、
    請求項10ないし12のいずれか一項に記載のコンピューティング装置。
  14. 前記学習された第1モデルは、前記類似発話テンプレートを生成するために利用されたモデルに該当し、前記学習された第2モデルは、前記類似文章を生成するために利用されたモデルに該当する、
    請求項13に記載のコンピューティング装置。
  15. 前記学習された第2モデルは、学習によるコーパス及び前記類似発話テンプレートによって前記類似文章を生成する、
    請求項13に記載のコンピューティング装置。
  16. 前記プロセッサは、前記ターゲット文章及び前記類似文章に基づいて前記ターゲット文章の意図を分類する分流器を学習させる、
    請求項10に記載のコンピューティング装置。
  17. 前記学習された分流器は、ユーザの音声信号に対する文章データが入力され、前記文章データの意図を決定し、前記決定された意図が前記サービスのOOSレーベルに該当する場合、前記決定された意図に対応する機能を実行できないことを示す結果を出力する、
    請求項16に記載のコンピューティング装置。
  18. 処理装置による命令実行方法であって、
    前記処理装置が、入力文章に関するサービスを識別するステップと、
    前記処理装置が、前記識別されたサービスに対応する分流器を用いて前記入力文章の意図を決定するステップと、
    前記処理装置が、前記決定された意図がOOSに該当するか否かに基づいて、前記決定された意図に対応する機能及び前記入力文章をエラーとして処理する動作のうちの1つを実行するステップと、
    を含む、命令実行方法。
  19. 前記分流器は、前記識別されたサービスのターゲット文章及び類似文章に基づいて予め学習されたものである、
    請求項18に記載の命令実行方法。
  20. 前記類似文章は、
    前記処理装置が、前記識別されたサービスのターゲット発話テンプレート及び前記ターゲット発話テンプレートから生成されたターゲット文章に基づいてモデルを学習させるステップと、
    前記処理装置が、前記学習されたモデルのうち、第1モデル及び他のサービスの発話テンプレートから生成された文章に基づいて前記ターゲット発話テンプレートの類似発話テンプレートを生成するステップと、
    前記処理装置が、前記学習されたモデルのうち、第2モデル及び前記類似発話テンプレートに基づいて前記ターゲット文章の類似文章を生成するステップ、の実行によって生成される、
    請求項19に記載の命令実行方法。
  21. 前記実行するステップは、前記決定された意図がOOSに該当しない場合、前記処理装置が、前記決定された意図に対応する機能を行うステップを含む、
    請求項18ないし20のいずれか一項に記載の命令実行方法。
  22. 前記実行するステップは、前記決定された意図がOOSに該当する場合、前記処理装置が、前記入力文章をエラーとして処理する動作を行うステップを含む、
    請求項18ないし20のいずれか一項に記載の命令実行方法。
  23. 請求項18ないし請求項22のいずれか一項に記載の方法を実行するための命令語を格納する、コンピュータで読み出し可能な格納媒体。
  24. 処理装置による命令実行方法であって、
    前記処理装置が、命令実行システムにより動作して入力文章に関するアプリケーションを識別するステップと、
    前記処理装置が、前記識別されたアプリケーションに対応する分流器を用いて前記入力文章の意図を決定するステップと、
    前記処理装置が、前記決定された意図がOOSに該当する場合、前記入力文章に対応する機能の実行を拒否するステップと、
    を含む、命令実行方法。
JP2018101566A 2017-09-18 2018-05-28 Oos文章を生成する方法及びこれを行う装置 Active JP7029351B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0119791 2017-09-18
KR1020170119791A KR102509821B1 (ko) 2017-09-18 2017-09-18 Oos 문장을 생성하는 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
JP2019053715A JP2019053715A (ja) 2019-04-04
JP7029351B2 true JP7029351B2 (ja) 2022-03-03

Family

ID=63491379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018101566A Active JP7029351B2 (ja) 2017-09-18 2018-05-28 Oos文章を生成する方法及びこれを行う装置

Country Status (5)

Country Link
US (1) US10733975B2 (ja)
EP (1) EP3457397B1 (ja)
JP (1) JP7029351B2 (ja)
KR (1) KR102509821B1 (ja)
CN (1) CN109522541B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329920B1 (ko) * 2021-06-04 2021-11-23 가천대학교 산학협력단 기계학습된 모델을 이용한 의료원문데이터를 증강하는 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070297A (ja) 2007-09-14 2009-04-02 Ricoh Co Ltd 情報処理装置、クライアントサーバシステム、情報処理方法、情報処理プログラム及び記録媒体
JP2015026057A (ja) 2013-07-29 2015-02-05 韓國電子通信研究院Electronics and Telecommunications Research Institute インタラクティブキャラクター基盤の外国語学習装置及び方法
JP2016173430A (ja) 2015-03-17 2016-09-29 日本電信電話株式会社 発話意図モデル学習装置、発話意図抽出装置、発話意図モデル学習方法、発話意図抽出方法、プログラム
US20170190051A1 (en) 2016-01-06 2017-07-06 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation
JP2017126051A (ja) 2016-01-07 2017-07-20 日本電気株式会社 テンプレート生成装置、テンプレート生成方法、テンプレート生成プログラムおよびフレーズ検知システム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627466B2 (ja) * 1984-06-27 1994-04-13 株式会社熊平製作所 金庫扉の解錠・施錠装置
JPH02309399A (ja) * 1989-05-24 1990-12-25 Sekisui Chem Co Ltd 音声による照明制御装置
TW323364B (ja) * 1993-11-24 1997-12-21 At & T Corp
CA2202656C (en) * 1994-11-01 2002-01-01 Simon Patrick Alexander Ringland Speech recognition
US5895447A (en) * 1996-02-02 1999-04-20 International Business Machines Corporation Speech recognition using thresholded speaker class model selection or model adaptation
US6463413B1 (en) * 1999-04-20 2002-10-08 Matsushita Electrical Industrial Co., Ltd. Speech recognition training for small hardware devices
US6735563B1 (en) * 2000-07-13 2004-05-11 Qualcomm, Inc. Method and apparatus for constructing voice templates for a speaker-independent voice recognition system
US7043422B2 (en) 2000-10-13 2006-05-09 Microsoft Corporation Method and apparatus for distribution-based language model adaptation
US8135589B1 (en) * 2000-11-30 2012-03-13 Google Inc. Performing speech recognition over a network and using speech recognition results
US7805302B2 (en) 2002-05-20 2010-09-28 Microsoft Corporation Applying a structured language model to information extraction
US7299188B2 (en) * 2002-07-03 2007-11-20 Lucent Technologies Inc. Method and apparatus for providing an interactive language tutor
EP1894125A4 (en) * 2005-06-17 2015-12-02 Nat Res Council Canada MEANS AND METHOD FOR ADAPTED LANGUAGE TRANSLATION
US8732189B2 (en) 2006-06-12 2014-05-20 Sony Corporation Command execution program and command execution method
US9436759B2 (en) 2007-12-27 2016-09-06 Nant Holdings Ip, Llc Robust information extraction from utterances
US20090276414A1 (en) 2008-04-30 2009-11-05 Microsoft Corporation Ranking model adaptation for searching
US8605996B2 (en) 2008-12-16 2013-12-10 Microsoft Corporation Sentiment classification using out of domain data
JP5573457B2 (ja) * 2010-07-23 2014-08-20 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP5073024B2 (ja) * 2010-08-10 2012-11-14 株式会社東芝 音声対話装置
US8688453B1 (en) 2011-02-28 2014-04-01 Nuance Communications, Inc. Intent mining via analysis of utterances
KR101309042B1 (ko) 2012-09-17 2013-09-16 포항공과대학교 산학협력단 다중 도메인 음성 대화 장치 및 이를 이용한 다중 도메인 음성 대화 방법
US8935167B2 (en) * 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US9761247B2 (en) 2013-01-31 2017-09-12 Microsoft Technology Licensing, Llc Prosodic and lexical addressee detection
CN103218353B (zh) * 2013-03-05 2018-12-11 刘树根 母语人士学用其它语言文字之人工智能实现方法
JP5718406B2 (ja) * 2013-05-13 2015-05-13 日本電信電話株式会社 発話文生成装置、対話装置、発話文生成方法、対話方法、発話文生成プログラム、及び対話プログラム
JP6225012B2 (ja) * 2013-07-31 2017-11-01 日本電信電話株式会社 発話文生成装置とその方法とプログラム
JP6067616B2 (ja) * 2014-04-25 2017-01-25 日本電信電話株式会社 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム
EP3149728B1 (en) * 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
JP6004452B2 (ja) * 2014-07-24 2016-10-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 言語モデル用の学習テキストを選択する方法及び当該学習テキストを使用して言語モデルを学習する方法、並びに、それらを実行するためのコンピュータ及びコンピュータ・プログラム
US20160055240A1 (en) 2014-08-22 2016-02-25 Microsoft Corporation Orphaned utterance detection system and method
US10366621B2 (en) * 2014-08-26 2019-07-30 Microsoft Technology Licensing, Llc Generating high-level questions from sentences
EP3210132A1 (en) * 2014-10-24 2017-08-30 Google, Inc. Neural machine translation systems with rare word processing
KR102167719B1 (ko) * 2014-12-08 2020-10-19 삼성전자주식회사 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
US20170256270A1 (en) * 2016-03-02 2017-09-07 Motorola Mobility Llc Voice Recognition Accuracy in High Noise Conditions
US10319377B2 (en) * 2016-03-15 2019-06-11 Tata Consultancy Services Limited Method and system of estimating clean speech parameters from noisy speech parameters
US10268686B2 (en) * 2016-06-24 2019-04-23 Facebook, Inc. Machine translation system employing classifier
CN106951512A (zh) * 2017-03-17 2017-07-14 深圳市唯特视科技有限公司 一种基于混合编码网络的端到端对话控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070297A (ja) 2007-09-14 2009-04-02 Ricoh Co Ltd 情報処理装置、クライアントサーバシステム、情報処理方法、情報処理プログラム及び記録媒体
JP2015026057A (ja) 2013-07-29 2015-02-05 韓國電子通信研究院Electronics and Telecommunications Research Institute インタラクティブキャラクター基盤の外国語学習装置及び方法
JP2016173430A (ja) 2015-03-17 2016-09-29 日本電信電話株式会社 発話意図モデル学習装置、発話意図抽出装置、発話意図モデル学習方法、発話意図抽出方法、プログラム
US20170190051A1 (en) 2016-01-06 2017-07-06 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation
JP2017126051A (ja) 2016-01-07 2017-07-20 日本電気株式会社 テンプレート生成装置、テンプレート生成方法、テンプレート生成プログラムおよびフレーズ検知システム

Also Published As

Publication number Publication date
EP3457397A1 (en) 2019-03-20
US20190088250A1 (en) 2019-03-21
JP2019053715A (ja) 2019-04-04
KR102509821B1 (ko) 2023-03-14
EP3457397B1 (en) 2022-06-22
US10733975B2 (en) 2020-08-04
CN109522541B (zh) 2023-09-15
KR20190031840A (ko) 2019-03-27
CN109522541A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
US11093707B2 (en) Adversarial training data augmentation data for text classifiers
US11373049B2 (en) Cross-lingual classification using multilingual neural machine translation
US10490183B2 (en) Fully managed and continuously trained automatic speech recognition service
US11189269B2 (en) Adversarial training data augmentation for generating related responses
US20190057145A1 (en) Interactive information retrieval using knowledge graphs
US20180189272A1 (en) Apparatus and method for sentence abstraction
JP2018026127A (ja) 翻訳方法、翻訳装置及びコンピュータプログラム
EP3646320B1 (en) Secure utterance storage
US11928985B2 (en) Content pre-personalization using biometric data
WO2021223618A1 (zh) 基于focalgan的短文本自动生成方法、装置、设备及存储介质
US11531846B1 (en) Extending sensitive data tagging without reannotating training data
US10833883B2 (en) Virtual conferencing assistance
US11748393B2 (en) Creating compact example sets for intent classification
EP4085451A1 (en) Language-agnostic multilingual modeling using effective script normalization
US20210312122A1 (en) Methods and systems for generating documents with a targeted style
JP7029351B2 (ja) Oos文章を生成する方法及びこれを行う装置
US11508369B2 (en) Method and apparatus with speech processing
US20210264114A1 (en) Distributed reactive streaming microservices architecture with self-management and autonomous routing
Wang et al. Emily: Developing An Emotion-affective Open-Domain Chatbot with Knowledge Graph-based Persona
Jain et al. Integration of wit API with python coded terminal bot
US11947925B2 (en) Adaptive language translation using context features
US11568858B2 (en) Transliteration based data augmentation for training multilingual ASR acoustic models in low resource settings
US11520783B2 (en) Automated validity evaluation for dynamic amendment
US11227127B2 (en) Natural language artificial intelligence topology mapping for chatbot communication flow
US11429795B2 (en) Machine translation integrated with user analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7029351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150