JP5405672B2 - 外国語学習装置及び対話システム - Google Patents

外国語学習装置及び対話システム Download PDF

Info

Publication number
JP5405672B2
JP5405672B2 JP2012541000A JP2012541000A JP5405672B2 JP 5405672 B2 JP5405672 B2 JP 5405672B2 JP 2012541000 A JP2012541000 A JP 2012541000A JP 2012541000 A JP2012541000 A JP 2012541000A JP 5405672 B2 JP5405672 B2 JP 5405672B2
Authority
JP
Japan
Prior art keywords
utterance
user
intention
speech
utterance intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012541000A
Other languages
English (en)
Other versions
JP2013512461A (ja
Inventor
イ・ソンジン
イ・チョンジェ
イ・ゲイリー・グンベ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy Industry Foundation of POSTECH
Original Assignee
Academy Industry Foundation of POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Industry Foundation of POSTECH filed Critical Academy Industry Foundation of POSTECH
Publication of JP2013512461A publication Critical patent/JP2013512461A/ja
Application granted granted Critical
Publication of JP5405672B2 publication Critical patent/JP5405672B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/04Speaking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Description

本発明は外国語学習装置及び対話システムに関する。
一般に外国語会話教育のもっとも効果的な方法はネイティブの教師と学生が一対一で自然な対話を行うことである。しかし、このような方法は費用が多くかかるため実際多くの学生がそのような機会に恵まれることは難しい。
そのため、近年、ネイティブの教師の代わりを務められる人工知能自然言語処理技術を利用した音声ベースの自然言語対話装置に対する研究が活発に行われている。しかし、既存の音声認識器はそのほとんどが母国語話者を対象に開発されたものであるので、外国語学習者である非母国語話者の音声認識に用いられると極めて低い認識性能を示す。
このような音声認識の技術的制約により学習者の自由な発話入力が事実上不可能であるため、今までのほとんどの外国語学習のための対話システムは、シナリオベースの制限された形態で活用されることが一般的であった。しかし、実際の外国語習得理論によれば学習者は自らの発話に対する相手の反応を通して自らが持つ外国語知識をテストして習うと知られる。したがって、外国語学習のためにシナリオの形態で常に同じ応答をするほとんどの既存の対話システムの学習効果は微々たるものである。
本発明が解決しようとする課題は、学習者の外国語レベルが低くても学習者の発話意図を把握して発話意図に沿った応答を学習者に提供することができ、様々な状況に応じた適切な表現を学習者に提供できる外国語学習装置及び対話システムを提供することである。
上記技術的課題を解決するための本発明の一様態による外国語学習装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、を含む。
前記発話意図認識器は前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出できる。
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定できる。
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出できる。
前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成する対話管理モジュールをさらに含むことができる。
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供できる。
前記フィードバック処理器は前記ユーザの発話が正しくない場合、データベースから正しい表現を抽出して前記ユーザに提供できる。
前記フィードバック処理器は前記ユーザの発話が正しい場合、前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供できる。
前記フィードバック処理器から抽出された表現を自然語発話に変換する自然語発話生成器と、前記自然語発話生成器で変換された自然語発話を音声で合成する音声合成器と、をさらに含むことができる。
本発明の他の様態による外国語学習装置は、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するフィードバック処理器と、を含む。
前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合は前記お勧め表現を抽出し、前記ユーザの発話が正しくない場合は前記正しい表現を抽出し、前記ユーザの発話が正しい場合は前記代替表現をデータベースから抽出できる。
本発明の他の様態による対話システムは、ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、を含む。
前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定できる。
前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出できる。
本発明の他の様態による外国語学習の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するステップと、を含む。
本発明の他の様態による外国語学習の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記発話テキストに対するユーザの発話意図を抽出するステップと、前記ユーザの発話意図及び前記ユーザの発話状況に応じてお勧め表現、正しい表現及び代替表現を抽出して前記ユーザに提供するステップと、を含む。
本発明の他の様態による対話の提供方法は、ユーザが発話した音声を認識して発話テキストに変換するステップと、前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出するステップと、を含む。
このように本発明によれば、学習者のレベル毎の言語特性及び対話文脈に応じて学習者の発話意図を把握することによって、学習者のレベルが低くても学習者の発話意図を正確に把握することができ、したがって、発話意図に沿った応答を学習者に提供できる。さらに、学習者に様々な状況に応じた適切な表現を提供することによって学習者へのストレスを最小化しながら自然に学習を進めることができる。このように学習者は正確かつ多様なフィードバックを受け正しい表現を提供されて反復練習ができるので低廉な費用で外国語学習ができる。
本発明の実施形態による外国語学習装置のブロック図である。 図1の発話意図認識器で発話ベースモデルと対話文脈ベースモデルとを用いて発話意図を抽出する様子を示す概念図である。 本発明の実施形態による外国語学習の提供方法によって発話意図を抽出する過程を示すフローチャートである。 本発明の実施形態による外国語学習の提供方法によって学習者に応答する過程を示すフローチャートである。
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
では、添付図面を参照して本発明の実施形態に対して本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。
まずは図1及び図2を参照して本発明の実施形態による外国語学習装置に対して詳しく説明する。
図1は、本発明の実施形態による外国語学習装置のブロック図であり、図2は、図1の発話意図認識器で発話ベースモデルと対話文脈ベースモデルとを用いて発話意図を抽出する様子を示す概念図である。
図1に示すように、本発明の実施形態による外国語学習装置100は音声認識器10、発話意図認識器20、フィードバック処理器30、対話管理モジュール40、音声合成器50、自然語発話生成器60、会員データベース65、発話データベース70、文脈データベース80及び表現データベース90を含む。
音声認識器10はマイクを介して入力された学習者の音声を認識して認識された音声を発話テキストに変換し、変換された発話テキストを発話意図認識器20に伝達する。今後の説明の便宜のために、学習者は、例えば、韓国語を母国語とするユーザであり、音声認識器10は韓国語以外の言語、例えば、英語に基づく音声認識器であると仮定する。したがって、学習者は英語を駆使して外国語学習装置100と対話をして学習を進めるとする。無論、韓国語や英語は例に過ぎず、それ以外の言語、中国語、日本語、ドイツ語などである場合も同様に適用され得る。
発話意図認識器20は音声認識器10から伝達された発話テキストを用いて学習者の発話意図を把握する。この時、発話意図認識器20は発話データベース70と文脈データベース80に保存されている情報に基づいてそれぞれ生成された発話ベースモデルと対話文脈ベースモデルとを用いて学習者の発話意図を抽出する。
図2に示すように、発話データベース70には第1乃至第nレベルの発話データが保存されている。第1乃至第nレベルの発話データは学習者の発話に含まれた単語、形態素、構文情報などのような発話データを学習者のレベルに応じて第1乃至第nレベルに分類して同じレベルに該当する発話データ同士を集めたものである。
文脈データベース80には該当学習者に対する以前の発話に対する情報、学習者と外国語学習装置100の間で交わした対話の目録、外国語学習装置100から提供されたお勧め表現、代替表現、正しい表現など学習者の学習内容に対する文脈情報などが保存されている。
対話の先天的な特性上、学習者のレベルによって誤りや単語の使用などの差が発生するので発話ベースモデルは学習者レベル毎に、すなわち、第1乃至第nレベル発話ベースモデルに個別的にモデリングされる。各レベルの発話ベースモデルは発話データベース70の第1乃至第nレベルの発話データによる言語学的情報に基づいてそれぞれ構築される。しかし、対話文脈の流れはほとんど変化がないので文脈ベースモデルは1つのモデルに生成され、文脈データベース80の各種情報に基づいて構築される。
発話ベースモデルと対話文脈ベースモデルは一般に事後確率を求めるための様々な統計及び規則モデルを適用できる。例えば、発話ベースモデルは発話を構成する単語のn−gram情報を資質に利用した分類器を介して作ることができ、対話文脈ベースモデルは前回のシステム発話意図、前回のユーザの発話意図、今回のユーザの発話意図、今回までユーザが知らせた情報などを資質に利用した分類器を介して作ることができる。このために、一般に多く使用される最大エントロピー(Maximum−entropy)、サポートベクターマシン(Support vector machine)のような様々な種類の分類器を利用できる。
会員データベース65には学習者の身元情報、ID、パスワード、学習者レベルと共に学習者が学習した内容に対する情報が保存されている。学習者レベルは発話意図認識器20で学習者の発話意図を認識するためにどの発話ベースモデルを適用するかを選択する基準になる。すなわち、会員データベース65に現在の学習者の学習者レベルが第3レベルと保存されている場合、発話意図認識器20は第3レベルの発話ベースモデルを用いて発話意図を推定する。
発話意図認識器20は予め入力された学習者レベルに応じた発話ベースモデルを選択し該当レベルの発話ベースモデルを用いて音声認識器10からの発話テキストに対する発話意図と信頼度を推定する。同時に、発話意図認識器20は対話文脈ベースモデルを用いて対話文脈情報に基づく発話意図と信頼度を推定する。対話文脈情報は学習者と外国語学習装置100の間で交わした対話情報であり、対話の開始から今回まで進んできた対話情報又はその一部の対話情報を意味する。
発話意図認識器20は発話ベースモデルに基づいた発話意図及び信頼度と対話文脈ベースモデルに基づいた発話意図及び信頼度を統計的に合成して最も高い確率を持つものを最終的な学習者の発話意図として抽出する。このように学習者レベル毎の特性と対話文脈情報をともに考慮することによって誤りが含まれるか、学習者の発話音声が未熟であるにもかかわらず、なるべく正確に学習者の発話意図を予測できる。
この時、発話意図認識器20は発話ベースモデルと対話文脈ベースモデルを結合するために相互情報量尺度(mutual information measure)などのモデル結合のために一般に使用される様々な統計的方法論を使用することができる。
対話管理モジュール40は、1)発話意図認識器20からの学習者の発話意図と発話テキストに基づいて学習者の発話が正しいか否か、2)予め設定された時間内に学習者からの発話が入力されたか否か、3)学習者が明示的に助けを求めたか否かを判断する。
1)対話管理モジュール40は学習者の発話が正しいと判断した場合は、学習者の発話意図と現在の対話文脈を考慮して学習者の発話テキストに対する適切な応答を生成し、生成された応答を自然語発話生成器60に伝達する。例えば、学習者が「What kind of music do you listen to?」 と正しく発話した場合、対話管理モジュール40は「I usually listen to country music。」のような応答を生成できる。
2)対話管理モジュール40は予め設定された時間内に学習者の発話入力がない場合、フィードバック処理器30で学習者の発話テキストと発話意図を伝達する。
3)対話管理モジュール40は学習者が学習画面に表示された「Help me」ボタンを押すか、直接「Help me」、「I don’t know」、「I don’t know what to say」などを発話するとフィードバック処理器30にフィードバックを要求する。
フィードバック処理器30は予め設定された条件に符合すると学習者に様々な表現をフィードバックする。すなわち、フィードバック処理器30は、i)予め決められた時間内に学習者の発話入力がなかった場合、又は学習者によって明示的に助けを求められた場合、ii)学習者の発話が正しくないと判断された場合、iii)学習者の発話は正しいが、類似表現の学習が必要な場合にそれぞれお勧め表現、正しい表現、代替表現を提供する。
一方、表現データベース90は発話意図毎に、又は対話文脈による主題又はテーマ毎にお勧め表現、正しい表現、代替表現などを保存しており、フィードバック処理器30からの要求に応じて対応する表現を提供する。
i)応答時間の超過又は明示的に助けを求められた時
学習者が対話中にどのようにしゃべれば良いのかが全くわからず対話の文章を続けることができない場合、学習者は所定時間以上発話ができないことがある。この場合、対話管理モジュール40で応答時間が経過したことをフィードバック処理器30に知らせ、学習者との対話内容をフィードバック処理器30に伝達する。すると、フィードバック処理器30では現在の対話文脈情報を考慮して学習者の対話文脈に応じて主題又はテーマを選択し、最終の対話文章に続けて対話を持続して行ける文章をお勧め表現として表現データベース90から抽出する。
ii)学習者の発話が正しくない場合
学習者の発話が正しくないと判断された場合、フィードバック処理器30は対話文脈を考慮して表現データベース90から学習者の発話意図に最も沿った文章を選択して正しい表現として抽出する。
iii)学習者の発話が正しい場合
学習者の発話が正しいと判断された場合、フィードバック処理器30は表現データベース90から学習者の発話と同一又は類似の内容の異なる表現を選択して代替表現として抽出する。
自然語発話生成器60は対話管理モジュール40やフィードバック処理器30で生成された概念的応答を自然語発話に変換する。別途に図示していないが、自然語発話生成器60は自然語発話をテキスト形態に表示画面に出力することもできる。
音声合成器50は自然語発話生成器60で生成された自然語発話に基づいてネイティブによる発音からなる音声を合成し、合成された音声をスピーカ、ヘッドフォン又はイヤホンなどの装置を介して出力する。
このように本発明の実施形態による外国語学習装置100によれば、学習者レベル毎に発話ベースモデルを構築しておいて対話文脈ベースモデルとともに学習者の発話意図を抽出することによって誤りが含まれるか、学習者の発話が未熟であるにもかかわらず学習者の発話意図を的確に抽出することができる。また、学習者に様々な状況に適合したフィードバックを提供することによって学習者が自分で自らの誤りを把握し類似した表現を学びながら対話を進めて行くことができる。
本発明の実施形態による外国語学習装置100は、独立したサーバ形態に具現されることができ、学習者はコンピュータ、携帯情報端末(PDA)、有線又は無線電話などのユーザ端末を用いて外国語学習装置100と対話をすることができ、この場合、ユーザ端末と外国語学習装置100は有無線通信ネットワークを介して連結される。これに対して、外国語学習装置100は独立した1つの装置に具現されることもでき、この場合、学習者が外国語学習装置100を携帯して使用するか、外国語学習装置100と対面して使用することができる。
また、外国語学習装置100は全体としてだけでなくその機能の一部が、ユーザ端末又は知能ロボットなどに具現されることもでき、単に外国語を学習するための装置だけでなく、例えばショッピング、ビジネスなどのように様々なコンテンツと結合して使われることもでき、ユーザに特定のサービスを提供するためにユーザと対話をすることができる対話システム又は自然語処理人工知能エージェントに適用されることもできる。
会員データベース65、発話データベース70、文脈データベース80及び表現データベース90は1つのデータベースに具現されることもできる。また、以上では外国語学習装置100が会員データベース65、発話データベース70及び文脈データベース80を含むと説明したが、これらが必ず外国語学習装置100に含まれる必要はなく、これらのうち少なくとも1つは外国語学習装置100と別途に外部に具現されることもでき、省略され得る。
では、本発明の実施形態による外国語学習の提供方法に対して図3及び図4を参照して詳しく説明する。
図3は、本発明の実施形態による外国語学習の提供方法によって発話意図を抽出する過程を示すフローチャートであり、図4は、本発明の実施形態による外国語学習の提供方法によって学習者に応答する過程を示すフローチャートである。
まず、図3に示すように、学習者からの発話が入力されると(S300)、音声認識器10は学習者の音声を認識して認識された音声を発話テキストに変換して発話意図認識器20に伝達する(S310)。発話意図認識器20は対話文脈ベースモデルを用いて対話文脈情報に基づいた発話意図と信頼度を推定する(S325)。同時に、発話意図認識器20は第1乃至第nレベルの発話ベースモデルのうち学習者レベルに応じた発話ベースモデルを選択し該当レベルの発話ベースモデルを用いて学習者の発話テキストに基づいた発話意図と信頼度を推定する(S320)。その後、発話意図認識器20は発話ベースモデルによる発話意図及び信頼度と対話文脈ベースモデルによる発話意図及び信頼度を合成して最終学習者の発話意図を抽出する(S330)。発話意図認識器20は抽出された学習者の発話意図を対話管理モジュール40に伝達する(S340)。
図4に示すように、対話管理モジュール40は学習者から予め決められた時間内に発話が入力されたかを判断する(S400)。予め決められた時間内に発話が入力された場合(S400−Y)、入力された発話が明示的に助けを求める発話であるかを判断する(S410)。ステップ410は学習者の発話によらず学習者が助けを求めるボタンなどを入力することによって判断することもできる。
対話管理モジュール40は入力された発話が明示的に助けを求める発話でないと判断した場合は(S410−N)学習者の発話が正しい発話であるかを判断し(S420)、判断の結果、正しい発話であると判断した場合は(S420−Y)発話意図認識器20からの学習者の発話意図と対話文脈を考慮して学習者発話に対する適切な応答を生成し(S430)、正しい発話でないと判断した場合は(S420−N)制御権をフィードバック処理器30に渡してフィードバック処理器30は学習者の発話意図と対話文脈を考慮して表現データベース90から正しい表現を抽出する(S460)。
予め決められた時間内に発話が入力されなかったか(S400−N)、入力された発話が明示的に助けを求める発話である場合(S410−Y)、対話管理モジュール40はフィードバック処理器30に制御権を渡してフィードバック処理器30は対話文脈情報に基づいて表現データベース90からお勧め表現を抽出する(S450)。
一方、フィードバック処理器30は学習者の発話が正しい場合(S420−Y)、学習者の発話と同一又は類似の意味の代替表現を表現データベース90から抽出する(S440)。
自然語発話生成器60は対話管理モジュール40及びフィードバック処理器30で生成された応答を自然語発話に変換する(S470)。その後、音声合成器50は変換された自然語発話に基づいてネイティブの発音による音声で合成する(S480)。
外国語学習装置100は合成された音声をスピーカなどを介して出力し、また必要に応じて音声出力と別途に自然語発話をテキスト形態で表示画面に出力できる。
学習者は対話文章を続けることができない場合や明示的に助けを求めた場合は外国語学習装置100からお勧め表現を提供されることによって続けて対話を進めて行くことができ、正しくない発話をした場合は正しい表現を提供されることによって誤りを修正することができ自らの不足した部分が対話を介して自然に分かるので少ないストレスで外国語学習ができる。また、学習者は正しい発話をした場合にも同じ意味の異なる表現を提供されることによって外国語の表現の範囲を広めることができる。
以上で、本発明の好ましい実施形態に対して詳しく説明したが、本発明の権利範囲はこれに限定されず、以下の請求範囲で定義している本発明の基本概念を利用した当業者の様々な変形及び改良形態も本発明の権利範囲に属するものである。

Claims (11)

  1. ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
    前記ユーザのレベル情報及び対話文脈情報を用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
    前記ユーザの発話意図及び前記ユーザの発話状況に応じて互いに異なる表現を抽出するフィードバック処理器と、
    を含む外国語学習装置であって、
    前記発話意図認識器は前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記ユーザの発話意図を抽出する外国語学習装置。
  2. 前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定する請求項に記載の外国語学習装置。
  3. 前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出する請求項に記載の外国語学習装置。
  4. 前記ユーザの発話意図及び前記対話文脈情報に応じて前記発話テキストに対する応答を生成する対話管理モジュールをさらに含む請求項1に記載の外国語学習装置。
  5. 前記フィードバック処理器は予め決められた時間内に前記ユーザの発話が入力されなかったか、または前記ユーザから助けを求められた場合はデータベースからお勧め表現を抽出して前記ユーザに提供する請求項1に記載の外国語学習装置。
  6. 前記フィードバック処理器は前記ユーザの発話が正しくない場合はデータベースから正しい表現を抽出して前記ユーザに提供する請求項1に記載の外国語学習装置。
  7. 前記フィードバック処理器は前記ユーザの発話が正しい場合は前記ユーザ発話と同一又は類似の意味を有する代替表現をデータベースから抽出して前記ユーザに提供する請求項1に記載の外国語学習装置。
  8. 前記フィードバック処理器から抽出された表現を自然語発話に変換する自然語発話生成器と、
    前記自然語発話生成器で変換された自然語発話を音声で合成する音声合成器と、
    をさらに含む請求項1に記載の外国語学習装置。
  9. ユーザが発話した音声を認識して発話テキストに変換する音声認識器と、
    前記ユーザのレベル毎に個別的に生成された複数の発話ベースモデルと対話文脈を考慮して生成された対話文脈ベースモデルとを用いて前記発話テキストに対するユーザの発話意図を抽出する発話意図認識器と、
    を含む対話システム。
  10. 前記発話意図認識器は前記ユーザのレベル情報に応じた発話ベースモデルを選択し、前記選択された発話ベースモデルを用いて前記発話テキストに対する発話意図を推定し、前記対話文脈ベースモデルを用いて前記対話文脈情報に基づく発話意図を推定する請求項に記載の対話システム。
  11. 前記発話意図認識器は前記発話ベースモデルによる発話意図と前記対話文脈ベースモデルによる発話意図を統計的に合成して前記ユーザの発話意図を抽出する請求項10に記載の対話システム。
JP2012541000A 2009-12-16 2010-10-15 外国語学習装置及び対話システム Expired - Fee Related JP5405672B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2009-0125469 2009-12-16
KR1020090125469A KR101211796B1 (ko) 2009-12-16 2009-12-16 외국어 학습 장치 및 그 제공 방법
PCT/KR2010/007073 WO2011074771A2 (ko) 2009-12-16 2010-10-15 외국어 학습 장치 및 그 제공 방법.

Publications (2)

Publication Number Publication Date
JP2013512461A JP2013512461A (ja) 2013-04-11
JP5405672B2 true JP5405672B2 (ja) 2014-02-05

Family

ID=44167797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541000A Expired - Fee Related JP5405672B2 (ja) 2009-12-16 2010-10-15 外国語学習装置及び対話システム

Country Status (6)

Country Link
US (1) US9767710B2 (ja)
EP (1) EP2515286A4 (ja)
JP (1) JP5405672B2 (ja)
KR (1) KR101211796B1 (ja)
CN (1) CN102667889B (ja)
WO (1) WO2011074771A2 (ja)

Families Citing this family (214)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9652999B2 (en) * 2010-04-29 2017-05-16 Educational Testing Service Computer-implemented systems and methods for estimating word accuracy for automatic speech recognition
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20130128716A (ko) * 2012-05-17 2013-11-27 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN103179481A (zh) * 2013-01-12 2013-06-26 德州学院 可提高英语听力的耳机
CN113470641B (zh) 2013-02-07 2023-12-15 苹果公司 数字助理的语音触发器
WO2014123380A1 (ko) * 2013-02-11 2014-08-14 Lee Doohan 인덱스 코드 인식 멀티미디어 학습장치
US10629186B1 (en) * 2013-03-11 2020-04-21 Amazon Technologies, Inc. Domain and intent name feature identification and processing
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US11151899B2 (en) 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR102191425B1 (ko) * 2013-07-29 2020-12-15 한국전자통신연구원 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
KR101609422B1 (ko) 2013-09-13 2016-04-20 포항공과대학교 산학협력단 사용자 발화의도 추출 방법 및 사용자 발화의도 추출 방법을 수행하는 장치
JP2015060056A (ja) * 2013-09-18 2015-03-30 株式会社ナガセ 教育装置並びに教育装置用ic及び媒体
CN104598443B (zh) * 2013-10-31 2018-05-18 腾讯科技(深圳)有限公司 语言服务提供方法、装置及系统
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR20150091777A (ko) * 2014-02-04 2015-08-12 한국전자통신연구원 토론식 학습 시스템 및 방법
US9613638B2 (en) * 2014-02-28 2017-04-04 Educational Testing Service Computer-implemented systems and methods for determining an intelligibility score for speech
US10726831B2 (en) * 2014-05-20 2020-07-28 Amazon Technologies, Inc. Context interpretation in natural language processing using previous dialog acts
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
KR101521281B1 (ko) * 2014-10-20 2015-05-19 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
JP6746886B2 (ja) * 2015-09-10 2020-08-26 カシオ計算機株式会社 学習支援装置及びその学習支援装置用のプログラム
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN105489077A (zh) * 2016-01-25 2016-04-13 宿州学院 一种远程教学系统
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
KR102542662B1 (ko) * 2016-04-25 2023-06-12 이준상 외국어 대화 시스템
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
JP6752457B2 (ja) * 2016-06-02 2020-09-09 株式会社マーズスピリット 機械学習システム、装置及び情報処理方法
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN109643550A (zh) * 2017-06-15 2019-04-16 株式会社Cai梅帝亚 对话机器人及对话系统、以及对话程序
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
CN109545011A (zh) * 2017-09-21 2019-03-29 骅钜数位科技有限公司 具发音辨识的交互式语文学习系统
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
KR101983031B1 (ko) * 2017-11-09 2019-05-29 주식회사 클라우봇 언어 교육 방법 및 언어 교육 시스템
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN110136719B (zh) * 2018-02-02 2022-01-28 上海流利说信息技术有限公司 一种实现智能语音对话的方法、装置及系统
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
KR102084556B1 (ko) * 2018-03-05 2020-04-23 (주)뤼이드 Ai 튜터를 이용한 학습 컨텐츠 제공 방법 및 장치
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN109118860A (zh) * 2018-09-19 2019-01-01 江苏金惠甫山软件科技有限公司 基于人工智能的英语培训系统及方法
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
KR101994780B1 (ko) * 2018-10-08 2019-09-30 넷마블 주식회사 게임을 위한 단축키 등록 및 실행 방법 및 장치
CN111046149A (zh) * 2018-10-12 2020-04-21 中国移动通信有限公司研究院 内容推荐方法及装置、电子设备及存储介质
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109448729A (zh) * 2018-11-08 2019-03-08 广东小天才科技有限公司 一种信息存储方法、信息存储装置及终端设备
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111596833B (zh) * 2019-02-21 2024-10-18 北京京东尚科信息技术有限公司 一种技能话术缠绕处理方法和装置
CN109871128B (zh) * 2019-03-13 2022-07-01 广东小天才科技有限公司 一种题型识别方法及装置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR102302137B1 (ko) * 2019-10-31 2021-09-15 주식회사 엘지씨엔에스 외국어 학습장치 및 이를 이용하는 외국어 학습서비스 제공방법
WO2021100918A1 (ko) * 2019-11-21 2021-05-27 엘지전자 주식회사 지능형 대화 서비스 제공 방법 및 지능형 대화 시스템
KR102396833B1 (ko) * 2019-12-31 2022-05-13 (주)헤이스타즈 음성 분석을 통한 한국어 발음 학습 방법 및 시스템
CN111259125B (zh) * 2020-01-14 2023-08-29 百度在线网络技术(北京)有限公司 语音播报的方法和装置、智能音箱、电子设备、存储介质
US20230069908A1 (en) * 2020-02-21 2023-03-09 Nippon Telegraph And Telephone Corporation Recognition apparatus, learning apparatus, methods and programs for the same
JP7039637B2 (ja) * 2020-02-21 2022-03-22 ジョイズ株式会社 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
CN112307162A (zh) * 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于信息交互的方法和装置
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220021221A (ko) * 2020-08-13 2022-02-22 (주)인포마크 Ai 음성 인식 학습기를 이용한 외국어 학습 시스템 및 방법
KR20220032973A (ko) * 2020-09-08 2022-03-15 한국전자통신연구원 외국어 학습자의 외국어 문장 평가에 기반한 외국어 교육 제공 장치 및 방법
KR102339794B1 (ko) * 2020-12-04 2021-12-16 주식회사 애자일소다 질의 응답 서비스 장치 및 방법
KR102581364B1 (ko) * 2021-02-09 2023-09-20 최송이 대화형 인공지능 기술을 이용하여 정적없이 외국어 대화를 할 수 있도록 도와주는 에듀테크 시스템
CN112560512B (zh) * 2021-02-24 2021-08-06 南京酷朗电子有限公司 用于外语学习的智能语音分析和辅助交流方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600081B2 (ja) 1988-11-25 1997-04-16 工業技術院長 自然言語対話装置
JPH06348753A (ja) * 1993-06-10 1994-12-22 Oki Electric Ind Co Ltd 自然言語文処理用データの作成支援システム
JPH07239694A (ja) * 1994-03-02 1995-09-12 Oki Electric Ind Co Ltd 音声対話装置
US5493608A (en) * 1994-03-17 1996-02-20 Alpha Logic, Incorporated Caller adaptive voice response system
JPH10326074A (ja) 1997-05-23 1998-12-08 Oki Hokuriku Syst Kaihatsu:Kk 語学訓練装置の制御方法
US6405170B1 (en) * 1998-09-22 2002-06-11 Speechworks International, Inc. Method and system of reviewing the behavior of an interactive speech recognition application
US6199067B1 (en) * 1999-01-20 2001-03-06 Mightiest Logicon Unisearch, Inc. System and method for generating personalized user profiles and for utilizing the generated user profiles to perform adaptive internet searches
US20020087315A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented multi-scanning language method and system
US6704707B2 (en) * 2001-03-14 2004-03-09 Intel Corporation Method for automatically and dynamically switching between speech technologies
KR20010067934A (ko) 2001-04-09 2001-07-13 신광섭 언어 학습 시스템
US7013275B2 (en) * 2001-12-28 2006-03-14 Sri International Method and apparatus for providing a dynamic speech-driven control and remote service access system
US6999931B2 (en) * 2002-02-01 2006-02-14 Intel Corporation Spoken dialog system using a best-fit language model and best-fit grammar
US7016849B2 (en) * 2002-03-25 2006-03-21 Sri International Method and apparatus for providing speech-driven routing between spoken language applications
KR20050021143A (ko) 2003-08-26 2005-03-07 박동훈 음성 인식을 이용한 외국어 학습수준 평가 방법, 이를이용한 전자적인 외국어 학습 교재 제공 방법 및 그 시스템
US7315811B2 (en) * 2003-12-31 2008-01-01 Dictaphone Corporation System and method for accented modification of a language model
US7415465B2 (en) * 2004-01-08 2008-08-19 International Business Machines Corporation Method for representing an interest priority of an object to a user based on personal histories or social context
KR20060070605A (ko) * 2004-12-21 2006-06-26 한국전자통신연구원 영역별 언어모델과 대화모델을 이용한 지능형 로봇 음성인식 서비스 장치 및 방법
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
KR100679043B1 (ko) * 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
US7613664B2 (en) * 2005-03-31 2009-11-03 Palo Alto Research Center Incorporated Systems and methods for determining user interests
US7835911B2 (en) * 2005-12-30 2010-11-16 Nuance Communications, Inc. Method and system for automatically building natural language understanding models
KR100764174B1 (ko) 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
KR100792325B1 (ko) 2006-05-29 2008-01-07 주식회사 케이티 대화형 다국어 학습을 위한 대화 예제 데이터베이스 구축방법 및 그를 이용한 대화형 다국어 학습 서비스 시스템 및그 방법
US20080010069A1 (en) * 2006-07-10 2008-01-10 Microsoft Corporation Authoring and running speech related applications
US7890326B2 (en) * 2006-10-13 2011-02-15 Google Inc. Business listing search
US9405830B2 (en) * 2007-02-28 2016-08-02 Aol Inc. Personalization techniques using image clouds
US8909528B2 (en) * 2007-05-09 2014-12-09 Nuance Communications, Inc. Method and system for prompt construction for selection from a list of acoustically confusable items in spoken dialog systems
CN101178705A (zh) 2007-12-13 2008-05-14 中国电信股份有限公司 一种自然语言理解方法和人机交互智能系统
US20090228439A1 (en) * 2008-03-07 2009-09-10 Microsoft Corporation Intent-aware search
JP4547721B2 (ja) * 2008-05-21 2010-09-22 株式会社デンソー 自動車用情報提供システム
US7865592B2 (en) * 2008-06-26 2011-01-04 International Business Machines Corporation Using semantic networks to develop a social network
US8965765B2 (en) * 2008-09-19 2015-02-24 Microsoft Corporation Structured models of repetition for speech recognition
US9195739B2 (en) * 2009-02-20 2015-11-24 Microsoft Technology Licensing, Llc Identifying a discussion topic based on user interest information
US8458168B2 (en) * 2009-03-27 2013-06-04 Microsoft Corporation Anticipating interests of an online user
US20110078160A1 (en) * 2009-09-25 2011-03-31 International Business Machines Corporation Recommending one or more concepts related to a current analytic activity of a user
US8983840B2 (en) * 2012-06-19 2015-03-17 International Business Machines Corporation Intent discovery in audio or text-based conversation
US8600746B1 (en) * 2012-09-10 2013-12-03 Google Inc. Speech recognition parameter adjustment

Also Published As

Publication number Publication date
EP2515286A4 (en) 2014-12-24
EP2515286A2 (en) 2012-10-24
WO2011074771A3 (ko) 2011-08-25
CN102667889A (zh) 2012-09-12
US9767710B2 (en) 2017-09-19
KR20110068490A (ko) 2011-06-22
JP2013512461A (ja) 2013-04-11
CN102667889B (zh) 2014-10-22
KR101211796B1 (ko) 2012-12-13
US20120290300A1 (en) 2012-11-15
WO2011074771A2 (ko) 2011-06-23

Similar Documents

Publication Publication Date Title
JP5405672B2 (ja) 外国語学習装置及び対話システム
Matarneh et al. Speech recognition systems: A comparative review
KR102302137B1 (ko) 외국어 학습장치 및 이를 이용하는 외국어 학습서비스 제공방법
US6424935B1 (en) Two-way speech recognition and dialect system
US8498857B2 (en) System and method for rapid prototyping of existing speech recognition solutions in different languages
US11145222B2 (en) Language learning system, language learning support server, and computer program product
JP2017058673A (ja) 対話処理装置及び方法と知能型対話処理システム
JP2017058674A (ja) 音声認識のための装置及び方法、変換パラメータ学習のための装置及び方法、コンピュータプログラム並びに電子機器
KR101037247B1 (ko) 외국어 회화 연습 방법 및 장치와 이것의 빠른 개발과 검증을 돕는 학습자 시뮬레이션 방법과 장치
KR101534413B1 (ko) 상담 정보를 이용하여 상담 대화를 제공하는 방법 및 장치
WO2006083020A1 (ja) 抽出された音声データを用いて応答音声を生成する音声認識システム
JP2011504624A (ja) 自動同時通訳システム
KR20200080914A (ko) 언어학습을 위한 양국어 자유 대화 시스템 및 방법
Kandhari et al. A voice controlled e-commerce web application
KR101548907B1 (ko) 다중언어의 대화시스템 및 그 제어방법
JPH10504404A (ja) 音声認識のための方法および装置
KR20210036169A (ko) 대화 시스템, 대화 처리 방법, 번역 장치 및 번역 방법
KR102687849B1 (ko) 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법
Kasrani et al. A Mobile Cloud Computing Based Independent Language Learning System with Automatic Intelligibility Assessment and Instant Feedback.
Koo et al. KEBAP: Korean Error Explainable Benchmark Dataset for ASR and Post-processing
León-Montaño et al. Design of the architecture for text recognition and reading in an online assessment applied to visually impaired students
JP7363307B2 (ja) 音声チャットボットにおける認識結果の自動学習装置及び方法、並びにコンピュータプログラム及び記録媒体
WO2021250784A1 (ja) 辞書生成システム、学習データ生成システム、音声認識システム、辞書生成方法およびコンピュータ可読媒体
JP2016151718A (ja) 簡易通訳装置
JP2006003413A (ja) 音声自動応答方法、この方法を実施する装置、音声自動応答プログラムおよびその記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131030

R150 Certificate of patent or registration of utility model

Ref document number: 5405672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees