JP4401155B2 - ユーザとエージェント間の対話管理方法及び装置 - Google Patents
ユーザとエージェント間の対話管理方法及び装置 Download PDFInfo
- Publication number
- JP4401155B2 JP4401155B2 JP2003413065A JP2003413065A JP4401155B2 JP 4401155 B2 JP4401155 B2 JP 4401155B2 JP 2003413065 A JP2003413065 A JP 2003413065A JP 2003413065 A JP2003413065 A JP 2003413065A JP 4401155 B2 JP4401155 B2 JP 4401155B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- dialog
- order
- user
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007726 management method Methods 0.000 title claims description 22
- 230000008921 facial expression Effects 0.000 claims description 43
- 230000003993 interaction Effects 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 35
- 239000003795 chemical substances by application Substances 0.000 claims description 33
- 238000010195 expression analysis Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 14
- 210000004709 eyebrow Anatomy 0.000 claims description 13
- 210000000744 eyelid Anatomy 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 206010002953 Aphonia Diseases 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims 2
- 230000002452 interceptive effect Effects 0.000 claims 1
- 230000014759 maintenance of location Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明が解決しようとする他の技術的課題は、前記対話順序管理装置を適用した音声対話システムを提供することである。
図1は本発明による音声対話システムの一実施例の構成を示したブロック図であり、マイク111、音声入力部112、音声認識部113、カメラ114、映像入力部115、タイマ116、対話管理部117、対話モデルデータベース118及び応答生成部119からなる。また、対話管理部117は、対話分析部121、表情分析部122、対話順序判定部123及び対話制御部124からなる。
112 音声入力部
113 音声認識部
114 カメラ
115 映像入力部
116 タイマ
117 対話管理部
118 対話生成部
119 応答生成部
121 対話分析部
122 表情分析部
123 対話順序判定部
124 対話制御部
Claims (15)
- 音声対話システムにおいて、
(a)ユーザが発話した音声から分析された対話情報を利用して第1対話順序情報を生成するステップと、
(b)ユーザの顔映像から分析された表情情報を利用して第2対話順序情報を生成するステップと、
(c)前記第1対話順序情報と前記第2対話順序情報のうち、1つを選択し、選択された対話順序情報、システムの状態情報、ユーザの音声入力の有無及びユーザの無応答時間を利用して、最終的な対話順序を決定するステップと、を含み、
前記第1対話順序情報と前記第2対話順序情報とが互いに異なる場合、前記第1対話順序情報と前記第2対話順序情報とを組合わせ、対話順序情報の組合わせ別に前記第1及び第2対話順序情報に各々加重値が割当てられて既に保存されているデータベースを検索し、検索された前記対話順序情報の組合わせからさらに高い加重値が割当てられた対話順序情報を選択するユーザとエージェント間の対話順序管理方法。 - 前記(a)ステップは、
(a1)ユーザが発話した音声を認識して形態素を分析するステップと、
(a2)分析された形態素を利用して文型情報、様相情報及び談話標識情報を抽出するステップと、
(a3)抽出された文型情報、様相情報及び談話標識情報を利用して、前記第1対話順序情報を生成するステップと、を含む請求項1に記載のユーザとエージェント間の対話順序管理方法。 - 前記(a)ステップは、
(a4)前記抽出された文型情報、様相情報及び談話標識情報に対応する対話順序情報が少なくとも1つ以上存在する場合、直前の対話履歴を参照して前記第1対話順序情報を生成するステップをさらに含む請求項2に記載のユーザとエージェント間の対話順序管理方法。 - 前記(b)ステップは、
(b1)ユーザの顔映像から顔パターン、目パターン、眉毛パターン及びまぶたパターン情報を得るステップと、
(b2)前記(b1)ステップで得られた顔パターン、目パターン、眉毛パターン及びまぶたパターン情報と基準パターン情報とを比較して、ユーザの動き情報を生成するステップと、
(b3)前記(b2)ステップで生成されたユーザの動き情報を利用して、前記第2対話順序情報を生成するステップと、を含む請求項1に記載のユーザとエージェント間の対話順序管理方法。 - 前記(c)ステップは、
(c1)所定の加重値情報を利用して、前記第1対話順序情報と前記第2対話順序情報のうち1つを選択するステップと、
(c2)前記システムの状態情報から前記システムが発話中であるか否かを判定するステップと、
(c3)前記システムが発話中であると判定すると、ユーザの音声入力の有無及び前記 (c1)ステップで選択された対話順序情報により、最終的な対話順序を決定するステップと、
(c4)前記システムが発話中でないと判定すると、前記ユーザの無応答時間または前記(c1)ステップで選択された対話順序情報により最終的な対話順序を決定するステップと、を含む請求項1に記載のユーザとエージェント間の対話順序管理方法。 - 前記(c3)ステップは、
(c31)ユーザの音声が現在入力されているか否かを判定するステップと、
(c32)前記(c31)ステップでの判定の結果、ユーザの音声が現在入力されている場合、前記システムの発話を中止させるステップと、
(c33)前記(c31)ステップでの判定の結果、ユーザの音声が現在入力されていない場合、前記(c1)ステップで選択された対話順序情報により前記システムを発話中止、発話保持及び発話開始のうちの1つに制御するステップと、を含む請求項5に記載のユーザとエージェント間の対話順序管理方法。 - 前記(c33)ステップは、ユーザの音声が現在入力されていないと判定すると、現在システムによって発話中である応答文の残量を確認し、その残量が所定時間内に完了する分量であれば、前記(c1)ステップで選択された対話順序情報を判定する請求項6に記載のユーザとエージェント間の対話順序管理方法。
- 前記(c4)ステップは、
(c41)前記ユーザの無応答時間が一定時間を経過しているか否かを判定するステップと、
(c42)前記(c41)ステップでの判定の結果、無応答時間が一定時間を経過した場合、前記システムを発話開始として制御するステップと、
(c43)前記(c41)ステップでの判定の結果、無応答時間が一定時間を経過していない場合、前記(c1)ステップで選択された対話順序情報により前記システムを発話中止、発話保持及び発話開始のうちの1つに制御するステップと、を含む請求項5に記載のユーザとエージェント間の対話順序管理方法。 - 請求項1乃至請求項8のいずれか1項に記載の方法をコンピュータで実行させるプログラムを記録したコンピュータ読取り可能な記録媒体。
- 音声対話システムにおいて、
ユーザが発話した音声から分析された対話情報を利用して、第1対話順序情報を生成する対話分析部と、
ユーザの顔映像から分析された表情情報を利用して、第2対話順序情報を生成する表情分析部と、
前記対話分析部で生成された前記第1対話順序情報と前記表情分析部で生成された前記第2対話順序情報のうち、いずれか1つを選択する対話順序判定部と、
前記対話順序判定部で選択された対話順序情報、システムの状態情報、ユーザの音声入力の有無及びユーザの無応答時間を利用して最終的な対話順序を決定する、前記システムとユーザ間の対話を制御する対話制御部と、を含み、
前記対話順序判定部は、前記第1対話順序情報と前記第2対話順序情報とが互いに異なる場合、前記第1対話順序情報と前記第2対話順序情報とを組合わせ、対話順序情報の組合わせ別に前記第1及び第2対話順序情報に各々加重値が割当てられて既に保存されているデータベースを検索し、検索された前記対話順序情報の組合わせからさらに高い加重値が割当てられた対話順序情報を選択するユーザとエージェント間の対話順序管理装置。 - 前記対話分析部は、
認識されたユーザの発話音声から形態素を分析する形態素分析部と、
前記形態素分析部で分析された形態素を利用して、文型情報、様相情報及び談話標識情報を抽出するキーワード抽出部と、
文型情報、様相情報及び談話標識情報による話行情報及び対話順序をデータベース化した文型パターンデータベースと、
前記文型情報、様相情報及び談話標識情報を利用して、前記文型パターンデータベースを検索し、前記第1対話順序情報を生成する文型パターン検索部と、を含む請求項10に記載のユーザとエージェント間の対話順序管理装置。 - 前記対話分析部は、
直前の対話文章の話行情報をデータベース化した対話履歴データベースと、
前記文型パターン検索部での検索の結果、前記文型パターンデータベースから少なくとも1つ以上の対話順序情報が検索されると、前記対話履歴データベースを参照して、前記第1対話順序情報を選択する候補対話順序選択部と、をさらに含む請求項11に記載のユーザとエージェント間の対話順序管理装置。 - 前記表情分析部は、
ユーザの顔映像を一定のサイズと色相に正規化する映像正規化部と、
顔パターン、目パターン、眉毛パターン及びまぶたパターンの認識のための特徴点に対してデータが保存される顔パターンデータベースと、
前記顔パターンデータベースを検索し、前記正規化された顔映像に対する顔パターン、目パターン、眉毛パターン及びまぶたパターンの位置情報を得る顔パターン検索部と、
前記顔パターン検索部で得られた位置情報を基準パターンと比較して、動き情報を生成する動き情報生成部と、
決定された動き情報と現発話者の対話順序に対応する表情パターン情報をデータベース化した表情パターンデータベースと、
前記動き情報を利用して、前記表情パターンデータベースを検索し、前記第2対話順序情報を生成する表情パターン検索部と、を含む請求項10に記載のユーザとエージェント間の対話順序管理装置。 - 前記対話制御部は、
前記システムの状態情報から、前記システムが発話中状態であるか否かを判定し、
前記システムが発話中であると判定すると、ユーザの音声入力の有無及び前記対話順序判定部で選択された対話順序情報により、最終的な対話順序を決定し、
前記システムが発話中でないと判定すると、前記ユーザの無応答時間及び前記対話順序判定部で選択された対話順序情報により、最終的な対話順序を決定することを特徴とする請求項10に記載のユーザとエージェント間の対話順序管理装置。 - マイクを介して入力されるユーザの発話音声を所定レベルに増幅させる音声入力部と、
前記音声入力部からの音声信号を認識して、文字列信号を出力する音声認識部と、
カメラにより撮影されたユーザの顔映像を入力する映像入力部と、
ユーザの無応答時間を所定時間計数するタイマと、
前記音声認識部の文字列信号から分析された対話情報を利用して、第1対話順序情報を生成し、前記映像入力部の顔映像から分析された表情情報を利用して、第2対話順序情報を生成し、前記第1対話順序情報と前記第2対話順序情報のうち、1つを選択し、選択された対話順序情報、システムの状態情報、前記音声入力部の出力信号及び前記タイマの出力信号を利用して、最終的な対話順序を決定する対話管理部と、
前記対話管理部の制御により、対話モデルデータベースを参照して前記音声認識部の文字列信号に対応する応答文を生成する応答文生成部と、を含み、
前記対話管理部は、第1対話順序情報と前記第2対話順序情報とが互いに異なる場合、前記第1対話順序情報と前記第2対話順序情報とを組合わせ、対話順序情報の組合わせ別に前記第1及び第2対話順序情報に各々加重値が割当てられて既に保存されているデータベースを検索し、検索された前記対話順序情報の組合わせからさらに高い加重値が割当てられた対話順序情報を選択する音声対話システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020020078721A KR100580619B1 (ko) | 2002-12-11 | 2002-12-11 | 사용자와 에이전트 간의 대화 관리방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004206704A JP2004206704A (ja) | 2004-07-22 |
JP4401155B2 true JP4401155B2 (ja) | 2010-01-20 |
Family
ID=32388321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003413065A Expired - Fee Related JP4401155B2 (ja) | 2002-12-11 | 2003-12-11 | ユーザとエージェント間の対話管理方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7734468B2 (ja) |
EP (1) | EP1431960B1 (ja) |
JP (1) | JP4401155B2 (ja) |
KR (1) | KR100580619B1 (ja) |
DE (1) | DE60334599D1 (ja) |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
JP2006039120A (ja) * | 2004-07-26 | 2006-02-09 | Sony Corp | 対話装置および対話方法、並びにプログラムおよび記録媒体 |
US7620549B2 (en) * | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
KR100732611B1 (ko) * | 2006-04-25 | 2007-06-28 | 학교법인 포항공과대학교 | 음성대화 오류검증을 통한 확인대화 방법 및 장치 |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
US8977631B2 (en) | 2007-04-16 | 2015-03-10 | Ebay Inc. | Visualization of reputation ratings |
DK2012304T3 (da) * | 2007-07-06 | 2012-11-19 | Zero To One Technology Comscope | Fremgangsmåder til elektronisk analyse af en dialog samt tilsvarende systemer |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US8818816B2 (en) | 2008-07-30 | 2014-08-26 | Mitsubishi Electric Corporation | Voice recognition device |
JP5049934B2 (ja) * | 2008-09-22 | 2012-10-17 | 株式会社東芝 | 対話文生成装置及び方法 |
US8326637B2 (en) | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
KR101644015B1 (ko) * | 2009-11-27 | 2016-08-01 | 삼성전자주식회사 | 시스템과 다수 사용자 간의 대화 인터페이스 장치 |
KR101622111B1 (ko) | 2009-12-11 | 2016-05-18 | 삼성전자 주식회사 | 대화 시스템 및 그의 대화 방법 |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
JP6078964B2 (ja) | 2012-03-26 | 2017-02-15 | 富士通株式会社 | 音声対話システム及びプログラム |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9798144B2 (en) * | 2012-09-12 | 2017-10-24 | Sony Corporation | Wearable image display device to control display of image |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9368114B2 (en) * | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
JP2014191212A (ja) * | 2013-03-27 | 2014-10-06 | Seiko Epson Corp | 音声処理装置、集積回路装置、音声処理システム及び音声処理装置の制御方法 |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
KR101772152B1 (ko) | 2013-06-09 | 2017-08-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
US20150039312A1 (en) * | 2013-07-31 | 2015-02-05 | GM Global Technology Operations LLC | Controlling speech dialog using an additional sensor |
KR101478459B1 (ko) * | 2013-09-05 | 2014-12-31 | 한국과학기술원 | 언어 지연 치료 시스템 및 그 시스템 제어 방법 |
JP6411017B2 (ja) * | 2013-09-27 | 2018-10-24 | クラリオン株式会社 | サーバ、及び、情報処理方法 |
KR102175539B1 (ko) * | 2013-10-18 | 2020-11-06 | 에스케이텔레콤 주식회사 | 사용자 발화 스타일에 따른 대화형 서비스 장치 및 방법 |
US10832005B1 (en) | 2013-11-21 | 2020-11-10 | Soundhound, Inc. | Parsing to determine interruptible state in an utterance by detecting pause duration and complete sentences |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9898459B2 (en) | 2014-09-16 | 2018-02-20 | Voicebox Technologies Corporation | Integration of domain information into state transitions of a finite state transducer for natural language processing |
US9626703B2 (en) | 2014-09-16 | 2017-04-18 | Voicebox Technologies Corporation | Voice commerce |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9747896B2 (en) | 2014-10-15 | 2017-08-29 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
US9269374B1 (en) | 2014-10-27 | 2016-02-23 | Mattersight Corporation | Predictive video analytics system and methods |
CN104407834A (zh) * | 2014-11-13 | 2015-03-11 | 腾讯科技(成都)有限公司 | 信息输入方法和装置 |
US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
EP3384475B1 (en) * | 2015-12-06 | 2021-12-22 | Cerence Operating Company | System and method of conversational adjustment based on user's cognitive state |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10140986B2 (en) * | 2016-03-01 | 2018-11-27 | Microsoft Technology Licensing, Llc | Speech recognition |
US10192550B2 (en) * | 2016-03-01 | 2019-01-29 | Microsoft Technology Licensing, Llc | Conversational software agent |
US10140988B2 (en) * | 2016-03-01 | 2018-11-27 | Microsoft Technology Licensing, Llc | Speech recognition |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
CN109074397B (zh) * | 2016-05-06 | 2022-04-15 | 索尼公司 | 信息处理系统和信息处理方法 |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
WO2018023106A1 (en) | 2016-07-29 | 2018-02-01 | Erik SWART | System and method of disambiguating natural language processing requests |
JP6461058B2 (ja) * | 2016-09-06 | 2019-01-30 | 国立大学法人京都大学 | 音声対話装置および音声対話装置を用いた自動対話方法 |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
EP3486900A1 (en) * | 2017-11-16 | 2019-05-22 | Softbank Robotics Europe | System and method for dialog session management |
KR102463581B1 (ko) * | 2017-12-05 | 2022-11-07 | 현대자동차주식회사 | 대화 시스템 및 이를 포함하는 차량 |
US10636421B2 (en) | 2017-12-27 | 2020-04-28 | Soundhound, Inc. | Parse prefix-detection in a human-machine interface |
CN109986553B (zh) * | 2017-12-29 | 2021-01-08 | 深圳市优必选科技有限公司 | 一种主动交互的机器人、系统、方法及存储装置 |
EP3739573B1 (en) * | 2018-01-12 | 2023-06-28 | Sony Group Corporation | Information processing device, information processing method, and program |
KR102140685B1 (ko) | 2018-09-14 | 2020-08-04 | 한국과학기술연구원 | 사용자 성격을 고려한 강화학습 기반 적응형 로봇 대화시스템 및 이를 이용한 적응형 로봇 대화방법 |
KR102168802B1 (ko) * | 2018-09-20 | 2020-10-22 | 한국전자통신연구원 | 상호 작용 장치 및 방법 |
JP7032284B2 (ja) * | 2018-10-24 | 2022-03-08 | Kddi株式会社 | ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法 |
CN109842546B (zh) * | 2018-12-25 | 2021-09-28 | 创新先进技术有限公司 | 会话表情处理方法以及装置 |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
KR102331675B1 (ko) | 2019-09-09 | 2021-11-30 | 엘지전자 주식회사 | 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법 |
WO2024025178A1 (en) * | 2022-07-25 | 2024-02-01 | Samsung Electronics Co., Ltd. | A system to provide natural utterance by a voice assistant and method thereof |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0543329B1 (en) * | 1991-11-18 | 2002-02-06 | Kabushiki Kaisha Toshiba | Speech dialogue system for facilitating human-computer interaction |
JPH0769709B2 (ja) * | 1993-01-08 | 1995-07-31 | 株式会社エイ・ティ・アール自動翻訳電話研究所 | 対話音声認識装置 |
JPH06301393A (ja) * | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | 音声区間検出装置及び音声認識装置 |
JPH07239694A (ja) * | 1994-03-02 | 1995-09-12 | Oki Electric Ind Co Ltd | 音声対話装置 |
JP3452098B2 (ja) * | 1995-04-04 | 2003-09-29 | アイシン・エィ・ダブリュ株式会社 | 車両用ナビゲーション装置 |
JPH09269889A (ja) | 1996-04-02 | 1997-10-14 | Sharp Corp | 対話装置 |
US5865626A (en) * | 1996-08-30 | 1999-02-02 | Gte Internetworking Incorporated | Multi-dialect speech recognition method and apparatus |
JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
US6199043B1 (en) * | 1997-06-24 | 2001-03-06 | International Business Machines Corporation | Conversation management in speech recognition interfaces |
JPH11237971A (ja) * | 1998-02-23 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 音声応答装置 |
US6098043A (en) * | 1998-06-30 | 2000-08-01 | Nortel Networks Corporation | Method and apparatus for providing an improved user interface in speech recognition systems |
US6570555B1 (en) * | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6246986B1 (en) * | 1998-12-31 | 2001-06-12 | At&T Corp. | User barge-in enablement in large vocabulary speech recognition systems |
JP2000276326A (ja) | 1999-03-25 | 2000-10-06 | Victor Co Of Japan Ltd | 音声入力対話装置、音声入力対話方法および音声入力対話プログラムを格納したコンピュータ読み取り可能な記録媒体 |
JP3514372B2 (ja) * | 1999-06-04 | 2004-03-31 | 日本電気株式会社 | マルチモーダル対話装置 |
US6219640B1 (en) * | 1999-08-06 | 2001-04-17 | International Business Machines Corporation | Methods and apparatus for audio-visual speaker recognition and utterance verification |
US6724864B1 (en) * | 2000-01-20 | 2004-04-20 | Comverse, Inc. | Active prompts |
JP2002023783A (ja) * | 2000-07-13 | 2002-01-25 | Fujitsu Ltd | 対話処理システム |
US6785651B1 (en) * | 2000-09-14 | 2004-08-31 | Microsoft Corporation | Method and apparatus for performing plan-based dialog |
US6721706B1 (en) * | 2000-10-30 | 2004-04-13 | Koninklijke Philips Electronics N.V. | Environment-responsive user interface/entertainment device that simulates personal interaction |
JP2002196789A (ja) | 2000-12-25 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 音声対話装置 |
US6964023B2 (en) * | 2001-02-05 | 2005-11-08 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
KR20020068235A (ko) * | 2001-02-20 | 2002-08-27 | 유재천 | 치아와 입술 영상을 이용한 음성인식 장치 및 방법 |
JP2002244841A (ja) * | 2001-02-21 | 2002-08-30 | Japan Science & Technology Corp | 音声表示システム及び音声表示プログラム |
US7177810B2 (en) * | 2001-04-10 | 2007-02-13 | Sri International | Method and apparatus for performing prosody-based endpointing of a speech signal |
GB2378776A (en) * | 2001-05-22 | 2003-02-19 | Canon Kk | Apparatus and method for managing a multi-modal interface in which the inputs feedback on each other |
US6941268B2 (en) * | 2001-06-21 | 2005-09-06 | Tellme Networks, Inc. | Handling of speech recognition in a declarative markup language |
US20030055644A1 (en) * | 2001-08-17 | 2003-03-20 | At&T Corp. | Systems and methods for aggregating related inputs using finite-state devices and extracting meaning from multimodal inputs using aggregation |
US7019749B2 (en) * | 2001-12-28 | 2006-03-28 | Microsoft Corporation | Conversational interface agent |
US6999931B2 (en) * | 2002-02-01 | 2006-02-14 | Intel Corporation | Spoken dialog system using a best-fit language model and best-fit grammar |
-
2002
- 2002-12-11 KR KR1020020078721A patent/KR100580619B1/ko not_active IP Right Cessation
-
2003
- 2003-12-10 DE DE60334599T patent/DE60334599D1/de not_active Expired - Lifetime
- 2003-12-10 EP EP03257771A patent/EP1431960B1/en not_active Expired - Lifetime
- 2003-12-11 US US10/732,235 patent/US7734468B2/en not_active Expired - Fee Related
- 2003-12-11 JP JP2003413065A patent/JP4401155B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE60334599D1 (de) | 2010-12-02 |
JP2004206704A (ja) | 2004-07-22 |
US20040122673A1 (en) | 2004-06-24 |
US7734468B2 (en) | 2010-06-08 |
KR20040050928A (ko) | 2004-06-18 |
EP1431960A1 (en) | 2004-06-23 |
EP1431960B1 (en) | 2010-10-20 |
KR100580619B1 (ko) | 2006-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4401155B2 (ja) | ユーザとエージェント間の対話管理方法及び装置 | |
US11908468B2 (en) | Dialog management for multiple users | |
US10977452B2 (en) | Multi-lingual virtual personal assistant | |
US20210081056A1 (en) | Vpa with integrated object recognition and facial expression recognition | |
US9501743B2 (en) | Method and apparatus for tailoring the output of an intelligent automated assistant to a user | |
KR100586767B1 (ko) | 다중모드 입력을 이용한 다중모드 초점 탐지, 기준 모호성해명 및 기분 분류를 위한 시스템 및 방법 | |
Wu et al. | Survey on audiovisual emotion recognition: databases, features, and data fusion strategies | |
Morency et al. | Contextual recognition of head gestures | |
Waibel et al. | SMaRT: The smart meeting room task at ISL | |
US20040056907A1 (en) | Prosody based audio/visual co-analysis for co-verbal gesture recognition | |
US10896688B2 (en) | Real-time conversation analysis system | |
CN105723450A (zh) | 用于话语检测的包络比较 | |
KR101933822B1 (ko) | 얼굴인식 기반 지능형 스피커, 이를 이용한 능동적인 대화 제공 방법 및 이를 수행하기 위한 기록매체 | |
WO2011030372A1 (ja) | 音声対話装置及びプログラム | |
Lin et al. | Acoustical implicit communication in human-robot interaction | |
Lin et al. | Nonverbal acoustic communication in human-computer interaction | |
JP7474211B2 (ja) | ユーザから発話された名詞を忘却する対話プログラム、装置及び方法 | |
WO2024195570A1 (ja) | 行動制御システム、情報提示システム、プログラム及びロボット | |
Balomenos et al. | An introduction to emotionally rich man-machine intelligent systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20041116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041119 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060608 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081119 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091027 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |