JP5309070B2 - マルチモーダル対話装置 - Google Patents
マルチモーダル対話装置 Download PDFInfo
- Publication number
- JP5309070B2 JP5309070B2 JP2010083671A JP2010083671A JP5309070B2 JP 5309070 B2 JP5309070 B2 JP 5309070B2 JP 2010083671 A JP2010083671 A JP 2010083671A JP 2010083671 A JP2010083671 A JP 2010083671A JP 5309070 B2 JP5309070 B2 JP 5309070B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- dialog
- dialogue
- multimodal
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
(2)ルール2:「一方の利用者U1が対話装置と対話する間に、他方の利用者U2と相談する時間が長ければ、利用者U2の検索意図を検索結果(レストランや商品の検索など)に反映させる」
(b)ルール2の状態が観測されると、対話装置1が他方の利用者U2へ情報の確認を行なう。
(c)ルール1,2の状態が観測されなければ、対話装置1が一対一の対話を継続する。
O:有限な観測の集合,{o}
A:有限な行動の集合,{a}
R:報酬の期待値 ,{r}
s0:「対話無し」状態
s1:「1対1の対話が進行中である」状態
s2:「他方の利用者が対話装置に注目している」状態(ルール1に対応)
s3:「利用者同士が相談している(他方の利用者の検索意図を検索結果に反映させるべき)」状態(ルール2に対応)
s4:「上記以外」状態(他方の利用者が居ない、居ても対話に関心、興味が無い状態)
a1:「対話を開始する」行動
a2:「他方の利用者に話かける」行動
a3:「他方の利用者に情報を確認する」行動
a4:「現利用者との1対1の対話を継続する」行動
O_face:「利用者の顔映像観測値」
検出された顔の向き情報faceid_#_ang、顔向きの角度の軌跡、利用者の顔合わせ回数または顔映像(静止画像)中から直接取り出した低レベル特徴量(Gabor特徴量)
O_voice:「利用者の音声観測値」
音声のパワーおよびピッチの平均、標準偏差、最大およびレンジ(最大−最小値)など
r(s,a):状態s で行動aを実行した時に得られる報酬の期待値
Claims (9)
- 複数の利用者と複数種の入出力メディアを用いて仮想的に対話するマルチモーダル対話装置において、
利用者からの対話を入力する入力側対話実行手段と、
利用者への対話を出力する出力側対話実行手段と、
前記入力された対話に基づいて前記出力する対話を生成する対話生成部とを具備し、
前記対話生成部が、
前記入力された対話に基づいて各利用者の状況を解析する利用者状況解析手段と、
前記利用者状況の解析結果に基づいて前記出力する対話を生成する対話応答生成手段と、
複数の利用者との対話系列を学習し、一方の利用者と当該マルチモーダル対話装置との対話に他方の利用者を参加させるべき状態で当該他方の利用者へ対話する行動を実行して得られる報酬が高く設定された確率モデルと、
前記解析結果を前記確率モデルに適用して対話の行動を決定する対話行動決定手段とを具備し、
前記利用者状況解析手段が、利用者同士が相談している状態の確率値を推定する相談状態推定手段を具備し、
前記確率モデルでは、一方の利用者と当該マルチモーダル対話装置との対話中に、利用者同士が相談している状態の確率値が高いほど、前記他方の利用者へ対話する行動を実行して得られる報酬が高く設定されたことを特徴とするマルチモーダル対話装置。 - 前記利用者状況解析手段が、前記他方の利用者が当該マルチモーダル対話装置に注目している状態の確率値を推定する注目状態推定手段をさらに具備し、
前記確率モデルでは、一方の利用者と当該マルチモーダル対話装置との対話中に、他方の利用者が当該マルチモーダル対話装置に注目している状態の確率値が高いほど、当該他方の利用者へ対話する行動を実行して得られる報酬が高く設定されたことを特徴とする請求項1に記載のマルチモーダル対話装置。 - 前記他方の利用者へ対話する行動が、当該他方の利用者に話かける行動であることを特徴とする請求項2に記載のマルチモーダル対話装置。
- 前記他方の利用者へ対話する行動が、当該他方の利用者に情報を確認する行動であることを特徴とする請求項1に記載のマルチモーダル対話装置。
- 前記利用者状況解析手段が、
利用者数が複数であるときに、その人間関係を推定する手段を具備し、
前記確率モデルが、利用者同士の人間関係をパラメータとして対話系列を学習したことを特徴とする請求項1ないし4のいずれかに記載のマルチモーダル対話装置。 - 前記利用者同士の人間関係が、親子、異性の友人および同性の友人のいずれかに識別されることを特徴とする請求項5に記載のマルチモーダル対話装置。
- 前記対話行動決定手段は、マルチモーダル対話装置が取るべき行動を、利用者との対話を継続する、利用者との対話を終了する、対話相手の利用者を切り替える、のいずれかに決定することを特徴とする請求項1ないし6のいずれかに記載のマルチモーダル対話装置。
- 前記確率モデルが、部分観測マルコフ決定過程(POMDP)であることを特徴とする請求項1ないし7のいずれかに記載のマルチモーダル対話装置。
- 前記入力側対話実行手段および出力側対話実行手段と対話生成部とがネットワーク上に分散配置され、ネットワーク経由で通信することを特徴とする請求項1ないし8のいずれかに記載のマルチモーダル対話装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010083671A JP5309070B2 (ja) | 2010-03-31 | 2010-03-31 | マルチモーダル対話装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010083671A JP5309070B2 (ja) | 2010-03-31 | 2010-03-31 | マルチモーダル対話装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215900A JP2011215900A (ja) | 2011-10-27 |
JP5309070B2 true JP5309070B2 (ja) | 2013-10-09 |
Family
ID=44945562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010083671A Expired - Fee Related JP5309070B2 (ja) | 2010-03-31 | 2010-03-31 | マルチモーダル対話装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5309070B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6397250B2 (ja) * | 2014-07-30 | 2018-09-26 | Kddi株式会社 | 集中度推定装置、方法及びプログラム |
JP6514475B2 (ja) * | 2014-10-03 | 2019-05-15 | 株式会社Nttドコモ | 対話装置および対話方法 |
JP6452420B2 (ja) * | 2014-12-08 | 2019-01-16 | シャープ株式会社 | 電子機器、発話制御方法、およびプログラム |
JP6553007B2 (ja) * | 2016-09-13 | 2019-07-31 | 株式会社東芝 | 対話フロー制御装置、対話フロー制御方法およびプログラム |
JPWO2020116193A1 (ja) * | 2018-12-07 | 2020-06-11 | ||
JP7298337B2 (ja) * | 2019-06-26 | 2023-06-27 | 富士通株式会社 | 判別システム、判別制御プログラムおよび判別制御方法 |
JP7392306B2 (ja) * | 2019-07-12 | 2023-12-06 | コニカミノルタ株式会社 | 情報処理システム、情報処理方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3681145B2 (ja) * | 1997-12-11 | 2005-08-10 | 株式会社東芝 | 発話装置及び発話方法 |
-
2010
- 2010-03-31 JP JP2010083671A patent/JP5309070B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011215900A (ja) | 2011-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5309070B2 (ja) | マルチモーダル対話装置 | |
US9558181B2 (en) | Facilitating a meeting using graphical text analysis | |
CN112204564A (zh) | 经由基于集成音频和视觉的语音识别进行语音理解的系统和方法 | |
CN114556354A (zh) | 自动确定和呈现来自事件的个性化动作项 | |
US11625425B2 (en) | Dialogue management system with hierarchical classification and progression | |
JP2017016566A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2018190413A (ja) | ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム | |
KR20200113105A (ko) | 응답을 제공하는 전자 장치와 이의 동작 방법 | |
US10896688B2 (en) | Real-time conversation analysis system | |
US11036285B2 (en) | Systems and methods for mixed reality interactions with avatar | |
JP4889690B2 (ja) | 会話表示方法及びサーバ装置 | |
CN111902811A (zh) | 利用数字助理的基于接近度的介入 | |
US10770072B2 (en) | Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning | |
EP4172843A1 (en) | Using a single request for multi-person calling in assistant systems | |
KR20190117840A (ko) | 대화 이해 ai 시스템에 의한 고객 상담의 제공 중에 사람 상담 직원으로 하여금 해당 고객을 위한 이후 상담을 진행하도록 전환하는 방법 및 컴퓨터 판독가능 기록 매체 | |
JP2020091824A (ja) | プログラム、情報処理装置及び情報処理方法 | |
JP2020091736A (ja) | プログラム、情報処理装置及び情報処理方法 | |
KR20200040766A (ko) | 자연 언어 처리를 위한 네트워크-기반 학습 모델 | |
JP7160778B2 (ja) | 評価システム、評価方法、及びコンピュータプログラム。 | |
JP2017064853A (ja) | ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム | |
JP2021157419A (ja) | 対話型業務支援システムおよび対話型業務支援方法 | |
US11318373B2 (en) | Natural speech data generation systems and methods | |
EP4064031A1 (en) | Method and system for tracking in extended reality using voice commmand | |
US20220301250A1 (en) | Avatar-based interaction service method and apparatus | |
KR20220150140A (ko) | 페이지톡 기반의 동시 접속 다중 사용자 이커머스 플랫폼 제공 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130612 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5309070 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |