JP3673719B2 - 擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体 - Google Patents
擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3673719B2 JP3673719B2 JP2001017754A JP2001017754A JP3673719B2 JP 3673719 B2 JP3673719 B2 JP 3673719B2 JP 2001017754 A JP2001017754 A JP 2001017754A JP 2001017754 A JP2001017754 A JP 2001017754A JP 3673719 B2 JP3673719 B2 JP 3673719B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- anthropomorphic
- point coordinate
- gazing point
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視線による情報伝達を行なう擬人化インタフェース装置及び方法に関するものである。さらに詳しくは、ディスプレイ画面に表示された擬人化キャラクタ（以下、単にキャラクタ）が表出する視線を所定の規則に基づき操作することによって、キャラクタの印象、キャラクタの個性などの情報をユーザに伝達する擬人化インタフェース装置及び方法に関するものである。
【０００２】
【従来の技術】
キャラクタの視線を操作することによってユーザに情報を伝達する擬人化インタフェースの従来技術においては、キャラクタの視線の制御ルールの設計は設計者の日常生活における経験や過去の心理学的研究を基にして定性的に行なわれている。
【０００３】
例えば、ユーザが発言を開始すればキャラクタの視線をユーザに向ける、対話システムが他の作業を行なっている間はユーザから視線を外す、などの制御ルールが用いられている。これらのルールによって生成されるキャラクタの視線の動きは、それぞれ、対話システムがユーザの発言開始を認識していること、ユーザに発言を認めないこと、をユーザに伝達する。
【０００４】
【発明が解決しようとする課題】
従来技術では、上記のように、設計者が陽に認識している視線の動きに関する知識に基づいて、ユーザを見つめる又は視線を外すなどの視線行動を行なうよう指示する制御ルールを記述し、それにしたがってキャラクタの視線を制御することで、ユーザヘの視線による情報伝達を行なっている。
【０００５】
このような従来の設計方法においては、視線制御ルールに基づいて出力されるキャラクタの視線の動きは、人間と比較して非常に多様性の乏しいものとなっている。その結果、人と人の対面コミュニケーションでは視線によって容易に伝達できる、印象や個性などの多様な情報を、擬人化インタフェース装置の視線を用いてユーザに伝達することができないという問題があった。
【０００６】
本発明は、上記の問題点を解決すべく、キャラクタの視線の微妙な違いを生成し、視線によってユーザに多様な情報を伝達することができる擬人化インタフェース装置及び方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェース装置において、特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェース装置であって、ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力手段と、前記注視点座標出力手段は、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、ユーザに伝達すべき目的情報を入力として受け取り、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力手段を１つ以上選択し、選択した注視点座標出力手段から出力された注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正手段と、前記注視点座標補正手段から出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成手段と、を有することを特徴とする。
【０００８】
あるいは、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェース方法において、特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェース方法であって、ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、前記注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、前記選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、前記注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を有することを特徴とする。
【０００９】
あるいは、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェースプログラムにおいて、特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェースプログラムであって、
ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、前記注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、前記選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、前記注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を有する擬人化インタフェースプログラムであることを特徴とする。
【００１０】
あるいは、上記擬人化インタフェースプログラムをコンピュータで実行するために前記コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１１】
以上の発明により、視線の動きを変化させて複数の目的情報を視線によりユーザに伝達することを可能とする。
【００１３】
あるいは、上記の擬人化インタフェースプログラムを記録した記録媒体において、前記注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力することを特徴とする。
【００１４】
以上の発明により、多様な視線の動きを生成し、多様な目的情報を視線によりユーザに伝達することを可能とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態の一例について、図面を参照しながら説明する。
【００１６】
図１は本発明の実施の形態の構成と処理の流れを示す図である。１はトリガー信号発生部を、２は目的情報入力部を、３は注視点座標補正部を、４はキャラクタ映像生成部を、１１から１６は注視点座標出力部Ａ〜Ｆをそれぞれ示す。
【００１７】
本実施の形態は、上記の構成によって、ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、所定の対応関係に基づきその受け取った目的情報に応じた注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、この選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、前記の注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を実現する。
【００１８】
さらに、上記の注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、この注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力することを実現する。
【００１９】
以下、これらの処理とその流れは、図１の構成の動作例として述べる。
【００２０】
トリガー信号発生部１は、キャラクタ映像生成部４がキャラクタ映像の描画中でないことを検知して、トリガー信号を発生する。注視点座標出力部Ａ１１〜注視点座標出力部Ｆ１６は、本発明の注視点座標出力手段であり、トリガー信号発生部１からのトリガー信号を検知して起動する。
【００２１】
図２に、注視点座標出力部Ａ１１が保持している注視点分布テーブルを示す。図中のＸ−Ｙ平面上の正方形領域が注視点座標の定義域内の部分領域であり、部分領域ごとに注視点座標の存在確率が棒グラフの高さで表されている。また、ここでは、注視点座標の定義域、即ち図中のＸ−Ｙ平面はユーザの両眼の中心を原点としたディスプレイに平行な平面に相当する。Ｘ座標の大きさはユーザの顔の幅、Ｙ座標の大きさはユーザの顔の高さで正規化されている。本実施形態ではこのように、注視点座標出力部１１〜１６から出力される注視点座標は、ユーザの顔の位置と大きさで正規化されているため、注視点座標補正部３においてシステムと現在対話しているユーザの顔の位置と大きさを用いた補正が行なわれる。
【００２２】
目的情報入力部２は、視線によってユーザに伝達すべき情報である目的情報を、本擬人化インタフェース装置に入力する。目的情報入力手段（目的情報入力部２）の実施の形態としては、ユーザ又はその他の人間による直接入力が可能である。また、対話システムを構成する他の装置、例えばユーザと対話システムの音声対話を制御する装置などから入力を受けることも可能である。
【００２３】
注視点座標補正部３は、注視点座標出力部Ａ１１〜注視点座標出力部Ｆ１６から出力された、注視点座標を受け取って起動する。図３に示す目的情報と注視点座標出力部の対応関係に基づいて、目的情報入力部２から入力された目的情報に対応する注視点座標出力部を１つ選択し、選択された注視点座標出力部から出力された注視点座標を採用する。
【００２４】
例えば、目的情報入力部２から、ユーザとシステムの言語的対話のフェーズが「ユーザの発言」であり、キャラクタの印象が「魅力的である」である、という目的情報が入力された場合は、注視点座標出力部Ａ１１が選択される。
【００２５】
ここで、ユーザとシステムの言語的対話のフェーズとは、現在行なわれている発言の表層的な状態を表す。図中の３種類のものの他に例えば、ユーザ側の質問、対話システム側の質問、ユーザ側の回答、対話システム側の回答、などが考えられる。
【００２６】
なお、視線によってユーザに伝達する情報の種類としては、図中にある、ユーザとシステムの言語的対話のフェーズ、キャラクタの印象の他に、キャラクタの個人性特徴、ユーザの社会的地位、ユーザとキャラクタの言語的対話の話題、どのような状況下で対話を行なっているかという場面設定、などを利用することも可能である。
【００２７】
さらに、採用した注視点座標を、ユーザの顔の位置とユーザの顔の幅及び高さの影響を考慮して補正したものを、現在のキャラクタの注視点座標としてキャラクタ映像生成部４へ受け渡す。本実施の形態では、ユーザの顔の位置はディスプレイの正面の一定の位置に静止しているものと仮定しており、また、顔の幅及び高さはユーザとの対話を開始する前に手入力される。
【００２８】
なお、前記のように、単一の注視点座標出力部を選択するのではなく、複数の注視点座標出力部を選択し、それらから出力される注視点座標に、線形和などの演算を加えたものを注視点座標として採用することも可能である。
【００２９】
キャラクタ映像生成部４は、注視点座標補正部３から出力された現在のキャラクタの注視点座標を注視しているキャラクタの映像を作成し、ディスプレイに表示する。
【００３０】
図４にキャラクタ映像生成部４の実施の形態を示す。詳しくは、３次元コンピュータグラフィックス技術を用いており、キャラクタの瞳の中心と眼球中心を結ぶ直線が注視点座標で交差するようにキャラクタの３次元モデルを構築し、ディスプレイに表示する。
【００３１】
適切な目的情報を視線によってユーザに伝達するための、注視点分布テーブルの作成方法としては、実際の人間の視線を測定する方法がある。図２に示した、注視点座標出力部Ａ１１の注視点分布テーブルは、例えば以下のようにして作成できる。
【００３２】
作成作業にあたってまず、２人の人間（人物甲及び人物乙）に対面会話を行なわせる。図２の注視点分布テーブルＡ１１は、図３を参照すると、「ユーザが発言」とキャラクタの印象が「魅力的である」に相当する。ユーザとキャラクタはここではそれぞれ人物甲と人物乙に相当するため、人物甲が発言しており、人物甲の視線が比較的魅力的であると人物乙が感じた場面における人物甲の注視点座標を視線測定装置（例えば特開平１０−６６６７８号）を用いて測定する。人物乙の顔の位置と顔の幅及び高さを別途測定し、それらによって、視線測定装置で測定した人物甲の注視点座標を正規化する。その後、各部分領域ごとの人物甲の注視点座標の存在確率を求めることにより、図２の注視点分布テーブルを作成できる。
【００３３】
なお、図１で示した擬人化インタフェース装置における各部の一部もしくは全部での処理とその処理の流れをコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること言うまでもなく、コンピュータでその処理とその処理の流れを実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００３４】
【発明の効果】
本発明によれば、キャラクタの視線の決定のために、注視点座標が存在する確率分布を与える注視点分布テーブルを持った注視点座標出力手段ないしはステップを用いることにより、従来技術と比較してより細かな視線の違いを表現することが可能になる。
【００３５】
さらに、視線によってユーザに伝達すべき情報を表す目的情報ごとに、注視点座標出力手段ないしはステップを設け、注視点座標補正手段ないしはステップにおいて、現在の目的情報にしたがって選択する注視点座標出力手段ないしはステップを切り替えることで、多様な情報を視線によってユーザに伝達することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成と処理の流れを示す図
【図２】本発明の実施の形態における注視点座標出力部Ａが有する注視点分布テーブルの例を示す図
【図３】本発明の実施の形態における目的情報の例と目的情報と注視点座標出力部の対応関係の例を示す図
【図４】本発明の実施の形態におけるキャラクタ映像生成部の実施の形態を説明する図
【符号の説明】
１…トリガー信号発生部
２…目的情報入力部
３…注視点座標補正部
４…キャラクタ映像生成部
１１…注視点座標出力部Ａ
１２…注視点座標出力部Ｂ
１３…注視点座標出力部Ｃ
１４…注視点座標出力部Ｄ
１５…注視点座標出力部Ｅ
１６…注視点座標出力部Ｆ
【発明の属する技術分野】
本発明は、視線による情報伝達を行なう擬人化インタフェース装置及び方法に関するものである。さらに詳しくは、ディスプレイ画面に表示された擬人化キャラクタ（以下、単にキャラクタ）が表出する視線を所定の規則に基づき操作することによって、キャラクタの印象、キャラクタの個性などの情報をユーザに伝達する擬人化インタフェース装置及び方法に関するものである。
【０００２】
【従来の技術】
キャラクタの視線を操作することによってユーザに情報を伝達する擬人化インタフェースの従来技術においては、キャラクタの視線の制御ルールの設計は設計者の日常生活における経験や過去の心理学的研究を基にして定性的に行なわれている。
【０００３】
例えば、ユーザが発言を開始すればキャラクタの視線をユーザに向ける、対話システムが他の作業を行なっている間はユーザから視線を外す、などの制御ルールが用いられている。これらのルールによって生成されるキャラクタの視線の動きは、それぞれ、対話システムがユーザの発言開始を認識していること、ユーザに発言を認めないこと、をユーザに伝達する。
【０００４】
【発明が解決しようとする課題】
従来技術では、上記のように、設計者が陽に認識している視線の動きに関する知識に基づいて、ユーザを見つめる又は視線を外すなどの視線行動を行なうよう指示する制御ルールを記述し、それにしたがってキャラクタの視線を制御することで、ユーザヘの視線による情報伝達を行なっている。
【０００５】
このような従来の設計方法においては、視線制御ルールに基づいて出力されるキャラクタの視線の動きは、人間と比較して非常に多様性の乏しいものとなっている。その結果、人と人の対面コミュニケーションでは視線によって容易に伝達できる、印象や個性などの多様な情報を、擬人化インタフェース装置の視線を用いてユーザに伝達することができないという問題があった。
【０００６】
本発明は、上記の問題点を解決すべく、キャラクタの視線の微妙な違いを生成し、視線によってユーザに多様な情報を伝達することができる擬人化インタフェース装置及び方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェース装置において、特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェース装置であって、ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力手段と、前記注視点座標出力手段は、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、ユーザに伝達すべき目的情報を入力として受け取り、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力手段を１つ以上選択し、選択した注視点座標出力手段から出力された注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正手段と、前記注視点座標補正手段から出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成手段と、を有することを特徴とする。
【０００８】
あるいは、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェース方法において、特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェース方法であって、ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、前記注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、前記選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、前記注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を有することを特徴とする。
【０００９】
あるいは、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェースプログラムにおいて、特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェースプログラムであって、
ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、前記注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、前記選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、前記注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を有する擬人化インタフェースプログラムであることを特徴とする。
【００１０】
あるいは、上記擬人化インタフェースプログラムをコンピュータで実行するために前記コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１１】
以上の発明により、視線の動きを変化させて複数の目的情報を視線によりユーザに伝達することを可能とする。
【００１３】
あるいは、上記の擬人化インタフェースプログラムを記録した記録媒体において、前記注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力することを特徴とする。
【００１４】
以上の発明により、多様な視線の動きを生成し、多様な目的情報を視線によりユーザに伝達することを可能とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態の一例について、図面を参照しながら説明する。
【００１６】
図１は本発明の実施の形態の構成と処理の流れを示す図である。１はトリガー信号発生部を、２は目的情報入力部を、３は注視点座標補正部を、４はキャラクタ映像生成部を、１１から１６は注視点座標出力部Ａ〜Ｆをそれぞれ示す。
【００１７】
本実施の形態は、上記の構成によって、ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、所定の対応関係に基づきその受け取った目的情報に応じた注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、この選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、前記の注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を実現する。
【００１８】
さらに、上記の注視点座標出力ステップでは、擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、この注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力することを実現する。
【００１９】
以下、これらの処理とその流れは、図１の構成の動作例として述べる。
【００２０】
トリガー信号発生部１は、キャラクタ映像生成部４がキャラクタ映像の描画中でないことを検知して、トリガー信号を発生する。注視点座標出力部Ａ１１〜注視点座標出力部Ｆ１６は、本発明の注視点座標出力手段であり、トリガー信号発生部１からのトリガー信号を検知して起動する。
【００２１】
図２に、注視点座標出力部Ａ１１が保持している注視点分布テーブルを示す。図中のＸ−Ｙ平面上の正方形領域が注視点座標の定義域内の部分領域であり、部分領域ごとに注視点座標の存在確率が棒グラフの高さで表されている。また、ここでは、注視点座標の定義域、即ち図中のＸ−Ｙ平面はユーザの両眼の中心を原点としたディスプレイに平行な平面に相当する。Ｘ座標の大きさはユーザの顔の幅、Ｙ座標の大きさはユーザの顔の高さで正規化されている。本実施形態ではこのように、注視点座標出力部１１〜１６から出力される注視点座標は、ユーザの顔の位置と大きさで正規化されているため、注視点座標補正部３においてシステムと現在対話しているユーザの顔の位置と大きさを用いた補正が行なわれる。
【００２２】
目的情報入力部２は、視線によってユーザに伝達すべき情報である目的情報を、本擬人化インタフェース装置に入力する。目的情報入力手段（目的情報入力部２）の実施の形態としては、ユーザ又はその他の人間による直接入力が可能である。また、対話システムを構成する他の装置、例えばユーザと対話システムの音声対話を制御する装置などから入力を受けることも可能である。
【００２３】
注視点座標補正部３は、注視点座標出力部Ａ１１〜注視点座標出力部Ｆ１６から出力された、注視点座標を受け取って起動する。図３に示す目的情報と注視点座標出力部の対応関係に基づいて、目的情報入力部２から入力された目的情報に対応する注視点座標出力部を１つ選択し、選択された注視点座標出力部から出力された注視点座標を採用する。
【００２４】
例えば、目的情報入力部２から、ユーザとシステムの言語的対話のフェーズが「ユーザの発言」であり、キャラクタの印象が「魅力的である」である、という目的情報が入力された場合は、注視点座標出力部Ａ１１が選択される。
【００２５】
ここで、ユーザとシステムの言語的対話のフェーズとは、現在行なわれている発言の表層的な状態を表す。図中の３種類のものの他に例えば、ユーザ側の質問、対話システム側の質問、ユーザ側の回答、対話システム側の回答、などが考えられる。
【００２６】
なお、視線によってユーザに伝達する情報の種類としては、図中にある、ユーザとシステムの言語的対話のフェーズ、キャラクタの印象の他に、キャラクタの個人性特徴、ユーザの社会的地位、ユーザとキャラクタの言語的対話の話題、どのような状況下で対話を行なっているかという場面設定、などを利用することも可能である。
【００２７】
さらに、採用した注視点座標を、ユーザの顔の位置とユーザの顔の幅及び高さの影響を考慮して補正したものを、現在のキャラクタの注視点座標としてキャラクタ映像生成部４へ受け渡す。本実施の形態では、ユーザの顔の位置はディスプレイの正面の一定の位置に静止しているものと仮定しており、また、顔の幅及び高さはユーザとの対話を開始する前に手入力される。
【００２８】
なお、前記のように、単一の注視点座標出力部を選択するのではなく、複数の注視点座標出力部を選択し、それらから出力される注視点座標に、線形和などの演算を加えたものを注視点座標として採用することも可能である。
【００２９】
キャラクタ映像生成部４は、注視点座標補正部３から出力された現在のキャラクタの注視点座標を注視しているキャラクタの映像を作成し、ディスプレイに表示する。
【００３０】
図４にキャラクタ映像生成部４の実施の形態を示す。詳しくは、３次元コンピュータグラフィックス技術を用いており、キャラクタの瞳の中心と眼球中心を結ぶ直線が注視点座標で交差するようにキャラクタの３次元モデルを構築し、ディスプレイに表示する。
【００３１】
適切な目的情報を視線によってユーザに伝達するための、注視点分布テーブルの作成方法としては、実際の人間の視線を測定する方法がある。図２に示した、注視点座標出力部Ａ１１の注視点分布テーブルは、例えば以下のようにして作成できる。
【００３２】
作成作業にあたってまず、２人の人間（人物甲及び人物乙）に対面会話を行なわせる。図２の注視点分布テーブルＡ１１は、図３を参照すると、「ユーザが発言」とキャラクタの印象が「魅力的である」に相当する。ユーザとキャラクタはここではそれぞれ人物甲と人物乙に相当するため、人物甲が発言しており、人物甲の視線が比較的魅力的であると人物乙が感じた場面における人物甲の注視点座標を視線測定装置（例えば特開平１０−６６６７８号）を用いて測定する。人物乙の顔の位置と顔の幅及び高さを別途測定し、それらによって、視線測定装置で測定した人物甲の注視点座標を正規化する。その後、各部分領域ごとの人物甲の注視点座標の存在確率を求めることにより、図２の注視点分布テーブルを作成できる。
【００３３】
なお、図１で示した擬人化インタフェース装置における各部の一部もしくは全部での処理とその処理の流れをコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること言うまでもなく、コンピュータでその処理とその処理の流れを実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００３４】
【発明の効果】
本発明によれば、キャラクタの視線の決定のために、注視点座標が存在する確率分布を与える注視点分布テーブルを持った注視点座標出力手段ないしはステップを用いることにより、従来技術と比較してより細かな視線の違いを表現することが可能になる。
【００３５】
さらに、視線によってユーザに伝達すべき情報を表す目的情報ごとに、注視点座標出力手段ないしはステップを設け、注視点座標補正手段ないしはステップにおいて、現在の目的情報にしたがって選択する注視点座標出力手段ないしはステップを切り替えることで、多様な情報を視線によってユーザに伝達することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成と処理の流れを示す図
【図２】本発明の実施の形態における注視点座標出力部Ａが有する注視点分布テーブルの例を示す図
【図３】本発明の実施の形態における目的情報の例と目的情報と注視点座標出力部の対応関係の例を示す図
【図４】本発明の実施の形態におけるキャラクタ映像生成部の実施の形態を説明する図
【符号の説明】
１…トリガー信号発生部
２…目的情報入力部
３…注視点座標補正部
４…キャラクタ映像生成部
１１…注視点座標出力部Ａ
１２…注視点座標出力部Ｂ
１３…注視点座標出力部Ｃ
１４…注視点座標出力部Ｄ
１５…注視点座標出力部Ｅ
１６…注視点座標出力部Ｆ
Claims (4)
- ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェース装置において、
特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェース装置であって、
ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力手段と、
前記注視点座標出力手段は、
擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、
前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、
ユーザに伝達すべき目的情報を入力として受け取り、所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力手段を１つ以上選択し、選択した注視点座標出力手段から出力された注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正手段と、
前記注視点座標補正手段から出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成手段と、を有する
ことを特徴とする擬人化インタフェース装置。 - ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェース方法において、
特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェース方法であって、
ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、
前記注視点座標出力ステップでは、
擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、
前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、
ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、
所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、
前記選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、
前記注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を有する
ことを特徴とする擬人化インタフェース方法。 - ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの身体を操作することによって、ユーザに目的情報を伝達し、ユーザとシステムの非言語的コミュニケーションを実現する擬人化インタフェースプログラムにおいて、
特に、ユーザに伝達すべき目的情報に応じて、ディスプレイに表示されている擬人化キャラクタの視線を操作することによって、ユーザに目的情報を伝達する擬人化インタフェースプログラムであって、
ユーザに伝達すべき特定の目的情報に対して、決定的もしくは非決定的に、擬人化キャラクタの注視点座標を複数の目的情報に対応して複数出力する注視点座標出力ステップと、
前記注視点座標出力ステップでは、
擬人化キャラクタの注視点座標の定義域内の部分領域の各々について、領域内に擬人化キャラクタの注視点座標が存在する確からしさに関する属性値を保持する注視点分布テーブルを有し、
前記注視点分布テーブルが保持する各部分領域の属性値に比例する確率分布にしたがって、各部分領域内の座標の代表値を出力し、
ユーザに伝達すべき目的情報を入力として受け取る目的情報入力ステップと、
所定の対応関係に基づき前記受け取った目的情報に応じた前記注視点座標出力ステップの注視点座標出力を１つ以上選択する注視点座標出力選択ステップと、
前記選択した注視点座標出力の注視点座標に、現在のシステム及びユーザの状態に基づいて補正を加え、擬人化キャラクタの現在の注視点座標を決定し出力する、注視点座標補正ステップと、
前記注視点座標補正ステップから出力された擬人化キャラクタの現在の注視点座標で表される、実空間内の点を注視している視線を有する擬人化キャラクタの映像を生成し、ディスプレイに表示するキャラクタ映像生成ステップと、を有する
ことを特徴とする擬人化インタフェースプログラム。 - 請求項３に記載の擬人化インタフェースプログラムを、
コンピュータで実行するために前記コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする擬人化インタフェースプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001017754A JP3673719B2 (ja) | 2001-01-26 | 2001-01-26 | 擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001017754A JP3673719B2 (ja) | 2001-01-26 | 2001-01-26 | 擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002222437A JP2002222437A (ja) | 2002-08-09 |
| JP3673719B2 true JP3673719B2 (ja) | 2005-07-20 |
Family
ID=18883894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001017754A Expired - Fee Related JP3673719B2 (ja) | 2001-01-26 | 2001-01-26 | 擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3673719B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4619064B2 (ja) * | 2004-08-24 | 2011-01-26 | ダイハツ工業株式会社 | 先行車選択方法及び先行車選択装置 |
| JP2007323150A (ja) * | 2006-05-30 | 2007-12-13 | Keio Gijuku | 人体器官擬似装置 |
| WO2023228433A1 (ja) * | 2022-05-27 | 2023-11-30 | 国立研究開発法人理化学研究所 | 視線制御装置及び方法、非一時的記憶媒体、並びにコンピュータプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3519537B2 (ja) * | 1996-03-14 | 2004-04-19 | 株式会社東芝 | 身体動作生成装置及び身体動作制御方法 |
| JP3557052B2 (ja) * | 1996-03-18 | 2004-08-25 | 株式会社東芝 | 人体画像生成装置 |
| JPH1173289A (ja) * | 1997-08-29 | 1999-03-16 | Sanyo Electric Co Ltd | 情報処理装置 |
-
2001
- 2001-01-26 JP JP2001017754A patent/JP3673719B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002222437A (ja) | 2002-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7487265B2 (ja) | 外部条件に基づくウェアラブルディスプレイデバイスの自動制御 | |
| Stanney et al. | Extended reality (XR) environments | |
| Hartholt et al. | All together now: Introducing the virtual human toolkit | |
| US20220038777A1 (en) | Video distribution system, video distribution method, and video distribution program | |
| Jung et al. | The impact of multi-sensory stimuli on confidence levels for perceptual-cognitive tasks in vr | |
| EP2568355A2 (en) | Combined stereo camera and stereo display interaction | |
| Zielasko et al. | A non-stationary office desk substitution for desk-based and hmd-projected virtual reality | |
| KR102165590B1 (ko) | 경도인지장애 치료를 위한 소셜 가상현실 시스템 및 소셜 가상현실을 제공하는 방법 | |
| JP2016529773A (ja) | マルチリアリティ環境における役割交渉のためのシステム及び方法 | |
| KR20120064557A (ko) | 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법 | |
| US9690784B1 (en) | Culturally adaptive avatar simulator | |
| US11366631B2 (en) | Information processing device, information processing method, and program | |
| US20220261147A1 (en) | Grammar Dependent Tactile Pattern Invocation | |
| Boucaud et al. | Decision Model for a Virtual Agent that can Touch and be Touched | |
| JP3673719B2 (ja) | 擬人化インタフェース装置とその方法及び擬人化インタフェースプログラム及び擬人化インタフェースプログラムを記録した記録媒体 | |
| Desai et al. | Sound mixed reality prompts for people with dementia: A familiar and meaningful experience | |
| CN114115534A (zh) | 一种基于房间式互动投影的关系增强系统及方法 | |
| Le Chénéchal et al. | Toward an enhanced mutual awareness in asymmetric CVE | |
| Walkowski et al. | Using a game controller for relaying deictic gestures in computer-mediated communication | |
| Kishore | Robotic Embodiment Developing a System for and Applications with Full Body Ownership of a Humanoid Robot | |
| Becker-Asano et al. | On the effect of operator modality on social and spatial presence during teleoperation of a human-like robot | |
| Robern et al. | Work-In-Progress-Exploring VR Conference Navigation Employing Audio Cues | |
| Heylen | Ubiquitous gaze: using gaze at the interface | |
| Cavedon et al. | Author's Accepted Manuscript | |
| NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050419 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |