本発明は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定するユーザインタフェース装置および入力方法に関するものである。
現在の一般的な情報システムは、ユーザの「明示的指示」(例えば、ユーザがキーボードによって文字を入力する、リモコンのボタンを押す、またはポインティングデバイスで対象を指定するなど)に応じてシステムが反応し、情報を提示するインタラクション形態を採っている。しかし、こういった従来のインタラクション形態だけでは、操作の手間、難しさ、あるいは意図表現の面倒さのために、人とシステムとの間の円滑なコミュニケーションが困難となる場合があった。
そこで、近年、ユーザの「非明示的な指示」(例えば、ユーザの興味、関心の有無、または関心度など)を、カメラあるいはマイクなどのマルチモーダルなセンサ群を利用して推定するシステムが提案されている。例えば、非特許文献1では、映像コンテンツを視聴するユーザを撮影し、その表情から関心度を推定することで映像コンテンツに「Neutral」、「Positive」、あるいは「Negative」というタグを付与し、番組推薦を行う際に有用な情報を提供するシステムが提案されている。また、特許文献1では、複数の対象画像を順次切り替えて再生表示する画像再生システムにおいて、再生表示時における周辺音(視聴者の歓声など)または視聴者の動き(顔の表情の変化など)に基づいて、対象画像の表示時間を動的に決定するシステムが示されている。これらの技術では、基本的に画面上に表示された単一のコンテンツに対する関心度を判定する。
一方で、画面上に表示された複数のコンテンツの各々に対するユーザの興味、関心、または意図を推定するための身体的反応の代表としては、視線を挙げることができる。視覚は人間が情報を取得する上で支配的である一方で中心視や有効視野は大きさが限られている。そのため、対象から情報を取得するためには注視点を対象に移動させる必要があり、その結果、興味、関心を持つ対象に対して視線が集中する。したがって、視線は人の興味、関心、または意図を反映しやすいといえる。
ところで、従来、特許文献2では、視線の滞留時間が長い対象をユーザの所望の対象と判断する装置が開示されている。この装置は、画面上に、選択肢である複数の画像を表示し、利用者が画像に向けた視線を、視線角度検出器で検出し、各々の画像における視線の滞留時間を計測し、その長さを比較し、利用者の意図する画像を選択する。
特開2008−141484号公報
特開平9−190325号公報
宮原正典、青木政樹、滝口哲也、青木康雄:顔表情からの関心度推定に基づく映像コンテンツへのタギング、情報処理学会論文誌、Vol.49、No.10、pp.3694−3702、2008
特許文献2に記載の技術では、視線滞留時間が長い対象に対する関心度が高いと推定され、視線滞留時間が長い対象に関連付けられたコマンドが実行される。しかしながら、視線滞留時間の長さにのみ基づいて、その人の関心度を推定した場合、関心度の推定精度が低いという課題がある。すなわち、人は、見ているものに必ずしも関心があるとは限らないので、視線滞留時間の長さが、その人の関心度と一致するとは限らない。
そこで、本発明は、上記従来の課題を解決するものであって、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができるユーザインタフェース装置および入力方法を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うために、前記ユーザの関心度を推定するユーザインタフェース装置であって、前記ユーザの視線方向を検出する視線方向検出部と、前記複数のオブジェクトの各々に対する前記視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部と、前記オブジェクトごとに誘目強度を算出する誘目強度算出部と、前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定部とを備える。
この構成によれば、各オブジェクトの視線滞留時間に加えて、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が関心度の推定に与える影響を抑制することができる。つまり、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。そして、例えば、このように推定された関心度に基づいて、ユーザの関心度が高いオブジェクトのみを表示するなどの表示制御を行えば、消費電力を削減することも可能となる。
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
これらの構成によれば、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴(例えば、オブジェクトの複雑度または異質度など)に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の心理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトの作成者であるか否かに基づいて、前記ユーザが当該オブジェクトの作成者である場合に、前記ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、前記ユーザが被写体である場合に前記ユーザが被写体でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。
これらの構成によれば、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離(例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど)に依存する。したがって、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの物理的な位置関係に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトおよび前記ユーザを結ぶ線と前記画面の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
これらの構成によれば、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係(例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など)に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、前記関心度推定部は、前記誘目強度が大きいほど短くなるように前記視線滞留時間を補正することにより補正視線滞留時間を算出し、算出した前記補正視線滞留時間が長いほど関心度が高くなるように前記関心度を推定することが好ましい。この場合に例えば、前記関心度推定部は、前記視線滞留時間から前記誘目強度に応じた時間を減算することにより前記補正視線滞留時間を算出してもよい。また例えば、前記関心度推定部は、前記誘目強度に応じた値を用いて前記視線滞留時間を除算することにより前記補正視線滞留時間を算出してもよい。
これらの構成によれば、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
また、さらに、推定された前記関心度に応じて、前記画面の表示制御を行う画面制御部を備えることが好ましい。この場合に例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトに関する情報を、前記画面に表示させてもよい。また例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクト、または、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。
これらの構成によれば、推定された関心度に応じて、画面の表示制御を行うことができる。例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させることができ、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
また、前記ユーザインタフェース装置は、集積回路として構成されてもよい。
なお、本発明は、このようなユーザインタフェース装置として実現することができるだけでなく、このようなユーザインタフェース装置が備える特徴的な構成部の動作をステップとする入力方法として実現することができる。また、本発明は、入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明によれば、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができる。
図1は、本発明の実施の形態におけるユーザインタフェースシステムの機能構成を示すブロック図である。
図2Aは、本発明の実施の形態におけるカメラの配置例を説明するための図である。
図2Bは、本発明の実施の形態におけるカメラの設置例を説明するための図である。
図2Cは、本発明の実施の形態におけるカメラの設置例を説明するための図である。
図3は、本発明の実施の形態における入力方法を示すフローチャートである。
図4は、本発明の実施の形態における視線方向検出処理を説明するための図である。
図5は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
図6は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
図7は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。
図8、本発明の実施の形態における黒目中心の検出について説明するための図である。
図9は、本発明の実施の形態における黒目中心の検出について説明するための図である。
図10は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
図11Aは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
図11Bは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
ユーザは、誘目強度が大きいオブジェクトに視線を向けやすい。例えば、ユーザがあるオブジェクトを目にしたときに、ユーザは、何が描かれているかを理解するために当該オブジェクトの主要な部分を注視する。このとき、オブジェクトの主要な部分に、何が描かれているかを理解するために時間を要する情報が含まれていれば、視線滞留時間は長くなる。
つまり、視線滞留時間には、オブジェクトに対する関心度が高いから注視している時間に加えて、オブジェクトの誘目強度が大きいから視線を向けた時間が含まれる。そこで、本実施の形態におけるユーザインタフェース装置10は、視線滞留時間だけではなく、各オブジェクトの誘目強度を利用して、ユーザの関心度を推定する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明の実施の形態におけるユーザインタフェースシステム100の機能構成を示すブロック図である。本実施の形態において、ユーザインタフェースシステム100は、ユーザインタフェース装置10と、表示装置20と、カメラ30とを備える。
以下、図1の各ブロックの機能を説明する。
ユーザインタフェース装置10は、画面26上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定する。
なお、オブジェクトとは、画面26上の一部または全部に表示される情報である。具体的には、オブジェクトには、写真、映像またはテキストなどのコンテンツが含まれる。また、オブジェクトには、GUI(Graphical User Interface)として利用される、アイコン、メニューまたはボタンなどが含まれる。
また、関心度とは、画面26に表示されているオブジェクトの内容に対するユーザの関心度合いを示す値である。つまり、関心度とは、ユーザがオブジェクトの内容に対してどれだけ興味があるかを示す値である。
図1に示すように、ユーザインタフェース装置10は、視線方向検出部11と、視線滞留時間算出部12と、誘目強度算出部13と、関心度推定部14とを備える。
視線方向検出部11は、ユーザの視線方向を検出する。本実施の形態では、視線方向検出部11は、カメラ30によって生成された画像情報からユーザの視線方向を検出する。
視線方向とは、ユーザが注視している点とユーザの目とを結ぶ直線の方向である。つまり、視線方向とは、ユーザの画面26上の注視点とユーザの目とを結ぶ直線の方向である。
視線滞留時間算出部12は、画面26上に表示された複数のオブジェクトの各々に対する視線方向の滞留時間を視線滞留時間として算出する。滞留時間とは、視線方向が一定の範囲内に滞留している時間である。具体的には、滞留時間とは、視線方向から得られる画面26上の注視点が、例えばオブジェクトの表示領域内に連続して存在している時間の長さである。
誘目強度算出部13は、オブジェクトごとに誘目強度を算出する。誘目強度とは、誘目性の強さを示す値である。つまり、誘目強度とは、視覚的な注意の引きやすさの程度を示す値である。
関心度推定部14は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する。
本実施の形態では、関心度推定部14は、誘目強度が大きいほど短くなるように視線滞留時間が補正された補正視線滞留時間を算出する。そして、関心度推定部14は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。さらに、関心度推定部14は、推定したユーザの関心度を表示装置20に出力する。
表示装置20は、複数のオブジェクトを画面26に表示する。表示装置20は、画面制御部25と、画面26とを備える。
画面制御部25は、推定された関心度に応じて、画面26の表示制御を行う。具体的には、画面制御部25は、例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトに関する情報を、画面26に表示させる。画面制御部25は、例えば、オブジェクトが映画コンテンツである場合、その映画コンテンツのストーリー、監督、あるいはキャストなどをオブジェクトに関する情報として表示する。
また例えば、画面制御部25は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトの表示態様を変化させてもよい。具体的には、画面制御部25は、例えば、オブジェクトの表示面積を増大させる、表示輝度を増加させる、または鮮明度を増大させるなどにより、オブジェクトの表示態様を変化させればよい。
逆に、画面制御部25は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。例えば、画面制御部25は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させてもよい。
このように、画面制御部25が関心度に応じて画面26の表示制御を行うことにより、表示装置20は、ユーザの明示的な指示がなくても、ユーザに適した情報を画面26に表示することなどが可能となる。したがって、ユーザインタフェースシステム100は、ユーザの利便性を向上させることが可能となる。また、表示装置20は、ユーザの関心度に応じてオブジェクトの表示輝度を低下させることもでき、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
画面26は、例えば液晶ディスプレイパネルまたはプラズマディスプレイパネルなどである。画面26には、画面制御部25によって複数のオブジェクトが表示される。
カメラ30は、ユーザを撮影して画像情報を生成する。具体的には、カメラ30は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを有する。そして、カメラ30は、表示装置20の画面26の前方に存在するユーザを撮影する。
また、カメラ30は、表示装置20の周囲に設置される。具体的には、カメラ30は、画面26の前方に存在するユーザを撮影可能な位置に設置される。より具体的には、カメラ30は、例えば図2A〜図2Cに示す位置に設置される。
図2A〜図2Cは、本発明の実施の形態におけるカメラ30の設置例を説明するための図である。
例えば、図2Aに示すように、カメラ30は、表示装置20の画面26の上端部に取り付けられる。また例えば、図2Bに示すように、カメラ30は、表示装置20には取り付けられず、画面26の近傍に設置されてもよい。また例えば、図2Cに示すように、カメラ30は、表示装置20が設置されている部屋の壁面または天井などに設置されてもよい。つまり、カメラ30は、表示装置20が設置されている空間内の適切な位置に設置されてもよい。
次に、以上のように構成されたユーザインタフェース装置10の各種動作について説明する。
図3は、本発明の実施の形態における入力方法を示すフローチャートである。
まず、視線方向検出部11は、ユーザの視線方向を検出する(S101)。その後、視線滞留時間算出部12は、画面上に表示された複数のオブジェクトの各々に対する視線滞留時間を算出する(S102)。
また、誘目強度算出部13は、オブジェクトごとに誘目強度を算出する(S103)。最後に、関心度推定部14は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する(S104)。
以下に、このような入力方法に含まれる各ステップの詳細を説明する。
1.視線方向の検出
まず、視線方向検出処理(S101)の詳細について、図4〜図9を用いて説明する。
図4は、本発明の実施の形態における視線方向検出処理を説明するための図である。
以下では、図4に示すように、表示装置20の近傍に設置されたカメラ30によって撮影された画像からユーザの視線方向を検出する処理について説明する。視線方向は、ユーザの顔の向き(以下、単に「顔向き」という)と、ユーザの目の中の黒目部分の方向(以下、単に「黒目方向」という)との組み合わせを基に計算される。
図5は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
まず、視線方向検出部11は、カメラ30が画面26の前方に存在するユーザを撮影した画像を取得する(S501)。続いて、視線方向検出部11は、取得された画像から顔領域の検出を行う(S502)。次に、視線方向検出部11は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す(S503)。
そして、視線方向検出部11は、切り出された領域画像と、あらかじめ保持されたテンプレート画像との相関度を計算する(S504)。続いて、視線方向検出部11は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔向きとして検出する(S505)。
図6は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
視線方向検出部11は、図6の(a)に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域DBから、顔部品特徴点の領域を読み出す。続いて、視線方向検出部11は、図6の(b)に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
そして、視線方向検出部11は、図6の(c)に示すように、切り出された領域画像と、顔部品領域テンプレートDBに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線方向検出部11は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線方向検出部11は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
続いて、視線方向検出部11は、図6の(d)に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。
図6の(d)の例では、基準顔向き+20度に対する重みが「0.85」、正面向きに対する重みが「0.14」、−20度に対する重みが「0.01」である。そこで、視線方向検出部11は、顔向きを16.8度(=20×0.85+0×0.14+(−20)×0.01)と検出する。
なお、図6では、視線方向検出部11は、顔部品特徴点の領域画像を対象として相関度を計算したが、これに限らず例えば、顔領域全体の画像を対象として相関度を計算してもよい。また、顔向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法がある。
顔部品特徴点の位置関係から顔向きを計算する方法としては、1つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の3次元モデルを回転・拡大縮小してマッチングし、得られた3次元モデルの回転量から顔向きを計算する方法がある。また、顔部品特徴点の位置関係から顔向きを計算する他の方法としては、2台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の3次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。例えば、両目および口の3次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。
図5のフローチャートの説明に戻る。
視線方向検出部11は、カメラ30によって撮像されたステレオ画像を用いて、ユーザの左右の目頭の3次元位置を検出し、検出した左右の目頭の3次元位置を用いて視線方向基準面を算出する(S506)。続いて、視線方向検出部11は、カメラ30によって撮像されたステレオ画像を用いて、ユーザの左右の黒目中心の3次元位置を検出する(S507)。そして、視線方向検出部11は、視線方向基準面と左右の黒目中心の3次元位置とを用いて、黒目方向を検出する(S508)。
そして、視線方向検出部11は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する(S509)。
次に、黒目方向を検出する方法の詳細について、図7〜図9を用いて説明する。
本実施の形態では、視線方向検出部11は、まず、視線方向基準面を算出する。続いて、視線方向検出部11は、黒目中心の3次元位置を検出する。そして最後に、視線方向検出部11は、黒目方向を検出する。
まず、視線方向基準面の算出について、説明する。
図7は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図7に示すように顔の左右対称面と同一である。目頭の位置は、目尻、口角、または眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線方向検出部11は、顔の左右対称面である視線方向基準面を目頭の3次元位置を用いて算出する。
具体的には、視線方向検出部11は、カメラ30であるステレオカメラで撮影した2枚の画像(ステレオ画像)の各々において、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線方向検出部11は、検出した目頭領域の画像間の位置のずれ(視差)を利用して、左右の目頭それぞれの3次元位置を計測する。さらに、視線方向検出部11は、図7に示すように、検出した左右の目頭の3次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。
次に、黒目中心の検出に関して説明する。
図8および図9は、本発明の実施の形態における黒目中心の検出について説明するための図である。
対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒または茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態では、瞳孔の中心と黒目(瞳孔および虹彩の両方を含む)の中心とがほぼ一致することから、視線方向検出部11は、黒目方向を検出する際に、黒目中心の検出を行う。
視線方向検出部11は、まず、撮影された画像から目尻の位置と目頭の位置とを検出する。そして、視線方向検出部11は、図8のような、目尻と目頭とを含む領域から輝度が小さい領域を、黒目領域として検出する。具体的には、視線方向検出部11は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
次に視線方向検出部11は、図8のような、第1領域1と第2領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、視線方向検出部11は、第1領域1内の画素の輝度と第2領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線方向検出部11は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の3次元位置を検出する。
さらに、黒目方向の検出について説明する。
視線方向検出部11は、算出した視線方向基準面と、検出した黒目中心の3次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約24mmである。したがって、基準となる方向(例えば正面)を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。
ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線方向検出部11は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。
具体的には、視線方向検出部11は、眼球半径Rと、視線方向基準面に対する左右の黒目中心を結んだ線分の中点(以下、「黒目中点」という)の距離dとを用いて、式1に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。
θ=sin−1(d/R) (式1)
R:眼球半径(12mm)
d:視線方向基準面と黒目中点との距離
以上のように、視線方向検出部11は、視線方向基準面と黒目中心の三次元位置とを用いて、黒目方向を検出する。そして、視線方向検出部11は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。
2.視線滞留時間の算出
次に、視線滞留時間算出処理(S102)の詳細について説明する。
視線滞留時間算出部12は、視線方向検出部11によって検出された視線方向に基づき、画面26上の各オブジェクトに対する視線方向の滞留時間を算出する。つまり、視線滞留時間算出部12は、画面26上のオブジェクトを見るために視線方向が滞留した時間をオブジェクトごとに算出する。
より具体的には、視線滞留時間算出部12は、例えば、ユーザの目の3次元位置を取得する。そして、視線滞留時間算出部12は、ユーザの目の3次元位置から視線方向に延びる直線と画面26との交点を注視点として算出する。さらに、視線滞留時間算出部12は、オブジェクトごとに、当該オブジェクトの表示領域内に注視点が連続して存在している時間を視線滞留時間として算出する。
なお、視線滞留時間算出部12は、必ずしも上記のように視線滞留時間を算出する必要はない。例えば、視線滞留時間算出部12は、オブジェクトごとに、当該オブジェクトの表示領域を中心とした一定範囲の領域内に注視点が連続して存在している時間を視線滞留時間として算出してもよい。また例えば、視線滞留時間算出部12は、注視点がオブジェクトの表示領域外に移動した場合であっても、予め定められた時間以内に当該表示領域内に戻ってきた場合には、当該領域内に注視点が連続して存在しているとみなして、視線滞留時間を算出してもよい。
3.誘目強度の算出
次に、誘目強度算出処理(S103)の詳細について説明する。
上述したように、誘目強度とは、視覚的な注意の引きやすさの程度を示す。具体的には、誘目強度とは、画面に表示された各オブジェクトの画像がどれだけユーザの視線をひきやすいかを示す値である。
一般的に、誘目強度は、画像の物理的な特徴に依存する。例えば、画像の色あるいはテクスチャが高明度あるいは高彩度であるほど、その画像は、潜在的にユーザの視線をひきやすい。また、周囲の画像と物理的特徴が異質であればあるほど、その画像は、ユーザの視線をひきやすい。
さらには、誘目強度は、ユーザとオブジェクトとの間の心理的距離にも依存する。例えば、ユーザと関係性の深い画像ほど、または、視覚回数が多い画像ほど、その画像は、ユーザの視線をひきやすい。
なお、心理的距離とは、ユーザとオブジェクトとの間の心理的な関係性を示す。心理的距離は、ユーザとオブジェクトとの間の心理的な関係性が高いほど短くなる。
また、誘目強度は、ユーザとオブジェクトとの物理的な位置関係にも依存する。つまり、誘目強度は、ユーザが存在している位置と、オブジェクトが表示されている位置との位置関係にも影響される。例えば、ユーザの正面に表示された画像は、ユーザの視線をひきやすい。
そこで、誘目強度算出部13は、オブジェクトiの誘目強度A(i)を、式2のように算出する。
A(i)=a1×Aimage(i)+a2×Apsy(i)+a3×Aphy(i) (式2)
ここで、Aimage(i)は、オブジェクトiの画像の物理的特徴に基づく誘目強度を表す。つまり、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて誘目強度を算出する。
また、Apsy(i)は、ユーザとオブジェクトiと間の心理的距離に基づく誘目強度を表す。つまり、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトとユーザとの間の心理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
また、Aphy(i)は、ユーザとオブジェクトiとの物理的な位置関係に基づく誘目強度を表す。つまり、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出する。
なお、a1、a2、およびa3は、各項が誘目強度に与える影響を調整するための調整パラメータである。a1、a2、およびa3には、予め定められた0以上の数値が設定される。例えば、次式3のように、a2およびa3に0が設定され、a1に0より大きい数値が設定されてもよい。つまり、a1、a2、およびa3の少なくとも1つに、0よりも大きな数値が設定されればよい。
a2=0、a3=0 (式3)
つまり、誘目強度算出部13は、オブジェクトの画像の物理的な特徴、オブジェクトとユーザとの間の心理的距離、およびオブジェクトとユーザとの間の物理的な位置関係の少なくとも1つに基づいて、誘目強度を算出すればよい。
ここで、Aimage(i)、Apsy(i)、およびAphy(i)の各々は、次式4〜6で定義される。
Aimage(i)=i1×complex(i)+i2×hetero(i) (式4)
Apsy(i)=s1×e_st(i)+s2×e_sb(i)+s3×e_w(i) (式5)
Aphy(i)=h1/dist(i)+h2/ang(i) (式6)
なお、i1、i2、s1、s2、s3、h1、およびh2は、各項が誘目強度に与える影響を調整するための調整パラメータである。i1、i2、s1、s2、s3、h1、およびh2には、予め定められた0以上の数値が設定される。
ここで、式4において、complex(i)は、オブジェクトiの画像の複雑度を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように誘目強度を算出する。
また、hetero(i)は、オブジェクトiの周囲の画像に対するオブジェクトiの画像の異質度を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように誘目強度を算出する。
また、式5において、e_st(i)は、ユーザがオブジェクトiの作成者であれば「1」となり、そうでなければ「0」となる。つまり、誘目強度算出部13は、オブジェクトごとに、ユーザが当該オブジェクトの作成者であるか否かに基づいて、ユーザが当該オブジェクトの作成者である場合に、ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
この場合、ユーザインタフェース装置10は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザがオブジェクトの作成者であるか否かを判定すればよい。なお、オブジェクトの作成者を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部(図示せず)に記憶されていればよい。
また、e_sb(i)は、ユーザがオブジェクトi内に表示されている被写体であれば「1」となり、そうでなければ「0」となる。つまり、誘目強度算出部13は、オブジェクトごとに、ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、ユーザが被写体である場合にユーザが被写体でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
この場合も、ユーザインタフェース装置10は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザが当該オブジェクト内に表示されている被写体であるか否かを判定すればよい。なお、オブジェクト内に表示されている被写体を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部(図示せず)に記憶されていればよい。
また、e_w(i)はユーザがオブジェクトiを視覚した回数(以下、単に「視覚回数」という)を表す。したがって、誘目強度算出部13は、オブジェクトごとに、ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように心理的距離を算出する。
また、式6において、dist(i)は、ユーザとオブジェクトiとの物理的な距離を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
また、ang(i)は、オブジェクトiおよびユーザを結ぶ線と、画面26の法線とのなす角度を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトおよびユーザを結ぶ線と画面26の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように誘目強度を算出する。
ここで、オブジェクトiの画像の複雑度であるcomplex(i)の算出方法について説明する。
まず、誘目強度算出部13は、オブジェクトiの画像を既知の画像処理手法により領域分割する。そして、誘目強度算出部13は、領域分割によって得られる領域の数に応じて、領域の数が多いほど複雑度が高くなるように、complex(i)を算出する。
具体的には、誘目強度算出部13は、例えば、特許文献3(特開2007−18025)に開示されている方法を用いて、複雑度を算出すればよい。もちろん、この特許文献3に示されている方法は、画像の複雑度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
次に、オブジェクトiの周囲の画像に対するオブジェクトiの画像の異質度であるhetero(i)の算出方法について説明する。
誘目強度算出部13は、オブジェクトiの周囲の画像における色およびテクスチャと、オブジェクトiの画像における色およびテクスチャとの間の相違度を異質度として算出する。各画像における色およびテクスチャは、例えば、当該画像中における最大の領域を占有する色およびテクスチャである。
具体的には、誘目強度算出部13は、例えば、非特許文献2(「田中昭二、井口征司、岩舘祐一、中津良平:画像領域の物理的特徴に基づく誘目度評価モデル、電子情報通信学会論文誌A、Vol.J83−A、No.5、pp.576−588、2000」)に開示されている方法を用いて、異質度を算出すればよい。もちろん、この非特許文献2に示されている方法は、異質度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
以下に、非特許文献2に開示されている異質度の算出方法について説明する。
物理特徴量の異質度は、特徴量と全領域の平均特徴量との差をd、dの平均値をdm、dの標準偏差をstdとしたとき、次式7で算出される。
H(d,dm,std)=|(d−dm)/std| (式7)
例えば、誘目強度算出部13は、オブジェクトiの画像の領域の平均色と周囲のオブジェクトの画像も含めた画面全体の平均色との色差と、色差平均と、色差の標準偏差とを算出する。そして、誘目強度算出部13は、算出結果を式7に代入して、オブジェクトiの画像の色の異質度HC(i)を算出する。
なお、色差は、例えば、CIE(国際照明委員会)が策定したCIE L*a*b*(エルスター、エースター、ビースター)色空間における色差式を用いて算出されればよい。
また例えば、誘目強度算出部13は、テクスチャの特徴量として、非特許文献3(B.S.Manjunath、W.Y.Ma:Texture features for browsing and retrival of image data、IEEE Trans.Pattern Anal.and Mach.Intell.、Vol.18、No.8、pp.837−842、1996)に記載のテクスチャ特徴ベクトルを算出してもよい。この場合、誘目強度算出部13は、テクスチャの特徴量間の差として、テクスチャ特徴ベクトル間のユークリッド距離を算出する。そして、誘目強度算出部13は、オブジェクトiの画像のベクトルとオブジェクトiの周囲のオブジェクトの画像も含めた画面全体の平均ベクトルとの距離、距離の平均、および距離の標準偏差を式7に代入して、オブジェクトiの画像のテクスチャの異質度HT(i)を算出する。
4.関心度の推定
次に、関心度推定処理(S104)の詳細について説明する。
関心度推定部14は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、画面26に表示された複数のオブジェクトの各々に対するユーザの関心度を推定する。本実施の形態では、関心度推定部14は、まず、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。そして、関心度推定部14は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
4−1.視線滞留時間の補正
まず、視線滞留時間の補正について、図10〜図11Bを用いて説明する。
図10は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
以下では、図10に示すように、15個のオブジェクトが画面26に表示されている場合について説明する。なお、図10において、画面26に表示されている数字は、各オブジェクトの識別子(i)と一致している。
図11Aおよび図11Bは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。具体的には、図11Aは、視線滞留時間から誘目強度に応じた時間を減算することで、補正視線滞留時間を算出する方法を説明するための図である。
図11Aでは、関心度推定部14は、以下の式8に従って補正視線滞留時間を算出する。すなわち、関心度推定部14は、視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する。
Tc(i)=T(i)−A(i)×ga (ga>0) (式8)
ここで、T(i)は、オブジェクトiに対する視線滞留時間を表す。また、Tc(i)は、オブジェクトiに対する補正視線滞留時間を表す。また、gaは、補正量を調整するための調整パラメータである。
なお、関心度推定部14は、必ずしも視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する必要はない。例えば、関心度推定部14は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出してもよい。
図11Bは、視線滞留時間を誘目強度に応じた値で除算することで、補正視線滞留時間を算出する方法を説明するための図である。図11Bでは、関心度推定部14は、以下の式9に従って補正視線滞留時間を算出する。すなわち、関心度推定部14は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出する。つまり、関心度推定部14は、誘目強度に応じて視線滞留時間を収縮させることで、視線滞留時間を補正する。
Tc(i)=T(i)/A(i)×gb (gb>0) (式9)
ここで、gbは、補正量を調整するための調整パラメータである。
このように、関心度推定部14は、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。
4−2.関心度の推定
次に、関心度推定部14は、上記により算出された補正視線滞留時間を用いて、次式10のように関心度を推定する。すなわち、関心度推定部14は、補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
I(i)=Tc(i)×k (k>0) (式10)
ここで、I(i)は関心度を表す。また、kは、関心度の値の大きさを調整するための調整パラメータである。
以上のように、本実施の形態におけるユーザインタフェース装置10によれば、ユーザの関心度を推定する際に、視線滞留時間をそのまま用いるのでなく、オブジェクトの誘目強度を用いて視線滞留時間を補正した補正視線滞留時間を用いる。これにより、視線滞留時間を用いてユーザの関心度を推定するときに、視線滞留時間に含まれる、関心度に関係がない時間(例えば、画像が複雑で一見しただけでは内容を理解することが難しいためにオブジェクトを注視している時間、あるいは刺激強度が強いからオブジェクトを注視している時間など)の影響を抑制することができる。
すなわち、ユーザインタフェース装置10は、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、ユーザインタフェース装置10は、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が、関心度の推定に与える影響を抑制することができる。つまり、ユーザインタフェース装置10は、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴(例えば、オブジェクトの複雑度または異質度など)に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、ユーザインタフェース装置10は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離(例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど)に依存する。したがって、ユーザインタフェース装置10は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係(例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など)に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、ユーザインタフェース装置10は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、ユーザインタフェース装置10は、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
以上、本発明の一態様に係るユーザインタフェースシステム100について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、上記実施の形態において、視線方向検出部11は、カメラ30によって生成された画像情報に基づいて、視線方向を検出したが、もちろん画像情報に基づいて視線方向を検出する方法に限られない。他の視線方向を検出する方法としては、例えば、ユーザに装着された計測機器を用いて視線方向を検出する方法(第1の方法)、または赤外光源など非接触な機器を用いて視線方向を検出する方法(第2の方法)などがある。
第1の方法には、頭部に取り付けられた電極から取得された角膜−網膜の電位変化から眼球運動を検出するEOG(Electro−oculography)法、あるいはコイルを組み込んだコンタクトレンズに生じた誘導電流から眼球運動を検出するサーチコイル法などが存在する。また、第1の方法には、ヘルメットあるいは眼鏡のような装着型のアイカメラを用いて、視線方向を検出する方法もある。
第2の方法には、近赤外の点光源を目に照射し、角膜で反射されたプルキニエ像と瞳孔の位置から視線方向を推定する角膜反射法などがある。
また、上記実施の形態において、関心度推定部14は、補正視線滞留時間を算出していたが、必ずしも補正視線滞留時間を算出する必要はない。例えば、関心度推定部14は、視線滞留時間に基づいて関心度を推定した後に、誘目強度を用いて、推定された関心度を補正してもよい。
また、上記実施の形態において、表示装置20が画面制御部25を備えていたが、ユーザインタフェース装置10が画面制御部25を備えてもよい。この場合、ユーザインタフェース装置10は、画面制御装置と呼ばれてもよい。また、ユーザインタフェース装置10は、画面制御部25に加えて、画面26を備えてもよい。この場合、ユーザインタフェース装置10は、表示装置と呼ばれてもよい。
また、上記実施の形態において、表示装置20は、推定された関心度に応じて、画面の表示制御を行っていたが、必ずしも画面の表示制御を行う必要はない。例えば、表示装置20は、関心度に応じて音を出力してもよい。具体的には、表示装置20は、例えば、複数のオブジェクトのうち関心度が最も高いオブジェクトに関する情報を示す音(例えば機械音声)を出力してもよい。
また、図2A〜図2Cにおいて、ユーザインタフェース装置10は、表示装置20の外部に配置されていたが、表示装置20に内蔵されてもよい。
なお、本発明の一態様に係るユーザインタフェース装置は、以下のように変形することもできる。
(1)上記のユーザインタフェース装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
(2)上記のユーザインタフェース装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
(3)上記のユーザインタフェース装置を構成する構成要素の一部または全部は、ユーザインタフェース装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAM、などから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す入力方法であるとしてもよい。また、これらの入力方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラムまたは前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
本発明の一態様に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うユーザインタフェース装置として有用である。また、デジタルサイネージにおける広告効果の測定等の用途にも応用できる。
10 ユーザインタフェース装置
11 視線方向検出部
12 視線滞留時間算出部
13 誘目強度算出部
14 関心度推定部
20 表示装置
25 画面制御部
26 画面
30 カメラ
100 ユーザインタフェースシステム
本発明は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定するユーザインタフェース装置および入力方法に関するものである。
現在の一般的な情報システムは、ユーザの「明示的指示」(例えば、ユーザがキーボードによって文字を入力する、リモコンのボタンを押す、またはポインティングデバイスで対象を指定するなど)に応じてシステムが反応し、情報を提示するインタラクション形態を採っている。しかし、こういった従来のインタラクション形態だけでは、操作の手間、難しさ、あるいは意図表現の面倒さのために、人とシステムとの間の円滑なコミュニケーションが困難となる場合があった。
そこで、近年、ユーザの「非明示的な指示」(例えば、ユーザの興味、関心の有無、または関心度など)を、カメラあるいはマイクなどのマルチモーダルなセンサ群を利用して推定するシステムが提案されている。例えば、非特許文献1では、映像コンテンツを視聴するユーザを撮影し、その表情から関心度を推定することで映像コンテンツに「Neutral」、「Positive」、あるいは「Negative」というタグを付与し、番組推薦を行う際に有用な情報を提供するシステムが提案されている。また、特許文献1では、複数の対象画像を順次切り替えて再生表示する画像再生システムにおいて、再生表示時における周辺音(視聴者の歓声など)または視聴者の動き(顔の表情の変化など)に基づいて、対象画像の表示時間を動的に決定するシステムが示されている。これらの技術では、基本的に画面上に表示された単一のコンテンツに対する関心度を判定する。
一方で、画面上に表示された複数のコンテンツの各々に対するユーザの興味、関心、または意図を推定するための身体的反応の代表としては、視線を挙げることができる。視覚は人間が情報を取得する上で支配的である一方で中心視や有効視野は大きさが限られている。そのため、対象から情報を取得するためには注視点を対象に移動させる必要があり、その結果、興味、関心を持つ対象に対して視線が集中する。したがって、視線は人の興味、関心、または意図を反映しやすいといえる。
ところで、従来、特許文献2では、視線の滞留時間が長い対象をユーザの所望の対象と判断する装置が開示されている。この装置は、画面上に、選択肢である複数の画像を表示し、利用者が画像に向けた視線を、視線角度検出器で検出し、各々の画像における視線の滞留時間を計測し、その長さを比較し、利用者の意図する画像を選択する。
特開2008−141484号公報
特開平9−190325号公報
宮原正典、青木政樹、滝口哲也、有木康雄:顔表情からの関心度推定に基づく映像コンテンツへのタギング、情報処理学会論文誌、Vol.49、No.10、pp.3694−3702、2008
特許文献2に記載の技術では、視線滞留時間が長い対象に対する関心度が高いと推定され、視線滞留時間が長い対象に関連付けられたコマンドが実行される。しかしながら、視線滞留時間の長さにのみ基づいて、その人の関心度を推定した場合、関心度の推定精度が低いという課題がある。すなわち、人は、見ているものに必ずしも関心があるとは限らないので、視線滞留時間の長さが、その人の関心度と一致するとは限らない。
そこで、本発明は、上記従来の課題を解決するものであって、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができるユーザインタフェース装置および入力方法を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うために、前記ユーザの関心度を推定するユーザインタフェース装置であって、前記ユーザの視線方向を検出する視線方向検出部と、前記複数のオブジェクトの各々に対する前記視線方向の滞留時間を視線滞留時間として算出する視線滞留時間算出部と、前記オブジェクトごとに誘目強度を算出する誘目強度算出部と、前記視線滞留時間が長いほど関心度が高くなるように、かつ前記誘目強度が小さいほど関心度が高くなるように、前記複数のオブジェクトの各々に対する前記ユーザの関心度を推定する関心度推定部とを備える。
この構成によれば、各オブジェクトの視線滞留時間に加えて、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が関心度の推定に与える影響を抑制することができる。つまり、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。そして、例えば、このように推定された関心度に基づいて、ユーザの関心度が高いオブジェクトのみを表示するなどの表示制御を行えば、消費電力を削減することも可能となる。
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
これらの構成によれば、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴(例えば、オブジェクトの複雑度または異質度など)に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の心理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクトの作成者であるか否かに基づいて、前記ユーザが当該オブジェクトの作成者である場合に、前記ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、前記ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、前記ユーザが被写体である場合に前記ユーザが被写体でない場合よりも心理的距離が短くなるように、前記心理的距離を算出してもよい。
これらの構成によれば、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離(例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど)に依存する。したがって、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの物理的な位置関係に基づいて前記誘目強度を算出することが好ましい。この場合に例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように前記誘目強度を算出してもよい。また例えば、前記誘目強度算出部は、前記オブジェクトごとに、当該オブジェクトおよび前記ユーザを結ぶ線と前記画面の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように前記誘目強度を算出してもよい。
これらの構成によれば、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係(例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など)に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、前記関心度推定部は、前記誘目強度が大きいほど短くなるように前記視線滞留時間を補正することにより補正視線滞留時間を算出し、算出した前記補正視線滞留時間が長いほど関心度が高くなるように前記関心度を推定することが好ましい。この場合に例えば、前記関心度推定部は、前記視線滞留時間から前記誘目強度に応じた時間を減算することにより前記補正視線滞留時間を算出してもよい。また例えば、前記関心度推定部は、前記誘目強度に応じた値を用いて前記視線滞留時間を除算することにより前記補正視線滞留時間を算出してもよい。
これらの構成によれば、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
また、さらに、推定された前記関心度に応じて、前記画面の表示制御を行う画面制御部を備えることが好ましい。この場合に例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトに関する情報を、前記画面に表示させてもよい。また例えば、画面制御部は、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクト、または、前記複数のオブジェクトのうち、推定された前記関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。
これらの構成によれば、推定された関心度に応じて、画面の表示制御を行うことができる。例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させることができ、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
また、前記ユーザインタフェース装置は、集積回路として構成されてもよい。
なお、本発明は、このようなユーザインタフェース装置として実現することができるだけでなく、このようなユーザインタフェース装置が備える特徴的な構成部の動作をステップとする入力方法として実現することができる。また、本発明は、入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明によれば、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を高精度に推定することができる。
図1は、本発明の実施の形態におけるユーザインタフェースシステムの機能構成を示すブロック図である。
図2Aは、本発明の実施の形態におけるカメラの配置例を説明するための図である。
図2Bは、本発明の実施の形態におけるカメラの設置例を説明するための図である。
図2Cは、本発明の実施の形態におけるカメラの設置例を説明するための図である。
図3は、本発明の実施の形態における入力方法を示すフローチャートである。
図4は、本発明の実施の形態における視線方向検出処理を説明するための図である。
図5は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
図6は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
図7は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。
図8は、本発明の実施の形態における黒目中心の検出について説明するための図である。
図9は、本発明の実施の形態における黒目中心の検出について説明するための図である。
図10は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
図11Aは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
図11Bは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。
ユーザは、誘目強度が大きいオブジェクトに視線を向けやすい。例えば、ユーザがあるオブジェクトを目にしたときに、ユーザは、何が描かれているかを理解するために当該オブジェクトの主要な部分を注視する。このとき、オブジェクトの主要な部分に、何が描かれているかを理解するために時間を要する情報が含まれていれば、視線滞留時間は長くなる。
つまり、視線滞留時間には、オブジェクトに対する関心度が高いから注視している時間に加えて、オブジェクトの誘目強度が大きいから視線を向けた時間が含まれる。そこで、本実施の形態におけるユーザインタフェース装置10は、視線滞留時間だけではなく、各オブジェクトの誘目強度を利用して、ユーザの関心度を推定する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明の実施の形態におけるユーザインタフェースシステム100の機能構成を示すブロック図である。本実施の形態において、ユーザインタフェースシステム100は、ユーザインタフェース装置10と、表示装置20と、カメラ30とを備える。
以下、図1の各ブロックの機能を説明する。
ユーザインタフェース装置10は、画面26上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うためにユーザの関心度を推定する。
なお、オブジェクトとは、画面26上の一部または全部に表示される情報である。具体的には、オブジェクトには、写真、映像またはテキストなどのコンテンツが含まれる。また、オブジェクトには、GUI(Graphical User Interface)として利用される、アイコン、メニューまたはボタンなどが含まれる。
また、関心度とは、画面26に表示されているオブジェクトの内容に対するユーザの関心度合いを示す値である。つまり、関心度とは、ユーザがオブジェクトの内容に対してどれだけ興味があるかを示す値である。
図1に示すように、ユーザインタフェース装置10は、視線方向検出部11と、視線滞留時間算出部12と、誘目強度算出部13と、関心度推定部14とを備える。
視線方向検出部11は、ユーザの視線方向を検出する。本実施の形態では、視線方向検出部11は、カメラ30によって生成された画像情報からユーザの視線方向を検出する。
視線方向とは、ユーザが注視している点とユーザの目とを結ぶ直線の方向である。つまり、視線方向とは、ユーザの画面26上の注視点とユーザの目とを結ぶ直線の方向である。
視線滞留時間算出部12は、画面26上に表示された複数のオブジェクトの各々に対する視線方向の滞留時間を視線滞留時間として算出する。滞留時間とは、視線方向が一定の範囲内に滞留している時間である。具体的には、滞留時間とは、視線方向から得られる画面26上の注視点が、例えばオブジェクトの表示領域内に連続して存在している時間の長さである。
誘目強度算出部13は、オブジェクトごとに誘目強度を算出する。誘目強度とは、誘目性の強さを示す値である。つまり、誘目強度とは、視覚的な注意の引きやすさの程度を示す値である。
関心度推定部14は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する。
本実施の形態では、関心度推定部14は、誘目強度が大きいほど短くなるように視線滞留時間が補正された補正視線滞留時間を算出する。そして、関心度推定部14は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。さらに、関心度推定部14は、推定したユーザの関心度を表示装置20に出力する。
表示装置20は、複数のオブジェクトを画面26に表示する。表示装置20は、画面制御部25と、画面26とを備える。
画面制御部25は、推定された関心度に応じて、画面26の表示制御を行う。具体的には、画面制御部25は、例えば、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトに関する情報を、画面26に表示させる。画面制御部25は、例えば、オブジェクトが映画コンテンツである場合、その映画コンテンツのストーリー、監督、あるいはキャストなどをオブジェクトに関する情報として表示する。
また例えば、画面制御部25は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトの表示態様を変化させてもよい。具体的には、画面制御部25は、例えば、オブジェクトの表示面積を増大させる、表示輝度を増加させる、または鮮明度を増大させるなどにより、オブジェクトの表示態様を変化させればよい。
逆に、画面制御部25は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示態様を変化させてもよい。例えば、画面制御部25は、複数のオブジェクトのうち、推定された関心度が最も高いオブジェクトを除くオブジェクトの表示輝度を低下させてもよい。
このように、画面制御部25が関心度に応じて画面26の表示制御を行うことにより、表示装置20は、ユーザの明示的な指示がなくても、ユーザに適した情報を画面26に表示することなどが可能となる。したがって、ユーザインタフェースシステム100は、ユーザの利便性を向上させることが可能となる。また、表示装置20は、ユーザの関心度に応じてオブジェクトの表示輝度を低下させることもでき、複数のオブジェクトを表示するための消費電力を削減することも可能となる。
画面26は、例えば液晶ディスプレイパネルまたはプラズマディスプレイパネルなどである。画面26には、画面制御部25によって複数のオブジェクトが表示される。
カメラ30は、ユーザを撮影して画像情報を生成する。具体的には、カメラ30は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを有する。そして、カメラ30は、表示装置20の画面26の前方に存在するユーザを撮影する。
また、カメラ30は、表示装置20の周囲に設置される。具体的には、カメラ30は、画面26の前方に存在するユーザを撮影可能な位置に設置される。より具体的には、カメラ30は、例えば図2A〜図2Cに示す位置に設置される。
図2A〜図2Cは、本発明の実施の形態におけるカメラ30の設置例を説明するための図である。
例えば、図2Aに示すように、カメラ30は、表示装置20の画面26の上端部に取り付けられる。また例えば、図2Bに示すように、カメラ30は、表示装置20には取り付けられず、画面26の近傍に設置されてもよい。また例えば、図2Cに示すように、カメラ30は、表示装置20が設置されている部屋の壁面または天井などに設置されてもよい。つまり、カメラ30は、表示装置20が設置されている空間内の適切な位置に設置されてもよい。
次に、以上のように構成されたユーザインタフェース装置10の各種動作について説明する。
図3は、本発明の実施の形態における入力方法を示すフローチャートである。
まず、視線方向検出部11は、ユーザの視線方向を検出する(S101)。その後、視線滞留時間算出部12は、画面上に表示された複数のオブジェクトの各々に対する視線滞留時間を算出する(S102)。
また、誘目強度算出部13は、オブジェクトごとに誘目強度を算出する(S103)。最後に、関心度推定部14は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、複数のオブジェクトの各々に対するユーザの関心度を推定する(S104)。
以下に、このような入力方法に含まれる各ステップの詳細を説明する。
1.視線方向の検出
まず、視線方向検出処理(S101)の詳細について、図4〜図9を用いて説明する。
図4は、本発明の実施の形態における視線方向検出処理を説明するための図である。
以下では、図4に示すように、表示装置20の近傍に設置されたカメラ30によって撮影された画像からユーザの視線方向を検出する処理について説明する。視線方向は、ユーザの顔の向き(以下、単に「顔向き」という)と、ユーザの目の中の黒目部分の方向(以下、単に「黒目方向」という)との組み合わせを基に計算される。
図5は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。
まず、視線方向検出部11は、カメラ30が画面26の前方に存在するユーザを撮影した画像を取得する(S501)。続いて、視線方向検出部11は、取得された画像から顔領域の検出を行う(S502)。次に、視線方向検出部11は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す(S503)。
そして、視線方向検出部11は、切り出された領域画像と、あらかじめ保持されたテンプレート画像との相関度を計算する(S504)。続いて、視線方向検出部11は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔向きとして検出する(S505)。
図6は、本発明の実施の形態における顔向きを検出する処理を説明するための図である。
視線方向検出部11は、図6の(a)に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域DBから、顔部品特徴点の領域を読み出す。続いて、視線方向検出部11は、図6の(b)に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。
そして、視線方向検出部11は、図6の(c)に示すように、切り出された領域画像と、顔部品領域テンプレートDBに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線方向検出部11は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線方向検出部11は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。
続いて、視線方向検出部11は、図6の(d)に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。
図6の(d)の例では、基準顔向き+20度に対する重みが「0.85」、正面向きに対する重みが「0.14」、−20度に対する重みが「0.01」である。そこで、視線方向検出部11は、顔向きを16.8度(=20×0.85+0×0.14+(−20)×0.01)と検出する。
なお、図6では、視線方向検出部11は、顔部品特徴点の領域画像を対象として相関度を計算したが、これに限らず例えば、顔領域全体の画像を対象として相関度を計算してもよい。また、顔向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法がある。
顔部品特徴点の位置関係から顔向きを計算する方法としては、1つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の3次元モデルを回転・拡大縮小してマッチングし、得られた3次元モデルの回転量から顔向きを計算する方法がある。また、顔部品特徴点の位置関係から顔向きを計算する他の方法としては、2台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の3次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。例えば、両目および口の3次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。
図5のフローチャートの説明に戻る。
視線方向検出部11は、カメラ30によって撮像されたステレオ画像を用いて、ユーザの左右の目頭の3次元位置を検出し、検出した左右の目頭の3次元位置を用いて視線方向基準面を算出する(S506)。続いて、視線方向検出部11は、カメラ30によって撮像されたステレオ画像を用いて、ユーザの左右の黒目中心の3次元位置を検出する(S507)。そして、視線方向検出部11は、視線方向基準面と左右の黒目中心の3次元位置とを用いて、黒目方向を検出する(S508)。
そして、視線方向検出部11は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する(S509)。
次に、黒目方向を検出する方法の詳細について、図7〜図9を用いて説明する。
本実施の形態では、視線方向検出部11は、まず、視線方向基準面を算出する。続いて、視線方向検出部11は、黒目中心の3次元位置を検出する。そして最後に、視線方向検出部11は、黒目方向を検出する。
まず、視線方向基準面の算出について、説明する。
図7は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図7に示すように顔の左右対称面と同一である。目頭の位置は、目尻、口角、または眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線方向検出部11は、顔の左右対称面である視線方向基準面を目頭の3次元位置を用いて算出する。
具体的には、視線方向検出部11は、カメラ30であるステレオカメラで撮影した2枚の画像(ステレオ画像)の各々において、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線方向検出部11は、検出した目頭領域の画像間の位置のずれ(視差)を利用して、左右の目頭それぞれの3次元位置を計測する。さらに、視線方向検出部11は、図7に示すように、検出した左右の目頭の3次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。
次に、黒目中心の検出に関して説明する。
図8および図9は、本発明の実施の形態における黒目中心の検出について説明するための図である。
対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒または茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態では、瞳孔の中心と黒目(瞳孔および虹彩の両方を含む)の中心とがほぼ一致することから、視線方向検出部11は、黒目方向を検出する際に、黒目中心の検出を行う。
視線方向検出部11は、まず、撮影された画像から目尻の位置と目頭の位置とを検出する。そして、視線方向検出部11は、図8のような、目尻と目頭とを含む領域から輝度が小さい領域を、黒目領域として検出する。具体的には、視線方向検出部11は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。
次に視線方向検出部11は、図8のような、第1領域1と第2領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、視線方向検出部11は、第1領域1内の画素の輝度と第2領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線方向検出部11は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の3次元位置を検出する。
さらに、黒目方向の検出について説明する。
視線方向検出部11は、算出した視線方向基準面と、検出した黒目中心の3次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約24mmである。したがって、基準となる方向(例えば正面)を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。
ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線方向検出部11は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。
具体的には、視線方向検出部11は、眼球半径Rと、視線方向基準面に対する左右の黒目中心を結んだ線分の中点(以下、「黒目中点」という)の距離dとを用いて、式1に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。
θ=sin−1(d/R) (式1)
R:眼球半径(12mm)
d:視線方向基準面と黒目中点との距離
以上のように、視線方向検出部11は、視線方向基準面と黒目中心の三次元位置とを用いて、黒目方向を検出する。そして、視線方向検出部11は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。
2.視線滞留時間の算出
次に、視線滞留時間算出処理(S102)の詳細について説明する。
視線滞留時間算出部12は、視線方向検出部11によって検出された視線方向に基づき、画面26上の各オブジェクトに対する視線方向の滞留時間を算出する。つまり、視線滞留時間算出部12は、画面26上のオブジェクトを見るために視線方向が滞留した時間をオブジェクトごとに算出する。
より具体的には、視線滞留時間算出部12は、例えば、ユーザの目の3次元位置を取得する。そして、視線滞留時間算出部12は、ユーザの目の3次元位置から視線方向に延びる直線と画面26との交点を注視点として算出する。さらに、視線滞留時間算出部12は、オブジェクトごとに、当該オブジェクトの表示領域内に注視点が連続して存在している時間を視線滞留時間として算出する。
なお、視線滞留時間算出部12は、必ずしも上記のように視線滞留時間を算出する必要はない。例えば、視線滞留時間算出部12は、オブジェクトごとに、当該オブジェクトの表示領域を中心とした一定範囲の領域内に注視点が連続して存在している時間を視線滞留時間として算出してもよい。また例えば、視線滞留時間算出部12は、注視点がオブジェクトの表示領域外に移動した場合であっても、予め定められた時間以内に当該表示領域内に戻ってきた場合には、当該領域内に注視点が連続して存在しているとみなして、視線滞留時間を算出してもよい。
3.誘目強度の算出
次に、誘目強度算出処理(S103)の詳細について説明する。
上述したように、誘目強度とは、視覚的な注意の引きやすさの程度を示す。具体的には、誘目強度とは、画面に表示された各オブジェクトの画像がどれだけユーザの視線をひきやすいかを示す値である。
一般的に、誘目強度は、画像の物理的な特徴に依存する。例えば、画像の色あるいはテクスチャが高明度あるいは高彩度であるほど、その画像は、潜在的にユーザの視線をひきやすい。また、周囲の画像と物理的特徴が異質であればあるほど、その画像は、ユーザの視線をひきやすい。
さらには、誘目強度は、ユーザとオブジェクトとの間の心理的距離にも依存する。例えば、ユーザと関係性の深い画像ほど、または、視覚回数が多い画像ほど、その画像は、ユーザの視線をひきやすい。
なお、心理的距離とは、ユーザとオブジェクトとの間の心理的な関係性を示す。心理的距離は、ユーザとオブジェクトとの間の心理的な関係性が高いほど短くなる。
また、誘目強度は、ユーザとオブジェクトとの物理的な位置関係にも依存する。つまり、誘目強度は、ユーザが存在している位置と、オブジェクトが表示されている位置との位置関係にも影響される。例えば、ユーザの正面に表示された画像は、ユーザの視線をひきやすい。
そこで、誘目強度算出部13は、オブジェクトiの誘目強度A(i)を、式2のように算出する。
A(i)=a1×Aimage(i)+a2×Apsy(i)+a3×Aphy(i) (式2)
ここで、Aimage(i)は、オブジェクトiの画像の物理的特徴に基づく誘目強度を表す。つまり、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトの画像の物理的な特徴に基づいて誘目強度を算出する。
また、Apsy(i)は、ユーザとオブジェクトiと間の心理的距離に基づく誘目強度を表す。つまり、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトとユーザとの間の心理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
また、Aphy(i)は、ユーザとオブジェクトiとの物理的な位置関係に基づく誘目強度を表す。つまり、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出する。
なお、a1、a2、およびa3は、各項が誘目強度に与える影響を調整するための調整パラメータである。a1、a2、およびa3には、予め定められた0以上の数値が設定される。例えば、次式3のように、a2およびa3に0が設定され、a1に0より大きい数値が設定されてもよい。つまり、a1、a2、およびa3の少なくとも1つに、0よりも大きな数値が設定されればよい。
a2=0、a3=0 (式3)
つまり、誘目強度算出部13は、オブジェクトの画像の物理的な特徴、オブジェクトとユーザとの間の心理的距離、およびオブジェクトとユーザとの間の物理的な位置関係の少なくとも1つに基づいて、誘目強度を算出すればよい。
ここで、Aimage(i)、Apsy(i)、およびAphy(i)の各々は、次式4〜6で定義される。
Aimage(i)=i1×complex(i)+i2×hetero(i) (式4)
Apsy(i)=s1×e_st(i)+s2×e_sb(i)+s3×e_w(i) (式5)
Aphy(i)=h1/dist(i)+h2/ang(i) (式6)
なお、i1、i2、s1、s2、s3、h1、およびh2は、各項が誘目強度に与える影響を調整するための調整パラメータである。i1、i2、s1、s2、s3、h1、およびh2には、予め定められた0以上の数値が設定される。
ここで、式4において、complex(i)は、オブジェクトiの画像の複雑度を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトの画像の複雑度に基づいて、複雑度が高いほど誘目強度が大きくなるように誘目強度を算出する。
また、hetero(i)は、オブジェクトiの周囲の画像に対するオブジェクトiの画像の異質度を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトの周囲の画像に対する当該オブジェクトの画像の異質度に基づいて、異質度が高いほど誘目強度が大きくなるように誘目強度を算出する。
また、式5において、e_st(i)は、ユーザがオブジェクトiの作成者であれば「1」となり、そうでなければ「0」となる。つまり、誘目強度算出部13は、オブジェクトごとに、ユーザが当該オブジェクトの作成者であるか否かに基づいて、ユーザが当該オブジェクトの作成者である場合に、ユーザが当該オブジェクトの作成者でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
この場合、ユーザインタフェース装置10は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザがオブジェクトの作成者であるか否かを判定すればよい。なお、オブジェクトの作成者を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部(図示せず)に記憶されていればよい。
また、e_sb(i)は、ユーザがオブジェクトi内に表示されている被写体であれば「1」となり、そうでなければ「0」となる。つまり、誘目強度算出部13は、オブジェクトごとに、ユーザが当該オブジェクト内に表示されている被写体であるか否かに基づいて、ユーザが被写体である場合にユーザが被写体でない場合よりも心理的距離が短くなるように、心理的距離を算出する。
この場合も、ユーザインタフェース装置10は、例えば、ユーザから当該ユーザを識別するための識別情報の入力を予め受け付けておき、その識別情報に基づいて、ユーザが当該オブジェクト内に表示されている被写体であるか否かを判定すればよい。なお、オブジェクト内に表示されている被写体を識別するための情報は、例えば、そのオブジェクトに対応付けて予め記憶部(図示せず)に記憶されていればよい。
また、e_w(i)はユーザがオブジェクトiを視覚した回数(以下、単に「視覚回数」という)を表す。したがって、誘目強度算出部13は、オブジェクトごとに、ユーザが当該オブジェクトを過去に視覚した回数が多いほど心理的距離が短くなるように心理的距離を算出する。
また、式6において、dist(i)は、ユーザとオブジェクトiとの物理的な距離を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトと前記ユーザとの間の物理的距離に基づいて、物理的距離が短いほど誘目強度が大きくなるように誘目強度を算出する。
また、ang(i)は、オブジェクトiおよびユーザを結ぶ線と、画面26の法線とのなす角度を表す。したがって、誘目強度算出部13は、オブジェクトごとに、当該オブジェクトおよびユーザを結ぶ線と画面26の法線とのなす角度に基づいて、角度が小さいほど誘目強度が大きくなるように誘目強度を算出する。
ここで、オブジェクトiの画像の複雑度であるcomplex(i)の算出方法について説明する。
まず、誘目強度算出部13は、オブジェクトiの画像を既知の画像処理手法により領域分割する。そして、誘目強度算出部13は、領域分割によって得られる領域の数に応じて、領域の数が多いほど複雑度が高くなるように、complex(i)を算出する。
具体的には、誘目強度算出部13は、例えば、特許文献3(特開2007−18025号公報)に開示されている方法を用いて、複雑度を算出すればよい。もちろん、この特許文献3に示されている方法は、画像の複雑度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
次に、オブジェクトiの周囲の画像に対するオブジェクトiの画像の異質度であるhetero(i)の算出方法について説明する。
誘目強度算出部13は、オブジェクトiの周囲の画像における色およびテクスチャと、オブジェクトiの画像における色およびテクスチャとの間の相違度を異質度として算出する。各画像における色およびテクスチャは、例えば、当該画像中における最大の領域を占有する色およびテクスチャである。
具体的には、誘目強度算出部13は、例えば、非特許文献2(「田中昭二、井口征司、岩舘祐一、中津良平:画像領域の物理的特徴に基づく誘目度評価モデル、電子情報通信学会論文誌A、Vol.J83−A、No.5、pp.576−588、2000」)に開示されている方法を用いて、異質度を算出すればよい。もちろん、この非特許文献2に示されている方法は、異質度の算出方法の一例にすぎず、本発明はこれに限られるものではない。
以下に、非特許文献2に開示されている異質度の算出方法について説明する。
物理特徴量の異質度は、特徴量と全領域の平均特徴量との差をd、dの平均値をdm、dの標準偏差をstdとしたとき、次式7で算出される。
H(d,dm,std)=|(d−dm)/std| (式7)
例えば、誘目強度算出部13は、オブジェクトiの画像の領域の平均色と周囲のオブジェクトの画像も含めた画面全体の平均色との色差と、色差平均と、色差の標準偏差とを算出する。そして、誘目強度算出部13は、算出結果を式7に代入して、オブジェクトiの画像の色の異質度HC(i)を算出する。
なお、色差は、例えば、CIE(国際照明委員会)が策定したCIE L*a*b*(エルスター、エースター、ビースター)色空間における色差式を用いて算出されればよい。
また例えば、誘目強度算出部13は、テクスチャの特徴量として、非特許文献3(B.S.Manjunath、W.Y.Ma:Texture features for browsing and retrival of image data、IEEE Trans.Pattern Anal.and Mach.Intell.、Vol.18、No.8、pp.837−842、1996)に記載のテクスチャ特徴ベクトルを算出してもよい。この場合、誘目強度算出部13は、テクスチャの特徴量間の差として、テクスチャ特徴ベクトル間のユークリッド距離を算出する。そして、誘目強度算出部13は、オブジェクトiの画像のベクトルとオブジェクトiの周囲のオブジェクトの画像も含めた画面全体の平均ベクトルとの距離、距離の平均、および距離の標準偏差を式7に代入して、オブジェクトiの画像のテクスチャの異質度HT(i)を算出する。
4.関心度の推定
次に、関心度推定処理(S104)の詳細について説明する。
関心度推定部14は、視線滞留時間が長いほど関心度が高くなるように、かつ誘目強度が小さいほど関心度が高くなるように、画面26に表示された複数のオブジェクトの各々に対するユーザの関心度を推定する。本実施の形態では、関心度推定部14は、まず、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。そして、関心度推定部14は、算出した補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
4−1.視線滞留時間の補正
まず、視線滞留時間の補正について、図10〜図11Bを用いて説明する。
図10は、本発明の実施の形態におけるオブジェクトの表示例を示す図である。
以下では、図10に示すように、15個のオブジェクトが画面26に表示されている場合について説明する。なお、図10において、画面26に表示されている数字は、各オブジェクトの識別子(i)と一致している。
図11Aおよび図11Bは、本発明の実施の形態における視線滞留時間の補正方法の一例を説明するための図である。具体的には、図11Aは、視線滞留時間から誘目強度に応じた時間を減算することで、補正視線滞留時間を算出する方法を説明するための図である。
図11Aでは、関心度推定部14は、以下の式8に従って補正視線滞留時間を算出する。すなわち、関心度推定部14は、視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する。
Tc(i)=T(i)−A(i)×ga (ga>0) (式8)
ここで、T(i)は、オブジェクトiに対する視線滞留時間を表す。また、Tc(i)は、オブジェクトiに対する補正視線滞留時間を表す。また、gaは、補正量を調整するための調整パラメータである。
なお、関心度推定部14は、必ずしも視線滞留時間から誘目強度に応じた時間を減算することにより、補正視線滞留時間を算出する必要はない。例えば、関心度推定部14は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出してもよい。
図11Bは、視線滞留時間を誘目強度に応じた値で除算することで、補正視線滞留時間を算出する方法を説明するための図である。図11Bでは、関心度推定部14は、以下の式9に従って補正視線滞留時間を算出する。すなわち、関心度推定部14は、誘目強度に応じた値を用いて視線滞留時間を除算することにより、補正視線滞留時間を算出する。つまり、関心度推定部14は、誘目強度に応じて視線滞留時間を収縮させることで、視線滞留時間を補正する。
Tc(i)=T(i)/A(i)×gb (gb>0) (式9)
ここで、gbは、補正量を調整するための調整パラメータである。
このように、関心度推定部14は、誘目強度が大きいほど短くなるように視線滞留時間を補正することにより、補正視線滞留時間を算出する。
4−2.関心度の推定
次に、関心度推定部14は、上記により算出された補正視線滞留時間を用いて、次式10のように関心度を推定する。すなわち、関心度推定部14は、補正視線滞留時間が長いほど関心度が高くなるように関心度を推定する。
I(i)=Tc(i)×k (k>0) (式10)
ここで、I(i)は関心度を表す。また、kは、関心度の値の大きさを調整するための調整パラメータである。
以上のように、本実施の形態におけるユーザインタフェース装置10によれば、ユーザの関心度を推定する際に、視線滞留時間をそのまま用いるのでなく、オブジェクトの誘目強度を用いて視線滞留時間を補正した補正視線滞留時間を用いる。これにより、視線滞留時間を用いてユーザの関心度を推定するときに、視線滞留時間に含まれる、関心度に関係がない時間(例えば、画像が複雑で一見しただけでは内容を理解することが難しいためにオブジェクトを注視している時間、あるいは刺激強度が強いからオブジェクトを注視している時間など)の影響を抑制することができる。
すなわち、ユーザインタフェース装置10は、各オブジェクトの誘目強度に基づいて、ユーザの関心度を推定することができる。オブジェクトの誘目強度が大きければ、ユーザは、そのオブジェクトに関心がなくても視線を向けてしまう。つまり、視線滞留時間は、そのオブジェクトに対するユーザの関心度だけではなく、そのオブジェクトの誘目強度に応じて変動する。したがって、ユーザインタフェース装置10は、誘目強度に基づいて関心度を推定することにより、視線滞留時間のうちユーザの関心度に関係しない時間が、関心度の推定に与える影響を抑制することができる。つまり、ユーザインタフェース装置10は、オブジェクトに対するユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトの物理的な特徴(例えば、オブジェクトの複雑度または異質度など)に依存する。例えば、オブジェクトの画像の複雑度が高ければ、そのオブジェクトの内容を理解するために視線をそのオブジェクトに向ける時間が長くなる。したがって、ユーザインタフェース装置10は、オブジェクトの物理的な特徴に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの間の心理的距離(例えば、そのオブジェクトをユーザが視覚した回数、ユーザがそのオブジェクトの作成者であるか否か、そのオブジェクトにユーザが表示されているか否かなど)に依存する。したがって、ユーザインタフェース装置10は、オブジェクトとユーザとの間の心理的距離に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することができる。誘目強度は、オブジェクトとユーザとの物理的な位置関係(例えば、オブジェクトとユーザとの物理的距離、またはユーザに対するオブジェクトの方向など)に依存する。例えば、オブジェクトとユーザとの物理的距離が短ければ、そのオブジェクトに視線を向ける時間が長くなる。したがって、ユーザインタフェース装置10は、オブジェクトとユーザとの物理的な位置関係に基づいて誘目強度を算出することにより、誘目強度を正確に算出することができ、ユーザの関心度を高精度に推定することが可能となる。
また、ユーザインタフェース装置10は、誘目強度に応じて補正した視線滞留時間に基づいて関心度を推定することができる。したがって、ユーザインタフェース装置10は、視線滞留時間からユーザの関心度に関係しない時間を取り除くことができるので、ユーザの関心度を高精度に推定することが可能となる。
以上、本発明の一態様に係るユーザインタフェースシステム100について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、上記実施の形態において、視線方向検出部11は、カメラ30によって生成された画像情報に基づいて、視線方向を検出したが、もちろん画像情報に基づいて視線方向を検出する方法に限られない。他の視線方向を検出する方法としては、例えば、ユーザに装着された計測機器を用いて視線方向を検出する方法(第1の方法)、または赤外光源など非接触な機器を用いて視線方向を検出する方法(第2の方法)などがある。
第1の方法には、頭部に取り付けられた電極から取得された角膜−網膜の電位変化から眼球運動を検出するEOG(Electro−oculography)法、あるいはコイルを組み込んだコンタクトレンズに生じた誘導電流から眼球運動を検出するサーチコイル法などが存在する。また、第1の方法には、ヘルメットあるいは眼鏡のような装着型のアイカメラを用いて、視線方向を検出する方法もある。
第2の方法には、近赤外の点光源を目に照射し、角膜で反射されたプルキニエ像と瞳孔の位置から視線方向を推定する角膜反射法などがある。
また、上記実施の形態において、関心度推定部14は、補正視線滞留時間を算出していたが、必ずしも補正視線滞留時間を算出する必要はない。例えば、関心度推定部14は、視線滞留時間に基づいて関心度を推定した後に、誘目強度を用いて、推定された関心度を補正してもよい。
また、上記実施の形態において、表示装置20が画面制御部25を備えていたが、ユーザインタフェース装置10が画面制御部25を備えてもよい。この場合、ユーザインタフェース装置10は、画面制御装置と呼ばれてもよい。また、ユーザインタフェース装置10は、画面制御部25に加えて、画面26を備えてもよい。この場合、ユーザインタフェース装置10は、表示装置と呼ばれてもよい。
また、上記実施の形態において、表示装置20は、推定された関心度に応じて、画面の表示制御を行っていたが、必ずしも画面の表示制御を行う必要はない。例えば、表示装置20は、関心度に応じて音を出力してもよい。具体的には、表示装置20は、例えば、複数のオブジェクトのうち関心度が最も高いオブジェクトに関する情報を示す音(例えば機械音声)を出力してもよい。
また、図2A〜図2Cにおいて、ユーザインタフェース装置10は、表示装置20の外部に配置されていたが、表示装置20に内蔵されてもよい。
なお、本発明の一態様に係るユーザインタフェース装置は、以下のように変形することもできる。
(1)上記のユーザインタフェース装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたは前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
(2)上記のユーザインタフェース装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
(3)上記のユーザインタフェース装置を構成する構成要素の一部または全部は、ユーザインタフェース装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAM、などから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す入力方法であるとしてもよい。また、これらの入力方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラムまたは前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
本発明の一態様に係るユーザインタフェース装置は、画面上に表示された複数のオブジェクトに対するユーザの関心度に基づいて入力処理を行うユーザインタフェース装置として有用である。また、デジタルサイネージにおける広告効果の測定等の用途にも応用できる。
10 ユーザインタフェース装置
11 視線方向検出部
12 視線滞留時間算出部
13 誘目強度算出部
14 関心度推定部
20 表示装置
25 画面制御部
26 画面
30 カメラ
100 ユーザインタフェースシステム