WO2012042974A1 - 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム - Google Patents

Abstract

　利便性の高い情報提示装置を提供する。　情報提示装置としてのデジタルカメラは、撮像素子３で撮像された現実空間画像に仮想物体を重畳させて表示部２３に表示させる制御を行うＣＧ重畳部１７と、撮像素子３で撮像された現実空間画像に含まれる人物の視線を検出する視線検出部１２と、視線検出部１２で検出された視線に基づいて、仮想物体の重畳位置を決定する重畳位置決定部１１とを備える。

Description

情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム

　本発明は、情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラムに関する。

　カメラで撮影した現実空間の画像（撮像画像）に、仮想物体を重畳表示させる拡張現実技術が普及してきており、この技術を採用した携帯電話機やヘッドマウントディスプレイ（ＨＭＤ）が登場してきている。

　このような拡張現実感を提供する拡張現実感提供装置は、一般に、その拡張現実感提供装置を持っているユーザに合わせた映像を表示部に表示させている。例えば、特許文献１では、ＨＭＤを装着したユーザの視線に応じて、撮像画像に重畳させる仮想物体を決定している。

　拡張現実感提供装置を持っているユーザに限らず、その拡張現実感提供装置のカメラに写っている人間のことも考慮した表示が可能になれば、拡張現実感提供装置の使い途を広げることができ、拡張現実技術の市場規模拡大を図ることができる。

　例えば、特許文献２には、撮像画像に含まれる人物を検出し、その人物に衣装のＣＧを重畳させる方法が記載されている。この方法によれば、拡張現実感提供装置のカメラに写っている人間のことも考慮した表示が可能となる。しかし、特許文献２の方法は、動き回る人物にＣＧを重ね合わせ続ける必要があるため、システム構成が複雑になり、一般のユーザが気軽に利用することができない。

　特許文献３は、仮想空間に人物のＣＧを表示させる技術であり、拡張現実感提供装置とは関係がない。

　特許文献４は、人物の顔の位置と顔の向きを検出するシステムに関するものであり、拡張現実感提供装置とは関係がない。

　特許文献５は、３次元空間上での顔位置と顔向きを用いて、人物間で互いに向き合っているか否かを決定し、その決定結果に応じて属性値を割り当て、それぞれの人物の固有のＩＤ及び属性値を紐付けるものであり、拡張現実感提供装置とは関係がない。

　なお、拡張現実感提供装置に限らず、例えば、特定の位置に３次元映像を投影するプロジェクタにおいても、その映像を見る人物のことを考慮した投影が可能になれば、その使い途を広げることができる。特許文献１～５は、このようなプロジェクタを実現できるものではない。

日本国特開２００５－１７４０２１号公報 日本国特開２００９－２８９０３５号公報 日本国特開２０００－３３１１９０号公報 日本国特開２００７－０２６０７３号公報 日本国特開２０１０－０４４４４８号公報

　本発明は、上記事情に鑑みてなされたものであり、利便性の高い情報提示装置、情報提示方法、及び情報提示プログラムを提供することを目的とする。

　本発明の情報提示装置は、現実空間にいる人物に情報を提示する情報提示装置であって、撮像素子で撮像された現実空間画像に前記情報を重畳させて表示部に表示させる制御、又は、前記現実空間の所定位置に前記情報を投影させる制御を行う制御部と、前記撮像素子で撮像された現実空間画像に含まれる人物の視線を検出する視線検出部と、前記視線検出部で検出された視線に基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示位置決定部とを備えるものである。

　本発明のデジタルカメラ及びヘッドマウントディスプレイは、それぞれ、前記情報提示装置の各部と、前記撮像素子と、前記表示部とを備え、前記制御部が、前記撮像素子で撮像された現実空間画像に前記情報を重畳させて前記表示部に表示させる制御を行うものである。

　本発明のプロジェクタは、前記情報提示装置の各部と、前記撮像素子とを備え、前記制御部が、前記現実空間の所定位置に前記情報を投影させる制御を行うものである。

　本発明の情報提示方法は、現実空間にいる人物に情報を提示する情報提示方法であって、撮像素子で撮像された現実空間画像に前記情報を重畳させて表示部に表示させる制御、又は、前記現実空間の所定位置に前記情報を投影させる制御を行う制御ステップと、前記撮像素子で撮像された現実空間画像に含まれる人物の視線を検出する視線検出ステップと、前記視線検出ステップで検出された視線に基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示位置決定ステップとを備えるものである。

　本発明の情報提示プログラムは、前記情報提示方法の各ステップをコンピュータに実行させるためのプログラムである。

　本発明によれば、利便性の高い情報提示装置、情報提示方法、及び情報提示プログラムを提供することができる。

本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図 人物の視線ベクトルを説明するための図 図２に例示した３つの視線が視線検出部１２で検出されたときの仮想物体の重畳位置の決定方法を説明するための図 図１に示したデジタルカメラの拡張現実モード時の動作を説明するためのフローチャート 図１に示したデジタルカメラの第一の変形例を示す図 データベース１０ａに記録される第一のテーブル（人物が３人の場合）の一例を示す図 図５に示したデジタルカメラの拡張現実モード時の動作を説明するための図 図５に示したデジタルカメラの拡張現実モード時の動作を説明するためのフローチャート 図１に示したデジタルカメラの第二の変形例を示す図 図９に示すデジタルカメラのデータベース１０ａに記録される第二のテーブルの一例を示す図 図９に示したデジタルカメラの二人拡張現実モード時の動作を説明するための図 図９に示したデジタルカメラの二人拡張現実モード時の動作を説明するためのフローチャート 図１に示すデジタルカメラの拡張現実モード時の動作の変形例を説明するためのフローチャート 図１に示すデジタルカメラをＨＭＤに変更したときの動作を説明するための図 本発明の一実施形態を説明するための三次元プロジェクタ１５０の概略構成を示す図 図１５に示すプロジェクタの動作を説明するための図

　以下、本発明の情報提示装置の一実施形態であるデジタルカメラについて図面を参照して説明する。

　図１は、本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図である。このデジタルカメラは、現実空間を撮影して得た現実空間画像（撮像画像）に、仮想物体（コンピュータグラフィック；ＣＧ）等の情報を重畳させて表示することで、ユーザに拡張現実感を提供する拡張現実モードを搭載している。

　図１に示すデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む撮影レンズ１と、撮影レンズ１後方に設けられた絞り２と、絞り２後方に設けられたＣＣＤ型、ＭＯＳ型等の撮像素子３と、撮像素子３から出力される信号をアナログ信号処理するアナログフロントエンド（ＡＦＥ）３２と、ＡＦＥ３２の出力信号をデジタル変換して出力するＡＤ変換部３３と、撮影レンズ１のフォーカスレンズ、ズームレンズの移動制御を行うレンズ駆動部４と、撮像素子３の駆動制御を行う撮像素子駆動部５とを備える。ＡＤ変換部３３から出力されたデジタルの撮像画像信号は、バスＢに出力される。

　レンズ駆動部４、撮像素子駆動部５、ＡＦＥ３２、及びＡＤ変換部３３は、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）６によって制御される。ＣＰＵ６には、デジタルカメラの各種操作を行うための操作部７と、ＣＰＵ６が実行する各種プログラム等が格納されるＲＯＭ８と、ＣＰＵ６のワークメモリであるＲＡＭ９とが接続されている。また、ＣＰＵ６はバスＢに接続されている。

　図１に示すデジタルカメラの電気制御系は、ＣＰＵ６と、重畳位置決定部１１と、視線検出部１２と、座標変換部１４と、顔パーツ検出部１５と、顔検出部１６と、ＣＧ重畳部１７と、メモリ１８と、信号処理部１９と、メモリカード（記録媒体）２１を制御するカードインターフェース２０と、液晶パネルや有機ＥＬパネル等の表示部２３を制御する表示制御部２２とを備え、これらがバスＢを介して相互に接続され、ＣＰＵ６によって制御される。

　重畳位置決定部１１、視線検出部１２、座標変換部１４、顔パーツ検出部１５、顔検出部１６、及びＣＧ重畳部１７は、ＲＯＭ８に格納される情報提示プログラムをコンピュータであるＣＰＵ６が実行することで実現される機能ブロックである。

　信号処理部１９は、デジタルシグナルプロセッサ（ＤＳＰ）で構成され、ＡＤ変換部３３から出力されてメモリ１８に一時記憶された撮像画像信号に対し、同時化処理、γ補正処理等の画像処理を施して撮像画像データを生成する。

　顔検出部１６は、信号処理部１９で生成された撮像画像データを取得し、取得した撮像画像データに対し顔検出処理を施す。

　顔パーツ検出部１５は、顔検出部１６で検出された顔のパーツ（以下では、一例として２つの目及び口とする）を検出する。

　座標変換部１４は、顔パーツ検出部１５で検出された顔の２つの目の各々の中心と口の中心とを結ぶ二次元平面での三角形の各点の座標を、三次元空間の座標（世界座標）に変換する。

　視線検出部１２は、座標変換部１４で変換後の三角形の世界座標に基づいて、人物の視線（三次元空間における大きさ及び方向を持ったベクトル）を検出する。

　例えば、視線検出部１２は、座標変換部１４で変換された三角形の各点のうち、２つの目に対応する点同士の中点を始点とした三次元空間における当該三角形の法線ベクトルを算出し、この法線ベクトルを視線として検出する。図２に示すように、撮像画像データに３人の人物２Ａ，２Ｂ，２Ｃが含まれていた場合、視線検出部１２は、各人物の２つの目と口を結ぶ三角形の法線ベクトル（視線ベクトル）Ｂ１～Ｂ３を算出する。

　重畳位置決定部１１は、視線検出部１２で検出された複数の視線に基づいて、当該複数の視線が注目している領域である三次元空間上の注目領域の重心を算出する。そして、重畳位置決定部１１は、算出した重心位置を、仮想物体を重畳させるべき位置（注目点）として決定する。

　図３は、図２に例示した３つの視線Ｂ１～Ｂ３が視線検出部１２で検出されたときの仮想物体の重畳位置の決定方法を説明するための図である。

　重畳位置決定部１１は、世界座標で規定される三次元空間において、視線ベクトルＢ１と視線ベクトルＢ２を結ぶ線分であって、視線ベクトルＢ１と視線ベクトルＢ２の双方に垂直な線分のうち、最も短い線分３Ａを算出する。

　また、重畳位置決定部１１は、視線ベクトルＢ１と視線ベクトルＢ３を結ぶ線分であって、視線ベクトルＢ１と視線ベクトルＢ３の双方に垂直な線分のうち、最も短い線分３Ｂを算出する。

　また、重畳位置決定部１１は、視線ベクトルＢ２と視線ベクトルＢ３を結ぶ線分であって、視線ベクトルＢ２と視線ベクトルＢ３の双方に垂直な線分のうち、最も短い線分３Ｃを算出する。

　次に、重畳位置決定部１１は、算出した線分３Ａ～３Ｃのうち、長さが閾値以上のものを削除する。長さが閾値以上の線分が存在していた場合、その線分で結ばれる２つの視線ベクトル同士は大きく離れていると判断できる。このため、このような線分については、仮想物体を重畳させるべき位置の決定に用いないことで、仮想物体の重畳位置の算出精度の低下を防ぐ。

　長さが閾値以上の線分を削除した結果、残った線分が３つ以上ある場合、重畳位置決定部１１は、３つ以上の線分の各々の中点同士を結ぶ多角形を注目領域とし、この注目領域の重心を、仮想物体を重畳させる座標とする。

　また、長さが閾値以上の線分を削除した結果、残った線分が２つである場合、重畳位置決定部１１は、その２つの線分の各々の中点同士を結ぶ線分の中点を、仮想物体を重畳させる座標とする。また、長さが閾値以上の線分を削除した結果、残った線分が１つである場合、重畳位置決定部１１は、その１つの線分の中点を、仮想物体を重畳させる座標とする。

　図３に示すように、線分３Ａ～３Ｃの長さが全て閾値未満の場合、線分３Ａの中点と、線分３Ｂの中点と、線分３Ｃの中点とを結ぶ三角形の重心が、仮想物体を重畳させる座標（注目点座標）となる。

　ＣＧ重畳部１７は、重畳位置決定部１１で決定された注目点座標を二次元座標に変換し、撮像画像データの当該変換後の座標に所定の仮想物体を合成した拡張現実画像データを生成し、この拡張現実画像データに基づく画像を表示部２３に表示させる指示を、表示制御部２２に対して行う。

　表示制御部２２は、ＣＧ重畳部１７から指示された拡張現実画像データに基づく画像を、表示部２３に表示させる。

　以下では図１に示すデジタルカメラの拡張現実モード時の動作について説明する。図４は、図１に示したデジタルカメラの拡張現実モード時の動作を説明するためのフローチャートである。

　拡張現実モードに設定されると、ＣＰＵ６は、撮像素子駆動部５を制御して撮像素子３により動画撮影を開始させる。

　撮像素子３により動画撮影が開始されると、撮像素子３から順次出力される撮像画像信号を信号処理部１９が画像処理し、撮像画像データを生成する。生成された撮像画像データは、表示制御部２２の制御により、表示部２３に順次表示される。これにより、ユーザは、撮影中の現実空間画像をライブビュー画像として確認することができる。

　一方、撮像画像データが生成されると、顔検出部１６がこれを取得し（ステップＳ４０）、当該撮像画像データに対して顔検出処理を実行する（ステップＳ４１）。

　顔検出処理の結果、１つ以上の顔が検出された場合（ステップＳ４２：Ｙ）は、顔パーツ検出部１５が、検出された顔の中から目を２つと口を１つ検出する（ステップＳ４３）。顔検出処理の結果、１つ以上の顔が検出されたかった場合（ステップＳ４２：Ｎ）は、ステップＳ４０に戻り、動画の次のフレームが取得され、このフレームに対して顔検出処理が行われる。

　ステップＳ４３の処理で、２つの目及び口からなるパーツ群を２人分以上検出できた場合（ステップＳ４４：Ｙ）は、ステップＳ４５以降の処理が行われる。一方、パーツ群を２人分以上検出できなかった場合（ステップＳ４４：Ｎ）は、ステップＳ４０で動画の次のフレームが取得され、このフレームに対して顔検出処理が行われる。

　ステップＳ４５では、座標変換部１４が、ステップＳ４３で検出されたパーツ群毎に、２つの目の各々の中心と口の中心とを結ぶ三角形（パーツ三角形）の各頂点の座標を算出し、この座標を三次元空間の座標（世界座標）に変換する（ステップＳ４５）。

　次に、視線検出部１２が、世界座標に変換後のパーツ三角形毎に、当該パーツ三角形を構成する２つの目を結ぶ線分の中点を始点とした当該パーツ三角形の法線ベクトル（視線ベクトル）を算出する（ステップＳ４６）。この時点で、Ｎ本（Ｎは２以上の自然数）の視線ベクトルが算出される。

　次に、重畳位置決定部１１が、１本の視線ベクトルと、それ以外の（Ｎ－１）本の視線ベクトルの各々とを結ぶ線分であって、双方の視線ベクトルに垂直な線分のうち最短のものを算出する処理を、Ｎ本の視線ベクトルの各々について行う。これにより、［｛Ｎ（Ｎ－１）｝／２］本の線分が算出される（ステップＳ４７）。

　次に、重畳位置決定部１１が、［｛Ｎ（Ｎ－１）｝／２］本の線分の中から、線分の長さが閾値ＴＨ以上の線分を削除する（ステップＳ４８）。なお、ステップＳ４８において全ての線分が削除された場合にはステップＳ４０に処理が移行する。一方、ステップＳ４８において線分が１つ以上残る場合にはステップＳ４９に処理が移行する。

　ステップＳ４９では、重畳位置決定部１１が、残った線分が３つ以上であれば、その３つの線分の各々の中点同士を結ぶ多角形の重心を、仮想物体を重畳する注目点座標とする。また、重畳位置決定部１１は、残った線分が２つであれば、その２つの線分の各々の中点同士を結ぶ線分の中点を、仮想物体を重畳する注目点座標とする。また、重畳位置決定部１１は、残った線分が１つであれば、その１つの線分の中点を、仮想物体を重畳する注目点座標とする。

　次に、ＣＧ重畳部１７が、ステップＳ４９で算出された注目点座標を二次元座標に変換する。そして、ＣＧ重畳部１７は、表示部２３に表示中の撮像画像データの当該二次元座標に仮想物体を合成した拡張現実画像データを生成し、当該拡張現実画像データに基づく画像を、表示制御部２２を介して表示部２３に表示させる（ステップＳ５０）。

　ステップＳ５０の後に操作部７を介して静止画撮影指示がなされた場合には、撮像素子３が静止画撮影を行い、これによって信号処理部１９で撮像画像データが生成される。そして、ステップＳ４０～ステップＳ４９の処理が行われ、生成された拡張現実画像データが表示部２３に表示されると共に、この拡張現実画像データがカードインターフェース２０を介してメモリカード２１に記録される。

　以上のように、このデジタルカメラによれば、撮像素子３で撮影している人物の視線に応じて、表示部２３に表示される現実空間画像に対する仮想物体の重畳位置を決定することができる。このため、撮影される側のことを考慮した拡張現実感を提供することができ、拡張現実感提供装置としての使い途を広げることができる。

　また、このデジタルカメラは、撮影された人物の視線を検出し当該視線に応じて仮想物体の重畳位置を決めるだけの簡易な構成である。このため、特許文献２に記載のように、携帯型表示装置からデータを受信し、このデータを元に、重畳させる画像データを携帯型表示装置に返信するサーバーコンピュータを用いるような複雑なシステムが不要となる。したがって、デジタルカメラのように一般消費者にも手軽に購入できるような機器に本発明の技術を簡単に搭載することができる。

　なお、以上の説明では、ステップＳ４０からステップＳ５０の処理を、静止画撮影指示が行われる前のライブビュー画像表示中に行っている。しかし、この処理を静止画撮影指示が行われたときだけ行ってもよい。

　例えば、デジタルカメラは、撮影終了後、信号処理部１９で生成した撮像画像データに対し、図４に示したステップＳ４０～Ｓ４９の処理を行って注目点の座標を算出する。その後、デジタルカメラは、この座標に仮想物体を合成した拡張現実画像データを生成し、これを表示部２３に表示すると共に、これをメモリカード２１に記録する。

　この構成によれば、ライブビュー画像の表示中は図４に示すフローチャートの処理を行わずにすむため、デジタルカメラの消費電力の削減が可能となる。

　また、デジタルカメラは、メモリカード２１に記録されている撮影済みの撮像画像データや、別のカメラで撮影された撮像画像データに対し、図４に示した処理を行って、拡張現実画像データを生成してもよい。

　このようにすることで、このデジタルカメラで撮影して得た撮像画像データに限らず、様々な撮像画像データを拡張現実画像データに変換することができ、デジタルカメラの付加価値を高めることができる。

　なお、撮影される複数の人物が全く異なる方向を向いていては注目点を決定できなくなる。このため、このデジタルカメラでは、撮影者が、被写体となる人物にどのあたりを注目してもらいたいかを指等で指示してから撮影を開始するといった使い方を前提としている。

　以下では、図１に示したデジタルカメラの変形例について説明する。

　図５は、図１に示したデジタルカメラの第一の変形例を示す図である。図５に示したデジタルカメラは、仮想物体決定部１０と個人認識部１３とデータベース１０ａを追加した点を除いては、図１に示した構成と同じである。仮想物体決定部１０と個人認識部１３は、情報提示プログラムをＣＰＵ６が実行することで実現される機能ブロックである。

　個人認識部１３は、信号処理部１９で生成された撮像画像データの中から人物を検出し、この人物の属性を判別する。

　データベース１０ａには、人物の画像（顔又は全体像）とその人物の属性とを対応付けた人物属性テーブルが記録されている。個人認識部１３は、撮像画像データの中から抽出した人物画像とこの人物属性テーブルとに基づいて、当該抽出した人物画像の属性を判別する。ここで、人物の属性とは、例えば性別、年齢、職業、名前、及び服装のうち少なくとも１つを示す情報である。

　仮想物体決定部１０は、個人認識部１３による属性の判別結果とデータベース１０ａとに基づいて仮想物体の内容を決定する。

　データベース１０ａには、人物の属性と仮想物体の内容とを対応付けた第一のテーブルが記録されている。この第一のテーブルは、人物の人数毎に設けられている。人物が複数の場合には、複数の人物の各々の属性の組み合わせに対して１つの仮想物体の内容を示すデータが記録されている。

　図６は、データベース１０ａに記録される第一のテーブル（人物が３人の場合）の一例を示す図である。

　図６に示すように、３０－３５歳の男、３０－３５歳の女、０－５歳の男の３人の組み合わせに対しては、仮想物体の内容としてクルマが対応付けられている。また、３０－３５歳の男、３０－３５歳の女、０－５歳の女の３人の組み合わせに対しては、仮想物体の内容として人形が対応付けられている。また、ユニフォームを着た２０－２５歳の男、ユニフォームを着た２０－２５歳の男、審判のユニフォームを着た２０－２５歳の男の３人の組み合わせに対しては、仮想物体の内容としてサッカーボールが対応付けられている。

　例えば、個人認識部１３で判別された３人の人物の属性が、ユニフォームを着た２０－２５歳の男、ユニフォームを着た２０－２５歳の男、審判のユニフォームを着た２０－２５歳の男であった場合、仮想物体決定部１０は、この属性とデータベース１０ａにしたがって、サッカーボールを仮想物体として決定する。

　この結果、ＣＧ重畳部１７によって生成された拡張現実画像データに基づく画像は図７に示した画像Ｇのようになり、撮影されている人物に相関性の高い仮想物体が、撮影されている人物の注目している領域に重畳表示される。

　図８は、図５に示したデジタルカメラの拡張現実モード時の動作を説明するためのフローチャートである。図５において図４と同じ処理には同一符号を付して説明を省略する。

　ステップＳ４４で二人以上の目と口の検出がなされた場合、個人認識部１３が、ステップＳ４１で顔検出がなされた撮像画像データに対して個人認識を行い、その撮像画像データに含まれる人物の属性を判別する（ステップＳ８１）。

　ステップＳ８１の後は、ステップＳ４５～ステップＳ４９の処理が行われ、その後、仮想物体決定部１０が、ステップＳ８１で判別した属性とデータベース１０ａとに基づいて、仮想物体を決定する（ステップＳ８２）。

　ステップＳ８２の後は、ステップＳ５０にて、ＣＧ重畳部１７が、ステップＳ８２で決定された仮想物体を、ステップＳ４９で決定した注目点に重畳させた拡張現実画像データを生成し、この拡張現実画像データに基づく画像を表示部２３に表示させる。

　以上のように、第一の変形例のデジタルカメラによれば、撮影された人物の属性に応じて、現実空間画像に重畳させる仮想物体の内容を決めることができる。このため、仮想物体を、撮影されている人物に相関性の高いものにすることができ、仮想物体を撮影者が指定しなくとも、違和感のない拡張現実画像を得ることができる。

　図９は、図１に示したデジタルカメラの第二の変形例を示す図である。図９に示したデジタルカメラは、視線角度検出部２４を追加した点を除いては、図５に示した構成と同じである。図９に示したデジタルカメラは、撮影対象となる人物が二人であることを前提とする二人拡張現実モードを有している。視線角度検出部２４は、情報提示プログラムをＣＰＵ６が実行することで実現される機能ブロックである。

　視線角度検出部２４は、二人拡張現実モード時に、視線検出部１２で検出された２つの視線ベクトルを二次元平面（撮像画像に対応する平面）に射影し、射影した２つの視線ベクトルのなす角度θを算出する。

　重畳位置決定部１１は、二人拡張現実モード時に、視線検出部１２で検出された２つの視線ベクトルの交点の世界座標を二次元座標に変換し、当該二次元座標を、ＣＧを重畳させるべき位置（注目点）として決定する。

　二人拡張現実モード以外の拡張現実モードでは、重畳位置決定部１１は、前述したように、視線検出部１２で検出されたＮ本の視線ベクトルにしたがって注目点を決定する。

　仮想物体決定部１０は、二人拡張現実モード時に、視線角度検出部２４で算出された角度θと、個人認識部１３で判別された二人の人物の属性とに基づいて、仮想物体の内容（種類及び大きさ）を決定する。

　図９に示すデジタルカメラにおけるデータベース１０ａには、二人の人物の属性の組み合わせと、当該二人の人物の視線のなす角度θと、仮想物体の内容（種類及び大きさ）とを対応付けた第二のテーブルが記録されている。

　図１０は、図９に示すデジタルカメラのデータベース１０ａに記録される第二のテーブルの一例を示す図である。

　図１０に示すように、タキシードを着た３０－３５歳の男とウエディングドレスを着た３０－３５歳の女の二人の組み合わせと、０≦θ≦π／８の情報と、仮想物体の内容として“大きなハート”とが対応付けて記録されている。

　また、タキシードを着た３０－３５歳の男とウエディングドレスを着た３０－３５歳の女の二人の組み合わせと、π／８≦θ≦π／４の情報と、仮想物体の内容として“小さなハート”とが対応付けて記録されている。

　また、ユニフォームを着た２０－２５歳の男とユニフォームを着た２０－２５歳の男の二人の組み合わせと、０≦θ≦π／８の情報と、仮想物体の内容として“炎”とが対応付けて記録されている。

　例えば、個人認識部１３で判別された属性が、タキシードを着た３０－３５歳の男とウエディングドレスを着た３０－３５歳の女の組み合わせであり、視線角度検出部２４で算出された角度θが３０度であった場合は、図１１のＦＩＧ１１Ａに示すように、撮影された現実空間画像中の二人の視線の交点付近に、小さなハートが重畳表示される。

　また、例えば、個人認識部１３で判別された属性が、タキシードを着た３０－３５歳の男とウエディングドレスを着た３０－３５歳の女の組み合わせであり、視線角度検出部２４で算出された角度θが５度であった場合は、図１１のＦＩＧ１１Ｂに示すように、撮影された現実空間画像中の二人の視線の交点付近に、大きなハートが重畳表示される。

　また、例えば、個人認識部１３で判別された属性が、ユニフォームを着た２０－２５歳の男とユニフォームを着た２０－２５歳の男の組み合わせであり、視線角度検出部２４で算出された角度θが５度であった場合、図１１のＦＩＧ１１Ｃに示すように、撮影された現実空間画像中の二人の視線の交点付近に、炎が重畳表示される。

　図１２は、図９に示したデジタルカメラの二人拡張現実モード時の動作を説明するためのフローチャートである。図１２において、図８と同じ処理には同一符号を付して説明を省略する。

　ステップＳ４３の処理で二人の目と口の検出が成功した場合（ステップＳ１１０：Ｙ）は、ステップＳ８１、ステップＳ４５、ステップＳ４６が順次行われる。

　ステップＳ４６の後、視線角度検出部２４が、ステップＳ４６で算出された２つの視線ベクトルを二次元平面に射影し（ステップＳ１１１）、射影した２つの視線ベクトルのなす角度θを算出する（ステップＳ１１２）。

　次に、仮想物体決定部１０が、ステップＳ８１で判別された二人の人物の属性と、ステップＳ１１２で算出された角度θと、データベース１０ａに記録された第二のテーブルとに基づいて、仮想物体を決定する（ステップＳ１１３）。

　次に、重畳位置決定部１１が、ステップＳ４６で算出された世界座標における２つの視線ベクトルの交点座標を算出し、この交点座標を注目点とする。

　その後、ＣＧ重畳部１７が、この注目点の交点座標を二次元座標に変換し、変換後の交点座標に、ステップＳ１１３で決定された仮想物体を合成した拡張現実画像データを生成し、この拡張現実画像データに基づく画像を表示部２３に表示させる（ステップＳ１１４）。

　なお、二人拡張現実モード以外の拡張現実モード時の動作は、図８で説明したとおりである。

　以上のように、第二の変形例のデジタルカメラによれば、撮影された二人の人物の属性と視線のなす角度とに応じて、現実空間画像に重畳される仮想物体の種類及び大きさを決定することができる。このため、図１１に示したように、二人の人物の気持ちに沿った仮想物体を重畳表示させることができ、撮影されている人物の意図を反映した、面白みのある拡張現実感を提供することができる。

　なお、第二の変形例のデジタルカメラは、二人拡張現実モード時に個人認識を省略してもよい。この場合は、二人拡張現実モード時に重畳表示させる仮想物体をユーザが指定するものとし、仮想物体決定部１０は、視線角度検出部２４で算出された角度θに応じて、指定された仮想物体の大きさを決定すればよい。

　例えば、ユーザは、仮想物体としてハートを指定して図１１のＦＩＧ１１Ａに示すような二人を撮影すると、この二人の視線の角度が大きいときにはＦＩＧ１１Ａのようにハートが小さくなり、この二人の視線の角度が小さいときにはＦＩＧ１１Ｂのようにハートが大きくなる。

　このように、仮想物体が予め決まっている場合には、視線のなす角度θだけに応じて仮想物体の内容（大きさ）を決定することができる。

　ここまでの説明では、撮像素子３で撮影された現実空間画像に人物が２人以上含まれているときに、人物の視線に応じた位置に仮想物体を重畳表示させるものとした。以下では、撮像素子３で撮影された現実空間画像に含まれる人物が１人のときでも、仮想物体を重畳表示する方法について説明する。

　図１３は、図１に示すデジタルカメラの拡張現実モード時の動作の変形例を説明するためのフローチャートである。図１３において、図４と同じ処理には同一符号を付して説明を省略する。

　ステップＳ４３の処理の結果、撮像画像データに二人以上の目と口が検出されなかった場合、つまり、撮像画像データに人物が１人だけ含まれていた場合（ステップＳ４４：Ｎ）、座標変換部１４が、ステップＳ４３で検出された２つの目の各々の中心と口の中心とを結ぶ三角形（パーツ三角形）の各頂点の座標を算出し、この座標を三次元空間の座標（世界座標）に変換する（ステップＳ１３１）。

　次に、視線検出部１２が、世界座標に変換後のパーツ三角形を構成する２つの目を結ぶ線分の中点を始点とした当該パーツ三角形の法線ベクトル（視線ベクトル）を算出する（ステップＳ１３２）。この時点で、１本の視線ベクトルが算出される。

　次に、視線検出部１２は、ステップＳ４１で顔検出が行われた撮像画像データ、を得るための撮影時における撮像素子３の視線ベクトルの情報を取得する（ステップＳ１３３）。撮像素子３の視線ベクトルは、デジタルカメラの光軸と一致するため、視線検出部１２は、撮像画像データの中心から当該撮像画像データに対して垂直に延びる直線を撮像素子３の視線ベクトルとして算出することで、撮像素子３の視線ベクトルの情報を取得する。

　次に、重畳位置決定部１１が、ステップＳ１３２で算出された１本の視線ベクトルと、ステップＳ１３３で取得された撮像素子３の視線ベクトルとに基づいて、仮想物体を重畳させるべき位置（注目点）を決定する（ステップＳ１３４）。

　具体的には、重畳位置決定部１１が、ステップＳ１３２で算出された１本の視線ベクトルとステップＳ１３３で取得された撮像素子３の視線ベクトルとを結ぶ線分であって、双方の視線ベクトルに対して垂直な線分のうち最短のものを算出し、この最短の線分の中点を、仮想物体を重畳させるべき注目点として決定する。

　ステップＳ１３４の後は、ステップＳ５０において、ＣＧ重畳部１７が、撮像画像データのステップＳ１３４で決定された注目点に仮想物体を合成した拡張現実画像データを生成し、この拡張現実画像データに基づく画像を表示部２３に表示させる。

　以上のように、撮像素子３で撮影して得られた現実空間画像に人物が１人しか含まれない場合でも、その１人の人物の視線ベクトルと、撮像素子３の視線ベクトルとに基づいて、仮想物体を重畳させる位置を決定することができる。この場合、１人の人物の視線ベクトルと撮像素子３の視線ベクトルとのなす角度に応じて、仮想物体の大きさを変更してもよい。

　このように、図１、図５、図９に示したデジタルカメラ、図１３に示した動作を行うデジタルカメラによれば、撮影される人物のことを考慮した拡張現実画像データを生成して、これをユーザに提供することができ、拡張現実提供装置としてこれまでにない使い方を提案することができる。

　なお、以上の説明ではデジタルカメラに拡張現実機能を設けるものとしたが、ヘッドマウントディスプレイ（ＨＭＤ）に拡張現実機能を設けてもよい。

　例えば、図１に示したブロック構成、又はその変形例の構成を持つＨＭＤを、図１４に示したように、３人の人物１４Ａ，１４Ｂ，１４Ｃが装着した場合を例にする。

　この場合、人物１４Ａが装着するＨＭＤの撮像素子３で撮影される画像には、人物１４Ｂと人物１４Ｃが含まれる。このため、人物１４Ａが装着するＨＭＤの表示部２３には、現実空間画像の人物１４Ｂと人物１４Ｃの視線に応じた位置に仮想物体が重畳された拡張現実画像Ｇ１が表示される。

　人物１４Ｂ，人物１４Ｃが装着するＨＭＤの撮像素子３で撮影される画像には、人物１４Ａのみが含まれる。このため、人物１４Ｂが装着するＨＭＤの表示部２３には、人物１４Ａの視線と人物１４Ｂが装着するＨＭＤの視線とに応じた位置に仮想物体が重畳された拡張現実画像Ｇ２が表示される。また、人物１４Ｃが装着するＨＭＤの表示部２３には、人物１４Ａの視線と人物１４Ｃが装着するＨＭＤの視線とに応じた位置に仮想物体が重畳された拡張現実画像Ｇ３が表示される。

　このように、ＨＭＤに拡張現実機能を設けることで、撮影している側と、撮影されている側との双方で拡張現実感を共有することができる。

　本実施形態で説明した拡張現実機能は、撮像装置付の三次元プロジェクタに設けることもできる。

　図１５は、本発明の一実施形態を説明するための三次元プロジェクタ１５０の概略構成を示す図である。図１５に示すブロック構成は、ＣＧ重畳部１７を削除し、表示制御部２２及び表示部２３の代わりに、投影部３０を設けた点を除いては、図１に示したデジタルカメラのブロック構成と同じである。

　三次元プロジェクタには、撮像画像データを世界座標に変換した仮想空間と、その仮想空間の位置に対応する現実空間の位置を記録するテーブルが登録されている。そして、重畳位置決定部１１が、決定した注目点の世界座標に対応する現実空間の位置を当該テーブルから読み出し、当該現実空間の位置に仮想物体を投影するよう、投影部３０に指示する。

　投影部３０は、この指示にしたがって、当該現実空間の位置に仮想物体を投影する。

　図１６に示したように、三人の人物を撮影する場合、三次元プロジェクタ１５０は、撮影した画像に含まれる三人の人物の視線を検出し、この視線に応じて注目点を決定し、決定した注目点に対応する現実空間位置に仮想物体（図１６の例ではサッカーボール）を投影する。

　このようにすることで、撮影されている人達は、ＨＭＤを用いることなく、仮想物体を共有することができる。

　なお、三次元プロジェクタ１５０の撮影を行う部分（レンズ１、絞り２、撮像素子３、ＡＦＥ３２、ＡＤ変換部３３、レンズ駆動部４、撮像素子駆動部５）は、本体とは別体としてもよい。撮影を行う部分を別体にすることで、人物の視線を検出しやすい位置に撮影を行う部分を配置することができ、視線検出が容易になる。

　また、図５，９に示したブロック構成においても、ＣＧ重畳部１７を削除し、表示制御部２２及び表示部２３を投影部３０に変更した構成とし、重畳位置決定部１１が決定した注目点に仮想物体を投影するよう投影部３０に指示する構成にすることで、三次元プロジェクタとすることができる。また、三次元プロジェクタ１５０においても、図１３で説明した変形例を適用することができる。

　本実施形態で説明した拡張現実機能は、市販のコンピュータによって実現することもできる。

　例えば、図４に示したフローチャートの各ステップを実行するためのプログラムを記憶したコンピュータ可読媒体（例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ，ＤＶＤ－Ｒ、ＵＳＢメモリ等）から当該プログラムをコンピュータにインストールしておく。このプログラムをコンピュータが実行する場合、コンピュータは、図４に示すステップＳ４０では、ユーザから指定された撮像画像データを取得し、ステップＳ４２の判定がＮＯのときと、ステップＳ４４の判定がＮＯのときと、ステップＳ４８の結果、線分が１つも残らないときには、拡張現実画像データの生成ができないことをユーザに通知して、処理を終了する。また、ステップＳ５０では、コンピュータに接続された表示部に、拡張現実画像データに基づく画像を表示させる。

　又は、コンピュータに、図８又は図１２に示したフローチャートの各ステップを実行するためのプログラムを記憶したコンピュータ可読媒体から当該プログラムをコンピュータにインストールし、図５又は図９に示したデータベース１０ａを内蔵しておく。このプログラムをコンピュータが実行する場合、コンピュータは、図８、図１２に示すステップＳ４０では、ユーザから指定された撮像画像データを取得し、ステップＳ４２の判定がＮＯのときと、ステップＳ４４、ステップＳ１１０の判定がＮＯのときには、拡張現実画像データの生成ができないことをユーザに通知して、処理を終了する。また、ステップＳ５０、ステップＳ１１４では、コンピュータに接続された表示部に、拡張現実画像データに基づく画像を表示させる。

　或いは、図１３に示したフローチャートの各ステップを実行するためのプログラムを記憶したコンピュータ可読媒体から当該プログラムをコンピュータにインストールしておく。このプログラムをコンピュータが実行する場合、コンピュータは、図１３に示すステップ４０では、ユーザから指定された撮像画像データを取得し、ステップＳ４２の判定がＮＯのときと、ステップＳ４８の結果、線分が１つも残らないときには、拡張現実画像データの生成ができないことをユーザに通知して、処理を終了する。また、ステップＳ５０では、コンピュータに接続された表示部に、拡張現実画像データに基づく画像を表示させる。

　このように、撮像機能を持たない市販のコンピュータ上でも拡張現実画像データを生成して、これを再生することができる。

　以上説明してきたように、本明細書には以下の事項が開示されている。

　開示された情報提示装置は、現実空間にいる人物に情報を提示する情報提示装置であって、撮像素子で撮像された現実空間画像に前記情報を重畳させて表示部に表示させる制御、又は、前記現実空間の所定位置に前記情報を投影させる制御を行う制御部と、前記撮像素子で撮像された現実空間画像に含まれる人物の視線を検出する視線検出部と、前記視線検出部で検出された視線に基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示位置決定部とを備えるものである。

　開示された情報提示装置は、前記視線が検出された全ての人物の属性を、前記人物の画像とその属性を対応付けて記録しているデータベースと前記全ての人物の画像とを用いて判別する属性判別部と、前記全ての人物の属性にしたがって、前記情報の内容を決定する情報内容決定部とを更に備えるものである。

　開示された情報提示装置は、前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示すものである。

　開示された情報提示装置は、前記撮像素子で撮像された現実空間画像に含まれる二人の人物の各々の視線のなす角度を求める角度算出部と、少なくとも前記視線のなす角度にしたがって、前記情報の内容を決定する情報内容決定部とを更に備えるものである。

　開示された情報提示装置は、前記二人の人物の属性を、前記二人の人物の画像とその属性を対応付けて記録しているデータベースと前記二人の人物の画像とを用いて判別する属性判別部を更に備え、前記情報内容決定部は、前記視線のなす角度と前記二人の人物の属性にしたがって、前記情報の内容を決定するものである。

　開示された情報提示装置は、前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示すものである。

　開示された情報提示装置は、前記撮像素子で撮像された現実空間画像に含まれる人物が一人である場合に、前記撮像素子の視線の情報を取得する撮像素子視線情報取得部を更に備え、前記情報提示位置決定部は、前記一人の人物の視線と前記撮像素子の視線とに基づいて、前記情報の重畳位置又は前記所定位置を決定するものである。

　開示されたデジタルカメラは、前記情報提示装置の各部と、前記撮像素子と、前記表示部とを備え、前記制御部が、前記撮像素子で撮像された現実空間画像に前記情報を重畳させて前記表示部に表示させる制御を行うものである。

　開示されたヘッドマウントディスプレイは、前記情報提示装置の各部と、前記撮像素子と、前記表示部とを備え、前記制御部が、前記撮像素子で撮像された現実空間画像に前記情報を重畳させて前記表示部に表示させる制御を行うものである。

　開示されたプロジェクタは、前記情報提示装置の各部と、前記撮像素子とを備え、前記制御部が、前記現実空間の所定位置に前記情報を投影させる制御を行うものである。

　開示された情報提示方法は、現実空間にいる人物に情報を提示する情報提示方法であって、撮像素子で撮像された現実空間画像に前記情報を重畳させて表示部に表示させる制御、又は、前記現実空間の所定位置に前記情報を投影させる制御を行う制御ステップと、前記撮像素子で撮像された現実空間画像に含まれる人物の視線を検出する視線検出ステップと、前記視線検出ステップで検出された視線に基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示位置決定ステップとを備えるものである。

　開示された情報提示方法は、前記視線が検出された全ての人物の属性を、前記人物の画像とその属性を対応付けて記録しているデータベースと前記全ての人物の画像とを用いて判別する属性判別ステップと、前記全ての人物の属性にしたがって、前記情報の内容を決定する情報内容決定ステップとを更に備えるものである。

　開示された情報提示方法は、前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示すものである。

　開示された情報提示方法は、前記撮像素子で撮像された現実空間画像に含まれる二人の人物の各々の視線のなす角度を求める角度算出ステップと、少なくとも前記視線のなす角度にしたがって、前記情報の内容を決定する情報内容決定ステップとを更に備えるものである。

　開示された情報提示方法は、前記二人の人物の属性を、前記二人の人物の画像とその属性を対応付けて記録しているデータベースと当該人物の画像とを用いて判別する属性判別ステップを更に備え、前記情報内容決定ステップでは、前記視線のなす角度と前記二人の人物の属性にしたがって、前記情報の内容を決定するものである。

　開示された情報提示方法は、前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示すものである。

　開示された情報提示方法は、前記撮像素子で撮像された現実空間画像に含まれる人物が一人である場合に、前記撮像素子の視線の情報を取得する撮像素子視線情報取得ステップを更に備え、前記情報提示位置決定ステップでは、前記一人の人物の視線の方向と前記撮像素子の視線の方向とに基づいて、前記情報の重畳位置又は前記所定位置を決定するものである。

　開示された情報提示プログラムは、前記情報提示方法の各ステップをコンピュータに実行させるためのプログラムである。

　本発明によれば、利便性の高い情報提示装置、情報提示方法、及び情報提示プログラムを提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１０年９月３０日出願の日本出願（特願２０１０－２２３２７８）に基づくものであり、その内容はここに参照として取り込まれる。

３　撮像素子
１１　重畳位置決定部
１２　視線検出部
１７　ＣＧ重畳部
２３　表示部

Claims (18)

1. 　現実空間にいる人物に情報を提示する情報提示装置であって、
   　撮像素子で撮像された現実空間画像に前記情報を重畳させて表示部に表示させる制御、又は、前記現実空間の所定位置に前記情報を投影させる制御を行う制御部と、
   　前記撮像素子で撮像された現実空間画像に含まれる人物の視線を検出する視線検出部と、
   　前記視線検出部で検出された視線に基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示位置決定部とを備える情報提示装置。
2. 　請求項１記載の情報提示装置であって、
   　前記視線が検出された全ての人物の属性を、前記人物の画像とその属性を対応付けて記録しているデータベースと、前記全ての人物の画像とを用いて判別する属性判別部と、
   　前記全ての人物の属性にしたがって、前記情報の内容を決定する情報内容決定部とを更に備える情報提示装置。
3. 　請求項２記載の情報提示装置であって、
   　前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示す情報提示装置。
4. 　請求項１記載の情報提示装置であって、
   　前記撮像素子で撮像された現実空間画像に含まれる二人の人物の各々の視線のなす角度を求める角度算出部と、
   　少なくとも前記視線のなす角度にしたがって、前記情報の内容を決定する情報内容決定部とを更に備える情報提示装置。
5. 　請求項４記載の情報提示装置であって、
   　前記二人の人物の属性を、前記二人の人物の画像とその属性を対応付けて記録しているデータベースと、前記二人の人物の画像とを用いて判別する属性判別部を更に備え、
   　前記情報内容決定部は、前記視線のなす角度と前記二人の人物の属性にしたがって、前記情報の内容を決定する情報提示装置。
6. 　請求項５記載の情報提示装置であって、
   　前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示す情報提示装置。
7. 　請求項１記載の情報提示装置であって、
   　前記撮像素子で撮像された現実空間画像に含まれる人物が一人である場合に、前記撮像素子の視線の情報を取得する撮像素子視線情報取得部を備え、
   　前記情報提示位置決定部は、前記一人の人物の視線と前記撮像素子の視線とに基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示装置。
8. 　請求項１～７のいずれか１項記載の情報提示装置の各部と、
   　前記撮像素子と、
   　前記表示部とを備え、
   　前記制御部が、前記撮像素子で撮像された現実空間画像に前記情報を重畳させて前記表示部に表示させる制御を行うデジタルカメラ。
9. 　請求項１～７のいずれか１項記載の情報提示装置の各部と、
   　前記撮像素子と、
   　前記表示部とを備え、
   　前記制御部が、前記撮像素子で撮像された現実空間画像に前記情報を重畳させて前記表示部に表示させる制御を行うヘッドマウントディスプレイ。
10. 　請求項１～７のいずれか１項記載の情報提示装置の各部と、
    　前記撮像素子とを備え、
    　前記制御部が、前記現実空間の所定位置に前記情報を投影させる制御を行うプロジェクタ。
11. 　現実空間にいる人物に情報を提示する情報提示方法であって、
    　撮像素子で撮像された現実空間画像に前記情報を重畳させて表示部に表示させる制御、又は、前記現実空間の所定位置に前記情報を投影させる制御を行う制御ステップと、
    　前記撮像素子で撮像された現実空間画像に含まれる人物の視線を検出する視線検出ステップと、
    　前記視線検出ステップで検出された視線に基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示位置決定ステップとを備える情報提示方法。
12. 　請求項１１記載の情報提示方法であって、
    　前記視線が検出された全ての人物の属性を、前記人物の画像とその属性を対応付けて記録しているデータベースと、前記全ての人物の画像とを用いて判別する属性判別ステップと、
    　前記全ての人物の属性にしたがって、前記情報の内容を決定する情報内容決定ステップとを更に備える情報提示方法。
13. 　請求項１２記載の情報提示方法であって、
    　前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示す情報提示方法。
14. 　請求項１１記載の情報提示方法であって、
    　前記撮像素子で撮像された現実空間画像に含まれる二人の人物の各々の視線のなす角度を求める角度算出ステップと、
    　少なくとも前記視線のなす角度にしたがって、前記情報の内容を決定する情報内容決定ステップとを更に備える情報提示方法。
15. 　請求項１４記載の情報提示方法であって、
    　前記二人の人物の属性を、前記二人の人物の画像とその属性を対応付けて記録しているデータベースと当該人物の画像とを用いて判別する属性判別ステップを更に備え、
    　前記情報内容決定ステップでは、前記視線のなす角度と前記二人の人物の属性にしたがって、前記情報の内容を決定する情報提示方法。
16. 　請求項１５記載の情報提示方法であって、
    　前記人物の属性は、性別、年齢、職業、名前、及び服装のうち少なくとも１つを示す情報提示方法。
17. 　請求項１１記載の情報提示方法であって、
    　前記撮像素子で撮像された現実空間画像に含まれる人物が一人である場合に、前記撮像素子の視線の情報を取得する撮像素子視線情報取得ステップを更に備え、
    　前記情報提示位置決定ステップでは、前記一人の人物の視線の方向と前記撮像素子の視線の方向とに基づいて、前記情報の重畳位置又は前記所定位置を決定する情報提示方法。
18. 　請求項１１～１７のいずれか１項記載の情報提示方法の各ステップをコンピュータに実行させるための情報提示プログラム。

Images