JP3579218B2 - 情報表示装置及び情報収集装置 - Google Patents
情報表示装置及び情報収集装置 Download PDFInfo
- Publication number
- JP3579218B2 JP3579218B2 JP19474497A JP19474497A JP3579218B2 JP 3579218 B2 JP3579218 B2 JP 3579218B2 JP 19474497 A JP19474497 A JP 19474497A JP 19474497 A JP19474497 A JP 19474497A JP 3579218 B2 JP3579218 B2 JP 3579218B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- gaze
- detected
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視線検知機能を有する装置に関するものであり、特に、所定の情報を表示する表示装置及び所定の情報を収集する情報収集装置に関するものである。
【０００２】
【従来の技術】
従来より人間の視線方向を検出する方法が種々開発され、視線の注視位置にカーソル等を表示すること等が行われている。視線検出方法には、いわゆる非接触型と接触型とに分類されるが、非接触型の代表例としては、以下の２つがある。その１つは、特開平８−３２２７９６号に示すものである。これは、人間の顔部分を撮影して得た画像データに対してエッジ抽出処理を行う。そして、目部分の切出し処理を行った上で、目における黒目の位置を水平方向、垂直方向のそれぞれについて特徴抽出する。そして、水平方向標準パターンと垂直方向標準パターンとのマッチングを行い、視線方向を算出するのである。
また、他の１つの例としては、特開平５−２０５０３０号に示すものがある。これは、人間の目に近赤外光を照射することにより、該近赤外光が人間の網膜で反射する際の反射角度を算出して、視線方向を算出するものである。
また、表示装置には種々のものが存在し、例えば、液晶プロジェクタや大型のプラズマディスプレイのような大型の表示装置が存在する。そして、このような大型の表示装置に所定の広告用のコマーシャルを流すことが行われている。
【０００３】
【発明が解決しようとする課題】
ここで、上記視線検出装置を有効に利用した装置やシステムが要望されていた。
また、従来の大型の表示装置等においてコマーシャルを流す場合に、近くの人が見ているかどうかが不明であり、宣伝効果を十分把握できないという問題があった。
そこで、本発明は、視線検出装置を利用した新たな装置やシステムを提供するとともに、特に、人間の視認頻度を把握することができる表示装置や情報収集装置を提供することを目的とするものである。
【０００４】
【課題を解決するための手段】
本発明は上記問題点を解決するために創作されたものであって、請求項１に係る発明は、所定の情報を表示する情報表示装置であって、情報を表示する表示手段と、視線を検出する視線検出手段と、該視線検出手段の検出結果に基づき、表示手段への表示を制御する表示制御手段とを有し、上記視線検出手段が複数人の視線を検出した際、後に検出した視線の視線検出手段の検出結果に拘らず、最先に検出した視線の視線検出手段の検出結果に基づいて上記表示制御手段は所定の情報の上記表示手段への表示タイミングを制御し、最先に検出した視線が離脱した場合、後に検出した視線の視線検出手段の検出結果に基づいて上記表示制御手段は所定の情報の上記表示手段への表示タイミングを制御することを特徴とする。
【０００６】
また、請求項２に係る発明は、請求項１に記載の情報表示装置において、所定の情報を表示する情報表示装置であって、情報を表示する表示手段と、視線を検出する視線検出手段と、該視線検出手段の検出結果に基づき、表示手段への表示を制御する表示制御手段とを有し、該表示制御手段は、上記表示手段の表示画面と視線が検出された人物との間の距離を推定し、その距離に従い、表示する情報の表示領域の大きさを制御することを特徴とする。
【０００７】
更に、請求項３に係る発明は、請求項１〜２のうちいずれかに係る発明において、上記視線検出手段が、該表示手段の視認可能位置の少なくとも一部を撮影する撮影手段を有し、上記視線検出手段は、該撮影手段により撮影された画像により視線を検出することを特徴とする。
【０００８】
また、請求項４に係る発明は、請求項１〜３に係る発明において、上記表示制御手段が、上記視線検出手段の検出結果に基づき、表示される所定の情報の表示位置を制御することを特徴とする。
更に、請求項５に係る発明は、請求項１〜４に係る発明において、上記表示制御手段が、検出された視線が上記表示手段上のいずれかの位置に所定時間停留した注視点が検出された場合に、該注視点位置に所定の情報を表示することを特徴とする。
請求項６に係る発明は、請求項２〜５に係る発明において、上記表示制御手段が、上記視線検出手段の検出結果に基づき、所定の情報の上記表示手段への表示タイミングを制御することを特徴とする。
請求項７に係る発明は、請求項１〜６に係る発明において、上記情報表示装置が、さらに、上記視線検出手段により検出された視線に基づき、注視をしている人数をカウントする情報収集手段を有することを特徴とする。
【０００９】
【発明の実施の形態】
本発明の実施の形態としての実施例を図面を利用して説明する。
本発明に基づく情報表示装置Ａは、図１に示されるように構成され、カメラ１０と、視線検出部１２と、提示情報記憶部１４と、収集情報記憶部１６と、表示部１８と、判断部２０とを有している。
【００１０】
ここで、上記撮影手段としての上記カメラ１０は、上記表示部１８の視認可能位置の少なくとも一部を撮影するものであり、主に表示部１８の前方部分を撮影するものである。このカメラ１０は、ＣＣＤカメラ等により構成される。
また、上記視線検出部１２は、上記カメラ１０により得られた画像データに人間の顔があり、表示部１８の方を向いている場合に、その人の視線方向を検出するものである。具体的には、撮影して得られた画像データに対してエッジ抽出を行い、人間の顔が写っている場合に、その目における黒目の方向を検出することにより行う。詳しくは後述する。視線方向を検出すると、この視線方向についての視線方向データを判断部２０に出力する。この視線検出部１２は、実際には、視線検出を行うためのプログラムを格納した記憶部と該プログラムに従い所定の処理を行うＣＰＵ等から構成される。
【００１１】
また、上記提示情報記憶部１４は、上記表示部１８に表示するための情報を格納するものであり、例えば、複数のコマーシャル用の映像等が格納されている。また、上記収集情報記憶部１６は、収集された情報を格納するものである。
また、表示部１８は、所定の情報を表示するためのものであり、液晶プロジェクタやプラズマディスプレイ等その種類は任意である。
【００１２】
また、上記判断部２０は、上記視線検出部１２により検出された視線方向に基づき、提示情報記憶部１４に記憶された情報の上記表示部１８への表示を制御し、また、上記検出された注視点に基づき収集された所定の情報を収集情報記憶部１６に格納するものである。この判断部２０は、表示部１８への表示制御を行うためのプログラムや収集情報記憶部１６へ所定の情報を格納するためのプログラム等を格納する記憶部や演算処理を行うためのＣＰＵ等により構成される。詳しい制御の方法については後述する。この判断部２０は表示制御手段として機能する。また、上記収集情報記憶部１６と判断部２０とは情報収集手段として機能する。上記視線検出部１２におけるＣＰＵとこの判断部２０におけるＣＰＵは１つのＣＰＵにより構成してもよい。
【００１３】
なお、図１に示す構成に、さらに、スピーカ等の音声出力部と、該音声出力部から出力するための音声データを格納する音声データ格納部とを判断部２０に接続し、判断部２０が視線検出部１２からの検出結果に従い、出力される音声を制御するようにしてもよい。
【００１４】
上記図１に示す情報表示装置Ａの外観の一例を示すと、図２に示すように構成され、表示部１８は大型のディスプレイとして構成され、上記表示部１８の上部には、カメラ１０が設置されている。この情報表示装置Ａは所定の場所に固定されている。
なお、上記カメラ１０と上記視線検出部１２とが上記視線検出手段として機能する。なお、本実施例では、上記のように視線検出手段をカメラ１０と視線検出部１２とにより構成するものとして説明したが、これには限られず、人物の視線を検出できるものであれば他の構成としてもよい。
【００１５】
上記構成における情報表示装置Ａの動作について、図３等を使用して説明する。まず、カメラ１０が所定の被写体を撮影する。本実施例の場合には、情報表示装置Ａが固定されているので、カメラ１０のレンズ系が向けられた所定の被写体を撮影する。すると、このカメラ１０により撮影された画像は視線検出部１２に送られる。視線検出部１２では、撮影された画像にエッジ抽出処理が行われる（Ｓ１０）。そして、エッジ抽出処理後に、まず、人の顔があるかどうかが検出される（Ｓ１１）。つまり、エッジ抽出処理が行われた画像と標準パターン画像とを比較して、人の顔があるかどうかを推定する。なお、人の顔の判定においては、肌色情報をも考慮して行うようにしてもよい。フレーム間の差分画像から移動した物体を検知し、その物体と標準パターン画像とを比較して人の顔を判定するようにしてもよい。
【００１６】
人の顔があることが検出されたら、視線を検出する（Ｓ１２）。ここでは、視線方向を検出する。すなわち、エッジ抽出することにより得られたエッジ情報から、検出された人の顔における目の垂直方向の位置と水平方向の位置とを推定して目の部分の画像を切り出し、この切り出した画像と濃淡画像とから目における黒目の位置を水平方向及び垂直方向に抽出する。その後、黒目の水平方向標準パターンと垂直方向標準パターンとそれぞれ比較して、視線方向を検出するのである。
【００１７】
そして、検出された視線の方向が表示部１８を向いているかどうかが判定される（Ｓ１３）。つまり、視線の空間位置を検出する。すなわち、撮影された画像におけるその人の目の空間座標位置と、検出された視線方向とにより視線の空間位置を検出し、その人が表示部１８の範囲を見ているかどうかを判定する。なお、上記目の空間座標位置の検出は次のように行う。つまり、図２に示すＸ方向、Ｙ方向の座標については撮影された２次元画像における座標により検出可能であり、また、Ｚ方向の座標については、例えば、顔の大きさから推定する方法や距離センサにより検知する方法等がある。なお、このＺ方向の座標については、所定の光を照射し、顔や目等に反射して帰ってくるまでの時間により算出してもよい。
【００１８】
以上のようにして、目の空間位置と視線方向とに基づき、空間内における視線の位置が決定されるので、その視線が表示部１８の表示面を通過するかどうかを判定する。具体的には、視線が、表示部１８の範囲の角部として予め定められた座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ２）の範囲内を通過するかどうかにより判定する。具体的には、図２における甲氏と乙氏は表示部１８を見ていることになり、丙氏は表示部１８を見ていないことになる。上記ステップＳ１０〜ステップＳ１３までの処理は、視線検出部１２により行われる。
【００１９】
以上のように、視線方向が表示部を向いている場合には、注視点が検出されるかどうかを検出する（Ｓ１４）。つまり、表示部１８のいずれかの点を向いた視線が一定時間停留しているかどうかにより判定する。つまり、視線が表示部１８の方を向いていたとしても、単に視線を向けただけであるとか、表示部１８以外の別の場所に視線を向けるために単に視線方向が通過しただけの場合等には、表示部１８のある箇所を視認していることにはならないため、所定時間視線方向が表示部１８上の所定位置に固定されているかどうかを判定する。
【００２０】
そして、注視点が検出された場合には、所定の表示を表示部１８に行う（Ｓ１５）。この表示部１８への所定の表示の態様については後述する。また、上記のように注視点が検出された場合には、それをカウントする（Ｓ１６）。カウントしたカウント数の情報は収集情報記憶部１６に格納される。
【００２１】
なお、視線方向検出及び注視点検出の方法は上記の方法には限られず、他の方法であってもよい。例えば、人の顔があるかどうかの検出は上記と同様の方法で行い、視線方向の検出については、近赤外光を照射してその反射角度に基づき算出するようにしてもよい。また、上記の方法とこの近赤外光による方法とを併用してもよい。また、上記Ｚ方向の座標は、近赤外光が反射して戻ってくる到達時間により検出してもよい。
また、上記の説明では、視線が検出され、その中から注視点を検出するものとして説明したが、これには限られず、視線検出部１２が上記注視点を視線として検出し、この視線が検出された場合に所定の表示を表示部１８に行うようにしてもよい。
また、注視点が検出された場合に限らず、単に視線検出部１２により視線が検出された場合にも、所定の情報を表示し（Ｓ１５）、また、カウントを行うようにしてもよい（Ｓ１６）。
【００２２】
次に、注視点が検出された場合の所定の表示についてその具体例を説明する。つまり、図３のステップＳ１５についてさらに詳述する。
まず、第１の具体例について説明する。表示部１８には、種々のコマーシャル映像が表示されている。例えば、Ａ社のコマーシャルが放映されたら、次は、Ｂ社のコマーシャルを放映し、該Ｂ社のコマーシャルが放映されたら次にはＣ社のコマーシャルを放映するというように行う。
【００２３】
このような状態で、図２に示すように、甲氏が表示部１８を見て、注視点ａが検出されたものとする。すると、図４に示すように、この注視点ａを中心とした表示エリアａ−１に、視認者に所定の情報を表示する。つまり、注視点ａが検出されたタイミングで、該所定の情報を表示する。この所定の情報とは、注視者に最も印象付けたい情報、例えば、商品名等が好ましい。つまり、この表示される所定の情報とは、表示部１８全体に表示されている映像に上書きする形で表示されることになる。従って、音声は表示部１８全体に表示されている映像に合わせた音声が出力されており、表示エリアａ−１に表示される情報独自の音声は出力されない。同じように、乙氏が表示部１８を見て、注視点ｂが検出された場合には、この注視点ｂを中心とする表示エリアｂ−１に同じように所定の情報を表示する。なお、注視点が検出されなくなったら、表示エリアへの表示は停止する。つまり、上記の例で甲氏が視線を移動して注視点ａが移動したら表示エリアａ−１への表示は停止する。なお、該甲氏が移動した視線が他の位置で所定時間固定して注視点ａ’が検出された場合には、再度この注視点ａ’の位置に上記所定の情報を表示する。なお、同じ人の視線が表示部１８上を移動する場合には、上記所定の情報を視線の動きに追随して移動するようにしてもよい。
このようにすれば、注視者に商品名等をより深く印象付けることができ、宣伝効果を高めることができる。
【００２４】
次に、第２具体例について説明する。この第２具体例においては、注視点が検出された場合に、表示を開始するものである。例えば、通常は表示部１８に背景画、風景画等の映像を流しておき（何も表示しない状態でもよい）、ある人の注視点が検出された場合には、表示部１８全体に所定の情報を放映する。つまり、甲氏が表示部１８の前に来て表示部１８を見て、注視点ａが検出された場合には、表示部１８全体に所定のコマーシャル映像を表示する。例えば、図５に示すように、Ａ社のコマーシャルを出力し、注視点ａが検出される限り、続けて、Ｂ社のコマーシャルを出力する。音声としても、このコマーシャル映像に対応した音声を出力する。そして、甲氏が視線を移動させたり、甲氏自身が移動する等して注視点が検出されなくなった場合には、表示部１８への表示や音声の出力を停止する。
【００２５】
なお、甲氏の注視点が検出されたことにより表示されたコマーシャル映像が出力されている最中に、他の乙氏の注視点が検出された場合には、甲氏の注視点ａが検出されている限り、注視点ａが検出されたタイミングで出力を行う。よって、図５に示すように、注視点ａが検出されている間に他の注視点ｂが検出されても、注視点ａの離脱よりも先に注視点ｂが離脱してしまった場合には、注視点ａが検出されたタイミングでそのまま出力されることになる。また、甲氏の注視点ａが離脱した場合には、その時、他の注視点が検出されれば、再度出力を開始する。その際には、最後まで出力されなかったコマーシャル（図５の場合にはＢ社のコマーシャル）を最初から出力してもよいし、一方、Ａ社のコマーシャルから開始してもよい。
【００２６】
また、ある人の注視点が検出されたことにより表示されたコマーシャル映像が出力されている最中に、他の人の注視点が検出された場合の処理として以下のようにしてもよい。
つまり、１つの注視点が検出されている間は、表示部１８全体にコマーシャル映像を表示し、他の注視点がさらに検出された場合には、表示エリアを縮小して表示するのである。つまり、甲氏の注視点ａのみが検出されている場合には、表示部１８全体にコマーシャル映像を表示し、甲氏の注視点ａが検出されている間に乙氏の注視点ｂが検出された場合には、甲氏のために表示されていた映像を注視点ａを中心とする表示エリアａ−２に縮小して表示し、別に乙氏の注視点ｂを中心とする表示エリアｂ−２に乙氏のためのコマーシャル映像の表示を開始する。なお、この場合には、表示エリアａ−２への表示と表示エリアｂ−２への表示とは別々のタイミングで行われるので、音声を出力しない方が好ましい。
【００２７】
次に、第３具体例について説明する。この第３具体例においては、上記第２具体例と同様に注視点が検出された場合に表示を開始するものであるが、以下の点で異なる。すなわち、ある人の注視点が検出された場合には、その注視点を中心とする所定範囲の表示エリアに所定の情報を表示する。例えば、通常は表示部１８に背景画、風景画等の映像を流しておき、甲氏の注視点ａが検出された場合には、この注視点ａを中心とする表示エリアａ−３にコマーシャル映像を表示する。そして、他の乙氏の注視点ｂが検出された場合には、この注視点ｂを中心とする表示エリアｂ−３を中心とする表示エリアｂ−３に表示を行う。各表示エリアへの表示は、各注視点が検知されたタイミングで行われることになる。
【００２８】
なお、注視点が検出されなくなったら、表示エリアへの表示は停止する。つまり、上記の例で甲氏が視線を移動して注視点ａが移動したら表示エリアａ−３への表示は停止する。また、上記第１具体例と同様に、該甲氏が移動した視線が他の位置で所定時間固定して注視点ａ’が検出された場合には、再度この注視点ａ’の位置に上記所定の情報を表示する。なお、同じ人の視線が表示部１８上を移動する場合には、上記所定の情報を視線の動きに追随して移動するようにしてもよい。
【００２９】
上記各第２具体例及び第３具体例によれば、表示タイミングを制御して、注視点が検出された時点で表示を開始するので、注視者に確実に情報を伝えることができる。
なお、上記各具体例において、注視点によって別々の表示エリアに情報を表示する場合に、ある注視点の表示エリアが他の注視点の表示エリアと重なる場合には、表示エリアが重ならないように表示をすることが好ましい。例えば、上記第１具体例の場合に、図８に示すように、注視点ａと注視点ａよりも後から検出された注視点ｃとが検出され、注視点ａの表示エリアａ−１と注視点ｃの表示エリアｃ−１とが重なる場合には、後から検出された注視点ｃの表示エリアを表示エリアａ−１からずらして表示する。
【００３０】
また、上記各具体例において、注視点によって別々の表示エリアに情報を表示する場合に、表示部１８の表示画面との距離に応じて表示エリアの画角を変化させるようにしてもよい。つまり、表示部１８の表示画面との距離が長くなるに従い表示エリアの大きさを大きくするのである。例えば、上記第３具体例の場合において、甲氏と表示部１８の表示画面との距離がＸで、乙氏と表示部１８の表示画面との距離がＹの場合には、該距離に応じて画角を制御する。つまり、上記距離Ｘの方が距離Ｙよりも長い場合には、図９に示すように、甲氏の注視点ａを中心とする表示エリアａ−３を乙氏の注視点ｂを中心とする表示エリアｂ−３’よりも大きくするのである。なお、上記甲氏や乙氏等の人物と表示画面との距離は、撮影された画像におけるその人物の身長や顔の大きさから推定する方法が考えられる。
【００３１】
なお、上記の各具体例において、複数の視線が検出された場合には、注視位置に拘らずに、表示部１８の真ん中に１つの画像を表示するようにしてもよい。また、注視点の最も多い位置に画像を表示するようにしてもよい。
以上のように、上記各具体例によれば、注視点が検出されると、この注視点の検出に対応して所定の情報を表示するので、注視者に効果的に情報を伝達することができる。
【００３２】
次に、検出された注視点のカウントについて説明する。つまり、図３のステップＳ１６についてさらに詳述する。
このカウントは、注視点が検出された時点でカウントしていく。よって、各コマーシャルが順次表示される状態で注視点のカウントをしていけば、どの程度の人数がそのコマーシャルを見ているかを知ることができる。つまり、図１０に示すように、Ａ社のコマーシャルが表示されている間の注視点の数をカウントし、また、Ｂ社のコマーシャルが表示されている間の注視点の数をカウントするというように、順次カウントして上記収集情報記憶部１６に格納していけば各コマーシャルを見ている人数を把握して情報を収集することができる。
【００３３】
なお、ある人が表示部１８のある位置を見て注視点が検出され、その後、その人が若干視線を表示部１８上の他の位置にずらして所定時間その位置に視線を固定した場合には、新たに注視点が検出されることになるが、これは前回の注視点とは別の注視点としてカウントする。ただし、その人の視線の移動を追跡したり、また、その視線の人物の顔のデータを保存しておく等して同じ者の視線であることが分かる場合には、全体として１つの注視点としてカウントしてもよい。
【００３４】
また、表示部１８に１つの映像に一度に複数の画像を表示して、注視点をカウントすることにより情報を収集することができる。例えば、図１１に示すように、表示部１８にＡ商品の画像Ｓ１と、Ｂ商品の画像Ｓ２と、Ｃ商品の画像Ｓ３とを表示する。そして、表示部１８を見る人の注視点がＡ商品の画像Ｓ１、Ｂ商品の画像Ｓ２、Ｃ商品の画像Ｓ３のいずれにあるかをカウントする。そして、各商品ごとの注視点のカウント数を収集情報記憶部１６に格納していく。これにより、どの商品に人気があるか等の情報を効果的に得ることができる。
【００３５】
次に、本実施例における情報収集装置について説明する。
本実施例における情報収集装置Ｂは、図１２に示すように、カメラ１１０と、視線検出部１１２と、収集情報記憶部１１６と、判断部１２０とを有している。ここで、上記カメラ１１０は、上記情報表示装置Ａと同様に、所定の被写体を撮影するものである。また、上記視線検出部１１２は、人間の視線方向や注視点を検出する。さらに、上記収集情報記憶部１１６は、収集された情報を格納するものである。さらに、上記判断部１２０は、視線検出部１１２により検出された注視点により所定の情報を収集情報記憶部１１６に格納するものであり、上記収集情報記憶部１１６へ所定の情報を格納するためのプログラム等を格納する記憶部や演算処理を行うためのＣＰＵ等により構成される。
【００３６】
上記構成における情報収集装置Ｂの動作及び使用状態について説明する。この情報収集装置Ｂにおけるカメラ１１０は、例えば、図１３に示すように、ショーウインドウに設置される。このそして、判断部１２０には、ショーウインドウには各種商品が陳列され、判断部１２０には各商品に対応する注視点の座標領域についての情報が保持され、ある人の注視点によりその注視点がその座標領域内にあるかどうかを判断することにより、その人がその商品を注視しているかどうかを知ることができるようになっている。
【００３７】
すなわち、図１３に示す場合の情報収集装置Ｂの動作について説明すると、図３に示すステップＳ１０〜Ｓ１２に示す場合と同様に、人間の視線方向が検出されたら、その視線方向が各商品についての座標領域内を向いているかどうかが判定される。そして、いずれかの商品の座標領域内を向いている場合には、注視点が検出されるかどうかが判定され、注視点が検出される場合には、その商品についてカウントを行う。例えば、Ａ商品についての注視点の座標範囲内に注視点が検出された場合には、ある人がＡ商品を注視しているとして、収集情報記憶部１１６におけるＡ商品についてのカウント数を１加算する。つまり、注視点をグループ化して各グループごとにカウントしていくのである。
【００３８】
以上のように、複数の人が商品を見る頻度を検出することにより、どの商品に人気があるか等の情報を効果的に得ることができる。
なお、上記の説明において、注視点が検出された場合として説明している箇所は、単なる視線が検出された場合にも適用するようにしてもよい。
【００３９】
【発明の効果】
本発明の情報表示装置によれば、表示手段を見る人物の視線に応じて適宜表示を制御するので、該人物に確実に情報を伝えることができる。
【図面の簡単な説明】
【図１】本発明の実施例に基づく情報表示装置の構成を示すブロック図である。
【図２】本発明の実施例に基づく情報表示装置の外観とその動作状態を説明するための説明図である。
【図３】情報表示装置の動作を説明するためのフローチャートである。
【図４】情報表示装置における表示部への表示例を示す説明図である。
【図５】情報表示装置の動作状態を説明するための説明図である。
【図６】情報表示装置における表示部への表示例を示す説明図である。
【図７】情報表示装置における表示部への表示例を示す説明図である。
【図８】情報表示装置における表示部への表示例を示す説明図である。
【図９】情報表示装置における表示部への表示例を示す説明図である。
【図１０】情報表示装置の動作状態を説明するための説明図である。
【図１１】情報表示装置における表示部への表示例を示す説明図である。
【図１２】本発明の実施例に基づく情報収集装置の構成を示すブロック図である。
【図１３】本発明の実施例に基づく情報収集装置の使用状態を説明するための説明図である。
【符号の説明】
Ａ 情報表示装置
Ｂ 情報収集装置
１０、１１０ カメラ
１２、１１２ 視線検出部
１４ 提示情報記憶部
１６、１１６ 収集情報記憶部
１８ 表示部
２０、１２０ 判断部
【発明の属する技術分野】
本発明は、視線検知機能を有する装置に関するものであり、特に、所定の情報を表示する表示装置及び所定の情報を収集する情報収集装置に関するものである。
【０００２】
【従来の技術】
従来より人間の視線方向を検出する方法が種々開発され、視線の注視位置にカーソル等を表示すること等が行われている。視線検出方法には、いわゆる非接触型と接触型とに分類されるが、非接触型の代表例としては、以下の２つがある。その１つは、特開平８−３２２７９６号に示すものである。これは、人間の顔部分を撮影して得た画像データに対してエッジ抽出処理を行う。そして、目部分の切出し処理を行った上で、目における黒目の位置を水平方向、垂直方向のそれぞれについて特徴抽出する。そして、水平方向標準パターンと垂直方向標準パターンとのマッチングを行い、視線方向を算出するのである。
また、他の１つの例としては、特開平５−２０５０３０号に示すものがある。これは、人間の目に近赤外光を照射することにより、該近赤外光が人間の網膜で反射する際の反射角度を算出して、視線方向を算出するものである。
また、表示装置には種々のものが存在し、例えば、液晶プロジェクタや大型のプラズマディスプレイのような大型の表示装置が存在する。そして、このような大型の表示装置に所定の広告用のコマーシャルを流すことが行われている。
【０００３】
【発明が解決しようとする課題】
ここで、上記視線検出装置を有効に利用した装置やシステムが要望されていた。
また、従来の大型の表示装置等においてコマーシャルを流す場合に、近くの人が見ているかどうかが不明であり、宣伝効果を十分把握できないという問題があった。
そこで、本発明は、視線検出装置を利用した新たな装置やシステムを提供するとともに、特に、人間の視認頻度を把握することができる表示装置や情報収集装置を提供することを目的とするものである。
【０００４】
【課題を解決するための手段】
本発明は上記問題点を解決するために創作されたものであって、請求項１に係る発明は、所定の情報を表示する情報表示装置であって、情報を表示する表示手段と、視線を検出する視線検出手段と、該視線検出手段の検出結果に基づき、表示手段への表示を制御する表示制御手段とを有し、上記視線検出手段が複数人の視線を検出した際、後に検出した視線の視線検出手段の検出結果に拘らず、最先に検出した視線の視線検出手段の検出結果に基づいて上記表示制御手段は所定の情報の上記表示手段への表示タイミングを制御し、最先に検出した視線が離脱した場合、後に検出した視線の視線検出手段の検出結果に基づいて上記表示制御手段は所定の情報の上記表示手段への表示タイミングを制御することを特徴とする。
【０００６】
また、請求項２に係る発明は、請求項１に記載の情報表示装置において、所定の情報を表示する情報表示装置であって、情報を表示する表示手段と、視線を検出する視線検出手段と、該視線検出手段の検出結果に基づき、表示手段への表示を制御する表示制御手段とを有し、該表示制御手段は、上記表示手段の表示画面と視線が検出された人物との間の距離を推定し、その距離に従い、表示する情報の表示領域の大きさを制御することを特徴とする。
【０００７】
更に、請求項３に係る発明は、請求項１〜２のうちいずれかに係る発明において、上記視線検出手段が、該表示手段の視認可能位置の少なくとも一部を撮影する撮影手段を有し、上記視線検出手段は、該撮影手段により撮影された画像により視線を検出することを特徴とする。
【０００８】
また、請求項４に係る発明は、請求項１〜３に係る発明において、上記表示制御手段が、上記視線検出手段の検出結果に基づき、表示される所定の情報の表示位置を制御することを特徴とする。
更に、請求項５に係る発明は、請求項１〜４に係る発明において、上記表示制御手段が、検出された視線が上記表示手段上のいずれかの位置に所定時間停留した注視点が検出された場合に、該注視点位置に所定の情報を表示することを特徴とする。
請求項６に係る発明は、請求項２〜５に係る発明において、上記表示制御手段が、上記視線検出手段の検出結果に基づき、所定の情報の上記表示手段への表示タイミングを制御することを特徴とする。
請求項７に係る発明は、請求項１〜６に係る発明において、上記情報表示装置が、さらに、上記視線検出手段により検出された視線に基づき、注視をしている人数をカウントする情報収集手段を有することを特徴とする。
【０００９】
【発明の実施の形態】
本発明の実施の形態としての実施例を図面を利用して説明する。
本発明に基づく情報表示装置Ａは、図１に示されるように構成され、カメラ１０と、視線検出部１２と、提示情報記憶部１４と、収集情報記憶部１６と、表示部１８と、判断部２０とを有している。
【００１０】
ここで、上記撮影手段としての上記カメラ１０は、上記表示部１８の視認可能位置の少なくとも一部を撮影するものであり、主に表示部１８の前方部分を撮影するものである。このカメラ１０は、ＣＣＤカメラ等により構成される。
また、上記視線検出部１２は、上記カメラ１０により得られた画像データに人間の顔があり、表示部１８の方を向いている場合に、その人の視線方向を検出するものである。具体的には、撮影して得られた画像データに対してエッジ抽出を行い、人間の顔が写っている場合に、その目における黒目の方向を検出することにより行う。詳しくは後述する。視線方向を検出すると、この視線方向についての視線方向データを判断部２０に出力する。この視線検出部１２は、実際には、視線検出を行うためのプログラムを格納した記憶部と該プログラムに従い所定の処理を行うＣＰＵ等から構成される。
【００１１】
また、上記提示情報記憶部１４は、上記表示部１８に表示するための情報を格納するものであり、例えば、複数のコマーシャル用の映像等が格納されている。また、上記収集情報記憶部１６は、収集された情報を格納するものである。
また、表示部１８は、所定の情報を表示するためのものであり、液晶プロジェクタやプラズマディスプレイ等その種類は任意である。
【００１２】
また、上記判断部２０は、上記視線検出部１２により検出された視線方向に基づき、提示情報記憶部１４に記憶された情報の上記表示部１８への表示を制御し、また、上記検出された注視点に基づき収集された所定の情報を収集情報記憶部１６に格納するものである。この判断部２０は、表示部１８への表示制御を行うためのプログラムや収集情報記憶部１６へ所定の情報を格納するためのプログラム等を格納する記憶部や演算処理を行うためのＣＰＵ等により構成される。詳しい制御の方法については後述する。この判断部２０は表示制御手段として機能する。また、上記収集情報記憶部１６と判断部２０とは情報収集手段として機能する。上記視線検出部１２におけるＣＰＵとこの判断部２０におけるＣＰＵは１つのＣＰＵにより構成してもよい。
【００１３】
なお、図１に示す構成に、さらに、スピーカ等の音声出力部と、該音声出力部から出力するための音声データを格納する音声データ格納部とを判断部２０に接続し、判断部２０が視線検出部１２からの検出結果に従い、出力される音声を制御するようにしてもよい。
【００１４】
上記図１に示す情報表示装置Ａの外観の一例を示すと、図２に示すように構成され、表示部１８は大型のディスプレイとして構成され、上記表示部１８の上部には、カメラ１０が設置されている。この情報表示装置Ａは所定の場所に固定されている。
なお、上記カメラ１０と上記視線検出部１２とが上記視線検出手段として機能する。なお、本実施例では、上記のように視線検出手段をカメラ１０と視線検出部１２とにより構成するものとして説明したが、これには限られず、人物の視線を検出できるものであれば他の構成としてもよい。
【００１５】
上記構成における情報表示装置Ａの動作について、図３等を使用して説明する。まず、カメラ１０が所定の被写体を撮影する。本実施例の場合には、情報表示装置Ａが固定されているので、カメラ１０のレンズ系が向けられた所定の被写体を撮影する。すると、このカメラ１０により撮影された画像は視線検出部１２に送られる。視線検出部１２では、撮影された画像にエッジ抽出処理が行われる（Ｓ１０）。そして、エッジ抽出処理後に、まず、人の顔があるかどうかが検出される（Ｓ１１）。つまり、エッジ抽出処理が行われた画像と標準パターン画像とを比較して、人の顔があるかどうかを推定する。なお、人の顔の判定においては、肌色情報をも考慮して行うようにしてもよい。フレーム間の差分画像から移動した物体を検知し、その物体と標準パターン画像とを比較して人の顔を判定するようにしてもよい。
【００１６】
人の顔があることが検出されたら、視線を検出する（Ｓ１２）。ここでは、視線方向を検出する。すなわち、エッジ抽出することにより得られたエッジ情報から、検出された人の顔における目の垂直方向の位置と水平方向の位置とを推定して目の部分の画像を切り出し、この切り出した画像と濃淡画像とから目における黒目の位置を水平方向及び垂直方向に抽出する。その後、黒目の水平方向標準パターンと垂直方向標準パターンとそれぞれ比較して、視線方向を検出するのである。
【００１７】
そして、検出された視線の方向が表示部１８を向いているかどうかが判定される（Ｓ１３）。つまり、視線の空間位置を検出する。すなわち、撮影された画像におけるその人の目の空間座標位置と、検出された視線方向とにより視線の空間位置を検出し、その人が表示部１８の範囲を見ているかどうかを判定する。なお、上記目の空間座標位置の検出は次のように行う。つまり、図２に示すＸ方向、Ｙ方向の座標については撮影された２次元画像における座標により検出可能であり、また、Ｚ方向の座標については、例えば、顔の大きさから推定する方法や距離センサにより検知する方法等がある。なお、このＺ方向の座標については、所定の光を照射し、顔や目等に反射して帰ってくるまでの時間により算出してもよい。
【００１８】
以上のようにして、目の空間位置と視線方向とに基づき、空間内における視線の位置が決定されるので、その視線が表示部１８の表示面を通過するかどうかを判定する。具体的には、視線が、表示部１８の範囲の角部として予め定められた座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ２）の範囲内を通過するかどうかにより判定する。具体的には、図２における甲氏と乙氏は表示部１８を見ていることになり、丙氏は表示部１８を見ていないことになる。上記ステップＳ１０〜ステップＳ１３までの処理は、視線検出部１２により行われる。
【００１９】
以上のように、視線方向が表示部を向いている場合には、注視点が検出されるかどうかを検出する（Ｓ１４）。つまり、表示部１８のいずれかの点を向いた視線が一定時間停留しているかどうかにより判定する。つまり、視線が表示部１８の方を向いていたとしても、単に視線を向けただけであるとか、表示部１８以外の別の場所に視線を向けるために単に視線方向が通過しただけの場合等には、表示部１８のある箇所を視認していることにはならないため、所定時間視線方向が表示部１８上の所定位置に固定されているかどうかを判定する。
【００２０】
そして、注視点が検出された場合には、所定の表示を表示部１８に行う（Ｓ１５）。この表示部１８への所定の表示の態様については後述する。また、上記のように注視点が検出された場合には、それをカウントする（Ｓ１６）。カウントしたカウント数の情報は収集情報記憶部１６に格納される。
【００２１】
なお、視線方向検出及び注視点検出の方法は上記の方法には限られず、他の方法であってもよい。例えば、人の顔があるかどうかの検出は上記と同様の方法で行い、視線方向の検出については、近赤外光を照射してその反射角度に基づき算出するようにしてもよい。また、上記の方法とこの近赤外光による方法とを併用してもよい。また、上記Ｚ方向の座標は、近赤外光が反射して戻ってくる到達時間により検出してもよい。
また、上記の説明では、視線が検出され、その中から注視点を検出するものとして説明したが、これには限られず、視線検出部１２が上記注視点を視線として検出し、この視線が検出された場合に所定の表示を表示部１８に行うようにしてもよい。
また、注視点が検出された場合に限らず、単に視線検出部１２により視線が検出された場合にも、所定の情報を表示し（Ｓ１５）、また、カウントを行うようにしてもよい（Ｓ１６）。
【００２２】
次に、注視点が検出された場合の所定の表示についてその具体例を説明する。つまり、図３のステップＳ１５についてさらに詳述する。
まず、第１の具体例について説明する。表示部１８には、種々のコマーシャル映像が表示されている。例えば、Ａ社のコマーシャルが放映されたら、次は、Ｂ社のコマーシャルを放映し、該Ｂ社のコマーシャルが放映されたら次にはＣ社のコマーシャルを放映するというように行う。
【００２３】
このような状態で、図２に示すように、甲氏が表示部１８を見て、注視点ａが検出されたものとする。すると、図４に示すように、この注視点ａを中心とした表示エリアａ−１に、視認者に所定の情報を表示する。つまり、注視点ａが検出されたタイミングで、該所定の情報を表示する。この所定の情報とは、注視者に最も印象付けたい情報、例えば、商品名等が好ましい。つまり、この表示される所定の情報とは、表示部１８全体に表示されている映像に上書きする形で表示されることになる。従って、音声は表示部１８全体に表示されている映像に合わせた音声が出力されており、表示エリアａ−１に表示される情報独自の音声は出力されない。同じように、乙氏が表示部１８を見て、注視点ｂが検出された場合には、この注視点ｂを中心とする表示エリアｂ−１に同じように所定の情報を表示する。なお、注視点が検出されなくなったら、表示エリアへの表示は停止する。つまり、上記の例で甲氏が視線を移動して注視点ａが移動したら表示エリアａ−１への表示は停止する。なお、該甲氏が移動した視線が他の位置で所定時間固定して注視点ａ’が検出された場合には、再度この注視点ａ’の位置に上記所定の情報を表示する。なお、同じ人の視線が表示部１８上を移動する場合には、上記所定の情報を視線の動きに追随して移動するようにしてもよい。
このようにすれば、注視者に商品名等をより深く印象付けることができ、宣伝効果を高めることができる。
【００２４】
次に、第２具体例について説明する。この第２具体例においては、注視点が検出された場合に、表示を開始するものである。例えば、通常は表示部１８に背景画、風景画等の映像を流しておき（何も表示しない状態でもよい）、ある人の注視点が検出された場合には、表示部１８全体に所定の情報を放映する。つまり、甲氏が表示部１８の前に来て表示部１８を見て、注視点ａが検出された場合には、表示部１８全体に所定のコマーシャル映像を表示する。例えば、図５に示すように、Ａ社のコマーシャルを出力し、注視点ａが検出される限り、続けて、Ｂ社のコマーシャルを出力する。音声としても、このコマーシャル映像に対応した音声を出力する。そして、甲氏が視線を移動させたり、甲氏自身が移動する等して注視点が検出されなくなった場合には、表示部１８への表示や音声の出力を停止する。
【００２５】
なお、甲氏の注視点が検出されたことにより表示されたコマーシャル映像が出力されている最中に、他の乙氏の注視点が検出された場合には、甲氏の注視点ａが検出されている限り、注視点ａが検出されたタイミングで出力を行う。よって、図５に示すように、注視点ａが検出されている間に他の注視点ｂが検出されても、注視点ａの離脱よりも先に注視点ｂが離脱してしまった場合には、注視点ａが検出されたタイミングでそのまま出力されることになる。また、甲氏の注視点ａが離脱した場合には、その時、他の注視点が検出されれば、再度出力を開始する。その際には、最後まで出力されなかったコマーシャル（図５の場合にはＢ社のコマーシャル）を最初から出力してもよいし、一方、Ａ社のコマーシャルから開始してもよい。
【００２６】
また、ある人の注視点が検出されたことにより表示されたコマーシャル映像が出力されている最中に、他の人の注視点が検出された場合の処理として以下のようにしてもよい。
つまり、１つの注視点が検出されている間は、表示部１８全体にコマーシャル映像を表示し、他の注視点がさらに検出された場合には、表示エリアを縮小して表示するのである。つまり、甲氏の注視点ａのみが検出されている場合には、表示部１８全体にコマーシャル映像を表示し、甲氏の注視点ａが検出されている間に乙氏の注視点ｂが検出された場合には、甲氏のために表示されていた映像を注視点ａを中心とする表示エリアａ−２に縮小して表示し、別に乙氏の注視点ｂを中心とする表示エリアｂ−２に乙氏のためのコマーシャル映像の表示を開始する。なお、この場合には、表示エリアａ−２への表示と表示エリアｂ−２への表示とは別々のタイミングで行われるので、音声を出力しない方が好ましい。
【００２７】
次に、第３具体例について説明する。この第３具体例においては、上記第２具体例と同様に注視点が検出された場合に表示を開始するものであるが、以下の点で異なる。すなわち、ある人の注視点が検出された場合には、その注視点を中心とする所定範囲の表示エリアに所定の情報を表示する。例えば、通常は表示部１８に背景画、風景画等の映像を流しておき、甲氏の注視点ａが検出された場合には、この注視点ａを中心とする表示エリアａ−３にコマーシャル映像を表示する。そして、他の乙氏の注視点ｂが検出された場合には、この注視点ｂを中心とする表示エリアｂ−３を中心とする表示エリアｂ−３に表示を行う。各表示エリアへの表示は、各注視点が検知されたタイミングで行われることになる。
【００２８】
なお、注視点が検出されなくなったら、表示エリアへの表示は停止する。つまり、上記の例で甲氏が視線を移動して注視点ａが移動したら表示エリアａ−３への表示は停止する。また、上記第１具体例と同様に、該甲氏が移動した視線が他の位置で所定時間固定して注視点ａ’が検出された場合には、再度この注視点ａ’の位置に上記所定の情報を表示する。なお、同じ人の視線が表示部１８上を移動する場合には、上記所定の情報を視線の動きに追随して移動するようにしてもよい。
【００２９】
上記各第２具体例及び第３具体例によれば、表示タイミングを制御して、注視点が検出された時点で表示を開始するので、注視者に確実に情報を伝えることができる。
なお、上記各具体例において、注視点によって別々の表示エリアに情報を表示する場合に、ある注視点の表示エリアが他の注視点の表示エリアと重なる場合には、表示エリアが重ならないように表示をすることが好ましい。例えば、上記第１具体例の場合に、図８に示すように、注視点ａと注視点ａよりも後から検出された注視点ｃとが検出され、注視点ａの表示エリアａ−１と注視点ｃの表示エリアｃ−１とが重なる場合には、後から検出された注視点ｃの表示エリアを表示エリアａ−１からずらして表示する。
【００３０】
また、上記各具体例において、注視点によって別々の表示エリアに情報を表示する場合に、表示部１８の表示画面との距離に応じて表示エリアの画角を変化させるようにしてもよい。つまり、表示部１８の表示画面との距離が長くなるに従い表示エリアの大きさを大きくするのである。例えば、上記第３具体例の場合において、甲氏と表示部１８の表示画面との距離がＸで、乙氏と表示部１８の表示画面との距離がＹの場合には、該距離に応じて画角を制御する。つまり、上記距離Ｘの方が距離Ｙよりも長い場合には、図９に示すように、甲氏の注視点ａを中心とする表示エリアａ−３を乙氏の注視点ｂを中心とする表示エリアｂ−３’よりも大きくするのである。なお、上記甲氏や乙氏等の人物と表示画面との距離は、撮影された画像におけるその人物の身長や顔の大きさから推定する方法が考えられる。
【００３１】
なお、上記の各具体例において、複数の視線が検出された場合には、注視位置に拘らずに、表示部１８の真ん中に１つの画像を表示するようにしてもよい。また、注視点の最も多い位置に画像を表示するようにしてもよい。
以上のように、上記各具体例によれば、注視点が検出されると、この注視点の検出に対応して所定の情報を表示するので、注視者に効果的に情報を伝達することができる。
【００３２】
次に、検出された注視点のカウントについて説明する。つまり、図３のステップＳ１６についてさらに詳述する。
このカウントは、注視点が検出された時点でカウントしていく。よって、各コマーシャルが順次表示される状態で注視点のカウントをしていけば、どの程度の人数がそのコマーシャルを見ているかを知ることができる。つまり、図１０に示すように、Ａ社のコマーシャルが表示されている間の注視点の数をカウントし、また、Ｂ社のコマーシャルが表示されている間の注視点の数をカウントするというように、順次カウントして上記収集情報記憶部１６に格納していけば各コマーシャルを見ている人数を把握して情報を収集することができる。
【００３３】
なお、ある人が表示部１８のある位置を見て注視点が検出され、その後、その人が若干視線を表示部１８上の他の位置にずらして所定時間その位置に視線を固定した場合には、新たに注視点が検出されることになるが、これは前回の注視点とは別の注視点としてカウントする。ただし、その人の視線の移動を追跡したり、また、その視線の人物の顔のデータを保存しておく等して同じ者の視線であることが分かる場合には、全体として１つの注視点としてカウントしてもよい。
【００３４】
また、表示部１８に１つの映像に一度に複数の画像を表示して、注視点をカウントすることにより情報を収集することができる。例えば、図１１に示すように、表示部１８にＡ商品の画像Ｓ１と、Ｂ商品の画像Ｓ２と、Ｃ商品の画像Ｓ３とを表示する。そして、表示部１８を見る人の注視点がＡ商品の画像Ｓ１、Ｂ商品の画像Ｓ２、Ｃ商品の画像Ｓ３のいずれにあるかをカウントする。そして、各商品ごとの注視点のカウント数を収集情報記憶部１６に格納していく。これにより、どの商品に人気があるか等の情報を効果的に得ることができる。
【００３５】
次に、本実施例における情報収集装置について説明する。
本実施例における情報収集装置Ｂは、図１２に示すように、カメラ１１０と、視線検出部１１２と、収集情報記憶部１１６と、判断部１２０とを有している。ここで、上記カメラ１１０は、上記情報表示装置Ａと同様に、所定の被写体を撮影するものである。また、上記視線検出部１１２は、人間の視線方向や注視点を検出する。さらに、上記収集情報記憶部１１６は、収集された情報を格納するものである。さらに、上記判断部１２０は、視線検出部１１２により検出された注視点により所定の情報を収集情報記憶部１１６に格納するものであり、上記収集情報記憶部１１６へ所定の情報を格納するためのプログラム等を格納する記憶部や演算処理を行うためのＣＰＵ等により構成される。
【００３６】
上記構成における情報収集装置Ｂの動作及び使用状態について説明する。この情報収集装置Ｂにおけるカメラ１１０は、例えば、図１３に示すように、ショーウインドウに設置される。このそして、判断部１２０には、ショーウインドウには各種商品が陳列され、判断部１２０には各商品に対応する注視点の座標領域についての情報が保持され、ある人の注視点によりその注視点がその座標領域内にあるかどうかを判断することにより、その人がその商品を注視しているかどうかを知ることができるようになっている。
【００３７】
すなわち、図１３に示す場合の情報収集装置Ｂの動作について説明すると、図３に示すステップＳ１０〜Ｓ１２に示す場合と同様に、人間の視線方向が検出されたら、その視線方向が各商品についての座標領域内を向いているかどうかが判定される。そして、いずれかの商品の座標領域内を向いている場合には、注視点が検出されるかどうかが判定され、注視点が検出される場合には、その商品についてカウントを行う。例えば、Ａ商品についての注視点の座標範囲内に注視点が検出された場合には、ある人がＡ商品を注視しているとして、収集情報記憶部１１６におけるＡ商品についてのカウント数を１加算する。つまり、注視点をグループ化して各グループごとにカウントしていくのである。
【００３８】
以上のように、複数の人が商品を見る頻度を検出することにより、どの商品に人気があるか等の情報を効果的に得ることができる。
なお、上記の説明において、注視点が検出された場合として説明している箇所は、単なる視線が検出された場合にも適用するようにしてもよい。
【００３９】
【発明の効果】
本発明の情報表示装置によれば、表示手段を見る人物の視線に応じて適宜表示を制御するので、該人物に確実に情報を伝えることができる。
【図面の簡単な説明】
【図１】本発明の実施例に基づく情報表示装置の構成を示すブロック図である。
【図２】本発明の実施例に基づく情報表示装置の外観とその動作状態を説明するための説明図である。
【図３】情報表示装置の動作を説明するためのフローチャートである。
【図４】情報表示装置における表示部への表示例を示す説明図である。
【図５】情報表示装置の動作状態を説明するための説明図である。
【図６】情報表示装置における表示部への表示例を示す説明図である。
【図７】情報表示装置における表示部への表示例を示す説明図である。
【図８】情報表示装置における表示部への表示例を示す説明図である。
【図９】情報表示装置における表示部への表示例を示す説明図である。
【図１０】情報表示装置の動作状態を説明するための説明図である。
【図１１】情報表示装置における表示部への表示例を示す説明図である。
【図１２】本発明の実施例に基づく情報収集装置の構成を示すブロック図である。
【図１３】本発明の実施例に基づく情報収集装置の使用状態を説明するための説明図である。
【符号の説明】
Ａ 情報表示装置
Ｂ 情報収集装置
１０、１１０ カメラ
１２、１１２ 視線検出部
１４ 提示情報記憶部
１６、１１６ 収集情報記憶部
１８ 表示部
２０、１２０ 判断部
Claims (7)
- 所定の情報を表示する情報表示装置であって、情報を表示する表示手段と、視線を検出する視線検出手段と、該視線検出手段の検出結果に基づき、表示手段への表示を制御する表示制御手段とを有し、
上記視線検出手段が複数人の視線を検出した際、後に検出した視線の視線検出手段の検出結果に拘らず、最先に検出した視線の視線検出手段の検出結果に基づいて上記表示制御手段は所定の情報の上記表示手段への表示タイミングを制御し、最先に検出した視線が離脱した場合、後に検出した視線の視線検出手段の検出結果に基づいて上記表示制御手段は所定の情報の上記表示手段への表示タイミングを制御することを特徴とする情報表示装置。 - 所定の情報を表示する情報表示装置であって、情報を表示する表示手段と、視線を検出する視線検出手段と、該視線検出手段の検出結果に基づき、表示手段への表示を制御する表示制御手段とを有し、該表示制御手段は、上記表示手段の表示画面と視線が検出された人物との間の距離を推定し、その距離に従い、表示する情報の表示領域の大きさを制御することを特徴とする請求項１に記載の情報表示装置。
- 上記視線検出手段が、該表示手段の視認可能位置の少なくとも一部を撮影する撮影手段を有し、上記視線検出手段は、該撮影手段により撮影された画像により視線を検出することを特徴とする請求項１〜２のうちいずれかに記載の情報表示装置。
- 上記表示制御手段が、上記視線検出手段の検出結果に基づき、表示される所定の情報の表示位置を制御することを特徴とする請求項１〜３のうちいずれかに記載の情報表示装置。
- 上記表示制御手段が、検出された視線が上記表示手段上のいずれかの位置に所定時間停留した注視点が検出された場合に、該注視点位置に所定の情報を表示することを特徴とする請求項１〜４のうちいずれかに記載の情報表示装置。
- 上記表示制御手段が、上記視線検出手段の検出結果に基づき、所定の情報の上記表示手段への表示タイミングを制御することを特徴とする請求項２〜５のうちいずれかに記載の情報表示装置。
- 上記情報表示装置が、さらに、上記視線検出手段により検出された視線に基づき、注視をしている人数をカウントする情報収集手段を有することを特徴とする請求項１〜６のうちいずれかに記載の情報表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19474497A JP3579218B2 (ja) | 1997-07-04 | 1997-07-04 | 情報表示装置及び情報収集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19474497A JP3579218B2 (ja) | 1997-07-04 | 1997-07-04 | 情報表示装置及び情報収集装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1124603A JPH1124603A (ja) | 1999-01-29 |
| JP3579218B2 true JP3579218B2 (ja) | 2004-10-20 |
Family
ID=16329516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19474497A Expired - Fee Related JP3579218B2 (ja) | 1997-07-04 | 1997-07-04 | 情報表示装置及び情報収集装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3579218B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004173104A (ja) * | 2002-11-21 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | 画像切り出し装置、画像切り出し方法およびプログラム |
| JP4604597B2 (ja) * | 2004-07-30 | 2011-01-05 | トヨタ自動車株式会社 | 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法 |
| JP2006293786A (ja) * | 2005-04-12 | 2006-10-26 | Biophilia Kenkyusho Kk | 視線入力装置を備えた市場調査用機器 |
| US9606621B2 (en) * | 2006-07-28 | 2017-03-28 | Philips Lighting Holding B.V. | Gaze interaction for information display of gazed items |
| JP2008226161A (ja) * | 2007-03-15 | 2008-09-25 | Nippon Signal Co Ltd:The | 注視認識システム |
| JP5192842B2 (ja) * | 2008-02-18 | 2013-05-08 | 株式会社日立製作所 | 注視商品データ取得方法および商品販売管理システム |
| ES2690673T3 (es) * | 2008-05-14 | 2018-11-21 | Philips Lighting Holding B.V. | Un sistema y método de interacción |
| JP5108635B2 (ja) * | 2008-06-02 | 2012-12-26 | 株式会社日立製作所 | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 |
| JP5396769B2 (ja) * | 2008-08-04 | 2014-01-22 | セイコーエプソン株式会社 | 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム |
| JP5396062B2 (ja) * | 2008-10-27 | 2014-01-22 | 株式会社ブイシンク | 電子広告システム |
| JP2011033993A (ja) * | 2009-08-05 | 2011-02-17 | Sharp Corp | 情報提示装置、および情報提示方法 |
| JP2011053611A (ja) * | 2009-09-04 | 2011-03-17 | Ricoh Co Ltd | 電子掲示板装置及び制御プログラム |
| JP5674300B2 (ja) * | 2009-09-30 | 2015-02-25 | 一般財団法人Ｎｈｋサービスセンター | 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム |
| JP2012022632A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
| JP5478559B2 (ja) * | 2011-06-13 | 2014-04-23 | 株式会社日立製作所 | ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ |
| JP2013011669A (ja) * | 2011-06-28 | 2013-01-17 | Kyocera Corp | 電子表示装置 |
| JP2013055595A (ja) * | 2011-09-06 | 2013-03-21 | Omron Corp | 端末装置、コンテンツ表示システム、プログラム、データ構造およびコンテンツ配信サーバ |
| JP5854553B2 (ja) * | 2011-10-18 | 2016-02-09 | 富士電機株式会社 | 目視検査支援装置及び目視検査支援装置の制御方法 |
| JP5900165B2 (ja) * | 2012-05-31 | 2016-04-06 | 株式会社Ｊｖｃケンウッド | 視線検出装置および視線検出方法 |
| JP6116273B2 (ja) * | 2013-02-13 | 2017-04-19 | 三菱電機株式会社 | 広告提示装置 |
| JP2015043047A (ja) * | 2013-08-26 | 2015-03-05 | 大日本印刷株式会社 | 視線解析手段を有する表示媒体 |
| JP5961736B1 (ja) * | 2015-08-17 | 2016-08-02 | 株式会社コロプラ | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム |
| JP2017041229A (ja) * | 2016-06-08 | 2017-02-23 | 株式会社コロプラ | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム |
| JP6930287B2 (ja) * | 2017-08-24 | 2021-09-01 | 株式会社Ｊｖｃケンウッド | 表示装置及び表示方法 |
| CN111712870B (zh) * | 2018-02-22 | 2024-03-08 | 索尼公司 | 信息处理装置、移动装置、方法和程序 |
| KR102664589B1 (ko) * | 2018-09-11 | 2024-05-10 | 현대자동차주식회사 | 감정 분류 장치 및 감정 분류 장치의 제어 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3777222D1 (de) * | 1986-04-04 | 1992-04-16 | Applied Science Group Inc | Verfahren und geraet zur entwicklung der darstellung der sehzeitverteilung wenn leute fernsehwerbung beobachten. |
| JPH0591394A (ja) * | 1991-09-26 | 1993-04-09 | Canon Inc | ビデオカメラ |
| JPH05204526A (ja) * | 1992-01-23 | 1993-08-13 | Nec Corp | 視点監視入力装置 |
| JP2896291B2 (ja) * | 1993-06-14 | 1999-05-31 | 株式会社エイ・ティ・アール通信システム研究所 | 画像表示装置 |
| JPH0744110A (ja) * | 1993-08-03 | 1995-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 視線適応型表示装置 |
| JPH07140967A (ja) * | 1993-11-22 | 1995-06-02 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| JP3272906B2 (ja) * | 1995-05-29 | 2002-04-08 | シャープ株式会社 | 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置 |
| JPH09230928A (ja) * | 1996-02-28 | 1997-09-05 | Mitsubishi Electric Corp | 監視表示装置および監視表示方法 |
-
1997
- 1997-07-04 JP JP19474497A patent/JP3579218B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1124603A (ja) | 1999-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3579218B2 (ja) | 情報表示装置及び情報収集装置 | |
| US20120133754A1 (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
| US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
| US6775014B2 (en) | System and method for determining the location of a target in a room or small area | |
| JP3565707B2 (ja) | 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法 | |
| US8743051B1 (en) | Mirror detection-based device functionality | |
| US20170213385A1 (en) | Apparatus and method for generating 3d face model using mobile device | |
| JP5418093B2 (ja) | 表示装置および制御方法 | |
| JP6077655B2 (ja) | 撮影システム | |
| JP2004504675A (ja) | ビデオ会議及び他のカメラベースのシステム適用におけるポインティング方向の較正方法 | |
| WO2020020022A1 (zh) | 视觉识别方法及其系统 | |
| JP2007265125A (ja) | コンテンツ表示装置 | |
| US20150253845A1 (en) | System and method for altering a perspective of a figure presented on an electronic display | |
| JP5103682B2 (ja) | インタラクティブ看板システム | |
| KR20110132260A (ko) | 모니터 기반 증강현실 시스템 | |
| WO2008132741A2 (en) | Apparatus and method for tracking human objects and determining attention metrics | |
| US20190369807A1 (en) | Information processing device, information processing method, and program | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| Tsuji et al. | Touch sensing for a projected screen using slope disparity gating | |
| JP6950644B2 (ja) | 注意対象推定装置及び注意対象推定方法 | |
| KR101961266B1 (ko) | 시선 추적 장치 및 이의 시선 추적 방법 | |
| US7652824B2 (en) | System and/or method for combining images | |
| JPWO2009119288A1 (ja) | コミュニケーションシステム及びコミュニケーションプログラム | |
| JP2009244949A (ja) | 操作対象の切替装置 | |
| CN101226585A (zh) | 脸部端正度的计算方法及其计算机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040715 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |