JPH1124603A - Information display device and information collecting device - Google Patents

Information display device and information collecting device

Info

Publication number
JPH1124603A
JPH1124603A JP9194744A JP19474497A JPH1124603A JP H1124603 A JPH1124603 A JP H1124603A JP 9194744 A JP9194744 A JP 9194744A JP 19474497 A JP19474497 A JP 19474497A JP H1124603 A JPH1124603 A JP H1124603A
Authority
JP
Japan
Prior art keywords
information
display
line
sight
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9194744A
Other languages
Japanese (ja)
Other versions
JP3579218B2 (en
Inventor
Hitoshi Hongo
仁志 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP19474497A priority Critical patent/JP3579218B2/en
Publication of JPH1124603A publication Critical patent/JPH1124603A/en
Application granted granted Critical
Publication of JP3579218B2 publication Critical patent/JP3579218B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a new device or system utilizing a line-of-sight detecting device, particularly, a display device or information collecting device capable of grasping the frequency of visual confirmation of a person to a prescribed piece of information. SOLUTION: A camera 10 is arranged toward the front of a display part 18, and a line-of-sight detecting part 12 detects the line of view of a person on the basis of the image obtained by this camera 10. When the steady gazing point is detected in the display part 18, a prescribed piece of information is displayed in this steady gazing point position. Otherwise, when the steady gazing point is detected, a prescribed piece of information may be displayed at this timing. Further, when the steady gazing point is detected, the number of detecting this steady gazing point is counted and stored in a collected information memory part 16.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、視線検知機能を有
する装置に関するものであり、特に、所定の情報を表示
する表示装置及び所定の情報を収集する情報収集装置に
関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device having a line-of-sight detecting function, and more particularly to a display device for displaying predetermined information and an information collecting device for collecting predetermined information.

【0002】[0002]

【従来の技術】従来より人間の視線方向を検出する方法
が種々開発され、視線の注視位置にカーソル等を表示す
ること等が行われている。視線検出方法には、いわゆる
非接触型と接触型とに分類されるが、非接触型の代表例
としては、以下の2つがある。その1つは、特開平8−
322796号に示すものである。これは、人間の顔部
分を撮影して得た画像データに対してエッジ抽出処理を
行う。そして、目部分の切出し処理を行った上で、目に
おける黒目の位置を水平方向、垂直方向のそれぞれにつ
いて特徴抽出する。そして、水平方向標準パターンと垂
直方向標準パターンとのマッチングを行い、視線方向を
算出するのである。また、他の1つの例としては、特開
平5−205030号に示すものがある。これは、人間
の目に近赤外光を照射することにより、該近赤外光が人
間の網膜で反射する際の反射角度を算出して、視線方向
を算出するものである。また、表示装置には種々のもの
が存在し、例えば、液晶プロジェクタや大型のプラズマ
ディスプレイのような大型の表示装置が存在する。そし
て、このような大型の表示装置に所定の広告用のコマー
シャルを流すことが行われている。
2. Description of the Related Art Hitherto, various methods for detecting the direction of a line of sight of a human have been developed, and a method of displaying a cursor or the like at a gaze position of a line of sight has been performed. The line-of-sight detection methods are classified into a so-called non-contact type and a contact type, and there are the following two typical examples of the non-contact type. One of them is disclosed in
No. 322,796. In this method, an edge extraction process is performed on image data obtained by photographing a human face portion. Then, after the eye portion is cut out, the position of the iris in the eye is extracted in both the horizontal and vertical directions. Then, the horizontal standard pattern and the vertical standard pattern are matched to calculate the line of sight. Another example is disclosed in JP-A-5-205030. In this method, by irradiating near-infrared light to the human eye, a reflection angle when the near-infrared light is reflected by a human retina is calculated, and a gaze direction is calculated. There are various types of display devices, for example, large display devices such as liquid crystal projectors and large plasma displays. Then, a commercial for a predetermined advertisement is flown on such a large-sized display device.

【0003】[0003]

【発明が解決しようとする課題】ここで、上記視線検出
装置を有効に利用した装置やシステムが要望されてい
た。また、従来の大型の表示装置等においてコマーシャ
ルを流す場合に、近くの人が見ているかどうかが不明で
あり、宣伝効果を十分把握できないという問題があっ
た。そこで、本発明は、視線検出装置を利用した新たな
装置やシステムを提供するとともに、特に、人間の視認
頻度を把握することができる表示装置や情報収集装置を
提供することを目的とするものである。
Here, there has been a demand for a device or system that effectively utilizes the above-mentioned gaze detection device. In addition, when a commercial is played on a conventional large display device or the like, it is unknown whether a nearby person is watching the commercial, and there is a problem that the advertising effect cannot be sufficiently grasped. Therefore, the present invention aims to provide a new device and system using a gaze detection device, and particularly to provide a display device and an information collection device capable of grasping the frequency of human recognition. is there.

【0004】[0004]

【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第1には、所定
の情報を表示する情報表示装置であって、情報を表示す
る表示手段と、視線を検出する視線検出手段と、該視線
検出手段の検出結果に基づき、表示手段への表示を制御
する表示制御手段とを有することを特徴とする。この第
1の構成の情報表示装置においては、上記視線検出手段
が視線を検出する。そして、この検出結果に基づき、表
示制御手段が、上記表示手段への表示を制御する。よっ
て、表示手段を見る人物の視線に応じて表示を制御する
ので、該人物に確実に情報を伝えることができる。ま
た、第2には、上記第1の構成において、上記視線検出
手段が、該表示手段の視認可能位置の少なくとも一部を
撮影する撮影手段を有し、上記視線検出手段は、該撮影
手段により撮影された画像により視線を検出することを
特徴とする。
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and, first, is an information display device for displaying predetermined information, which displays information. It is characterized by comprising a display unit, a line-of-sight detection unit that detects a line of sight, and a display control unit that controls display on the display unit based on the detection result of the line-of-sight detection unit. In the information display device having the first configuration, the line-of-sight detecting means detects the line of sight. Then, based on the detection result, the display control means controls display on the display means. Therefore, since the display is controlled in accordance with the line of sight of the person viewing the display means, the information can be reliably transmitted to the person. Secondly, in the first configuration, the line-of-sight detecting means has a photographing means for photographing at least a part of a viewable position of the display means, and the line-of-sight detecting means is provided by the photographing means. It is characterized in that a line of sight is detected from a captured image.

【0005】また、第3には、上記第1又は第2の構成
において、上記表示制御手段が、視線検出手段の検出結
果に基づき、表示される所定の情報の表示位置を制御す
ることを特徴とする。よって、その視線の人物の見やす
い位置に情報を表示する等して情報を確実に伝えること
ができる。また、第4には、上記第3の構成において、
上記表示制御手段が、検出された視線が上記表示手段上
のいずれかの位置に所定時間停留した注視点が検出され
た場合に、該注視点位置に所定の情報を表示することを
特徴とする。よって、注視点位置に情報を表示するの
で、確実にその視線の人物に情報を伝えることができ
る。
Thirdly, in the first or second configuration, the display control means controls a display position of predetermined information to be displayed based on a detection result of the visual line detection means. And Therefore, the information can be reliably transmitted by, for example, displaying the information at a position where the person in the line of sight can easily see. Fourth, in the third configuration,
The display control means displays predetermined information at the gazing point position when a gazing point in which the detected line of sight is stopped at any position on the display means for a predetermined time is detected. . Therefore, since the information is displayed at the gazing point position, the information can be reliably transmitted to the person having the line of sight.

【0006】また、第5には、上記第1から第4までの
いずれかの構成において、上記表示制御手段が、視線検
出手段の検出結果に基づき、所定の情報の上記表示手段
への表示タイミングを制御することを特徴とする。よっ
て、表示タイミングを制御することにより、確実に情報
を伝えることができる。また、第6には、上記第1から
第5までのいずれかの構成において、上記表示制御手段
が、上記表示手段の表示画面と視線が検出された人物と
の間の距離を推定し、その距離に従い、表示する情報の
表示領域の大きさを制御することを特徴とする。よっ
て、表示手段からの距離が大きくなればなるほど表示領
域の大きさを大きくすることによりその視線の人物にと
ってその情報を見やすくすることができる。
Fifth, in any one of the first to fourth configurations, the display control means may display predetermined information on the display means based on a detection result of the visual line detection means. Is controlled. Therefore, by controlling the display timing, it is possible to transmit information reliably. Sixth, in any one of the first to fifth configurations, the display control unit estimates a distance between a display screen of the display unit and a person whose line of sight has been detected. The size of the display area of the information to be displayed is controlled according to the distance. Therefore, by increasing the size of the display area as the distance from the display means increases, it is possible to make the information easily visible to a person having that line of sight.

【0007】また、第7には、上記第1から第6までの
いずれかの構成において、上記情報表示装置が、さら
に、上記視線検出手段により検出された視線に基づき、
所定の情報を収集する情報収集手段を有することを特徴
とする。よって、表示手段に表示された情報を何人の者
が見たか等の情報を得ることができる。また、第8に
は、上記第7の構成において、上記情報収集手段が、検
出された視線が所定時間停留した注視点の数をカウント
することを特徴とする。
[0007] In a seventh aspect, in any one of the first to sixth configurations, the information display device further comprises a line of sight detected by the line of sight detection means.
It has an information collecting means for collecting predetermined information. Therefore, it is possible to obtain information such as how many persons have viewed the information displayed on the display means. Eighthly, in the seventh configuration, the information collection means counts the number of gazing points at which the detected line of sight stays for a predetermined time.

【0008】また、第9には、所定の情報を収集する情
報収集装置であって、任意の被写体を撮影する撮影手段
と、該撮影手段により撮影された画像により、視線を検
出する視線検出手段と、該視線検出手段の検出結果に基
づき、所定の情報を収集する情報収集手段とを有するこ
とを特徴とする。この第9の構成の情報収集装置におい
ては、撮影手段が撮影した画像により、視線検出手段が
視線を検出する。そして、情報収集装置が、その検出結
果に基づき、所定の情報を収集する。よって、上記撮影
手段の付近に所定の情報等を視認可能に配置することに
より、その情報を何人の数が見たか等の情報を得ること
ができる。
A ninth aspect is an information collecting apparatus for collecting predetermined information, comprising: photographing means for photographing an arbitrary subject; and visual line detecting means for detecting a visual line based on an image photographed by the photographing means. And information collecting means for collecting predetermined information based on the detection result of the visual line detecting means. In the information collection device having the ninth configuration, the gaze detection unit detects the gaze based on the image captured by the imaging unit. Then, the information collecting device collects predetermined information based on the detection result. Therefore, by arranging predetermined information or the like in the vicinity of the photographing means so as to be visually recognizable, it is possible to obtain information such as how many people have seen the information.

【0009】[0009]

【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明に基づく情報表示
装置Aは、図1に示されるように構成され、カメラ10
と、視線検出部12と、提示情報記憶部14と、収集情
報記憶部16と、表示部18と、判断部20とを有して
いる。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to the drawings. An information display device A according to the present invention is configured as shown in FIG.
, A line-of-sight detection unit 12, a presentation information storage unit 14, a collection information storage unit 16, a display unit 18, and a determination unit 20.

【0010】ここで、上記撮影手段としての上記カメラ
10は、上記表示部18の視認可能位置の少なくとも一
部を撮影するものであり、主に表示部18の前方部分を
撮影するものである。このカメラ10は、CCDカメラ
等により構成される。また、上記視線検出部12は、上
記カメラ10により得られた画像データに人間の顔があ
り、表示部18の方を向いている場合に、その人の視線
方向を検出するものである。具体的には、撮影して得ら
れた画像データに対してエッジ抽出を行い、人間の顔が
写っている場合に、その目における黒目の方向を検出す
ることにより行う。詳しくは後述する。視線方向を検出
すると、この視線方向についての視線方向データを判断
部20に出力する。この視線検出部12は、実際には、
視線検出を行うためのプログラムを格納した記憶部と該
プログラムに従い所定の処理を行うCPU等から構成さ
れる。
Here, the camera 10 as the photographing means photographs at least a part of the viewable position of the display unit 18, and mainly photographs the front part of the display unit 18. This camera 10 is constituted by a CCD camera or the like. The gaze detection unit 12 detects the gaze direction of the person when the image data obtained by the camera 10 includes a human face and faces the display unit 18. Specifically, edge extraction is performed on image data obtained by shooting, and when a human face is captured, the direction of the iris in the eyes is detected. Details will be described later. When the gaze direction is detected, the gaze direction data for the gaze direction is output to the determination unit 20. This gaze detection unit 12 is actually
It comprises a storage unit storing a program for performing line-of-sight detection and a CPU for performing predetermined processing according to the program.

【0011】また、上記提示情報記憶部14は、上記表
示部18に表示するための情報を格納するものであり、
例えば、複数のコマーシャル用の映像等が格納されてい
る。また、上記収集情報記憶部16は、収集された情報
を格納するものである。また、表示部18は、所定の情
報を表示するためのものであり、液晶プロジェクタやプ
ラズマディスプレイ等その種類は任意である。
The presentation information storage unit 14 stores information to be displayed on the display unit 18.
For example, a plurality of commercial images are stored. Further, the collected information storage section 16 stores the collected information. The display unit 18 is for displaying predetermined information, and may be of any type such as a liquid crystal projector or a plasma display.

【0012】また、上記判断部20は、上記視線検出部
12により検出された視線方向に基づき、提示情報記憶
部14に記憶された情報の上記表示部18への表示を制
御し、また、上記検出された注視点に基づき収集された
所定の情報を収集情報記憶部16に格納するものであ
る。この判断部20は、表示部18への表示制御を行う
ためのプログラムや収集情報記憶部16へ所定の情報を
格納するためのプログラム等を格納する記憶部や演算処
理を行うためのCPU等により構成される。詳しい制御
の方法については後述する。この判断部20は表示制御
手段として機能する。また、上記収集情報記憶部16と
判断部20とは情報収集手段として機能する。上記視線
検出部12におけるCPUとこの判断部20におけるC
PUは1つのCPUにより構成してもよい。
The determination unit 20 controls the display of the information stored in the presentation information storage unit 14 on the display unit 18 based on the line-of-sight direction detected by the line-of-sight detection unit 12. The predetermined information collected based on the detected point of interest is stored in the collected information storage unit 16. The determination unit 20 includes a storage unit that stores a program for performing display control on the display unit 18, a program for storing predetermined information in the collected information storage unit 16, a CPU for performing arithmetic processing, and the like. Be composed. A detailed control method will be described later. The determination unit 20 functions as a display control unit. Further, the collected information storage unit 16 and the judgment unit 20 function as information collecting means. The CPU in the line-of-sight detection unit 12 and the C in the determination unit 20
The PU may be constituted by one CPU.

【0013】なお、図1に示す構成に、さらに、スピー
カ等の音声出力部と、該音声出力部から出力するための
音声データを格納する音声データ格納部とを判断部20
に接続し、判断部20が視線検出部12からの検出結果
に従い、出力される音声を制御するようにしてもよい。
The configuration shown in FIG. 1 further includes an audio output unit such as a speaker and an audio data storage unit for storing audio data to be output from the audio output unit.
And the determination unit 20 may control the output voice according to the detection result from the visual line detection unit 12.

【0014】上記図1に示す情報表示装置Aの外観の一
例を示すと、図2に示すように構成され、表示部18は
大型のディスプレイとして構成され、上記表示部18の
上部には、カメラ10が設置されている。この情報表示
装置Aは所定の場所に固定されている。なお、上記カメ
ラ10と上記視線検出部12とが上記視線検出手段とし
て機能する。なお、本実施例では、上記のように視線検
出手段をカメラ10と視線検出部12とにより構成する
ものとして説明したが、これには限られず、人物の視線
を検出できるものであれば他の構成としてもよい。
An example of the appearance of the information display device A shown in FIG. 1 is shown in FIG. 2. The display unit 18 is configured as a large display. 10 are installed. The information display device A is fixed at a predetermined place. Note that the camera 10 and the line-of-sight detection unit 12 function as the line-of-sight detection unit. In the present embodiment, the line of sight detecting means is described as being configured by the camera 10 and the line of sight detecting unit 12 as described above. However, the present invention is not limited to this. It may be configured.

【0015】上記構成における情報表示装置Aの動作に
ついて、図3等を使用して説明する。まず、カメラ10
が所定の被写体を撮影する。本実施例の場合には、情報
表示装置Aが固定されているので、カメラ10のレンズ
系が向けられた所定の被写体を撮影する。すると、この
カメラ10により撮影された画像は視線検出部12に送
られる。視線検出部12では、撮影された画像にエッジ
抽出処理が行われる(S10)。そして、エッジ抽出処
理後に、まず、人の顔があるかどうかが検出される(S
11)。つまり、エッジ抽出処理が行われた画像と標準
パターン画像とを比較して、人の顔があるかどうかを推
定する。なお、人の顔の判定においては、肌色情報をも
考慮して行うようにしてもよい。フレーム間の差分画像
から移動した物体を検知し、その物体と標準パターン画
像とを比較して人の顔を判定するようにしてもよい。
The operation of the information display device A having the above configuration will be described with reference to FIG. First, the camera 10
Shoots a predetermined subject. In the case of the present embodiment, since the information display device A is fixed, a predetermined subject to which the lens system of the camera 10 is pointed is photographed. Then, the image captured by the camera 10 is sent to the visual line detection unit 12. The line-of-sight detection unit 12 performs an edge extraction process on the captured image (S10). Then, after the edge extraction processing, it is first detected whether or not there is a human face (S
11). That is, the image subjected to the edge extraction processing is compared with the standard pattern image to estimate whether or not there is a human face. The determination of a human face may be performed in consideration of skin color information. The moving object may be detected from the difference image between frames, and the human face may be determined by comparing the moving object with the standard pattern image.

【0016】人の顔があることが検出されたら、視線を
検出する(S12)。ここでは、視線方向を検出する。
すなわち、エッジ抽出することにより得られたエッジ情
報から、検出された人の顔における目の垂直方向の位置
と水平方向の位置とを推定して目の部分の画像を切り出
し、この切り出した画像と濃淡画像とから目における黒
目の位置を水平方向及び垂直方向に抽出する。その後、
黒目の水平方向標準パターンと垂直方向標準パターンと
それぞれ比較して、視線方向を検出するのである。
When it is detected that there is a human face, the line of sight is detected (S12). Here, the gaze direction is detected.
That is, from the edge information obtained by extracting the edges, the vertical position and the horizontal position of the eyes in the detected human face are estimated to cut out the image of the eye, and the cut out image and The position of the iris in the eyes is extracted in the horizontal and vertical directions from the grayscale image. afterwards,
The gaze direction is detected by comparing the black standard standard pattern in the horizontal direction and the standard pattern in the vertical direction.

【0017】そして、検出された視線の方向が表示部1
8を向いているかどうかが判定される(S13)。つま
り、視線の空間位置を検出する。すなわち、撮影された
画像におけるその人の目の空間座標位置と、検出された
視線方向とにより視線の空間位置を検出し、その人が表
示部18の範囲を見ているかどうかを判定する。なお、
上記目の空間座標位置の検出は次のように行う。つま
り、図2に示すX方向、Y方向の座標については撮影さ
れた2次元画像における座標により検出可能であり、ま
た、Z方向の座標については、例えば、顔の大きさから
推定する方法や距離センサにより検知する方法等があ
る。なお、このZ方向の座標については、所定の光を照
射し、顔や目等に反射して帰ってくるまでの時間により
算出してもよい。
The direction of the detected line of sight is displayed on the display unit 1.
8 is determined (S13). That is, the spatial position of the line of sight is detected. That is, the spatial position of the line of sight is detected based on the spatial coordinate position of the eye of the person in the captured image and the detected direction of the line of sight, and it is determined whether the person is looking at the range of the display unit 18. In addition,
The detection of the spatial coordinate position of the eye is performed as follows. That is, the coordinates in the X direction and the Y direction shown in FIG. 2 can be detected by the coordinates in the photographed two-dimensional image, and the coordinates in the Z direction can be, for example, a method of estimating from the size of the face or the distance. There is a method of detecting by a sensor. The coordinates in the Z direction may be calculated based on the time from when a predetermined light is emitted to when the light is reflected back on the face, eyes, and the like and returns.

【0018】以上のようにして、目の空間位置と視線方
向とに基づき、空間内における視線の位置が決定される
ので、その視線が表示部18の表示面を通過するかどう
かを判定する。具体的には、視線が、表示部18の範囲
の角部として予め定められた座標(X1,Y1)、(X
2,Y1)、(X1,Y2)、(X2,Y2)の範囲内
を通過するかどうかにより判定する。具体的には、図2
における甲氏と乙氏は表示部18を見ていることにな
り、丙氏は表示部18を見ていないことになる。上記ス
テップS10〜ステップS13までの処理は、視線検出
部12により行われる。
As described above, since the position of the line of sight in the space is determined based on the spatial position of the eye and the direction of the line of sight, it is determined whether or not the line of sight passes through the display surface of the display unit 18. Specifically, the line of sight is determined in advance as coordinates (X1, Y1), (X
2, Y1), (X1, Y2), and (X2, Y2). Specifically, FIG.
In this case, Mr. Ko and Mr. O are looking at the display unit 18, and Mr. Hei is not looking at the display unit 18. The processing from step S10 to step S13 is performed by the visual line detection unit 12.

【0019】以上のように、視線方向が表示部を向いて
いる場合には、注視点が検出されるかどうかを検出する
(S14)。つまり、表示部18のいずれかの点を向い
た視線が一定時間停留しているかどうかにより判定す
る。つまり、視線が表示部18の方を向いていたとして
も、単に視線を向けただけであるとか、表示部18以外
の別の場所に視線を向けるために単に視線方向が通過し
ただけの場合等には、表示部18のある箇所を視認して
いることにはならないため、所定時間視線方向が表示部
18上の所定位置に固定されているかどうかを判定す
る。
As described above, when the line of sight is directed to the display unit, it is detected whether or not a point of gaze is detected (S14). That is, the determination is made based on whether or not the line of sight directed to any point on the display unit 18 is stationary for a certain period of time. In other words, even if the line of sight is directed toward the display unit 18, the user simply turns his / her line of sight, or simply passes through the line of sight to turn the line of sight to another place other than the display unit 18. Since it does not mean that the user is visually recognizing a certain part of the display unit 18, it is determined whether the visual line direction is fixed at a predetermined position on the display unit 18 for a predetermined time.

【0020】そして、注視点が検出された場合には、所
定の表示を表示部18に行う(S15)。この表示部1
8への所定の表示の態様については後述する。また、上
記のように注視点が検出された場合には、それをカウン
トする(S16)。カウントしたカウント数の情報は収
集情報記憶部16に格納される。
When the point of interest is detected, a predetermined display is displayed on the display unit 18 (S15). This display unit 1
The mode of the predetermined display on 8 will be described later. If a point of gaze is detected as described above, it is counted (S16). Information on the counted number is stored in the collected information storage unit 16.

【0021】なお、視線方向検出及び注視点検出の方法
は上記の方法には限られず、他の方法であってもよい。
例えば、人の顔があるかどうかの検出は上記と同様の方
法で行い、視線方向の検出については、近赤外光を照射
してその反射角度に基づき算出するようにしてもよい。
また、上記の方法とこの近赤外光による方法とを併用し
てもよい。また、上記Z方向の座標は、近赤外光が反射
して戻ってくる到達時間により検出してもよい。また、
上記の説明では、視線が検出され、その中から注視点を
検出するものとして説明したが、これには限られず、視
線検出部12が上記注視点を視線として検出し、この視
線が検出された場合に所定の表示を表示部18に行うよ
うにしてもよい。また、注視点が検出された場合に限ら
ず、単に視線検出部12により視線が検出された場合に
も、所定の情報を表示し(S15)、また、カウントを
行うようにしてもよい(S16)。
Note that the method of detecting the direction of the line of sight and the method of detecting the gazing point are not limited to the above methods, but may be other methods.
For example, the detection of the presence or absence of a human face may be performed in the same manner as described above, and the detection of the line of sight may be performed based on the reflection angle by irradiating near-infrared light.
Further, the above method and this method using near-infrared light may be used in combination. The coordinates in the Z direction may be detected based on the arrival time at which the near-infrared light is reflected and returned. Also,
In the above description, the gaze is detected, and the gaze point is detected from the gaze. However, the gaze is not limited to this. The gaze detection unit 12 detects the gaze point as the gaze, and the gaze is detected. In this case, a predetermined display may be displayed on the display unit 18. Further, not only when the gazing point is detected but also when the sight line is simply detected by the sight line detection unit 12, the predetermined information may be displayed (S15) and the counting may be performed (S16). ).

【0022】次に、注視点が検出された場合の所定の表
示についてその具体例を説明する。つまり、図3のステ
ップS15についてさらに詳述する。まず、第1の具体
例について説明する。表示部18には、種々のコマーシ
ャル映像が表示されている。例えば、A社のコマーシャ
ルが放映されたら、次は、B社のコマーシャルを放映
し、該B社のコマーシャルが放映されたら次にはC社の
コマーシャルを放映するというように行う。
Next, a specific example of a predetermined display when a point of interest is detected will be described. That is, step S15 in FIG. 3 will be described in further detail. First, a first specific example will be described. Various commercial images are displayed on the display unit 18. For example, if a commercial of Company A is broadcasted, then a commercial of Company B is broadcasted, and then a commercial of Company B is broadcasted, and then a commercial of Company C is broadcasted.

【0023】このような状態で、図2に示すように、甲
氏が表示部18を見て、注視点aが検出されたものとす
る。すると、図4に示すように、この注視点aを中心と
した表示エリアa−1に、視認者に所定の情報を表示す
る。つまり、注視点aが検出されたタイミングで、該所
定の情報を表示する。この所定の情報とは、注視者に最
も印象付けたい情報、例えば、商品名等が好ましい。つ
まり、この表示される所定の情報とは、表示部18全体
に表示されている映像に上書きする形で表示されること
になる。従って、音声は表示部18全体に表示されてい
る映像に合わせた音声が出力されており、表示エリアa
−1に表示される情報独自の音声は出力されない。同じ
ように、乙氏が表示部18を見て、注視点bが検出され
た場合には、この注視点bを中心とする表示エリアb−
1に同じように所定の情報を表示する。なお、注視点が
検出されなくなったら、表示エリアへの表示は停止す
る。つまり、上記の例で甲氏が視線を移動して注視点a
が移動したら表示エリアa−1への表示は停止する。な
お、該甲氏が移動した視線が他の位置で所定時間固定し
て注視点a’が検出された場合には、再度この注視点
a’の位置に上記所定の情報を表示する。なお、同じ人
の視線が表示部18上を移動する場合には、上記所定の
情報を視線の動きに追随して移動するようにしてもよ
い。このようにすれば、注視者に商品名等をより深く印
象付けることができ、宣伝効果を高めることができる。
In this state, as shown in FIG. 2, it is assumed that Mr. Ko looks at the display section 18 and detects the point of regard a. Then, as shown in FIG. 4, predetermined information is displayed to the viewer in the display area a-1 centered on the point of gaze point a. That is, the predetermined information is displayed at the timing when the gazing point a is detected. The predetermined information is preferably information that the viewer most wants to impress, for example, a product name. In other words, the predetermined information to be displayed is displayed in such a manner as to overwrite the image displayed on the entire display unit 18. Accordingly, the sound is output in accordance with the image displayed on the entire display unit 18 and the display area a
No information-specific sound displayed at -1 is output. Similarly, when Mr. Otsu looks at the display unit 18 and detects the point of interest b, the display area b-
1 and the predetermined information is displayed in the same manner. When the point of interest is no longer detected, the display in the display area is stopped. In other words, in the above example, Mr. Ko moves his line of sight and
When is moved, the display in the display area a-1 stops. If the line of sight moved by Mr. Ko is fixed at another position for a predetermined time and the point of interest a ′ is detected, the above-mentioned predetermined information is displayed again at the position of the point of interest a ′. When the line of sight of the same person moves on the display unit 18, the predetermined information may be moved following the movement of the line of sight. In this way, the product name and the like can be more deeply impressed to the watcher, and the advertising effect can be enhanced.

【0024】次に、第2具体例について説明する。この
第2具体例においては、注視点が検出された場合に、表
示を開始するものである。例えば、通常は表示部18に
背景画、風景画等の映像を流しておき(何も表示しない
状態でもよい)、ある人の注視点が検出された場合に
は、表示部18全体に所定の情報を放映する。つまり、
甲氏が表示部18の前に来て表示部18を見て、注視点
aが検出された場合には、表示部18全体に所定のコマ
ーシャル映像を表示する。例えば、図5に示すように、
A社のコマーシャルを出力し、注視点aが検出される限
り、続けて、B社のコマーシャルを出力する。音声とし
ても、このコマーシャル映像に対応した音声を出力す
る。そして、甲氏が視線を移動させたり、甲氏自身が移
動する等して注視点が検出されなくなった場合には、表
示部18への表示や音声の出力を停止する。
Next, a second specific example will be described. In the second specific example, display is started when a gazing point is detected. For example, normally, images such as a background image and a landscape image are displayed on the display unit 18 (there is no need to display anything), and when a gazing point of a certain person is detected, a predetermined image is displayed on the entire display unit 18. Broadcast information. That is,
When Mr. Ko comes in front of the display unit 18 and looks at the display unit 18 and detects the gazing point a, a predetermined commercial image is displayed on the entire display unit 18. For example, as shown in FIG.
The commercial of Company A is output, and the commercial of Company B is continuously output as long as the point of gaze a is detected. As the audio, an audio corresponding to the commercial video is output. Then, when the gazing point is no longer detected due to Mr. Ko moving his line of sight or moving himself, the display on the display unit 18 and the output of the sound are stopped.

【0025】なお、甲氏の注視点が検出されたことによ
り表示されたコマーシャル映像が出力されている最中
に、他の乙氏の注視点が検出された場合には、甲氏の注
視点aが検出されている限り、注視点aが検出されたタ
イミングで出力を行う。よって、図5に示すように、注
視点aが検出されている間に他の注視点bが検出されて
も、注視点aの離脱よりも先に注視点bが離脱してしま
った場合には、注視点aが検出されたタイミングでその
まま出力されることになる。また、甲氏の注視点aが離
脱した場合には、その時、他の注視点が検出されれば、
再度出力を開始する。その際には、最後まで出力されな
かったコマーシャル(図5の場合にはB社のコマーシャ
ル)を最初から出力してもよいし、一方、A社のコマー
シャルから開始してもよい。
If a point of interest of another party is detected while a commercial image displayed by the detection of the point of interest of Mr. Ko is being output, the point of interest of Mr. Ko is detected. As long as “a” is detected, the output is performed at the timing at which the gazing point “a” is detected. Therefore, as shown in FIG. 5, even if another point of gaze b is detected while the point of gaze a is detected, when the point of gaze b has left before the point of gaze a has left, Is output as it is at the timing when the gazing point a is detected. In addition, if the point of interest a of Mr. Ko has left, at that time, if another point of interest is detected,
Start output again. In this case, a commercial that has not been output until the end (in FIG. 5, a commercial of Company B) may be output from the beginning, or a commercial of Company A may be started.

【0026】また、ある人の注視点が検出されたことに
より表示されたコマーシャル映像が出力されている最中
に、他の人の注視点が検出された場合の処理として以下
のようにしてもよい。つまり、1つの注視点が検出され
ている間は、表示部18全体にコマーシャル映像を表示
し、他の注視点がさらに検出された場合には、表示エリ
アを縮小して表示するのである。つまり、甲氏の注視点
aのみが検出されている場合には、表示部18全体にコ
マーシャル映像を表示し、甲氏の注視点aが検出されて
いる間に乙氏の注視点bが検出された場合には、甲氏の
ために表示されていた映像を注視点aを中心とする表示
エリアa−2に縮小して表示し、別に乙氏の注視点bを
中心とする表示エリアb−2に乙氏のためのコマーシャ
ル映像の表示を開始する。なお、この場合には、表示エ
リアa−2への表示と表示エリアb−2への表示とは別
々のタイミングで行われるので、音声を出力しない方が
好ましい。
The following processing may be performed when a gazing point of another person is detected while a commercial image displayed by detecting a gazing point of a certain person is being output. Good. In other words, the commercial image is displayed on the entire display unit 18 while one point of interest is detected, and the display area is reduced and displayed when another point of interest is further detected. In other words, when only the point of gaze a of Mr. Ko is detected, a commercial image is displayed on the entire display unit 18 and the point of gaze b of Mr. B is detected while the point of gaze a of Mr. K is detected. In this case, the image displayed for Mr. Ko is reduced and displayed in the display area a-2 centered on the gazing point a, and the display area b centered on the gazing point b of Mr. At -2, display of commercial videos for Mr. Otsu is started. In this case, since the display in the display area a-2 and the display in the display area b-2 are performed at different timings, it is preferable that no sound is output.

【0027】次に、第3具体例について説明する。この
第3具体例においては、上記第2具体例と同様に注視点
が検出された場合に表示を開始するものであるが、以下
の点で異なる。すなわち、ある人の注視点が検出された
場合には、その注視点を中心とする所定範囲の表示エリ
アに所定の情報を表示する。例えば、通常は表示部18
に背景画、風景画等の映像を流しておき、甲氏の注視点
aが検出された場合には、この注視点aを中心とする表
示エリアa−3にコマーシャル映像を表示する。そし
て、他の乙氏の注視点bが検出された場合には、この注
視点bを中心とする表示エリアb−3を中心とする表示
エリアb−3に表示を行う。各表示エリアへの表示は、
各注視点が検知されたタイミングで行われることにな
る。
Next, a third specific example will be described. In the third specific example, display is started when a gazing point is detected as in the second specific example, but the following points are different. That is, when a gazing point of a certain person is detected, predetermined information is displayed in a display area of a predetermined range centered on the gazing point. For example, usually, the display unit 18
In the case where a point of interest a of Mr. Kou is detected, a commercial image is displayed in a display area a-3 centered on the point of interest a. Then, when the point of gaze b of another Otsu is detected, the display is performed in the display area b-3 centered on the display area b-3 centered on the point of gaze b. The display in each display area is
It is performed at the timing when each point of regard is detected.

【0028】なお、注視点が検出されなくなったら、表
示エリアへの表示は停止する。つまり、上記の例で甲氏
が視線を移動して注視点aが移動したら表示エリアa−
3への表示は停止する。また、上記第1具体例と同様
に、該甲氏が移動した視線が他の位置で所定時間固定し
て注視点a’が検出された場合には、再度この注視点
a’の位置に上記所定の情報を表示する。なお、同じ人
の視線が表示部18上を移動する場合には、上記所定の
情報を視線の動きに追随して移動するようにしてもよ
い。
When the point of interest is no longer detected, the display in the display area is stopped. That is, in the above example, when Mr. Ko moves his line of sight and the gazing point a moves, the display area a-
The display on 3 stops. Similarly to the first specific example, when the line of sight moved by Mr. Ko is fixed at another position for a predetermined time and the point of interest a ′ is detected, the position of the point of interest a ′ is again detected. Display predetermined information. When the line of sight of the same person moves on the display unit 18, the predetermined information may be moved following the movement of the line of sight.

【0029】上記各第2具体例及び第3具体例によれ
ば、表示タイミングを制御して、注視点が検出された時
点で表示を開始するので、注視者に確実に情報を伝える
ことができる。なお、上記各具体例において、注視点に
よって別々の表示エリアに情報を表示する場合に、ある
注視点の表示エリアが他の注視点の表示エリアと重なる
場合には、表示エリアが重ならないように表示をするこ
とが好ましい。例えば、上記第1具体例の場合に、図8
に示すように、注視点aと注視点aよりも後から検出さ
れた注視点cとが検出され、注視点aの表示エリアa−
1と注視点cの表示エリアc−1とが重なる場合には、
後から検出された注視点cの表示エリアを表示エリアa
−1からずらして表示する。
According to each of the second and third specific examples, the display timing is controlled and the display is started when the point of interest is detected, so that the information can be transmitted to the observer without fail. . In each of the above specific examples, when information is displayed in different display areas according to the points of interest, if the display area of one point of interest overlaps the display area of another point of interest, the display areas do not overlap. It is preferable to display. For example, in the case of the first specific example, FIG.
As shown in the figure, the gazing point a and the gazing point c detected after the gazing point a are detected, and the display area a-
When 1 and the display area c-1 of the gazing point c overlap,
The display area of the gazing point c detected later is displayed in the display area a.
Displayed shifted from -1.

【0030】また、上記各具体例において、注視点によ
って別々の表示エリアに情報を表示する場合に、表示部
18の表示画面との距離に応じて表示エリアの画角を変
化させるようにしてもよい。つまり、表示部18の表示
画面との距離が長くなるに従い表示エリアの大きさを大
きくするのである。例えば、上記第3具体例の場合にお
いて、甲氏と表示部18の表示画面との距離がXで、乙
氏と表示部18の表示画面との距離がYの場合には、該
距離に応じて画角を制御する。つまり、上記距離Xの方
が距離Yよりも長い場合には、図9に示すように、甲氏
の注視点aを中心とする表示エリアa−3を乙氏の注視
点bを中心とする表示エリアb−3’よりも大きくする
のである。なお、上記甲氏や乙氏等の人物と表示画面と
の距離は、撮影された画像におけるその人物の身長や顔
の大きさから推定する方法が考えられる。
In each of the above embodiments, when information is displayed in different display areas depending on the point of regard, the angle of view of the display area may be changed according to the distance from the display screen of the display unit 18. Good. That is, the size of the display area is increased as the distance between the display unit 18 and the display screen increases. For example, in the case of the third specific example, if the distance between Mr. Ko and the display screen of the display unit 18 is X, and the distance between Mr. B and the display screen of the display unit 18 is Y, the distance is determined according to the distance. To control the angle of view. In other words, when the distance X is longer than the distance Y, as shown in FIG. 9, the display area a-3 centered on the gazing point a of Mr. Ko is centered on the gazing point b of Otsu. It is made larger than the display area b-3 ′. Note that a method of estimating the distance between the display screen and a person such as Mr. Ko or Oto from the height or face size of the person in a captured image is conceivable.

【0031】なお、上記の各具体例において、複数の視
線が検出された場合には、注視位置に拘らずに、表示部
18の真ん中に1つの画像を表示するようにしてもよ
い。また、注視点の最も多い位置に画像を表示するよう
にしてもよい。以上のように、上記各具体例によれば、
注視点が検出されると、この注視点の検出に対応して所
定の情報を表示するので、注視者に効果的に情報を伝達
することができる。
In each of the above embodiments, when a plurality of lines of sight are detected, one image may be displayed in the center of the display unit 18 regardless of the gaze position. Also, an image may be displayed at the position where the point of gazing point is the largest. As described above, according to the above specific examples,
When the fixation point is detected, predetermined information is displayed in response to the detection of the fixation point, so that the information can be effectively transmitted to the fixator.

【0032】次に、検出された注視点のカウントについ
て説明する。つまり、図3のステップS16についてさ
らに詳述する。このカウントは、注視点が検出された時
点でカウントしていく。よって、各コマーシャルが順次
表示される状態で注視点のカウントをしていけば、どの
程度の人数がそのコマーシャルを見ているかを知ること
ができる。つまり、図10に示すように、A社のコマー
シャルが表示されている間の注視点の数をカウントし、
また、B社のコマーシャルが表示されている間の注視点
の数をカウントするというように、順次カウントして上
記収集情報記憶部16に格納していけば各コマーシャル
を見ている人数を把握して情報を収集することができ
る。
Next, the counting of the detected points of interest will be described. That is, step S16 in FIG. 3 will be described in more detail. This counting starts when the point of interest is detected. Therefore, if the number of gaze points is counted in a state where each commercial is sequentially displayed, it is possible to know how many people are watching the commercial. That is, as shown in FIG. 10, the number of gazing points while the commercial of Company A is displayed is counted,
Also, if the number of points of interest is counted while the commercials of Company B are being displayed, the numbers are sequentially counted and stored in the collected information storage unit 16, so that the number of persons watching each commercial can be grasped. To collect information.

【0033】なお、ある人が表示部18のある位置を見
て注視点が検出され、その後、その人が若干視線を表示
部18上の他の位置にずらして所定時間その位置に視線
を固定した場合には、新たに注視点が検出されることに
なるが、これは前回の注視点とは別の注視点としてカウ
ントする。ただし、その人の視線の移動を追跡したり、
また、その視線の人物の顔のデータを保存しておく等し
て同じ者の視線であることが分かる場合には、全体とし
て1つの注視点としてカウントしてもよい。
A point of gaze is detected when a certain person looks at a certain position of the display unit 18. Thereafter, the person shifts his / her gaze slightly to another position on the display unit 18 and fixes his / her gaze at that position for a predetermined time. In this case, a new gazing point is detected, but this is counted as a gazing point different from the previous gazing point. However, you can track the person ’s gaze,
In addition, if the gaze of the same person is known, for example, by storing data of the face of the person with that gaze, the gaze may be counted as one gaze point as a whole.

【0034】また、表示部18に1つの映像に一度に複
数の画像を表示して、注視点をカウントすることにより
情報を収集することができる。例えば、図11に示すよ
うに、表示部18にA商品の画像S1と、B商品の画像
S2と、C商品の画像S3とを表示する。そして、表示
部18を見る人の注視点がA商品の画像S1、B商品の
画像S2、C商品の画像S3のいずれにあるかをカウン
トする。そして、各商品ごとの注視点のカウント数を収
集情報記憶部16に格納していく。これにより、どの商
品に人気があるか等の情報を効果的に得ることができ
る。
In addition, information can be collected by displaying a plurality of images at a time on one image on the display unit 18 and counting the points of interest. For example, as shown in FIG. 11, an image S1 of the product A, an image S2 of the product B, and an image S3 of the product C are displayed on the display unit 18. Then, it counts which of the image S1 of the product A, the image S2 of the product B, and the image S3 of the product C is located at the point of gaze of the person viewing the display unit 18. Then, the number of gaze points counted for each product is stored in the collected information storage unit 16. Thereby, information such as which product is popular can be obtained effectively.

【0035】次に、本実施例における情報収集装置につ
いて説明する。本実施例における情報収集装置Bは、図
12に示すように、カメラ110と、視線検出部112
と、収集情報記憶部116と、判断部120とを有して
いる。ここで、上記カメラ110は、上記情報表示装置
Aと同様に、所定の被写体を撮影するものである。ま
た、上記視線検出部112は、人間の視線方向や注視点
を検出する。さらに、上記収集情報記憶部116は、収
集された情報を格納するものである。さらに、上記判断
部120は、視線検出部112により検出された注視点
により所定の情報を収集情報記憶部116に格納するも
のであり、上記収集情報記憶部116へ所定の情報を格
納するためのプログラム等を格納する記憶部や演算処理
を行うためのCPU等により構成される。
Next, an information collecting apparatus according to this embodiment will be described. As shown in FIG. 12, the information collecting apparatus B according to the present embodiment includes a camera 110 and a gaze detecting unit 112.
And a collected information storage unit 116 and a determination unit 120. Here, the camera 110 captures an image of a predetermined subject similarly to the information display device A. Further, the line-of-sight detection unit 112 detects the line-of-sight direction and the point of gaze of the human. Further, the collected information storage unit 116 stores the collected information. Further, the determination unit 120 stores predetermined information in the collection information storage unit 116 based on the point of gaze detected by the gaze detection unit 112, and stores the predetermined information in the collection information storage unit 116. It comprises a storage unit for storing programs and the like, a CPU for performing arithmetic processing, and the like.

【0036】上記構成における情報収集装置Bの動作及
び使用状態について説明する。この情報収集装置Bにお
けるカメラ110は、例えば、図13に示すように、シ
ョーウインドウに設置される。このそして、判断部12
0には、ショーウインドウには各種商品が陳列され、判
断部120には各商品に対応する注視点の座標領域につ
いての情報が保持され、ある人の注視点によりその注視
点がその座標領域内にあるかどうかを判断することによ
り、その人がその商品を注視しているかどうかを知るこ
とができるようになっている。
The operation and use state of the information collecting apparatus B having the above configuration will be described. The camera 110 in the information collecting device B is installed in a show window, for example, as shown in FIG. This and the judgment unit 12
At 0, various products are displayed in the show window, and information about the coordinate area of the gazing point corresponding to each product is held in the determination unit 120. By determining whether or not the person is watching the product, it is possible to know whether or not the person is watching the product.

【0037】すなわち、図13に示す場合の情報収集装
置Bの動作について説明すると、図3に示すステップS
10〜S12に示す場合と同様に、人間の視線方向が検
出されたら、その視線方向が各商品についての座標領域
内を向いているかどうかが判定される。そして、いずれ
かの商品の座標領域内を向いている場合には、注視点が
検出されるかどうかが判定され、注視点が検出される場
合には、その商品についてカウントを行う。例えば、A
商品についての注視点の座標範囲内に注視点が検出され
た場合には、ある人がA商品を注視しているとして、収
集情報記憶部116におけるA商品についてのカウント
数を1加算する。つまり、注視点をグループ化して各グ
ループごとにカウントしていくのである。
That is, the operation of the information collecting apparatus B in the case shown in FIG. 13 will be described.
As in the cases shown in 10 to S12, when the direction of the line of sight of the human is detected, it is determined whether or not the direction of the line of sight is in the coordinate area of each product. Then, when the product is oriented in the coordinate area of one of the products, it is determined whether or not the gazing point is detected. When the gazing point is detected, the product is counted. For example, A
If the point of gaze is detected within the coordinate range of the point of gaze for the product, it is determined that a certain person is watching the A product, and the count of the A product in the collected information storage unit 116 is incremented by one. That is, gazing points are grouped and counted for each group.

【0038】以上のように、複数の人が商品を見る頻度
を検出することにより、どの商品に人気があるか等の情
報を効果的に得ることができる。なお、上記の説明にお
いて、注視点が検出された場合として説明している箇所
は、単なる視線が検出された場合にも適用するようにし
てもよい。
As described above, by detecting the frequency at which a plurality of people look at a product, information such as which product is popular can be obtained effectively. Note that, in the above description, the portion described as the case where the gazing point is detected may be applied to a case where a mere line of sight is detected.

【0039】[0039]

【発明の効果】本発明に基づく請求項1に記載の情報表
示装置によれば、表示手段を見る人物の視線に応じて表
示を制御するので、該人物に確実に情報を伝えることが
できる。
According to the information display device of the first aspect of the present invention, the display is controlled in accordance with the line of sight of the person watching the display means, so that the information can be transmitted to the person without fail.

【0040】また、特に、請求項3に記載の情報表示装
置によれば、視線検出手段の検出結果に基づき、表示さ
れる所定の情報の表示位置を制御するので、その視線の
人物の見やすい位置に情報を表示する等して情報を確実
に伝えることができる。また、特に、請求項5に記載の
情報表示装置によれば、視線検出手段の検出結果に基づ
き、所定の情報の上記表示手段への表示タイミングを制
御するので、確実に情報を伝えることができる。また、
特に、請求項6に記載の情報表示装置によれば、表示手
段からの距離が大きくなればなるほど表示領域の大きさ
を大きくすることによりその視線の人物にとってその情
報を見やすくすることができる。
In particular, according to the information display device of the third aspect, the display position of the predetermined information to be displayed is controlled based on the detection result of the line-of-sight detection means, so that the position of the line-of-sight person is easy to see. The information can be conveyed reliably, for example, by displaying the information. In particular, according to the information display device of the fifth aspect, the display timing of the predetermined information on the display means is controlled based on the detection result of the visual line detection means, so that the information can be transmitted reliably. . Also,
In particular, according to the information display device of the sixth aspect, the larger the distance from the display means, the larger the size of the display area, so that the information can be easily viewed by the person with the line of sight.

【0041】また、特に、請求項7に記載の情報表示装
置によれば、上記視線検出手段により検出された視線に
基づき、所定の情報を収集する情報収集手段を有するの
で、表示手段に表示された情報を何人の者が見たか等の
情報を得ることができる。また、請求項9に記載の情報
収集装置によれば、上記撮影手段の付近に所定の情報等
を視認可能に配置することにより、その情報を何人の数
が見たか等の情報を得ることができる。
According to the information display device of the present invention, since the information display device has information collection means for collecting predetermined information based on the line of sight detected by the line of sight detection means, the information is displayed on the display means. Information such as how many people have viewed the information. According to the information collecting apparatus of the ninth aspect, by arranging the predetermined information or the like in the vicinity of the photographing means so as to be visually recognizable, it is possible to obtain information such as how many people saw the information. it can.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施例に基づく情報表示装置の構成を
示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of an information display device according to an embodiment of the present invention.

【図2】本発明の実施例に基づく情報表示装置の外観と
その動作状態を説明するための説明図である。
FIG. 2 is an explanatory diagram for explaining an appearance and an operation state of the information display device according to the embodiment of the present invention.

【図3】情報表示装置の動作を説明するためのフローチ
ャートである。
FIG. 3 is a flowchart for explaining the operation of the information display device.

【図4】情報表示装置における表示部への表示例を示す
説明図である。
FIG. 4 is an explanatory diagram illustrating a display example on a display unit in the information display device.

【図5】情報表示装置の動作状態を説明するための説明
図である。
FIG. 5 is an explanatory diagram for explaining an operation state of the information display device.

【図6】情報表示装置における表示部への表示例を示す
説明図である。
FIG. 6 is an explanatory diagram showing a display example on a display unit in the information display device.

【図7】情報表示装置における表示部への表示例を示す
説明図である。
FIG. 7 is an explanatory diagram illustrating a display example on a display unit in the information display device.

【図8】情報表示装置における表示部への表示例を示す
説明図である。
FIG. 8 is an explanatory diagram illustrating a display example on a display unit in the information display device.

【図9】情報表示装置における表示部への表示例を示す
説明図である。
FIG. 9 is an explanatory diagram illustrating a display example on a display unit in the information display device.

【図10】情報表示装置の動作状態を説明するための説
明図である。
FIG. 10 is an explanatory diagram for explaining an operation state of the information display device.

【図11】情報表示装置における表示部への表示例を示
す説明図である。
FIG. 11 is an explanatory diagram illustrating a display example on a display unit in the information display device.

【図12】本発明の実施例に基づく情報収集装置の構成
を示すブロック図である。
FIG. 12 is a block diagram illustrating a configuration of an information collection device according to an embodiment of the present invention.

【図13】本発明の実施例に基づく情報収集装置の使用
状態を説明するための説明図である。
FIG. 13 is an explanatory diagram for explaining a use state of the information collection device according to the embodiment of the present invention.

【符号の説明】[Explanation of symbols]

A 情報表示装置 B 情報収集装置 10、110 カメラ 12、112 視線検出部 14 提示情報記憶部 16、116 収集情報記憶部 18 表示部 20、120 判断部 A information display device B information collection device 10, 110 camera 12, 112 gaze detection unit 14 presentation information storage unit 16, 116 collection information storage unit 18 display unit 20, 120 determination unit

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 所定の情報を表示する情報表示装置であ
って、 情報を表示する表示手段と、 視線を検出する視線検出手段と、 該視線検出手段の検出結果に基づき、表示手段への表示
を制御する表示制御手段とを有することを特徴とする情
報表示装置。
1. An information display device for displaying predetermined information, comprising: display means for displaying information; gaze detection means for detecting gaze; and display on display means based on a detection result of the gaze detection means. An information display device, comprising: display control means for controlling the information display.
【請求項2】 上記視線検出手段が、該表示手段の視認
可能位置の少なくとも一部を撮影する撮影手段を有し、
上記視線検出手段は、該撮影手段により撮影された画像
により視線を検出することを特徴とする請求項1に記載
の情報表示装置。
2. The sight line detecting means has photographing means for photographing at least a part of a visible position of the display means,
2. The information display device according to claim 1, wherein the line of sight detecting unit detects a line of sight from an image captured by the image capturing unit.
【請求項3】 上記表示制御手段が、視線検出手段の検
出結果に基づき、表示される所定の情報の表示位置を制
御することを特徴とする請求項1又は2に記載の情報表
示装置。
3. The information display device according to claim 1, wherein the display control means controls a display position of predetermined information to be displayed based on a detection result of the visual line detection means.
【請求項4】 上記表示制御手段が、検出された視線が
上記表示手段上のいずれかの位置に所定時間停留した注
視点が検出された場合に、該注視点位置に所定の情報を
表示することを特徴とする請求項3に記載の情報表示装
置。
4. The display control means displays predetermined information at the position of the gazing point when the gazing point where the detected line of sight is stopped at any position on the display means for a predetermined time is detected. The information display device according to claim 3, wherein:
【請求項5】 上記表示制御手段が、視線検出手段の検
出結果に基づき、所定の情報の上記表示手段への表示タ
イミングを制御することを特徴とする請求項1又は2又
は3又は4に記載の情報表示装置。
5. The display control device according to claim 1, wherein the display control means controls display timing of predetermined information on the display means based on a detection result of the visual line detection means. Information display device.
【請求項6】 上記表示制御手段が、上記表示手段の表
示画面と視線が検出された人物との間の距離を推定し、
その距離に従い、表示する情報の表示領域の大きさを制
御することを特徴とする請求項1又は2又は3又は4又
は5に記載の情報表示装置。
6. The display control means estimates a distance between a display screen of the display means and a person whose line of sight has been detected,
6. The information display device according to claim 1, wherein a size of a display area of information to be displayed is controlled according to the distance.
【請求項7】 上記情報表示装置が、さらに、上記視線
検出手段により検出された視線に基づき、所定の情報を
収集する情報収集手段を有することを特徴とする請求項
1又は2又は3又は4又は5又は6に記載の情報表示装
置。
7. The information display device according to claim 1, further comprising information collecting means for collecting predetermined information based on the line of sight detected by said line of sight detecting means. Or the information display device according to 5 or 6.
【請求項8】 上記情報収集手段が、検出された視線が
所定時間停留した注視点の数をカウントすることを特徴
とする請求項7に記載の情報表示装置。
8. The information display device according to claim 7, wherein the information collecting means counts the number of gazing points at which the detected line of sight has stopped for a predetermined time.
【請求項9】 所定の情報を収集する情報収集装置であ
って、 任意の被写体を撮影する撮影手段と、 該撮影手段により撮影された画像により、視線を検出す
る視線検出手段と、 該視線検出手段の検出結果に基づき、所定の情報を収集
する情報収集手段とを有することを特徴とする情報収集
装置。
9. An information collecting apparatus for collecting predetermined information, comprising: photographing means for photographing an arbitrary subject; gaze detecting means for detecting a gaze based on an image photographed by the photographing means; An information collection unit for collecting predetermined information based on a detection result of the unit.
JP19474497A 1997-07-04 1997-07-04 Information display device and information collection device Expired - Fee Related JP3579218B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19474497A JP3579218B2 (en) 1997-07-04 1997-07-04 Information display device and information collection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19474497A JP3579218B2 (en) 1997-07-04 1997-07-04 Information display device and information collection device

Publications (2)

Publication Number Publication Date
JPH1124603A true JPH1124603A (en) 1999-01-29
JP3579218B2 JP3579218B2 (en) 2004-10-20

Family

ID=16329516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19474497A Expired - Fee Related JP3579218B2 (en) 1997-07-04 1997-07-04 Information display device and information collection device

Country Status (1)

Country Link
JP (1) JP3579218B2 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173104A (en) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Device, method and program for segmenting image
JP2006048171A (en) * 2004-07-30 2006-02-16 Toyota Motor Corp Status estimation device, status estimation method, information providing device using the same, and information providing method
JP2006293786A (en) * 2005-04-12 2006-10-26 Biophilia Kenkyusho Kk Market research apparatus having visual line input unit
JP2008226161A (en) * 2007-03-15 2008-09-25 Nippon Signal Co Ltd:The Gaze recognition system
JP2009193499A (en) * 2008-02-18 2009-08-27 Hitachi Ltd Gazed commodity data acquisition method and commodity sales management system
JP2009289233A (en) * 2008-06-02 2009-12-10 Hitachi Ltd Merchandise selling device, merchandise selling management system, customer line-of-sight data acquisition method, and method of acquiring data on merchandise gazed by customer
JP2009545051A (en) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Gaze interaction for displaying information on the gazeed product
JP2010039094A (en) * 2008-08-04 2010-02-18 Seiko Epson Corp Audio output control device, audio output device, audio output control method, and program
JP2010102235A (en) * 2008-10-27 2010-05-06 V-Sync Co Ltd Electronic advertisement system
JP2011033993A (en) * 2009-08-05 2011-02-17 Sharp Corp Information presenting apparatus and method for presenting information
JP2011053611A (en) * 2009-09-04 2011-03-17 Ricoh Co Ltd Electronic signboard device and control program
KR20110029123A (en) * 2008-05-14 2011-03-22 코닌클리즈케 필립스 일렉트로닉스 엔.브이. An interaction system and method
JP2011077913A (en) * 2009-09-30 2011-04-14 Nhk Service Center Inc Apparatus and system for processing information transmission, and computer program to be used therefor
JP2011227510A (en) * 2011-06-13 2011-11-10 Hitachi Ltd Display control device, display control method, display control program, and display
JP2012022632A (en) * 2010-07-16 2012-02-02 Canon Inc Information processing apparatus and control method thereof
JP2013011669A (en) * 2011-06-28 2013-01-17 Kyocera Corp Electronic display device
JP2013055595A (en) * 2011-09-06 2013-03-21 Omron Corp Terminal device, content display system, program, data structure, and content distribution server
JP2013088291A (en) * 2011-10-18 2013-05-13 Fuji Electric Co Ltd Visual inspection support device and method for controlling visual inspection support device
JP2013248177A (en) * 2012-05-31 2013-12-12 Jvc Kenwood Corp Line-of-sight detecting apparatus and line-of-sight detecting method
JP2014153666A (en) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp Advertisement presentation device
JP2015043047A (en) * 2013-08-26 2015-03-05 大日本印刷株式会社 Display medium including line-of-sight analyzing means
JP5961736B1 (en) * 2015-08-17 2016-08-02 株式会社コロプラ Method and program for controlling head mounted display system
JP2017041229A (en) * 2016-06-08 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JP2019039999A (en) * 2017-08-24 2019-03-14 株式会社Jvcケンウッド Display device and display method
WO2019163599A1 (en) * 2018-02-22 2019-08-29 ソニー株式会社 Information processing device, moving body, method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62245183A (en) * 1986-04-04 1987-10-26 アプライド サイエンス グル−プ インコ−ポレ−テツド Method and system of generating distribution of audio-visualtime of television-commercial
JPH0591394A (en) * 1991-09-26 1993-04-09 Canon Inc Video camera
JPH05204526A (en) * 1992-01-23 1993-08-13 Nec Corp View point monitoring input device
JPH0713497A (en) * 1993-06-14 1995-01-17 Atr Tsushin Syst Kenkyusho:Kk Image display device
JPH0744110A (en) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> Sight line adaptive display device
JPH07140967A (en) * 1993-11-22 1995-06-02 Matsushita Electric Ind Co Ltd Device for displaying image
JPH08322796A (en) * 1995-05-29 1996-12-10 Sharp Corp Method and apparatus for detecting direction of visual axis and man-machine interface apparatus containing the same
JPH09230928A (en) * 1996-02-28 1997-09-05 Mitsubishi Electric Corp Monitoring display device and monitoring display method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62245183A (en) * 1986-04-04 1987-10-26 アプライド サイエンス グル−プ インコ−ポレ−テツド Method and system of generating distribution of audio-visualtime of television-commercial
JPH0591394A (en) * 1991-09-26 1993-04-09 Canon Inc Video camera
JPH05204526A (en) * 1992-01-23 1993-08-13 Nec Corp View point monitoring input device
JPH0713497A (en) * 1993-06-14 1995-01-17 Atr Tsushin Syst Kenkyusho:Kk Image display device
JPH0744110A (en) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> Sight line adaptive display device
JPH07140967A (en) * 1993-11-22 1995-06-02 Matsushita Electric Ind Co Ltd Device for displaying image
JPH08322796A (en) * 1995-05-29 1996-12-10 Sharp Corp Method and apparatus for detecting direction of visual axis and man-machine interface apparatus containing the same
JPH09230928A (en) * 1996-02-28 1997-09-05 Mitsubishi Electric Corp Monitoring display device and monitoring display method

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173104A (en) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Device, method and program for segmenting image
JP2006048171A (en) * 2004-07-30 2006-02-16 Toyota Motor Corp Status estimation device, status estimation method, information providing device using the same, and information providing method
JP4604597B2 (en) * 2004-07-30 2011-01-05 トヨタ自動車株式会社 State estimating device, state estimating method, information providing device using the same, information providing method
JP2006293786A (en) * 2005-04-12 2006-10-26 Biophilia Kenkyusho Kk Market research apparatus having visual line input unit
JP2009545051A (en) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Gaze interaction for displaying information on the gazeed product
JP2008226161A (en) * 2007-03-15 2008-09-25 Nippon Signal Co Ltd:The Gaze recognition system
JP2009193499A (en) * 2008-02-18 2009-08-27 Hitachi Ltd Gazed commodity data acquisition method and commodity sales management system
KR20110029123A (en) * 2008-05-14 2011-03-22 코닌클리즈케 필립스 일렉트로닉스 엔.브이. An interaction system and method
EP2285253B1 (en) * 2008-05-14 2018-08-22 Philips Lighting Holding B.V. An interaction system and method
JP2011520496A (en) * 2008-05-14 2011-07-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Interactive system and method
JP2009289233A (en) * 2008-06-02 2009-12-10 Hitachi Ltd Merchandise selling device, merchandise selling management system, customer line-of-sight data acquisition method, and method of acquiring data on merchandise gazed by customer
JP2010039094A (en) * 2008-08-04 2010-02-18 Seiko Epson Corp Audio output control device, audio output device, audio output control method, and program
JP2010102235A (en) * 2008-10-27 2010-05-06 V-Sync Co Ltd Electronic advertisement system
JP2011033993A (en) * 2009-08-05 2011-02-17 Sharp Corp Information presenting apparatus and method for presenting information
JP2011053611A (en) * 2009-09-04 2011-03-17 Ricoh Co Ltd Electronic signboard device and control program
JP2011077913A (en) * 2009-09-30 2011-04-14 Nhk Service Center Inc Apparatus and system for processing information transmission, and computer program to be used therefor
JP2012022632A (en) * 2010-07-16 2012-02-02 Canon Inc Information processing apparatus and control method thereof
JP2011227510A (en) * 2011-06-13 2011-11-10 Hitachi Ltd Display control device, display control method, display control program, and display
JP2013011669A (en) * 2011-06-28 2013-01-17 Kyocera Corp Electronic display device
JP2013055595A (en) * 2011-09-06 2013-03-21 Omron Corp Terminal device, content display system, program, data structure, and content distribution server
JP2013088291A (en) * 2011-10-18 2013-05-13 Fuji Electric Co Ltd Visual inspection support device and method for controlling visual inspection support device
JP2013248177A (en) * 2012-05-31 2013-12-12 Jvc Kenwood Corp Line-of-sight detecting apparatus and line-of-sight detecting method
JP2014153666A (en) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp Advertisement presentation device
JP2015043047A (en) * 2013-08-26 2015-03-05 大日本印刷株式会社 Display medium including line-of-sight analyzing means
JP5961736B1 (en) * 2015-08-17 2016-08-02 株式会社コロプラ Method and program for controlling head mounted display system
JP2017040970A (en) * 2015-08-17 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JP2017041229A (en) * 2016-06-08 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JP2019039999A (en) * 2017-08-24 2019-03-14 株式会社Jvcケンウッド Display device and display method
WO2019163599A1 (en) * 2018-02-22 2019-08-29 ソニー株式会社 Information processing device, moving body, method, and program
JPWO2019163599A1 (en) * 2018-02-22 2021-03-11 ソニー株式会社 Information processing equipment, mobile devices, and methods, and programs
US11482190B2 (en) 2018-02-22 2022-10-25 Sony Corporation Information processing apparatus, transportation apparatus, method, and program

Also Published As

Publication number Publication date
JP3579218B2 (en) 2004-10-20

Similar Documents

Publication Publication Date Title
JP3579218B2 (en) Information display device and information collection device
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
US7574021B2 (en) Iris recognition for a secure facility
JP3565707B2 (en) Observer tracking autostereoscopic display device, image tracking system, and image tracking method
US8743051B1 (en) Mirror detection-based device functionality
US20170213385A1 (en) Apparatus and method for generating 3d face model using mobile device
US20130235347A1 (en) System and Method for Interacting with and Analyzing Media on a Display Using Eye Gaze Tracking
JP5418093B2 (en) Display device and control method
JP6424357B2 (en) Visual target efficiency measurement device
JP6077655B2 (en) Shooting system
WO2017028498A1 (en) 3d scenario display method and apparatus
JP4835898B2 (en) Video display method and video display device
JP2003242527A (en) Information processor and method
JP2007265125A (en) Content display
US20150253845A1 (en) System and method for altering a perspective of a figure presented on an electronic display
WO2020020022A1 (en) Method for visual recognition and system thereof
US10600218B2 (en) Display control system, display control apparatus, display control method, and storage medium
JP5103682B2 (en) Interactive signage system
JP2013125985A (en) Display system
JP5370380B2 (en) Video display method and video display device
WO2008132741A2 (en) Apparatus and method for tracking human objects and determining attention metrics
WO2009119288A1 (en) Communication system and communication program
JP2010204823A (en) Line-of-sight recognition device
US7652824B2 (en) System and/or method for combining images
CN101226585A (en) Method for calculating face correctitude degree and computer system thereof

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees