JP5613988B2

JP5613988B2 - Display device

Info

Publication number: JP5613988B2
Application number: JP2009054571A
Authority: JP
Inventors: 八木　健; 健八木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-03-09
Filing date: 2009-03-09
Publication date: 2014-10-29
Anticipated expiration: 2029-03-09
Also published as: JP2010210737A

Description

本発明は、表示装置に関するものである。 The present invention relates to a display device.

ＬＥＤ（発光ダイオード）を発光絵素とするマトリックスパネル表示装置（ＬＥＤ表示装置）が知られている（例えば、特許文献１参照）。 A matrix panel display device (LED display device) using LEDs (light emitting diodes) as light emitting picture elements is known (see, for example, Patent Document 1).

特公昭６２−５２３１２号公報Japanese Examined Patent Publication No. 62-52312

ところで、広告等を目的とした看板としてＬＥＤ表示装置を街中等に設置した場合、ＬＥＤ表示装置を実際に視認している人を把握するのは困難な場合があった。 By the way, when an LED display device is installed in a town or the like as a signboard for advertising or the like, it may be difficult to grasp a person who is actually viewing the LED display device.

本発明の目的は、表示部を視認しているか否かを容易かつ高精度に検出することができる表示装置を提供することである。 An object of the present invention is to provide a display device that can easily and accurately detect whether or not a display unit is visually recognized.

本発明の表示装置は、画像を表示する表示部の内部及び周辺部の少なくとも一方に配置され、検出光を射出する光源部と、眼球内の網膜により反射された前記検出光を検出する検出部と、前記検出部による検出結果を解析する解析部とを備え、前記光源部は、前記表示部に表示される静止画像と次に表示される静止画像との間に、前記表示部を構成する発光素子の少なくとも１つから前記検出光として可視光を所定時間射出することを特徴とする。
また、本発明の表示装置は、画像を表示する表示部の内部及び周辺部の少なくとも一方に配置され、波長の異なる２以上の検出光を射出する光源部と、眼球内の網膜により反射された前記検出光を検出する検出部と、前記検出部による検出結果を解析する解析部と、
を備え、前記光源部は、前記表示部に表示される静止画像と次に表示される静止画像との間に、前記表示部を構成する発光素子の少なくとも１つから前記検出光として可視光を所定時間射出することを特徴とする。 The display device of the present invention is arranged in at least one of the inside and the periphery of a display unit that displays an image, and a light source unit that emits detection light, and a detection unit that detects the detection light reflected by the retina in the eyeball And an analysis unit for analyzing a detection result by the detection unit, and the light source unit configures the display unit between a still image displayed on the display unit and a still image displayed next. Visible light is emitted as the detection light from at least one of the light emitting elements for a predetermined time.
Further, the display device of the present invention is disposed in at least one of the inside and the periphery of the display unit that displays an image, and is reflected by a light source unit that emits two or more detection lights having different wavelengths, and a retina in the eyeball. A detection unit for detecting the detection light; an analysis unit for analyzing a detection result by the detection unit;
The light source unit emits visible light as the detection light from at least one of the light emitting elements constituting the display unit between a still image displayed on the display unit and a still image displayed next. The injection is performed for a predetermined time .

本発明の表示装置によれば、表示部を視認しているか否かを容易かつ高精度に検出することができる。 According to the display device of the present invention, it is possible to easily and accurately detect whether or not the display unit is visually recognized.

第１の実施の形態に係るＬＥＤ表示装置の外観を示す図である。It is a figure which shows the external appearance of the LED display apparatus which concerns on 1st Embodiment. 第１の実施の形態に係るＬＥＤ表示装置のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the LED display apparatus which concerns on 1st Embodiment. 第１の実施の形態に係るＬＥＤ表示装置において表示部を視認した人の瞳を検出するための処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process for detecting the pupil of the person who visually recognized the display part in the LED display apparatus which concerns on 1st Embodiment. 第１の実施の形態に係るＬＥＤ表示装置において画像表示信号、検出用パルス信号、及び撮像信号が出力されるタイミングの関係を示すタイムチャートである。It is a time chart which shows the relationship between the timing at which an image display signal, a detection pulse signal, and an imaging signal are output in the LED display device according to the first embodiment. 第２の実施の形態に係るＬＥＤ表示装置の外観を示す図である。It is a figure which shows the external appearance of the LED display apparatus which concerns on 2nd Embodiment. 第２の実施の形態に係るＬＥＤ表示装置のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the LED display apparatus which concerns on 2nd Embodiment. 第２の実施の形態に係るＬＥＤ表示装置において画像表示信号、検出用パルス信号、及び撮像信号が出力されるタイミングの関係を示すタイムチャートである。It is a time chart which shows the relationship between the timing at which an image display signal, a detection pulse signal, and an imaging signal are output in the LED display device according to the second embodiment. 第３の実施の形態に係る表示装置の外観を示す図である。It is a figure which shows the external appearance of the display apparatus which concerns on 3rd Embodiment. 第３の実施の形態に係る表示装置のシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the display apparatus which concerns on 3rd Embodiment.

以下、図面を参照して、本発明の第１の実施の形態に係るＬＥＤ表示装置について説明する。なお、この実施の形態に係るＬＥＤ表示装置としては、広告等を目的とした看板等として床等の上に載置されるものや建物の外壁等に設置されるもの等であり、多数の発光素子により構成された表示画面に動画像や静止画像を含む様々な画像を表示するものを例に挙げて説明する。 Hereinafter, an LED display device according to a first embodiment of the present invention will be described with reference to the drawings. Note that the LED display device according to this embodiment is a sign that is placed on a floor or the like as a signboard for advertising purposes, or that is installed on the outer wall of a building. An example will be described in which various images including moving images and still images are displayed on a display screen constituted by elements.

図１は、第１の実施の形態に係るＬＥＤ表示装置２の構成を示す図である。図１に示すように、ＬＥＤ表示装置２は、後述する記憶部１２（図２参照）に記憶されている画像データから形成される画像を表示する表示部４を備えている。表示部４は、ＬＥＤ等により構成され、マトリクス状に配置された複数の発光素子ｄ１０〜ｄ１６９を備えている。複数の発光素子ｄ１０〜ｄ１６９のそれぞれは、複数の発光色からなり、表示部４に表示される画像の１画素として機能する。また、発光素子ｄ３３，ｄ３６，ｄ７３，ｄ７６，ｄ１０３，ｄ１０６，ｄ１４３，ｄ１４６は、検出光を射出する光源部としても機能する。また、ＬＥＤ表示装置２は、図示しない撮影レンズや撮像素子により構成され、後述する検出光を撮像するための３つの撮像装置６ａ，６ｂ，６ｃを備えている。なお、この実施の形態では、３つの撮像装置６ａ〜６ｃを備えているが、１つ以上の撮像装置を備えていればよい。 FIG. 1 is a diagram showing a configuration of an LED display device 2 according to the first embodiment. As shown in FIG. 1, the LED display device 2 includes a display unit 4 that displays an image formed from image data stored in a storage unit 12 (see FIG. 2) described later. The display unit 4 includes a plurality of light emitting elements d10 to d169 that are configured by LEDs or the like and are arranged in a matrix. Each of the plurality of light emitting elements d10 to d169 has a plurality of light emission colors and functions as one pixel of an image displayed on the display unit 4. The light emitting elements d33, d36, d73, d76, d103, d106, d143, and d146 also function as a light source unit that emits detection light. The LED display device 2 includes a photographing lens and an imaging element (not shown), and includes three imaging devices 6a, 6b, and 6c for imaging detection light described later. In this embodiment, the three imaging devices 6a to 6c are provided, but it is sufficient that one or more imaging devices are provided.

図２は、第１の実施の形態に係るＬＥＤ表示装置２のシステム構成を示すブロック図である。図２に示すように、ＣＰＵ等により構成され、ＬＥＤ表示装置２の各部を統括的に制御する制御部１０には、上述の撮像装置６ａ〜６ｃ、及び制御部１０が動作するためのプログラムや表示部４に表示させる画像に基づく画像データ等を記憶する記憶部１２が接続されている。また、制御部１０には、表示部４を構成する個々の発光素子ｄ１０〜ｄ１６９を駆動する駆動部１４が接続されており、駆動部１４には、表示部４が接続されている。 FIG. 2 is a block diagram showing a system configuration of the LED display device 2 according to the first embodiment. As shown in FIG. 2, the imaging unit 6 a to 6 c described above and a program for operating the control unit 10 are included in the control unit 10 configured by a CPU or the like and comprehensively controlling each unit of the LED display device 2. A storage unit 12 that stores image data and the like based on an image to be displayed on the display unit 4 is connected. The controller 10 is connected to a drive unit 14 that drives the individual light emitting elements d 10 to d 169 constituting the display unit 4, and the display unit 4 is connected to the drive unit 14.

この実施の形態において表示部４に画像を表示する場合には、制御部１０は、記憶部１２に記憶されている画像データを取得し、取得した画像データに基づいて各発光素子ｄ１０〜ｄ１６９の発光色を設定する。そして、制御部１０は、設定された各発光素子ｄ１０〜ｄ１６９の発光色に基づく画像表示信号を駆動部１４に対して出力し、駆動部１４を介して各発光素子ｄ１０〜ｄ１６９の点灯を制御することにより、表示部４に画像を表示させる。なお、この実施の形態では、表示部４に表示される画像として、記憶部１２に記憶されている画像データを用いているが、図示しないネットワーク端子等を介して接続されるネットワーク上に存在するサーバ等に蓄積されている画像データを用いることもできる。 In this embodiment, when an image is displayed on the display unit 4, the control unit 10 acquires image data stored in the storage unit 12, and based on the acquired image data, the light emitting elements d10 to d169. Set the emission color. Then, the control unit 10 outputs an image display signal based on the set emission color of each of the light emitting elements d10 to d169 to the driving unit 14, and controls lighting of each of the light emitting elements d10 to d169 via the driving unit 14. As a result, an image is displayed on the display unit 4. In this embodiment, the image data stored in the storage unit 12 is used as the image displayed on the display unit 4, but the image data is present on a network connected via a network terminal or the like (not shown). Image data stored in a server or the like can also be used.

また、ＬＥＤ表示装置２は、例えばＬＥＤ表示装置２が広告看板として街中に設置されている場合において、ＬＥＤ表示装置２の前を通り過ぎる人の中で実際に表示部４に表示されている画像を視認する人が何人いるかを検出することができる機能を備えている。図３は、第１の実施の形態に係るＬＥＤ表示装置２において表示部４を視認した人の瞳を検出するための処理について説明するためのフローチャートである。なお、表示部４には、記憶部１２に記憶されている画像データから形成される動画像が表示されているものとして説明を行う。 In addition, the LED display device 2 displays an image actually displayed on the display unit 4 among people passing in front of the LED display device 2 when the LED display device 2 is installed in the city as an advertising signboard, for example. It has a function that can detect how many people are viewing. FIG. 3 is a flowchart for explaining a process for detecting a pupil of a person who visually recognizes the display unit 4 in the LED display device 2 according to the first embodiment. Note that the display unit 4 will be described assuming that a moving image formed from image data stored in the storage unit 12 is displayed.

まず、制御部１０は、図４のタイムチャートに示すように、動画像を構成する１フレームを表示するための画像表示信号ｓ１を出力した後であって、次のフレームを表示するための画像表示信号ｓ２を出力する前に、検出光を射出するための検出用パルス信号ｐ１，ｐ２を駆動部１４に対して出力し、駆動部１４を介して発光素子ｄ３３，ｄ３６，ｄ７３，ｄ７６，ｄ１０３，ｄ１０６，ｄ１４３，ｄ１４６から検出光を射出させる（ステップＳ１０）。検出光は、波長約４００〜８００ｎｍの可視光であり、人が視認することができない程度の短い時間（例えば、検出光の強度が弱い場合には約０．５ｍｓｅｃ以下）射出される。 First, as shown in the time chart of FIG. 4, the control unit 10 outputs an image display signal s1 for displaying one frame constituting a moving image, and displays an image for displaying the next frame. Before outputting the display signal s2, detection pulse signals p1 and p2 for emitting detection light are output to the drive unit 14, and the light emitting elements d33, d36, d73, d76, d103 are output via the drive unit 14. , D106, d143, and d146 emit detection light (step S10). The detection light is visible light having a wavelength of about 400 to 800 nm, and is emitted for a short time that cannot be visually recognized by a person (for example, about 0.5 msec or less when the intensity of the detection light is weak).

また、制御部１０は、画像表示信号ｓ１とｓ２との間に出力された検出用パルス信号ｐ１，ｐ２であることを識別するために、検出用パルス信号の出力数及び出力タイミングの制御、即ち検出光の射出数及び射出タイミングの制御を行う。例えば、図４に示すように、画像表示信号ｓ１とｓ２との間に２度の検出用パルス信号ｐ１，ｐ２を出力させているのに対し、画像表示信号ｓ２とｓ３との間に１度の検出用パルス信号ｐ３を出力させている。また、画像表示信号ｓ１とｓ２との間に対する２度の検出用パルス信号ｐ１，ｐ２の出力タイミングと、画像表示信号ｓ３と次の画像表示信号との間に対する２度の検出用パルス信号ｐ４，ｐ５の出力タイミングとが異なるように、各検出用パルス信号ｐ１，ｐ２，ｐ４，ｐ５を出力させている。このように、画像表示信号に対する検出用パルス信号の出力数及び出力タイミングを変化させることにより、何れの画像表示信号が出力されたとき、ひいては何れのフレームが表示部４に表示されているときに出力された検出用パルス信号であるかを識別することができる。また、後述する解析結果を見直すときの表示部４に表示されていた画像との関連を示すタグとして機能させることができる。 The control unit 10 controls the number of detection pulse signals and the output timing in order to identify the detection pulse signals p1 and p2 output between the image display signals s1 and s2. The number of detection light emission and the emission timing are controlled. For example, as shown in FIG. 4, detection pulse signals p1 and p2 are output twice between the image display signals s1 and s2, whereas once between the image display signals s2 and s3. The detection pulse signal p3 is output. Also, the output timing of the two detection pulse signals p1 and p2 between the image display signals s1 and s2, and the two detection pulse signals p4 between the image display signal s3 and the next image display signal. The detection pulse signals p1, p2, p4, and p5 are output so that the output timing of p5 is different. In this way, by changing the output number and output timing of the detection pulse signal with respect to the image display signal, when any image display signal is output, and when any frame is displayed on the display unit 4 It can be identified whether the output is a detection pulse signal. Moreover, it can be made to function as a tag which shows the relationship with the image currently displayed on the display part 4 when reviewing the analysis result mentioned later.

なお、この実施の形態では、検出用パルス信号の出力数及び出力タイミングを制御しているが、検出用パルス信号の出力数または出力タイミングを制御することもできる。また、動画像中の所定シーン等、視認しているか否かの確認を所望する部分に対してのみ検出用パルス信号を出力するよう制御してもよい。 In this embodiment, the output number and output timing of the detection pulse signal are controlled. However, the output number or output timing of the detection pulse signal can also be controlled. Further, it may be controlled to output a detection pulse signal only to a portion where confirmation of whether or not it is visually recognized, such as a predetermined scene in a moving image.

発光素子ｄ３３，ｄ３６，ｄ７３，ｄ７６，ｄ１０３，ｄ１０６，ｄ１４３，ｄ１４６から射出された検出光は、表示部４を視認している人がいた場合には、その視認している人の眼球の網膜により反射される。そして、制御部１０は、撮像装置６ａ〜６ｃを用いて、網膜により反射された検出光を検出する（ステップＳ１１）。具体的には、制御部１０は、撮像装置６ａ〜６ｃに対して制御信号を出力する。撮像装置６ａ〜６ｃは、図４に示すように、制御部１０からの制御信号にしたがって、画像表示信号ｓ１を出力した後であって画像表示信号ｓ２を出力する前の間、連続的に撮像を行い、各撮像における撮像信号ｔ１〜ｔ５を制御部１０に対して出力する。 The detection light emitted from the light emitting elements d33, d36, d73, d76, d103, d106, d143, and d146, when there is a person viewing the display unit 4, the retina of the eyeball of the viewing person It is reflected by. And the control part 10 detects the detection light reflected by the retina using the imaging devices 6a-6c (step S11). Specifically, the control unit 10 outputs a control signal to the imaging devices 6a to 6c. As illustrated in FIG. 4, the imaging devices 6 a to 6 c continuously capture images after outputting the image display signal s 1 and before outputting the image display signal s 2 according to the control signal from the control unit 10. Then, the imaging signals t1 to t5 in each imaging are output to the control unit 10.

なお、画像表示信号が出力されていない間のみ撮像信号を出力させているが、画像表示信号の出力の有無にかかわらず連続的に撮像信号を出力させることもできる。また、網膜により反射された検出光を確実に撮像するために、例えば図４に示す検出用パルス信号ｐ１に対する撮像信号ｔ２，及び検出用パルス信号ｐ２に対する撮像信号ｔ３のように、検出用パルス信号と撮像信号とを同期させる必要がある。 Note that the imaging signal is output only while the image display signal is not output. However, the imaging signal can also be output continuously regardless of whether the image display signal is output. Further, in order to reliably image the detection light reflected by the retina, for example, a detection pulse signal such as an imaging signal t2 for the detection pulse signal p1 and an imaging signal t3 for the detection pulse signal p2 shown in FIG. And the imaging signal must be synchronized.

また、撮像装置６ａの画角は、発光素子ｄ３３，ｄ３６により射出され、網膜により反射された検出光が撮像装置６ａにより撮像されるように予め設定されている。同様に、撮像装置６ｂ，６ｃの画角も、発光素子ｄ７３，ｄ７６，ｄ１０３，ｄ１０６により射出された検出光が撮像装置６ｂにより撮像され、発光素子ｄ１４３，ｄ１４６により射出された検出光が撮像装置６ｃにより撮像されるように、予め設定されている。 The angle of view of the imaging device 6a is set in advance so that the detection light emitted from the light emitting elements d33 and d36 and reflected by the retina is imaged by the imaging device 6a. Similarly, with respect to the angle of view of the imaging devices 6b and 6c, the detection light emitted by the light emitting elements d73, d76, d103, and d106 is imaged by the imaging device 6b, and the detection light emitted by the light emitting elements d143 and d146 is captured by the imaging device. It is set in advance so as to be imaged by 6c.

次に、制御部１０は、撮像装置６ａ〜６ｃから出力された撮像信号を取得し、解析を行う（ステップＳ１２）。具体的には、制御部１０は、撮像装置６ａ〜６ｃから出力された撮像信号から画像データを生成し、生成された画像データに対して画像処理を施す。一般的には、網膜により反射された場合、毛細血管での反射も含まれるため、赤目になる。即ち、網膜での反射光は波長の長い光となるのでその波長域の光をフィルタリングする。例えば、生成された画像データから形成される画像に、表示部４を視認した人の網膜により反射された検出光のみが写るように、ステップＳ１１において撮像装置６ａ〜６ｃにより撮像する前に波長選択フィルタを通過させるようにしてもよく、ステップＳ１２において生成された画像データに対して特定波長のみを取り出す画像処理を施すようにしてもよい。また、ＬＥＤ表示装置２の前を通り過ぎたが表示部４を視認していない人の網膜に、表示部４上の発光素子から射出された検出光は入射しないため、または、検出光が入射した場合においても異なる方向に反射されるため、画像に、表示部４を視認していない人の網膜により反射された検出光が写ることはない。よって、画像に写っている検出光、即ち、表示部４を視認した人の両眼に対応した一対の輝点（赤点）をカウントすることにより、表示部４を視認した人の数を把握することができる。 Next, the control unit 10 acquires and analyzes the imaging signals output from the imaging devices 6a to 6c (step S12). Specifically, the control unit 10 generates image data from the imaging signals output from the imaging devices 6a to 6c, and performs image processing on the generated image data. In general, when the light is reflected by the retina, it also includes red blood cells because it includes reflection from capillaries. That is, since the reflected light from the retina is light having a long wavelength, light in that wavelength region is filtered. For example, wavelength selection is performed before imaging by the imaging devices 6a to 6c in step S11 so that only detection light reflected by the retina of the person who has viewed the display unit 4 is reflected in the image formed from the generated image data. The image data generated in step S12 may be subjected to image processing for extracting only a specific wavelength. Further, the detection light emitted from the light emitting element on the display unit 4 does not enter the retina of a person who has passed in front of the LED display device 2 but has not seen the display unit 4, or has entered the detection light. Even in the case, since the light is reflected in different directions, the detection light reflected by the retina of a person who is not viewing the display unit 4 is not reflected in the image. Therefore, the number of persons who visually recognize the display unit 4 is grasped by counting the detection light reflected in the image, that is, a pair of bright spots (red spots) corresponding to both eyes of the person who visually recognizes the display unit 4. can do.

また、発光素子ｄ３３，ｄ３６，ｄ７３，ｄ７６，ｄ１０３，ｄ１０６，ｄ１４３，ｄ１４６から射出される検出光の指向性を調整することにより、表示部４の何れの部分を視認しているのかを判別することができる。例えば、検出光の指向性を強く設定した場合には、発光素子ｄ３３，ｄ３６から射出され、撮像装置６ａにより撮像された検出光は、表示部４の左側を視認した人の網膜により反射された検出光であると解析することができる。同様に、発光素子ｄ７３，ｄ７６，ｄ１０３，ｄ１０６から射出され、撮像装置６ｂにより撮像された検出光は、表示部４の中央部を視認した人の網膜により反射された検出光であると解析され、発光素子ｄ１４３，ｄ１４６から射出され、撮像装置６ｃにより撮像された検出光は、表示部４の右側を視認した人の網膜により反射された検出光であると解析される。更に、例えば、撮像装置６ａ〜６ｃにより検出光と共に人の顔の輪郭（エッジ）を撮像できる場合には、その輪郭から向いている方向を特定する等の公知の解析方法を用いて、表示部４を視認した人、や表示部４の何れの部分を視認しているのかをより精度良く解析することができる。 Further, by adjusting the directivity of the detection light emitted from the light emitting elements d33, d36, d73, d76, d103, d106, d143, and d146, it is determined which part of the display unit 4 is being viewed. be able to. For example, when the directivity of the detection light is set strongly, the detection light emitted from the light emitting elements d33 and d36 and imaged by the imaging device 6a is reflected by the retina of a person who visually recognizes the left side of the display unit 4. The detection light can be analyzed. Similarly, the detection light emitted from the light emitting elements d73, d76, d103, and d106 and imaged by the imaging device 6b is analyzed as the detection light reflected by the retina of a person who visually recognizes the central portion of the display unit 4. The detection light emitted from the light emitting elements d143 and d146 and imaged by the imaging device 6c is analyzed as the detection light reflected by the retina of the person viewing the right side of the display unit 4. Furthermore, for example, when the imaging device 6a to 6c can capture the contour (edge) of the human face together with the detection light, the display unit can be displayed using a known analysis method such as specifying the direction facing the contour. It is possible to analyze the person who visually recognizes 4 and which part of the display unit 4 is visually recognized more accurately.

ステップＳ１２による解析結果から、表示部４にどのような画像が表示されているときに、幾人の人がその画像を視認したか、その画像の何れの部分を視認したかを把握することができる。 From the analysis result in step S12, it is possible to grasp what kind of image is displayed on the display unit 4 and how many people have viewed the image and which part of the image has been viewed. it can.

第１の実施の形態に係るＬＥＤ表示装置２によれば、表示部４の内部に検出光を射出する発光素子を備え、表示部４の周辺部に検出光を撮像する撮像装置を備えているため、表示部４を視認している人の網膜を反射した検出光のみを容易かつ精度良く検出することができる。即ち、ＬＥＤ表示装置２の前を通過した人が表示部４を視認しているか否かを容易かつ高精度に検出することができる。また、ＬＥＤ表示装置２の前を通過した人であって表示部４を視認した人のみを検出することができるため、従来技術のように、ＬＥＤ表示装置２の前を通過した人全員の顔の向きや目の位置を解析する必要がないため、解析に要する時間を大幅に削減することができる。また、画像を表示するための発光素子の一部を、検出光を射出する光源部として機能させているため、検出光を射出するためだけの発光素子等を備える必要がないため、ＬＥＤ表示装置２のコンパクト化及び低コスト化を図ることができる。 According to the LED display device 2 according to the first embodiment, the display unit 4 includes the light emitting element that emits the detection light, and the display unit 4 includes the imaging device that images the detection light. Therefore, it is possible to easily and accurately detect only the detection light reflected from the retina of the person viewing the display unit 4. That is, it is possible to easily and accurately detect whether or not a person who has passed in front of the LED display device 2 is viewing the display unit 4. Further, since only people who have passed in front of the LED display device 2 and have visually recognized the display unit 4 can be detected, the faces of all the people who have passed in front of the LED display device 2 as in the prior art Since it is not necessary to analyze the direction of the eye and the position of the eyes, the time required for the analysis can be greatly reduced. In addition, since a part of the light emitting element for displaying an image functions as a light source unit for emitting detection light, there is no need to provide a light emitting element or the like only for emitting detection light. 2 can be reduced in size and cost.

なお、第１の実施の形態においては、画像を表示するための発光素子の一部を光源部として機能させているが、画像を表示するための発光素子の全部を光源部として機能させることもできる。 In the first embodiment, a part of the light emitting elements for displaying an image functions as a light source unit. However, all of the light emitting elements for displaying an image may function as a light source unit. it can.

次に、図面を参照して、本発明の第２の実施の形態に係るＬＥＤ表示装置について説明する。図５は、第２の実施の形態に係るＬＥＤ表示装置２０の構成を示す図である。図５に示すように、ＬＥＤ表示装置２０は、画像を表示する表示部２２を備えており、表示部２２は、ＬＥＤ等により構成され、マトリクス状に配置された複数の発光素子２４を備えている。発光素子２４は、複数の発光色からなり、表示部２２に表示される画像の１画素として機能する。また、表示部２２の内部には、赤外ＬＥＤ等により構成され、発光素子２４と２４との間にマトリクス状に配置された赤外発光素子２６が設置されている。複数の赤外発光素子２６は、波長約８００ｎｍ〜１５μｍの赤外域の検出光を射出する光源部３６（図６参照）として機能する。 Next, an LED display device according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a diagram illustrating a configuration of the LED display device 20 according to the second embodiment. As shown in FIG. 5, the LED display device 20 includes a display unit 22 that displays an image. The display unit 22 includes a plurality of light emitting elements 24 that are configured by LEDs and arranged in a matrix. Yes. The light emitting element 24 has a plurality of emission colors and functions as one pixel of an image displayed on the display unit 22. In addition, an infrared light emitting element 26 which is configured by an infrared LED or the like and is arranged in a matrix between the light emitting elements 24 and 24 is installed inside the display unit 22. The plurality of infrared light emitting elements 26 function as a light source unit 36 (see FIG. 6) that emits detection light in the infrared region having a wavelength of about 800 nm to 15 μm.

また、ＬＥＤ表示装置２は、表示部２２の内部に設置され、後述する検出光を撮像するための撮像装置２８を備えている。なお、この実施の形態では、１つの撮像装置２８を備えているが、２つ以上の撮像装置を備えることもできる。 In addition, the LED display device 2 includes an imaging device 28 that is installed inside the display unit 22 and images detection light described later. In this embodiment, one imaging device 28 is provided, but two or more imaging devices can also be provided.

図６は、第２の実施の形態に係るＬＥＤ表示装置２０のシステム構成を示すブロック図である。図６に示すように、ＬＥＤ表示装置２０の各部を統括的に制御する制御部３０には、上述の撮像装置２８、及び制御部３０が動作するためのプログラムや画像データ等を記憶する記憶部３２が接続されている。また、制御部３０には、表示部２２を構成する個々の発光素子２４を駆動する駆動部３４が接続されており、駆動部３４には、表示部２２が接続されている。また、制御部３０には、複数の赤外発光素子２６により構成される光源部３６が接続されている。 FIG. 6 is a block diagram showing a system configuration of the LED display device 20 according to the second embodiment. As shown in FIG. 6, the control unit 30 that comprehensively controls each unit of the LED display device 20 includes a storage unit that stores the above-described imaging device 28, a program for operating the control unit 30, image data, and the like. 32 is connected. The control unit 30 is connected to a drive unit 34 that drives each light emitting element 24 constituting the display unit 22, and the drive unit 34 is connected to the display unit 22. The control unit 30 is connected to a light source unit 36 including a plurality of infrared light emitting elements 26.

第２の実施の形態に係る表示部２２への画像の表示方法は、第１の実施の形態に係る表示部４への画像の表示方法と同一のため説明を省略する。また、ＬＥＤ表示装置２０は、ＬＥＤ表示装置２と同様に、ＬＥＤ表示装置２０の前を通り過ぎる人の中で実際に表示部２２に表示されている画像を視認する人が何人いるかを検出することができる機能を備えている。 The method for displaying an image on the display unit 22 according to the second embodiment is the same as the method for displaying an image on the display unit 4 according to the first embodiment, and a description thereof will be omitted. Similarly to the LED display device 2, the LED display device 20 detects how many people actually see the image displayed on the display unit 22 among those passing by the LED display device 20. It has a function that can.

まず、制御部３０は、例えば記憶部３２に記憶されている画像データから形成される動画像を読み込み、表示部２２に表示させる。そして、制御部３０は、図７のタイムチャートに示すように、動画像を構成する１フレームを表示するための画像表示信号の出力の有無にかかわらず、検出光を射出するための検出用パルス信号を光源部３６に対して出力し、光源部３６を構成する赤外発光素子２６のそれぞれから赤外域の検出光を射出させる。 First, the control unit 30 reads a moving image formed from, for example, image data stored in the storage unit 32 and causes the display unit 22 to display the moving image. Then, as shown in the time chart of FIG. 7, the control unit 30 detects the detection pulse for emitting the detection light regardless of the output of the image display signal for displaying one frame constituting the moving image. A signal is output to the light source unit 36, and detection light in the infrared region is emitted from each of the infrared light emitting elements 26 constituting the light source unit 36.

制御部３０は、第１の実施の形態と同様に、画像表示信号ｓ１０に対する検出用パルス信号ｐ１０であることを識別するために、検出用パルス信号の出力数及び出力タイミングの制御を行う。例えば、図７に示すように、画像表示信号ｓ１０に対して５度の検出用パルス信号ｐ１０を出力しているのに対し、画像表示信号ｓ３０に対して２度の検出用パルス信号ｐ３０を出力している。また、画像表示信号ｓ１０に対する５度の検出用パルス信号ｐ１０の出力タイミングと、画像表示信号ｓ２０に対する５度の検出用パルス信号ｐ２０の出力タイミングとは異なっている。 As in the first embodiment, the control unit 30 controls the number of detection pulse signals and the output timing in order to identify the detection pulse signal p10 for the image display signal s10. For example, as shown in FIG. 7, the detection pulse signal p10 is output five times for the image display signal s10, whereas the detection pulse signal p30 is output twice for the image display signal s30. doing. Further, the output timing of the detection pulse signal p10 of 5 degrees for the image display signal s10 is different from the output timing of the detection pulse signal p20 of 5 degrees for the image display signal s20.

赤外発光素子２６から射出された検出光は、表示部２２を視認している人がいた場合には、その視認している人の眼球の網膜により反射され、制御部３０は、撮像装置２８を用いて、網膜により反射された検出光を検出する。なお、撮像装置２８は、図７に示すように、画像表示信号の出力の有無にかかわらず、連続的に撮像信号ｔ１０を制御部３０に対して出力しており、検出用パルス信号と撮像信号とは同期している。 When there is a person who is viewing the display unit 22, the detection light emitted from the infrared light emitting element 26 is reflected by the retina of the eyeball of the person who is viewing the control unit 30. Is used to detect the detection light reflected by the retina. As shown in FIG. 7, the imaging device 28 continuously outputs the imaging signal t 10 to the control unit 30 regardless of the output of the image display signal, and the detection pulse signal and the imaging signal are output. And are synchronized.

次に、制御部３０は、撮像装置２８から出力された撮像信号から画像データを生成し、生成された画像データに対して画像処理を施す。生成された画像データから形成される画像には、表示部２２を視認した人の網膜により反射された検出光のみが写る。よって、画像に写っている検出光をカウントすることにより、表示部２２を視認した人の数を把握することができる。 Next, the control unit 30 generates image data from the imaging signal output from the imaging device 28, and performs image processing on the generated image data. In the image formed from the generated image data, only the detection light reflected by the retina of the person viewing the display unit 22 is shown. Therefore, by counting the detection light reflected in the image, the number of people who have viewed the display unit 22 can be grasped.

第２の実施の形態に係るＬＥＤ表示装置２０によれば、第１の実施の形態に係るＬＥＤ表示装置２による効果に加え、人が視認することができない赤外域の検出光を射出するため、表示部２２に表示される画像の画質を低下させることなく、検出光を検出することができる。また、画像表示信号が出力されている間も検出用パルス信号を射出することができるため、ＬＥＤ表示装置２０の前を通過した人が表示部２２を視認しているか否かをより高精度に検出することができる。 According to the LED display device 20 according to the second embodiment, in addition to the effects of the LED display device 2 according to the first embodiment, in order to emit infrared detection light that cannot be visually recognized by humans, The detection light can be detected without degrading the image quality of the image displayed on the display unit 22. In addition, since the detection pulse signal can be emitted while the image display signal is being output, it is more accurately determined whether or not a person who has passed in front of the LED display device 20 is viewing the display unit 22. Can be detected.

なお、第１及び第２の実施の形態においては、検出光を検出する検出部として撮像装置を備えているが、撮像装置に代えて検出光を検出する光センサを備えることもできる。この場合には、検出精度を高めるために、検出光を射出する発光素子等の近傍に光センサを配置し、隣接する発光素子等から射出される検出光と同期しない指向性の強い検出光を射出させる。 In the first and second embodiments, the imaging device is provided as the detection unit that detects the detection light. However, an optical sensor that detects the detection light may be provided instead of the imaging device. In this case, in order to improve the detection accuracy, an optical sensor is arranged in the vicinity of the light emitting element that emits the detection light, and the detection light with strong directivity that is not synchronized with the detection light emitted from the adjacent light emitting element or the like is used. Let it fire.

また、第２の実施の形態においては、表示部２２の内部に光源部としての赤外発光素子２６を配置しているが、表示部２２の周辺部に赤外発光素子２６を配置してもよい。 Further, in the second embodiment, the infrared light emitting element 26 as the light source unit is arranged inside the display unit 22, but the infrared light emitting element 26 may be arranged around the display unit 22. Good.

次に、図面を参照して、本発明の第３の実施の形態に係る表示装置について説明する。図８は、第３の実施の形態に係る表示装置４０の構成を示す図である。図８に示すように、表示装置４０は、画像を表示する表示部４２を備えており、表示部４２は、マトリクス状に配置された複数の受発光素子４４を備えている。受発光素子４４は、複数の発光色からなり、表示部４２に表示される画像の１画素として機能する。また、受発光素子４４は、検出光を射出する光源部、及び検出光を検出する検出部として機能する。 Next, a display device according to a third embodiment of the present invention will be described with reference to the drawings. FIG. 8 is a diagram illustrating the configuration of the display device 40 according to the third embodiment. As illustrated in FIG. 8, the display device 40 includes a display unit 42 that displays an image, and the display unit 42 includes a plurality of light emitting and receiving elements 44 arranged in a matrix. The light emitting / receiving element 44 has a plurality of emission colors and functions as one pixel of an image displayed on the display unit 42. The light emitting / receiving element 44 functions as a light source unit that emits detection light and a detection unit that detects detection light.

図９は、第３の実施の形態に係る表示装置４０のシステム構成を示すブロック図である。図９に示すように、表示装置４０の各部を統括的に制御する制御部４６には、制御部４６が動作するためのプログラムや画像データ等を記憶する記憶部４８、表示部４２を構成する個々の受発光素子４４を駆動する駆動部５０が接続されており、駆動部５０には、表示部４２が接続されている。 FIG. 9 is a block diagram showing a system configuration of the display device 40 according to the third embodiment. As shown in FIG. 9, the control unit 46 that comprehensively controls each unit of the display device 40 includes a storage unit 48 that stores a program for operating the control unit 46, image data, and the like, and a display unit 42. A drive unit 50 that drives each light emitting / receiving element 44 is connected, and a display unit 42 is connected to the drive unit 50.

この実施の形態において表示部４２に画像を表示する場合には、制御部４６は、記憶部４８に記憶されている画像データに基づいて各受発光素子４４の発光色を設定する。そして、制御部４６は、設定された各受発光素子４４の発光色に基づく画像表示信号を駆動部５０に対して出力し、駆動部５０を介して各受発光素子４４の点灯を制御することにより、表示部４２に画像を表示させる。 In this embodiment, when an image is displayed on the display unit 42, the control unit 46 sets the emission color of each light emitting / receiving element 44 based on the image data stored in the storage unit 48. Then, the control unit 46 outputs an image display signal based on the set emission color of each light emitting / receiving element 44 to the driving unit 50, and controls lighting of each light receiving / emitting element 44 via the driving unit 50. Thus, an image is displayed on the display unit 42.

また、表示装置４０は、ＬＥＤ表示装置２，２０と同様に、表示装置４０の前を通り過ぎる人の中で実際に表示部４２に表示されている画像を視認する人が何人いるかを検出することができる機能を備えている。 Moreover, the display apparatus 40 detects how many people who visually recognize the image actually displayed on the display part 42 among the persons passing in front of the display apparatus 40, like the LED display apparatuses 2 and 20. It has a function that can.

まず、制御部４６は、記憶部４８に記憶されている画像データから形成される動画像を、表示部４２に表示させる。そして、動画像を構成する１フレームを表示するための画像表示信号を出力した後であって、次のフレームを表示するための画像表示信号を出力する前に、検出光を射出するための検出用パルス信号を駆動部５０に対して出力し、駆動部５０を介して受発光素子４４から検出光を射出させる。検出光は、波長約４００〜８００ｎｍの可視光であり、人が視認することができない程度の短い時間（例えば、検出光の強度が弱い場合には約０．５ｍｓｅｃ以下）射出される。また、制御部４６は、第１及び第２の実施の形態と同様に、検出用パルス信号の出力数及び出力タイミングの制御を行う。 First, the control unit 46 causes the display unit 42 to display a moving image formed from the image data stored in the storage unit 48. Then, after outputting an image display signal for displaying one frame constituting the moving image, and before outputting an image display signal for displaying the next frame, detection for emitting detection light The output pulse signal is output to the drive unit 50, and the detection light is emitted from the light emitting / receiving element 44 via the drive unit 50. The detection light is visible light having a wavelength of about 400 to 800 nm, and is emitted for a short time that cannot be visually recognized by a person (for example, about 0.5 msec or less when the intensity of the detection light is weak). In addition, the control unit 46 controls the output number and output timing of the detection pulse signal, as in the first and second embodiments.

受発光素子４４から射出された検出光は、表示部４２を視認している人がいた場合には、その視認している人の眼球の網膜により反射される。そして、制御部４６は、受発光素子４４で網膜を反射した検出光を受光することにより、検出光の検出を行う。次に、制御部４６は、受発光素子４４による検出された検出光の解析を行う。即ち、受発光素子４４により受光される検出光は、表示部４２を視認した人の網膜により反射された検出光のみであるため、受発光素子４４により受光された検出光をカウントすることにより表示部４２を視認した人の数を把握することができる。 When there is a person who is viewing the display unit 42, the detection light emitted from the light emitting / receiving element 44 is reflected by the retina of the eyeball of the person who is viewing. Then, the control unit 46 detects the detection light by receiving the detection light reflected from the retina by the light emitting and receiving element 44. Next, the control unit 46 analyzes the detection light detected by the light emitting / receiving element 44. That is, since the detection light received by the light emitting / receiving element 44 is only the detection light reflected by the retina of the person who visually recognizes the display unit 42, the detection light received by the light receiving / emitting element 44 is counted to display the light. The number of people who have visually recognized the part 42 can be grasped.

第３の実施の形態に係る表示装置４０によれば、第１及び第２の実施の形態に係るＬＥＤ表示装置２，２０による効果に加え、受発光素子４４により、画像の表示、検出光の射出、及び検出光の受光を行うことができるため、表示装置のコンパクト化及び低コスト化を図ることができ、かつ無駄のないシンプルな構成にすることができる。 According to the display device 40 according to the third embodiment, in addition to the effects of the LED display devices 2 and 20 according to the first and second embodiments, the light emitting / receiving element 44 allows the display of an image and the detection light. Since emission and detection light can be received, the display device can be reduced in size and cost, and a simple configuration without waste can be achieved.

なお、第２及び第３の実施の形態においては、検出光を射出する赤外発光素子２６または受発光素子４４が表示部全体に配置されているが、赤外発光素子２６または受発光素子４４を表示部の一部に配置するようにしてもよい。また、画像を表示するための発光素子を表示部全体にマトリクス状に配置し、表示部の内部または周辺部に１つ以上の受発光素子を配置し、受発光素子により検出光を射出及び検出するようにしてもよい。また、第１及び第２の実施の形態を組み合わせた形態、即ち、画像の一画像として機能し検出光を射出する発光素子、及び検出光のみを射出する赤外発光素子を備えたものにしてもよい。また、第１及び第３の実施の形態を組み合わせた形態、即ち、画像の一画像として機能し検出光を射出する発光素子及び受発光素子を備えたものにしてもよい。更に、第２及び第３の実施の形態を組み合わせた形態、即ち、検出光のみを射出する赤外発光素子、及び画像の一画像として機能し検出光を射出する受発光素子を備えたものにしてもよい。また、赤外域の検出光を射出し、検出光を受光する赤外受発光素子を備えたものにしてもよい。 In the second and third embodiments, the infrared light emitting element 26 or the light emitting / receiving element 44 that emits detection light is disposed on the entire display unit. May be arranged in a part of the display unit. In addition, light emitting elements for displaying an image are arranged in a matrix on the entire display unit, and one or more light receiving / emitting elements are arranged inside or around the display unit, and detection light is emitted and detected by the light receiving / emitting elements. You may make it do. In addition, a combination of the first and second embodiments, that is, a light emitting element that functions as an image and emits detection light, and an infrared light emitting element that emits only detection light are provided. Also good. In addition, a combination of the first and third embodiments, that is, a light emitting element that functions as one image and emits detection light and a light receiving and emitting element may be provided. Further, the second and third embodiments are combined, that is, an infrared light emitting element that emits only detection light, and a light receiving and emitting element that functions as an image and emits detection light. May be. Further, an infrared light receiving and emitting element that emits infrared detection light and receives the detection light may be provided.

また、上述の各実施の形態においては、表示装置としてＬＥＤ表示装置や受発光素子を備えた表示装置を例に挙げて説明したが、有機ＥＬ（ＯＬＥＤ）表示装置にも本発明を適用することができる。また、液晶ディスプレイやプラズマディスプレイにも本発明を適用することができる。この場合には、検出光を射出する光源部及び検出光を検出する検出部を表示部の周辺部に設ける。 In each of the above-described embodiments, an LED display device or a display device including a light emitting / receiving element has been described as an example of the display device. However, the present invention is also applied to an organic EL (OLED) display device. Can do. The present invention can also be applied to liquid crystal displays and plasma displays. In this case, a light source unit that emits detection light and a detection unit that detects detection light are provided in the periphery of the display unit.

また、上述の各実施の形態においては、検出光の波長域によっては検出光が眼鏡やサングラス等により吸収されるため、検出光が網膜まで到達せず、眼鏡やサングラス等をかけている人が表示部を視認しているか否かを精度良く検出できない場合がある。この場合には、所定の波長域を有する検出光及び眼鏡やサングラスを透過する波長域の検出光（例えば短波長の光）を射出させる等、波長の異なる２以上の検出光を射出させることにより、より高精度に表示部を視認しているか否かを検出することができる。 Further, in each of the above-described embodiments, the detection light is absorbed by glasses or sunglasses depending on the wavelength range of the detection light, so that the detection light does not reach the retina and a person wearing glasses or sunglasses is wearing it. It may not be possible to accurately detect whether or not the display unit is visually recognized. In this case, two or more detection lights having different wavelengths are emitted, such as emission of detection light having a predetermined wavelength range and detection light in a wavelength range that passes through glasses or sunglasses (for example, light having a short wavelength). It is possible to detect whether or not the display unit is visually recognized with higher accuracy.

また、上述の各実施の形態においては、表示部に動画像を表示している間、検出光を射出しているが、例えば視認されているか否かを確認する必要があるシーン等のみ検出光を射出するようにしてもよい。 Further, in each of the above-described embodiments, detection light is emitted while a moving image is displayed on the display unit. However, for example, only the detection of a scene or the like that needs to be confirmed is possible. May be injected.

２，２０…ＬＥＤ表示装置、４，２２，４２…表示部、６ａ〜６ｃ，２８…撮像装置、１０，３０，４６…制御部、１２，３２，４８…記憶部、１４，３４，５０…駆動部、４０…表示装置。 DESCRIPTION OF SYMBOLS 2,20 ... LED display device 4, 22, 42 ... Display part, 6a-6c, 28 ... Imaging device 10, 30, 46 ... Control part, 12, 32, 48 ... Storage part, 14, 34, 50 ... Drive unit, 40... Display device.

Claims

A light source unit that is disposed in at least one of the inside and the periphery of the display unit that displays an image, and emits detection light;
A detection unit for detecting the detection light reflected by the retina in the eyeball;
An analysis unit for analyzing a detection result by the detection unit;
With
The light source unit emits visible light as the detection light for a predetermined time from at least one of the light emitting elements constituting the display unit between a still image displayed on the display unit and a still image displayed next. A display device characterized by:

A light source unit that emits two or more detection lights having different wavelengths, disposed in at least one of a display unit that displays an image and a peripheral unit;
A detection unit for detecting the detection light reflected by the retina in the eyeball;
An analysis unit for analyzing a detection result by the detection unit;
Equipped with a,
The light source unit emits visible light as the detection light for a predetermined time from at least one of the light emitting elements constituting the display unit between a still image displayed on the display unit and a still image displayed next. A display device characterized by:

The display device according to claim 1 or claim 2, characterized in that it comprises a control unit for controlling at least one injection number and injection timing of the detection light for one image.

The detection unit includes an imaging device,
Wherein the pulse signal of the detection light, the display device according to claim 1 or claim 3, characterized in that synchronizing the image signal output from the imaging device.

The display device according to claim 4 , wherein the imaging device is installed inside the display unit.

Wherein the detection unit, a display device according to any one of claims 1 to 5, characterized in that detecting a pair of bright spots can be determined that reflected the detected light by the retina.