JP5998863B2

JP5998863B2 - Gaze detection device and gaze detection method

Info

Publication number: JP5998863B2
Application number: JP2012247869A
Authority: JP
Inventors: 首藤　勝行; 勝行首藤
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2016-09-28
Anticipated expiration: 2032-11-09
Also published as: JP2014094186A

Description

この発明は、視線検出装置および視線検出方法に関する。 The present invention relates to a line-of-sight detection apparatus and a line-of-sight detection method.

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し、療育を開始することで、その症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国においても、１歳半検診時の問診などによる早期発見を目指している。 Recently, people with developmental disabilities are said to be on the rise. It is known that developmental disabilities are detected early and treatment begins, thereby reducing the symptoms and increasing the effect of adapting to society. In Japan as well, we aim for early detection through interviews at the age of 1 and a half.

発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。この特徴を利用した診断方法として、検査対象となる被験者に人物の顔画像を見せ、その際の被験者の注視点に基づいて発達障害を診断する方法が知られている（例えば、特許文献１参照）。 One characteristic of children with developmental disabilities is that they do not look at the eyes of their opponents. As a diagnostic method using this feature, a method is known in which a person's face image is shown to a subject to be examined and a developmental disorder is diagnosed based on the gaze point of the subject at that time (see, for example, Patent Document 1). ).

注視点を検出する技術として、カメラ近傍から赤外光を照射して被験者の目を撮像し、撮像画像の瞳孔の中心と角膜反射像との位置関係に基づき被験者の視線の方向を検出して注視点を特定する方法が知られている（例えば、特許文献２参照）。角膜反射像は、照射した赤外光が角膜表面において反射して画像に写り込んだ、瞳孔よりも明るく小さなスポット状の像である。 As a technique for detecting a gazing point, the subject's eyes are imaged by irradiating infrared light from the vicinity of the camera, and the direction of the subject's line of sight is detected based on the positional relationship between the center of the pupil of the captured image and the cornea reflection image. A method for specifying a gazing point is known (see, for example, Patent Document 2). The corneal reflection image is a spot-like image that is brighter and smaller than the pupil and is reflected on the image by the irradiated infrared light reflected from the corneal surface.

特開２０１１−２０６５４２号公報JP 2011-206542 A 特開２００８−１２５６１９号公報JP 2008-125619 A 特開２００７−５８５０７号公報JP 2007-58507 A

しかしながら、瞳孔像の中心位置と角膜反射像との位置関係に基づき被験者の視線方向を検出する方法は、被験者の目の特性（例えば瞳孔の輝度）等のバラツキにより、視線方向を精度良く検出することができない場合がある。このようなバラツキを補正する方法として赤外光の照射光量を調整する方法が知られている（例えば、特許文献３参照）。 However, the method of detecting the gaze direction of the subject based on the positional relationship between the center position of the pupil image and the corneal reflection image detects the gaze direction with high accuracy based on variations in the characteristics of the subject's eyes (for example, the luminance of the pupil). It may not be possible. As a method for correcting such a variation, a method of adjusting the amount of irradiation light of infrared light is known (for example, see Patent Document 3).

しかし、この方法は、瞳孔が開いている（瞳孔の開口が大きい）状態において赤外光の光量を減少させると角膜反射像の輝度が減少してしまい角膜反射像の検出が困難となってしまう、という問題があった。さらに、この方法は、瞳孔が閉じている（瞳孔の開口が小さい）状態において赤外光の光量を増加させても瞳孔の輝度はそれほど高くならない、という問題もあった。 However, in this method, when the amount of infrared light is reduced in a state where the pupil is open (the pupil opening is large), the luminance of the corneal reflection image is reduced and it becomes difficult to detect the corneal reflection image. There was a problem. Further, this method has a problem that the luminance of the pupil does not increase so much even if the amount of infrared light is increased in a state where the pupil is closed (the pupil opening is small).

本発明は、上記に鑑みてなされたものであって、精度良く視線を検出することができる視線検出装置および視線検出方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a gaze detection apparatus and a gaze detection method capable of accurately detecting a gaze.

上述した課題を解決し、目的を達成するために、本発明に係る視線検出装置は、被験者に対して赤外光を照射する照射部と、前記被験者に対して赤外光が照射されているタイミングにおいて前記被験者の目の画像を撮像する撮像部と、前記被験者の目の画像における瞳孔像の輝度に応じて、前記被験者の目に対して照射する可視光の光量を調整する調整部と、前記可視光の光量の調整後において、前記被験者の目の画像における前記瞳孔像および前記赤外光が角膜表面で反射した角膜反射像に基づき前記被験者の視線を検出する視線検出部と、を備える。 In order to solve the above-described problems and achieve the object, a line-of-sight detection device according to the present invention is configured to irradiate a subject with infrared light, and the subject is irradiated with infrared light. An imaging unit that captures an image of the eye of the subject at a timing, and an adjustment unit that adjusts the amount of visible light applied to the eye of the subject according to the luminance of a pupil image in the eye image of the subject; A line-of-sight detector that detects the line of sight of the subject based on the pupil image in the eye image of the subject and the corneal reflection image of the infrared light reflected on the corneal surface after the adjustment of the amount of visible light. .

また、本発明に係る視線検出方法は、被験者に対して赤外光を照射する照射ステップと、前記被験者に対して赤外光が照射されているタイミングにおいて前記被験者の目の画像を撮像する撮像ステップと、前記被験者の目の画像における瞳孔像の輝度に応じて、前記被験者の目に対して照射する可視光の光量を調整する調整ステップと、前記可視光の光量の調整後において、前記被験者の目の画像における前記瞳孔像および前記赤外光が角膜表面で反射した角膜反射像に基づき前記被験者の視線を検出する視線検出ステップと、を含む。 Moreover, the gaze detection method according to the present invention includes an irradiation step of irradiating a subject with infrared light, and imaging for capturing an image of the eye of the subject at a timing when the subject is irradiated with infrared light. The step of adjusting the amount of visible light applied to the eye of the subject in accordance with the luminance of the pupil image in the eye image of the subject; A line-of-sight detection step of detecting the line of sight of the subject based on the pupil image in the eye image and the corneal reflection image obtained by reflecting the infrared light on the corneal surface.

本発明によれば、精度良く視線を検出することができる。 According to the present invention, it is possible to detect a line of sight with high accuracy.

図１は、本実施形態に係る診断支援装置１００の概略構成を示す図である。FIG. 1 is a diagram illustrating a schematic configuration of a diagnosis support apparatus 100 according to the present embodiment. 図２は、診断支援装置１００の処理に利用される座標系を示す図である。FIG. 2 is a diagram illustrating a coordinate system used for processing of the diagnosis support apparatus 100. 図３は、本実施形態に係る診断支援装置１００の詳細構成を示す図である。FIG. 3 is a diagram illustrating a detailed configuration of the diagnosis support apparatus 100 according to the present embodiment. 図４は、被験者の注視点を検出する方法を説明するための図である。FIG. 4 is a diagram for explaining a method of detecting a gaze point of a subject. 図５は、瞳孔の中心位置および角膜反射像の位置を検出する処理の流れを示すフローチャートである。FIG. 5 is a flowchart showing a flow of processing for detecting the center position of the pupil and the position of the cornea reflection image. 図６−１は、明瞳孔画像および明瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 6A is a diagram illustrating a luminance distribution of a horizontal line passing through a bright pupil image and a corneal reflection image in the bright pupil image. 図６−２は、暗瞳孔画像および暗瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 6B is a diagram illustrating a luminance distribution of a horizontal line passing through a dark pupil image and a cornea reflection image in the dark pupil image. 図６−３は、明瞳孔画像と暗瞳孔画像との差分画像および差分画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 6C is a diagram illustrating a difference image between the bright pupil image and the dark pupil image and a luminance distribution of a horizontal line passing through the cornea reflection image in the difference image. 図７−１は、瞳孔が広がっており瞳孔像２１２の輝度が高い状態の明瞳孔画像を示す図である。FIG. 7A is a diagram illustrating a bright pupil image in which the pupil is widened and the luminance of the pupil image 212 is high. 図７−２は、瞳孔が狭くなっており瞳孔像２１２の輝度が低い状態の明瞳孔画像を示す図である。FIG. 7B is a diagram illustrating a bright pupil image in a state where the pupil is narrow and the luminance of the pupil image 212 is low. 図８−１は、瞳孔が広がっている状態における、明瞳孔画像および明瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 8A is a diagram illustrating a luminance distribution of a horizontal line passing through a bright pupil image and a corneal reflection image in the bright pupil image in a state where the pupil is widened. 図８−２は、瞳孔が広がっている状態における、暗瞳孔画像および暗瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 8B is a diagram illustrating a luminance distribution of a horizontal line passing through a dark pupil image and a corneal reflection image in the dark pupil image in a state where the pupil is widened. 図８−３は、瞳孔が広がっている状態における、明瞳孔画像と暗瞳孔画像との差分画像および差分画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 8C is a diagram illustrating a difference image between a bright pupil image and a dark pupil image and a luminance distribution of a horizontal line passing through a corneal reflection image in the difference image in a state where the pupil is widened. 図９−１は、瞳孔が狭まっている状態における、明瞳孔画像および明瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 9A is a diagram illustrating a luminance distribution of a horizontal line passing through a bright pupil image and a corneal reflection image in the bright pupil image in a state where the pupil is narrowed. 図９−２は、瞳孔が狭まっている状態における、暗瞳孔画像および暗瞳孔画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 9B is a diagram illustrating a luminance distribution of a horizontal line passing through a dark pupil image and a corneal reflection image in the dark pupil image in a state where the pupil is narrowed. 図９−３は、瞳孔が狭まっている状態における、明瞳孔画像と暗瞳孔画像との差分画像および差分画像における角膜反射像を通る水平ラインの輝度分布を示す図である。FIG. 9C is a diagram illustrating a difference image between a bright pupil image and a dark pupil image and a luminance distribution of a horizontal line passing through a cornea reflection image in the difference image when the pupil is narrowed. 図１０−１は、輝度を高くした場合における第１表示部１０１の画面を示す図である。FIG. 10A is a diagram illustrating the screen of the first display unit 101 when the luminance is increased. 図１０−２は、輝度を低くした場合における第１表示部１０１の画面を示す図である。FIG. 10B is a diagram illustrating the screen of the first display unit 101 when the luminance is lowered. 図１１−１は、端部ＬＥＤ照明３１１の輝度を高くした場合における第１表示部１０１の画面を示す図である。FIG. 11A is a diagram illustrating a screen of the first display unit 101 when the luminance of the end LED illumination 311 is increased. 図１１−２は、端部ＬＥＤ照明３１１の輝度を低くした場合における第１表示部１０１の画面を示す図である。FIG. 11B is a diagram illustrating a screen of the first display unit 101 when the luminance of the end LED illumination 311 is lowered. 図１２−１は、端部領域３１２に輝度の高い画像を表示した場合における第１表示部１０１の画面を示す図である。FIG. 12A is a diagram illustrating a screen of the first display unit 101 when an image with high luminance is displayed in the end region 312. 図１２−２は、端部領域３１２に輝度の低い画像を表示した場合における第１表示部１０１の画面を示す図である。FIG. 12B is a diagram illustrating a screen of the first display unit 101 when an image with low luminance is displayed in the end region 312. 図１３は、第１表示部１０１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。FIG. 13 is a flowchart illustrating a process of adjusting the amount of visible light irradiated to the subject's eyes by adjusting the luminance of the first display unit 101. 図１４は、第１表示部１０１に表示する映像コンテンツを切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。FIG. 14 is a flowchart illustrating a process of adjusting the amount of visible light applied to the subject's eyes by switching the video content displayed on the first display unit 101. 図１５は、端部ＬＥＤ照明３１１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。FIG. 15 is a flowchart showing a process of adjusting the amount of visible light irradiated to the subject's eyes by adjusting the luminance of the edge LED illumination 311. 図１６は、端部領域３１２に表示する画像の輝度を切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。FIG. 16 is a flowchart showing a process of adjusting the amount of visible light irradiated to the subject's eyes by switching the luminance of the image displayed in the end region 312.

以下に、本発明に係る視線検出装置および視線検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of a line-of-sight detection device and a line-of-sight detection method according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.

図１は、本実施の形態に係る診断支援装置１００の概略構成を示す図である。診断支援装置１００は、医師による発達障害の診断の指標となる評価値を得るための検査、すなわち診断を支援するための検査を行う装置である。 FIG. 1 is a diagram showing a schematic configuration of a diagnosis support apparatus 100 according to the present embodiment. The diagnosis support apparatus 100 is an apparatus that performs a test for obtaining an evaluation value that serves as an index for diagnosis of a developmental disorder by a doctor, that is, a test for supporting a diagnosis.

診断支援装置１００は、第１表示部１０１と、第２表示部１０２と、スピーカ１０３と、ステレオカメラ１１０と、赤外ＬＥＤ光源１２１，１２２と、駆動・ＩＦ部１３０と、制御部１４０と、記憶部１５０と、照明駆動部１６０とを備えている。 The diagnosis support apparatus 100 includes a first display unit 101, a second display unit 102, a speaker 103, a stereo camera 110, infrared LED light sources 121 and 122, a drive / IF unit 130, a control unit 140, A storage unit 150 and an illumination driving unit 160 are provided.

第１表示部１０１は、被験者に注視させる画像等を表示する。第２表示部１０２は、診断支援装置１００の操作内容および診断結果等を表示する。第１表示部１０１および第２表示部１０２は、例えばモニタ画面である。スピーカ１０３は、診断結果などを音声出力する。また、スピーカ１０３は、検査時に被験者に注意を促すための音声を出力する。 The 1st display part 101 displays the image etc. which a test subject gazes at. The second display unit 102 displays the operation content of the diagnosis support apparatus 100, the diagnosis result, and the like. The first display unit 101 and the second display unit 102 are, for example, monitor screens. The speaker 103 outputs a diagnosis result or the like as a sound. Further, the speaker 103 outputs a sound for prompting the subject to pay attention during the examination.

ステレオカメラ１１０は、被験者から見て第１表示部１０１の下側に設置されている。ステレオカメラ１１０は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ１１１と左カメラ１１２の１組のカメラを備えている。 The stereo camera 110 is installed below the first display unit 101 when viewed from the subject. The stereo camera 110 is an imaging unit that can perform stereo shooting with infrared rays, and includes a pair of cameras, a right camera 111 and a left camera 112.

右カメラ１１１および左カメラ１１２の各レンズの周囲には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源１２１，１２２がそれぞれ配置されている。赤外ＬＥＤ光源１２１，１２２は、被験者に対して赤外光を照射する。赤外ＬＥＤ光源１２１，１２２は、内周のＬＥＤと外周のＬＥＤとを含む。内周のＬＥＤと外周のＬＥＤについては、後述する。 Around each lens of the right camera 111 and the left camera 112, infrared LED (Light Emitting Diode) light sources 121 and 122 are respectively arranged in the circumferential direction. The infrared LED light sources 121 and 122 irradiate the subject with infrared light. The infrared LED light sources 121 and 122 include an inner peripheral LED and an outer peripheral LED. The inner and outer peripheral LEDs will be described later.

ステレオカメラ１１０は、赤外ＬＥＤ光源１２１，１２２から赤外線が照射されているタイミングにおいて、被験者の少なくとも目を含む顔を撮像する。すなわち、ステレオカメラ１１０は、被験者の顔からの赤外線の反射光の画像を撮像する。 The stereo camera 110 captures an image of the face including at least the eyes of the subject at the timing when infrared rays are irradiated from the infrared LED light sources 121 and 122. That is, the stereo camera 110 captures an image of infrared reflected light from the subject's face.

なお、ステレオカメラ１１０は、被験者の顔を撮像可能な位置に設置されていればよく、その設置位置は実施の形態に限定されるものではない。また、撮像される画像は、被験者の少なくとも目を含む画像であれば、顔の一部のみを含む画像であってもよく、顔以外を含む画像であってもよい。 The stereo camera 110 only needs to be installed at a position where the subject's face can be imaged, and the installation position is not limited to the embodiment. In addition, the image to be captured may be an image including only a part of the face or an image including other than the face as long as the image includes at least the eyes of the subject.

駆動・ＩＦ部１３０は、ステレオカメラ１１０、赤外ＬＥＤ光源１２１，１２２およびスピーカ１０３に含まれる各部を駆動する。また、駆動・ＩＦ部１３０は、ステレオカメラ１１０、赤外ＬＥＤ光源１２１，１２２およびスピーカ１０３に含まれる各部と、制御部１４０とのインタフェースとして機能する。 The drive / IF unit 130 drives each unit included in the stereo camera 110, the infrared LED light sources 121 and 122, and the speaker 103. The drive / IF unit 130 functions as an interface between the control unit 140 and each unit included in the stereo camera 110, the infrared LED light sources 121 and 122, and the speaker 103.

制御部１４０は、第１表示部１０１、第２表示部１０２、駆動・ＩＦ部１３０、記憶部１５０および照明駆動部１６０と接続している。制御部１４０は、第１表示部１０１および第２表示部１０２に表示すべき画像等を制御する。また、制御部１４０は、照明駆動部１６０を介して第１表示部１０１の発光量を調整する。 The control unit 140 is connected to the first display unit 101, the second display unit 102, the drive / IF unit 130, the storage unit 150, and the illumination drive unit 160. The control unit 140 controls images to be displayed on the first display unit 101 and the second display unit 102. In addition, the control unit 140 adjusts the light emission amount of the first display unit 101 via the illumination driving unit 160.

制御部１４０は、被験者の視線を検出して、第１表示部１０１上におけるいずれの位置を被験者が注視しているかを検出する。続いて、制御部１４０は、検出した注視点に基づいて、発達障害の診断のための評価値を算出する。 The control unit 140 detects the line of sight of the subject and detects which position on the first display unit 101 the subject is gazing at. Subsequently, the control unit 140 calculates an evaluation value for diagnosis of developmental disorder based on the detected gazing point.

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば第１表示部１０１に表示する画像等を記憶する。 The storage unit 150 stores various information such as a control program, a measurement result, and a diagnosis support result. The storage unit 150 stores an image to be displayed on the first display unit 101, for example.

照明駆動部１６０は、制御部１４０からの制御に応じて、第１表示部１０１から発光される可視光の発光量を調整する。照明駆動部１６０は、一例として、制御部１４０の制御に応じて第１表示部１０１のモニタ輝度値等を変更したり、水平方向の端部のＬＥＤ照明の電流量を変更したりすることにより、可視光の発光量を調整する。なお、第１表示部１０１から発光される可視光の発光量の調整については詳細を後述する。 The illumination driving unit 160 adjusts the amount of visible light emitted from the first display unit 101 according to the control from the control unit 140. For example, the illumination drive unit 160 changes the monitor luminance value of the first display unit 101 according to the control of the control unit 140, or changes the amount of LED illumination current at the horizontal end. , Adjust the amount of visible light emission. Details of the adjustment of the amount of visible light emitted from the first display unit 101 will be described later.

図２は、診断支援装置１００の処理に利用される座標系を示す図である。第１表示部１０１は、横方向を長辺とする長方形の画面である。診断支援装置１００は、図２に示すような、第１表示部１０１の画面の中央位置を原点として、上下をＹ座標（上を＋方向とする）、横をＸ座標（第１表示部１０１に向かって右を＋方向とする）、奥行きをＺ座標（第１表示部１０１の手前を＋方向とする）とするＸＹＺ座標系において、被験者の注視点の位置の特定処理を行う。 FIG. 2 is a diagram illustrating a coordinate system used for processing of the diagnosis support apparatus 100. The first display unit 101 is a rectangular screen having a long side in the horizontal direction. As shown in FIG. 2, the diagnosis support apparatus 100 uses the center position of the screen of the first display unit 101 as an origin, the Y coordinate (upward is the + direction), and the horizontal coordinate X (the first display unit 101). In the XYZ coordinate system in which the right is the + direction and the depth is the Z coordinate (the front of the first display unit 101 is the + direction), the position of the subject's point of interest is specified.

図３は、本実施形態に係る診断支援装置１００の詳細構成を示す図である。赤外ＬＥＤ光源１２１は、内周のＬＥＤである波長１−ＬＥＤ１２３と、外周のＬＥＤである波長２−ＬＥＤ１２４とを有する。赤外ＬＥＤ光源１２２は、内周のＬＥＤである波長１−ＬＥＤ１２５と、外周のＬＥＤである波長２−ＬＥＤ１２６とを有する。 FIG. 3 is a diagram illustrating a detailed configuration of the diagnosis support apparatus 100 according to the present embodiment. The infrared LED light source 121 includes a wavelength 1-LED 123 that is an inner peripheral LED and a wavelength 2-LED 124 that is an outer peripheral LED. The infrared LED light source 122 includes a wavelength 1-LED 125 that is an inner peripheral LED and a wavelength 2-LED 126 that is an outer peripheral LED.

波長１−ＬＥＤ１２３，１２５は、波長１の赤外線を照射する。波長２−ＬＥＤ１２４，１２６は、波長２の赤外線を照射する。波長１および波長２は、互いに異なる波長である。波長１は、例えば９００ｎｍ未満の波長の赤外光であり、本実施形態においては８５０ｎｍの波長の光である。また、波長２は、例えば９００ｎｍ以上の波長の赤外光であり、本実施形態においては９５０ｎｍの波長の光である。 Wavelength 1-LEDs 123 and 125 emit infrared light having a wavelength 1. The wavelength 2-LEDs 124 and 126 emit infrared light having a wavelength 2. Wavelength 1 and wavelength 2 are different from each other. The wavelength 1 is infrared light having a wavelength of less than 900 nm, for example, and is light having a wavelength of 850 nm in the present embodiment. The wavelength 2 is infrared light having a wavelength of, for example, 900 nm or more, and in this embodiment, light having a wavelength of 950 nm.

９００ｎｍ以上の波長の光は９００ｎｍ未満の波長の光と比較して水分に吸収される吸収度が高い。従って、９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像を得ることができる。 Light having a wavelength of 900 nm or more has a higher degree of absorption that is absorbed by moisture than light having a wavelength of less than 900 nm. Accordingly, when the reflected light reflected by the pupil is irradiated with infrared light having a wavelength of less than 900 nm, the pupil is brighter than when the reflected light reflected by the pupil is irradiated with infrared light having a wavelength of 900 nm or more. An image can be obtained.

また、波長１−ＬＥＤ１２３は、右カメラ１１１のレンズの周囲であって内周側に配置されている。波長２−ＬＥＤ１２４は、右カメラ１１１のレンズの周囲であって、波長１−ＬＥＤ１２３よりも外周側に配置されている。また、波長１−ＬＥＤ１２５は、左カメラ１１２のレンズの周囲であって内周側に配置されている。波長２−ＬＥＤ１２６は、左カメラ１１２のレンズの周囲であって、波長１−ＬＥＤ１２５よりも外周側に配置されている。 Further, the wavelength 1-LED 123 is arranged around the lens of the right camera 111 and on the inner peripheral side. The wavelength 2-LED 124 is arranged around the lens of the right camera 111 and is arranged on the outer peripheral side of the wavelength 1-LED 123. The wavelength 1-LED 125 is arranged around the lens of the left camera 112 and on the inner peripheral side. The wavelength 2-LED 126 is arranged around the lens of the left camera 112 and is arranged on the outer peripheral side of the wavelength 1-LED 125.

右カメラ１１１および左カメラ１１２のそれぞれのレンズの光軸に近い位置に光源が配置されている場合、遠い位置に配置されている場合よりも、被写体から反射してそのまま戻ってくる光量が多くなる。従って、右カメラ１１１および左カメラ１１２は、波長１−ＬＥＤ１２３および波長１−ＬＥＤ１２５が赤外光を発光したタイミングにおいて被験者の目を撮像すると、いわゆる赤目現象と同様に、瞳孔を通過して網膜まで達した光の反射光を撮像することができる。しかし、右カメラ１１１および左カメラ１１２は、波長２−ＬＥＤ１２５および波長２−ＬＥＤ１２６が赤外光を発光したタイミングにおいて被験者の目を撮像しても、瞳孔を通過して網膜まで達した光の反射光を撮像することはできない。 When the light source is arranged near the optical axis of each lens of the right camera 111 and the left camera 112, the amount of light reflected from the subject and returning as it is is larger than when the light source is arranged at a far position. . Accordingly, when the right camera 111 and the left camera 112 image the subject's eyes at the timing when the wavelength 1-LED 123 and the wavelength 1-LED 125 emit infrared light, they pass through the pupil and reach the retina, similar to the so-called red-eye phenomenon. The reflected light of the reached light can be imaged. However, the right camera 111 and the left camera 112 reflect the light that passes through the pupil and reaches the retina even when the eyes of the subject are imaged at the timing when the wavelength 2-LED 125 and the wavelength 2-LED 126 emit infrared light. The light cannot be imaged.

従って、右カメラ１１１および左カメラ１１２は、波長１−ＬＥＤ１２３および波長１−ＬＥＤ１２５から９００ｎｍ未満の赤外光が発光されたタイミングにおいて、被験者の目を撮像した場合、瞳孔像および角膜反射像が写った画像（明瞳孔画像）を撮像することができる。また、右カメラ１１１および左カメラ１１２は、波長２−ＬＥＤ１２４および波長２−ＬＥＤ１２６から９００ｎｍ以上の赤外光が発光されたタイミングにおいて、被験者の目を撮像した場合、角膜反射像は写っているが瞳孔像は映っていない画像（暗瞳孔画像）を撮像することができる。 Therefore, the right camera 111 and the left camera 112 capture a pupil image and a cornea reflection image when the eyes of the subject are imaged at the timing when infrared light of less than 900 nm is emitted from the wavelength 1-LED 123 and the wavelength 1-LED 125. An image (bright pupil image) can be taken. Further, when the right camera 111 and the left camera 112 capture the eye of the subject at the timing when infrared light of 900 nm or more is emitted from the wavelength 2-LED 124 and the wavelength 2-LED 126, the corneal reflection image is shown. An image in which no pupil image is shown (dark pupil image) can be captured.

駆動・ＩＦ部１３０は、カメラＩＦ１３１，１３２と、ＬＥＤ駆動制御部１３３と、スピーカ駆動部１３４とを備えている。カメラＩＦ１３１およびカメラＩＦ１３２は、それぞれ右カメラ１１１および左カメラ１１２と接続する。カメラＩＦ１３１，１３２は、左右カメラ１１１，１１２を駆動する。右カメラ１１１は、左カメラ１１２およびＬＥＤ駆動制御部１３３にフレーム同期信号を送信する。 The drive / IF unit 130 includes camera IFs 131 and 132, an LED drive control unit 133, and a speaker drive unit 134. The camera IF 131 and the camera IF 132 are connected to the right camera 111 and the left camera 112, respectively. The camera IFs 131 and 132 drive the left and right cameras 111 and 112. The right camera 111 transmits a frame synchronization signal to the left camera 112 and the LED drive control unit 133.

ＬＥＤ駆動制御部１３３は、波長１−ＬＥＤ１２３，１２５および波長２−ＬＥＤ１２４，１２６の発光を制御する。具体的には、ＬＥＤ駆動制御部１３３は、このフレーム同期信号に基づいて、第１フレームで左右の波長１の赤外線光源（波長１−ＬＥＤ１２３、波長１−ＬＥＤ１２５）を発光させる。この発光タイミングに対応して、左右カメラ１１１，１１２は、画像を撮像する。ＬＥＤ駆動制御部１３３は、例えば、左右ＬＥＤ１２３，１２５の発光タイミングと左右カメラ１１１，１１２の撮像タイミングを同期させながら、左右の発光タイミングをずらして発光させる。左右カメラ１１１，１１２は、左右それぞれに対応したＬＥＤ発光による映像を撮像する。撮像された画像は、カメラＩＦ１３１，１３２を介して制御部１４０に入力される。 The LED drive control unit 133 controls light emission of the wavelength 1-LEDs 123 and 125 and the wavelength 2 -LEDs 124 and 126. Specifically, the LED drive control unit 133 causes the right and left infrared light sources (wavelength 1-LED 123, wavelength 1-LED 125) to emit light in the first frame based on the frame synchronization signal. Corresponding to this light emission timing, the left and right cameras 111 and 112 capture images. For example, the LED drive control unit 133 emits light by shifting the left and right light emission timings while synchronizing the light emission timings of the left and right LEDs 123 and 125 and the imaging timings of the left and right cameras 111 and 112. The left and right cameras 111 and 112 capture images by LED emission corresponding to the left and right respectively. The captured image is input to the control unit 140 via the camera IFs 131 and 132.

同様に、ＬＥＤ駆動制御部１３３は、第１フレームのタイミングとはずれたタイミングの第２フレームで、左右の波長２の赤外線光源（波長２−ＬＥＤ１２４、波長２−ＬＥＤ１２６）を発光させる。この発光タイミングに対応して、左右カメラ１１１，１１２は、画像を撮像する。ＬＥＤ駆動制御部１３３は、例えば、左右ＬＥＤ１２４，１２６の発光タイミングと左右カメラ１１１，１１２の撮像タイミングを同期させながら、左右の発光タイミングをずらして発光させる。左右カメラ１１１，１１２は、左右それぞれに対応したＬＥＤ発光による映像を撮像する。撮像された画像は、カメラＩＦ１３１，１３２を介して制御部１４０に入力される。スピーカ駆動部１３４は、スピーカ１０３を駆動する。 Similarly, the LED drive control unit 133 causes the left and right wavelength 2 infrared light sources (wavelength 2 -LED 124 and wavelength 2 -LED 126) to emit light in the second frame at a timing different from the timing of the first frame. Corresponding to this light emission timing, the left and right cameras 111 and 112 capture images. For example, the LED drive control unit 133 emits light by shifting the left and right light emission timings while synchronizing the light emission timings of the left and right LEDs 124 and 126 and the imaging timings of the left and right cameras 111 and 112. The left and right cameras 111 and 112 capture images by LED emission corresponding to the left and right respectively. The captured image is input to the control unit 140 via the camera IFs 131 and 132. The speaker driving unit 134 drives the speaker 103.

制御部１４０は、診断支援装置１００全体を制御する。制御部１４０は、表示制御部１４１と、調整部１４２と、瞳孔中心／角膜反射検出部１４３と、注視点検出部１４３と、診断部１４５とを有する。 The control unit 140 controls the entire diagnosis support apparatus 100. The control unit 140 includes a display control unit 141, an adjustment unit 142, a pupil center / corneal reflection detection unit 143, a gazing point detection unit 143, and a diagnosis unit 145.

表示制御部１４１は、第１表示部１０１および第２表示部１０２への各種情報の表示を制御する。表示制御部１４１は、例えば第１表示部１０１に検査画像を表示する。検査画像は、被験者の注視点を検出するための対象画像であり、例えば人物の顔画像である。 The display control unit 141 controls display of various types of information on the first display unit 101 and the second display unit 102. The display control unit 141 displays an inspection image on the first display unit 101, for example. The inspection image is a target image for detecting the gaze point of the subject, for example, a human face image.

調整部１４２は、ステレオカメラ１１０により撮像された被験者の目の画像における瞳孔像の輝度に応じて、被験者の目に対して照射する可視光の光量を調整する。本実施形態においては、調整部１４２は、第１表示部１０１から発光される可視光の発光量を、瞳孔像の輝度に応じて適切な値に変更する。調整部１４２は、この調整処理を注視点の検出に先だって実行する。これにより、診断支援装置１００は、被験者に照射される可視光の光量が適切に調整された状態で視線を検出することができるので、被験者の注視点を精度良く検出することができる。なお、可視光の調整処理については図１０から図１６を参照して詳細を後述する。 The adjustment unit 142 adjusts the amount of visible light applied to the subject's eyes according to the luminance of the pupil image in the image of the subject's eyes imaged by the stereo camera 110. In the present embodiment, the adjustment unit 142 changes the light emission amount of visible light emitted from the first display unit 101 to an appropriate value according to the luminance of the pupil image. The adjustment unit 142 executes this adjustment process prior to the detection of the gazing point. Thereby, since the diagnostic assistance apparatus 100 can detect a gaze in the state in which the light quantity of visible light irradiated to a test subject is adjusted appropriately, it can detect a test subject's gaze point accurately. Details of the visible light adjustment processing will be described later with reference to FIGS. 10 to 16.

瞳孔中心／角膜反射検出部１４３は、調整部１４２により第１表示部１０１から発光される可視光の発光量の調整後において、ステレオカメラ１１０により撮像された画像に基づいて被験者の瞳孔中心の位置および被験者の角膜反射像の位置を検出する。瞳孔中心／角膜反射検出部１４３は、診断支援処理の実行中において、検出処理を実行する。なお、瞳孔中心の位置および角膜反射像の位置の検出方法については、図５等を参照して詳細を後述する。 The pupil center / corneal reflection detection unit 143 adjusts the position of the pupil center of the subject based on the image captured by the stereo camera 110 after the adjustment unit 142 adjusts the amount of visible light emitted from the first display unit 101. And the position of a test subject's cornea reflection image is detected. The pupil center / corneal reflection detection unit 143 performs the detection process during the execution of the diagnosis support process. The method for detecting the position of the pupil center and the position of the cornea reflection image will be described later in detail with reference to FIG.

注視点検出部１４４は、瞳孔中心／角膜反射検出部１４３により検出された瞳孔中心の位置および角膜反射像の位置に基づき、被験者の注視点を検出する。より具体的には、注視点検出部１４４は、右カメラ１１１および左カメラ１１２のそれぞれの撮像画像から検出された右目の瞳孔中心および角膜反射像の位置関係に基づき、右目の視線の３次元空間内での方向を算出する。また、注視点検出部１４４は、右カメラ１１１および左カメラ１１２のそれぞれの撮像画像から検出された左目の瞳孔中心および角膜反射像の位置関係に基づき、左目の視線の３次元空間内での方向を算出する。注視点検出部１４４は、被験者の目の画像における瞳孔像および赤外光が角膜表面で反射した角膜反射像に基づき被験者の視線を検出する視線検出部の一例である。 The gaze point detection unit 144 detects the gaze point of the subject based on the position of the pupil center and the position of the corneal reflection image detected by the pupil center / corneal reflection detection unit 143. More specifically, the gazing point detection unit 144 is based on the positional relationship between the pupil center of the right eye and the cornea reflection image detected from the captured images of the right camera 111 and the left camera 112, and the three-dimensional space of the right eye's line of sight The direction within is calculated. The gazing point detection unit 144 also determines the direction of the left eye's line of sight in the three-dimensional space based on the positional relationship between the pupil center of the left eye and the cornea reflection image detected from the captured images of the right camera 111 and the left camera 112. Is calculated. The gazing point detection unit 144 is an example of a line-of-sight detection unit that detects the line of sight of the subject based on a pupil image in the image of the subject's eye and a corneal reflection image in which infrared light is reflected by the corneal surface.

さらに、図４に示されるように、注視点検出部１４４は、被験者２０１の右目の視線と左目の視線とが交差した位置が空間内のいずれの位置であるかを、図２で示した空間座標上で算出する。これにより、注視点検出部１４４は、被験者が第１表示部１０１上のいずれの位置を注視しているかを検出することができる。また、注視点検出部１４４は、左右それぞれの視線と図２のＺ＝０のＸＹ平面との交点を注視点とすることもできる。この場合、２注視点求められるが、注視点検出部１４４は、２注視点を平均した値を注視点としてもよい。 Further, as shown in FIG. 4, the gaze point detection unit 144 determines which position in the space the intersection of the right eye line of sight and the left eye line of the subject 201 is in the space shown in FIG. 2. Calculate on coordinates. Thereby, the gazing point detection unit 144 can detect which position on the first display unit 101 the subject is gazing at. In addition, the gazing point detection unit 144 can also set the gazing point at the intersection of the left and right line of sight and the XY plane with Z = 0 in FIG. In this case, although two gaze points are obtained, the gaze point detection unit 144 may use a value obtained by averaging the two gaze points as the gaze point.

診断部１４５は、被験者が注視している第１表示部１０１上の位置と、第１表示部１０１上に表示されている画像の内容との関係から、医師による発達障害の診断の指標となる評価値を算出する。発達障害児の特徴として、対面する相手の目を見ないことが挙げられる。診断部１４５は、この特徴を利用し、検査対象となる人物すなわち被験者に、母親等の顔画像を見せた際に、被験者が顔画像中の目を見ている時間と、目以外を見ている時間とを計測し、計測結果に基づいて評価値を算出する。 The diagnosis unit 145 serves as an index for diagnosis of developmental disorder by a doctor based on the relationship between the position on the first display unit 101 at which the subject is gazing and the content of the image displayed on the first display unit 101. An evaluation value is calculated. One characteristic of children with developmental disabilities is that they do not see the eyes of the person they are facing. The diagnosis unit 145 uses this characteristic to look at the time when the subject looks at the eyes in the face image and the other than the eyes when the face image of the mother or the like is shown to the person to be examined, that is, the subject. And an evaluation value is calculated based on the measurement result.

図５は、瞳孔の中心位置および角膜反射像の位置を検出する処理の流れを示すフローチャートである。図６−１〜図６−３は、図５の処理中において取得される明瞳孔画像、暗瞳孔画像、差分画像および画像内の輝度分布を示す。 FIG. 5 is a flowchart showing a flow of processing for detecting the center position of the pupil and the position of the cornea reflection image. 6A to 6C illustrate the bright pupil image, the dark pupil image, the difference image, and the luminance distribution in the image acquired during the process of FIG.

診断支援装置１００の制御部１４０は瞳孔中心／角膜反射検出部１４３において、注視点の検出処理毎に、図５に示されるステップＳ１０１からステップＳ１１０の処理を実行する。まず、ステップＳ１０１において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像を取得する。 The control unit 140 of the diagnosis support apparatus 100 causes the pupil center / corneal reflection detection unit 143 to execute the processing from step S101 to step S110 shown in FIG. First, in step S101, the control unit 140 acquires a bright pupil image in the pupil center / corneal reflection detection unit 143.

ここで、明瞳孔画像は、内周のＬＥＤである波長１−ＬＥＤ１２３および波長１−ＬＥＤ１２５を照射したタイミングで撮像された被験者の目の画像である。このため、図６−１に示されるように、明瞳孔画像には、虹彩像２１１、瞳孔像２１２および角膜反射像２１３が含まれる。なお、虹彩像２１１は最も輝度が低く略楕円状の部分であり、角膜反射像２１３は最も輝度が高い比較的に小さなスポット状の部分である。また、瞳孔像２１２は、虹彩像２１１と角膜反射像２１３との間の輝度であり、虹彩像２１１より小さく角膜反射像２１３より大きい楕円状の部分である。 Here, the bright pupil image is an image of the eye of the subject captured at the timing when the wavelength 1-LED 123 and the wavelength 1-LED 125, which are inner peripheral LEDs, are irradiated. For this reason, as shown in FIG. 6A, the bright pupil image includes an iris image 211, a pupil image 212, and a cornea reflection image 213. Note that the iris image 211 is a substantially elliptical portion with the lowest luminance, and the cornea reflection image 213 is a relatively small spot-like portion with the highest luminance. The pupil image 212 is a luminance between the iris image 211 and the corneal reflection image 213, and is an elliptical portion that is smaller than the iris image 211 and larger than the corneal reflection image 213.

続いて、ステップＳ１０２において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、暗瞳孔画像を取得する。ここで、暗瞳孔画像は、外周のＬＥＤである波長２−ＬＥＤ１２４および波長２−ＬＥＤ１２６を照射したタイミングで撮像された被験者の目の画像である。このため、図６−２に示されるように、暗瞳孔画像には、虹彩像２１１および角膜反射像２１３は含まれるが、瞳孔像２１２は明るくならず虹彩像より暗くなる場合が多い（輝度が低くなる）。 Subsequently, in step S102, the control unit 140 acquires a dark pupil image in the pupil center / corneal reflection detection unit 143. Here, the dark pupil image is an image of the eye of the subject imaged at the timing when the wavelength 2-LED 124 and the wavelength 2-LED 126 which are the outer peripheral LEDs are irradiated. For this reason, as shown in FIG. 6B, the dark pupil image includes the iris image 211 and the corneal reflection image 213, but the pupil image 212 is not bright and often darker than the iris image (the luminance is high). Lower).

なお、明瞳孔画像および暗瞳孔画像は、異なるタイミングにおいて撮像された画像である。例えば、明瞳孔画像および暗瞳孔画像は、連続する異なるフレームにおいて撮像された画像である。 Note that the bright pupil image and the dark pupil image are images captured at different timings. For example, the bright pupil image and the dark pupil image are images captured in consecutive different frames.

続いて、ステップＳ１０３において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像から暗瞳孔画像を減算した差分画像を算出する。明瞳孔画像および暗瞳孔画像は、異なるタイミングで撮像されているが短い間隔で撮像されるので、多少の誤差を含むものの、瞳孔像２１２以外の領域の輝度はほぼ同一となる。従って、図６−３に示されるように、差分画像は、瞳孔像２１２の領域の輝度が高くなり、瞳孔像２１２以外の領域の輝度は０となる。 Subsequently, in step S103, the control unit 140 calculates a difference image obtained by subtracting the dark pupil image from the bright pupil image in the pupil center / corneal reflection detection unit 143. The bright pupil image and the dark pupil image are picked up at different timings, but are picked up at short intervals, so that the brightness of the region other than the pupil image 212 is almost the same, although there are some errors. Therefore, as shown in FIG. 6C, the difference image has a high luminance in the region of the pupil image 212, and the luminance in the region other than the pupil image 212 is zero.

続いて、ステップＳ１０４において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像中における、瞳孔像２１２の領域と、瞳孔像２１２以外の領域とを分離するための第１閾値を算出する。例えば、制御部１４０は、図６−３に示されるように、差分画像の最大値と最小値との中間値を第１閾値として算出する。 Subsequently, in step S104, the control unit 140 causes the pupil center / corneal reflection detection unit 143 to set a first threshold value for separating the region of the pupil image 212 and the region other than the pupil image 212 in the difference image. calculate. For example, as illustrated in FIG. 6C, the control unit 140 calculates an intermediate value between the maximum value and the minimum value of the difference image as the first threshold value.

続いて、ステップＳ１０５において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像を第１閾値により２値化する。続いて、ステップＳ１０６において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像の２値化画像から、瞳孔の位置を探索する。 Subsequently, in step S105, the control unit 140 binarizes the difference image using the first threshold value in the pupil center / corneal reflection detection unit 143. Subsequently, in step S106, the control unit 140 causes the pupil center / corneal reflection detection unit 143 to search for the position of the pupil from the binary image of the difference image.

続いて、ステップＳ１０７において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、瞳孔像２１２の中心位置を算出する。具体的には、瞳孔中心／角膜反射検出部１４３は、差分画像の２値化画像から探索した瞳孔像２１２の位置の近傍における、明瞳孔画像上の虹彩像２１１の輝度よりも高い領域に対して、楕円近似処理等を行い、瞳孔像２１２の外周（楕円）を検出する。そして、瞳孔中心／角膜反射検出部１４３は、検出した楕円の中心を、瞳孔像２１２の中心位置として特定する。 Subsequently, in step S107, the control unit 140 calculates the center position of the pupil image 212 in the pupil center / corneal reflection detection unit 143. Specifically, the pupil center / corneal reflection detection unit 143 applies to an area higher than the brightness of the iris image 211 on the bright pupil image in the vicinity of the position of the pupil image 212 searched from the binary image of the difference image. Thus, an ellipse approximation process or the like is performed to detect the outer periphery (ellipse) of the pupil image 212. Then, the pupil center / corneal reflection detection unit 143 specifies the center of the detected ellipse as the center position of the pupil image 212.

続いて、ステップＳ１０８において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像から、角膜反射像２１３の領域と角膜反射像２１３以外の領域とを分離するための第２閾値を算出する。例えば、瞳孔中心／角膜反射検出部１４３は、図６−１に示されるように、明瞳孔画像の最大値と、瞳孔の輝度値（例えば瞳孔像２１２の平均輝度）との中間値を第２閾値として算出する。 Subsequently, in step S108, the control unit 140 causes the pupil center / corneal reflection detection unit 143 to separate a second threshold value for separating the region of the cornea reflection image 213 and the region other than the cornea reflection image 213 from the bright pupil image. Is calculated. For example, as shown in FIG. 6A, the pupil center / corneal reflection detection unit 143 sets the second intermediate value between the maximum value of the bright pupil image and the luminance value of the pupil (for example, the average luminance of the pupil image 212). Calculate as the threshold.

続いて、ステップＳ１０９において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、明瞳孔画像を第２閾値により２値化する。続いて、ステップＳ１１０において、制御部１４０は、明瞳孔画像の２値化画像から角膜反射像２１３の位置を特定する。制御部１４０は、瞳孔中心／角膜反射検出部１４３において、以上の処理を実行することにより、瞳孔中心の位置および角膜反射像の位置を特定することができる。 Subsequently, in step S109, the control unit 140 binarizes the bright pupil image using the second threshold value in the pupil center / corneal reflection detection unit 143. Subsequently, in step S110, the control unit 140 specifies the position of the cornea reflection image 213 from the binarized image of the bright pupil image. The control unit 140 can specify the position of the pupil center and the position of the cornea reflection image by executing the above processing in the pupil center / corneal reflection detection unit 143.

図７−１は、瞳孔が広がっており瞳孔像２１２の輝度が高い状態の明瞳孔画像を示す図である。図７−２は、瞳孔が狭まっており瞳孔像２１２の輝度が低い状態の明瞳孔画像を示す図である。 FIG. 7A is a diagram illustrating a bright pupil image in which the pupil is widened and the luminance of the pupil image 212 is high. FIG. 7B is a diagram illustrating a bright pupil image in a state where the pupil is narrowed and the luminance of the pupil image 212 is low.

瞳孔像２１２の輝度は、瞳孔の大きさに応じて異なる。具体的には、瞳孔が広がっている場合には、図７−１に示されるように、瞳孔像２１２の輝度は高くなる。また、瞳孔が狭まっている場合には、図７−２に示されるように、瞳孔像２１２の輝度は低くなる。しかしながら、瞳孔像２１２の輝度は、個人差が大きく、同じ明るさの赤外光を照射したとしても人によって値が異なる。 The brightness of the pupil image 212 varies depending on the size of the pupil. Specifically, when the pupil is widened, as shown in FIG. 7A, the luminance of the pupil image 212 is increased. Further, when the pupil is narrowed, the luminance of the pupil image 212 is lowered as shown in FIG. However, the brightness of the pupil image 212 has a large individual difference, and the value varies depending on the person even when infrared light having the same brightness is irradiated.

図８−１、図８−２および図８−３は、瞳孔が広がっている状態における、明瞳孔画像、暗瞳孔画像、差分画像および輝度分布を示す図である。瞳孔が広がっている状態の場合、瞳孔像２１２の輝度は高くなる。従って、瞳孔が広がっている状態の差分画像は、図８−３に示されるように、最大値（瞳孔像２１２の輝度に対応）と最小値（０レベル）との差が大きくなる。よって、制御部１４０は、瞳孔像２１２の領域とそれ以外の領域とを確実に分離することできる。 8A, 8B, and 8C are diagrams illustrating a bright pupil image, a dark pupil image, a difference image, and a luminance distribution in a state where the pupil is widened. When the pupil is widened, the luminance of the pupil image 212 is high. Therefore, in the differential image in a state where the pupil is widened, as shown in FIG. 8C, the difference between the maximum value (corresponding to the luminance of the pupil image 212) and the minimum value (0 level) becomes large. Therefore, the control unit 140 can reliably separate the region of the pupil image 212 from the other regions.

しかし、瞳孔像２１２の輝度が高いと、図８−１に示されるように、明瞳孔画像は、最大値（角膜反射像２１３の輝度に対応）と瞳孔像２１２の輝度との差が小さくなる。従って、この場合、制御部１４０は、角膜反射像２１３の領域とそれ以外の領域とを精度良く分離することができない。最悪の場合、明瞳孔画像の最大値と瞳孔像２１２の輝度とがほとんど一致してしまい、制御部１４０は、角膜反射像２１３の領域を検出できない。 However, when the luminance of the pupil image 212 is high, the difference between the maximum value (corresponding to the luminance of the corneal reflection image 213) and the luminance of the pupil image 212 is small in the bright pupil image, as shown in FIG. . Therefore, in this case, the control unit 140 cannot accurately separate the region of the cornea reflection image 213 from the other regions. In the worst case, the maximum value of the bright pupil image and the luminance of the pupil image 212 almost coincide with each other, and the control unit 140 cannot detect the region of the corneal reflection image 213.

図９−１、図９−２および図９−３は、瞳孔が狭まっている状態における、明瞳孔画像、暗瞳孔画像、差分画像および輝度分布を示す図である。瞳孔が狭まっている状態の場合、瞳孔像２１２の輝度は低くなる。従って、瞳孔が狭まっている状態の明瞳孔画像は、図９−１に示されるように、最大値（角膜反射像２１３の輝度に対応）と瞳孔像２１２の輝度との差が大きくなる。よって、制御部１４０は、角膜反射像２１３の領域とそれ以外の領域とを確実に分離することができる。 9A, 9B, and 9C are diagrams illustrating a bright pupil image, a dark pupil image, a difference image, and a luminance distribution in a state where the pupil is narrowed. When the pupil is narrowed, the luminance of the pupil image 212 is low. Therefore, in the bright pupil image in which the pupil is narrowed, the difference between the maximum value (corresponding to the luminance of the corneal reflection image 213) and the luminance of the pupil image 212 is large as shown in FIG. Therefore, the control unit 140 can reliably separate the region of the cornea reflection image 213 from the other region.

しかし、瞳孔像２１２の輝度が低いと、図９−３に示されるように、差分画像は、最大値（瞳孔像２１２の輝度に対応）と最小値（０レベル）との差が小さくなる。従って、制御部１４０は、瞳孔像２１２の領域とそれ以外の領域とを精度良く分離することができない。最悪の場合、差分画像の最大値と最小値とがほとんど一致してしまい、制御部１４０は、瞳孔像２１２の領域を検出できない。 However, when the luminance of the pupil image 212 is low, as shown in FIG. 9C, the difference image has a smaller difference between the maximum value (corresponding to the luminance of the pupil image 212) and the minimum value (0 level). Therefore, the control unit 140 cannot accurately separate the pupil image 212 region from other regions. In the worst case, the maximum value and the minimum value of the difference image almost coincide with each other, and the control unit 140 cannot detect the region of the pupil image 212.

ここで、瞳孔像２１２の領域および角膜反射像２１３の領域の両方を精度良く検出するには、瞳孔像２１２の輝度が、明瞳孔画像の輝度の最大値の１／２の程度の値となっていることが好ましい。この場合には、図６−３に示したように差分画像の最大値と最小値との差が大きくなるとともに、図６−１に示したように明瞳孔画像の最大値と瞳孔像２１２の輝度との差が大きくなる。よって、このような場合には、制御部１４０は、瞳孔像２１２の領域、角膜反射像２１３の領域、および、それ以外の領域のそれぞれを確実に分離することができる。 Here, in order to accurately detect both the region of the pupil image 212 and the region of the corneal reflection image 213, the luminance of the pupil image 212 is about a half of the maximum value of the luminance of the bright pupil image. It is preferable. In this case, the difference between the maximum value and the minimum value of the difference image becomes large as shown in FIG. 6-3, and the maximum value of the bright pupil image and the pupil image 212 as shown in FIG. The difference from the brightness increases. Therefore, in such a case, the control unit 140 can reliably separate the pupil image 212 region, the corneal reflection image 213 region, and the other regions.

そこで、本実施形態に係る制御部１４０は、瞳孔像の中心位置の検出および角膜反射像の位置の検出に先立って、被験者に対して照射する可視光の光量を予め調整して、被験者の瞳孔の大きさを調整する。具体的には、制御部１４０は、明瞳孔画像から得られる瞳孔像２１２の輝度が、明瞳孔画像の輝度の最大値の１／２の値に近づくように、可視光の光量を調整する。このことにより、制御部１４０は、瞳孔像２１２の領域、角膜反射像２１３の領域、および、それ以外の領域のそれぞれを確実に分離して、被験者の視線を精度良く検出することができる。 Therefore, the control unit 140 according to the present embodiment adjusts the amount of visible light irradiated to the subject in advance prior to the detection of the center position of the pupil image and the position of the corneal reflection image, and the pupil of the subject. Adjust the size of. Specifically, the control unit 140 adjusts the amount of visible light so that the luminance of the pupil image 212 obtained from the bright pupil image approaches one half of the maximum value of the luminance of the bright pupil image. Accordingly, the control unit 140 can reliably separate the pupil image 212 region, the corneal reflection image 213 region, and other regions, and accurately detect the subject's line of sight.

さらに、本実施形態においては、制御部１４０は、被験者に画像を表示する第１表示部１０１から発光される可視光の発光量を、瞳孔像２１２の輝度に応じて変更する。第１表示部１０１は視線検出のための映像を表示するので、被験者は、確実に第１表示部１０１を見ている。従って、制御部１４０は、第１表示部１０１から発光される可視光の光量を調整することにより、被験者の瞳孔の大きさを確実かつ容易に調整することができる。以下、制御部１４０による第１表示部１０１の制御方法の具体例について説明する。制御部１４０は、以下の第１表示部１０１の制御を例えば、調整部１４２によって行う。 Furthermore, in the present embodiment, the control unit 140 changes the light emission amount of visible light emitted from the first display unit 101 that displays an image to the subject according to the luminance of the pupil image 212. Since the 1st display part 101 displays the image | video for a gaze detection, the test subject is looking at the 1st display part 101 reliably. Therefore, the control unit 140 can reliably and easily adjust the size of the pupil of the subject by adjusting the amount of visible light emitted from the first display unit 101. Hereinafter, a specific example of a method for controlling the first display unit 101 by the control unit 140 will be described. The control unit 140 performs the following control of the first display unit 101 by, for example, the adjustment unit 142.

図１０−１は、輝度を高くした場合における第１表示部１０１の画面を示す図である。図１０−２は、輝度を低くした場合における第１表示部１０１の画面を示す図である。 FIG. 10A is a diagram illustrating the screen of the first display unit 101 when the luminance is increased. FIG. 10B is a diagram illustrating the screen of the first display unit 101 when the luminance is lowered.

制御部１４０は、調整部１４２において、検出した瞳孔像の輝度に応じて、第１表示部１０１のバックライトの発光量を外部から制御することにより、第１表示部１０１の輝度を変更する。より具体的には、調整部１４２は、検出した瞳孔像の輝度が高い場合には、図１０−１に示されるように第１表示部１０１の画面全体の輝度を上げて、被験者の瞳孔を狭める。また、調整部１４２は、検出した瞳孔像の輝度が低い場合には、図１０−２に示されるように第１表示部１０１の画面全体の輝度を下げて、被験者の瞳孔を広げる。 The control unit 140 changes the luminance of the first display unit 101 by controlling the light emission amount of the backlight of the first display unit 101 from the outside according to the detected luminance of the pupil image in the adjustment unit 142. More specifically, when the brightness of the detected pupil image is high, the adjustment unit 142 increases the brightness of the entire screen of the first display unit 101 as shown in FIG. Narrow. Moreover, when the brightness | luminance of the detected pupil image is low, the adjustment part 142 reduces the brightness | luminance of the whole screen of the 1st display part 101, and expands a test subject's pupil, as FIG. 10-2 shows.

また、制御部１４０は、調整部１４２において、内容が同一で輝度の異なる映像コンテンツを、瞳孔像の輝度に応じて切り替えて第１表示部１０１に表示してもよい。例えば、調整部１４２は、内容が同一で輝度が異なる複数の映像コンテンツを予め準備しておく。そして、調整部１４２は、被験者の瞳孔像の輝度を測定し、測定結果に応じて複数の映像コンテンツのうち何れか１つを選択して表示する。 In addition, the control unit 140 may cause the adjustment unit 142 to display video content having the same content and different luminances on the first display unit 101 by switching according to the luminance of the pupil image. For example, the adjustment unit 142 prepares a plurality of video contents having the same content and different luminances in advance. And the adjustment part 142 measures the brightness | luminance of a test subject's pupil image, selects any one among several video content according to a measurement result, and displays it.

例えば、調整部１４２は、瞳孔像の輝度が予め定められたレベルより高い場合には、図１０−１に示されるように第１表示部１０１に輝度の高い映像コンテンツを表示して、被験者の瞳孔を狭める。また、調整部１４２は、瞳孔像の輝度が予め定められたレベルより低い場合には、図１０−２に示されるように第１表示部１０１に輝度の低い映像コンテンツを表示して、被験者の瞳孔を広げる。 For example, when the luminance of the pupil image is higher than a predetermined level, the adjustment unit 142 displays video content with high luminance on the first display unit 101 as illustrated in FIG. Narrow the pupil. In addition, when the luminance of the pupil image is lower than a predetermined level, the adjustment unit 142 displays video content with low luminance on the first display unit 101 as illustrated in FIG. Widen the pupil.

図１１−１は、端部ＬＥＤ照明３１１の輝度を高くした場合における第１表示部１０１の画面を示す図である。図１１−２は、端部ＬＥＤ照明３１１の輝度を低くした場合における第１表示部１０１の画面を示す図である。 FIG. 11A is a diagram illustrating a screen of the first display unit 101 when the luminance of the end LED illumination 311 is increased. FIG. 11B is a diagram illustrating a screen of the first display unit 101 when the luminance of the end LED illumination 311 is lowered.

制御部１４０は、調整部１４２において、白色を発光する端部ＬＥＤ照明３１１の輝度を、瞳孔像の輝度に応じて変更してもよい。端部ＬＥＤ照明３１１は、第１表示部１０１の例えば右側および左側のそれぞれの端部に設けられる。端部ＬＥＤ照明３１１は、右側および左側に加えてまたは右側および左側に代えて、上側および下側に設けられてもよい。端部ＬＥＤ照明３１１は、流される電流量が、図１等に示した照明駆動部１６０を介して制御部１４０により制御される。 The controller 140 may change the luminance of the end LED illumination 311 that emits white light in accordance with the luminance of the pupil image in the adjustment unit 142. The end LED illumination 311 is provided at each of the right and left ends of the first display unit 101, for example. The end LED lighting 311 may be provided on the upper side and the lower side in addition to the right side and the left side or instead of the right side and the left side. The amount of current that flows through the end LED illumination 311 is controlled by the control unit 140 via the illumination drive unit 160 shown in FIG.

制御部１４０は、調整部１４２において、検出した瞳孔像の輝度が高い場合には、図１１−１に示されるように端部ＬＥＤ照明３１１の輝度を上げて、被験者の瞳孔を狭める。また、制御部１４０は、検出した瞳孔像の輝度が低い場合には、図１１−２に示されるように端部ＬＥＤ照明３１１の輝度を下げて、被験者の瞳孔を広げる。 When the luminance of the detected pupil image is high in the adjustment unit 142, the control unit 140 increases the luminance of the end LED illumination 311 and narrows the subject's pupil as shown in FIG. Moreover, when the brightness | luminance of the detected pupil image is low, the control part 140 reduces the brightness | luminance of the edge part LED illumination 311 as FIG. 11-2 shows, and expands a test subject's pupil.

図１２−１は、端部領域３１２に輝度の高い画像を表示した場合における第１表示部１０１の画面を示す図である。図１２−２は、端部領域３１２に輝度の低い画像を表示した場合における第１表示部１０１の画面を示す図である。 FIG. 12A is a diagram illustrating a screen of the first display unit 101 when an image with high luminance is displayed in the end region 312. FIG. 12B is a diagram illustrating a screen of the first display unit 101 when an image with low luminance is displayed in the end region 312.

制御部１４０は、調整部１４２において、瞳孔像の輝度に応じて、第１表示部１０１の端部領域３１２に表示される画像の輝度を切り替えてもよい。端部領域３１２は、例えばワイド画面における左右の端部分の表示領域である。 The control unit 140 may switch the luminance of the image displayed in the end region 312 of the first display unit 101 in the adjustment unit 142 according to the luminance of the pupil image. The end region 312 is a display region of left and right end portions on a wide screen, for example.

この場合、制御部１４０は、調整部１４２において、被験者の瞳孔像の輝度を測定し、測定結果に応じて端部領域３１２の画像を切り替えて、画面の中央領域に表示される映像コンテンツと合成して第１表示部１０１に表示させる。より具体的には、調整部１４２は、黒、暗い灰色、灰色、明るい灰色、および白といった画像のうち何れか１つを瞳孔像の輝度に応じて選択して、端部領域３１２の画像として合成表示させる。 In this case, in the adjustment unit 142, the control unit 140 measures the luminance of the pupil image of the subject, switches the image of the end region 312 according to the measurement result, and combines it with the video content displayed in the central region of the screen. And displayed on the first display unit 101. More specifically, the adjustment unit 142 selects any one of images such as black, dark gray, gray, light gray, and white according to the luminance of the pupil image, and uses it as the image of the end region 312. Display composite.

例えば、調整部１４２は、瞳孔像の輝度が予め定められたレベルより高い場合には、図１２−１に示されるように端部領域３１２に輝度の高い画像（例えば白）を表示して、被験者の瞳孔を狭める。また、制御部１４０は、瞳孔像の輝度が予め定められたレベルより低い場合には、図１２−２に示されるように端部領域３１２に輝度の低い画像（例えば黒）を表示して、被験者の瞳孔を広げる。 For example, when the brightness of the pupil image is higher than a predetermined level, the adjustment unit 142 displays a high brightness image (for example, white) in the end region 312 as illustrated in FIG. Narrow the subject's pupil. In addition, when the luminance of the pupil image is lower than a predetermined level, the control unit 140 displays an image with low luminance (for example, black) in the end region 312 as illustrated in FIG. The subject's pupil is widened.

図１３は、第１表示部１０１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。まず、ステップＳ１０００において、制御部１４０は、例えば表示制御部１４１において、第１表示部１０１のモニタ輝度値を中央値として、第１表示部１０１に基準映像（輝度が中央値の標準映像）を表示させる。次に、ステップＳ１００１において、制御部１４０は、カウンタ値（ＣＮＴ）を０にクリアする。このカウンタ値（ＣＮＴ）は、処理のループ回数を表す。 FIG. 13 is a flowchart illustrating a process of adjusting the amount of visible light irradiated to the subject's eyes by adjusting the luminance of the first display unit 101. First, in step S1000, for example, in the display control unit 141, the control unit 140 sets the monitor luminance value of the first display unit 101 as a median value, and displays a reference image (standard image with a median luminance) on the first display unit 101. Display. Next, in step S1001, the control unit 140 clears the counter value (CNT) to zero. This counter value (CNT) represents the number of processing loops.

次に、ステップＳ１００２において、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、差分画像に基づき瞳孔位置を検出する。本実施形態においては、ステレオカメラ１１０により両目を撮像しているので、瞳孔中心／角膜反射検出部１４３は、右カメラ１１１で撮像した右目および左目の瞳孔、および、左カメラ１１２で撮像した右目および左目の瞳孔の合計４つの瞳孔の位置を検出する。続いて、ステップＳ１００３において、瞳孔中心／角膜反射検出部１４３は、明瞳孔画像より瞳孔の輝度を検出する。この場合、瞳孔中心／角膜反射検出部１４３は、４つの明瞳孔画像における瞳孔の平均値を検出する。 Next, in step S <b> 1002, the control unit 140 detects the pupil position based on the difference image in the pupil center / corneal reflection detection unit 143. In the present embodiment, since both eyes are imaged by the stereo camera 110, the pupil center / corneal reflection detection unit 143 has the right eye and the left eye pupil imaged by the right camera 111, and the right eye and image captured by the left camera 112. A total of four pupil positions of the left eye pupil are detected. In step S1003, the pupil center / corneal reflection detection unit 143 detects the luminance of the pupil from the bright pupil image. In this case, the pupil center / corneal reflection detection unit 143 detects the average value of the pupils in the four bright pupil images.

続いて、ステップＳ１００４において、制御部１４０は、例えば、調整部１４２において、検出した瞳孔の輝度を目標範囲と比較する。目標範囲は、４つの明瞳孔画像における瞳孔の平均の輝度が適正となる上限と下限を予め定めたものである。 Subsequently, in step S1004, the control unit 140 compares the detected luminance of the pupil with the target range in the adjustment unit 142, for example. The target range is a predetermined upper limit and lower limit at which the average brightness of the pupils in the four bright pupil images is appropriate.

瞳孔の輝度が目標範囲の上限より高い場合（ステップＳ１００５のＹｅｓ）、制御部１４０は、調整部１４２において、処理をステップＳ１００６に進める。ステップＳ１００６において、制御部１４０は、調整部１４２において、第１表示部１０１のモニタ輝度値を所定値だけ上げて、処理をステップＳ１００９に進める。 When the luminance of the pupil is higher than the upper limit of the target range (Yes in step S1005), the control unit 140 causes the adjustment unit 142 to advance the process to step S1006. In step S1006, the control unit 140 increases the monitor luminance value of the first display unit 101 by a predetermined value in the adjustment unit 142, and the process proceeds to step S1009.

モニタ輝度値を上げると、第１表示部１０１の画面が明るくなり、被験者の目の虹彩が縮んで、瞳孔が狭くなる。これにより眼球内部に入る赤外線光量も減少するので、瞳孔の輝度も減少する。また、赤外線光量そのものは変化しないので、角膜反射像の輝度は変化しない。 When the monitor brightness value is increased, the screen of the first display unit 101 becomes brighter, the iris of the subject's eyes is shrunk, and the pupil is narrowed. As a result, the amount of infrared light entering the eyeball also decreases, and the luminance of the pupil also decreases. Further, since the amount of infrared light itself does not change, the luminance of the cornea reflection image does not change.

ステップＳ１００４で比較した結果、瞳孔の輝度が目標範囲の下限より低い場合（ステップＳ１００７のＹｅｓ）、制御部１４０は、処理をステップＳ１００８に進める。ステップＳ１００８において、制御部１４０は、調整部１４２において、第１表示部１０１のモニタ輝度値を所定値だけ下げて、処理をステップＳ１００９に進める。 As a result of the comparison in step S1004, when the luminance of the pupil is lower than the lower limit of the target range (Yes in step S1007), the control unit 140 advances the process to step S1008. In step S1008, the control unit 140 causes the adjustment unit 142 to lower the monitor luminance value of the first display unit 101 by a predetermined value, and advances the process to step S1009.

モニタ輝度値を下げると、第１表示部１０１の画面が暗くなり、被験者の目の虹彩が伸びて、瞳孔が広くなる。これにより眼球内部に入る赤外線光量も増加するので、瞳孔の輝度も増加する。また、赤外線光量そのものは変化しないので、角膜反射像の輝度は変化しない。 When the monitor luminance value is lowered, the screen of the first display unit 101 becomes dark, the iris of the subject's eyes is extended, and the pupil is widened. As a result, the amount of infrared light entering the eyeball also increases, so that the luminance of the pupil also increases. Further, since the amount of infrared light itself does not change, the luminance of the cornea reflection image does not change.

ステップＳ１００４で比較した結果、瞳孔の輝度が目標範囲の上限以下であり且つ目標範囲の下限以上である場合（ステップＳ１００７のＮｏ）、制御部１４０は、調整部１４２において、瞳孔の輝度が目標範囲内であるので、処理を終了する。 As a result of the comparison in step S1004, when the luminance of the pupil is equal to or lower than the upper limit of the target range and equal to or higher than the lower limit of the target range (No in step S1007), the control unit 140 causes the adjustment unit 142 to set the luminance of the pupil to the target range. Because it is within, the process is terminated.

また、ステップＳ１００９において、制御部１４０は、調整部１４２において、タイマーにより所定時間を計時して、第１表示部１０１の画面の輝度が変化してから、被験者の目の虹彩が反応して瞳孔の大きさが変わるまでの時間を待機する。そして、所定時間経過後、制御部１４０は、調整部１４２において、処理をステップＳ１０１０に進める。 In step S1009, the control unit 140 causes the adjustment unit 142 to measure a predetermined time with a timer, and after the brightness of the screen of the first display unit 101 changes, the iris of the subject's eye reacts to produce a pupil. Wait for the amount of time to change. Then, after the predetermined time has elapsed, the control unit 140 causes the adjustment unit 142 to advance the process to step S1010.

ステップＳ１０１０において、制御部１４０は、調整部１４２において、カウンタ値（ＣＮＴ）を１増加させる。続いて、ステップＳ１０１１において、制御部１４０は、調整部１４２において、カウンタ値（即ち、ループ回数）が予め設定された上限回数（Ｋ）未満か否かを判断する。 In step S1010, the control unit 140 causes the adjustment unit 142 to increase the counter value (CNT) by one. Subsequently, in step S1011, the control unit 140 determines in the adjustment unit 142 whether the counter value (that is, the loop count) is less than a preset upper limit count (K).

制御部１４０は、調整部１４２において、カウンタ値（ＣＮＴ）が上限回数（Ｋ）未満の場合（ステップＳ１０１１のＹｅｓ）、処理をステップＳ１００２に戻して、再度、ステップＳ１００２からの処理を実行させる。また、制御部１４０は、カウンタ値（ＣＮＴ）が上限回数（Ｋ）以上の場合（ステップＳ１０１１のＮｏ）、当該フローを抜けて処理を終了する。 When the counter value (CNT) is less than the upper limit number (K) in the adjustment unit 142 (Yes in step S1011), the control unit 140 returns the process to step S1002 and causes the process from step S1002 to be executed again. In addition, when the counter value (CNT) is equal to or greater than the upper limit number (K) (No in step S1011), the control unit 140 exits the flow and ends the process.

以上の処理を実行することにより、制御部１４０は、調整部１４２において、第１表示部１０１から発光される可視光の光量を、被験者の瞳孔の輝度が適切な値となるように調整することができる。 By executing the above processing, the control unit 140 causes the adjustment unit 142 to adjust the amount of visible light emitted from the first display unit 101 so that the luminance of the pupil of the subject becomes an appropriate value. Can do.

なお、制御部１４０は、以上の処理を注視点の検出に先立って実行するが、これに代えて、注視点の検出中に実行してもよい。この場合には、制御部１４０は、カウンタ値（ＣＮＴ）が上限回数（Ｋ）以上の場合に処理を終了せずに、注視点の検出処理が完了するまでループを実行し続ける。 Note that the control unit 140 executes the above processing prior to the detection of the gazing point, but may be executed during the detection of the gazing point instead. In this case, the control unit 140 does not end the process when the counter value (CNT) is equal to or greater than the upper limit number (K), and continues to execute the loop until the point-of-gaze detection process is completed.

図１４は、第１表示部１０１に表示する映像コンテンツを切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。まず、ステップＳ１１００において、制御部１４０は、例えば表示制御部１４１において、第１表示部１０１に基準映像（輝度が中央値の標準映像）を表示させる。 FIG. 14 is a flowchart illustrating a process of adjusting the amount of visible light applied to the subject's eyes by switching the video content displayed on the first display unit 101. First, in step S <b> 1100, the control unit 140 causes the first display unit 101 to display a reference video (a standard video with a median brightness), for example, in the display control unit 141.

続いて、制御部１４０は、瞳孔中心／角膜反射検出部１４３において、ステップＳ１１０１およびステップＳ１１０２の処理を実行する。ステップＳ１１０１およびステップＳ１１０２の処理は、図１３のステップＳ１００２およびステップＳ１００３の処理と同様である。 Subsequently, the control unit 140 executes the processes of step S1101 and step S1102 in the pupil center / corneal reflection detection unit 143. The processing in step S1101 and step S1102 is the same as the processing in step S1002 and step S1003 in FIG.

続いて、ステップＳ１１０３において、制御部１４０は、調整部１４２において、瞳孔の輝度を複数の閾値（例えばＫ１、Ｋ２、Ｋ３、Ｋ４）のそれぞれと比較する。ここで、制御部１４０は、予め内容が同一で輝度の異なる複数の映像（例えば第１の映像、第２の映像、第３の映像、第４の映像および第５の映像）を予め準備している。本例においては、第１の映像の輝度が最も高く、徐々に輝度が低くなり、第５の映像の輝度が最も低い。また、閾値は、Ｋ１が最も高く、徐々に低くなり、Ｋ４が最も低い。 Subsequently, in step S1103, the control unit 140 causes the adjustment unit 142 to compare the luminance of the pupil with each of a plurality of threshold values (for example, K1, K2, K3, and K4). Here, the control unit 140 prepares in advance a plurality of videos having the same content and different brightness (for example, the first video, the second video, the third video, the fourth video, and the fifth video). ing. In this example, the brightness of the first video is the highest, the brightness gradually decreases, and the brightness of the fifth video is the lowest. Further, the threshold value is highest for K1, gradually lowers, and lowest for K4.

そして、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ１より高ければ（ステップＳ１１０４のＹｅｓ）、ステップＳ１１０５において第１の映像を選択する。また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ１以下且つＫ２より高ければ（ステップＳ１１０４のＮｏ、且つ、ステップＳ１１０６のＹｅｓ）、ステップＳ１１０７において第２の映像を選択する。 If the adjustment unit 142 determines that the luminance of the pupil is higher than the threshold value K1 (Yes in step S1104), the control unit 140 selects the first video in step S1105. If the adjustment unit 142 determines that the pupil brightness is equal to or lower than the threshold value K1 and higher than K2 (No in step S1104 and Yes in step S1106), the control unit 140 displays the second video in step S1107. select.

また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ２以下且つＫ３より高ければ（ステップＳ１１０６のＮｏ、且つ、ステップＳ１１０８のＹｅｓ）、ステップＳ１１０９において第３の映像を選択する。また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ３以下且つＫ４より高ければ（ステップＳ１１０８のＮｏ、且つ、ステップＳ１１１０のＹｅｓ）、ステップＳ１１１１において第４の映像を選択する。 If the adjustment unit 142 determines that the pupil brightness is equal to or lower than the threshold value K2 and higher than K3 (No in step S1106 and Yes in step S1108), the control unit 140 displays the third video in step S1109. select. Further, if the adjustment unit 142 determines that the luminance of the pupil is equal to or lower than the threshold value K3 and higher than K4 (No in step S1108 and Yes in step S1110), the control unit 140 displays the fourth video in step S1111. select.

また、制御部１４０は、調整部１４２において、比較の結果、瞳孔の輝度が閾値Ｋ４以下であれば（ステップＳ１１１０のＮｏ）、ステップＳ１１１２において第５の映像を選択する。そして、制御部１４０は、調整部１４２において、第１から第５の映像の何れかを選択すると、当該フローを抜けて処理を終了する。以上の処理を実行することにより、調整部１４２は、適切な輝度の映像を選択して、被験者の瞳孔の輝度が適切な値となるように第１表示部１０１から発光される可視光の光量を調整することができる。 In addition, when the luminance of the pupil is equal to or lower than the threshold K4 as a result of the comparison in the adjustment unit 142 (No in Step S1110), the control unit 140 selects the fifth video in Step S1112. When the adjustment unit 142 selects any of the first to fifth images, the control unit 140 exits the flow and ends the process. By executing the above processing, the adjustment unit 142 selects an image with appropriate luminance, and the amount of visible light emitted from the first display unit 101 so that the luminance of the pupil of the subject becomes an appropriate value. Can be adjusted.

図１５は、端部ＬＥＤ照明３１１の輝度を調整することにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。図１５のステップＳ１２００〜Ｓ１２１１の処理は、第１表示部１０１のモニタ輝度を制御することに代えて、第１表示部１０１の左右の端部に設けられた端部ＬＥＤ照明３１１を制御する点において異なるが、その他の処理は、図１３に示したステップＳ１０００〜Ｓ１０１１の処理と同一である。 FIG. 15 is a flowchart showing a process of adjusting the amount of visible light irradiated to the subject's eyes by adjusting the luminance of the edge LED illumination 311. The process of steps S1200 to S1211 in FIG. 15 controls the edge LED illumination 311 provided at the left and right edges of the first display unit 101 instead of controlling the monitor luminance of the first display unit 101. The other processes are the same as those in steps S1000 to S1011 shown in FIG.

従って、図１５に示した処理を実行する場合には、制御部１４０は、調整部１４２において、第１表示部１０１のモニタ輝度に代えて端部ＬＥＤ照明３１１を、図１３に示した処理と同様に制御する。これにより、調整部１４２は、適切な輝度の映像を選択して、被験者の瞳孔の輝度が適切な値となるように第１表示部１０１から発光される可視光の光量を調整することができる。 Therefore, when executing the process shown in FIG. 15, the control unit 140 causes the adjustment unit 142 to replace the monitor luminance of the first display unit 101 with the end LED illumination 311 and the process shown in FIG. 13. Control in the same way. Thereby, the adjustment part 142 can select the image | video of appropriate brightness | luminance, and can adjust the light quantity of the visible light light-emitted from the 1st display part 101 so that the brightness | luminance of a test subject's pupil becomes an appropriate value. .

また、制御部１４０は、図１５の処理を注視点の検出中に実行してもよい。この場合には、図１３の場合と同様に、制御部１４０は、カウンタ値（ＣＮＴ）が上限回数（Ｋ）以上の場合に処理を終了せずに、注視点の検出処理が完了するまでループを実行し続ける。 Further, the control unit 140 may execute the process of FIG. 15 while detecting the point of sight. In this case, as in the case of FIG. 13, the control unit 140 does not end the process when the counter value (CNT) is equal to or greater than the upper limit number (K), and loops until the point-of-gaze detection process is completed. Continue to run.

図１６は、端部領域３１２に表示する画像の輝度を切り替えることにより被験者の目に対して照射する可視光の光量を調整する処理を示すフローチャートである。図１６のステップＳ１３００〜Ｓ１３１２の処理は、第１表示部１０１の全面に表示する映像コンテンツを切り替えることに代えて、第１表示部１０１の端部領域３１２に表示される画像を切り替えて中央領域の画像と合成する点において異なるが、その他の処理は図１４に示したステップＳ１１００〜Ｓ１１１２の処理と同一である。 FIG. 16 is a flowchart showing a process of adjusting the amount of visible light irradiated to the subject's eyes by switching the luminance of the image displayed in the end region 312. The processing in steps S1300 to S1312 in FIG. 16 is performed by switching the image displayed in the end region 312 of the first display unit 101 instead of switching the video content displayed on the entire surface of the first display unit 101. The other processing is the same as the processing in steps S1100 to S1112 shown in FIG.

従って、図１６に示した処理を実行する場合には、制御部１４０は、調整部１４２において、第１表示部１０１の全面に表示される映像コンテンツに代えて、端部領域３１２に表示される画像を図１４に示した処理と同様に選択して、中央領域の画像と合成する。これにより、制御部１４０は、調整部１４２において、第１表示部１０１から発光される可視光の光量を、被験者の瞳孔の輝度が適切な値となるように調整することができる。 Therefore, when executing the processing shown in FIG. 16, the control unit 140 is displayed in the end region 312 in the adjustment unit 142 instead of the video content displayed on the entire surface of the first display unit 101. The image is selected in the same manner as the processing shown in FIG. 14, and is combined with the image in the central area. Thereby, the control part 140 can adjust the light quantity of the visible light emitted from the 1st display part 101 in the adjustment part 142 so that the brightness | luminance of a test subject's pupil may become an appropriate value.

１００診断支援装置
１０１第１表示部
１０２第２表示部
１０３スピーカ
１１０ステレオカメラ
１１１右カメラ
１１２左カメラ
１２１，１２２赤外ＬＥＤ光源
１２３，１２５波長１−ＬＥＤ
１２４，１２６波長２−ＬＥＤ
１３０駆動・ＩＦ部
１３１，１３２カメラＩＦ
１３３ＬＥＤ駆動制御部
１３４スピーカ駆動部
１４０制御部
１４１表示制御部
１４２調整部
１４３瞳孔中心／角膜反射検出部
１４４注視点検出部
１４５診断部
１５０記憶部
１６０照明駆動部 DESCRIPTION OF SYMBOLS 100 Diagnosis support apparatus 101 1st display part 102 2nd display part 103 Speaker 110 Stereo camera 111 Right camera 112 Left camera 121,122 Infrared LED light source 123,125 Wavelength 1-LED
124,126 Wavelength 2-LED
130 Drive / IF 131,132 Camera IF
133 LED drive control unit 134 Speaker drive unit 140 Control unit 141 Display control unit 142 Adjustment unit 143 Pupil center / corneal reflection detection unit 144 Gaze point detection unit 145 Diagnosis unit 150 Storage unit 160 Illumination drive unit

Claims

An irradiation unit for irradiating the subject with infrared light;
An imaging unit that captures an image of the eye of the subject at a timing when infrared light is irradiated to the subject;
An adjustment unit that adjusts the amount of visible light applied to the eye of the subject according to the luminance of the pupil image in the eye image of the subject;
The captured after adjusting the amount of the visible light, the sight put that pupil hole image and the subject's eye images the infrared light to detect the line of sight of the subject based on the image of corneal reflection reflected by the corneal surface detection And
With
The adjusting unit switches the video content having different luminances according to the luminance of the pupil image and displays it on the display unit. The luminance of the illumination provided at the end of the display unit is changed according to the luminance of the pupil image. Or a line-of-sight detection device that switches the luminance of an image displayed in the end region of the display unit in accordance with the luminance of the pupil image .

The line-of-sight detection according to claim 1, wherein the adjustment unit increases the light amount of the visible light when the luminance of the pupil image is high, and decreases the light amount of the visible light when the luminance of the pupil image is low. apparatus.

The said adjustment part changes the light-emission amount of the visible light emitted from the said display part which displays an image to the said test subject, or the brightness | luminance of the said display part according to the brightness | luminance of the said pupil image . Gaze detection device.

An irradiation step of irradiating the subject with infrared light;
An imaging step of capturing an image of the eye of the subject at a timing when infrared light is irradiated to the subject;
An adjustment step of adjusting the amount of visible light applied to the eye of the subject according to the luminance of the pupil image in the image of the subject's eye;
The captured after adjusting the amount of the visible light, the sight put that pupil hole image and the subject's eye images the infrared light to detect the line of sight of the subject based on the image of corneal reflection reflected by the corneal surface detection Steps,
Only including,
In the adjustment step, video contents having different luminances are switched according to the luminance of the pupil image and displayed on the display unit. The luminance of the illumination provided at the end of the display unit is changed according to the luminance of the pupil image. Or a line-of-sight detection method for switching the luminance of an image displayed in the end region of the display unit in accordance with the luminance of the pupil image .

5. The line-of-sight detection according to claim 4, wherein the adjustment step increases the light amount of the visible light when the luminance of the pupil image is high, and decreases the light amount of the visible light when the luminance of the pupil image is low. Method.

6. The adjustment step according to claim 4, wherein the adjustment step changes a light emission amount of visible light emitted from the display unit that displays an image on the subject or a luminance of the display unit according to a luminance of the pupil image. Gaze detection method.