WO2017090319A1 - 視線方向検出装置、及び視線方向検出システム - Google Patents

視線方向検出装置、及び視線方向検出システム Download PDF

Info

Publication number
WO2017090319A1
WO2017090319A1 PCT/JP2016/079376 JP2016079376W WO2017090319A1 WO 2017090319 A1 WO2017090319 A1 WO 2017090319A1 JP 2016079376 W JP2016079376 W JP 2016079376W WO 2017090319 A1 WO2017090319 A1 WO 2017090319A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gaze direction
infrared camera
unit
infrared
Prior art date
Application number
PCT/JP2016/079376
Other languages
English (en)
French (fr)
Inventor
洋一 成瀬
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/777,227 priority Critical patent/US20180335633A1/en
Publication of WO2017090319A1 publication Critical patent/WO2017090319A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to a gaze direction detection device and a gaze direction detection system.
  • a head-up display device capable of detecting the line-of-sight position of a driver.
  • infrared light is projected into the eyes of the driver using the optical path of the display light.
  • the driver's face is photographed using the optical path of the display light.
  • the viewpoint position of the driver is detected from the infrared camera image obtained by photographing.
  • Detecting the line-of-sight direction of the driver is useful because it can be used for various purposes such as adjustment of the head-up display device.
  • the infrared camera image obtained by the technique described in Patent Document 1 it is conceivable to recognize the pupil and the Purkinje image, and detect the line-of-sight direction of the driver from the positional relationship between the recognized pupil and the Purkinje image.
  • one of the objects of the present disclosure is to provide a gaze direction detection device and a gaze direction detection system that can accurately detect the gaze direction of the user.
  • a gaze direction detection device includes an infrared light irradiation unit that irradiates infrared light using an infrared light source, and a direction in which the infrared light is reflected by a windshield or a combiner and is directed to a user's eyes.
  • An image acquisition unit for acquiring an infrared camera image in a range including the eye from a projection unit that projects the image onto the eye, an infrared camera that captures the eye from a direction different from the direction in which the infrared light is incident on the eye, and an image acquisition unit
  • a recognition unit for recognizing a pupil and a Purkinje image and a gaze direction detection unit for detecting a user's gaze direction from the positional relationship between the pupil and the Purkinje image recognized by the recognition unit are provided.
  • the pupil and the Purkinje image can be accurately recognized in the infrared camera image.
  • the user's line-of-sight direction can be accurately detected.
  • FIG. 1 is an explanatory diagram illustrating a configuration of a gaze direction detection system.
  • FIG. 2 is an explanatory diagram showing the position of the infrared camera.
  • FIG. 3 is a perspective view showing the configuration of the HUD device.
  • FIG. 4 is a plan view showing the configuration of the HUD device.
  • FIG. 5 is a block diagram illustrating an electrical configuration of the gaze direction detection system.
  • FIG. 6 is a block diagram illustrating functional elements of the control unit.
  • FIG. 7 is a flowchart showing processing executed by the HUD device.
  • FIG. 8 is an explanatory diagram showing the positional relationship between the pupil and the Purkinje image.
  • FIG. 1 is an explanatory diagram illustrating a configuration of a gaze direction detection system.
  • FIG. 2 is an explanatory diagram showing the position of the infrared camera.
  • FIG. 3 is a perspective view showing the configuration of the HUD device.
  • FIG. 4 is a plan view showing the configuration of the HUD device.
  • FIG. 9 is a diagram showing an infrared camera image in which the pupil is darker than the surrounding iris.
  • FIG. 10 shows an infrared camera image in which the pupil is brighter than the surrounding iris.
  • FIG. 11 is an explanatory diagram illustrating the configuration of the gaze direction detection system.
  • FIG. 12 is a perspective view illustrating a configuration of the gaze direction detection device.
  • the gaze direction detection system 1 includes a head-up display device 3 and an infrared camera 5.
  • the head-up display device 3 may be referred to as a HUD device 3.
  • the HUD device 3 corresponds to a gaze direction detection device.
  • Gaze direction detection system 1 is mounted on a vehicle.
  • the vehicle in which the line-of-sight direction detection system 1 is mounted is referred to as the own vehicle.
  • the HUD device 3 projects display light 7 for displaying a display image onto a windshield 9 of the host vehicle.
  • the display light 7 is visible light.
  • a region where the display light 7 is incident is a display region 11.
  • the display light 7 reflected by the windshield 9 enters the eyes 15 of the driver 13.
  • the driver 13 can see the virtual image 17 of the display image in front of the windshield 9. That is, the HUD device 3 reflects the display light 7 by the windshield 9 and projects it in the direction toward the eyes 15.
  • the HUD device 3 includes a display light irradiation unit 19, a cold mirror 21, a concave mirror 23, a drive unit 25, and an infrared light source 27.
  • the cold mirror 21, the concave mirror 23, and the drive unit 25 correspond to a projection unit.
  • the display light irradiation unit 19 irradiates the display light 7.
  • the cold mirror 21 reflects the display light 7.
  • the cold mirror 21 reflects the display light 7 which is visible light, but has a characteristic of transmitting infrared light 29 described later.
  • the concave mirror 23 further reflects the display light 7 reflected by the cold mirror 21 and projects it toward the windshield 9.
  • the concave mirror 23 expands the display light 7.
  • the drive unit 25 changes the angle of the concave mirror 23 according to a signal sent from the control unit 31 described later. When the angle of the concave mirror 23 changes, the direction in which the display light 7 and the infrared light 29 are projected changes, and the optical paths of the display light 7 and the infrared light 29 after being reflected by the windshield 9 also change.
  • the infrared light source 27 emits infrared light 29.
  • the irradiated infrared light 29 passes through the cold mirror 21, is reflected by the concave mirror 23, further reflected by the windshield 9, and enters the eye 15.
  • the optical path of the infrared light 29 after passing through the cold mirror 21 is the same as the optical path of the display light 7 after being reflected by the cold mirror 21.
  • the HUD device 3 includes a control unit 31 in addition to the infrared light source 27, the drive unit 25, and the display light irradiation unit 19 described above.
  • the control unit 31 is configured around a known microcomputer having a CPU 33 and a semiconductor memory (hereinafter referred to as a memory 35) such as a RAM, a ROM, and a flash memory.
  • a memory 35 such as a RAM, a ROM, and a flash memory.
  • Various functions of the control unit 31 are realized by the CPU 33 executing a program stored in a non-transitional physical recording medium.
  • the memory 35 corresponds to a non-transitional tangible recording medium that stores a program. Further, by executing this program, a method corresponding to the program is executed.
  • the number of microcomputers constituting the control unit 31 may be one or plural.
  • the control unit 31 includes an infrared light irradiation unit 37, an image acquisition unit 39, a recognition unit 41, and a gaze direction detection as functional elements realized by the CPU 33 executing the program.
  • the unit 43, the display light irradiation unit 45, the adjustment unit 46, and the output unit 48 are provided.
  • the method of realizing these elements constituting the control unit 31 is not limited to software, and some or all of the elements may be realized using hardware combining a logic circuit, an analog circuit, and the like.
  • the control unit 31 is connected to the infrared camera 5 and controls the infrared camera 5. In addition, the control unit 31 can acquire an infrared camera image described later from the infrared camera 5.
  • the infrared camera 5 is attached to a dashboard 47.
  • the infrared camera 5 creates an image at a wavelength in the infrared region.
  • An eye 15 is included in the range of an image created by the infrared camera 5 (hereinafter referred to as an infrared camera image).
  • the direction d 1 in which the infrared light 29 enters the eye 15 is different from the direction d 2 in which the infrared camera 5 captures the eye.
  • An angle formed by the direction d 1 and the direction d 2 is defined as ⁇ .
  • the absolute value of ⁇ is greater than 0 °.
  • ⁇ is in a range where the pupil is darker than the surrounding iris in an infrared camera image to be described later. Note that the larger the absolute value of ⁇ , the more easily the pupil becomes a darker image than the surrounding iris in the infrared camera image.
  • the infrared camera 5 outputs the generated infrared camera image to the control unit 31.
  • Gaze direction detection processing executed by the gaze direction detection system 1 The gaze direction detection processing executed by the gaze direction detection system 1 will be described with reference to FIGS.
  • the line-of-sight direction detection process may be executed at a timing instructed by the driver 13, may be executed at a preset timing, or may be repeatedly executed at predetermined time intervals.
  • the infrared light irradiation unit 37 irradiates the infrared light 29 using the infrared light source 27. As described above, the infrared light 29 is transmitted through the cold mirror 21, reflected by the concave mirror 23, further reflected by the windshield 9, and enters the eye 15.
  • step 2 the image acquisition unit 39 acquires an infrared camera image using the infrared camera 5. *
  • step 3 the recognition unit 41 recognizes the pupil 49 and the Purkinje image 51 shown in FIG. 8 in the infrared camera image acquired in step 2 by a known image recognition technique.
  • the Purkinje image 51 is a reflection image on the corneal surface.
  • the pupil 49 in the infrared camera image acquired in step 2 is darker than the surrounding iris.
  • ⁇ is 0 °
  • the pupil is an image brighter than the surrounding iris.
  • step 4 the gaze direction detection unit 43 detects the gaze direction of the driver 13 from the positional relationship between the pupil 49 and the Purkinje image 51 recognized in step 3.
  • the line-of-sight direction detection unit 43 is previously provided with a map that defines the correlation between the positional relationship between the pupil 49 and the Purkinje image 51 and the line-of-sight direction of the driver 13.
  • the line-of-sight direction detection unit 43 detects the line-of-sight direction of the driver 13 by inputting the positional relationship between the pupil 49 and the Purkinje image 51 recognized in step 3 to the map.
  • step 5 the adjustment unit 46 uses the drive unit 25 to adjust the direction of the concave mirror 23.
  • the adjustment is to adjust the optical path of the display light 7 in accordance with the line-of-sight direction of the driver 13 detected in step 4.
  • step 6 the output unit 48 outputs the line-of-sight direction of the driver 13 detected in step 4 to another on-vehicle device.
  • On-vehicle device for example, based on the line-of-sight direction of the driver 13, it is determined whether or not the driver 13 has visually recognized a surrounding target.
  • An apparatus that performs processing on the host vehicle is included. Examples of the target include traffic lights, traffic signs, other vehicles, and pedestrians. Examples of the processing for the host vehicle include alarm processing, automatic braking, and automatic steering.
  • the HUD device 3 performs basically the same display processing as a known HUD device.
  • the display light irradiation unit 19 irradiates the display light 7.
  • the display light 7 is sequentially reflected by the cold mirror 21, the concave mirror 23, and the windshield 9 and enters the eye 15.
  • the driver 13 sees the virtual image 17 of the display image in front of the windshield 9.
  • the angle of the concave mirror 23 is an angle adjusted by the process of step 5 described above.
  • the line-of-sight direction detection system 1 acquires an infrared camera image in a range including the eyes 15 from the infrared camera 5.
  • the infrared camera 5 photographs the eye 15 from a direction d 2 different from the direction d 1 in which the infrared light 29 enters the eye 15. Therefore, the pupil 49 and the Purkinje image 51 can be recognized more accurately in the infrared camera image. As a result, the line-of-sight direction of the driver 13 can be detected more accurately.
  • the HUD device 3 projects the display light 7 and the infrared light 29 using the cold mirror 21, the concave mirror 23, and the drive unit 25. Therefore, it is not necessary to provide an optical system for projecting the infrared light 29 separately. As a result, the gaze direction detection system 1 can be made compact.
  • the HUD device 3 includes a cold mirror 21 that reflects the display light 7 and transmits the infrared light 29.
  • the display light 7 reflected by the cold mirror 21 and the infrared light 29 transmitted through the cold mirror 21 travel on the same optical path. As a result, the configuration of the HUD device 3 can be further simplified.
  • the value of ⁇ is in a range where the pupil 49 in the infrared camera image is an image darker than the surrounding iris. Thereby, the pupil 49 and the Purkinje image 51 can be recognized more accurately in the infrared camera image. As a result, the line-of-sight direction of the driver 13 can be detected more accurately.
  • Second Embodiment 1 Differences from the First Embodiment Since the basic configuration of the second embodiment is the same as that of the first embodiment, description of the common configuration will be omitted, and differences will be mainly described. Note that the same reference numerals as those in the first embodiment indicate the same configuration, and the preceding description is referred to.
  • the display light 7 and the infrared light 29 are reflected by the windshield 9.
  • the second embodiment is different from the first embodiment in that the combiner 53 reflects the display light 7 and the infrared light 29 as shown in FIG.
  • the display light 7 and the infrared light 29 reflected by the combiner 53 enter the eye 15.
  • the HUD device 3 is used.
  • the gaze direction detection device 103 is used.
  • the line-of-sight direction detection device 103 does not have a function of projecting the display light 7.
  • the line-of-sight direction detection device 103 includes a concave mirror 23, a drive unit 25, and an infrared light source 27.
  • the concave mirror 23 and the drive unit 25 correspond to a projection unit.
  • the optical path of the infrared light 29 is the same as in the first embodiment.
  • the position of the infrared camera 5 can be selected as appropriate.
  • the infrared camera 5 may be attached to a room mirror or the like.
  • the line-of-sight direction detection system 1 may detect the line-of-sight direction of the occupant of the vehicle other than the driver 13.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • Various embodiments, such as a medium, a line-of-sight detection method, and a method for adjusting the HUD device, can also be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)

Abstract

視線方向検出装置を提供する。視線方向検出装置は、赤外光源（２７）を用いて赤外光（２９）を照射する赤外光照射ユニットと、前記赤外光を、ウインドシールド（９）又はコンバイナで反射し、ユーザ（１３）の目（１５）に向う方向に投射する投射ユニット（２１）と、前記赤外光が前記目に入射する方向とは異なる方向から前記目を撮影する赤外カメラ（５）から、前記目を含む範囲の赤外カメラ画像を取得する画像取得ユニットと、前記画像取得ユニットが取得した前記赤外カメラ画像において、瞳孔及びプルキニエ像を認識する認識ユニットと、前記認識ユニットで認識した前記瞳孔及び前記プルキニエ像の位置関係から、前記ユーザの視線方向を検出する視線方向検出ユニットと、を備える。

Description

視線方向検出装置、及び視線方向検出システム 関連出願の相互参照
　本出願は、２０１５年１１月２７日に出願された日本特許出願番号２０１５－２３１７５６号に基づくもので、ここにその記載内容を参照により援用する。
　本開示は、視線方向検出装置、及び視線方向検出システムに関する。
　従来、ドライバの視線位置を検出可能なヘッドアップディスプレイ装置が知られている。特許文献１に記載のヘッドアップディスプレイ装置では、表示光の光路を利用して、赤外光をドライバの目に投射する。また、表示光の光路を利用してドライバの顔を撮影する。撮影により得られた赤外カメラ画像から、ドライバの視点位置を検出する。
ＪＰ２００８－１５５７２０Ａ
　ドライバの視線方向を検出することは、ヘッドアップディスプレイ装置の調整等、種々の用途に用いることができ、有用である。特許文献１記載の技術により得られた赤外カメラ画像において、瞳孔及びプルキニエ像を認識し、認識した瞳孔及びプルキニエ像の位置関係から、ドライバの視線方向を検出することが考えられる。しかしながら、特許文献１記載の技術により得られた赤外カメラ画像に基づき、視線方向を正確に検出することは困難であった。
　そこで、本開示の目的の一つは、ユーザの視線方向を正確に検出できる視線方向検出装置、及び視線方向検出システムを提供することにある。
　本開示の一観点の視線方向検出装置は、赤外光源を用いて赤外光を照射する赤外光照射ユニットと、赤外光を、ウインドシールド又はコンバイナで反射し、ユーザの目に向う方向に投射する投射ユニットと、赤外光が目に入射する方向とは異なる方向から目を撮影する赤外カメラから、目を含む範囲の赤外カメラ画像を取得する画像取得ユニットと、画像取得ユニットが取得した赤外カメラ画像において、瞳孔及びプルキニエ像を認識する認識ユニットと、認識ユニットで認識した瞳孔及びプルキニエ像の位置関係から、ユーザの視線方向を検出する視線方向検出ユニットとを備える。
　この視線方向検出装置によれば、赤外カメラ画像において、瞳孔及びプルキニエ像を正確に認識することができる。その結果、ユーザの視線方向を正確に検出できる。
　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記の詳細な説明から、より明確になる。図面において、
図１は、視線方向検出システムの構成を表す説明図である。 図２は、赤外カメラの位置を表す説明図である。 図３は、ＨＵＤ装置の構成を表す斜視図である。 図４は、ＨＵＤ装置の構成を表す平面図である。 図５は、視線方向検出システムの電気的構成を表すブロック図である。 図６は、制御部の機能的要素を表すブロック図である。 図７は、ＨＵＤ装置が実行する処理を表すフローチャートである。 図８は、瞳孔とプルキニエ像との位置関係を表す説明図である。 図９は、瞳孔が周囲の虹彩より暗い像となっている赤外カメラ画像を表す図面である。 図１０は、瞳孔が周囲の虹彩より明るい像となっている赤外カメラ画像を表す図面である。 図１１は、視線方向検出システムの構成を表す説明図である。 図１２は、視線方向検出装置の構成を表す斜視図である。
　本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．視線方向検出システム１の構成
　視線方向検出システム１の構成を図１～図６に基づき説明する。図１に示すように、視線方向検出システム１は、ヘッドアップディスプレイ装置３と、赤外カメラ５とを備える。以下では、ヘッドアップディスプレイ装置３をＨＵＤ装置３と表記することもある。なお、ＨＵＤ装置３は視線方向検出装置に対応する。
　視線方向検出システム１は車両に搭載されている。視線方向検出システム１が搭載されている車両を以下では自車両とする。図１、図３に示すように、ＨＵＤ装置３は、表示画像を表示する表示光７を、自車両のウインドシールド９に投射する。表示光７は可視光である。ウインドシールド９のうち、表示光７が入射する領域を表示領域１１とする。ウインドシールド９で反射した表示光７は、ドライバ１３の目１５に入射する。ドライバ１３は、ウインドシールド９の前方に、表示画像の虚像１７を見ることができる。すなわち、ＨＵＤ装置３は、表示光７を、ウインドシールド９で反射し、目１５に向う方向に投射する。
　ＨＵＤ装置３は、図３、図４に示すように、表示光照射ユニット１９と、コールドミラー２１と、凹面鏡２３と、駆動部２５と、赤外光源２７とを備える。なお、コールドミラー２１と、凹面鏡２３と、駆動部２５とは、投射ユニットに対応する。
　表示光照射ユニット１９は、表示光７を照射する。コールドミラー２１は表示光７を反射する。コールドミラー２１は、可視光である表示光７は反射するが、後述する赤外光２９は透過させる特性を有する。凹面鏡２３は、コールドミラー２１により反射された表示光７をさらに反射し、ウインドシールド９に向けて投射する。また、凹面鏡２３は、表示光７を拡大する。駆動部２５は、後述する制御部３１から送られる信号に応じて凹面鏡２３の角度を変更する。凹面鏡２３の角度が変化すると、表示光７及び赤外光２９を投射する方向が変化し、さらに、ウインドシールド９で反射した後の表示光７及び赤外光２９の光路も変化する。
　赤外光源２７は赤外光２９を照射する。照射された赤外光２９は、コールドミラー２１を透過し、凹面鏡２３で反射し、ウインドシールド９でさらに反射し、目１５に入射する。コールドミラー２１を透過した後の赤外光２９の光路は、コールドミラー２１で反射した後の表示光７の光路と同じである。　
　次に、ＨＵＤ装置３の電気的な構成を図５、図６に基づき説明する。ＨＵＤ装置３は、上述した赤外光源２７、駆動部２５、及び表示光照射ユニット１９に加えて、制御部３１を備える。
　制御部３１は、ＣＰＵ３３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ３５とする）と、を有する周知のマイクロコンピュータを中心に構成される。制御部３１の各種機能は、ＣＰＵ３３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、制御部３１を構成するマイクロコンピュータの数は１つでも複数でもよい。
　制御部３１は、ＣＰＵ３３がプログラムを実行することで実現される機能の要素として、図６に示すように、赤外光照射ユニット３７と、画像取得ユニット３９と、認識ユニット４１と、視線方向検出ユニット４３と、表示光照射ユニット４５と、調整ユニット４６と、出力ユニット４８と、を備える。制御部３１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
　また、制御部３１は、赤外カメラ５と接続しており、赤外カメラ５を制御する。また、制御部３１は、赤外カメラ５から、後述する赤外カメラ画像を取得することができる。
　図１、図２に示すように、赤外カメラ５は、ダッシュボード４７に取り付けられている。赤外カメラ５は、赤外領域の波長における画像を作成する。赤外カメラ５が作成する画像（以下では赤外カメラ画像とする）の範囲には、目１５が含まれる。図１に示すように、赤外光２９が目１５に入射する方向ｄ１と、赤外カメラ５が目を撮影する方向ｄ２とは異なる。方向ｄ１と方向ｄ２とが成す角度をθとする。θの絶対値は０°より大きい。θは、後述する赤外カメラ画像において、瞳孔を、その周囲の虹彩よりも暗い像とする範囲内にある。なお、θの絶対値が大きいほど、赤外カメラ画像において、瞳孔はその周囲の虹彩よりも暗い像となり易い。赤外カメラ５は、生成した赤外カメラ画像を制御部３１に出力する。
　２．視線方向検出システム１が実行する視線方向検出処理
　視線方向検出システム１が実行する視線方向検出処理を図７～図９に基づき説明する。視線方向検出処理は、ドライバ１３が指示したタイミングで実行してもよいし、予め設定されたタイミングで実行してもよいし、所定時間ごとに繰り返し実行してもよい。
　図７のステップ１では、赤外光照射ユニット３７が、赤外光源２７を用いて、赤外光２９を照射する。この赤外光２９は、上述したとおり、コールドミラー２１を透過し、凹面鏡２３で反射し、ウインドシールド９でさらに反射し、目１５に入射する。
　ステップ２では、画像取得ユニット３９が、赤外カメラ５を用いて、赤外カメラ画像を取得する。　　
　ステップ３では、認識ユニット４１が、前記ステップ２で取得した赤外カメラ画像において、周知の画像認識技術により、図８に示す瞳孔４９及びプルキニエ像５１を認識する。プルキニエ像５１とは、角膜表面における反射像である。
　図９に示すように、前記ステップ２で取得した赤外カメラ画像において瞳孔４９は、その周囲の虹彩よりも暗い像となる。なお、θが０°の場合、図１０に示すように、赤外カメラ画像において瞳孔は、その周囲の虹彩よりも明るい像となる。
　ステップ４では、視線方向検出ユニット４３が、前記ステップ３で認識した瞳孔４９及びプルキニエ像５１の位置関係から、ドライバ１３の視線方向を検出する。
　図８に示すように、ドライバ１３の視線方向と、瞳孔４９及びプルキニエ像５１の位置関係とには相関関係がある。視線方向検出ユニット４３は、予め、瞳孔４９及びプルキニエ像５１の位置関係と、ドライバ１３の視線方向との相関関係を規定するマップを備えている。視線方向検出ユニット４３は、前記ステップ３で認識した瞳孔４９及びプルキニエ像５１の位置関係を、そのマップに入力することで、ドライバ１３の視線方向を検出する。
　ステップ５では、調整ユニット４６が駆動部２５を用いて、凹面鏡２３の向きを調整する。その調整は、前記ステップ４で検出したドライバ１３の視線方向に応じて、表示光７の光路を調整するものである。
　ステップ６では、出力ユニット４８が、前記ステップ４で検出したドライバ１３の視線方向を他の車載装置に出力する。
　なお、他の車載装置としては、例えば、ドライバ１３の視線方向に基づき、ドライバ１３が周囲の物標を視認した否かを判断し、視認していないと判断した場合は、警報を出力したり、自車両に対し処理を行ったりする装置が挙げられる。上記の物標としては、例えば、信号機、交通標識、他の車両、歩行者等が挙げられる。また、上記の自車両に対する処理としては、例えば、警報処理、自動ブレーキ、自動操舵等が挙げられる。
　３．ＨＵＤ装置３が実行する表示処理
　ＨＵＤ装置３は、周知のＨＵＤ装置と基本的には同様の表示処理を行う。表示光照射ユニット１９は、表示光７を照射する。表示光７は、コールドミラー２１、凹面鏡２３、及びウインドシールド９で順次反射し、目１５に入射する。ドライバ１３は、ウインドシールド９の前方に、表示画像の虚像１７を見る。なお、凹面鏡２３の角度は、前記ステップ５の処理により調整された角度である。　　
　４．視線方向検出システム１が奏する効果
　（１Ａ）視線方向検出システム１は、赤外カメラ５から、目１５を含む範囲の赤外カメラ画像を取得する。赤外カメラ５は、赤外光２９が目１５に入射する方向ｄ１とは異なる方向ｄ２から目１５を撮影する。そのため、赤外カメラ画像において、瞳孔４９及びプルキニエ像５１を一層正確に認識することができる。その結果、ドライバ１３の視線方向を一層正確に検出できる。
　（１Ｂ）ＨＵＤ装置３は、コールドミラー２１、凹面鏡２３、及び駆動部２５を用いて、表示光７及び赤外光２９を投射する。そのため、赤外光２９を投射するための光学系を別に設ける必要がない。その結果、視線方向検出システム１をコンパクト化することができる。
　（１Ｃ）ＨＵＤ装置３は、表示光７を反射するとともに、赤外光２９を透過させるコールドミラー２１を含む。コールドミラー２１で反射した表示光７と、コールドミラー２１を透過した赤外光２９とは、同じ光路を進む。そのことにより、ＨＵＤ装置３の構成を一層簡略化することができる。
　（１Ｄ）視線方向検出システム１において、θの値は、赤外カメラ画像において瞳孔４９が、その周囲の虹彩よりも暗い像となる範囲内である。そのことにより、赤外カメラ画像において、瞳孔４９及びプルキニエ像５１を一層正確に認識することができる。その結果、ドライバ１３の視線方向を一層正確に検出できる。
　（１Ｅ）赤外カメラ５はダッシュボード４７に設けられている。そのため、θの値を十分に大きくすることができる。
＜第２実施形態＞
　１．第１実施形態との相違点
　第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
　前述した第１実施形態では、ウインドシールド９において表示光７及び赤外光２９を反射した。これに対し、第２実施形態では、図１１に示すように、コンバイナ５３において表示光７及び赤外光２９を反射する点で、第１実施形態と相違する。コンバイナ５３で反射した表示光７及び赤外光２９は、目１５に入射する。
　２．視線方向検出システム１が奏する効果
　以上詳述した第２実施形態によれば、前述した第１実施形態の効果と同様の効果が得られる。
＜第３実施形態＞
　１．第１実施形態との相違点
　第３実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
　前述した第１実施形態では、ＨＵＤ装置３を用いた。これに対し、第３実施形態では、視線方向検出装置１０３を用いる。視線方向検出装置１０３は、表示光７を投射する機能を有さない。図１２に示すように、視線方向検出装置１０３は、凹面鏡２３と、駆動部２５と、赤外光源２７とを備える。なお、凹面鏡２３と、駆動部２５とは、投射ユニットに対応する。赤外光２９の光路は、第１実施形態と同様である。
　２．視線方向検出システム１が奏する効果
　以上詳述した第３実施形態によれば、前述した第１実施形態の効果（１Ａ）、（１Ｄ）と同様の効果が得られる。
＜他の実施形態＞
　以上の実施形態は例示である。他の様々な実施形態が可能である。
　（１）赤外カメラ５の位置は適宜選択できる。例えば、ルームミラー等に赤外カメラ５を取り付けてもよい。
　（２）視線方向検出システム１は、ドライバ１３以外の自車両の乗員の視線方向を検出してもよい。
　（３）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（４）上述したＨＵＤ装置の他、当該ＨＵＤ装置を構成要素とするシステム、当該ＨＵＤ装置の制御部としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、視線検出方法、ＨＵＤ装置の調整方法等、種々の実施形態とすることもできる。

Claims (6)

  1. 　赤外光源（２７）を用いて赤外光（２９）を照射する赤外光照射ユニット（３７）と、
    　前記赤外光を、ウインドシールド（９）又はコンバイナ（５３）で反射し、ユーザ（１３）の目（１５）に向う方向に投射する投射ユニット（２１、２３、２５）と、
    　前記赤外光が前記目に入射する方向とは異なる方向から前記目を撮影する赤外カメラ（５）から、前記目を含む範囲の赤外カメラ画像を取得する画像取得ユニット（３９）と、
    　前記画像取得ユニットが取得した前記赤外カメラ画像において、瞳孔（４９）及びプルキニエ像（５１）を認識する認識ユニット（４１）と、
    　前記認識ユニットで認識した前記瞳孔及び前記プルキニエ像の位置関係から、前記ユーザの視線方向を検出する視線方向検出ユニット（４３）と、
    　を備える視線方向検出装置（３、１０３）。
  2. 　請求項１に記載の視線方向検出装置であって、
    　表示画像を表示する表示光を照射する表示光照射ユニット（１９）をさらに備え、　
    　前記投射ユニットは、前記表示光照射ユニットが照射する前記表示光（７）を、前記ウインドシールド又は前記コンバイナで反射し、ユーザの目に向う方向に投射することで、前記ユーザに前記表示画像の虚像（１７）を表示するように構成された視線方向検出装置。
  3. 　請求項２に記載の視線方向検出装置であって、
    　前記投射ユニットは、前記表示光を反射するとともに、前記赤外光を透過させるコールドミラー（２１）を含み、
    　前記コールドミラーで反射した前記表示光と、前記コールドミラーを透過した前記赤外光とは、同じ光路を進む視線方向検出装置。
  4. 　請求項１～３のいずれか１項に記載の視線方向検出装置と、
    　前記赤外カメラと、
    　を備える視線方向検出システム（１）。
  5. 　請求項４に記載の視線方向検出システムであって、
    　前記赤外光が前記目に入射する方向と、前記赤外カメラが前記目を撮影する方向とが成す角度は、前記赤外カメラ画像において前記瞳孔が、その周囲の虹彩よりも暗い像となる範囲内である視線方向検出システム。
  6. 　請求項４又は５に記載の視線方向検出システムであって、
    　前記赤外カメラはダッシュボード（４７）に設けられている視線方向検出システム。
PCT/JP2016/079376 2015-11-27 2016-10-04 視線方向検出装置、及び視線方向検出システム WO2017090319A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/777,227 US20180335633A1 (en) 2015-11-27 2016-10-04 Viewing direction detector and viewing direction detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015231756A JP2017097759A (ja) 2015-11-27 2015-11-27 視線方向検出装置、及び視線方向検出システム
JP2015-231756 2015-11-27

Publications (1)

Publication Number Publication Date
WO2017090319A1 true WO2017090319A1 (ja) 2017-06-01

Family

ID=58764198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/079376 WO2017090319A1 (ja) 2015-11-27 2016-10-04 視線方向検出装置、及び視線方向検出システム

Country Status (3)

Country Link
US (1) US20180335633A1 (ja)
JP (1) JP2017097759A (ja)
WO (1) WO2017090319A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799610A (zh) * 2017-11-16 2019-05-24 Aptiv技术有限公司 眼睛跟踪装置
WO2023087362A1 (zh) * 2021-11-16 2023-05-25 武汉华星光电技术有限公司 车载显示装置、车载显示系统及车辆

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839742A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于视线追踪的增强现实装置
JP6883244B2 (ja) * 2017-12-06 2021-06-09 株式会社Ｊｖｃケンウッド 投影制御装置、ヘッドアップディスプレイ装置、投影制御方法およびプログラム
US10884249B2 (en) * 2018-10-23 2021-01-05 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Combiner head up display with separate infrared function
JP7135944B2 (ja) 2019-03-06 2022-09-13 株式会社デンソー 指標算出装置及び表示システム
JP7281132B2 (ja) 2019-05-07 2023-05-25 株式会社デンソー 表示装置、視認性評価方法、及び視対象の大きさ決定方法
CN110579879B (zh) * 2019-09-17 2021-11-02 中国第一汽车股份有限公司 一种车载抬头显示系统及其控制方法
US20230316782A1 (en) * 2022-03-31 2023-10-05 Veoneer Us Llc Driver monitoring systems and methods with indirect light source and camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296383A (ja) * 2004-04-13 2005-10-27 Honda Motor Co Ltd 視線検出装置
JP2008155720A (ja) * 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
WO2011111201A1 (ja) * 2010-03-11 2011-09-15 トヨタ自動車株式会社 画像位置調整装置
JP2012080910A (ja) * 2010-10-06 2012-04-26 Fujitsu Ltd 補正値算出装置、補正値算出方法および補正値算出プログラム
JP2013147091A (ja) * 2012-01-18 2013-08-01 Tokai Rika Co Ltd 操作装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
JP5742201B2 (ja) * 2010-12-15 2015-07-01 富士通株式会社 運転支援装置、運転支援方法及び運転支援プログラム
CN106028913B (zh) * 2014-02-19 2018-03-30 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296383A (ja) * 2004-04-13 2005-10-27 Honda Motor Co Ltd 視線検出装置
JP2008155720A (ja) * 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
WO2011111201A1 (ja) * 2010-03-11 2011-09-15 トヨタ自動車株式会社 画像位置調整装置
JP2012080910A (ja) * 2010-10-06 2012-04-26 Fujitsu Ltd 補正値算出装置、補正値算出方法および補正値算出プログラム
JP2013147091A (ja) * 2012-01-18 2013-08-01 Tokai Rika Co Ltd 操作装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799610A (zh) * 2017-11-16 2019-05-24 Aptiv技术有限公司 眼睛跟踪装置
WO2023087362A1 (zh) * 2021-11-16 2023-05-25 武汉华星光电技术有限公司 车载显示装置、车载显示系统及车辆

Also Published As

Publication number Publication date
US20180335633A1 (en) 2018-11-22
JP2017097759A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
WO2017090319A1 (ja) 視線方向検出装置、及び視線方向検出システム
EP2288287B1 (en) Driver imaging apparatus and driver imaging method
JP6497158B2 (ja) 表示装置、移動体
CN106458083B (zh) 车辆前照灯控制装置
KR20170014168A (ko) 차량의 카메라 장치
US10504237B2 (en) Method for determining a viewing direction of a person
TWI522257B (zh) 車用安全系統及其運作方法
JP6433383B2 (ja) 投光装置
JP2018129668A (ja) 画像表示装置
KR101621876B1 (ko) 차량에서 웨어러블 기기를 이용한 전조등 제어 방법 및 이를 수행하는 차량
JPH11142784A (ja) 位置検出機能付きヘッドマウントディスプレイ
US20170323165A1 (en) Capturing apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous actuation of lighting units, operating arrangement, motor vehicle and method
WO2016013167A1 (ja) 車両用表示制御装置
CN110733423B (zh) 用于显示车辆后方图像的装置和方法
JP4692496B2 (ja) 車両用表示装置
JP2016170052A (ja) 目検出装置及び車両用表示システム
JP2017013671A (ja) ヘッドアップディスプレイ装置
JP2020137053A (ja) 制御装置及び撮影システム
JP2013114536A (ja) 安全支援装置、及び、安全支援方法
JP2009006968A (ja) 車両用表示装置
JP2018087852A (ja) 虚像表示装置
JP2003011722A (ja) 夜間走行支援装置
JP2005284797A (ja) 走行安全装置
JP2013114290A (ja) 安全支援装置、及び、安全支援方法
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868268

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15777227

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16868268

Country of ref document: EP

Kind code of ref document: A1