WO2015072100A1 - 視線方向検知装置 - Google Patents

視線方向検知装置 Download PDF

Info

Publication number
WO2015072100A1
WO2015072100A1 PCT/JP2014/005488 JP2014005488W WO2015072100A1 WO 2015072100 A1 WO2015072100 A1 WO 2015072100A1 JP 2014005488 W JP2014005488 W JP 2014005488W WO 2015072100 A1 WO2015072100 A1 WO 2015072100A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
subject
imaging
pupil
Prior art date
Application number
PCT/JP2014/005488
Other languages
English (en)
French (fr)
Inventor
黒川　和雅
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/035,251 priority Critical patent/US10146058B2/en
Publication of WO2015072100A1 publication Critical patent/WO2015072100A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present disclosure relates to a gaze direction detection device that detects a gaze direction of a subject in conjunction with a head-up display device.
  • an input method for touching a touch panel arranged on a screen has become widespread as an interface (HMI) between a machine and a person such as a portable terminal or an in-vehicle device.
  • HMI interface
  • Such an input method using a touch panel has improved operational feeling compared to an input method of operating a conventional switch or the like.
  • the input method using the touch panel is the same as the conventional switch in that it is operated by moving the hand, and has not yet reduced the physical burden on the operation.
  • the operation becomes difficult.
  • a line-of-sight input technique has been proposed in which information is input by detecting a user's line-of-sight direction and specifying a selection target based on the detected line-of-sight direction (for example, see Patent Document 1).
  • a technique has been proposed in which this type of line-of-sight input technique is applied to a pointing device that works in conjunction with an image of a head-up display that presents information in front of the driver of the vehicle (see, for example, Patent Document 2).
  • the subject's pupil is irradiated with infrared light, and the subject's pupil is imaged with a camera.
  • a method for estimating the gaze direction is known. In this method, since the line-of-sight direction is detected by analyzing the state of the pupil of the subject through image processing, a high-resolution captured image is required.
  • the present disclosure has been made in view of the above points, and provides a gaze direction detection device that detects a gaze direction of a subject by narrowing down a test target range in conjunction with a head-up display that presents an image to a subject.
  • the purpose is to do.
  • the gaze direction detection device is connected to the head-up display device so as to be communicable, and includes an imaging unit, an acquisition unit, an estimation unit, a setting unit, and a calculation unit.
  • the imaging unit acquires a subject image obtained by imaging the subject from the front.
  • the acquisition unit acquires adjustment position information representing an adjustment result of the projection position with respect to an adjustment unit that is provided in the head-up display device and adjusts the projection position of the video according to the subject.
  • This head-up display is a display device that projects an image on a screen arranged in front of the subject and displays the image to the subject.
  • the estimation unit estimates the position of the pupil of the subject based on the adjustment position information acquired by the acquisition unit.
  • the setting unit sets the examination target range of the subject image captured by the imaging unit with reference to the position of the pupil estimated by the estimation unit.
  • the calculation unit calculates the gaze direction of the subject based on the state of the pupil shown in the subject image corresponding to the examination target range set by the setting unit.
  • the gaze direction can be detected by narrowing down the inspection target range in conjunction with the adjustment result of the projection position of the image in the head-up display device.
  • the projection position of the image is suitably adjusted so that the subject can easily see, so that the projection position of the image and the position of the pupil of the subject have a specific positional relationship. It is estimated that Therefore, in the present disclosure, the position of the pupil of the subject can be estimated using the adjustment result of the projection position of the video in the head-up display device. Then, it is possible to detect the gaze direction of the subject after narrowing down the examination target range based on the estimated pupil position. By doing this, the subject's pupil can be reliably captured without imaging the subject over a wide range, so the imaging range of the camera can be reduced and the burden of image processing on the subject image can be reduced. I can do it.
  • a gaze direction detection device is connected to a head-up display device so as to be communicable, and includes an imaging unit and a calculation unit.
  • the imaging unit is attached integrally with the video generation unit provided in the head-up display device.
  • an imaging part acquires the subject image which imaged the subject from the front via the path
  • the position of the imaging range is changed when the imaging unit is moved together with the video generation unit by an adjustment unit that adjusts the projection position of the video according to the subject by moving the video generation unit.
  • the calculation unit Is calculated.
  • the projection position of the image is suitably adjusted so that it can be easily seen from the subject, and the position of the imaging range of the imaging unit is linked with the projection position. It is precisely matched to the position of The subject's line-of-sight direction can be detected based on the subject image acquired in a state where the position of the imaging range matches the position of the subject's pupil. By doing this, the subject's pupil can be reliably captured without imaging the subject over a wide range, so the imaging range of the camera can be reduced and the burden of image processing on the subject image can be reduced. I can do it.
  • FIG. 1A is a diagram illustrating an in-vehicle display system according to the present disclosure
  • FIG. 1B is a block diagram illustrating a configuration of the in-vehicle display system according to the first embodiment of the present disclosure
  • FIG. 2 is a flowchart illustrating a procedure of the gaze detection process according to the first embodiment of the present disclosure
  • FIG. 3A is an explanatory diagram illustrating an example of cutting out an inspection target image
  • FIG. 3B is a diagram illustrating a cutout region cut out as an inspection target image from the entire captured image illustrated in FIG.
  • FIG. 4A is a diagram illustrating an in-vehicle display system according to the present disclosure
  • FIG. 4B is a block diagram illustrating a configuration of the in-vehicle display system according to the second embodiment of the present disclosure
  • FIG. 5A to FIG. 5C are explanatory diagrams showing examples of camera arrangements.
  • FIG. 6 is a flowchart illustrating a procedure of line-of-sight detection processing according to the second embodiment of the present disclosure.
  • the in-vehicle display system to which the gaze direction detection device according to the present disclosure is applied can project an image in front of the driver of the vehicle by a head-up display and can input information by a gaze input interface linked with the image of the head-up display. It is an in-vehicle device. As illustrated in FIG. 1A and FIG. 1B, the in-vehicle display system of the first embodiment includes a line-of-sight image calculation device 10 and a head-up display (HUD) 20 connected to the line-of-sight image calculation device 10. , A camera 30, a camera driving unit 32, and the like.
  • HUD head-up display
  • the head-up display 20 is installed, for example, on a dashboard in front of the driver's seat of the vehicle, and projects an image on a screen S made up of a windshield or combiner provided in front of the driver.
  • the projected image is reflected by the screen S and visually recognized by the driver D.
  • the image visually recognized by the driver D is recognized as a virtual image V existing in the driving field of view ahead of the screen S.
  • the head-up display 20 mainly includes a display unit 22 and a position adjustment unit 24.
  • the display unit 22 includes an optical system including a liquid crystal panel that outputs a video based on the video signal output from the line-of-sight video arithmetic device 10, a reflecting mirror that projects the output video on the screen S, and the like.
  • the position adjustment unit 24 is an actuator that adjusts the position of the image projected on the screen S by changing the projection direction of the image by moving the image display surface of the display unit 22 or the position and angle of the optical system.
  • the position adjustment unit 24 may be one that automatically adjusts the display position of the video in accordance with a set value registered in advance for the driver D in conjunction with the electric seat of the vehicle.
  • the display position of the video may be adjusted based on an operation by the driver D.
  • the line-of-sight image calculation device 10 is mainly composed of a microcomputer, and includes a line-of-sight detection unit 12, a calculation unit 14, and a video signal output unit 16.
  • the line-of-sight detection unit 12 specifies the line-of-sight direction of the driver D who is the subject by performing image processing on the image captured by the camera 30. At that time, the line-of-sight detection unit 12 estimates the pupil position of the driver D based on the adjustment position information acquired from the position adjustment unit 24. Then, after adjusting the imaging range of the camera 30 according to the estimated pupil position, image processing for specifying the line-of-sight direction is performed. Details of this series of processing will be described later.
  • the calculation unit 14 outputs an image input from an in-vehicle device (not shown) connected to the line-of-sight image calculation device 10 to the video signal output unit 16 and outputs it as a video signal.
  • This in-vehicle device executes an application for drawing an image to be displayed on the head-up display 20.
  • the calculation unit 14 specifies the position of the image that the driver D is gazing at based on the line-of-sight direction of the driver D output from the line-of-sight detection unit 12. And the information corresponding to the position of the specified image is output to the above-mentioned in-vehicle device.
  • the video signal output unit 16 outputs the image input from the calculation unit 14 to the head-up display 20 as a video signal.
  • the camera 30 is arranged on, for example, a dashboard in front of the driver's seat of the vehicle, and images the vicinity of the face of the driver D sitting on the driver's seat.
  • the camera 30 is movable in position and orientation so that the position of the imaging range can be changed on the assumption that the position of the pupil varies depending on the physique and posture of the driver D who is the subject.
  • the camera driving unit 32 is an actuator that changes the position of the imaging range of the camera 30 by moving the position and orientation of the camera 30 according to control from the line-of-sight detection unit 12.
  • the projection position of the image on the display unit 22 is adjusted by the position adjustment unit 24 of the head-up display 20.
  • the line-of-sight detection unit 12 acquires adjustment position information representing the adjustment result of the projection position of the video by the position adjustment unit 24.
  • the adjustment position information includes, for example, information indicating a position at which an image is projected and an angle correction value.
  • the line-of-sight detection unit 12 calculates the position of the pupil of the subject (driver D) based on the position adjustment information acquired in S102.
  • the line-of-sight detection unit 12 moves the camera 30 based on the position of the subject's pupil calculated in S104, and adjusts the imaging range of the camera 30 to the position of the subject's pupil.
  • the camera driving unit 32 is operated based on parameters in which the relationship between the position of the subject's pupil and the orientation and position of the camera 30 is defined in advance, and the subject's pupil is within the imaging range of the camera 30. The direction and position of the camera 30 are adjusted so as to enter.
  • the line-of-sight detection unit 12 calculates the line-of-sight direction of the subject based on the image of the subject imaged by the camera 30 in which the imaging range is adjusted.
  • the image of the subject is subjected to image processing using a predetermined algorithm, and the state of the pupil shown in this image is analyzed to calculate the line-of-sight direction.
  • the line-of-sight detection unit 12 executes the process of S107 instead of S106 of the above-described line-of-sight detection process (see FIG. 2).
  • the line-of-sight detection unit 12 cuts out a region of a predetermined size corresponding to the position of the subject's pupil specified in S104 from the subject's image captured by the camera 30.
  • the position of the cut-out region is specified based on a parameter in which the correspondence between the calculated pupil position of the subject and the position of the pupil shown in the captured image of the camera 30 is defined in advance.
  • the size of the cut-out area is, for example, large enough to include both the eyes of the subject and the surrounding area based on the estimated distance between the position of the camera 30 and the face of the subject sitting in the driver's seat of the vehicle. Say it. Then, as illustrated in FIG. 3A and FIG. 3B, a partial image corresponding to the cutout region is cut out as an inspection target image from the entire image taken by the camera 30.
  • step S108 the line-of-sight detection unit 12 calculates the line-of-sight direction based on the state of the pupil shown in the image by performing image processing on the inspection target image cut out in step S107 using a predetermined algorithm.
  • the camera 30 corresponds to the imaging unit
  • the display unit 22 corresponds to the video generation unit
  • the position adjustment unit 24 corresponds to the adjustment unit
  • the processing performed by the line-of-sight detection unit 12 in S102 is performed in the acquisition unit.
  • the sight line detection unit 12 corresponds to the estimation unit
  • the sight line detection unit 12 corresponds to the setting unit
  • the sight line detection unit 12 performs the process in S108 corresponds to the calculation unit.
  • the drive unit 32 corresponds to the drive unit.
  • the on-vehicle display system according to the first embodiment has the following effects.
  • the line-of-sight direction can be detected after narrowing down the inspection target range in conjunction with the adjustment result of the projection position of the image by the position adjustment unit 24 of the head-up display 20.
  • the projection position of the image is suitably adjusted so that it can be easily seen from the subject, and the pupil position of the subject is estimated using the adjustment result. Can do.
  • the imaging range can be moved by moving the camera 30 or a partial area of the captured image can be cut out to narrow down the inspection target range.
  • the in-vehicle display system of the second embodiment includes a line-of-sight image calculation device 10 and a head-up display device (HUD) connected to the line-of-sight image calculation device 10. 20 and a camera 31 or the like.
  • the second embodiment is different from the first embodiment described above in that a camera 31 that captures an image of a driver D who is a subject is integrally attached to a display unit 22 that is a configuration of the head-up display 20. To do. Note that, in FIGS. 4A and 4B, the same reference numerals are given to the same components as those in the first embodiment, and redundant descriptions are omitted here.
  • the camera 31 is attached so as to capture an image in the vicinity of the pupil of the driver D who is the subject through a path on which the video output from the display unit 22 of the head-up display 20 is projected onto the screen S. Yes. Thereby, the image projected from the display unit 22 is reflected by the screen S of the vehicle and visually recognized by the driver D, while an image near the pupil of the driver D is reflected by the screen S and captured by the camera 31. It has become so.
  • the camera 31 is assumed to be attached to a movable part when the projection direction of the image on the display unit 22 is adjusted by the position adjustment unit 24. Thereby, the projection position of the image on the display unit 22 and the position of the imaging range of the camera 31 are moved together by the position adjustment unit 24. That is, when the projection position of the image is adjusted so that the image projected from the display unit 22 is displayed at an appropriate position when viewed from the driver D, the pupil of the driver D enters the imaging range of the camera 31. The camera 31 is directed in the direction.
  • the display unit 22 is irradiated with light from the liquid crystal panel 26 (for example, TFT-LCD) that changes the light transmittance to form an image pattern, and the back side of the liquid crystal panel 26, and the image pattern is converted into an image. It is assumed that a backlight 28 which is a light source for displaying is provided.
  • the liquid crystal panel 26 for example, TFT-LCD
  • the camera 31 is disposed on the display surface side of the liquid crystal panel 26.
  • the center direction of the imaging range of the camera 31 and the projection direction of the image by the liquid crystal panel 26 and the backlight 28 are parallel.
  • the camera 31 is disposed at an edge portion of the liquid crystal panel 26 so as not to prevent display by the liquid crystal panel 26.
  • the camera 31 is disposed on the back side of the liquid crystal panel 26.
  • the center direction of the imaging range of the camera 31 and the projection direction of the image by the liquid crystal panel 26 and the backlight 28 are parallel.
  • the camera 31 since the camera 31 is arranged on the back side of the liquid crystal panel 26, the display of the liquid crystal panel 26 is not hindered. Therefore, the camera 31 can be arranged in the center of the liquid crystal panel 26. The camera 31 can image the subject through the liquid crystal panel 26 when the liquid crystal panel 26 is in operation and transmits light.
  • a half mirror 29 is arranged on a path through which an image is projected by the liquid crystal panel 26 and the backlight 28.
  • the camera 31 is arranged at a position where light coming from the image projection direction is reflected by the half mirror 29.
  • the image displayed on the liquid crystal panel 26 and the backlight 28 is projected on the screen S through the half mirror 29.
  • the image of the subject is reflected by the screen S and incident on the display unit 22, further reflected by the half mirror 29, and captured by the camera 31.
  • the projection position of the image on the display unit 22 is adjusted by the position adjustment unit 24 of the head-up display 20. At this time, the projection position of the image by the display unit 22 is adjusted, and the position of the imaging range of the camera 31 is also adjusted.
  • the line-of-sight detection unit 12 calculates the line-of-sight direction of the subject based on the image of the subject captured by the camera 31 with the imaging range adjusted.
  • the image of the subject is subjected to image processing using a predetermined algorithm, and the state of the pupil shown in this image is analyzed to calculate the line-of-sight direction.
  • the camera 31 corresponds to the imaging unit
  • the display unit 22 corresponds to the video generation unit
  • the position adjustment unit 24 corresponds to the adjustment unit
  • the processing performed by the line-of-sight detection unit 12 in S202 is the calculation unit. Equivalent to.
  • the projection position of the image is suitably adjusted so that it can be easily seen by the subject, so that the position of the imaging range of the camera 31 disposed integrally with the display unit 22 in conjunction with the projection position is determined. It is precisely matched to the position of the person's pupil. Then, based on the image acquired in a state where the position of the imaging range matches the position of the pupil of the subject, the gaze direction of the subject can be detected. By doing this, the subject's pupil can be reliably captured without imaging the subject over a wide range, so the imaging range of the camera used for imaging the subject can be reduced, The burden of image processing can be reduced.
  • each section is expressed as, for example, S100.
  • each part can be divided into a plurality of sub-parts, while the plurality of parts can be combined into one part.
  • each part configured in this manner can be referred to as a circuit, a device, a module, and a means.
  • Each of the above-mentioned plurality of parts or a combination thereof is not only (i) a software part combined with a hardware unit (for example, a computer), but also (ii) hardware (for example, an integrated circuit, As a part of the (wiring logic circuit), it can be realized with or without including the functions of related devices.
  • the hardware unit can be configured inside a microcomputer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

　被検者の前方に配置されたスクリーン（Ｓ）に映像を投影し、映像を被検者に対して表示するヘッドアップディスプレイ装置（２０）と通信可能に接続された視線方向検知装置は、被検者を前方から撮像した被検者画像を取得する撮像部（３０）と、ヘッドアップディスプレイ装置に備えられた、映像の投影位置を被検者に合わせて調節する調節部（２４）について、投影位置の調節結果を表す調節位置情報を取得する取得部（１２，Ｓ１０２）と、取得部により取得された調節位置情報に基づいて、被検者の瞳の位置を推定する推定部（１２，Ｓ１０４）と、推定部により推定された瞳の位置を基準に、撮像部により撮像される被検者画像の検査対象範囲を設定する設定部（１２）と、設定部により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、被検者の視線方向を算出する算出部（１２，Ｓ１０８）とを備える。

Description

視線方向検知装置 関連出願の相互参照
　本開示は、２０１３年１１月１３日に出願された日本出願番号２０１３－２３５１０４号に基づくもので、ここにその記載内容を援用する。
　本開示は、ヘッドアップディスプレイ装置と連動して被検者の視線方向を検知する視線方向検知装置に関する。
　近年、携帯端末や車載機器等、機械と人とのインターフェイス（ＨＭＩ）として、画面上に配置されたタッチパネルを触る入力方法が広く普及している。このようなタッチパネルによる入力方法は、旧来のスイッチ等を操作する入力方法と比較して操作感が改善されている。しかしながら、タッチパネルによる入力方法は、手を動かして操作する点で旧来のスイッチと変わりなく、操作にかかる身体的な負担を低減するには至っていない。また、車両の運転等で使用者の手がふさがっている状況では、操作が困難になるという短所がある。このような問題を解決するものとして、使用者の視線方向を検知し、検知した視線方向に基づいて選択対象物を特定することで、情報の入力を行う視線入力の技術が提案されている（例えば、特許文献１参照）。また、この種の視線入力の技術を、車両の運転者の前方へ情報提示を行うヘッドアップディスプレイの映像と連動するポインティングデバイスに適用する技術が提案されている（例えば、特許文献２参照）。
　視線方向を検知する方法としては、被検者の瞳に赤外光を照射した状態で被検者の瞳をカメラで撮像し、撮像画像に写る瞳による赤外光の反射像の状態に基づき、視線方向を推定する方法が知られている。この方法では、画像処理によって被検者の瞳の状態を解析することで視線方向を検知するため、高解像度の撮像画像が必要となる。
　ところが、例えば車両の運転者を対象に視線方向を検知する場合、運転者の体格や姿勢によって瞳の位置が不特定であるから、運転者の瞳をカメラで確実に捉えるために広範囲を撮像する必要がある。そのため、高解像度で広範囲を撮像できる高性能なカメラが必要となる。また、高解像度で撮像された広範囲の画像を高速に画像処理するためには、相応の高い演算処理能力が要求される。
特開２０００－８９９０５号公報 特開２００５－７５０８１号公報
　本開示は、上記点に鑑みてなされたものであり、被検者に映像を提示するヘッドアップディスプレイと連動して検査対象範囲を絞り込んで、被験者の視線方向を検出する視線方向検知装置を提供することを目的とする。
　本開示の一態様による視線方向検知装置は、ヘッドアップディスプレイ装置と通信可能に接続されるものであって、撮像部、取得部、推定部、設定部、及び、算出部を備える。撮像部は、被検者を前方から撮像した被検者画像を取得する。取得部は、ヘッドアップディスプレイ装置に備えられた、映像の投影位置を被検者に合わせて調節する調節部について、投影位置の調節結果を表す調節位置情報を取得する。このヘッドアップディスプレイは、被検者の前方に配置されたスクリーンに映像を投影し、被検者に対して映像を表示する表示装置である。推定部は、取得部により取得された調節位置情報に基づいて、被検者の瞳の位置を推定する。設定部は、推定部により推定された瞳の位置を基準に、撮像部により撮像される被検者画像の検査対象範囲を設定する。算出部は、設定部により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、被検者の視線方向を算出する。
　上記視線方向検知装置によれば、ヘッドアップディスプレイ装置における映像の投影位置の調節結果と連動することによって、検査対象範囲を絞り込んで視線方向の検出を行うことができる。つまり、ヘッドアップディスプレイ装置において、被検者から見やすいように映像の投影位置が好適に調節されることで、映像の投影位置と被検者の瞳の位置とが、特定の位置関係になっていると推定される。そこで、本開示では、ヘッドアップディスプレイ装置における映像の投影位置の調節結果を利用して、被検者の瞳の位置を推定することができる。そして、推定された瞳の位置を基準に検査対象範囲を絞り込んだうえで、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、カメラの撮像範囲を縮減したり、被検者画像を画像処理する負担を軽減したりできる。
　本開示の他の態様による視線方向検知装置は、ヘッドアップディスプレイ装置と通信可能に接続されるものであって、撮像部及び算出部を備える。撮像部は、ヘッドアップディスプレイ装置に備えられた映像生成部と一体に取付けられる。これにより、撮像部は、映像生成部により生成された映像がスクリーンに投影される経路を介して、被検者を前方から撮像した被検者画像を取得する。さらに、この撮像部は、映像生成部を動かして映像の投影位置を被検者に合わせて調節する調節部によって、映像生成部と共に動かされることで撮像範囲の位置が変わるようになっている。算出部は、調節部によって映像の投影位置が調節されたことに伴い、撮像部の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する。
　上記視線方向検知装置では、ヘッドアップディスプレイ装置において、被検者から見やすいように映像の投影位置が好適に調節されることで、それと連動して撮像部の撮像範囲の位置が被検者の瞳の位置に的確に合わせられる。そして、撮像範囲の位置が被検者の瞳の位置に合った状態で取得された被験者画像に基づいて、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、カメラの撮像範囲を縮減したり、被検者画像を画像処理する負担を軽減したりできる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１（ａ）は、本開示による車載表示システムを表す図であり、図１（ｂ）は、本開示の第１実施形態による車載表示システムの構成を表すブロック図であり、 図２は、本開示の第１実施形態による視線検知処理の手順を表すフローチャートであり、 図３（ａ）は、検査対象画像を切り出す事例を表す説明図であり、図３（ｂ）は、図３（ａ）に表す撮像画像全体から検査対象画像として切り出した切り出し領域を表す図であり、 図４（ａ）は、本開示による車載表示システムを表す図であり、図４（ｂ）は、本開示の第２実施形態による車載表示システムの構成を表すブロック図であり、 図５（ａ）から図５（ｃ）は、カメラの配置例を表す説明図であり、 図６は、本開示の第２実施形態による視線検知処理の手順を表すフローチャートである。
　以下、本開示の一実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
　（第１実施形態）
　[車載表示システムの構成の説明]
　本開示による視線方向検知装置が適用された車載表示システムは、ヘッドアップディスプレイによって車両の運転者の前方に映像を投影すると共に、ヘッドアップディスプレイの映像と連動する視線入力インタフェースによって情報を入力可能な車載機器である。図１（ａ）と図１（ｂ）に例示されるとおり、第１実施形態の車載表示システムは、視線映像演算装置１０と、視線映像演算装置１０に接続されたヘッドアップディスプレイ（ＨＵＤ）２０、カメラ３０、及びカメラ駆動部３２等を備える。
　ヘッドアップディスプレイ２０は、例えば、車両の運転席前方のダッシュボードに設置され、運転者前方に設けられたウインドシールド又はコンバイナからなるスクリーンＳに映像を投影する。投影された映像は、スクリーンＳで反射されて運転者Ｄに視認される。運転者Ｄに視認された映像は、スクリーンＳよりも前方の運転視界内に存在する虚像Ｖとして認識される。ヘッドアップディスプレイ２０は、表示部２２と位置調節部２４とを主に備える。
　表示部２２は、視線映像演算装置１０から出力された映像信号に基づいて映像を出力する液晶パネルや、出力された映像をスクリーンＳに投影する反射鏡等からなる光学系で構成される。位置調節部２４は、表示部２２の映像表示面や光学系の位置や角度を動かして映像の投影方向を変えることで、スクリーンＳに投影される映像の位置を調節するアクチュエータである。
　運転者Ｄの体格や姿勢に応じて瞳の位置が異なると、ヘッドアップディスプレイ２０によって投影された映像が見える位置も変わって見える。そのため、運転者Ｄの瞳の位置に対して虚像Ｖが適切な位置で見えるように、位置調節部２４によって映像の投影位置を補正できるようになっている。位置調節部２４は、例えば、車両の電動シートと連動して、運転者Ｄのために予め登録されている設定値に合わせて自動的に映像の表示位置を調節するものが考えられる。あるいは、運転者Ｄによる操作に基づいて映像の表示位置を調節するものであってもよい。
　視線映像演算装置１０は、主にマイクロコンピュータからなり、視線検知部１２、演算部１４、及び映像信号出力部１６を備える。視線検知部１２は、カメラ３０により撮像された画像を画像処理することにより、被検者である運転者Ｄの視線方向を特定する。その際、視線検知部１２は、位置調節部２４から取得した調節位置情報に基づいて運転者Ｄの瞳の位置を推定する。そして、推定した瞳の位置に応じてカメラ３０の撮像範囲を調節した上で、視線方向を特定するための画像処理を行う。この一連の処理の詳細な説明については後述する。
　演算部１４は、視線映像演算装置１０に接続された車載機器（図示なし）から入力された画像を映像信号出力部１６に出力し、映像信号として出力させる。この車載機器は、ヘッドアップディスプレイ２０に表示させるための画像を描画するアプリケーションを実行するものである。また、演算部１４は、視線検知部１２から出力される運転者Ｄの視線方向に基づき、運転者Ｄが注視している画像の位置を特定する。そして、特定した画像の位置に対応した情報を前述の車載機器に出力する。映像信号出力部１６は、演算部１４から入力された画像を映像信号としてヘッドアップディスプレイ２０に出力する。
　カメラ３０は、例えば、車両の運転席前方のダッシュボードに配置され、運転席に着座する運転者Ｄの顔面の辺りを撮像する。このカメラ３０は、被検者である運転者Ｄの体格や姿勢に応じて瞳の位置が異なることを想定して、撮像範囲の位置を変更できるように位置や向きが可動となっている。カメラ駆動部３２は、視線検知部１２からの制御に応じてカメラ３０の位置や向きを動かすことで、カメラ３０の撮像範囲の位置を変更するアクチュエータである。これにより、運転者Ｄの瞳の位置に合わせてカメラ３０の撮像範囲の位置を変えることで、運転者Ｄの瞳を確実に撮像範囲に捉えることができるようになっている。
　[視線検知処理（第１実施形態）の説明]
　視線検知部１２が実行する視線検知処理（第１実施形態）の手順について、図２のフローチャートを参照しながら説明する。
　Ｓ１００では、ヘッドアップディスプレイ２０の位置調節部２４によって表示部２２の映像の投影位置が調節される。Ｓ１０２では、視線検知部１２は、位置調節部２４による映像の投影位置の調節結果を表す調節位置情報を取得する。この調節位置情報には、例えば、映像を投影する位置や角度の補正値を表す情報等が含まれる。そして、Ｓ１０４では、視線検知部１２は、Ｓ１０２で取得した位置調節情報に基づいて被検者（運転者Ｄ）の瞳の位置を算出する。
　次のＳ１０６では、視線検知部１２は、Ｓ１０４で算出した被検者の瞳の位置に基づいてカメラ３０を移動させ、カメラ３０の撮像範囲を被検者の瞳の位置に合わせる。具体的には、被検者の瞳の位置とカメラ３０の向きや位置との関係が予め定義されたパラメータに基づいてカメラ駆動部３２を作動させ、被検者の瞳がカメラ３０の撮像範囲に入るようにカメラ３０の向きや位置を調節する。そして、Ｓ１０８では、視線検知部１２は、撮像範囲が調節されたカメラ３０によって撮像された被検者の画像に基づいて、被検者の視線方向を算出する。ここでは、被検者の画像を所定のアルゴリズムを用いて画像処理することにより、この画像に写る瞳の状態を解析して視線方向を算出する。
　[第１実施形態の変形例]
　第１実施形態の視線検知処理では、算出した被験者の瞳の位置に応じてカメラ３０を動かすことで、カメラ３０の撮像範囲の位置を調節する事例について説明した。これとは別に、算出した被験者の瞳の位置に基づいて、カメラ３０によって撮像された被験者の画像の中から、被検者の瞳の位置に該当する一部領域を切り出し、切り出した領域の画像から被検者の視線方向を算出する構成であってもよい。この場合、カメラ３０は一定方向に固定されたままで撮像を行う。また、カメラ駆動部３２は車載表示システムの構成から省かれる。
　具体的には、視線検知部１２は、上述の視線検知処理（図２参照）のＳ１０６に代えて、Ｓ１０７の処理を実行する。このＳ１０７では、視線検知部１２は、カメラ３０によって撮像された被験者の画像から、Ｓ１０４で特定した被験者の瞳の位置に該当する所定のサイズの領域を切り出す。
　例えば、算出された被検者の瞳の位置と、カメラ３０の撮像画像に写る瞳の位置との対応関係が予め定義されたパラメータに基づいて、切り出し領域の位置を特定する。切り出し領域の大きさは、例えば、カメラ３０の位置と車両の運転席に着座した状態の被検者の顔面との推定距離に基づき、被検者の両目とその周辺領域が含まれる程度の大きさとする。そして、図３（ａ）と図３（ｂ）に例示されるように、カメラ３０による撮像画像全体から、切り出し領域に該当する一部画像を検査対象画像として切り出す。
　そして、Ｓ１０８では、視線検知部１２は、Ｓ１０７で切り出した検査対象画像を所定のアルゴリズムによって画像処理することで、この画像に写る瞳の状態に基づいて視線方向を算出する。
　本実施形態において、カメラ３０が撮像部に相当し、表示部２２が映像生成部に相当し、位置調節部２４が調節部に相当し、視線検知部１２によりＳ１０２で行われる処理が取得部に相当し、視線検知部１２によりＳ１０４で行われる処理が推定部に相当し、視線検知部１２が、設定部に相当し、視線検知部１２によりＳ１０８で行われる処理が算出部に相当し、カメラ駆動部３２が、駆動部に相当する。
　[効果]
　第１実施形態の車載表示システムによれば、次の効果を奏する。
　ヘッドアップディスプレイ２０の位置調節部２４による映像の投影位置の調節結果と連動して検査対象範囲を絞り込んだうえで、視線方向の検出を行うことができる。第１実施形態では、ヘッドアップディスプレイ２０において、被検者から見やすいように映像の投影位置が好適に調節されることで、その調節結果を利用して被検者の瞳の位置を推定することができる。そして、推定された瞳の位置に合わせて、カメラ３０を動かして撮像範囲を移動したり、撮像画像の一部領域を切り抜いたりして、検査対象範囲を絞り込むことができる。このようにすることで、被検者を撮像するカメラの撮像範囲を縮減したり、被検者の画像を画像処理する負担を軽減できる。
　（第２実施形態）
　[車載表示システムの構成の説明]
　図４（ａ）と図４（ｂ）に例示されるとおり、第２実施形態の車載表示システムは、視線映像演算装置１０と、視線映像演算装置１０に接続されるヘッドアップディスプレイ装置（ＨＵＤ）２０及びカメラ３１等を備える。第２実施形態では、被検者である運転者Ｄを撮像するカメラ３１が、ヘッドアップディスプレイ２０の構成である表示部２２と一体に取付けられている点で、上述の第１実施形態と相違する。なお、図４（ａ）と図４（ｂ）において、第１実施形態と共通する構成には同じ符号を付け、ここでは重複する説明を省略する。
　カメラ３１は、ヘッドアップディスプレイ２０の表示部２２により出力された映像がスクリーンＳに投影される経路を介して、被検者である運転者Ｄの瞳付近の画像を撮像するように取付けられている。これにより、表示部２２から投影された映像は、車両のスクリーンＳで反射して運転者Ｄに視認される一方、運転者Ｄの瞳付近の像がスクリーンＳで反射してカメラ３１によって撮像されるようになっている。
　また、カメラ３１は、位置調節部２４によって表示部２２の映像の投影方向が調節されるときに可動する部位に取付けられるものとする。これにより、表示部２２の映像の投影位置とカメラ３１の撮像範囲の位置とが、位置調節部２４によって一緒に移動するようになっている。つまり、表示部２２から投影される映像が運転者Ｄから見て適切な位置に表示されるように映像の投影位置が調節されたときに、運転者Ｄの瞳がカメラ３１の撮像範囲に入る方向にカメラ３１が向けられる。
　カメラ３１を表示部２２に配置した構造の複数の具体例について、図５（ａ），図５（ｂ），図５（ｃ）に基づいて説明する。なお、表示部２２には、光の透過率を変化させて画像パターンを形成する液晶パネル２６（例えば、ＴＦＴ－ＬＣＤ）と、液晶パネル２６の背面側から光を照射して画像パターンを映像として表示するための光源であるバックライト２８とが備えられているものとする。
　図５（ａ）の事例では、カメラ３１が、液晶パネル２６の表示面側に配置されている。この場合、カメラ３１の撮像範囲の中心方向と、液晶パネル２６及びバックライト２８による映像の投影方向とが平行になっている。ただし、カメラ３１は、液晶パネル２６による表示を妨げないように、液晶パネル２６の縁端部分に配置される。
　図５（ｂ）の事例では、カメラ３１が、液晶パネル２６の背面側に配置されている。この場合、カメラ３１の撮像範囲の中心方向と、液晶パネル２６及びバックライト２８による映像の投影方向とが平行になっている。また、液晶パネル２６の背面側にカメラ３１が配置されることで、液晶パネル２６の表示が妨げられないため、液晶パネル２６の中央に合わせてカメラ３１を配置できる。カメラ３１は、液晶パネル２６が稼働して光を透過する状態のときに、液晶パネル２６を透過して被検者を撮像できるようになっている。
　図５（ｃ）の事例では、液晶パネル２６及びバックライト２８により映像が投影される経路上に、ハーフミラー２９が配置されている。カメラ３１は、映像の投影方向から到来する光がハーフミラー２９によって反射される位置に配置されている。この場合、液晶パネル２６及びバックライト２８において表示された映像は、ハーフミラー２９を透過してスクリーンＳに投影される。一方、被検者の像は、スクリーンＳにおいて反射されて表示部２２に入射し、更にハーフミラー２９において反射されて、カメラ３１に撮像される。
　[視線検知処理（第２実施形態）の説明]
　視線検知部１２が実行する視線検知処理（第２実施形態）の手順について、図６のフローチャートを参照しながら説明する。
　Ｓ２００では、ヘッドアップディスプレイ２０の位置調節部２４によって表示部２２の映像の投影位置が調節される。このとき、表示部２２による映像の投影位置が調節されると共に、カメラ３１の撮像範囲の位置も一緒に調節される。そして、Ｓ２０２では、視線検知部１２は、撮像範囲が調節された状態のカメラ３１によって撮像された被検者の画像に基づいて、被検者の視線方向を算出する。ここでは、被検者の画像を所定のアルゴリズムを用いて画像処理することにより、この画像に写る瞳の状態を解析して視線方向を算出する。
　本実施形態において、カメラ３１が撮像部に相当し、表示部２２が映像生成部に相当し、位置調節部２４が調節部に相当し、視線検知部１２によりＳ２０２で行われる処理が算出部に相当する。
　[効果]
　第２実施形態の車載表示システムによれば、次の効果を奏する。
　ヘッドアップディスプレイ２０において、被検者から見やすいように映像の投影位置が好適に調節されることで、それと連動して表示部２２と一体に配置されたカメラ３１の撮像範囲の位置が、被検者の瞳の位置に的確に合わせられる。そして、撮像範囲の位置が被検者の瞳の位置に合った状態で取得された画像に基づいて、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、被検者の撮像に用いるカメラの撮像範囲を縮減したり、被検者の画像を画像処理する負担を軽減できる。
　本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数の部（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１００と表現される。さらに、各部は、複数のサブ部に分割されることができる、一方、複数の部が合わさって一つの部にすることも可能である。さらに、このように構成される各部は、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。
　また、上記の複数の部の各々あるいは組合わさったものは、(i)　ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアの部のみならず、(ii)　ハードウエア（例えば、集積回路、配線論理回路）の部として、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアの部は、マイクロコンピュータの内部に構成されることもできる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

Claims (7)

  1. 　被検者の前方に配置されたスクリーン（Ｓ）に映像を投影し、前記映像を前記被検者に対して表示するヘッドアップディスプレイ装置（２０）と通信可能に接続された視線方向検知装置であって、
    　前記被検者を前方から撮像した被検者画像を取得する撮像部（３０）と、
    　前記ヘッドアップディスプレイ装置に備えられた、映像の投影位置を前記被検者に合わせて調節する調節部（２４）について、投影位置の調節結果を表す調節位置情報を取得する取得部（１２，Ｓ１０２）と、
    　前記取得部により取得された調節位置情報に基づいて、前記被検者の瞳の位置を推定する推定部（１２，Ｓ１０４）と、
    　前記推定部により推定された瞳の位置を基準に、前記撮像部により撮像される被検者画像の検査対象範囲を設定する設定部（１２）と、
    　前記設定部により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、前記被検者の視線方向を算出する算出部（１２，Ｓ１０８）と、
    　を備える視線方向検知装置。
  2. 　前記撮像部の向きを動かして撮像範囲の位置を変える駆動部（３２）をさらに備え、
    　前記設定部は（Ｓ１０６）、前記検査対象範囲として、前記推定部により推定された瞳の位置が前記撮像部の撮像範囲に入るように、前記駆動部を用いて撮像範囲の位置を調節し、
    　前記算出部は、前記設定部により前記撮像部の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する請求項１に記載の視線方向検知装置。
  3. 　前記設定部は（Ｓ１０７）、前記検査対象範囲として、被検者画像の中から前記推定部により推定された瞳の位置に対応する一部領域の画像を切り出し、
    　前記算出部は、前記設定部により切り出された画像に写る瞳の状態に基づいて、視線方向を算出する請求項１に記載の視線方向検知装置。
  4. 　被検者の前方に配置されたスクリーン（Ｓ）に映像を投影し、前記映像を前記被検者に対して表示するヘッドアップディスプレイ装置（２０）と通信可能に接続された視線方向検知装置であって、
    　前記被検者を前方から撮像した被検者画像を取得する撮像部（３１）であって、前記ヘッドアップディスプレイ装置に備えられた映像生成部（２２）と一体に取付けられ、前記映像生成部により生成された映像が前記スクリーンに投影される経路を介して、前記被検者を撮像する位置に配置され、かつ、前記映像生成部を動かして映像の投影位置を前記被検者に合わせて調節する調節部（２４）によって、前記映像生成部と共に動かされることで撮像範囲の位置が変更される撮像部と、
    　前記調節部によって映像の投影位置が調節されたことに伴い、前記撮像部の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する算出部（１２，Ｓ２０２）と、
    　を備える視線方向検知装置。
  5. 　前記撮像部は、前記映像生成部において画像パターンが形成される画像形成部（２６）における表示面側に配置されている請求項４に記載の視線方向検知装置。
  6. 　前記撮像部は、前記映像生成部において画像パターンが形成される画像形成部（２６）における表示面の反対側に配置されている請求項４に記載の視線方向検知装置。
  7. 　前記撮像部は、前記映像生成部から前記スクリーンに映像が投影される経路に介在するハーフミラー（２９）によって反射される被検者の像を撮像する位置に取付けられている請求項４に記載の視線方向検知装置。
PCT/JP2014/005488 2013-11-13 2014-10-30 視線方向検知装置 WO2015072100A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/035,251 US10146058B2 (en) 2013-11-13 2014-10-30 Visual line direction sensing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013235104A JP6176070B2 (ja) 2013-11-13 2013-11-13 視線方向検知装置
JP2013-235104 2013-11-13

Publications (1)

Publication Number Publication Date
WO2015072100A1 true WO2015072100A1 (ja) 2015-05-21

Family

ID=53057053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005488 WO2015072100A1 (ja) 2013-11-13 2014-10-30 視線方向検知装置

Country Status (3)

Country Link
US (1) US10146058B2 (ja)
JP (1) JP6176070B2 (ja)
WO (1) WO2015072100A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839742A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于视线追踪的增强现实装置
WO2022024814A1 (ja) * 2020-07-28 2022-02-03 京セラ株式会社 カメラシステムおよび運転支援システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199731A1 (ja) * 2015-06-10 2016-12-15 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及びプログラム
BR112021016773A2 (pt) * 2019-03-14 2021-11-16 Nec Corp Dispositivo de processamento de informações, sistema de processamento de informações, método de proces-samento de informações e meio de armazenamento
CN109889807A (zh) * 2019-03-14 2019-06-14 百度在线网络技术（北京）有限公司 车载投射调节方法、装置、设备和存储介质
JP7337023B2 (ja) * 2020-04-30 2023-09-01 京セラ株式会社 画像表示システム
JP7461215B2 (ja) * 2020-05-20 2024-04-03 京セラ株式会社 画像表示モジュール

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS646131U (ja) * 1987-06-29 1989-01-13
JP2005323905A (ja) * 2004-05-17 2005-11-24 Nippon Hoso Kyokai <Nhk> 眼球運動測定装置、及び眼球運動測定プログラム
JP2007253821A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 乗員撮像装置
JP2009276849A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp 運転者撮像装置および運転者撮像方法
JP2012056359A (ja) * 2010-09-06 2012-03-22 Denso Corp 車載機器制御装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06194564A (ja) 1992-12-25 1994-07-15 Canon Inc 視線制御機器
JP2000089905A (ja) 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2005075081A (ja) 2003-08-29 2005-03-24 Denso Corp 車両の表示方法及び表示装置
JP2008155720A (ja) 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2009163084A (ja) * 2008-01-09 2009-07-23 Toshiba Corp 表示装置及び移動体
JP2010125910A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp ヘッドアップディスプレイ装置
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS646131U (ja) * 1987-06-29 1989-01-13
JP2005323905A (ja) * 2004-05-17 2005-11-24 Nippon Hoso Kyokai <Nhk> 眼球運動測定装置、及び眼球運動測定プログラム
JP2007253821A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 乗員撮像装置
JP2009276849A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp 運転者撮像装置および運転者撮像方法
JP2012056359A (ja) * 2010-09-06 2012-03-22 Denso Corp 車載機器制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839742A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于视线追踪的增强现实装置
WO2022024814A1 (ja) * 2020-07-28 2022-02-03 京セラ株式会社 カメラシステムおよび運転支援システム
JP7498053B2 (ja) 2020-07-28 2024-06-11 京セラ株式会社 カメラシステムおよび運転支援システム

Also Published As

Publication number Publication date
US10146058B2 (en) 2018-12-04
JP2015095161A (ja) 2015-05-18
US20160291330A1 (en) 2016-10-06
JP6176070B2 (ja) 2017-08-09

Similar Documents

Publication Publication Date Title
WO2015072100A1 (ja) 視線方向検知装置
JP6214752B2 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
CN111169382B (zh) 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
JP5874920B2 (ja) 車両周囲確認用モニター装置
CN105189178B (zh) 视线输入装置
EP2441635A1 (en) Vehicle User Interface System
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
US20100238280A1 (en) Apparatus for manipulating vehicular devices
JP3785669B2 (ja) 視線方向計測装置
JP6865006B2 (ja) 車両用表示装置
JP2014010418A (ja) 立体表示装置及び立体表示方法
JP2007259931A (ja) 視線検出装置
CN110824709B (zh) 平视显示器
WO2014049787A1 (ja) 表示装置、表示方法、プログラム及び記録媒体
US11130404B2 (en) Head-up display apparatus
JP2017196911A (ja) 画像表示装置
JP2008141574A (ja) 車両用視覚補助装置
JP2008037118A (ja) 車両用表示装置
CN108422932A (zh) 驾驶辅助系统、方法和车辆
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP2017171146A (ja) ヘッドアップディスプレイ装置
JP5136948B2 (ja) 車両用操作装置
KR101825450B1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2013111280A1 (ja) 表示装置及び表示方法
JP2013033344A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14862164

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15035251

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14862164

Country of ref document: EP

Kind code of ref document: A1