WO2015064080A1 - 視線方向検出装置および視線方向検出方法 - Google Patents

視線方向検出装置および視線方向検出方法 Download PDF

Info

Publication number
WO2015064080A1
WO2015064080A1 PCT/JP2014/005435 JP2014005435W WO2015064080A1 WO 2015064080 A1 WO2015064080 A1 WO 2015064080A1 JP 2014005435 W JP2014005435 W JP 2014005435W WO 2015064080 A1 WO2015064080 A1 WO 2015064080A1
Authority
WO
WIPO (PCT)
Prior art keywords
gaze
distribution
line
unit
sight
Prior art date
Application number
PCT/JP2014/005435
Other languages
English (en)
French (fr)
Inventor
武田　英俊
木村　雅之
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015544796A priority Critical patent/JP6364627B2/ja
Publication of WO2015064080A1 publication Critical patent/WO2015064080A1/ja
Priority to US14/886,188 priority patent/US9619722B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present technology relates to a gaze direction detection device and a gaze direction detection method for detecting a gaze direction of a driver in a driving support device that assists a driving operation of a driver who drives the vehicle.
  • the corneal reflection method is known as a technique for detecting the gaze direction without contact.
  • the corneal reflection method measures the positional relationship between a reflected image (Purkinje image) formed by irradiating the cornea with near-infrared light such as an LED from an eye image taken with a camera, and the pupil. Detect gaze direction.
  • a correction coefficient called calibration called calibration is obtained before measurement, and errors caused by individual differences are reduced.
  • Patent Document 1 discloses a technique for providing an updating unit that updates parameters in a storage unit based on line-of-sight information during operation of the device, and updating parameters used for calculating line-of-sight information during operation of the device. .
  • the gaze direction detection device includes a detection unit that detects the driver's gaze, and a determination unit that outputs the second gaze information that the driver is gazing from the first gaze information detected by the detection unit. And a generation unit that creates a gaze distribution from the second gaze information output by the determination unit. Further, a correction unit that corrects the first line-of-sight information detected by the detection unit is provided. The correction unit calculates a correction parameter from a preset reference distribution and the line-of-sight distribution created by the generation unit, and corrects the first line-of-sight information detected by the detection unit with the correction parameter.
  • FIG. 1 is a block diagram illustrating a configuration example of a gaze direction detection device according to an embodiment of the present technology.
  • FIG. 2 is an explanatory diagram illustrating an installation example of the imaging unit in the gaze direction detection device according to the embodiment of the present technology.
  • FIG. 3 is an explanatory diagram illustrating a configuration example of the imaging unit in the gaze direction detection device according to the embodiment of the present technology.
  • FIG. 4 is an explanatory diagram for explaining an example of a method of detecting the line-of-sight position in the line-of-sight direction detection device according to the embodiment of the present technology.
  • FIG. 5 is an explanatory diagram illustrating an example of a visual line distribution detected in the visual line direction detection device according to the embodiment of the present technology.
  • FIG. 1 is a block diagram illustrating a configuration example of a gaze direction detection device according to an embodiment of the present technology.
  • FIG. 2 is an explanatory diagram illustrating an installation example of the imaging unit in the gaze direction detection device according to the embodiment of the present
  • FIG. 6 is an explanatory diagram illustrating an example of a visual line distribution detected in the visual line direction detection device according to the embodiment of the present technology.
  • FIG. 7 is an explanatory diagram illustrating an example of a reference distribution in the gaze direction detection device according to the embodiment of the present technology.
  • FIG. 8 is an explanatory diagram illustrating an example of the center point of the gaze distribution in the gaze direction detection device according to the embodiment of the present technology.
  • FIG. 9 is an explanatory diagram illustrating a state in which the line-of-sight distribution and the reference distribution are overlapped in the line-of-sight direction detection device according to the embodiment of the present technology.
  • FIG. 10 is an explanatory diagram for explaining the operation of the correction unit in the gaze direction detection device according to the embodiment of the present technology.
  • FIG. 11 is an explanatory diagram illustrating an example in which a region at the time of detection is divided in the gaze direction detection device according to the embodiment of the present technology.
  • a gaze direction detection device according to an embodiment of the present technology will be described with reference to the drawings as appropriate, taking as an example a case where the device is used in a driving support device that supports a driving operation of a driver.
  • FIG. 1 is a block diagram illustrating a configuration example of a gaze direction detection device according to an embodiment of the present technology.
  • FIG. 2 is an explanatory diagram illustrating an installation example of the imaging unit in the gaze direction detection device according to the embodiment of the present technology.
  • FIG. 3 is an explanatory diagram illustrating a configuration example of the imaging unit illustrated in FIG. 2.
  • the gaze direction detection device 100 includes an imaging unit 110, a detection unit 120, a determination unit 130, a generation unit 140, a calculation unit 150, a correction unit 160, and a memory 170.
  • the imaging unit 110 is installed on the upper part of the steering column 200 of the vehicle and images the face of the driver.
  • the imaging unit 110 is an infrared camera having an angle of view A, for example, and captures the driver's face by receiving reflected light reflected by the irradiated near-infrared light.
  • the imaging unit 110 outputs an image signal based on the captured image to the detection unit 120 as a detection signal.
  • the imaging unit 110 may be installed anywhere as long as the driver's face can be photographed from a direction as close to the front as possible, such as in a dashboard or a meter.
  • the imaging unit 110 includes a near-infrared light source 320 such as an LED used as illumination between two cameras 310 arranged at a predetermined distance, for example, 3 cm apart. It is a stereo camera equipped. For example, the imaging unit 110 captures 30 images per second and outputs an image signal to the detection unit 120. Note that the configuration of the imaging unit 110 is not limited to the configuration of FIG. 3, and a light source 320 using LEDs may be installed outside each camera 310.
  • the detection unit 120 detects line-of-sight information (first line-of-sight information) such as a line-of-sight direction (angle) and a viewpoint position using the detection signal output from the imaging unit 110.
  • the line-of-sight information is output to the determination unit 130 and the correction unit 160.
  • the detection unit 120 detects the line-of-sight direction using, for example, a corneal reflection method. Further, the detection unit 120 obtains the viewpoint three-dimensional position by obtaining the viewpoint parallax from the two images captured by the imaging unit 110 that is a stereo camera.
  • the driver continues in the same direction from the first line-of-sight information output from the detection unit 120 in a predetermined period such as a predetermined number of frames or a period of 0.3 seconds. Determine whether you are facing (looking at).
  • the determination unit 130 selects only the second line-of-sight information determined to be watched by the driver from the first line-of-sight information output from the detection unit 120 and outputs the selected information to the generation unit 140. In other words, the determination unit 130 performs an operation that does not output line-of-sight information that seems to be moving.
  • the output second line-of-sight information may be all line-of-sight information for a predetermined period, or at least one line-of-sight information for a predetermined period may be selected and output.
  • the generation unit 140 accumulates the second line-of-sight information output from the determination unit 130 in the memory 170 over a predetermined period, and generates a line-of-sight distribution obtained from the second line-of-sight information.
  • the predetermined period may be, for example, 5 minutes, but is not limited thereto, and is sufficient for generating a gaze distribution such as a period until a predetermined number of gaze information is accumulated, for example, 3000 seconds. Any period in which a large number of line-of-sight information can be accumulated may be used.
  • FIG. 4 is an explanatory diagram for explaining an example of a method for detecting a line-of-sight position, and is a diagram for explaining an accumulation operation of the generation unit 140.
  • a virtual plane Q is provided at a position about 3 m ahead of the seat.
  • the gazing point P on the virtual plane Q is obtained and stored in the memory 170.
  • the gazing point P is a point that intersects with the virtual plane Q when a straight line is drawn from the viewpoint position R in the line-of-sight direction.
  • the generation unit 140 generates a line-of-sight distribution from a plurality of gazing points stored in the memory 170 and outputs the line-of-sight distribution to the calculation unit 150.
  • the generation unit 140 may store the line-of-sight distribution in the memory 170 without outputting the line-of-sight distribution to the calculation unit 150, and output information indicating the storage area of the line-of-sight distribution on the memory 170 to the calculation unit 150.
  • FIG. 5 is an explanatory diagram illustrating an example of a visual line distribution detected in the visual line direction detection device according to the embodiment of the present technology.
  • one gazing point P is displayed on the virtual plane Q as one circle.
  • the line-of-sight distribution may be considered at a position on the virtual plane Q, or may be considered as a plane inclined by, for example, 1 ° in the horizontal direction and the vertical direction from the position on the virtual plane Q.
  • the calculation unit 150 calculates a correction parameter from the line-of-sight distribution generated by the generation unit 140 and the reference distribution data set in advance in the specified direction recorded in the memory 170, and outputs the correction parameter to the correction unit 160.
  • the operation of the calculation unit 150 will be described later.
  • the correction unit 160 corrects the first line-of-sight information output from the detection unit 120 using the correction parameter output from the calculation unit 150, and outputs it as the driver's line-of-sight direction.
  • the correction unit 160 calculates a correction parameter from the preset reference distribution and the line-of-sight distribution created by the generation unit 140, and corrects the first line-of-sight information with the correction parameter. The operation of the correction unit 160 will be described later.
  • the prescribed direction data is represented by a value indicating the direction that the driver may often see in addition to the front and the size of the area for each mounted vehicle.
  • FIG. 6 is an explanatory diagram illustrating an example of a gaze distribution detected in the gaze direction detection device.
  • FIG. 6 shows an outline of the inside of the vehicle in front as viewed from the driver.
  • the directions that the driver may see often include a left door mirror 610, a right door mirror 660, a room mirror 620, various meters 650, a car navigation 640, and an audio screen (not shown). )).
  • the calculation unit 150 generates a reference distribution in which an area where the line of sight is likely to concentrate is set on a virtual plane or a virtual spherical surface 3 m away from the seat based on the prescribed direction data.
  • FIG. 7 is an explanatory diagram showing an example of a reference distribution in the gaze direction detection device.
  • the reference distribution includes an area 710 surrounding the left door mirror 610, an area 760 surrounding the right door mirror 660, an area 720 surrounding the room mirror 620, an area 730 on the front 630, an area 740 surrounding the car navigation 640, and a meter.
  • the region 750 is surrounded by the region 750.
  • the point A indicates the center of the front area 740.
  • the reference distribution may be generated in advance and stored in the memory 170.
  • the calculation unit 150 obtains the center of the distribution of the portion considered to be the front in the line-of-sight distribution generated by the generation unit 140.
  • FIG. 8 is an explanatory diagram illustrating an example of the center point of the gaze distribution in the gaze direction detection device.
  • the point B can be obtained by, for example, a method of calculating an average of items of visual line information output from the determination unit that are included in a range of 20 degrees vertically and horizontally.
  • the calculation unit 150 performs at least one conversion among parallel movement, enlargement / reduction, and rotation of the line-of-sight distribution so that the line-of-sight distribution overlaps the reference distribution.
  • FIG. 9 is an explanatory diagram showing a state in which the line-of-sight distribution shown in FIG. 5 and the reference distribution shown in FIG.
  • the calculation unit 150 calculates, as correction parameters, the parallel movement amount (horizontal and vertical), the enlargement / reduction ratio, the rotation angle, and the like of the line-of-sight distribution when the line-of-sight distribution and the reference distribution can be substantially matched. To do.
  • the line-of-sight distribution and the reference distribution can be substantially overlapped by moving the line-of-sight distribution downward and to the right.
  • the correction parameter is obtained by calculating a difference between the line-of-sight distribution and the reference distribution.
  • the correction parameter can be selected from the horizontal translation amount, the vertical translation amount, the enlargement ratio, the reduction ratio, and the rotation angle of the gaze distribution with respect to the reference distribution when the gaze distribution is compared with the reference distribution. Calculated from at least one selected parameter.
  • the value of one gazing point is set to 1, 1 when the gazing point falls within (overlaps) the reference distribution area, 0 when the gazing point does not overlap, the total number is measured, and the sum is the largest
  • the conversion method at this time is set as a correction parameter.
  • the center of the distribution of the part that is preliminarily determined to be the front is used as the center of enlarging / reducing or the center of rotation.
  • the center point B of the front area in the line-of-sight distribution generated by the generation unit 140 corresponds to the center. Since the center point B is overlapped with the center point A of the front area 730 of the reference distribution shown in FIG. 7, the line-of-sight distribution substantially overlaps the reference distribution by performing conversion processing such as enlargement / reduction and rotation on the line-of-sight distribution. Identify the conversion process.
  • the enlargement / reduction may be performed at different ratios in the four directions of up / down / left / right and the two directions of horizontal / vertical. A plurality of enlargement / reduction ratios and rotation angles may be set for each direction.
  • FIG. 10 is an explanatory diagram for explaining the operation of the correction unit.
  • the enlargement / reduction ratio is obtained by dividing the top / bottom / left / right with the front as the center.
  • the present invention is not limited to this.
  • each area may be divided in the direction from the center, and the enlargement / reduction ratio and rotation angle may be obtained.
  • FIG. 11 is an explanatory diagram illustrating an example in which a region at the time of detection is divided in the gaze direction detection device according to the present technology, and is a diagram illustrating the operation of the correction unit 160.
  • the correction unit 160 obtains the gazing point C as an intersection with the virtual plane Q based on the line-of-sight direction and the viewpoint position input from the detection unit 120.
  • the correction unit 160 performs correction by moving the gazing point C to the gazing point D based on the movement amount, the enlargement / reduction ratio, the rotation angle, and the like input from the calculation unit 150 as correction parameters. . Further, a straight line passing through the gazing point D is determined from a predetermined reference viewpoint position E, and the direction (angle) of the straight line from the reference viewpoint position is output as a corrected line-of-sight direction. At this time, the direction of the center of the distribution near the front described above is used as a reference, and the correction parameter can be used properly in either the up, down, left, or right direction from the reference direction. The direction in which the driver is actually looking can be obtained by the line-of-sight direction in which such correction is performed.
  • the detection unit 120 detects the driver's line-of-sight information
  • the determination unit 130 determines whether the line-of-sight information the driver is gazing at
  • the generation unit 140 A line-of-sight distribution is generated from the line-of-sight information output by the determination unit
  • the calculation unit 150 calculates a correction parameter from the difference between the line-of-sight distribution generated by the generation unit and the reference distribution
  • the correction unit 160 detects the line of sight detected by the detection unit. The information is corrected with correction parameters.
  • the first embodiment has been described as an example of implementation in the present technology.
  • the present technology is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like are made as appropriate.
  • the correction parameter immediately before the stop may be recorded in a non-volatile memory, and then used when the driver performs driving.
  • whether or not the driver is the same driver as that immediately before the stop may be determined based on whether the seat, the handle, the mirror, or the like has been adjusted.
  • the determination may be made by using an image captured by the image capturing unit 110 and performing authentication using an iris or a face image. By doing in this way, when the driver does not change, it is possible to detect the line-of-sight direction with high accuracy immediately after starting.
  • driver's determination can be made by, for example, using the image captured by the imaging unit 110 described above and authentication using an iris or a face image.
  • This technology is applicable to a driver's gaze direction detection device. Also, driving that estimates the driver's driving state (whether or not it is indiscriminate), detects that the safety check is insufficient, and warns of dangerous goods that are expected to be unnoticeable from the viewpoint of the line of sight
  • the present invention is applicable to detection of the line-of-sight direction in the state monitoring device and the driving support device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　本技術にかかる視線方向検出装置は、運転者の視線を検出する検出部と、検出部が検出した第１の視線情報から、運転者が注視している第２の視線情報を出力する判定部と、判定部が出力する第２の視線情報から視線分布を作成する生成部とを有する。さらに、検出部が検出した第１の視線情報を補正する補正部を備える。補正部は、あらかじめ設定される基準分布と生成部が作成した視線分布とから補正パラメータを算出し、検出部で検出された第１の視線情報を補正パラメータで補正する。

Description

視線方向検出装置および視線方向検出方法
　本技術は、車両を運転する運転者の運転操作を支援する運転支援装置において、運転者の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
　非接触で視線方向を検出する技術として、角膜反射法が知られている。角膜反射法は、カメラで撮影した目の画像から、ＬＥＤなどの近赤外の光を角膜に照射することにより形成される反射像（プルキニエ像）と、瞳孔との位置関係を測定することにより視線方向を検出する。角膜反射法では、測定を行う前に、キャリブレーションと呼ばれる、被測定者個人に合わせた補正係数を求め、個人差に起因する誤差を小さくすることが行われる。
　特許文献１は、機器の動作中の視線情報に基づいて、記憶手段内のパラメータを更新する更新手段を設け、視線情報の算出に用いるパラメータを機器の動作中に更新する技術が開示されている。
特開平７－１５１９５８号公報
　本技術にかかる視線方向検出装置は、運転者の視線を検出する検出部と、検出部が検出した第１の視線情報から、運転者が注視している第２の視線情報を出力する判定部と、判定部が出力する第２の視線情報から視線分布を作成する生成部とを有する。さらに、検出部が検出した第１の視線情報を補正する補正部を備える。補正部は、あらかじめ設定される基準分布と生成部が作成した視線分布とから補正パラメータを算出し、検出部で検出された第１の視線情報を補正パラメータで補正する。
図１は、本技術の一実施の形態による視線方向検出装置の構成例を示すブロック図である。 図２は、本技術の一実施の形態による視線方向検出装置において、撮像部の設置例を示す説明図である。 図３は、本技術の一実施の形態による視線方向検出装置において、撮像部の構成例を示す説明図である。 図４は、本技術の一実施の形態による視線方向検出装置において、視線位置の検出方法の一例を説明する説明図である。 図５は、本技術の一実施の形態による視線方向検出装置において、検出される視線分布の一例を示す説明図である。 図６は、本技術の一実施の形態による視線方向検出装置において、検出される視線分布の一例を示す説明図である。 図７は、本技術の一実施の形態による視線方向検出装置において、基準分布の一例を示す説明図である。 図８は、本技術の一実施の形態による視線方向検出装置において、視線分布の中心点の一例を示す説明図である。 図９は、本技術の一実施の形態による視線方向検出装置において、視線分布と基準分布を重ねた状態を示す説明図である。 図１０は、本技術の一実施の形態による視線方向検出装置において、補正部の動作を説明するための説明図である。 図１１は、本技術の一実施の形態による視線方向検出装置において、検出時の領域を分割した一例を示す説明図である。
　以下、本技術の一実施の形態による視線方向検出装置について、運転者の運転操作を支援する運転支援装置に活用した場合を例にとって、適宜図面を参照しながら説明する。
　ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、出願人は、当業者が本技術を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　図１は、本技術の一実施の形態による視線方向検出装置の構成例を示すブロック図である。図２は、本技術の一実施の形態による視線方向検出装置において、撮像部の設置例を示す説明図である。図３は、図２に示す撮像部の構成例を示す説明図である。
　図１に示すように、視線方向検出装置１００は、撮像部１１０、検出部１２０、判定部１３０、生成部１４０、算出部１５０、補正部１６０、メモリ１７０を備える。
　撮像部１１０は、図２に示すように、車両のステアリングコラム２００の上部に設置され、運転者の顔を撮像する。撮像部１１０は、例えば画角Ａの赤外線カメラであり、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１１０は、撮像した画像による画像信号を検出信号として検出部１２０に出力する。なお、撮像部１１０は、ダッシュボードやメーター内部などのように、運転者の顔ができるだけ正面に近い方向から撮影できる場所であれば、どこに設置してもよい。
　また、撮像部１１０は、図３に示すように、所定の距離、例えば３ｃｍの間隔をあけて配置した２台のカメラ３１０の間に、照明として使用するＬＥＤなどの近赤外の光源３２０を備えたステレオカメラである。撮像部１１０は、例えば、毎秒３０枚撮影して検出部１２０に画像信号を出力する。なお、撮像部１１０の構成としては、図３の構成に限定するものではなく、ＬＥＤによる光源３２０を各カメラ３１０の外側に設置してもよい。
　次に、検出部１２０は、撮像部１１０より出力される検出信号を用いて、視線方向（角度）や視点位置などの視線情報（第１の視線情報）を検出する。視線情報は、判定部１３０と補正部１６０に出力される。検出部１２０は、例えば、角膜反射法を用いて、視線方向を検出する。また、検出部１２０は、ステレオカメラである撮像部１１０が撮像した２枚の画像から、視点の視差を求めることで、視点の３次元位置を求める。
　判定部１３０は、所定のフレーム数の期間、または０．３秒の期間などの所定の期間において、検出部１２０から出力される第１の視線情報より、運転者が概ね同じ方向を継続して向いている（注視している）かどうかを判定する。判定部１３０は、検出部１２０から出力される第１の視線情報のうち、運転者が注視していると判定された第２の視線情報のみが選択されて生成部１４０に出力される。言い換えると、判定部１３０は、移動中と思われる視線情報は出力しない動作を行う。なお、出力される第２の視線情報は、所定の期間分の全ての視線情報でもよいし、所定の期間分のうちの少なくとも１つの視線情報を選択して出力してもよい。
　生成部１４０は、判定部１３０より出力された第２の視線情報をメモリ１７０に所定の期間に渡って蓄積し、第２の視線情報から得られた視線分布を生成する。所定の期間は、例えば、５分間とすればよいが、これに限定するものではなく、所定数の視線情報が蓄積されるまでの期間、例えば、３０００秒など、視線分布を生成するために十分な数の視線情報が蓄積できる期間であればよい。
　図４は、視線位置の検出方法の一例を説明する説明図で、生成部１４０の蓄積動作を説明するための図である。
　図４に示すように、座席から３ｍ程度前方の位置に仮想平面Ｑを設ける。判定部１３０より出力された視線情報に含まれる視線方向（α度）と、視点位置Ｒとを用いて、仮想平面Ｑ上の注視点Ｐを求め、メモリ１７０に蓄積する。注視点Ｐは、視点位置Ｒから視線方向に直線を引いたときに仮想平面Ｑと交わる点である。このようにして注視点Ｐを求めることで、視点位置、または顔の位置が動いた場合でも同一の仮想平面Ｑ上の注視点Ｐとして蓄積することが可能となる。なお、図４においては、仮想平面Ｑを設けたが、仮想球面を設けても構わない。また、仮想平面Ｑは運転者より３ｍ程度前方に設けたが、これに限定するものではない。
　生成部１４０は、メモリ１７０に蓄積した複数の注視点より視線分布を生成し、算出部１５０に出力する。なお、生成部１４０は、視線分布を算出部１５０に出力せず、メモリ１７０に記憶させ、メモリ１７０上の視線分布の記憶領域を示す情報を算出部１５０に出力してもよい。
　図５は、本技術の一実施の形態による視線方向検出装置において、検出される視線分布の一例を示す説明図である。図５は、１つの注視点Ｐを１つの丸として、仮想平面Ｑ上に表示している。なお、視線分布は、仮想平面Ｑ上の位置で考えてもよいし、仮想平面Ｑ上の位置から水平方向、垂直方向それぞれの方向に、例えば１°傾いた平面で考えてもいい。
　算出部１５０は、生成部１４０が生成した視線分布と、メモリ１７０に記録されている規定方向のあらかじめ設定される基準分布のデータより、補正パラメータを算出し、補正部１６０に出力する。算出部１５０の動作については、後述する。
　補正部１６０は、検出部１２０より出力される第１の視線情報を、算出部１５０から出力される補正パラメータを用いて補正し、運転者の視線方向として出力する。補正部１６０は、あらかじめ設定される基準分布と生成部１４０が作成した視線分布とから補正パラメータを算出し、第１の視線情報を補正パラメータで補正するものである。補正部１６０の動作については、後述する。
　以下、算出部１５０の動作について、詳細に説明する。
　まず、規定方向データについて説明する。規定方向データは、搭載された車ごとに、正面以外に運転者がよく見る可能性がある方向とその領域の大きさを示す値で表される。
　図６は、視線方向検出装置において、検出される視線分布の一例を示す説明図である。図６は、運転者から見た前方の車内の概略を示している。図６に示すように、正面６３０以外に運転者がよく見る可能性がある方向としては、左ドアミラー６１０、右ドアミラー６６０、ルームミラー６２０、各種メーター６５０、カーナビゲーション６４０、オーディオの画面（図示せず）などが考えられる。算出部１５０は、規定方向データをもとに、座席から３ｍ先の仮想平面もしくは仮想球面上に、視線が集中する可能性の高い領域を設定した基準分布を生成する。
　図７は、視線方向検出装置において、基準分布の一例を示す説明図である。図７に示すように、基準分布は、左ドアミラー６１０を囲む領域７１０、右ドアミラー６６０を囲む領域７６０、ルームミラー６２０を囲む領域７２０、正面６３０の領域７３０、カーナビゲーション６４０を囲む領域７４０、メーター６５０を囲む領域７５０で構成されている。また、図７において、点Ａは正面領域７４０の中心を示す。なお、基準分布は予め生成して、メモリ１７０に記憶していてもよい。
　算出部１５０は、生成部１４０が生成した視線分布において、正面と思われる部分の分布の中心を求めておく。
　図５の視線分布の場合は、図８に示すように、中心は点Ｂとなる。図８は、視線方向検出装置において、視線分布の中心点の一例を示す説明図である。図８において、点Ｂは、例えば判定部から出力された視線情報のうち、上下左右に２０度の範囲に含まれるものの平均を計算するなどの方法によって求めることができる。
　算出部１５０は、視線分布が基準分布に重なるように、視線分布を並行移動、拡大・縮小、回転などのうち、少なくとも１つ以上の変換を行う。
　図９は、視線方向検出装置において、図５に示す視線分布と、図７に示す基準分布を重ねた状態を示す説明図である。算出部１５０は、図９に示すように、視線分布と基準分布が、概ね一致できた場合の視線分布の平行移動量（水平、垂直）、拡大・縮小率、回転角などを補正パラメータとして算出する。図９の場合は、視線分布を下方向と右方向に移動させることにより、視線分布と基準分布を概ね重ねることができる。補正パラメータは、視線分布の基準分布に対する差を算出することにより得られる。また、補正パラメータは、視線分布と基準分布とを比較した際に、基準分布に対する視線分布の水平方向の平行移動量、垂直方向の平行移動量、拡大率、縮小率、および回転角の中から選ばれる少なくとも１つのパラメータより算出される。
　次に、図５に示す視線分布と図７に示す基準分布とにおいて、重なりを判定する方法の一例として、相関値を用いた例を説明する。例えば、１つの注視点の値を１とし、注視点が基準分布の領域内に入る（重なる）場合には１、重ならない場合には０とし、全体の数を計測し、その合計が最も大きくなる時の変換方法を、補正パラメータとする。
　ここで、拡大・縮小や回転を行う場合には、予め求めている正面と思われる部分の分布の中心を、拡大・縮小の中心、または回転の中心として使用する。本実施の形態においては、生成部１４０が生成した視線分布にける正面領域の中心点Ｂが中心に相当する。中心点Ｂを、図７に示す基準分布の正面領域７３０の中心点Ａを重ね合わせた後、視線分布に拡大・縮小、回転などの変換処理を行って、視線分布が基準分布に概ね重なるための変換処理を特定する。なお、拡大・縮小は、上下左右の４方向や、水平・垂直の２方向で異なる比率で行っても良い。また、拡大・縮小率、回転角は、方向別に複数設定されても構わない。
　このように、分布全体を使用することによって、例えば、ナビゲーションを使用せずに運転しているなど、一部の注視点にあまり視線が向かない状態においても、規定方向に対する補正パラメータを求めることができる。
　図１０は、補正部の動作を説明するための説明図である。上記実施の形態では、正面を中心に上下左右の分割で拡大・縮小率を求めたが、これに限定するものではない。例えば、図１０に示すように、中心からの方向で各領域を分割し、拡大・縮小率、回転角を求めてもよい。
　以下、補正部１６０の動作について、図１１を用いて詳細に説明する。
　図１１は、本技術による視線方向検出装置において、検出時の領域を分割した一例を示す説明図で、補正部１６０の動作を説明する図である。
　まず、補正部１６０は、生成部１４０部と同様に、検出部１２０より入力される視線方向と視点位置をもとに仮想平面Ｑとの交点として注視点Ｃを求める。
　次に、補正部１６０は、算出部１５０より、補正パラメータとして入力される移動量、拡大・縮小率、回転角などをもとにこの注視点Ｃを注視点Ｄに移動することで補正を行う。さらに、予め定めてある基準視点位置Ｅから、この注視点Ｄを通る直線を求め、この直線の基準視点位置からの向き（角度）を補正後の視線方向として出力する。この時、前述の正面付近の分布の中心の方向を基準として使用し、この基準方向から上下左右のどちらの方向かで、補正パラメータを使い分けることもできる。このような補正を行った視線方向によって、運転者が実際に見ている方向を得ることができる。
　以上のように、本実施の形態において、検出部１２０が運転者の視線情報を検出し、判定部１３０は、運転者が注視している視線情報であるかを判定し、生成部１４０は、判定部が出力する視線情報から視線分布を作成し、算出部１５０は、生成部が作成した視線分布と基準分布との差より補正パラメータを算出し、補正部１６０は、検出部が検出した視線情報を補正パラメータで補正する。
　これにより、予めキャリブレーションを行わなくても、個人差の影響を受けにくい視線方向の検出が可能となる。また、オーディオやナビゲーション機器を操作しない場合でも、個人差の影響を受けにくい視線方向の検出が可能になる。
　（他の実施の形態）
　以上のように、本技術における実装の例示として、実施の形態１を説明した。しかしながら、本技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　なお、停止直前の補正パラメータを不揮発性のメモリに記録しておき、次に、運転者が運転を行う場合に、使用してもよい。この場合、例えば、座席やハンドル、ミラーなどの調整が行われたかどうかで、停止直前の運転者と同じ運転者であるかを判断してもよい。また、撮像部１１０が撮像した画像を使用し、虹彩や顔画像による認証を行うことで判断してもよい。このようにすることで、運転者が変わらなかった場合に、発進直後から精度の高い視線方向の検出が可能となる。
　また、運転者が複数いる場合は、運転者毎の補正パラメータをメモリに記録しておき、運転席に座った人に合わせた補正パラメータを選択、使用することも可能である。運転者の判断は、例えば、上述した、撮像部１１０が撮像した画像を使用し、虹彩や顔画像による認証によって行うことができる。
　以上のように、添付図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、特許請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、特許請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。
　本技術は、運転者の視線方向検出装置に適用可能である。また、運転者の運転状態（漫然状態であるか否か）を推定、安全確認が不十分なことの検出、視線の方向から考えて気付いていないと予想される危険物の警告などを行う運転状態監視装置、運転支援装置における視線方向の検出に適用可能である。
１００　視線方向検出装置
１１０　撮像部
１２０　検出部
１３０　判定部
１４０　生成部
１５０　算出部
１６０　補正部
１７０　メモリ
２００　ステアリングコラム
３１０　カメラ
３２０　光源
６１０　左ドアミラー
６２０　ルームミラー
６３０　正面
６４０　カーナビゲーション
６５０　メーター
６６０　右ドアミラー
７１０，７２０，７３０，７４０，７５０，７６０　領域

Claims (6)

  1. 　運転者の視線を検出する検出部と、前記検出部が検出した第１の視線情報から、運転者が注視している第２の視線情報を出力する判定部と、前記判定部が出力する第２の視線情報から視線分布を作成する生成部と、前記検出部が検出した第１の視線情報を補正する補正部とを備え、
    　前記補正部は、あらかじめ設定される基準分布と前記生成部が作成した視線分布とから補正パラメータを算出し、前記第１の視線情報を補正パラメータで補正するものである
    視線方向検出装置。
  2. 　前記補正パラメータは、視線分布の基準分布に対する差を算出することにより得られるものである請求項１記載の視線方向検出装置。
  3. 　前記補正パラメータは、視線分布と基準分布とを比較した際に、基準分布に対する視線分布の水平方向の平行移動量、垂直方向の平行移動量、拡大率、縮小率、および回転角の中から選ばれる少なくとも１つのパラメータより算出されるものである請求項１記載の視線方向検出装置。
  4. 　検出部で検出される運転者の第１の視線情報から、運転者が注視している第２の視線情報を出力し、前記第２の視線情報から視線分布を作成する生成部と、前記検出部で検出された第１の視線情報を補正する補正部とを備えた視線方向検出方法であって、
    　前記補正部が検出部で検出された第１の視線情報を補正するとき、あらかじめ設定される基準分布と生成部が作成した視線分布とから補正パラメータを算出し、その補正パラメータで第１の視線情報を補正する
    視線方向検出方法。
  5. 　前記補正パラメータは、視線分布の基準分布に対する差を算出することにより得られるものである請求項４記載の視線方向検出方法。
  6. 　前記補正パラメータは、視線分布と基準分布とを比較した際に、基準分布に対する視線分布の水平方向の平行移動量、垂直方向の平行移動量、拡大率、縮小率、および回転角の中から選ばれる少なくとも１つのパラメータより算出されるものである請求項４記載の視線方向検出方法。
PCT/JP2014/005435 2013-11-01 2014-10-28 視線方向検出装置および視線方向検出方法 WO2015064080A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015544796A JP6364627B2 (ja) 2013-11-01 2014-10-28 視線方向検出装置および視線方向検出方法
US14/886,188 US9619722B2 (en) 2013-11-01 2015-10-19 Gaze direction detection device, and gaze direction detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-227926 2013-11-01
JP2013227926 2013-11-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/886,188 Continuation US9619722B2 (en) 2013-11-01 2015-10-19 Gaze direction detection device, and gaze direction detection method

Publications (1)

Publication Number Publication Date
WO2015064080A1 true WO2015064080A1 (ja) 2015-05-07

Family

ID=53003709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005435 WO2015064080A1 (ja) 2013-11-01 2014-10-28 視線方向検出装置および視線方向検出方法

Country Status (3)

Country Link
US (1) US9619722B2 (ja)
JP (1) JP6364627B2 (ja)
WO (1) WO2015064080A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017045351A (ja) * 2015-08-28 2017-03-02 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法、およびプログラム
JP2018531706A (ja) * 2015-10-15 2018-11-01 エシロール アンテルナショナルＥｓｓｉｌｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ 人の視覚挙動パラメータを判断する方法及びこれに関連する検査機器
JP2019128848A (ja) * 2018-01-25 2019-08-01 日本電気株式会社 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム
JP2019159924A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 車載機、運転評価システム、情報処理方法、及びプログラム
US10642353B2 (en) 2017-07-19 2020-05-05 Fujitsu Limited Non-transitory computer-readable storage medium, information processing apparatus, and information processing method

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912847B1 (en) * 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
US20150161913A1 (en) * 2013-12-10 2015-06-11 At&T Mobility Ii Llc Method, computer-readable storage device and apparatus for providing a recommendation in a vehicle
US20150310758A1 (en) * 2014-04-26 2015-10-29 The Travelers Indemnity Company Systems, methods, and apparatus for generating customized virtual reality experiences
DE102014213422A1 (de) * 2014-07-10 2016-01-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vermeidung eines Tunnelblicks
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
EP3400706B1 (en) 2016-01-05 2022-04-13 RealD Spark, LLC Gaze correction of multi-view images
US11305766B2 (en) * 2016-09-26 2022-04-19 Iprd Group, Llc Combining driver alertness with advanced driver assistance systems (ADAS)
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
GB2557688B (en) * 2016-12-15 2021-03-24 Ford Global Tech Llc Navigation method and system
US20190034743A1 (en) * 2017-07-26 2019-01-31 Benoit CHAUVEAU Dashboard embedded driver monitoring system
WO2019032604A1 (en) 2017-08-08 2019-02-14 Reald Spark, Llc ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS
KR102450236B1 (ko) * 2017-09-06 2022-10-04 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102438191B1 (ko) * 2017-09-29 2022-08-31 주식회사 루멘스 차량용 졸음 방지 장치
JP6720951B2 (ja) * 2017-11-15 2020-07-08 オムロン株式会社 運転者状態判定装置とその方法およびプログラム
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US11433916B1 (en) * 2021-07-12 2022-09-06 Mirza Faizan System to generate an alert to wake a driver of a vehicle and a method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JP2005261728A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
JP2010029262A (ja) * 2008-07-25 2010-02-12 Toyota Central R&D Labs Inc 視線計測装置及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07151958A (ja) 1993-11-30 1995-06-16 Canon Inc 視線検出機能付光学機器
US5745174A (en) * 1995-04-07 1998-04-28 Canon Kabushiki Kaisha Viewpoint detection apparatus with selected correction coefficent generation
EP1553872B1 (en) 2002-10-15 2010-01-13 Volvo Technology Corporation Method for interpreting a subjects head and eye activity
JP4899340B2 (ja) * 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
US7783077B2 (en) * 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
JP2010030361A (ja) 2008-07-25 2010-02-12 Toyota Motor Corp 運転状態監視装置
JP5230748B2 (ja) * 2008-09-26 2013-07-10 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
JP5278461B2 (ja) 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
JP6007848B2 (ja) * 2013-03-28 2016-10-12 富士通株式会社 目視確認評価装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JP2005261728A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
JP2010029262A (ja) * 2008-07-25 2010-02-12 Toyota Central R&D Labs Inc 視線計測装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017045351A (ja) * 2015-08-28 2017-03-02 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法、およびプログラム
JP2018531706A (ja) * 2015-10-15 2018-11-01 エシロール アンテルナショナルＥｓｓｉｌｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ 人の視覚挙動パラメータを判断する方法及びこれに関連する検査機器
US10642353B2 (en) 2017-07-19 2020-05-05 Fujitsu Limited Non-transitory computer-readable storage medium, information processing apparatus, and information processing method
JP2019128848A (ja) * 2018-01-25 2019-08-01 日本電気株式会社 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム
WO2019146435A1 (ja) * 2018-01-25 2019-08-01 日本電気株式会社 運転状況監視装置、運転状況監視システム、運転状況監視方法、記憶媒体
US11417123B2 (en) 2018-01-25 2022-08-16 Nec Corporation Driving state monitoring device, driving state monitoring system, driving state monitoring method, and recording medium
JP2019159924A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 車載機、運転評価システム、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2015064080A1 (ja) 2017-03-09
US9619722B2 (en) 2017-04-11
JP6364627B2 (ja) 2018-08-01
US20160042240A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
JP6364627B2 (ja) 視線方向検出装置および視線方向検出方法
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
JP4926437B2 (ja) 車両の運転支援装置
JP5858433B2 (ja) 注視点検出方法及び注視点検出装置
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
JP6265348B2 (ja) 視線計測装置、視線計測方法および視線計測プログラム
US10346698B2 (en) Vehicle display system and method of controlling vehicle display system
US10169885B2 (en) Vehicle display system and method of controlling vehicle display system
JP5874920B2 (ja) 車両周囲確認用モニター装置
US20150238087A1 (en) Biological information measurement device and input device utilizing same
US10479202B2 (en) Vehicle display system and method of controlling vehicle display system
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
US10227002B2 (en) Vehicle display system and method of controlling vehicle display system
KR20180102420A (ko) 차량의 디스플레이 시스템 및 이의 구동 방법
TWI522257B (zh) 車用安全系統及其運作方法
JP6176070B2 (ja) 視線方向検知装置
KR20170120010A (ko) 영상 취득 장치 및 그 방법
US20190266743A1 (en) Occupant monitoring apparatus
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP4840638B2 (ja) 車両の乗員監視装置
US10572730B2 (en) Visual line measuring device and visual line measuring method
KR20160111678A (ko) 단일 카메라를 이용한 거리 측정 장치 및 방법
JP5144412B2 (ja) 車両用物体判定装置
JP2019156256A (ja) 検出装置および検出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14858325

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015544796

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14858325

Country of ref document: EP

Kind code of ref document: A1