WO2015079657A1 - 視認領域推定装置 - Google Patents

視認領域推定装置 Download PDF

Info

Publication number
WO2015079657A1
WO2015079657A1 PCT/JP2014/005819 JP2014005819W WO2015079657A1 WO 2015079657 A1 WO2015079657 A1 WO 2015079657A1 JP 2014005819 W JP2014005819 W JP 2014005819W WO 2015079657 A1 WO2015079657 A1 WO 2015079657A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual recognition
recognition area
face
unit
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/005819
Other languages
English (en)
French (fr)
Inventor
大見　拓寛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to DE112014005389.9T priority Critical patent/DE112014005389T5/de
Priority to US15/039,015 priority patent/US9892333B2/en
Priority to CN201480064742.9A priority patent/CN105765341B/zh
Publication of WO2015079657A1 publication Critical patent/WO2015079657A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present disclosure relates to a line-of-sight estimation apparatus that estimates a visual recognition area of a monitoring target person.
  • the position of the eyeball may not be detected in an imaging environment that is influenced by a light source such as sunlight or illumination, or a monitoring subject's wear such as glasses. There was a problem that it was difficult to estimate.
  • the present disclosure has been made in view of the above points, and is a visual recognition area estimation device that estimates a visual recognition area of a monitoring target person, and a visual recognition area estimation device that can better estimate the visual recognition area regardless of the imaging environment.
  • the purpose is to provide.
  • the visual recognition area estimation device includes a captured image acquisition unit, a face direction detection unit, and a direction estimation unit.
  • the captured image acquisition unit acquires a plurality of captured images obtained by capturing the face of the monitoring target person in time series, and the face direction detection unit, based on the acquired plurality of captured images, the direction of the monitoring target person's face and the monitoring The degree of change in the orientation of the subject's face and the dwell time indicating the time during which the change is stopped or substantially stopped are detected.
  • a direction estimation part estimates a visual recognition area
  • the visual recognition area estimation device since the visual recognition area is estimated from the face direction and its residence time that are easier to recognize than the position of the eyeball of the person being monitored, the position of the eyeball cannot be recognized. However, the visual recognition area can be estimated more stably.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a safety confirmation alarm device to which the present disclosure is applied
  • FIG. 2 is a flowchart illustrating alarm processing executed by a control unit (CPU) according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart showing the image recognition process in the alarm process.
  • 4 (a) and 4 (b) are explanatory diagrams showing a specific example when recognizing a face part and a face direction.
  • FIG. 5 is a flowchart showing the visual recognition area estimation process in the alarm process.
  • FIG. 6 is an explanatory diagram showing the concept of the visual recognition area.
  • the safety confirmation alarm device 1 to which the visual recognition area estimation device according to the present disclosure is applied is installed in a vehicle such as a passenger car, for example, and is a region required for safety confirmation by a vehicle driver (driver) such as a mirror or an intersection. It is to monitor whether or not it is visually observed.
  • the safety confirmation alarm device 1 has a function of calling attention when the driver recognizes that he / she is not viewing and prompting the driver to confirm safety.
  • the safety confirmation alarm device 1 includes a control unit 10, a camera 21, an illumination unit 22, a vehicle speed sensor 25, a blinker 26, an alarm unit 31, a seat vibration unit 32, and an air conditioning change unit 33. ing.
  • the camera 21 is disposed in front of the driver inside the vehicle, and is set so that the driver's face is within the imaging range.
  • the illumination unit 22 functions as an auxiliary light source for the camera 21 and irradiates, for example, infrared light toward the driver's face. About the irradiation timing of infrared light, it may be always lighting, or the light emission timing may be controlled by the control unit 10 so as to be synchronized with the imaging cycle by the camera 21.
  • the vehicle speed sensor 25 is configured as a known vehicle speed sensor that detects the speed of the vehicle on which the safety confirmation alarm device 1 is mounted.
  • the vehicle speed detected by the vehicle speed sensor 25 is set to be recognized by the control unit 10.
  • the blinker 26 is configured as a well-known direction indicator disposed at a plurality of locations on the left and right sides of the vehicle.
  • the operating state of the blinker 26 is set to be recognized by the control unit 10.
  • the alarm unit 31 is configured to alert the driver with sound and light, and operates in response to a command from the control unit 10.
  • the seat vibration unit 32 is configured as a vibrator embedded in the driver's seat, and operates in response to a command from the control unit 10.
  • the air conditioning changing unit 33 has a function of changing the air volume and direction of the air conditioner in the vehicle or the set temperature in response to a command from the control unit 10.
  • the control unit 10 is configured as a well-known computer including a CPU 11 and a memory 12 such as a ROM and a RAM.
  • the CPU 11 performs various processes to be described later according to the program recorded in the memory 12.
  • the control unit 10 performs an alarm process shown in FIG. In the alarm process, whether the driver visually recognizes the area necessary for safety confirmation when it is necessary to estimate the visual recognition area (predetermined angle range around the line of sight direction) and confirm the safety. When the driver does not visually recognize this area, an alert is issued.
  • the alarm process is a process that starts when the power of the safety confirmation alarm device 1 is turned on, for example.
  • an image recognition process is performed (S10).
  • the image recognition process is a process for recognizing a driver state from an image captured by the camera 21.
  • a captured image from the camera 21 is acquired (S110).
  • a face area is extracted from the captured image (S115), and a face part is further extracted (S120).
  • a region that seems to be a face shape is recognized by image processing of a captured image, and a rectangular region including this region is recognized as a face region.
  • an edge is detected in the face region, and the face part is identified by recognizing the shape.
  • a known method can be adopted as a method for specifying a facial part, and the method is not limited to this method.
  • the head posture is estimated (S125).
  • the face direction is estimated as shown in FIG. That is, the angle of the face direction with respect to a reference direction such as the traveling direction of the host vehicle or the front direction of the host vehicle is obtained.
  • the information on the head posture estimated in the past is used, and the angular velocity when the face direction changes, and the change in the face direction is completely stopped or substantially stopped.
  • the residence time representing time is also calculated.
  • substantially stopped indicates a state in which the angular velocity in the direction in which the face direction changes is less than or equal to a predetermined threshold that can be regarded as almost stopped, for example, the immediately preceding angular acceleration is a negative value and the angular velocity is 0.1 rad / s or less.
  • an eye opening degree is estimated (S130).
  • attention is paid to the eye part of the face part, and for example, the curvature radius of the eyelid curve (the upper edge of the eyeball) is obtained. It is determined that the eye opening degree is lower as the radius of curvature is larger.
  • the direction of the eyeball relative to the face is estimated when the degree of eye opening is equal to or greater than the threshold (S135).
  • the threshold value of the eye opening degree is an eye opening degree enough to recognize the eyeball (pupil position), and is set to, for example, about 25%.
  • the direction of the line of sight can be estimated from the face direction and the eyeball position with respect to the position of the corner of the eye.
  • the estimation result for the angle of the face direction, the angular velocity of the change of the face direction, the dwell time, and the direction of the eyeball with respect to the face is recorded in the memory (S140).
  • the fact is recorded in the memory 12. Note that the fact that the direction of the eyeball could not be extracted may be managed by a flag.
  • the visual recognition area estimation process is a process for estimating the visual recognition area by the driver.
  • the driver's face direction is generally front (S210). Whether or not the face direction is generally front is determined by whether or not the face direction is within a threshold (for example, about 10 degrees) from the reference direction.
  • a threshold for example, about 10 degrees
  • the process proceeds to S280 described later. If the face direction is not substantially front (S210: NO), whether the face direction has been stopped in the previous process or whether the face direction has been stopped in the current process is satisfied. Is determined (S215).
  • the dwell time count indicating the time during which the change in the face direction is stopped is terminated and reset (S280).
  • the position corresponding to the face direction is set as the gaze position, and the surrounding area (for example, within a range of 3 degrees or less) is set as the viewing area (S280).
  • the process proceeds to S280 described above. If the face direction starts to move toward the front direction (S225: YES), the face direction angular velocity and dwell time are acquired (S230), the vehicle speed is acquired (S235), and the face direction correction value is set. Calculate (S260).
  • correction value for the face orientation can be obtained by the following function, for example.
  • Face angle angular velocity level The greater the velocity, the greater the correction value.
  • Face stop time The shorter the time, the larger the correction value.
  • Face angle zone The greater the distance from the front, the greater the correction value.
  • Vehicle speed Small when the vehicle speed is zero, and the correction value increases as the vehicle speed increases.
  • Fatigue degree The correction value increases as the fatigue degree increases.
  • the degree of fatigue can be obtained from the degree of eye opening, the number of blinks (cycle), and the like.
  • the coefficients k1 to k6 are values weighted by values obtained from the experimental results, and are set to positive values in principle. However, it may be a negative value depending on the situation.
  • the correction value represents a direction spreading in a fan shape from the direction specified by the face direction. As this correction value increases, the fan-shaped area also increases.
  • the visual recognition area is estimated (S265).
  • a position (fan-shaped area) corresponding to a new direction obtained by adding the correction value of the face direction to the direction specified by the face direction is set as the gaze position.
  • an area including this position is estimated as a visual recognition area.
  • an area including the eyeball direction is set as a viewing area (S315). Then, calibration of the correction coefficient when correcting the visual recognition area is performed (S320).
  • a correction value is obtained so that a region corresponding to the eyeball direction (region around the eyeball direction) is a correct visual recognition region, and the visual recognition region obtained by the face direction matches the visual recognition region obtained by the eyeball direction.
  • Change the calculation method For example, the coefficients (k1 to k6) used when obtaining the correction value are reset. At the time of resetting, it is preferable that the correction value does not fluctuate rapidly, such as by weighted averaging with past values or by providing hysteresis.
  • the process returns to FIG. 2 to determine whether or not to issue an alarm (S20).
  • S20 For example, during the operation of the blinker 26, it is determined whether or not the region where the left and right mirrors are present matches the visual recognition region. Further, after the start of the operation of the blinker 26, it is determined that no alarm is given if there is a match even once.
  • information on entering an intersection may be obtained from a known navigation device, and after receiving this information, an alarm may be issued depending on whether the driver has confirmed left and right. For example, after receiving information about entering an intersection, it is determined whether or not the area with the left and right windows matches the viewing area within a predetermined time, and if not, it is determined that an alarm is issued. After receiving the information indicating that the vehicle has entered the intersection, it may be determined that the warning is not performed if the region where the left and right windows are present matches the visual recognition region even once.
  • the type of alarm and the combination of hardware that performs the alarm should be changed according to the alarm duration and number of times.
  • imaging conditions control values such as projector and camera gain and shutter time
  • the exposure condition is changed by feeding back the past image so that the pixel value (brightness) of the skin portion of the face to be imaged becomes a specified value.
  • the control unit 10 acquires a plurality of captured images obtained by capturing the face of the monitoring target person according to time series, and based on the acquired plurality of captured images, the orientation of the monitoring target person's face, And a dwell time representing a time during which the change in the orientation of the face of the monitoring subject is stopped or substantially stopped is detected. Then, the visual recognition area is estimated based on parameters including the face direction of the monitoring target person and the staying time.
  • the visual recognition area is estimated from the face direction and its residence time that are easier to recognize than the position of the eyeball of the person being monitored, the eyeball is affected by disturbance light or the like. Even if the position cannot be recognized, the visual recognition area can be estimated better.
  • the control unit 10 sets a provisional direction representing a direction corresponding to the direction of the face of the person to be monitored, and a correction for correcting the provisional direction based on a parameter including the staying time. Set the value. Also, as the correction value increases, the provisional direction is corrected so that the orientation of the face of the monitoring subject is further away from the preset reference direction, and the area corresponding to the corrected provisional direction is defined as the viewing area. To do.
  • the provisional direction is set according to the direction of the face, and the visual recognition area is obtained by correcting this direction. Therefore, the position of the visual recognition area can be finely changed only by changing the correction value. Adjustments can be made. Therefore, it is possible to simplify the process of estimating the viewing area.
  • the control unit 10 sets the correction value to a larger value as the residence time becomes shorter. That is, when the residence time is short, a general person stops the face direction. Taking advantage of the tendency to move only the line of sight later, this tendency is applied to the estimation of the visual recognition area.
  • control unit 10 sets the correction value to a larger value as the direction when the person to be monitored stops or substantially stops the face is away from the reference direction.
  • control unit 10 acquires the rotation angular velocity of the face direction of the monitoring target person, and as the rotation angular speed increases until the monitoring target person stops or substantially stops the face direction, Set the correction value to a larger value.
  • control unit 10 acquires the traveling speed of the vehicle, and increases the correction value as the traveling speed increases when the person to be monitored stops or substantially stops the face orientation. Set to a large value.
  • the driver uses the fact that as the traveling speed increases, the driver tends to confirm the safety by moving only in the line of sight without changing the face direction from the traveling direction of the vehicle.
  • the visual recognition area is estimated based on the tendency of human movement, the visual recognition area can be estimated with high accuracy.
  • the control unit 10 detects the position of the eyeball of the person to be monitored based on the captured image, estimates the viewing area according to the position of the eyeball, and faces the face according to the viewing area. And the set value used when estimating the visual recognition area obtained by the dwell time is corrected. Further, the estimated visual recognition area is corrected based on a place where the driver frequently visually recognizes, that is, known vehicle information such as a mirror, a meter, a navigation system, and an audio.
  • the set value means the above-described correction value (including a coefficient for obtaining the correction value), the above-described parameter correction amount, and the like. According to such a safety confirmation alarm device 1, when the position of the eyeball can be recognized, it is possible to calibrate the relationship between the face direction and the staying time and the visual recognition area. Therefore, the estimation accuracy of the visual recognition area when the position of the eyeball cannot be recognized can be improved.
  • the control unit 10 adopts the visual recognition area estimated according to the position of the eyeball as the final visual recognition area, and the eyeball position cannot be estimated.
  • the visual recognition area estimated by the face direction and the residence time is adopted as the final visual recognition area.
  • each unit is expressed as, for example, S10.
  • each part can be divided into a plurality of sub-parts, while the plurality of parts can be combined into one part.
  • each part configured in this manner can be referred to as a circuit, a device, a module, and a means.
  • each of the above-mentioned plurality of parts or a combination thereof includes not only (i) a section of software combined with a hardware unit (eg, a computer), but also (ii) hardware (eg, an integrated circuit, As a section of (wiring logic circuit), it can be realized with or without the function of related devices.
  • the hardware section may be configured inside the microcomputer.
  • the angular velocity when the face direction changes away from the reference direction is monitored, but the angular velocity when returning to the reference direction may be monitored. At this time, when obtaining the correction value of the face direction, the angular velocity when returning to the reference direction may be taken into consideration.
  • control unit 10 in the above embodiment corresponds to the visual recognition area estimation device referred to in the present disclosure. Further, among the processes performed by the control unit 10 in the above-described embodiment, the process of S15 corresponds to a direction estimation unit in the present disclosure.
  • the process of S110 of the above embodiment corresponds to a captured image acquisition unit referred to in the present disclosure
  • the process of S125 of the above embodiment corresponds to a face direction detection unit and an angular velocity acquisition unit referred to in the present disclosure
  • the processing of S125 and S135 in the above embodiment corresponds to an eyeball estimation unit in the present disclosure
  • the processing in S230 in the above embodiment corresponds to a provisional direction setting unit in the present disclosure.
  • the process of S235 in the above embodiment corresponds to a traveling speed acquisition unit referred to in the present disclosure
  • the process of S260 in the above embodiment corresponds to a correction value setting unit referred to in the present disclosure
  • the process of S265 in the above embodiment corresponds to an area setting unit in the present disclosure
  • the processes in S310 and S315 in the above embodiment correspond to an adoption selection unit in the present disclosure.
  • the computer may be a visual recognition area estimation program for realizing the computer as each of the parts constituting the visual recognition area estimation device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　視認領域推定装置は、撮像画像取得部（Ｓ１１０）と、顔方向検出部（Ｓ１２５）と、方向推定部（Ｓ１５）とを備える。撮像画像取得部は時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得する。顔方向検出部は取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化度合、また、変化が停止または略停止している時間を表す滞留時間を検出する。そして、方向推定部は監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する。

Description

視認領域推定装置 関連出願の相互参照
　本開示は、２０１３年１１月２７日に出願された日本出願番号２０１３－２４５０８８号に基づくもので、ここにその記載内容を援用する。
　本開示は、監視対象者の視認領域を推定する視線推定装置に関する。
　上記の視認領域推定装置として、カメラを用いて監視対象者の眼球の位置を検出することで監視対象者が視認する視認領域を推定するものが知られている（例えば、特許文献１参照）。
　しかしながら、上記視認領域推定装置では、太陽光やイルミネーション等の光源やメガネ等の監視対象者の着用物等の影響を受ける撮像環境では、眼球の位置が検出できないことがあり、この場合、視認領域の推定が困難になるという問題点があった。
特許第３７８５６６９号公報
　本開示は、上記点に鑑みてなされたものであり、監視対象者の視認領域を推定する視認領域推定装置であって、撮像環境に拘わらず視認領域をより良好に推定できる視認領域推定装置を提供することを目的とする。
　本開示の一態様による視認領域推定装置は、撮像画像取得部と、顔方向検出部と、方向推定部とを備える。撮像画像取得部は時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得し、顔方向検出部は取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化度合、また、変化が停止または略停止している時間を表す滞留時間を検出する。そして、方向推定部は監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する。
　このような視認領域推定装置によれば、監視対象者の眼球の位置よりもより認識が容易な顔の向きとその滞留時間とから視認領域を推定するので、眼球の位置が認識できない場合であっても視認領域をより安定に推定することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、本開示が適用された安全確認警報装置の概略構成を示すブロック図であり、 図２は、本開示の一実施形態による制御部（ＣＰＵ）が実行する警報処理を示すフローチャートであり、 図３は、警報処理のうちの画像認識処理を示すフローチャートであり、 図４（ａ）と図４（ｂ）は、顔部品や顔方向を認識する際の具体例を示す説明図であり、 図５は、警報処理のうちの視認領域推定処理を示すフローチャートであり、 図６は、視認領域の概念を示す説明図である。
　以下に本開示にかかる実施の形態を図面と共に説明する。
　［本実施形態の構成］
　本開示による視認領域推定装置が適用された安全確認警報装置１は、例えば乗用車等の車両において搭載されており、車両のドライバ（運転者）がミラーや交差点の左右等、安全確認に必要な領域を目視したかどうかを監視するものである。この安全確認警報装置１では、ドライバが目視を行っていないことを認識すると注意喚起を行い、ドライバに安全確認を行うよう促す機能を備えている。
　詳細には安全確認警報装置１は、図１に示すように、制御部１０、カメラ２１、照明部２２、車速センサ２５、ウインカ２６、警報部３１、シート振動部３２、空調変更部３３を備えている。
　カメラ２１は、車両の内部においてドライバの前方に配置されており、ドライバの顔が撮像範囲内になるよう設定されている。
　照明部２２は、カメラ２１のための補助光源として機能し、ドライバの顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ２１による撮像周期と同期するよう、発光タイミングが制御部１０によって制御されるよう構成されていてもよい。
　車速センサ２５は、安全確認警報装置１が搭載された車両の速度を検出する周知の車速センサとして構成されている。車速センサ２５が検出する車速は、制御部１０にて認識されるよう設定されている。
　ウインカ２６は、車両の左右の複数個所に配置された周知の方向指示器として構成されている。ウインカ２６の作動状態は制御部１０にて認識されるよう設定されている。
　警報部３１は、音や光でドライバに注意を促すための構成であり、制御部１０からの指令を受けて作動する。
　シート振動部３２は、ドライバのシートに埋め込まれたバイブレータとして構成されており、制御部１０からの指令を受けて作動する。
　空調変更部３３は、制御部１０からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更する機能を有する。
　制御部１０は、ＣＰＵ１１、およびＲＯＭ、ＲＡＭ等のメモリ１２を備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に記録されたプログラムに従って後述する各種処理を実施する。
　［本実施形態の処理］
　このように構成された安全確認警報装置１において、制御部１０は、図２に示す警報処理を実施する。警報処理では、ドライバが視認した視認領域（視線方向を基準とするその周囲の所定角度範囲）を推定し、安全確認をする必要がある際に安全確認に必要な領域をドライバが視認したかどうかを判定し、この領域をドライバが視認していない場合に注意喚起を行う。なお、警報処理は、例えば安全確認警報装置１の電源が投入されると開始される処理である。
　詳細には、図２に示すように、まず、画像認識処理を実施する（Ｓ１０）。画像認識処理は、カメラ２１による撮像画像からドライバの状態を認識する処理である。この画像認識処理では、図３に示すように、まず、カメラ２１からの撮像画像を取得する（Ｓ１１０）。
　続いて、撮像画像中から顔領域を抽出し（Ｓ１１５）、さらに顔部品を抽出する（Ｓ１２０）。これらの処理は、図４（ａ）に示すように、撮像画像を画像処理することで顔の形状らしい領域を認識し、この領域を含む矩形の領域を顔領域として認識する。そして、この顔領域内においてエッジ（隣接する画素の輝度差が基準値以上の部位）を検出し、形状を認識することで顔部品を特定する。なお、顔部品を特定する際の手法は周知の方法を採用することができ、この方法には限定されない。
　続いて、頭部姿勢を推定する（Ｓ１２５）。この処理では、顔部品の位置関係に基づいて図４（ｂ）に示すように顔の方向を推定する。つまり、自車両の進行方向や自車両正面方向等の基準方向に対する顔方向の角度を求める。
　また、頭部姿勢を推定する際には、過去において推定された頭部姿勢の情報を利用して、顔方向が変化する際の角速度、顔方向の変化が完全に停止または略停止している時間を表す滞留時間についても演算する。ここで略停止とは、顔方向が変化する方向への角速度がほぼ停止とみなせる所定閾値以下、例えば直前の角加速度がマイナスの値でかつ角速度が0.1rad/s以下である状態を示す。
　次に、開眼度を推定する（Ｓ１３０）。この処理では、顔部品のうちの目の部分に着目し、例えば瞼のカーブ（眼球の上側のエッジ）の曲率半径を求める。なお、この曲率半径が大きくなるほど開眼度が低いと判定される。
　続いて、開眼度が閾値以上である場合に顔に対する眼球の方向を推定する（Ｓ１３５）。ここで開眼度の閾値は、眼球（瞳の位置）が認識できる程度の開眼度であり、例えば２５％程度に設定する。視線の方向は、顔方向と、目尻目頭位置に対する眼球位置とによって推定可能である。
　続いて、顔方向の角度、顔方向の変化の角速度、滞留時間、および顔に対する眼球の方向についての推定結果をメモリに記録させる（Ｓ１４０）。ただし、眼球の方向が抽出できなかった場合または認識結果の尤度（確からしさ）が低い場合には、その旨をメモリ１２に記録させる。なお、眼球の方向が抽出できなかった旨等についてはフラグによって管理してもよい。
　このような処理が終了すると画像認識処理を終了する。画像認識処理が終了すると、図２に戻り視認領域推定処理を実施する（Ｓ１５）。視認領域推定処理は、ドライバによる視認領域を推定する処理である。
　視認領域推定処理では、図５に示すように、まず、ドライバの顔方向が概ね正面であるか否かを判定する（Ｓ２１０）。顔方向が概ね正面であるか否かについては、顔方向が基準方向から閾値（例えば１０度程度）以内であるかによって判定する。
　顔方向が概ね正面であれば（Ｓ２１０：ＹＥＳ）、後述するＳ２８０の処理に移行する。また、顔方向が概ね正面でなければ（Ｓ２１０：ＮＯ）、前回の処理において顔方向が停留していたか、或いは今回の処理において顔方向が停留したか、の何れかの条件を満たすか否かを判定する（Ｓ２１５）。
　上記両方の条件を満たしていなければ（Ｓ２１５：ＮＯ）、顔方向の変化が停止している時間を示す滞留時間のカウントを終了し、かつリセットする（Ｓ２８０）。顔方向に対応する位置を注視位置とし、その周囲（例えば３度以内の範囲内）を視認領域とする（Ｓ２８０）。この処理が終了すると、後述するＳ３１０の処理に移行する。
　また、Ｓ２１５の処理において、上記何れかの条件を満たしていれば（Ｓ２１５：ＹＥＳ）、滞留時間のカウントを開始または継続する（Ｓ２２０）。そして、顔方向が滞留後に正面の方向（基準方向）に向かって動き出したか否かを判定する（Ｓ２２５）。
　顔方向が正面の方向に向かって動き出していなければ（Ｓ２２５：ＮＯ）、前述のＳ２８０の処理に移行する。また、顔方向が正面の方向に向かって動き出していれば（Ｓ２２５：ＹＥＳ）、顔方向の角速度および滞留時間を取得するとともに（Ｓ２３０）、車速を取得し（Ｓ２３５）、顔向きの補正値を演算する（Ｓ２６０）。
　ここで、顔向きの補正値は、例えば下記関数によって求めることができる。
Figure JPOXMLDOC01-appb-M000001
 　また、各項には、以下のような傾向を持たせる。
　顔向き角速度レベル：速度が大きいほど補正値は大きい。
　顔向き停留時間：時間が短いほど補正値は大きい。
　顔向き角度ゾーン：正面から外れるほど補正値は大きい。
　車速：車速がゼロの時は小さく、車速が速くなるほど補正値は大きい。
　トリップ時間：時間が経過すると補正値は大きくなる。
　疲労度：疲労度が増すと補正値は大きくなる。
　なお、疲労度については、開眼度や瞬き回数（周期）等から求めることができる。また、上記の関数において、ｋ１～ｋ６の係数は実験結果で求めた値により重み付けされる値であり、原則としてプラスの値に設定される。ただし、状況に応じてマイナスの値としてもよい。
　ここで、補正値は、図６に示すように、顔方向によって特定される方向から扇形に広がる方向を表す。また、この補正値が大きくなると、扇形の領域も広くなる。
　続いて、視認領域を推定する（Ｓ２６５）。この処理では、図６に示すように、顔方向によって特定される方向に、顔方向の補正値を加算した新たな方向に対応する位置（扇形の領域）を注視位置とする。そして、この位置を含む領域（例えば、この位置の周囲３度以内の範囲内）を視認領域として推定する。
　そして、メモリ１２を参照することによって眼球方向が認識できていたか否かを判定する（Ｓ３１０）。眼球方向が認識できていなければ（Ｓ３１０：ＮＯ）、視認領域推定処理が終了する。
　また、眼球方向が認識できていれば（Ｓ３１０：ＹＥＳ）、眼球方向を含む領域を視認領域に設定する（Ｓ３１５）。そして、視認領域を補正する際の補正係数のキャリブレーションを行う（Ｓ３２０）。
　この処理では、眼球方向に対応する領域（眼球方向の周囲の領域）を正しい視認領域であるものとして、顔方向によって得られる視認領域が眼球方向によって得られる視認領域と一致するよう補正値を求める際の演算手法を改める。例えば、補正値を求める際に利用する係数（ｋ１～ｋ６）を再設定する。再設定に際しては、過去値との重みづけ平均化したりヒステリシスを設けるなど俊敏に補正値が変動しないようにすることが好ましい。
　このような視認領域推定処理が終了すると、図２に戻り、警報を行うか否かを判定する（Ｓ２０）。ここでは、例えば、ウインカ２６の作動中に、左右何れかのミラーが存在する領域と視認領域とが一致するか否かを監視し、一致することがなければ警報を行うと判定する。また、ウインカ２６の作動開始後、１度でも一致することがあれば警報を行わないと判定する。
　また、例えば、交差点に進入することの情報を周知のナビゲーション装置等から取得し、この情報を受けた後、ドライバが左右を確認したか否かによって警報を行ってもよい。例えば、交差点に進入することの情報を受けた後、所定時間内に左右の窓がある領域と視認領域とが一致するか否かを判定し、一致することがなければ警報を行うと判定し、交差点に進入することの情報を受けた後、１度でも左右の窓がある領域と視認領域とが一致することがあれば警報を行わないと判定するようにしてもよい。
　警報を行わないと判定されると（Ｓ２０：ＮＯ）、後述するＳ３０の処理に移行する。また、警報を行うと判定されると（Ｓ２０：ＹＥＳ）、警報部３１、シート振動部３２、空調変更部３３等のハードウェアのうちの何れかを用いた注意喚起を実施する（Ｓ２５）。
　この処理では警報の継続時間や回数等に応じて警報の種別や警報を行うハードウェアの組み合わせを変更するとよい。
　続いて、次のフレームにおける撮像条件（投光器とカメラゲインやシャッタ時間等の制御値）を演算して、次回の認識に好ましい撮像画像が得られるよう設定し（Ｓ３０）、Ｓ１０の処理に戻る。具体的には、撮像対象となる顔面の皮膚部の画素値（明るさ）が規定の値になるように、過去画像をフィードバックして露光条件を変更する。
　［本実施形態による効果］
　上記安全確認警報装置１において制御部１０は、時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得し、取得した複数の撮像画像に基づいて、監視対象者の顔の向き、および監視対象者の顔の向きの変化が停止または略停止している時間を表す滞留時間を検出する。そして、監視対象者の顔の向き、および滞留時間を含むパラメータに基づいて、視認領域を推定する。
　このような安全確認警報装置１によれば、監視対象者の眼球の位置よりもより認識が容易な顔の向きとその滞留時間とから視認領域を推定するので、外乱光などの影響で眼球の位置が認識できない場合であっても視認領域をより良好に推定することができる。
　また、上記安全確認警報装置１において制御部１０は、監視対象者の顔の向きに応じた方向を表す暫定方向を設定し、滞留時間を含むパラメータに基づいて、暫定方向を補正するための補正値を設定する。また、この補正値が大きくなるにつれて監視対象者の顔の向きが予め設定された基準方向からより離れる方向になるよう暫定方向を補正し、この補正後の暫定方向に応じた領域を視認領域とする。
　このような安全確認警報装置１によれば、顔の方向に応じて暫定方向を設定し、この方向を補正することで視認領域を求めるので、補正値を変更するだけで視認領域の位置の微調整を行うことができる。よって、視認領域を推定する処理を簡素化することができる。
　さらに、上記安全確認警報装置１において制御部１０は、滞留時間が短くなるにつれて補正値をより大きな値に設定する
　すなわち、一般的な人は、滞留時間が短い場合、顔の方向を停止させた後に視線だけを移動させる傾向があることを利用して、この傾向を視認領域の推定に応用している。
　また、上記安全確認警報装置１において制御部１０は、監視対象者が顔の向きを停止または略停止したときの方向が基準方向から離れるにつれて、補正値をより大きな値に設定する。
　すなわち、一般的な人は、顔の向きの移動量が大きくなるにつれて視線の移動量も大きくなる傾向があるため、この傾向を視認領域の推定に応用している。
　さらに、上記安全確認警報装置１において制御部１０は、監視対象者の顔の向きの回転角速度を取得し、監視対象者が顔の向きを停止または略停止させるまでにおける回転角速度が大きくなるにつれて、補正値をより大きな値に設定する。
　すなわち、一般的な人は、顔の向きの回転角速度が大きくなるにつれて視線の移動量も大きくなる傾向があるため、この傾向を視認領域の推定に応用している。
　加えて、上記安全確認警報装置１において制御部１０は、車両の走行速度を取得し、監視対象者が顔の向きを停止または略停止させたときの走行速度が大きくなるにつれて、補正値をより大きな値に設定する。
　すなわち、運転者は走行速度が大きくなるにつれてなるべく車両の進行方向から顔の向きを変更することなく視線方向だけを移動して安全確認を行う傾向があることを利用している。
　これらに述べたような安全確認警報装置１によれば、人の動作の傾向に基づいて視認領域を推定するので、精度よく視認領域を推定することができる。
　さらに、上記安全確認警報装置１において制御部１０は、撮像画像に基づいて、監視対象者の眼球の位置を検出し、眼球の位置に応じて視認領域を推定し、この視認領域に従って、顔向きと滞留時間とによって得られた視認領域を推定する際に利用する設定値を補正する。また、運転者が頻繁に視認する場所、すなわち、ミラー、メータ、ナビ、オーディオなど既知の車両情報をもとに、推定した視認領域を補正する。
　ここで、設定値とは、前述の補正値（補正値を求めるための係数を含む）や、前述のパラメータの補正量等を意味する。このような安全確認警報装置１によれば、眼球の位置が認識できたときに顔向きおよび滞留時間と視認領域の関係についてのキャリブレーションを行うことができる。よって、眼球の位置が認識できないときの視認領域の推定精度を向上させることができる。
　上記安全確認警報装置１において制御部１０は、眼球位置の推定ができた場合、眼球の位置に応じて推定された視認領域を最終的な視認領域として採用し、眼球位置の推定ができなかった場合、顔向きと滞留時間とによって推定された視認領域を最終的な視認領域として採用する。
　このような安全確認警報装置１によれば、状況に応じてより精度が高いと推定される手法で視認領域を推定することができる。
　本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各部は、たとえば、Ｓ１０と表現される。さらに、各部は、複数のサブ部に分割されることができる、一方、複数の部が合わさって一つの部にすることも可能である。さらに、このように構成される各部は、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。
　また、上記の複数の部の各々あるいは組合わさったものは、(i)ハードウェアユニット（例えば、コンピュータ）と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウェア（例えば、集積回路、配線論理回路）のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウェアのセクションは、マイクロコンピュータの内部に構成されることもできる。
　［その他の実施形態］
　上記実施形態においては、顔方向の変化の基準方向から離れる方向に変化する際の角速度を監視したが、基準方向に戻る際の角速度を監視してもよい。この際において、顔方向の補正値を求める場合には、基準方向に戻る際の角速度を考慮してもよい。
　また、顔方向の補正値を求める際に、基準方向に戻る際の角速度を考慮する際には、基準方向から離れる方向に変化するときと基準方向に戻るときとで別の関数（別の項）を利用して演算してもよい。
　上記実施形態における制御部１０は本開示でいう視認領域推定装置に相当する。また、上記実施形態において制御部１０が実施する処理のうち、Ｓ１５の処理は本開示でいう方向推定部に相当する。
　さらに、上記実施形態のＳ１１０の処理は本開示でいう撮像画像取得部に相当し、上記実施形態のＳ１２５の処理は本開示でいう顔方向検出部、角速度取得部に相当する。また、上記実施形態のＳ１２５、Ｓ１３５の処理は本開示でいう眼球推定部に相当し、上記実施形態のＳ２３０の処理は本開示でいう暫定方向設定部に相当する。
　さらに、上記実施形態のＳ２３５の処理は本開示でいう走行速度取得部に相当し、上記実施形態のＳ２６０の処理は本開示でいう補正値設定部に相当する。また、上記実施形態のＳ２６５の処理は本開示でいう領域設定部に相当し、上記実施形態のＳ３１０、Ｓ３１５の処理は本開示でいう採用選択部に相当する。
　さらに、上記実施形態のＳ３２０の処理は本開示でいう推定補正部に相当する。
　なお、上記目的を達成するためには、コンピュータを、視認領域推定装置を構成する上記各部として実現するための視認領域推定プログラムとしてもよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

Claims (8)

  1. 　監視対象者が視認する領域を表す視認領域を推定する視認領域推定装置（１０）であって、
    　時系列に従って監視対象者の顔が撮像された複数の撮像画像を取得する撮像画像取得部（Ｓ１１０）と、
    　取得した複数の撮像画像に基づいて、前記監視対象者の顔の向き、および前記監視対象者の顔の向きの変化が停止または略停止している時間を表す滞留時間を検出する顔方向検出部（Ｓ１２５）と、
    　前記監視対象者の顔の向き、および前記滞留時間を含むパラメータに基づいて、前記視認領域を推定する方向推定部（Ｓ１５）と、
    　を備えた視認領域推定装置。
  2. 　請求項１に記載の視認領域推定装置において、
    　前記方向推定部は、
    　前記監視対象者の顔の向きに応じた方向を表す暫定方向を設定する暫定方向設定部（Ｓ２３０）と、
    　前記滞留時間を含むパラメータに基づいて、前記暫定方向を補正するための補正値を設定する補正値設定部（Ｓ２６０）と、
    　前記補正値が大きくなるにつれて前記監視対象者の顔の向きが予め設定された基準方向から離れる方向になるよう前記暫定方向を補正し、該補正後の暫定方向に応じた領域を前記視認領域とする領域設定部（Ｓ２６５）とを備えた
    　視認領域推定装置。
  3. 　請求項２に記載の視認領域推定装置において、
    　前記補正値設定部は、前記滞留時間が短くなるにつれて前記補正値をより大きな値に設定する
    　視認領域推定装置。
  4. 　請求項２または３に記載の視認領域推定装置において、
    　前記補正値設定部は、前記監視対象者が顔の向きを停止または略停止したときの方向が前記基準方向から離れるにつれて、前記補正値をより大きな値に設定する
    　視認領域推定装置。
  5. 　請求項２～４の何れか１項に記載の視認領域推定装置において、
    　前記監視対象者の顔の向きの回転角速度を取得する角速度取得部（Ｓ１２５）をさらに備え、
    　前記補正値設定部は、前記監視対象者が顔の向きを停止または略停止させるまでにおける前記回転角速度が大きくなるにつれて、前記補正値をより大きな値に設定する
    　視認領域推定装置。
  6. 　請求項２～５の何れか１項に記載の視認領域推定装置において、
    　当該視認領域推定装置は、車両に搭載されており、該車両の運転者を前記監視対象者とし、
    　前記車両の走行速度を取得する走行速度取得部（Ｓ２３５）をさらに備え、
    　前記補正値設定部は、前記監視対象者が顔の向きを停止または略停止させたときの走行速度が大きくなるにつれて、前記補正値をより大きな値に設定する
    　視認領域推定装置。
  7. 　請求項１～６の何れか１項に記載の視認領域推定装置において、
    　前記撮像画像に基づいて、前記監視対象者の眼球の位置を検出し、前記眼球の位置に応じて視認領域を推定する眼球推定部（Ｓ１２５、Ｓ１３５）と、
    　前記眼球推定部による視認領域に従って、前記方向推定部による視認領域を推定する際に利用する設定値を補正する推定補正部（Ｓ３２０）と、
    　をさらに備えた視認領域推定装置。
  8. 　請求項７に記載の視認領域推定装置において、
    　前記眼球推定部により眼球位置の推定ができた場合、前記眼球の位置に応じて推定された視認領域を最終的な視認領域として採用し、前記眼球推定部により眼球位置の推定ができなかった場合、前記方向推定部により推定された視認領域を最終的な視認領域として採用する採用選択部（Ｓ３１０、Ｓ３１５）をさらに備えた
    　視認領域推定装置。
PCT/JP2014/005819 2013-11-27 2014-11-19 視認領域推定装置 Ceased WO2015079657A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112014005389.9T DE112014005389T5 (de) 2013-11-27 2014-11-19 Blickbereichabschätzvorrichtung
US15/039,015 US9892333B2 (en) 2013-11-27 2014-11-19 Viewing area estimation device
CN201480064742.9A CN105765341B (zh) 2013-11-27 2014-11-19 目视确认区域推断装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013245088A JP6090129B2 (ja) 2013-11-27 2013-11-27 視認領域推定装置
JP2013-245088 2013-11-27

Publications (1)

Publication Number Publication Date
WO2015079657A1 true WO2015079657A1 (ja) 2015-06-04

Family

ID=53198629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005819 Ceased WO2015079657A1 (ja) 2013-11-27 2014-11-19 視認領域推定装置

Country Status (5)

Country Link
US (1) US9892333B2 (ja)
JP (1) JP6090129B2 (ja)
CN (1) CN105765341B (ja)
DE (1) DE112014005389T5 (ja)
WO (1) WO2015079657A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555366A (zh) * 2018-06-04 2019-12-10 夏普株式会社 驾驶员监视装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214116A1 (de) * 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
DE102016013806B4 (de) 2016-11-18 2018-12-20 Daimler Ag System und Verfahren zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug
DE102017213679A1 (de) * 2017-08-07 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Fahrerzustandsbewertung sowie Fahrzeug
JP7019394B2 (ja) * 2017-11-29 2022-02-15 株式会社デンソーアイティーラボラトリ 視認対象検知装置、視認対象検知方法、およびプログラム
JP7118136B2 (ja) * 2018-04-11 2022-08-15 三菱電機株式会社 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
JP7014129B2 (ja) * 2018-10-29 2022-02-01 オムロン株式会社 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム
JP7072491B2 (ja) * 2018-11-08 2022-05-20 株式会社デンソーアイティーラボラトリ 視認対象検知装置、視認対象検知方法、およびプログラム
WO2021075089A1 (ja) * 2019-10-15 2021-04-22 本田技研工業株式会社 車両検査システムおよび位置合わせ方法
CN120677517A (zh) 2023-03-14 2025-09-19 本田技研工业株式会社 信息处理装置、信息处理方法及程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JP2009120148A (ja) * 2007-11-19 2009-06-04 Aisin Seiki Co Ltd 車両用ランプ制御システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06270712A (ja) 1993-03-16 1994-09-27 Aisin Seiki Co Ltd 脇見運転警報装置
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
JP4797588B2 (ja) 2005-11-17 2011-10-19 アイシン精機株式会社 車両周辺表示装置
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
JP2008094221A (ja) * 2006-10-11 2008-04-24 Denso Corp 目状態検出装置および目状態検出装置の取り付け方法
JP4762939B2 (ja) 2007-03-08 2011-08-31 トヨタ自動車株式会社 車両用監視装置
WO2008136456A1 (ja) * 2007-05-02 2008-11-13 Toyota Jidosha Kabushiki Kaisha 車両挙動制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JP2009120148A (ja) * 2007-11-19 2009-06-04 Aisin Seiki Co Ltd 車両用ランプ制御システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555366A (zh) * 2018-06-04 2019-12-10 夏普株式会社 驾驶员监视装置

Also Published As

Publication number Publication date
US9892333B2 (en) 2018-02-13
DE112014005389T5 (de) 2016-08-11
JP6090129B2 (ja) 2017-03-08
CN105765341B (zh) 2018-10-09
US20170169302A1 (en) 2017-06-15
JP2015102498A (ja) 2015-06-04
CN105765341A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
JP6090129B2 (ja) 視認領域推定装置
US9526448B2 (en) State estimation device and state estimation program
EP2288287B1 (en) Driver imaging apparatus and driver imaging method
US10949690B2 (en) Driving state determination device, determination device, and driving state determination method
JP6314435B2 (ja) ドライバ監視装置
US9202106B2 (en) Eyelid detection device
WO2014119235A1 (ja) 覚醒度検出装置、および覚醒度検出方法
US9495579B2 (en) Face detection apparatus, face detection method, and program
US10664712B2 (en) Eyelid opening/closing determination apparatus and drowsiness detection apparatus
US20110035099A1 (en) Display control device, display control method and computer program product for the same
WO2011118393A1 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP6187155B2 (ja) 注視対象物推定装置
US10997861B2 (en) Luminance control device, luminance control system, and luminance control method
CN116252801A (zh) 监视装置、非易失性的存储介质以及监视方法
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP7276082B2 (ja) 運転者状態推定装置
CN117152721B (zh) 座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序
JP4935387B2 (ja) 情報表示装置
JP7072491B2 (ja) 視認対象検知装置、視認対象検知方法、およびプログラム
JP4622710B2 (ja) 顔向き検出装置及び顔向き検出方法
JP2009110065A (ja) 運転支援装置
KR20250116150A (ko) 시선 추정을 사용하는 차량 내 인포테인먼트 시스템의 밝기 제어
JP2016038843A (ja) 視線状態判定装置
JP2022089223A (ja) 居眠り検出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14866407

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15039015

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014005389

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14866407

Country of ref document: EP

Kind code of ref document: A1