WO2016017087A1 - ドライバ監視装置 - Google Patents

ドライバ監視装置 Download PDF

Info

Publication number
WO2016017087A1
WO2016017087A1 PCT/JP2015/003511 JP2015003511W WO2016017087A1 WO 2016017087 A1 WO2016017087 A1 WO 2016017087A1 JP 2015003511 W JP2015003511 W JP 2015003511W WO 2016017087 A1 WO2016017087 A1 WO 2016017087A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
light source
face
unit
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/003511
Other languages
English (en)
French (fr)
Inventor
一路 星屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to US15/306,596 priority Critical patent/US20170046582A1/en
Priority to DE112015003459.5T priority patent/DE112015003459T5/de
Priority to CN201580016407.6A priority patent/CN106134175A/zh
Publication of WO2016017087A1 publication Critical patent/WO2016017087A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/20—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors for lighting specific fittings of passenger or driving compartments; mounted on specific fittings of passenger or driving compartments
    • B60Q3/283—Steering wheels; Gear levers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present disclosure relates to a driver monitoring device mounted on a vehicle.
  • a driver monitoring device that captures a driver's face, detects the face orientation and the degree of eye opening by image recognition processing, and gives a warning / alarm to the driver is known (for example, Patent Document 1).
  • a driver monitoring apparatus when a near-infrared LED is used as illumination for illuminating the face of the driver, a device has been devised such as spreading light emitted from the near-infrared LED radially by a lens in order to illuminate the entire face of the driver.
  • the driver's face is not always in the same position, and when trying to constantly illuminate the entire driver's face, the near-infrared LED light is illuminated by a wide-angle lens to illuminate all possible areas of the driver's face. As a result, it is necessary to irradiate a wide area, and as a result, there is a problem that power is wasted in order to constantly illuminate an area where the driver's face does not exist.
  • This disclosure aims to provide a driver monitoring device capable of suppressing power consumption.
  • the driver monitoring device includes a plurality of light sources that respectively emit light toward the driver's seat, an imaging unit provided at a position where the driver seated on the driver's seat can be photographed, and the imaging unit captures A driver detection unit that detects a position of the driver's face or eyes based on the image information obtained; and illuminates an area of the driver's face or eyes among the plurality of light sources based on a detection result of the driver detection unit
  • a light source identification unit that identifies a light source that can be controlled, and a light source control unit that controls the light source so that the light source identified by the light source identification unit is turned on and the other light sources are turned off or dimmed.
  • the light source that does not illuminate the driver's face or eye area is turned off or dimmed so that the area unnecessary for driver monitoring is not illuminated brightly.
  • the power consumed by the monitoring device can be kept low.
  • FIG. 1 is a schematic cross-sectional view of a vehicle showing a mounting position of a driver monitoring device in the first embodiment.
  • FIG. 2 is a perspective view showing an overview of the driver monitoring apparatus in the first embodiment.
  • FIG. 3 is a diagram illustrating the configuration of the control device of the driver monitoring device according to the first embodiment and the relationship between the light source specified by the light source specifying unit and the position of the driver's face.
  • FIG. 4 is a flowchart illustrating an example of control executed by the control device according to the first embodiment.
  • FIG. 5 is a diagram showing the arrangement positions of the light sources in the second embodiment.
  • FIG. 1 is a schematic cross-sectional view of a vehicle showing a mounting position of a driver monitoring device in the present embodiment.
  • the casing 11 is placed on the steering column 2, and the end surface of the casing 11 on the driver seat side is irradiated with light toward the driver seat 3.
  • a plurality of LED light sources 4 are provided.
  • FIG. 2 is a perspective view showing an overview of the housing 11 of the driver monitoring apparatus 1 according to the first embodiment.
  • the plurality of LED light sources 4 described above are provided at two locations on the left and right sides of the driver seat side end surface of the housing 11 with the near infrared camera 5 interposed therebetween.
  • the near-infrared camera 5 is an imaging unit that is provided at a position where the upper body of the driver can be photographed from the gap between the spokes of the steering wheel 14.
  • Each of the plurality of LED light sources 4 includes an LED 4a that is a light emitting unit, and a lens 4b that is disposed in front of the LED 4a.
  • the lens 4b in the present embodiment has a substantially square shape when viewed from the front, and is provided side by side in a plurality of rows and columns.
  • LED4a in this embodiment is arrange
  • FIG. 3 is a diagram for explaining the configuration of the driver monitoring apparatus 1 according to the first embodiment and the relationship between the light source group 41 specified by the light source specifying unit 7 and the position of the driver's face.
  • a control device 13 of the driver monitoring device 1 is stored inside the housing 11.
  • the control device 13 includes a driver detection unit 6 that detects the position of the driver's face or eyes based on the image acquired from the near-infrared camera 5, and the plurality of LEDs described above based on the detection result of the driver detection unit 6.
  • the light source identification unit 7 that identifies the LED light source group 41 that can illuminate the driver's face or eye region, the LED light source group 41 that is identified by the light source identification unit 7, and other light source groups And a light source control unit 8 that controls the light source so as to turn off or dimm 42, and a light source distance estimation unit 9 that detects the distance between the driver and the LED light source group 41. Yes.
  • the LED light sources 4 which are divided into two left and right portions and concentratedly arranged in a matrix on the driver's seat side end surface of the housing 11 share the right region and the left region each including the driver's face.
  • the left and right matrix LED light sources 4 illuminate the above-mentioned driver's face or eye area respectively in the upper part of the center.
  • the LED light source group 41 can be used, and the other LED light source group 42 is turned off or dimmed.
  • step S10 the control device 13 acquires an image of the vicinity of the driver's seat that will include the driver's face from the near-infrared camera 5, and proceeds to step S12.
  • step S12 the face position or eye position of the driver is detected from the image acquired from the near-infrared camera 5, and the process proceeds to step S14.
  • step S14 it is determined whether or not the driver's face position or eye position can be detected in step S12. If it is determined that the face position or eye position can be detected, the process proceeds to step S16.
  • step S16 the driver's state such as the driver's face orientation, eyelid opening, drowsiness, and ambiguity is estimated from the face or eye position detected in step S14, and the alarm device (not shown) informs the driver if necessary. Gives warnings and stimuli to them.
  • the process proceeds to step S18.
  • step S18 among the plurality of LEDs 4 described above, the LED group 41 capable of irradiating near infrared light to the face or eye position detected in step S14 is specified, and the process proceeds to step S20. Specifically, it is determined which position in the irradiation area of the plurality of LEDs 4 corresponds to the position of the face or eyes detected in step S14. Specifically, referring to FIG. 3, when the driver's face is captured slightly above the front of the camera 5 by the camera 5, each of the two LED light sources 4 arranged on the left and right of the camera 5 Among the group of LED light sources 4, the LED light source group 41 arranged near the upper center of the housing 11 is specified as an LED group capable of emitting near-infrared light.
  • step S20 the LED light source group 41 specified by the light source specifying unit 7 in step S18 is turned on, the other light source groups 42 are turned off or dimmed, and the process proceeds to step S22.
  • step S22 the distance between the LED light source 4 and the driver is estimated from the photographed driver image, the output of the LED light source 4 is adjusted according to the estimated distance between the LED light source 4 and the driver, and the process returns to step S10. And return. More specifically, if the distance between the LED light source 4 and the driver is short, the light from the LED 4 may reach the driver while the light from the LED 4 is strong. It is desirable to make adjustments.
  • step S24 all the LED light sources 4 are turned on, and the process returns to step 10 to search for the driver's face or eyes from an image acquired in a state where a wide range is illuminated by the LED light source 4.
  • step S10 is taken by the camera 5 with the LED light source 4 not turned on.
  • the face image or eye detection fails in step 12 and a negative determination is made in step 14 described later, and the process proceeds to step S24. Since the LED light source 4 is turned on in the second and subsequent processes, there is no particular problem.
  • the LED light source 41 that does not illuminate the driver's face area is turned off or dimmed, so that the area unnecessary for driver monitoring is not illuminated. Power to be suppressed.
  • the LED group 41 that illuminates the driver's eye area is specified, and the other LED groups 42 are turned off or reduced. You may make it light.
  • the housing 11 of the driver monitoring device 1 including the plurality of LED light sources 4 is disposed on the steering column 2.
  • the present disclosure is not limited to this, and will be described below. You may make it provide the some LED light source 4 along with the inner side of the steering wheel 14 like 2nd Embodiment.
  • the lenses 4b may be arranged in a ring shape on the inner peripheral side of the steering wheel, and the LEDs 4a as the light sources may be provided inside the respective lenses 4b.
  • the LED light source group 41 that irradiates light to a region corresponding to the position of the driver's face or eyes needs to be determined according to the rotational position of the steering wheel 4.
  • the light source specifying unit 8 in the apparatus 13 also uses the rotation angle of the steering as an input parameter.
  • the driver's upper body seated in the driver's seat is photographed using the monocular near-infrared camera 5, and the driver and the light source are roughly estimated from the size of the driver's image photographed by the camera.
  • the imaging unit is a stereo camera having two near infrared cameras, and the distance between the driver and the camera is determined based on the stereoscopic parallax between the two near infrared cameras 5a and 5b.
  • the distance between the driver and the LED light source 41 is estimated from the positional relationship between the camera and the LED light source group 41 on the steering wheel 14 specified by the light source specifying unit 7 and the brightness of the LED light source 41 is adjusted according to the distance. You may do it.
  • the positional relationship between the camera and the LED light source group 41 on the steering wheel 14 specified by the light source specifying unit 7 may be stored in advance in a storage device.
  • the near-infrared camera 5 is used as the imaging unit, but a visible light camera such as a CCD camera can also be used.
  • the LED light source 4 including the LED 4a and the lens 4b is used as a plurality of light sources for illuminating the driver's face, the lens 4b does not necessarily have to be provided separately.
  • each LED light source 4 has a high directivity for irradiating light, and is arranged so that the irradiable areas are slightly different from each other while overlapping each other. As a result, a plurality of LEDs 4 are gathered and are seated in the driver's seat.
  • the driver's upper body be arranged so that the upper body of the driver can be illuminated substantially uniformly. In this way, even when irradiating the light from the LED light source toward a distant position, there is no need to forcibly spread and irradiate the light from a small number of LED light sources. Even if it exists, it becomes possible to illuminate a wide distant area by combining with the adjacent LED light source 4.
  • the above disclosure includes the following aspects.
  • the driver monitoring device includes a plurality of light sources that respectively emit light toward the driver's seat, an imaging unit provided at a position where the driver seated on the driver's seat can be photographed, and the imaging unit captures A driver detection unit that detects a position of the driver's face or eyes based on the image information obtained; and illuminates an area of the driver's face or eyes among the plurality of light sources based on a detection result of the driver detection unit
  • a light source identification unit that identifies a light source that can be controlled, and a light source control unit that controls the light source so that the light source identified by the light source identification unit is turned on and the other light sources are turned off or dimmed.
  • the light source that does not illuminate the driver's face or eye area is turned off or dimmed so that the area unnecessary for driver monitoring is not illuminated brightly.
  • the power consumed by the monitoring device can be kept low.
  • the driver monitoring apparatus may further include a distance detection unit that detects a distance between the light source and the driver.
  • the light source control unit adjusts the luminance of the light source based on the detection result of the distance detection unit. Therefore, when the distance between the light source and the driver is short, the light source is not unnecessarily brightened, and the power consumption consumed by the driver monitoring device can be further reduced.
  • the plurality of light sources may be mounted in a ring on the steering wheel.
  • the light source specifying unit acquires rotation information of the steering wheel and specifies a light source to be turned on based on the rotation information of the steering wheel.
  • each section is expressed as S10, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Toxicology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Molecular Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

　ドライバ監視装置は、運転席に向けてそれぞれ光を照射する複数の光源（４）と、前記運転席に着座するドライバを撮影できる位置に設けられた撮像部（５）と、前記撮像部が撮影した画像の情報に基づいて前記ドライバの顔または目の位置を検知するドライバ検知部（６）と、前記ドライバ検知部の検知結果に基づいて前記複数の光源のうちで前記ドライバの顔または目の領域を照らすことが可能な光源を特定する光源特定部（７）と、前記光源特定部が特定した前記光源を点灯し、その他の光源を消灯または減光するように前記光源を制御する光源制御部（８）とを備える。

Description

ドライバ監視装置 関連出願の相互参照
　本出願は、２０１４年７月３０日に出願された日本出願番号２０１４－１５４８５０号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両に搭載されるドライバ監視装置に関するものである。
　従来、ドライバの顔を撮影し、画像認識処理によって、顔向き、目の開き具合を検知し、警告／警報をドライバに与えるドライバ監視装置が知られている（例えば、特許文献１）。このドライバ監視装置において、ドライバの顔を照らす照明として近赤外線ＬＥＤを用いた場合、ドライバの顔全体を照らすために近赤外線ＬＥＤから発せられる光をレンズによって放射状に広げる等の工夫がなされていた。
　しかしながら、ドライバの顔はいつも同じ位置にあるとは限らず、ドライバの顔全体を常に照らそうとすると、ドライバの顔が存在し得る範囲をくまなく照らすために近赤外線ＬＥＤの光を広角レンズによって広範囲に広げて照射しておく必要があり、結果としてドライバの顔が存在しない領域も常に照らすために無駄に電力を消費してしまうという課題があった。
特開２０１３－１４６０３２号公報
　本開示は、消費電力を抑えることが可能なドライバ監視装置を提供することを目的とする。
　本開示の態様において、ドライバ監視装置は、運転席に向けてそれぞれ光を照射する複数の光源と、前記運転席に着座するドライバを撮影できる位置に設けられた撮像部と、前記撮像部が撮影した画像の情報に基づいて前記ドライバの顔または目の位置を検知するドライバ検知部と、前記ドライバ検知部の検知結果に基づいて前記複数の光源のうちで前記ドライバの顔または目の領域を照らすことが可能な光源を特定する光源特定部と、前記光源特定部が特定した前記光源を点灯し、その他の光源を消灯または減光するように前記光源を制御する光源制御部とを備える。
　上記の構成によれば、ドライバの顔が存在し得る範囲のうち、ドライバの顔または目の領域を照らさない光源を消灯または減光してドライバの監視に不要な領域まで明るく照らさなくなるため、ドライバ監視装置が消費する電力を低く抑えることが出来る。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、第１実施形態におけるドライバ監視装置の搭載位置を示す車両の断面模式図であり、 図２は、第１実施形態におけるドライバ監視装置の概観を示す斜視図であり、 図３は、第１実施形態におけるドライバ監視装置の制御装置の構成と、光源特定部で特定される光源とドライバの顔の位置との関係を示す図であり、 図４は、第１実施形態における制御装置が実行する制御の例を示したフローチャートであり、 図５は、第２実施形態における光源の配置位置を示す図である。
　以下、本開示の実施形態を図面に基づいて説明する。なお、各実形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態においての構成の一部のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することが出来る。また、各実施形態の説明において明示している構成の組み合わせばかりでなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることが出来る。
　（第１実施形態）
　図１は本実施形態におけるドライバ監視装置の搭載位置を示す車両の断面模式図である。本実施形態におけるドライバ監視装置１は、その筐体１１がステアリングコラム２の上に載置されており、該筐体１１の運転席側の端面には、運転席３に向けてそれぞれ光を照射する複数のＬＥＤ光源４が設けられている。
　図２は第１実施形態におけるドライバ監視装置１の筐体１１の概観を示す斜視図である。前述した複数のＬＥＤ光源４は、近赤外線カメラ５を挟んで筐体１１の運転席側端面の左右２箇所にそれぞれ集中して設けられている。近赤外線カメラ５は、ステアリングホイール１４のスポークの隙間からドライバの上半身を撮影可能な位置に設けられている撮像部である。複数のＬＥＤ光源４は、それぞれが発光部であるＬＥＤ４ａと、その前面に配置されたレンズ４ｂとから構成されている。尚、本実施形態におけるレンズ４ｂは、正面視で略正方形をなしており、縦横複数列格子状に並んで設けられている。また、本実施形態におけるＬＥＤ４ａは、レンズ４ｂの背面に配置され、レンズ４ｂを用いて指向性の高い照射光をドライバに向けて照射するものである。
　図３は第１実施形態におけるドライバ監視装置１の構成と、光源特定部７で特定される光源群４１とドライバの顔の位置との関係を説明するための図である。筐体１１の内部には、ドライバ監視装置１の制御装置１３が格納されている。制御装置１３は、近赤外線カメラ５から取得した画像に基づいてドライバの顔の位置または目の位置を検知するドライバ検知部６と、該ドライバ検知部６の検知結果に基づいて上述した複数のＬＥＤ光源４のうち、ドライバの顔または目の領域を照らすことが可能なＬＥＤ光源群４１を特定する光源特定部７と、光源特定部７が特定したＬＥＤ光源群４１を点灯し、その他の光源群４２を消灯または減光するように光源を制御する光源制御部８と、ドライバとＬＥＤ光源群４１との距離を検知する光源距離推定部９と、を実現する図示しない演算装置とメモリを備えている。
　また、図３に示すように、筐体１１の運転席側端面に左右二箇所に分かれてマトリックス状に集中配置されたＬＥＤ光源４は、それぞれドライバの顔を含む右側領域と、左側領域を分担して照らしており、ドライバが運転席に正しい姿勢で着座している場合、左右に分かれたマトリックス状のＬＥＤ光源４は、それぞれ中央上寄りの一部分が上述したドライバの顔または目の領域を照らすことが可能なＬＥＤ光源群４１となり、その他が消灯または減光される他のＬＥＤ光源群４２となる。
　次に、図４のフローチャートを用いて本実施形態における制御装置１３が実行する処理を説明する。制御装置１３は、まずステップＳ１０にて近赤外線カメラ５からドライバの顔を含むであろう運転席近傍を撮影した画像を取得し、ステップＳ１２へと進む。
　ステップＳ１２では、近赤外線カメラ５から取得した画像からドライバの顔の位置もしくは目の位置を検出し、ステップＳ１４へと進む。
　ステップＳ１４ではステップＳ１２でドライバの顔の位置もしくは目の位置を検出できかた否かを判定し、顔の位置もしくは目の位置を検出できと判定した場合はステップＳ１６へと進む。
　ステップＳ１６では、ステップＳ１４で検出した顔または目の位置から、ドライバの顔向き、瞼の開度、眠気、漫然度などのドライバの状態を推定し、必要に応じて図示しない警報装置によってドライバに対して警報や刺激を与える。ステップＳ１６におけるドライバ状態の推定およびドライバへの警報や刺激を与え終わると、ステップＳ１８へと進む。
　ステップＳ１８では、上述した複数のＬＥＤ４のうち、ステップＳ１４で検出した顔または目の位置に近赤外光を照射することが可能なＬＥＤ群４１を特定し、ステップＳ２０へと進む。具体的には、ステップＳ１４で検出した顔または目の位置が複数のＬＥＤ４の照射エリアのどの位置に対応しているのかを判定する。図３を例に具体的に説明すると、カメラ５によってドライバの顔がカメラ５の正面やや上方に捉えられた場合、カメラ５の左右に配置された２つのＬＥＤ光源４の集まりからすると、それぞれのＬＥＤ光源４の集まりのうち、筐体１１の上側中央寄りに配置されたＬＥＤ光源群４１が近赤外光を照射することが可能なＬＥＤ群として特定される。
　ステップＳ２０では、ステップＳ１８で光源特定部７が特定したＬＥＤ光源群４１を点灯し、その他の光源群４２を消灯または減光してステップＳ２２へと進む。
　ステップＳ２２では、撮影されたドライバの画像からＬＥＤ光源４とドライバとの距離を推定し、推定されたＬＥＤ光源４とドライバとの距離に応じてＬＥＤ光源４の出力を調整し、再びステップＳ１０へと戻る。より具体的には、ＬＥＤ光源４とドライバとの距離が近いとＬＥＤ４による光が強いままドライバに到達してしまう恐れがあるため、ＬＥＤ光源４とドライバとの距離が近いほどＬＥＤ４の出力を小さくするように調整することが望ましい。
　一方、上記ステップＳ１４で顔または目の位置が、検出できなかったと判定した場合はステップＳ２４へと進む。ステップＳ２４では、全てのＬＥＤ光源４を点灯させ、再びステップ１０へと戻り、広い範囲がＬＥＤ光源４で照らされた状態で取得した画像からドライバの顔または目を探索するようにする。
　尚、車両のアクセサリ電源がＯＮされた後、ドライバ監視装置１が起動して初めて図４の処理が実行された場合、初回のステップＳ１０はＬＥＤ光源４を点灯させていない状態でカメラ５が撮影した画像を取得するため、多くの場合はステップ１２で顔画または目の検出に失敗し、後述するステップ１４で否定判定がなされて、ステップＳ２４へと進むことになるが、図４の処理は繰り返し実行されるものであり、二回目以降の処理では、ＬＥＤ光源４が点灯されているため、特に問題は無い。
　上記のようにすれば、図３に示すようにドライバの顔の領域を照らさないＬＥＤ光源４１を消灯または減光することにより、ドライバの監視に不要な領域まで照らさなくなるため、ドライバ監視装置が消費する電力を抑えることが出来る。もちろん、ドライバの顔の領域全体を対象とする必要はなく、ドライバの目の位置を検知し、ドライバの目の領域を照らすＬＥＤ群４１を特定するようにし、その他のＬＥＤ群４２を消灯または減光するようにしてもよい。
　（第２実施形態）
　上記第１実施形態ではステアリングコラム２の上に複数のＬＥＤ光源４を備えるドライバ監視装置１の筐体１１を配置するようにしたが、本開示はこれに限定されるものではなく、以下に述べる第２実施形態のように、複数のＬＥＤ光源４をステアリングホイール１４の内側に並んで設けるようにしてもよい。具体的には、図５に示すように、ステアリングホイールの内周側にレンズ４ｂを環状に並べて配置し、それぞれのレンズ４ｂ内部に光源としてのＬＥＤ４ａを設けるようにすればよい。
　また、本実施形態では、ドライバの顔または目の位置に対応する領域に光を照射するＬＥＤ光源群４１は、ステアリングホイール４の回転位置に応じて決定される必要があり、本実施形態の制御装置１３における光源特定部８は、ステアリングの回転角度も入力パラメータとしている。
　また、上記第１実施形態では単眼の近赤外線カメラ５を用いて運転席に着座しているドライバの上半身を撮影するようにし、カメラが撮影したドライバの画像の大きさからドライバと光源とのおおよその距離を推測するようにしたが、第２実施形態では、撮像部を近赤外線カメラを２つ備えるステレオカメラとし、二つの近赤外線カメラ５ａと５ｂの立体視差に基づいてドライバとカメラの距離を推測し、カメラと光源特定部７で特定されたステアリングホイール１４上のＬＥＤ光源群４１との位置関係からドライバとＬＥＤ光源４１との距離を求め、距離に応じてＬＥＤ光源４１の輝度を調整するようにしてもよい。尚、カメラと光源特定部７で特定されたステアリングホイール１４上のＬＥＤ光源群４１との位置関係は、予め記憶装置に記憶しておけばよい。
　また、上記実施形態では撮像部として、近赤外線カメラ５を用いるようにしたが、例えばＣＣＤカメラのような可視光カメラを用いることもできる。また、ドライバの顔を照らす複数の光源としてＬＥＤ４ａとレンズ４ｂとからなるＬＥＤ光源４を用いるようにしたが、必ずしもレンズ４ｂを別体として備えている必要はない。また、各ＬＥＤ光源４は、照射する光が高い指向性を持ち、かつ照射可能な領域それぞれが僅かながら互いに重複しつつ異なるように配置された結果、複数のＬＥＤ４が集まって、運転席に着座するドライバの上半身を略均一に照らすことができるように配置されていることが望ましい。このようにすれば、離れた位置に向けてＬＥＤ光源の光を照射する際も、少ないＬＥＤ光源の光を無理やり広げて照射する必要がなく、個々のＬＥＤ光源４の光が低い輝度の光であっても隣接するＬＥＤ光源４と合わさることで、遠く離れた広いエリアを照らすことが可能となる。
　上記の開示は、下記の態様を含む。
　本開示の態様において、ドライバ監視装置は、運転席に向けてそれぞれ光を照射する複数の光源と、前記運転席に着座するドライバを撮影できる位置に設けられた撮像部と、前記撮像部が撮影した画像の情報に基づいて前記ドライバの顔または目の位置を検知するドライバ検知部と、前記ドライバ検知部の検知結果に基づいて前記複数の光源のうちで前記ドライバの顔または目の領域を照らすことが可能な光源を特定する光源特定部と、前記光源特定部が特定した前記光源を点灯し、その他の光源を消灯または減光するように前記光源を制御する光源制御部とを備える。
　上記の構成によれば、ドライバの顔が存在し得る範囲のうち、ドライバの顔または目の領域を照らさない光源を消灯または減光してドライバの監視に不要な領域まで明るく照らさなくなるため、ドライバ監視装置が消費する電力を低く抑えることが出来る。
　代案として、ドライバ監視装置は、前記光源と前記ドライバとの距離を検知する距離検知部を更に備えてもよい。前記光源制御部は、前記距離検知部の検知結果に基づいて前記光源の輝度を調整する。これにより、光源とドライバとの距離が近い場合に、不必要に光源を明るくすることがなくなり、ドライバ監視装置が消費する消費電力を更に低減させることができる。
　代案として、前記複数の光源はステアリングホイールに環状に並んで搭載されていてもよい。前記光源特定部は、ステアリングホイールの回転情報を取得し、該ステアリングホイールの回転情報に基づいて、点灯させる光源を特定する。これにより、ドライバ監視装置の消費電力を低減しつつ、複数の光源をステアリングホイールに搭載することでステアリングコラム上に配置されるドライバ監視装置の筐体を小型化することが可能となる。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１０と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (3)

  1. 　運転席に向けてそれぞれ光を照射する複数の光源（４）と、
    　前記運転席に着座するドライバを撮影できる位置に設けられた撮像部（５）と、
    　前記撮像部が撮影した画像の情報に基づいて前記ドライバの顔または目の位置を検知するドライバ検知部（６）と、
    　前記ドライバ検知部の検知結果に基づいて前記複数の光源のうちで前記ドライバの顔または目の領域を照らすことが可能な光源を特定する光源特定部（７）と、
    　前記光源特定部が特定した前記光源を点灯し、その他の光源を消灯または減光するように前記光源を制御する光源制御部（８）と、
    　を備えるドライバ監視装置。
  2. 　前記光源と前記ドライバとの距離を検知する距離検知部（９）を更に備え、
    　前記光源制御部は、前記距離検知部の検知結果に基づいて前記光源の輝度を調整する請求項１に記載のドライバ監視装置。
  3. 　前記複数の光源はステアリングホイール（１４）に環状に並んで搭載されており、
    　前記光源特定部は、ステアリングホイールの回転情報を取得し、該ステアリングホイールの回転情報に基づいて、点灯させる光源を特定する請求項１または２に記載のドライバ監視装置。
     
     
PCT/JP2015/003511 2014-07-30 2015-07-10 ドライバ監視装置 Ceased WO2016017087A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/306,596 US20170046582A1 (en) 2014-07-30 2015-07-10 Driver monitor device
DE112015003459.5T DE112015003459T5 (de) 2014-07-30 2015-07-10 Fahrerüberwachungsvorrichtung
CN201580016407.6A CN106134175A (zh) 2014-07-30 2015-07-10 驾驶员监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014154850A JP2016032257A (ja) 2014-07-30 2014-07-30 ドライバ監視装置
JP2014-154850 2014-07-30

Publications (1)

Publication Number Publication Date
WO2016017087A1 true WO2016017087A1 (ja) 2016-02-04

Family

ID=55217013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003511 Ceased WO2016017087A1 (ja) 2014-07-30 2015-07-10 ドライバ監視装置

Country Status (5)

Country Link
US (1) US20170046582A1 (ja)
JP (1) JP2016032257A (ja)
CN (1) CN106134175A (ja)
DE (1) DE112015003459T5 (ja)
WO (1) WO2016017087A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12602982B2 (en) 2020-12-18 2026-04-14 Itron, Inc. Network edge detection and notification of gas pressure situation

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369364B (zh) 2015-11-10 2021-07-16 亮锐控股有限公司 自适应光源
CN116269262A (zh) * 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息检测装置、生物体信息检测方法及存储介质
JP6857841B2 (ja) * 2017-01-24 2021-04-14 パナソニックＩｐマネジメント株式会社 ドライバ監視装置、車両、ドライバ監視方法およびプログラム
WO2018165384A1 (en) * 2017-03-10 2018-09-13 Gentex Corporation Imaging system and method for vehicle occupant indentification and monitoring
JP6737213B2 (ja) * 2017-03-14 2020-08-05 オムロン株式会社 運転者状態推定装置、及び運転者状態推定方法
JP7005933B2 (ja) * 2017-05-09 2022-01-24 オムロン株式会社 運転者監視装置、及び運転者監視方法
JP6786451B2 (ja) * 2017-05-19 2020-11-18 矢崎総業株式会社 監視システム
JP6756326B2 (ja) * 2017-11-09 2020-09-16 株式会社デンソー 状態検出装置
JP6669182B2 (ja) * 2018-02-27 2020-03-18 オムロン株式会社 乗員監視装置
JP7101574B2 (ja) * 2018-09-12 2022-07-15 三菱電機株式会社 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置
JP6894880B2 (ja) * 2018-11-07 2021-06-30 矢崎総業株式会社 監視システム
DE102019202020B4 (de) 2019-02-15 2022-05-25 Hyundai Motor Company Lenksteuervorrichtung mit einem Anzeigeleuchtensystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Anzeigeleuchtensystems einer Lenksteuervorrichtung
CN112026642A (zh) * 2020-08-13 2020-12-04 恒大新能源汽车投资控股集团有限公司 智能汽车的车内灯控制方法、装置、系统、设备及存储介质
US11527081B2 (en) * 2020-10-20 2022-12-13 Toyota Research Institute, Inc. Multiple in-cabin cameras and lighting sources for driver monitoring
JP7509157B2 (ja) * 2022-01-18 2024-07-02 トヨタ自動車株式会社 ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法
EP4663481A4 (en) * 2023-02-09 2026-04-29 Samsung Electronics Co Ltd Electronic device for controlling the brightness of an infrared light in a vehicle, and method of operation thereof
DE102024129582A1 (de) 2024-10-14 2026-04-16 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Kraftfahrzeug und Verfahren zum Betreiben eines Fahrassistenzsystems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340000A (ja) * 2005-06-01 2006-12-14 Fujifilm Holdings Corp 撮影装置
JP2009200718A (ja) * 2008-02-20 2009-09-03 Toyota Motor Corp 撮像装置
JP2011042179A (ja) * 2007-11-15 2011-03-03 Toyota Motor Corp 投光器制御装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4380412B2 (ja) * 2004-05-10 2009-12-09 株式会社デンソー 撮像制御装置及びプログラム
JP4252938B2 (ja) * 2004-07-07 2009-04-08 株式会社デンソー 車両の車室照明装置
DE602007003682D1 (de) * 2007-01-26 2010-01-21 Bomisa S P A Abdeckung für fahrzeuglenkrad
JP5040776B2 (ja) * 2008-03-31 2012-10-03 アイシン精機株式会社 撮像装置
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
JP2012247527A (ja) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd 撮像装置
JP5366028B2 (ja) * 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
JP2013146032A (ja) * 2012-01-16 2013-07-25 Denso Corp ドライバモニタシステム及びその処理方法
US9573598B2 (en) * 2012-10-05 2017-02-21 Koninklijke Philips N.V. Detection system using photo-sensors
CN104755354B (zh) * 2012-10-23 2019-12-06 Tk控股公司 转向盘灯条
US9481297B2 (en) * 2013-11-21 2016-11-01 Ford Global Technologies, Llc Illuminated steering assembly
JP2015150073A (ja) * 2014-02-12 2015-08-24 キヤノン株式会社 眼科撮影装置、その制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340000A (ja) * 2005-06-01 2006-12-14 Fujifilm Holdings Corp 撮影装置
JP2011042179A (ja) * 2007-11-15 2011-03-03 Toyota Motor Corp 投光器制御装置
JP2009200718A (ja) * 2008-02-20 2009-09-03 Toyota Motor Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12602982B2 (en) 2020-12-18 2026-04-14 Itron, Inc. Network edge detection and notification of gas pressure situation

Also Published As

Publication number Publication date
JP2016032257A (ja) 2016-03-07
DE112015003459T5 (de) 2017-04-13
US20170046582A1 (en) 2017-02-16
CN106134175A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
WO2016017087A1 (ja) ドライバ監視装置
US10922568B2 (en) Driver monitoring apparatus and method for controlling illuminator thereof
US10912176B2 (en) Vehicle lamp
EP2295292A1 (en) Lighting device foe vehicle and lighting method
KR102549130B1 (ko) 적응형 후진 라이트를 갖는 차량 비전 시스템
US8830324B2 (en) Vehicle monitoring camera and vehicle monitoring camera system
JP6265183B2 (ja) 車両用前照灯装置
US8890946B2 (en) Systems and methods for spatially controlled scene illumination
EP2995241B1 (en) Pupil detection light source device, pupil detection device and pupil detection method
EP3462237B1 (en) Camera module
US11200408B2 (en) Biometric imaging system and method for controlling the system
US20230246049A1 (en) Light detection device
JP7570769B2 (ja) インキャビンモニタリングシステム
EP3605497A1 (en) Illumination image capture device
JP5206190B2 (ja) ドライバー監視装置
JP6322723B2 (ja) 撮像装置および車両
US20200304700A1 (en) Vehicle monitoring system
KR20160148090A (ko) 헤드램프 장치 및 그 조명 제어 방법
JP2023041097A (ja) 検出システム
JP6760871B2 (ja) 画像認識システム及び照明装置
JP2021002181A (ja) 検出システム
JP2016088281A (ja) 操作入力装置
KR20160031173A (ko) 카메라용 조명장치 및 조명방법
KR20170091216A (ko) 배경 조명과 기준점 조명을 이용한 비착용형 원거리 시선추적 시스템
KR20150108590A (ko) 차량의 미러 제어장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15828317

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15306596

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015003459

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15828317

Country of ref document: EP

Kind code of ref document: A1