WO2019097677A1 - 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム - Google Patents

撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム Download PDF

Info

Publication number
WO2019097677A1
WO2019097677A1 PCT/JP2017/041496 JP2017041496W WO2019097677A1 WO 2019097677 A1 WO2019097677 A1 WO 2019097677A1 JP 2017041496 W JP2017041496 W JP 2017041496W WO 2019097677 A1 WO2019097677 A1 WO 2019097677A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
driver
recognition degree
imaging mode
narrow area
Prior art date
Application number
PCT/JP2017/041496
Other languages
English (en)
French (fr)
Inventor
聡一 永野
敬 平野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/041496 priority Critical patent/WO2019097677A1/ja
Publication of WO2019097677A1 publication Critical patent/WO2019097677A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an imaging control apparatus, an imaging control method, and a driver monitoring system including the imaging control apparatus.
  • a camera is provided in front of the driver seated on the driver's seat of the vehicle to capture an image of the driver from the front, and a first image obtained by imaging the interior of the vehicle just before the driver sits on the driver seat by the camera
  • First image capturing means to be incorporated into the device
  • second image capturing means to capture into a storage device a second image obtained by imaging the driver seated on the driver's seat by the camera
  • first and second image capturing means Image difference calculation means for calculating the difference image of the first and second images, and an area within the image area of the camera, which corresponds to the difference image calculated by the image difference calculation means, is registered as the driver's face reference position
  • the face reference position registration means and the face reference position registration means register the face reference position registration means in the image captured by the camera after the time when the face reference position registration means registered the reference position.
  • Face identification means for identifying the driver's face based on the driver's face reference position, eye identification means for identifying the eyes in the driver face identified by the face identification means, and eye identification means
  • a vehicle driver's gaze detection apparatus provided with a gaze detection unit that detects a gaze from the specified driver's eyes (Patent Document 1 below).
  • the present invention has been made to solve the above-described problems, and provides an imaging control device that suppresses a decrease in the degree of recognition of the driver's eyes even when the direction of the driver's face changes. With the goal.
  • the imaging control apparatus comprises an image acquisition unit for acquiring each image taken by a plurality of imaging devices for imaging the driver's face, a recognition degree calculation unit for calculating the recognition degree from each image, and And an imaging mode switching unit configured to switch an imaging mode of at least one imaging device of the plurality of imaging devices to a narrow area imaging mode in which an area around the driver's eyes is enlarged and imaged based on the recognition degree of the image.
  • the imaging device with the highest degree of recognition of the driver's eyes among the plurality of imaging devices specializes in imaging the vicinity of the driver's eyes It is possible to reduce the recognition rate of the driver's eyes.
  • the present invention it is possible to suppress a decrease in the degree of recognition of the driver's eyes due to a change in the direction of the driver's face.
  • FIG. 1 is a schematic view of a vehicle provided with a driver monitoring system 30 according to Embodiment 1 of the present invention. It is a block diagram which shows the structure of the driver monitoring system 30 which concerns on Embodiment 1 of this invention. It is a figure of an example which captures an eye enlarged image in narrow field imaging mode.
  • 4A and 4B are diagrams showing an example of a hardware configuration of an imaging control apparatus according to Embodiment 1 of the present invention.
  • 7 is a flowchart showing an operation of imaging mode switching processing of the imaging control device 40 according to Embodiment 1.
  • Embodiment 1 An imaging control apparatus according to the present embodiment will be described with reference to FIGS. 1 and 2. In the present embodiment, an example in which the driver monitoring system 30 including the imaging control device is mounted on the vehicle 1 will be described.
  • FIG. 1 is a schematic view of a vehicle provided with a driver monitoring system 30 according to a first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the driver monitoring system 30 according to the first embodiment.
  • a vehicle 1 according to the present embodiment includes a first imaging device 10, a second imaging device 20, a driver monitoring system 30, and an alarm device 60.
  • the driver monitoring system 30 includes an imaging control device 40 and a state determination device 50.
  • the driver monitoring system 30 is connected to the first imaging device 10, the second imaging device 20, and the alarm device 60.
  • the imaging control device 40 includes an image acquisition unit 41, a recognition degree calculation unit 42, and an imaging mode switching unit 43.
  • a configuration using two imaging devices, the first imaging device and the second imaging device is described to simplify the description, but two or more imaging devices may be used. .
  • the first imaging device 10 is provided in front of the driver's seat in the vehicle 1 so as to image the entire face of the driver from the front.
  • the second imaging device 20 is provided obliquely in front of the driver's seat in the vehicle 1 so as to image the entire face of the driver obliquely from the front.
  • Each of the first imaging device 10 and the second imaging device 20 has an imaging range changing mechanism, and the area around the eyes of the driver is enlarged from the normal mode for imaging the entire face of the driver with high accuracy It is possible to switch to the narrow area imaging mode.
  • the imaging range changing mechanism has a structure for changing the distance between the lenses of the imaging device, changing the curvature of the lens of the imaging device, switching to lenses with different magnifications, etc. 1 Change the imaging range of the imaging device 10 and the second imaging device 20.
  • the installation positions of the first imaging device 10 and the second imaging device 20 described above are an example, and the first imaging device 10 and the second imaging device 20 capture the entire face of the driver from different angles. It should just be installed as you do.
  • the image acquisition unit 41 acquires an image (first image) captured by the first imaging device 10 and an image (second image) captured by the second imaging device 20, and outputs the acquired image to the recognition degree calculation unit 42.
  • the recognition degree calculation unit 42 determines whether or not the driver's eyes can be detected from the first image and the second image input from the image acquisition unit 41. If the driver's eyes can be detected, the driver can The degree of recognition is calculated from the image that can be detected by On the other hand, if the driver's eyes can not be detected, the recognition degree is set to zero.
  • the recognition degree is an index indicating the photographing accuracy of the driver's eyes and face, and indicates that the higher the recognition degree, the more accurately the driver's eyes and face are imaged. Then, the recognition degree information in which the recognition degree and the information capable of specifying the imaging device are linked is output to the imaging mode switching unit 43 and the state determination device 50.
  • the recognition degree calculation unit 42 detects an eye of the driver from each of the first image and the second image, and extracts an image (eye image) of the eye of the driver. Furthermore, the recognition degree calculation unit 42 performs matching processing with the eye image and the template image of the eye registered in advance, and calculates the similarity between the eye image and the template image as the recognition degree. As described above, by determining the similarity between the eye image and the template image as the recognition degree, it is determined which of the first imaging device 10 and the second imaging device 20 is imaging the driver's eyes with high accuracy.
  • the method of setting the degree of recognition does not have to be a method using the degree of similarity with the template image, and may be set, for example, from the relationship between the imaging device and the face direction angle or the luminance value.
  • the face direction angle of the driver in the left and right direction is calculated from the first image and the second image, and the face direction angle is 0 degrees, that is, the image capturing the face of the driver from the front
  • the device may be set to recognition degree 100, and the recognition degree may be set so that the recognition degree is set lower as the face direction angle is larger, or the image may be blackened from the luminance values of the first image and the second image, Overexposure is detected, and if there is no overexposure or underexposure in the image, the recognition level is set to 100, and if the overexposure or overexposure ratio in the image is larger, the recognition level is set to be lower It may be a method. As described above, when the recognition degree is calculated based on the face direction or the luminance value of the image, it is
  • FIG. 3 is a diagram of an example of capturing an eye enlarged image in the narrow area imaging mode.
  • the imaging mode switching unit 43 compares the recognition degrees of the first imaging device 10 and the second imaging device 20, and the one with a high degree of recognition of the driver's eyes The image pickup device is switched to the narrow area image pickup mode, and an image (eye enlarged image) in which the driver's eyes are enlarged as shown in FIG. 3 is taken.
  • the imaging mode switching unit 43 switches the imaging device with the highest degree of recognition to the narrow area imaging mode.
  • the above-mentioned imaging mode switching condition is an example, and for example, a threshold is set in advance, and the imaging device with the highest degree of recognition among the imaging devices whose recognition degree exceeds the threshold is switched to the narrow area imaging mode You may do so.
  • the threshold value for the switching condition of the imaging mode it becomes possible to switch only the imaging device having a higher degree of recognition to the narrow area imaging mode.
  • the imaging mode switching unit 43 terminates the narrow area imaging mode and sets the normal mode for imaging the entire face of the driver when the recognition degree of the imaging device in the narrow area imaging mode becomes equal to or less than a preset threshold. Switch.
  • the recognition degree of the imaging apparatus in the narrow area imaging mode is The narrow area imaging mode may be ended when the recognition level of the imaging apparatus other than the imaging apparatus in the narrow area imaging mode is lower.
  • it is always determined by comparing the recognition degree of the imaging device in the narrow-range imaging mode with the recognition degree of the imaging device It becomes possible to image an imaging device with the highest degree of recognition in the narrow area imaging mode.
  • the state determination device 50 detects the driver's visual state (the sight line) from the image captured by the imaging device with the higher recognition degree (the imaging device in the narrow area imaging mode).
  • the driver's face direction is detected from an image captured by an imaging device other than the imaging device in the narrow area imaging mode.
  • the driver state is determined.
  • the driver state is determined using only the face direction of the driver.
  • the state determination device 50 can control the operation status (gear position, speed, steering wheel angle, direction) of the vehicle 1 on which the driver is boarding from OBD (On-board Diagnosis) or the like via CAN (Controller Area Network) or the like.
  • the vehicle operation information indicating the instruction etc.) is acquired. Then, based on the driver's state and the vehicle operation information, it is determined whether or not the driver needs to be warned, and if warning is necessary, the alarm device 60 is notified that the driver is in a drowsy state or a look-ahead state.
  • the alarm device 60 receives a notification from the state determination device 50 that the driver is in a sleep state or a look-ahead state, the alarm device 60 warns the driver by voice or video.
  • FIG. 4A and 4B are diagrams showing an example of the hardware configuration of the imaging control apparatus 40.
  • Each function of the image acquisition unit 41, the recognition degree calculation unit 42, and the imaging mode switching unit 43 in the imaging control device 40 is realized by a processing circuit. That is, the imaging control device 40 includes a processing circuit for realizing the respective functions.
  • the processing circuit may be the processing circuit 100a which is dedicated hardware as shown in FIG. 4A, or may be the processor 100b executing a program stored in the memory 100c as shown in FIG. 4B. Good.
  • the processing circuit 100a includes, for example, a single circuit, a composite circuit, and a programmed processor. , A processor programmed in parallel, an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA), or a combination thereof.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the functions of the image acquiring unit 41, the recognition degree calculating unit 42, and the imaging mode switching unit 43 may be implemented by processing circuits, or the functions of the components may be implemented by a single processing circuit.
  • the functions of the respective units are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 100c.
  • the processor 100 b reads out and executes the program stored in the memory 100 c to realize each function of the image acquisition unit 41, the recognition degree calculation unit 42, and the imaging mode switching unit 43. That is, the image acquisition unit 41, the recognition degree calculation unit 42, and the imaging mode switching unit 43 store a program that results in execution of each step shown in FIG. 5 described later when executed by the processor 100b. And a memory 100c for the purpose. Also, it can be said that these programs cause a computer to execute the procedures or methods of the image acquisition unit 41, the recognition degree calculation unit 42, and the imaging mode switching unit 43.
  • the processor 100 b refers to, for example, a central processing unit (CPU), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a digital signal processor (DSP).
  • the memory 100c may be, for example, a nonvolatile or volatile semiconductor memory such as a random access memory (RAM), a read only memory (ROM), a flash memory, an erasable programmable ROM (EPROM), or an electrically EPROM (EEPROM). It may be a hard disk, a magnetic disk such as a flexible disk, or an optical disk such as a mini disk, a CD (Compact Disc), a DVD (Digital Versatile Disc), or the like.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically EPROM
  • It may be a hard disk, a magnetic disk such as a flexible disk, or an optical disk such as a mini disk, a CD (
  • the functions of the image acquisition unit 41, the recognition degree calculation unit 42, and the imaging mode switching unit 43 may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the processing circuit 100 a in the imaging control device 40 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 5 is a flowchart showing the operation of the imaging mode switching process of the imaging control apparatus 40 according to the first embodiment.
  • the image acquisition unit 41 acquires the first and second images captured by the first imaging device 10 and the second imaging device 20 (step ST1).
  • the recognition degree calculation unit 42 determines whether or not the driver's eyes can be detected from the first image or the second image input from the image acquisition unit 41 (step ST2), and both the first image and the second image are detected. If the driver's eyes can not be detected from the image of (step ST2; NO), the process returns to step ST1. On the other hand, if the driver's eyes can be detected from at least one of the first image and the second image (step ST2: YES), the recognition degree is calculated from the first image and the second image (step ST3).
  • the recognition degree of the imaging device which can not detect the driver's eyes is set to zero.
  • the imaging mode switching unit 43 determines whether the first imaging device or the second imaging device is in the narrow area imaging mode (step ST4), and if the first imaging device and the second imaging device are in the normal mode (step ST4) NO), compare the recognition degree of the first imaging device with the recognition degree of the second imaging device (step ST5), and if the recognition degree of the first imaging device is higher than the recognition degree of the second imaging device, the first imaging The imaging mode of the apparatus is switched to the narrow area imaging mode (step ST5; YES), and the process returns to step ST1. On the other hand, if the recognition degree of the second imaging device is higher than the recognition degree of the first imaging device (step ST5; NO), the imaging mode of the second imaging device is switched to the narrow area imaging mode (step ST7). Return to processing.
  • the imaging mode switching unit 43 determines whether the narrow area imaging mode end condition is satisfied. (Step ST8).
  • the end condition of the narrow area imaging mode is that the recognition degree of the imaging device in the narrow area imaging mode becomes equal to or less than a preset threshold described above, or the recognition area of the narrow area imaging mode is narrower than the recognition degree The degree of recognition other than the degree of recognition of the imaging device in the imaging mode is high. If the termination condition of the narrow area imaging mode is not satisfied (step ST8; NO), the process returns to step ST1.
  • step ST8 when the termination condition of the narrow area imaging mode is satisfied (step ST8; YES), the imaging mode switching unit 43 ends the narrow area imaging mode of the imaging device in the narrow area imaging mode and switches to the normal mode ( Step ST9) Return to the process of step ST1.
  • SYMBOLS 1 vehicle 10 1st imaging device, 20 2nd imaging device, 30 driver monitoring system, 40 imaging control device, 41 image acquisition part, 42 recognition degree calculation part, 43 imaging mode switching part, 50 state determination device, 60 alarm device , 100a processing circuit, 100b processor, 100c memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

上記従来例おいては、運転者の顔の向きの変化によって、運転者の目の認識度が低下する。この発明は運転者の顔の向きが変化した場合でも、複数の撮像装置のうち、最も運転者の目の認識度の高い撮像装置で、運転者の目の付近を特化して撮像することが可能となり、運転者の目の認識度が低下するのを抑制できる。

Description

撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム
　この発明は、撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステムに関する。
　従来、車両の運転シートに着座した運転者の前方に設けられて同運転者を正面から撮像するカメラと、運転者が前記運転シートに着座する直前の車内をカメラによって撮像した第１画像を記憶装置に取り込む第１画像取り込み手段と、運転シートに着座した運転者をカメラによって撮像した第２画像を記憶装置に取り込む第２画像取り込み手段と、第１及び第２画像取り込み手段によってそれぞれ取り込まれた第１及び第２画像の差分画像を算出する画像差分算出手段と、カメラの画像領域内であって画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録する顔基準位置登録手段と、顔基準位置登録手段が基準位置を登録した時点以降にカメラにより撮像した画像内に顔基準位置登録手段により登録された運転者の顔の基準位置に基づいて運転者の顔を特定する顔特定手段と、顔特定手段により特定された運転者の顔内に目を特定する目特定手段と、目特定手段により特定された運転者の目からの視線を検出する視線検出手段と、を備えた車両運転者の視線検出装置が存在する(下記特許文献1)。
特開２００４－２８７８４５号公報
　しかしながら、上記従来例おいては、運転者の顔の向きによって、運転者の目の認識度が低下するという問題点がある。
　この発明は上記した問題点を解決するためになされたものであり、運転者の顔の向きが変化した場合においても、運転者の目の認識度の低下を抑制する撮像制御装置を提供することを目的とする。
　この発明に係る撮像制御装置は、運転者の顔を撮像する複数の撮像装置が撮像する各々の画像を取得する画像取得部と、各々の画像から認識度を算出する認識度算出部と、各々の画像の認識度に基づいて複数の撮像装置の少なくとも1つの撮像装置の撮像モードを運転者の目の周辺を拡大して撮像する狭域撮像モードに切り替える撮像モード切替部と、を備える。
上記構成では、運転者の顔の向きが変化した場合でも、複数の撮像装置のうち、最も運転者の目の認識度の高い撮像装置で、運転者の目の付近を特化して撮像することが可能となり、運転者の目の認識率が低下するのを抑制することができる。
　この発明によれば、運転者の顔の向きの変化による運転者の目の認識度の低下を抑制することができる。
この発明の実施の形態１に係るドライバモニタリングシステム３０を備えた車両の模式図である。 この発明の実施の形態１に係るドライバモニタリングシステム３０の構成を示すブロック図である。 狭域撮像モードで目拡大画像を撮像する一例の図である。 図４Ａ及び図４Ｂは、この発明の実施の形態１に係る、撮像制御装置のハードウェア構成例を示す図である。 実施の形態１に係る撮像制御装置４０の撮像モード切替処理の動作を示すフローチャートである。
　以下、この発明を実施するための形態について、図面を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
実施の形態1
　本実施の形態に係る撮像制御装置について、図1及び図2を用いて説明する。なお、本実施の形態では、当該撮像制御装置を含むドライバモニタリングシステム３０が車両１に搭載される例について説明する。
　図１は実施の形態１に係るドライバモニタリングシステム３０を備えた車両の模式図である。図２は実施の形態１に係わるドライバモニタリングシステム３０の構成を示すブロック図である。図１及び図２に示すように、本実施の形態に係る車両１は、第１撮像装置１０と、第２撮像装置２０と、ドライバモニタリングシステム３０と、警報装置６０を備えている。
ドライバモニタリングシステム３０は、撮像制御装置４０と、状態判定装置５０を備えている。また、ドライバモニタリングシステム３０は、第１撮像装置１０と、第２撮像装置２０と、警報装置６０に接続されている。そして、撮像制御装置４０は、画像取得部４１、認識度算出部４２、撮像モード切替部４３を備えている。
なお、本実施の形態においては、説明を簡略化するために第１撮像装置と第２撮像装置の２つの撮像装置を用いる構成について説明するが、撮像装置を２つ以上用いる構成にしてもよい。
　第１撮像装置１０は、運転者の顔全体を正面から撮像するように車両１内の運転席の正面に設けられている。第２撮像装置２０は、運転者の顔全体を斜め前方から撮像するように車両１内の運転席の斜め前方に設けられている。
　第１撮像装置１０及び第２撮像装置２０は、それぞれ撮像範囲変更機構を有しており、運転者の顔全体を撮像する通常モードから運転者の目周辺の領域を拡大して高精度に撮像する狭域撮像モードに切り替えが可能である。撮像範囲変更機構は、撮像装置のレンズ間の距離の変更、撮像装置のレンズの曲率の変更、または、異なる倍率のレンズへの切り替え等を実施する構造を備えており、当該構造を用いて第1撮像装置１０及び第2撮像装置２０の撮像範囲の変更を行う。
ここで、上記で説明した第1撮像装置１０及び第２撮像装置２０の設置位置は一例であり、第1撮像装置１０及び第２撮像装置２０は、互いに異なる角度から運転者の顔全体を撮像するように設置されていればよい。
　次に、撮像制御装置４０の各構成について説明する。
　画像取得部４１は、第１撮像装置１０が撮像した画像（第１画像）及び第２撮像装置２０が撮像した画像（第２画像）を取得し、取得した画像を認識度算出部４２に出力する。
認識度算出部４２は、画像取得部４１から入力された第1画像及び第２画像から、運転者の目を検出可能か否か判定し、運転者の目が検出可能であれば、運転者の目が検出可能な画像から認識度を算出する。一方、運転者の目が検出不可能であれば、認識度が０と設定される。認識度は、運転者の目や顔の撮影精度を示す指標であり、認識度が高いほど運転者の目や顔を精度よく撮像していることを示すものである。そして、当該認識度と撮像装置を特定可能な情報とを紐付けた認識度情報を、撮像モード切替部４３及び状態判定装置５０に出力する。
　以下、認識度算出方法について具体的に説明する、
認識度算出部４２は、第1画像及び第2画像の各画像から、運転者の目を検出し、運転者の目の画像（目画像）を抽出する。さらに、認識度算出部４２は、当該目画像と予め登録されている目のテンプレート画像とマッチング処理を行い、目画像とテンプレート画像との類似度を認識度として算出する。このように、目画像とテンプレート画像の類似度を認識度とすることで、第１撮像装置１０及び第２撮像装置２０の内どちらが運転者の目を精度よく撮像しているかを判定する。
　また、認識度の設定方法は、テンプレート画像との類似度を用いる方法でなくてもよく、例えば、撮像装置と顔向き角度の関係や輝度値から設定しても良い。具体的には、例えば、第１画像及び第２画像から、運転者の左右方向の顔向き角度を算出し、顔向き角度が０度、つまり、運転者の顔を正面から撮像している撮像装置を認識度１００に設定し、顔向き角度が大きいほど認識度を低く設定するような認識度の設定方法にしてもよいし、第１画像及び第２画像の輝度値から画像の黒とび、白とびを検出し、画像中の黒とび、白とびがなければ認識度を１００に設定し、画像中の白とび、黒飛びの割合が大きいほど認識度を低く設定するような認識度の設定方法にしてもよい。このように、顔向きや画像の輝度値によって認識度を算出する場合は、予めテンプレート画像を登録しておく必要がなく、簡易な構成で認識度の算出を行うことが可能となる。
　次に、撮像モード切替部４３について図３を用いて説明する。
　図3は狭域撮像モードで目拡大画像を撮像する一例の図である。
　撮像モード切替部４３は、認識度算出部４２から認識度情報が入力されると、第1撮像装置１０と第２撮像装置２０の認識度を比較し、運転者の目の認識度の高い方の撮像装置を狭域撮像モードに切り替え、図3のように運転者の目を拡大した画像（目拡大画像）を撮像させる。もし、第1撮像装置１０と第２撮像装置２０の認識度がどちらも０（目を検出不可能）の場合は、第1撮像装置１０と第２撮像装置２０を共に通常モードで撮像を行わせる。
　また、撮像装置を2つよりも多く備える構成とした場合には、撮像モード切替部４３は、最も認識度が高い撮像装置を狭域撮像モードに切り替える。
　なお、上記の撮像モードの切り替え条件は一例であり、例えば、予め閾値を設定しておき、認識度が閾値を超えた撮像装置の中で最も認識度が高い撮像装置を狭域撮像モードに切り替えるようにしてもよい。このように、撮像モードの切り替え条件に閾値を設けることで、より認識度の高い撮像装置のみを狭域撮像モードに切り替えることが可能となる。
　さらに、撮像モード切替部４３は、狭域撮像モードの撮像装置の認識度が予め設定した閾値以下となった場合は、狭域撮像モードを終了し、運転者の顔全体を撮像する通常モードに切り替える。
なお、上記のように狭域撮像モードの撮像装置の認識度が閾値以下となった場合に狭域撮像モードを終了させるのは一例であり、例えば、狭域撮像モードの撮像装置の認識度が狭域撮像モードの撮像装置以外の撮像装置の認識度より低くなった場合に、狭域撮像モードを終了するようにしてもよい。このように、狭域撮像モードの撮像装置の認識度と狭域撮像モードの撮像装置以外の撮像装置の認識度との比較によって狭域撮像モードを終了するか否かを決定する場合は、常に認識度が最も高い撮像装置を狭域撮像モードで撮像させることが可能となる。
　次に、状態判定装置５０、警報装置６０について説明する。
　状態判定装置５０は、視線検出部４１から認識度情報が入力されると、認識度が高い方の撮像装置（狭域撮像モードの撮像装置）の撮像する画像から運転者の視覚状態（視線の方向、目の開眼度等）を検出し、狭域撮像モードの撮像装置以外の撮像装置の撮像する画像から運転者の顔向きを検出する。そして、検出結果に基づいて、運転者状態（居眠り、脇見等）を判定する。
なお、狭域撮像モードの撮像装置が存在しない場合は、運転者の顔向きのみを用いて運転者状態を判定する。
さらに、状態判定装置５０は、ＯＢＤ（On-board Diagnosis）等から、ＣＡＮ（Controller Area Network）等を介して運転者が搭乗している車両１の動作状況（ギア位置、速度、ハンドル角、方向指示等）を示す車両動作情報を取得する。そして、運転者の状態及び車両動作情報に基づいて運転者への警告の要否を判定し、警告要ならば警報装置６０に運転者が居眠り状態または脇見状態であるとの通知を行う。
　警報装置６０は状態判定装置５０から運転者が居眠り状態または脇見状態であるとの通知を受信した場合、音声または映像によって運転者に警告を行う。
　次に、撮像制御装置４０のハードウェア構成例を説明する。
　図４Ａ及び図４Ｂは、撮像制御装置４０のハードウェア構成例を示す図である。
　撮像制御装置４０における画像取得部４１、認識度算出部４２及び撮像モード切替部４３の各機能は、処理回路によって実現される。即ち、撮像制御装置４０は上記各機能を実現するための処理回路を備える。当該処理回路は、図４Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図４Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
　図４Ａに示すように、画像取得部４１、認識度算出部４２及び撮像モード切替部４３が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像取得部４１、認識度算出部４２及び撮像モード切替部４３の各部の機能それぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図４Ｂに示すように、画像取得部４１、認識度算出部４２及び撮像モード切替部４３がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、画像取得部４１、認識度算出部４２及び撮像モード切替部４３の各機能を実現する。即ち、画像取得部４１、認識度算出部４２及び撮像モード切替部４３は、プロセッサ１００ｂにより実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、画像取得部４１、認識度算出部４２及び撮像モード切替部４３の手順または方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
　なお、画像取得部４１、認識度算出部４２及び撮像モード切替部４３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、撮像制御装置４０における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせによって、上述の各機能を実現することができる。
　次に、撮像制御装置４０の撮像モードの切替処理の動作について図５を用いて説明する。
　図５は実施の形態１に係る撮像制御装置４０の撮像モード切替処理の動作を示すフローチャートである。
　画像取得部４１は、第１撮像装置１０及び第２撮像装置２０の撮像した第１画像及び第２画像を取得する（ステップＳＴ１）。認識度算出部４２は、画像取得部４１から入力された第１画像または第２画像から運転者の目が検出可能か否かを判定し（ステップＳＴ２）、第１画像及び第２画像の両方の画像から運転者の目が検出不可能であれば（ステップＳＴ２；ＮＯ）、ステップＳＴ１の処理に戻る。一方、第１画像及び第２画像の内、少なくとも一方から運転者の目が検出可能であれば（ステップＳＴ２；ＹＥＳ）、第１画像及び第２画像から認識度を算出する（ステップＳＴ３）。なお、運転者の目を検出不可能な撮像装置の認識度は０と設定する。
撮像モード切替部４３は、第１撮像装置または第２撮像装置が狭域撮像モードであるかを判定し（ステップＳＴ４）、第１撮像装置及び第２撮像装置が通常モードであれば（ステップＳＴ４；ＮＯ）、第１撮像装置の認識度と第２撮像装置の認識度を比較し（ステップＳＴ５）、第１撮像装置の認識度が第２撮像装置の認識度よりも高ければ、第１撮像装置の撮像モードを狭域撮像モードに切り替え（ステップＳＴ５；ＹＥＳ）、ステップＳＴ１の処理に戻る。一方、第２撮像装置の認識度が第１撮像装置の認識度よりも高ければ（ステップＳＴ５；ＮＯ）、第２撮像装置の撮像モードを狭域撮像モードに切り替え（ステップＳＴ７）、ステップＳＴ１の処理に戻る。
　一方、第１撮像装置または第２撮像装置のどちらかが狭域撮像モードであった場合（ステップＳＴ４；ＹＥＳ）、撮像モード切替部４３は、狭域撮像モードの終了条件を満たしているかを判定し（ステップＳＴ８）する。狭域撮像モードの終了条件とは上記で説明した、狭域撮像モードの撮像装置の認識度が予め設定した閾値以下となるか、または、狭域撮像モードの撮像装置の認識度よりも狭域撮像モードの撮像装置の認識度以外の認識度が高くなるかである。
　狭域撮像モードの終了条件を満たしていない場合（ステップＳＴ８；ＮＯ）、ステップＳＴ１の処理に戻る。一方、狭域撮像モードの終了条件を満たしている場合は（ステップＳＴ８；ＹＥＳ）、撮像モード切替部４３は、狭域撮像モードの撮像装置の狭域撮像モードを終了させ、通常モードに切り替え（ステップＳＴ９）、ステップＳＴ１の処理に戻す。
以上のように、実施の形態１によれば、運転者の顔を撮像する複数の撮像装置が撮像する各々の画像を取得する画像取得部４１と、各々の画像から認識度を算出する認識度算出部４２と、各々の画像の認識度に応じて撮像装置の撮像モードを狭域撮像モードにし、運転者の目周辺を拡大して撮像させる撮像モード切替部４３と、を備える構成にしたので、運転者の顔の向きが変化した場合でも、複数の撮像装置のうち、最も運転者の目の認識度の高い撮像装置で、運転者の目の付近を特化して撮像することが可能となり、運転者の目の認識率が低下するのを抑制することができる。
１　車両、１０　第1撮像装置、２０　第2撮像装置、３０　ドライバモニタリングシステム、４０　撮像制御装置、４１　画像取得部、４２　認識度算出部、４３　撮像モード切替部、５０　状態判定装置、６０　警報装置、１００ａ　処理回路、１００ｂ　プロセッサ、
１００ｃ　メモリ

Claims (11)

  1. 運転者の顔を撮像する複数の撮像装置が撮像する各々の画像を取得する画像取得部と、
    前記各々の画像から認識度を算出する認識度算出部と、
    　前記各々の画像の前記認識度に基づいて前記複数の撮像装置の少なくとも1つの前記撮像装置の撮像モードを前記運転者の目周辺を拡大して撮像する狭域撮像モードに切り替える撮像モード切替部と、
    を備える撮像制御装置。
  2. 　前記撮像モード切替部は、前記各々の画像の前記認識度を比較して、前記認識度が最も高い撮像装置を前記狭域撮像モードに切り替える請求項１記載の撮像制御装置。
  3. 　前記撮像モード切替部は、前記狭域撮像モードの撮像装置の前記認識度が予め定められた閾値以下となった時に、前記狭域撮像モードの撮像装置の前記狭域撮像モードを終了させる請求項２記載の撮像制御装置。
  4. 　前記撮像モード切替部は、前記狭域撮像モードの撮像装置の前記認識度と前記狭域撮像モードの撮像装置以外の前記認識度を比較し、前記狭域撮像モードの撮像装置以外の撮像装置の前記認識度よりも前記認識度が低い狭域撮像モードの撮像装置の前記狭域撮像モードを終了させる請求項２記載の撮像制御装置。
  5. 　前記前記撮像モード切替部は、前記各々の画像の前記認識度を比較して、前記認識度が予め設定された閾値以上、且つ、前記認識度が最も高い撮像装置を前記狭域撮像モードに切り替える請求項１記載の撮像制御装置。
  6. 　前記撮像モード切替部は、前記狭域撮像モードの撮像装置の前記認識度が予め定められた閾値以下となった時に、前記狭域撮像モードの撮像装置の前記狭域撮像モードを終了させる請求項５記載の撮像制御装置。
  7. 　前記認識度は前記運転者の目の画像と予め登録された目のテンプレート画像の類似度に基づいて設定される請求項１から６記載の撮像制御装置。
  8. 　前記認識度は、前記各々の画像から算出される前記運転者の顔向き角度に基づいて設定される請求項１から６記載の撮像制御装置。
  9. 　前記認識度は、前記各々の画像の輝度値から検出される前記画像中の白とび、黒とびの割合に基づいて設定される請求項１から６記載の撮像制御装置。
  10. 運転者の顔を撮像する複数の撮像装置が撮像した各々の画像の認識度を算出し、前記認識度に基づいて前記複数の撮像装置の少なくとも1つの前記撮像装置の撮像モードを前記運転者の目周辺を拡大して撮像する狭域撮像モードに切り替える撮像制御装置と、
    前記狭域撮像モードの撮像装置の撮像する画像から前記運転者の視覚状態を検出し、前記狭域撮像モードの撮像装置以外の前記撮像装置の猿像する画像から前記運転者の顔向きを検出し、前記視覚状態及び前記顔向きに基づいて前記運転者状態を判定する状態判定装置と、
    を備えるドライバモニタリングシステム。
  11. 運転者の顔を撮像する複数の撮像装置が撮像する各々の画像を取得するステップと、
    前記各々の画像から認識度を算出するステップと、
    　前記各々の画像の前記認識度に基づいて前記複数の撮像装置の少なくとも1つの前記撮像装置の撮像モードを前記運転者の目周辺を拡大して撮像する狭域撮像モードに切り替えるステップと、
    を備える撮像制御方法。
PCT/JP2017/041496 2017-11-17 2017-11-17 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム WO2019097677A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041496 WO2019097677A1 (ja) 2017-11-17 2017-11-17 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041496 WO2019097677A1 (ja) 2017-11-17 2017-11-17 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム

Publications (1)

Publication Number Publication Date
WO2019097677A1 true WO2019097677A1 (ja) 2019-05-23

Family

ID=66540186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041496 WO2019097677A1 (ja) 2017-11-17 2017-11-17 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム

Country Status (1)

Country Link
WO (1) WO2019097677A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021199157A1 (ja) * 2020-03-30 2021-10-07
JP7522602B2 (ja) 2019-10-08 2024-07-25 株式会社Subaru 車両の運転支援システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10272961A (ja) * 1997-03-31 1998-10-13 Nissan Diesel Motor Co Ltd 居眠り警報装置
JP2006213146A (ja) * 2005-02-02 2006-08-17 Toyota Motor Corp 運転者の顔向き判定装置
JP2007249298A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 顔認証装置および顔認証方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10272961A (ja) * 1997-03-31 1998-10-13 Nissan Diesel Motor Co Ltd 居眠り警報装置
JP2006213146A (ja) * 2005-02-02 2006-08-17 Toyota Motor Corp 運転者の顔向き判定装置
JP2007249298A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 顔認証装置および顔認証方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7522602B2 (ja) 2019-10-08 2024-07-25 株式会社Subaru 車両の運転支援システム
JPWO2021199157A1 (ja) * 2020-03-30 2021-10-07
WO2021199157A1 (ja) * 2020-03-30 2021-10-07 三菱電機株式会社 乗員状態判定装置および乗員状態判定方法
JP7370456B2 (ja) 2020-03-30 2023-10-27 三菱電機株式会社 乗員状態判定装置および乗員状態判定方法

Similar Documents

Publication Publication Date Title
US10636130B2 (en) Image processing device
JP5466610B2 (ja) 視線推定装置
JP6743786B2 (ja) 映り込み判定装置及び撮影装置
JP6601351B2 (ja) 視線計測装置
WO2011118393A1 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
US20120002052A1 (en) Obstacle detection apparatus, obstacle detection system having same, and obstacle detection method
US20210067704A1 (en) Control apparatus, control method, and storage medium
WO2019097677A1 (ja) 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム
JP2021025868A (ja) ステレオカメラ
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
JP2017130976A5 (ja) 画像処理装置、及び画像処理方法
US8503737B2 (en) Visual line estimating apparatus
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2019061303A (ja) 車両の周辺監視装置と周辺監視方法
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
US20150269732A1 (en) Obstacle detection device
JP4668863B2 (ja) 撮像装置
CN110611772B (zh) 车用取像装置及其曝光参数设定方法
JP6204844B2 (ja) 車両のステレオカメラシステム
TWI630818B (zh) Dynamic image feature enhancement method and system
JP7098265B2 (ja) 運転支援装置
WO2019030855A1 (ja) 運転不能状態判定装置および運転不能状態判定方法
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템
US10417505B2 (en) Vehicle detection warning device and vehicle detection warning method
JP2006107000A (ja) 画像異常判定方法及び画像異常判定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932032

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17932032

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP