JP6737213B2 - 運転者状態推定装置、及び運転者状態推定方法 - Google Patents
運転者状態推定装置、及び運転者状態推定方法 Download PDFInfo
- Publication number
- JP6737213B2 JP6737213B2 JP2017048504A JP2017048504A JP6737213B2 JP 6737213 B2 JP6737213 B2 JP 6737213B2 JP 2017048504 A JP2017048504 A JP 2017048504A JP 2017048504 A JP2017048504 A JP 2017048504A JP 6737213 B2 JP6737213 B2 JP 6737213B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- face
- unit
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 68
- 238000005286 illumination Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 24
- 210000003128 head Anatomy 0.000 description 48
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 15
- 210000000056 organ Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000003909 pattern recognition Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000020509 sex determination Effects 0.000 description 2
- 230000001464 adherent effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/227—Position in the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
また、近年開発が進められている自動運転システムでは、自動運転中においても、自動運転から手動運転への引き継ぎがスムーズに行えるように、運転者が運転操作可能な状態であるかどうかを推定しておく技術が必要になると考えられており、車室内カメラで撮像した画像を解析して、運転者の状態を推定する技術の開発が進められている。
特許文献1記載の頭部位置の推定方法では、画像上での頭部位置を顔領域の中心位置を基準として検出しているが、顔領域の中心位置は顔の向きによって変わってしまう。そのため、頭の位置が同じ位置であっても、顔の向きの違いより、画像上で検出される顔領域の中心位置がそれぞれ異なる位置に検出される。そのため画像上における頭部位置が実世界の頭部位置とは異なる位置に検出されてしまい、実世界における頭部位置までの距離を精度よく推定できないという課題があった。
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
少なくとも1つのハードウェアプロセッサとを備え、
該少なくとも1つのハードウェアプロセッサが、
前記照明部から光が照射されたときに前記撮像部で撮像された第1の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第2の画像とから運転者の顔を検出する顔検出部と、
該顔検出部により検出された前記第1の画像中の運転者の顔と前記第2の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴としている。
前記少なくとも1つのハードウェアプロセッサが、
前記テーブル情報記憶部に記憶された前記1つ以上の距離推定用テーブルの中から、前記第2の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択部を備え、
前記距離推定部が、
前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部により選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。
前記照明部から照射される光の反射強度は前記運転者の顔の明るさによって異なるが、前記運転者の顔の明るさに適した反射強度の関係を示す前記距離推定用テーブルを選択して用いることにより、前記運転者の頭部から前記撮像部までの距離の推定精度を高めることができる。しかも、前記距離推定用テーブルを用いることにより、前記距離の推定処理に負荷をかけることなく高速に処理を実行できる。
前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性を判定する属性判定部を備え、
前記1つ以上の距離推定用テーブルには、前記運転者の属性に対応した距離推定用テーブルが含まれ、
前記テーブル選択部が、
前記1つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルを選択するものであることを特徴としている。
車外の照度を検出する照度検出部から照度データを取得する照度データ取得部を備え、
前記テーブル選択部が、
前記照度データ取得部により取得した照度データを考慮して、前記第2の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するものであることを特徴としている。
上記運転者状態推定装置(5)によれば、前記照度データ取得部で取得した照度データを考慮して、前記第2の画像中の運転者の顔の明るさに対応した距離推定用テーブルが選択される。したがって、前記第2の画像を撮像したときの車外の照度が考慮された適切な距離推定用テーブルを選択することができ、前記距離推定部により推定される前記距離の精度のバラツキを抑制できる。
前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴としている。
前記少なくとも1つのハードウェアプロセッサが、
前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第1の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第2の画像とから運転者の顔を検出する顔検出ステップと、
該顔検出ステップにより検出された前記第1の画像中の運転者の顔と前記第2の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴としている。
RAM14には、CPU12で実行される各種処理に必要なデータやROM13から読み出したプログラムなどが一時記憶される。
図3(a)は、単眼カメラ11の設置例を示す車室内平面図、(b)は、単眼カメラ11で撮像される画像例を示すイラスト図、(c)は、単眼カメラ11の撮像タイミングと照明部11cのオン・オフの切替タイミングの一例を示すタイミングチャートである。
また、図4(a)は、テーブル情報記憶部15bに記憶されている距離推定用テーブルの一例を示す図であり、(b)は、距離推定用テーブルの種類を説明するためのグラフ図である。
図4(a)に示す距離推定用テーブルは、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比(輝度比)と、運転席31に着座している運転者30の頭部から単眼カメラ11までの距離との相関関係を示している。
運転者状態推定装置10は、ROM13に記憶された各種のプログラムがRAM14に読み出され、CPU12で実行されることによって、記憶指示部21、読み出し指示部22、顔検出部23、顔の明るさ比算出部24、距離推定部25、テーブル選択部26、及び運転操作可否判定部27としての処理を行う装置として成立する。顔検出部23、顔の明るさ比算出部24、距離推定部25、及び運転操作可否判定部27は、それぞれが専用のチップで構成されていてもよい。
例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチング、又は顔の器官(目、鼻、口、眉など)に基づくテンプレートマッチングなどによって顔を検出するように構成してもよい。また、肌の色や明るさに近い領域を検出し、その領域を顔として検出するように構成してもよい。また、高速で高精度に顔を検出する手法として、例えば、顔の局所的な領域の明暗差(輝度差)やエッジ強度、これら局所的領域間の関連性(共起性)を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作成し、階層的な構造(顔をおおまかにとらえる階層から顔の細部をとらえる階層構造)の検出器を用いる画像処理方法により、顔の領域検出を行うように構成してもよい。また、顔の向きや傾きに対応するために、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。
距離Aを推定する処理には、テーブル選択部26により選択された距離推定用テーブルを使用する。テーブル選択部26は、テーブル情報記憶部15bに記憶されている1つ以上の距離推定用テーブルの中から、照明オフの画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する。
すなわち、距離推定部25は、顔の明るさ比算出部24で算出された顔の明るさ比と、テーブル選択部26により選択された距離推定用テーブルとを照合して、運転席31に着座している運転者30の頭部から単眼カメラ11までの距離Aを推定する処理を行う。
次のステップS4では、テーブル情報記憶部15bに記憶されている1つ以上の距離推定用テーブルの中から、ステップS3で検出された照明オフの画像中の運転者30Aの顔の明るさに対応する距離推定用テーブルを選択する処理を行う。
次のステップS6では、照明オンの画像中の運転者30Aの顔の明るさと照明オフの画像中の運転者30Aの顔の明るさとの比(顔の明るさ比)を算出する処理を行う。
次のステップS8では、ステップS7で推定した距離Aから距離C(ハンドル32から単眼カメラ11までの距離)を引いて距離B(ハンドル32から運転者30までの距離)を求める処理を行う。
また、運転者状態推定装置10によれば、単眼カメラ11に加えて別のセンサを設けることなく、上記した運転者までの距離Aを推定することができ、装置構成の簡素化を図ることができ、また、前記別のセンサを設ける必要がないため、それに伴う追加の処理も不要となり、CPU12にかかる負荷を低減させることができ、装置の小型化や低コスト化を図ることができる。
また、距離推定部25で推定された距離Aを用いて算出した距離Bに基づいて、運転席31に着座している運転者30が運転操作可能な状態であるか否かを判定することができ、運転者の監視を適切に行うことができる。
実施の形態(2)に係る運転者状態推定装置10Aでは、テーブル情報記憶部15cに、運転者の属性に対応した1つ以上の距離推定用テーブルが記憶されており、テーブル選択部26Aが、運転者の属性と照明オフの画像中の運転者30Aの顔の明るさに対応する距離推定用テーブルを選択するように構成されている。
テーブル情報記憶部15cには、運転者の属性に対応した1つ以上の距離推定用テーブルが記憶されている。
属性判定部28で判定される運転者の属性には、人種(例えば、モンゴロイド、コーカソイド、又はネグロイド)、性別(男性、又は女性)、顔付着物(例えば、化粧の有無)、年齢層(例えば、30歳未満、30〜50歳未満、50〜70歳未満、70歳以上)が含まれている。なお、運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも1つが含まれるようにしてもよい。
すなわち、図7に示すように、人種がモンゴロイドの場合、男性で4つのテーブル、女性で8つのテーブルを含んでいる。人種がコーカソイド、ネグロイドの場合も同様に、男性で4つのテーブル、女性で8つのテーブルを含んでいる。
また、属性判定部28は、顔の器官(例えば、目、鼻、口、耳、眉、顎、額の1つ以上)を検出する顔器官検出部と、該顔器官検出部で検出された各器官に設定した特徴点における特徴量(濃淡変化のエッジ方向や強さの情報を含むHaar-like特徴など)を抽出する特徴量抽出部としての処理を行う。上記した顔器官検出部、特徴量抽出部、人種判定部、性別判定部、化粧有無判定部、年齢層判定部には、公知の画像処理技術を適用できる。
テーブル選択部26Aは、テーブル情報記憶部15cに記憶されている1つ以上の距離推定用テーブルの中から、属性判定部28で判定された運転者の属性と、照明オフの画像中の運転者30Aの顔の明るさとに対応した距離推定用テーブルを選択する処理を行う。
ステップS26では、ステップS22〜S25の処理で判定された運転者の属性とステップS3で検出された運転者30Aの顔の明るさとに基づいて、テーブル情報記憶部15cから対応する距離推定用テーブルを選択する処理を行い、その後S5以降の処理を行う。
また、運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも1つが含まれているので、運転者の多様な属性に応じた距離推定用テーブルを用意して選択可能とすることで、距離推定部25により推定される距離Aの精度を一層高めることができる。
例えば、取得した照度データの値に応じて、照明オフ画像中の運転者の顔の明るさの値を補正し、該補正した運転者の顔の明るさに対応する距離推定用テーブルを選択する。
具体的には、照度データの値が基準範囲より高い(明るい)場合は、照明オフの画像中の運転者の顔の明るさの値を小さくする補正を行い、照度データの値が、基準範囲より低い(暗い)場合は、運転者の顔の明るさの値を大きくする補正を行い、該補正した運転者の顔の明るさに対応する距離推定用テーブルを選択する。
上記実施の形態(3)に係る運転者状態推定装置10Bによれば、照明オフの画像を撮像したときの車外の照度が考慮された適切な距離推定用テーブルを選択することができ、距離推定部25により推定される距離Aの精度のバラツキを抑制できる。また、上記実施の形態(2)に係る運転者状態推定装置10Aに照度データ取得部29を装備させることにより、同様の効果を得ることができる。
撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
少なくとも1つの記憶部と、
少なくとも1つのハードウェアプロセッサとを備え、
前記少なくとも1つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部を備え、
前記少なくとも1つのハードウェアプロセッサが、
前記照明部から光が照射されたときに前記撮像部で撮像された第1の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第2の画像とを前記画像記憶部に記憶させる記憶指示部と、
前記画像記憶部から前記第1の画像と前記第2の画像とを読み出す読み出し指示部と、
前記画像記憶部から読み出された前記第1の画像と前記第2の画像とから運転者の顔を検出する顔検出部と、
該顔検出部により検出された前記第1の画像中の運転者の顔と前記第2の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えている運転者状態推定装置。
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
少なくとも1つの記憶部と、
少なくとも1つのハードウェアプロセッサとを備えた装置を用い、
前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも1つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部を備え、
前記少なくとも1つのハードウェアプロセッサが、
前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第1の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第2の画像とを前記画像記憶部に記憶させる記憶指示ステップと、
前記画像記憶部から前記第1の画像と前記第2の画像とを読み出す読み出し指示ステップと、
前記画像記憶部から読み出された前記第1の画像と前記第2の画像とから運転者の顔を検出する顔検出ステップと、
該顔検出ステップにより検出された前記第1の画像中の運転者の顔と前記第2の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいる運転者状態推定方法。
10、10A、10B 運転者状態推定装置
11 単眼カメラ
11a レンズ系
11b 撮像素子
11c 照明部
11d 画像
12、12A、12B CPU
13、13A、13B ROM
14 RAM
15、15A 記憶部
15a 画像記憶部
15b、15c テーブル情報記憶部
16 I/F
17 通信バス
21 記憶指示部
22 読み出し指示部
23 顔検出部
24 顔の明るさ比算出部
25 距離推定部
26 テーブル選択部
27 運転操作可否判定部
28 属性判定部
29 照度データ取得部
30、30A 運転者
31 運転席
32 ハンドル
40 HMI
50 自動運転制御装置
51 照度センサ
60 通信バス
Claims (6)
- 撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
該照明部から光が照射されたときに前記撮像部で撮像された画像中の運転者の顔と前記照明部から光が照射されていないときに前記撮像部で撮像された画像中の運転者の顔との明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す1つ以上の距離推定用テーブルを記憶するテーブル情報記憶部と、
少なくとも1つのハードウェアプロセッサとを備え、
該少なくとも1つのハードウェアプロセッサが、
前記照明部から光が照射されたときに前記撮像部で撮像された第1の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第2の画像とから運転者の顔を検出する顔検出部と、
該顔検出部により検出された前記第1の画像中の運転者の顔と前記第2の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
前記テーブル情報記憶部に記憶された前記1つ以上の距離推定用テーブルの中から、前記第2の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択部と、
前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部により選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴とする運転者状態推定装置。 - 前記少なくとも1つのハードウェアプロセッサが、
前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性を判定する属性判定部を備え、
前記1つ以上の距離推定用テーブルには、前記運転者の属性に対応した距離推定用テーブルが含まれ、
前記テーブル選択部が、
前記1つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルを選択するものであることを特徴とする請求項1記載の運転者状態推定装置。 - 前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも1つが含まれていることを特徴とする請求項2記載の運転者状態推定装置。
- 前記少なくとも1つのハードウェアプロセッサが、
車外の照度を検出する照度検出部から照度データを取得する照度データ取得部を備え、
前記テーブル選択部が、
前記照度データ取得部により取得した照度データを考慮して、前記第2の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するものであることを特徴とする請求項1記載の運転者状態推定装置。 - 前記少なくとも1つのハードウェアプロセッサが、
前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴とする請求項1〜4のいずれかの項に記載の運転者状態推定装置。 - 運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
該照明部から光が照射されたときに前記撮像部で撮像された画像中の運転者の顔と前記照明部から光が照射されていないときに前記撮像部で撮像された画像中の運転者の顔との明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す1つ以上の距離推定用テーブルを記憶するテーブル情報記憶部と、
少なくとも1つのハードウェアプロセッサとを備えた装置を用い、
前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも1つのハードウェアプロセッサが、
前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第1の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第2の画像とから運転者の顔を検出する顔検出ステップと、
該顔検出ステップにより検出された前記第1の画像中の運転者の顔と前記第2の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
前記テーブル情報記憶部に記憶された前記1つ以上の距離推定用テーブルの中から、前記第2の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択ステップと、
前記顔の明るさ比算出ステップにより算出された前記顔の明るさ比と、前記テーブル選択ステップにより選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴とする運転者状態推定方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048504A JP6737213B2 (ja) | 2017-03-14 | 2017-03-14 | 運転者状態推定装置、及び運転者状態推定方法 |
PCT/JP2017/027246 WO2018167997A1 (ja) | 2017-03-14 | 2017-07-27 | 運転者状態推定装置、及び運転者状態推定方法 |
DE112017007251.4T DE112017007251T5 (de) | 2017-03-14 | 2017-07-27 | Fahrerzustandsabschätzungsvorrichtung und fahrerzustandsabschätzungsverfahren |
US16/482,284 US20200001880A1 (en) | 2017-03-14 | 2017-07-27 | Driver state estimation device and driver state estimation method |
CN201780083998.8A CN110235178B (zh) | 2017-03-14 | 2017-07-27 | 驾驶员状态推定装置以及驾驶员状态推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048504A JP6737213B2 (ja) | 2017-03-14 | 2017-03-14 | 運転者状態推定装置、及び運転者状態推定方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018151932A JP2018151932A (ja) | 2018-09-27 |
JP2018151932A5 JP2018151932A5 (ja) | 2019-04-25 |
JP6737213B2 true JP6737213B2 (ja) | 2020-08-05 |
Family
ID=63522894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017048504A Expired - Fee Related JP6737213B2 (ja) | 2017-03-14 | 2017-03-14 | 運転者状態推定装置、及び運転者状態推定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200001880A1 (ja) |
JP (1) | JP6737213B2 (ja) |
CN (1) | CN110235178B (ja) |
DE (1) | DE112017007251T5 (ja) |
WO (1) | WO2018167997A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3838703A1 (en) * | 2019-12-18 | 2021-06-23 | Hyundai Motor Company | Autonomous controller, vehicle system including the same, and method thereof |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7508979B2 (en) * | 2003-11-21 | 2009-03-24 | Siemens Corporate Research, Inc. | System and method for detecting an occupant and head pose using stereo detectors |
JP2006031171A (ja) * | 2004-07-13 | 2006-02-02 | Nippon Telegr & Teleph Corp <Ntt> | 擬似的3次元データ生成方法、装置、プログラム、および記録媒体 |
JP4397415B2 (ja) * | 2005-02-18 | 2010-01-13 | 富士通株式会社 | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
JP2007240387A (ja) * | 2006-03-09 | 2007-09-20 | Fujitsu Ten Ltd | 画像認識装置および画像認識方法 |
JP2014218140A (ja) * | 2013-05-07 | 2014-11-20 | 株式会社デンソー | 運転者状態監視装置、および運転者状態監視方法 |
JP2015194884A (ja) * | 2014-03-31 | 2015-11-05 | パナソニックIpマネジメント株式会社 | 運転者監視システム |
DE112015002948B4 (de) * | 2014-06-23 | 2024-07-11 | Denso Corporation | Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers |
JP2016032257A (ja) * | 2014-07-30 | 2016-03-07 | 株式会社デンソー | ドライバ監視装置 |
JP6269380B2 (ja) * | 2014-08-06 | 2018-01-31 | マツダ株式会社 | 車両の距離計測装置 |
JP6331875B2 (ja) * | 2014-08-22 | 2018-05-30 | 株式会社デンソー | 車載制御装置 |
JP2016110374A (ja) * | 2014-12-05 | 2016-06-20 | 富士通テン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
JP2016157457A (ja) * | 2016-03-31 | 2016-09-01 | パイオニア株式会社 | 操作入力装置、操作入力方法及び操作入力プログラム |
-
2017
- 2017-03-14 JP JP2017048504A patent/JP6737213B2/ja not_active Expired - Fee Related
- 2017-07-27 DE DE112017007251.4T patent/DE112017007251T5/de active Pending
- 2017-07-27 CN CN201780083998.8A patent/CN110235178B/zh active Active
- 2017-07-27 WO PCT/JP2017/027246 patent/WO2018167997A1/ja active Application Filing
- 2017-07-27 US US16/482,284 patent/US20200001880A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
DE112017007251T5 (de) | 2019-12-12 |
WO2018167997A1 (ja) | 2018-09-20 |
JP2018151932A (ja) | 2018-09-27 |
CN110235178A (zh) | 2019-09-13 |
US20200001880A1 (en) | 2020-01-02 |
CN110235178B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8435188B2 (en) | Eye opening detection system and method of detecting eye opening | |
US8345922B2 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
JP5435307B2 (ja) | 車載カメラ装置 | |
US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
US8810642B2 (en) | Pupil detection device and pupil detection method | |
JP5466610B2 (ja) | 視線推定装置 | |
US20160063334A1 (en) | In-vehicle imaging device | |
JPH11328364A (ja) | 領域推定装置及び表示処理装置 | |
JP2013005234A5 (ja) | ||
JP6601351B2 (ja) | 視線計測装置 | |
CN109415020B (zh) | 辉度控制装置、辉度控制系统以及辉度控制方法 | |
CN110199318B (zh) | 驾驶员状态推定装置以及驾驶员状态推定方法 | |
JP6708152B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
CN114103961B (zh) | 面部信息获取装置以及面部信息获取方法 | |
JP6737213B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2021527980A (ja) | 高フレームレート画像前処理システム及び方法 | |
JP2017188851A (ja) | 車室内用カメラの顔撮影方法および車室内用カメラ | |
JP2016051317A (ja) | 視線検出装置 | |
JP6885764B2 (ja) | レンズメータ | |
JP2022133723A (ja) | 身体情報取得装置 | |
JP6693149B2 (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
JP2010205076A (ja) | 眼検出装置、及び当該装置において用いられる方法 | |
US20230017607A1 (en) | Imaging apparatus | |
JP2006268565A (ja) | 乗員検出装置及び乗員検出方法 | |
KR20190060058A (ko) | 차량운전자 얼굴피부 진단을 위한 차량내 얼굴 촬영, 분석하는 피부 미용진단시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6737213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |