WO2019229938A1 - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

画像処理装置、画像処理方法及び画像処理システム Download PDF

Info

Publication number
WO2019229938A1
WO2019229938A1 PCT/JP2018/020992 JP2018020992W WO2019229938A1 WO 2019229938 A1 WO2019229938 A1 WO 2019229938A1 JP 2018020992 W JP2018020992 W JP 2018020992W WO 2019229938 A1 WO2019229938 A1 WO 2019229938A1
Authority
WO
WIPO (PCT)
Prior art keywords
image recognition
threshold
image processing
vehicle
image
Prior art date
Application number
PCT/JP2018/020992
Other languages
English (en)
French (fr)
Inventor
友美 保科
太郎 熊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020522507A priority Critical patent/JP7008814B2/ja
Priority to US17/058,514 priority patent/US20210197856A1/en
Priority to PCT/JP2018/020992 priority patent/WO2019229938A1/ja
Publication of WO2019229938A1 publication Critical patent/WO2019229938A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes

Definitions

  • the image data acquisition unit 11 acquires image data indicating an image captured by the camera 2 (hereinafter simply referred to as “captured image”) from the camera 2.
  • the image data acquisition unit 11 outputs the acquired image data to the image recognition unit 13.
  • the image recognition unit 13 uses a result of the face area detection process, and a plurality of features corresponding to each of a plurality of face parts (for example, right eye, left eye, right eyebrow, left eyebrow, nose, and mouth).
  • a process of detecting points (hereinafter referred to as “face feature points”) is executed.
  • face feature points A process of detecting points (hereinafter referred to as “face feature points”) is executed.
  • the image recognition unit 13 executes a process for determining success or failure of the detection.
  • the image recognition unit 13 executes a process of calculating the reliability R of the detection result, and executes a process of determining the magnitude of the reliability R.
  • face feature point detection process these processes are collectively referred to as “face feature point detection process”.
  • the image recognition unit 13 executes processing for detecting the face orientation angle of the passenger using the result of the face feature point detection processing.
  • the image recognition unit 13 executes a process for determining success or failure of the detection.
  • the image recognition unit 13 executes a process of calculating the reliability R of the detection result, and executes a process of determining the magnitude of the reliability R.
  • face orientation detection process The threshold setting unit 14 performs the detection threshold (hereinafter referred to as “detection threshold”) Th1 and the success / failure determination threshold (hereinafter referred to as “success / failure determination threshold”) before the face orientation detection process is executed. .)
  • a threshold hereinafter referred to as “reliability determination threshold” Th3 to be compared with Th2 and the reliability R is set.
  • the hand region detection process can use various known algorithms, and detailed description of these algorithms is omitted.
  • the threshold values Th1, Th2, and Th3 for hand region detection processing are in accordance with the hand region detection processing algorithm.
  • the reliability R of the detection result in the hand region detection process varies depending on various factors.
  • the image recognition unit 13 executes a process for detecting the shape of the passenger's hand using the result of the hand feature point detection process. Next, the image recognition unit 13 executes a process for determining success or failure of the detection. When the detection is successful, the image recognition unit 13 executes a process of calculating the reliability R of the detection result, and executes a process of determining the magnitude of the reliability R.
  • the threshold setting unit 14 performs the detection threshold (hereinafter referred to as “detection threshold”) Th1 and the success / failure determination threshold (hereinafter referred to as “success / failure determination threshold”) before the hand shape detection process is executed. .)
  • a threshold hereinafter referred to as “reliability determination threshold” Th3 to be compared with Th2 and the reliability R is set.
  • the hand movement detection process can use various known algorithms, and detailed description of these algorithms is omitted.
  • the threshold values Th1, Th2, and Th3 for hand movement detection processing correspond to the algorithm for hand movement detection processing.
  • the reliability R of the detection result in the hand movement detection process varies depending on various factors.
  • the passenger state determination unit 15 executes a process of determining whether or not the passenger is in the look-ahead state using the result of the face orientation detection process (hereinafter referred to as “side-ahead state determination process”).
  • side-ahead state determination process a process of determining whether or not the passenger is in the look-ahead state using the result of the face orientation detection process.
  • a variety of known algorithms can be used for the aside look determination process, and detailed description of these algorithms is omitted.
  • the threshold setting unit 14 uses one or more for the face feature point detection process. Thresholds Th (for example, detection threshold Th1, success / failure determination threshold Th2, and reliability determination threshold Th3) are set. At this time, the threshold setting unit 14 sets at least one threshold Th (for example, reliability determination threshold Th3) among these thresholds Th to a different value according to the operation mode information.
  • Thresholds Th for example, detection threshold Th1, success / failure determination threshold Th2, and reliability determination threshold Th3 are set.
  • the threshold setting unit 14 sets at least one threshold Th (for example, reliability determination threshold Th3) among these thresholds Th to a different value according to the operation mode information.
  • step ST3 If it is determined in the face area detection process of step ST2 that the reliability R of the detection result is equal to or less than the reliability determination threshold Th3, the processes after step ST3 (that is, the processes of steps ST3 to ST10) are not executed.
  • step ST4 If it is determined in the face feature point detection process in step ST4 that the reliability R of the detection result is equal to or less than the reliability determination threshold Th3, the processes after step ST5 (that is, the processes in steps ST5 to ST10) are not executed.
  • step ST6 when it is determined in the eye opening degree detection process of step ST6 that the reliability R of the detection result is equal to or less than the reliability determination threshold Th3, the process of step ST7 is not executed.
  • step ST24 the image recognition unit 13 executes hand feature point detection processing.
  • the hand feature point detection process in step ST24 uses the detection result in the hand region detection process in step ST22, and uses the threshold Th set in step ST23.
  • the threshold setting unit 14 includes one or more for the hand shape detection process. Thresholds Th (for example, detection threshold Th1, success / failure determination threshold Th2, and reliability determination threshold Th3) are set. At this time, the threshold setting unit 14 sets at least one threshold Th (for example, reliability determination threshold Th3) among these thresholds Th to a different value according to the operation mode information.
  • Thresholds Th for example, detection threshold Th1, success / failure determination threshold Th2, and reliability determination threshold Th3 are set.
  • the threshold setting unit 14 sets at least one threshold Th (for example, reliability determination threshold Th3) among these thresholds Th to a different value according to the operation mode information.
  • the threshold setting unit 14 sets 1 for the hand movement detection process.
  • One or more thresholds Th for example, detection threshold Th1, success / failure determination threshold Th2, and reliability determination threshold Th3 are set.
  • the threshold setting unit 14 sets at least one threshold Th (for example, reliability determination threshold Th3) among these thresholds Th to a different value according to the operation mode information.
  • step ST22 If it is determined in the hand region detection process of step ST22 that the reliability R of the detection result is equal to or less than the reliability determination threshold Th3, the processes after step ST23 (that is, the processes of steps ST23 to ST29) are not executed.
  • step ST24 If it is determined in the hand feature point detection process in step ST24 that the reliability R of the detection result is equal to or less than the reliability determination threshold Th3, the processes after step ST25 (that is, the processes in steps ST25 to ST29) are not executed.
  • the face area A is shifted with respect to the passenger's face, and the detection of the face area A substantially fails.
  • the reliability R is calculated.
  • the reliability R is calculated to a low value (for example, “30”).
  • the automatic driving control device 3 uses the information (hereinafter referred to as “navigation information”) output by the navigation system (not shown) for the vehicle 1, and the driving mode of the vehicle 1 according to the position of the vehicle 1 or the like. It may be one that switches between.
  • the threshold value setting unit 14a sets the reliability determination threshold value Th3 to a smaller value when the vehicle 1 is set to the automatic operation mode than when the vehicle 1 is set to the manual operation mode. Set to. In each of these cases, the threshold setting unit 14a determines that the sleepiness level indicated by the sleepiness information is less than the reference level when the sleepiness level indicated by the sleepiness information is equal to or higher than a predetermined level (hereinafter referred to as “reference level”).
  • the reliability determination threshold Th3 is set to a small value as compared with the case. That is, the individual reliability determination threshold Th3 is selectively set to one of four values.
  • the reliability determination threshold Th3 may be selectively set to one of two values according to the driving mode of the vehicle 1 and the sleepiness level of the passenger, or three values. May be selectively set to any one of the values, or may be selectively set to any one of the five or more values.
  • the threshold value setting unit 14b sets at least one threshold value Th (for example, reliability determination threshold value Th3) as driving mode information and vehicle exterior environment information in each of steps ST1, ST3, ST5, ST8, ST21, ST23, ST25, ST27. Set to a different value depending on.
  • Th reliability determination threshold value Th3
  • the environment information outside the vehicle indicates precipitation in the vicinity of the vehicle 1, and the threshold setting unit 14b is more reliable when the precipitation is equal to or higher than the reference amount, compared with when the precipitation is less than the reference amount.
  • the degree determination threshold Th3 is set to a small value. Thereby, for example, when there is rainfall or snowfall around the vehicle 1, the number of executions of the passenger state determination process can be increased. On the other hand, when there is no rainfall or snowfall around the vehicle 1, it is possible to improve the accuracy of the passenger state determination process while reducing the number of times of execution of the passenger state determination process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像処理装置（１００）は、車室内撮像用のカメラ（２）による撮像画像に対する画像認識処理を実行する画像認識部（１３）と、画像認識処理用の１個以上の閾値（Ｔｈ）のうちの少なくとも１個の閾値（Ｔｈ）を運転モード情報に応じて異なる値に設定する閾値設定部（１４）とを備える。

Description

画像処理装置、画像処理方法及び画像処理システム
　本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。
　従来、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行するシステムが開発されている。画像認識処理の結果は、例えば、搭乗者が異常状態であるか否かの判定に用いられる（例えば、特許文献１参照。）。
特開２０１７－１４６７４４号公報
　近年、いわゆる「自動運転」に関する技術開発が進められている。これに伴い、車両の運転モードに応じた画像認識処理の実現が求められている。例えば、車両が手動運転モードに設定されているときは、搭乗者が異常状態であるか否かの判定の精度を上げて、当該判定の実行回数（すなわち当該判定の実行頻度）を減らす画像認識処理の実現が求められている。すなわち、手動運転モードにおいては、異常状態の過検出を防止して、不要な警報の出力を減らすことが求められている。また、車両が自動運転モードに設定されているときは、いつでも自動運転モードから手動運転モードへの切替えに対応することができるように、当該判定の精度を下げて、当該判定の実行回数（すなわち当該判定の実行頻度）を増やす画像認識処理の実現が求められている。すなわち、自動運転モードにおいては、異常状態の未検出を防止して、異常状態の取りこぼしを防ぐことが求められている。
　本発明は、上記のような課題を解決するためになされたものであり、車両の運転モードに応じた画像認識処理を実現することができる画像処理装置、画像処理方法及び画像処理システムを提供することを目的とする。
　本発明の画像処理装置は、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行する画像認識部と、画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定する閾値設定部とを備えるものである。
　本発明によれば、上記のように構成したので、車両の運転モードに応じた画像認識処理を実現することができる。
実施の形態１に係る画像処理システムが車両に設けられている状態を示すブロック図である。 図２Ａは、実施の形態１に係る制御装置のハードウェア構成を示すブロック図である。図２Ｂは、実施の形態１に係る制御装置の他のハードウェア構成を示すブロック図である。 図３Ａは、実施の形態１に係る画像処理装置の動作を示すフローチャートである。図３Ｂは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図３Ｃは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図３Ｄは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。 図４Ａは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図４Ｂは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。 図５Ａは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図５Ｂは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図５Ｃは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図５Ｄは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。 実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。 図７Ａは、撮像画像及び顔領域の一例を示す説明図である。図７Ｂは、撮像画像及び顔領域の他の例を示す説明図である。図７Ｃは、撮像画像及び顔領域の他の例を示す説明図である。図７Ｄは、撮像画像及び顔領域の他の例を示す説明図である。 実施の形態１に係る他の画像処理システムが車両に設けられている状態を示すブロック図である。 実施の形態２に係る画像処理システムが車両に設けられている状態を示すブロック図である。 実施の形態３に係る画像処理システムが車両に設けられている状態を示すブロック図である。 実施の形態３に係る他の画像処理システムが車両に設けられている状態を示すブロック図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る画像処理システムが車両に設けられている状態を示すブロック図である。図１を参照して、実施の形態１の画像処理システム３００について説明する。
　車両１は車室内撮像用のカメラ２を有している。カメラ２は、例えば、赤外線カメラ又は可視光カメラにより構成されている。カメラ２は、例えば、車両１のダッシュボード（より具体的にはセンタークラスター）に設けられている。以下、カメラ２による撮像対象となる搭乗者を単に「搭乗者」という。すなわち、搭乗者は運転者を含むものである。
　車両１は自動運転に対応している。すなわち、車両１は手動運転モード又は自動運転モードにより走行自在である。自動運転制御装置３は、車両１の運転モードを切り替える制御を実行するものである。また、自動運転制御装置３は、車両１が自動運転モードに設定されている場合、車両１を走行させる制御を実行するものである。
　画像データ取得部１１は、カメラ２による撮像画像（以下単に「撮像画像」という。）を示す画像データをカメラ２から取得するものである。画像データ取得部１１は、当該取得された画像データを画像認識部１３に出力するものである。
　運転モード情報取得部１２は、車両１の運転モードに関する情報（以下「運転モード情報」という。）を自動運転制御装置３から取得するものである。運転モード情報は、例えば、車両１が手動運転モードに設定されているか自動運転モードに設定されているかを示すものである。運転モード情報取得部１２は、当該取得された運転モード情報を閾値設定部１４に出力するものである。
　画像認識部１３は、画像データ取得部１１により出力された画像データを用いて、撮像画像に対する複数種類の画像認識処理を実行するものである。複数種類の画像認識処理の各々は、１個以上の閾値Ｔｈを用いるものである。閾値設定部１４は、これらの閾値Ｔｈを設定するものである。以下、画像認識処理及び閾値Ｔｈの具体例について説明する。
　まず、画像認識部１３は、撮像画像における搭乗者の顔に対応する領域（以下「顔領域」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「顔領域検出処理」と総称する。閾値設定部１４は、顔領域検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　顔領域検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。顔領域検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、顔領域検出処理のアルゴリズムに応じたものである。顔領域検出処理における検出結果の信頼度Ｒは、顔領域内のコントラスト差、搭乗者の顔に対する遮蔽物（例えば搭乗者の手又は飲食物）の有無、及び搭乗者の装着物（例えばマスク、帽子又はマフラー）の有無などの種々の要因により変動する。
　また、画像認識部１３は、顔領域検出処理の結果を用いて、複数個の顔パーツ（例えば右眼、左眼、右眉、左眉、鼻及び口）の各々に対応する複数個の特徴点（以下「顔特徴点」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「顔特徴点検出処理」と総称する。閾値設定部１４は、顔特徴点検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　顔特徴点検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。顔特徴点検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、顔特徴点検出処理のアルゴリズムに応じたものである。顔特徴点検出処理における検出結果の信頼度Ｒは、顔領域における個々の顔パーツに対応する領域内のコントラスト差、搭乗者の顔に対する遮蔽物（例えば搭乗者の手又は飲食物）の有無、及び搭乗者の装着物（例えばサングラス又はマスク）の有無などの種々の要因により変動する。
　また、画像認識部１３は、顔特徴点検出処理の結果を用いて、搭乗者の開眼度を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「開眼度検出処理」と総称する。閾値設定部１４は、開眼度検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　開眼度検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。開眼度検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、開眼度検出処理のアルゴリズムに応じたものである。開眼度検出処理における検出結果の信頼度Ｒは、搭乗者の顔における眼鏡又はサングラスの有無、当該眼鏡又は当該サングラスによる反射光の有無、及び当該眼鏡又は当該サングラスに対する風景の映り込みの有無などの種々の要因により変動する。
　また、画像認識部１３は、顔特徴点検出処理の結果を用いて、搭乗者の顔向き角度を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「顔向き検出処理」と総称する。閾値設定部１４は、顔向き検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　顔向き検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。顔向き検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、顔向き検出処理のアルゴリズムに応じたものである。顔向き検出処理における検出結果の信頼度Ｒは、搭乗者の装着物（例えばマスク、帽子又はマフラー）の有無などの種々の要因により変動する。
　また、画像認識部１３は、撮像画像における搭乗者の手に対応する領域（以下「手領域」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手領域検出処理」と総称する。閾値設定部１４は、手領域検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　手領域検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手領域検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手領域検出処理のアルゴリズムに応じたものである。手領域検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
　また、画像認識部１３は、手領域検出処理の結果を用いて、複数個の手パーツ（例えば親指、人差し指、中指、薬指、小指及び手の平）の各々に対応する複数個の特徴点（以下「手特徴点」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手特徴点検出処理」と総称する。閾値設定部１４は、手特徴点検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　手特徴点検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手特徴点検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手特徴点検出処理のアルゴリズムに応じたものである。手特徴点検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
　また、画像認識部１３は、手特徴点検出処理の結果を用いて、搭乗者の手の形状を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手形状検出処理」と総称する。閾値設定部１４は、手形状検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　手形状検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手形状検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手形状検出処理のアルゴリズムに応じたものである。手形状検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
　また、画像認識部１３は、手特徴点検出処理の結果を用いて、搭乗者の手の動きを検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手動き検出処理」と総称する。閾値設定部１４は、手動き検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
　手動き検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手動き検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手動き検出処理のアルゴリズムに応じたものである。手動き検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
　ここで、閾値設定部１４は、１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）のうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を、運転モード情報取得部１２により出力された運転モード情報に応じて異なる値に設定するようになっている。
　具体的には、例えば、閾値設定部１４は、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。すなわち、個々の信頼度判定閾値Ｔｈ３は２値のうちのいずれかの値に選択的に設定される。
　また、顔特徴点検出処理は、顔領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。開眼度検出処理は、顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。顔向き検出処理は、顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
　また、手特徴点検出処理は、手領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。手形状検出処理は、手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。手動き検出処理は、手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
　搭乗者状態判定部１５は、画像認識部１３による画像認識処理（より具体的には開眼度検出処理又は顔向き検出処理）の結果を用いて、搭乗者が異常状態であるか否かを判定する処理（以下「搭乗者状態判定処理」という。）を実行するものである。
　具体的には、例えば、搭乗者状態判定部１５は、開眼度検出処理の結果を用いて、搭乗者が居眠り状態であるか否かを判定する処理（以下「居眠り状態判定処理」という。）を実行する。居眠り状態判定処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
　また、例えば、搭乗者状態判定部１５は、顔向き検出処理の結果を用いて、搭乗者が脇見状態であるか否かを判定する処理（以下「脇見状態判定処理」という。）を実行する。脇見状態判定処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
　ここで、居眠り状態判定処理は、開眼度検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。脇見状態判定処理は、顔向き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
　判定結果記憶部１６は、搭乗者状態判定部１５による判定結果を示す情報（以下「判定結果情報」という。）を記憶するものである。判定結果情報は、例えば、搭乗者が居眠り状態であるか否かを示す情報、居眠り状態判定処理において算出された搭乗者の眠気レベルを示す情報、搭乗者が脇見状態であるか否かを示す情報、及び脇見状態判定処理に用いられた搭乗者の顔向き角度を示す情報を含むものである。
　警告出力装置４は、搭乗者が異常状態であることを示す判定結果情報が判定結果記憶部１６に記憶されている場合、警告を出力するものである。具体的には、例えば、警告出力装置４は、警告用の画像を表示したり、又は警告用の音声を出力したりするものである。警告出力装置４は、例えば、ディスプレイ又はスピーカにより構成されている。
　ジェスチャ認識部１７は、画像認識部１３による画像認識処理（より具体的には手形状検出処理及び手動き検出処理）の結果を用いて、搭乗者によるハンドジェスチャを認識する処理（以下「ジェスチャ認識処理」という。）を実行するものである。ジェスチャ認識処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
　ここで、ジェスチャ認識処理は、手形状検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、かつ、手動き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
　画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７により、画像処理装置１００の要部が構成されている。画像データ取得部１１、運転モード情報取得部１２、判定結果記憶部１６及び画像処理装置１００により、制御装置２００の要部が構成されている。カメラ２及び制御装置２００により、画像処理システム３００の要部が構成されている。
　次に、図２を参照して、制御装置２００の要部のハードウェア構成について説明する。
　図２Ａに示す如く、制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ３１及びメモリ３２，３３を有している。メモリ３２には、当該コンピュータを画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７として機能させるためのプログラムが記憶されている。メモリ３２に記憶されているプログラムをプロセッサ３１が読み出して実行することにより、画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７の機能が実現される。また、判定結果記憶部１６の機能はメモリ３３により実現される。
　または、図２Ｂに示す如く、制御装置２００はメモリ３３及び処理回路３４を有するものであっても良い。この場合、画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７の機能が処理回路３４により実現されるものであっても良い。
　または、制御装置２００はプロセッサ３１、メモリ３２，３３及び処理回路３４を有するものであっても良い（不図示）。この場合、画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７の機能のうちの一部の機能がプロセッサ３１及びメモリ３２により実現されて、残余の機能が処理回路３４により実現されるものであっても良い。
　プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ３２，３３は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ３２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などを用いたものである。
　処理回路３４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　次に、図３及び図４のフローチャートを参照して、画像処理装置１００の動作について説明する。
　画像処理装置１００は、例えば画像データ取得部１１により画像データが出力されたとき、図３Ａに示すステップＳＴ１の処理を開始するようになっている。なお、ステップＳＴ１の処理が開始されるよりも先に、運転モード情報取得部１２により運転モード情報が出力されているものとする。
　まず、ステップＳＴ１にて、閾値設定部１４は、顔領域検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ２にて、画像認識部１３が顔領域検出処理を実行する。ステップＳＴ２の顔領域検出処理は、ステップＳＴ１にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ２の顔領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ３にて、閾値設定部１４は、顔特徴点検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ４にて、画像認識部１３が顔特徴点検出処理を実行する。ステップＳＴ４の顔特徴点検出処理は、ステップＳＴ２の顔領域検出処理における検出結果を用いるものであり、かつ、ステップＳＴ３にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ４の顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ５にて、閾値設定部１４は、開眼度検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ６にて、画像認識部１３が開眼度検出処理を実行する。ステップＳＴ６の開眼度検出処理は、ステップＳＴ４の顔特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ５にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ６の開眼度検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ７にて、搭乗者状態判定部１５が居眠り状態判定処理を実行する。ステップＳＴ７の居眠り状態判定処理は、ステップＳＴ６の開眼度検出処理における検出結果を用いるものである。
　また、ステップＳＴ４の顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ８にて、閾値設定部１４は、顔向き検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ９にて、画像認識部１３が顔向き検出処理を実行する。ステップＳＴ９の顔向き検出処理は、ステップＳＴ４の顔特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ８にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ９の顔向き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ１０にて、搭乗者状態判定部１５が脇見状態判定処理を実行する。ステップＳＴ１０の脇見状態判定処理は、ステップＳＴ９の開眼度検出処理における検出結果を用いるものである。
　なお、ステップＳＴ２の顔領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ３以降の処理（すなわちステップＳＴ３～ＳＴ１０の処理）は実行されない。
　また、ステップＳＴ４の顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ５以降の処理（すなわちステップＳＴ５～ＳＴ１０の処理）は実行されない。
　また、ステップＳＴ６の開眼度検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ７の処理は実行されない。
　また、ステップＳＴ９の顔向き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ１０の処理は実行されない。
　次に、図５及び図６のフローチャートを参照して、画像処理装置１００の他の動作について説明する。
　画像処理装置１００は、例えば画像データ取得部１１により画像データが出力されたとき、図５Ａに示すステップＳＴ２１の処理を開始するようになっている。なお、ステップＳＴ２１の処理が開始されるよりも先に、運転モード情報取得部１２により運転モード情報が出力されているものとする。
　まず、ステップＳＴ２１にて、閾値設定部１４は、手領域検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ２２にて、画像認識部１３が手領域検出処理を実行する。ステップＳＴ２２の手領域検出処理は、ステップＳＴ２１にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ２２の手領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２３にて、閾値設定部１４は、手特徴点検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ２４にて、画像認識部１３が手特徴点検出処理を実行する。ステップＳＴ２４の手特徴点検出処理は、ステップＳＴ２２の手領域検出処理における検出結果を用いるものであり、かつ、ステップＳＴ２３にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ２４の手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２５にて、閾値設定部１４は、手形状検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ２６にて、画像認識部１３が手形状検出処理を実行する。ステップＳＴ２６の手形状検出処理は、ステップＳＴ２４の手特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ２５にて設定された閾値Ｔｈを用いるものである。
　また、ステップＳＴ２４の手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２７にて、閾値設定部１４は、手動き検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
　次いで、ステップＳＴ２８にて、画像認識部１３が手動き検出処理を実行する。ステップＳＴ２８の手動き検出処理は、ステップＳＴ２４の手特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ２７にて設定された閾値Ｔｈを用いるものである。
　ステップＳＴ２６の手形状検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、かつ、ステップＳＴ２８の手動き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２９にて、ジェスチャ認識部１７がジェスチャ認識処理を実行する。ステップＳＴ２９のジェスチャ認識処理は、ステップＳＴ２６の手形状検出処理における検出結果及びステップＳＴ２８の手動き検出処理における検出結果を用いるものである。
　なお、ステップＳＴ２２の手領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ２３以降の処理（すなわちステップＳＴ２３～ＳＴ２９の処理）は実行されない。
　また、ステップＳＴ２４の手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ２５以降の処理（すなわちステップＳＴ２５～ＳＴ２９の処理）は実行されない。
　また、ステップＳＴ２６の手形状検出処理又はステップＳＴ２８の手動き検出処理のうちの少なくとも一方において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ２９の処理は実行されない。
　次に、図７を参照して、顔領域検出処理用の信頼度判定閾値Ｔｈ３の具体例について説明する。図７Ａ～図７Ｄの各々は、撮像画像Ｉ及び顔領域Ａの一例を示している。
　図７に示す例において、顔領域検出処理における検出結果の信頼度Ｒは０～１００の値により表されるものであり、当該値が大きいほど検出結果の信頼性が高いことを示している。閾値設定部１４は、車両１が手動運転モードに設定されている場合、顔領域検出処理用の信頼度判定閾値Ｔｈ３を「６０」に設定する。閾値設定部１４は、車両１が自動運転モードに設定されている場合、顔領域検出処理用の信頼度判定閾値Ｔｈ３を「４０」に設定する。
　図７Ａに示す例において、顔領域Ａ内のコントラスト差は小さく、かつ、搭乗者の顔に対する遮蔽物（例えば搭乗者の手又は飲食物）はなく、かつ、搭乗者の装着物（例えばマスク、帽子又はマフラー）もない。このため、信頼度Ｒは高い値（例えば「８０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。また、車両１が自動運転モードに設定されている場合も、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。
　図７Ｂに示す例において、顔領域Ａは搭乗者の顔に対してずれており、実質的に顔領域Ａの検出は失敗している。しかしながら、顔領域検出処理において顔領域Ａの検出が成功であると判定されて、信頼度Ｒが算出されたものとする。この場合、信頼度Ｒは低い値（例えば「３０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。また、車両１が自動運転モードに設定されている場合も、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。
　図７Ｃに示す例において、顔領域Ａ内に上半部と下半部間のコントラスト差が生じている。このコントラスト差により、図７Ａに示す例に比して信頼度Ｒが低い値（例えば「５０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。他方、車両１が自動運転モードに設定されている場合は、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。
　図７Ｄに示す例において、顔領域Ａ内に左半部と右半部間のコントラスト差が生じている。このコントラスト差により、図７Ａに示す例に比して信頼度Ｒが低い値（例えば「５０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。他方、車両１が自動運転モードに設定されている場合は、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。
　なお、自動運転制御装置３は、車両１が自動運転モードに設定されている場合、車両１が自動運転モードから手動運転モードに遷移する直前の状態（以下「遷移直前状態」という。）であるか否かを判定するものであっても良い。閾値設定部１４は、車両１が自動運転モードに設定されている場合において、車両１が遷移直前状態であると判定されたときのみ、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定するものであっても良い。
　また、自動運転制御装置３は、車両１内の操作入力装置（不図示）に対する操作入力により車両１の運転モードを切り替えるものであっても良い。操作入力装置は、例えば、タッチパネル又はハードウェアスイッチにより構成されている。
　また、自動運転制御装置３は、車両１用のナビゲーションシステム（不図示）により出力された情報（以下「ナビゲーション情報」という。）を用いて、車両１の位置等に応じて車両１の運転モードを切り替えるものであっても良い。
　また、自動運転制御装置３は、ナビゲーション情報を用いて、例えば以下のような方法により車両１が遷移直前状態であるか否かを判定するものであっても良い。すなわち、車両１が自動運転モードに設定されている場合、ナビゲーション情報は、車両１の位置を示す情報、及び車両１を自動運転モードから手動運転モードに切り替えるべき地点（以下「切替え対象地点」という。）の位置を示す情報を含むものである。自動運転制御装置３は、車両１の位置から切替え対象地点の位置までの経路距離が所定距離（例えば１００メートル）未満である場合、車両１が遷移直前状態であると判定する。
　また、自動運転制御装置３は、車両１に搭載されている車載器（不図示）による受信信号を用いて、道路の種類等に応じて車両１の運転モードを切り替えるものであっても良い。例えば、自動運転制御装置３は、車両１が高速道路を走行中である場合は車両１を自動運転モードに設定して、車両１が一般道路を走行中である場合は車両１を手動運転モードに設定するものであっても良い。
　また、自動運転制御装置３は、車載器による受信信号を用いて、例えば以下のような方法により車両１が遷移直前状態であるか否かを判定するものであっても良い。すなわち、自動運転制御装置３は、ＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｔｏｌｌ　Ｃｏｌｌｅｃｔｉｏｎ　Ｓｙｓｔｅｍ）用の車載器により車両１が高速道路から脱出することを示す信号（すなわち車両１が一般道路に進入する予定であることを示す信号）が受信されたとき、車両１が遷移直前状態になったと判定する。
　また、閾値設定部１４は、信頼度判定閾値Ｔｈ３以外の閾値Ｔｈを運転モード情報に応じて異なる値に設定するものであっても良い。例えば、閾値設定部１４は、個々の検出閾値Ｔｈ１を運転モード情報に応じて異なる値に設定するものであっても良い。また、閾値設定部１４は、個々の成否判定閾値Ｔｈ２を運転モード情報に応じて異なる値に設定するものであっても良い。
　また、搭乗者状態判定部１５による搭乗者状態判定処理は、居眠り状態判定処理を含まないもの（すなわち脇見状態判定処理のみを含むもの）であっても良い。この場合、画像認識部１３による画像認識処理は、開眼度検出処理を含まないものであっても良い。
　また、搭乗者状態判定部１５による搭乗状態判定処理は、脇見状態判定処理を含まないもの（すなわち居眠り状態判定処理のみを含むもの）であっても良い。この場合、画像認識部１３による画像認識処理は、顔向き検出処理を含まないものであっても良い。
　また、ジェスチャ認識部１７によるジェスチャ認識処理は、手動き検出処理の結果を用いないもの（すなわち手形状検出処理の結果のみを用いるもの）であっても良い。この場合、画像認識部１３による画像認識処理は、手形状検出処理を含まないものであっても良い。
　また、ジェスチャ認識部１７によるジェスチャ認識処理は、手形状検出処理の結果を用いないもの（すなわち手動き検出処理の結果のみを用いるもの）であっても良い。この場合、画像認識部１３による画像認識処理は、手動き検出処理を含まないものであっても良い。
　また、搭乗者状態判定部１５が画像処理装置１００外に設けられているものであっても良い。すなわち、画像認識部１３、閾値設定部１４及びジェスチャ認識部１７により画像処理装置１００の要部が構成されているものであっても良い。
　また、ジェスチャ認識部１７が画像処理装置１００外に設けられているものであっても良い。すなわち、画像認識部１３、閾値設定部１４及び搭乗者状態判定部１５により画像処理装置１００の要部が構成されているものであっても良い。
　また、搭乗者状態判定部１５及びジェスチャ認識部１７が画像処理装置１００外に設けられているものであっても良い。すなわち、画像認識部１３及び閾値設定部１４により画像処理装置１００の要部が構成されているものであっても良い。この場合のブロック図を図８に示す。
　以上のように、実施の形態１の画像処理装置１００は、車室内撮像用のカメラ２による撮像画像に対する画像認識処理を実行する画像認識部１３と、画像認識処理用の１個以上の閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈを運転モード情報に応じて異なる値に設定する閾値設定部１４とを備える。これにより、車両１の運転モードに応じた画像認識処理を実現することができる。
　また、運転モード情報は、車両１が手動運転モードに設定されているか自動運転モードに設定されているかを示すものであり、閾値設定部１４は、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。換言すれば、閾値設定部１４は、車両１が手動運転モードに設定されている場合、車両１が自動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を大きい値に設定する。これにより、車両１が手動運転モードに設定されているときは搭乗者状態判定処理の精度を上げて搭乗者状態判定処理の実行回数（すなわち実行頻度）を減らすことができ、かつ、車両１が自動運転モードに設定されているときは搭乗者状態判定処理の精度を下げて搭乗者状態判定処理の実行回数（すなわち実行頻度）を増やすことができる。この結果、手動運転モードにおいては、異常状態の過検出を防止して、不要な警告の出力を減らすことができる。また、自動運転モードにおいては、異常状態の未検出を防止して、異常状態の取りこぼしを防ぐことができる。
　特に、車両１が遷移直前状態であるか否かの判定が行われない場合、すなわち車両１が遷移直前状態であるか否かが不明であり、いつ車両１が自動運転モードから手動運転モードに切り替わるか分からないような場合であっても、車両１が自動運転モードに設定されているときは車両１が遷移直前状態であると見做して、異常状態の未検出を防止することができる。これにより、いつでも自動運転モードから手動運転モードへの切替えに対応することができ、異常状態の取りこぼしを防ぐことができる。
実施の形態２．
　図９は、実施の形態２に係る画像処理システムが車両に設けられている状態を示すブロック図である。図９を参照して、実施の形態２の画像処理システム３００ａについて説明する。なお、図９において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
　実施の形態１にて説明したとおり、判定結果記憶部１６は判定結果情報を記憶するものである。判定結果情報は、居眠り状態判定処理において算出された搭乗者の眠気レベルを示す情報（以下「眠気情報」という。）を含むものである。
　眠気情報取得部１８は、判定結果記憶部１６に記憶されている眠気情報を判定結果記憶部１６から取得するものである。眠気情報取得部１８は、当該取得された眠気情報を閾値設定部１４ａに出力するものである。
　画像認識部１３は、画像データ取得部１１により出力された画像データを用いて、撮像画像に対する複数種類の画像認識処理を実行するものである。複数種類の画像認識処理の各々は、１個以上の閾値Ｔｈを用いるものである。閾値設定部１４ａは、これらの閾値Ｔｈを設定するものである。画像認識処理及び閾値Ｔｈの具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
　ここで、閾値設定部１４ａは、１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）のうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を、運転モード情報取得部１２により出力された運転モード情報及び眠気情報取得部１８により出力された眠気情報に応じて異なる値に設定するようになっている。
　具体的には、例えば、閾値設定部１４ａは、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。また、閾値設定部１４ａは、これらの場合の各々において、眠気情報の示す眠気レベルが所定レベル（以下「基準レベル」という。）以上である場合、眠気情報の示す眠気レベルが基準レベル未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。すなわち、個々の信頼度判定閾値Ｔｈ３は４値のうちのいずれかの値に選択的に設定される。
　画像認識部１３、閾値設定部１４ａ、搭乗者状態判定部１５及びジェスチャ認識部１７により、画像処理装置１００ａの要部が構成されている。画像データ取得部１１、運転モード情報取得部１２、判定結果記憶部１６、眠気情報取得部１８及び画像処理装置１００ａにより、制御装置２００ａの要部が構成されている。カメラ２及び制御装置２００ａにより、画像処理システム３００ａの要部が構成されている。
　制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図２を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、閾値設定部１４ａ及び眠気情報取得部１８の各々の機能は、プロセッサ３１及びメモリ３２により実現されるものであっても良く、又は処理回路３４により実現されるものであっても良い。
　画像処理装置１００ａの動作は、実施の形態１にて図３～図６のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、閾値設定部１４ａは、ステップＳＴ１，ＳＴ３，ＳＴ５，ＳＴ８，ＳＴ２１，ＳＴ２３，ＳＴ２５，ＳＴ２７の各々において、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び眠気情報に応じて異なる値に設定する。
　なお、閾値設定部１４ａは、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び眠気情報に応じて異なる値に設定するものであれば良い。閾値設定部１４ａによる閾値Ｔｈの設定方法は、上記の具体例に限定されるものではない。
　例えば、信頼度判定閾値Ｔｈ３は、車両１の運転モード及び搭乗者の眠気レベルに応じて、２値のうちのいずれかの値に選択的に設定されるものであっても良く、又は３値のうちのいずれかの値に選択的に設定されるものであっても良く、又は５値以上のうちのいずれかの値に選択的に設定されるものであっても良い。
　そのほか、画像処理装置１００ａ、制御装置２００ａ及び画像処理システム３００ａは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
　以上のように、実施の形態２の画像処理装置１００ａにおいて、閾値設定部１４ａは、少なくとも１個の閾値Ｔｈを運転モード情報及び眠気情報に応じて異なる値に設定する。これにより、車両１の運転モード及び搭乗者の眠気レベルに応じた画像認識処理を実現することができる。
　また、眠気情報は、搭乗者の眠気レベルを示すものであり、閾値設定部１４ａは、眠気レベルが基準レベル以上である場合、眠気レベルが基準レベル未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。これにより、搭乗者の眠気レベルが小さいとき（すなわち搭乗者が覚醒しているとき）は、居眠り状態判定処理などの搭乗者状態判定処理の実行回数を減らすことができる。他方、搭乗者の眠気レベルが大きいとき（すなわち搭乗者の覚醒度が低下しているとき）は、居眠り状態判定処理などの搭乗者状態判定処理の実行回数を増やすことができる。
実施の形態３．
　図１０は、実施の形態３に係る画像処理システムが車両に設けられている状態を示すブロック図である。図１０を参照して、実施の形態３の画像処理システム３００ｂについて説明する。なお、図１０において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
　車外環境情報生成部１９は、車両１の車外環境に関する情報（以下「車外環境情報」をという。）を生成するものである。車外環境情報は、例えば、車両１の周囲における天候（より具体的には降雨量若しくは降雪量）を示す情報、現在の時間帯を示す情報、車両１の周囲における渋滞の発生状態を示す情報、又は車両１と車両１の周囲を走行中の他車両との車間距離を示す情報のうちの少なくとも一つを含むものである。車外環境情報生成部１９は、当該生成された車外環境情報を閾値設定部１４ｂに出力するものである。
　車外環境情報の生成には、例えば、カメラ２による撮像画像又はセンサ類５による検出値のうちの少なくとも一方が用いられる。図１０において、カメラ２と車外環境情報生成部１９間（又は画像データ取得部１１と車外環境情報生成部１９間）の接続線は図示を省略している。センサ類５は、例えば、超音波センサ、ミリ波レーダ又はレーザレーダのうちの少なくとも一つにより構成されている。
　画像認識部１３は、画像データ取得部１１により出力された画像データを用いて、撮像画像に対する複数種類の画像認識処理を実行するものである。複数種類の画像認識処理の各々は、１個以上の閾値Ｔｈを用いるものである。閾値設定部１４ｂは、これらの閾値Ｔｈを設定するものである。画像認識処理及び閾値Ｔｈの具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
　ここで、閾値設定部１４ｂは、１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）のうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を、運転モード情報取得部１２により出力された運転モード情報及び車外環境情報生成部１９により出力された車外環境情報に応じて異なる値に設定するようになっている。
　具体的には、例えば、車両１の周囲における降雨量又は降雪量（以下「降水量」と総称する。）を示す情報が車外環境情報に含まれているものとする。閾値設定部１４ｂは、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。また、閾値設定部１４ｂは、これらの場合の各々において、車外環境情報の示す降水量が所定量（以下「基準量」という。例えば０．５ミリメートル毎時）以上である場合、車外環境情報の示す降水量が基準量未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。すなわち、個々の信頼度判定閾値Ｔｈ３は４値のうちのいずれかの値に選択的に設定される。
　画像認識部１３、閾値設定部１４ｂ、搭乗者状態判定部１５及びジェスチャ認識部１７により、画像処理装置１００ｂの要部が構成されている。画像データ取得部１１、運転モード情報取得部１２、判定結果記憶部１６、車外環境情報生成部１９及び画像処理装置１００ｂにより、制御装置２００ｂの要部が構成されている。カメラ２及び制御装置２００ｂにより、画像処理システム３００ｂの要部が構成されている。
　制御装置２００ｂの要部のハードウェア構成は、実施の形態１にて図２を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、閾値設定部１４ｂ及び車外環境情報生成部１９の各々の機能は、プロセッサ３１及びメモリ３２により実現されるものであっても良く、又は処理回路３４により実現されるものであっても良い。
　画像処理装置１００ｂの動作は、実施の形態１にて図３～図６のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、閾値設定部１４ｂは、ステップＳＴ１，ＳＴ３，ＳＴ５，ＳＴ８，ＳＴ２１，ＳＴ２３，ＳＴ２５，ＳＴ２７の各々において、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び車外環境情報に応じて異なる値に設定する。
　なお、閾値設定部１４ｂは、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び車外環境情報に応じて異なる値に設定するものであれば良い。閾値設定部１４ｂによる閾値Ｔｈの設定方法は、上記の具体例に限定されるものではない。
　例えば、現在の時間帯を示す情報が車外環境情報に含まれている場合、閾値設定部１４ｂは、現在の時間帯が朝方の時間帯、昼間の時間帯、夕方の時間帯又は夜間の時間帯のうちのいずれの時間帯であるかに応じて信頼度判定閾値Ｔｈ３を異なる値に設定するものであっても良い。
　また、例えば、車両１の周囲における渋滞の発生状態を示す情報が車外環境情報に含まれている場合、閾値設定部１４ｂは、車両１の周囲における渋滞発生の有無に応じて信頼度判定閾値Ｔｈ３を異なる値に設定するものであっても良い。
　また、例えば、車両１と車両１の周囲を走行中の他車両との車間距離を示す情報が車外環境情報に含まれている場合、閾値設定部１４ｂは、車外環境情報の示す車間距離が所定距離（以下「基準距離」という。）以上であるか否かに応じて信頼度判定閾値Ｔｈ３を異なる値に設定するものであっても良い。
　また、図１１に示す如く、制御装置２００ｂは眠気情報取得部１８を有するものであっても良い。この場合、閾値設定部１４ｂは、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報、眠気情報及び車外環境情報に応じて異なる値に設定するものであっても良い。
　そのほか、画像処理装置１００ｂ、制御装置２００ｂ及び画像処理システム３００ｂは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
　以上のように、実施の形態３の画像処理装置１００ｂにおいて、閾値設定部１４ｂは、少なくとも１個の閾値Ｔｈを運転モード情報及び車外環境情報に応じて異なる値に設定する。これにより、車両１の運転モード及び車両１の車外環境に応じた画像認識処理を実現することができる。
　また、車外環境情報は、車両１の周囲における降水量を示すものであり、閾値設定部１４ｂは、降水量が基準量以上である場合、降水量が基準量未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。これにより、例えば、車両１の周囲における降雨又は降雪があるときは、搭乗者状態判定処理の実行回数を増やすことができる。他方、車両１の周囲における降雨及び降雪がないときは、搭乗者状態判定処理の実行回数を減らしつつ、搭乗者状態判定処理の精度を向上することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本発明の画像処理装置、画像処理方法及び画像処理システムは、例えば、車両の搭乗者が異常状態であるか否かの判定、又は車両の搭乗者によるハンドジェスチャの認識に用いることができる。
　１　車両、２　カメラ、３　自動運転制御装置、４　警告出力装置、５　センサ類、１１　画像データ取得部、１２　運転モード情報取得部、１３　画像認識部、１４，１４ａ，１４ｂ　閾値設定部、１５　搭乗者状態判定部、１６　判定結果記憶部、１７　ジェスチャ認識部、１８　眠気情報取得部、１９　車外環境情報生成部、３１　プロセッサ、３２　メモリ、３３　メモリ、３４　処理回路、１００，１００ａ，１００ｂ　画像処理装置、２００，２００ａ，２００ｂ　制御装置、３００，３００ａ，３００ｂ　画像処理システム。

Claims (26)

  1. 　車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行する画像認識部と、
    　前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定する閾値設定部と、
    　を備える画像処理装置。
  2. 　前記少なくとも１個の閾値は、前記画像認識処理における検出結果の信頼度に対する比較対象となる信頼度判定閾値を含むものであり、
    　前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた処理が実行されるものである
    　ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記画像認識部は、前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた他の画像認識処理を実行することを特徴とする請求項２記載の画像処理装置。
  4. 　前記画像認識処理は顔領域を検出するものであり、前記他の画像認識処理は顔特徴点を検出するものであることを特徴とする請求項３記載の画像処理装置。
  5. 　前記画像認識処理は顔特徴点を検出するものであり、前記他の画像認識処理は搭乗者の開眼度を検出するものであることを特徴とする請求項３記載の画像処理装置。
  6. 　前記画像認識処理は顔特徴点を検出するものであり、前記他の画像認識処理は搭乗者の顔向き角度を検出するものであることを特徴とする請求項３記載の画像処理装置。
  7. 　前記画像認識処理は手領域を検出するものであり、前記他の画像認識処理は手特徴点を検出するものであることを特徴とする請求項３記載の画像処理装置。
  8. 　前記画像認識処理は手特徴点を検出するものであり、前記他の画像認識処理は搭乗者の手の形状を検出するものであることを特徴とする請求項３記載の画像処理装置。
  9. 　前記画像認識処理は手特徴点を検出するものであり、前記他の画像認識処理は搭乗者の手の動きを検出するものであることを特徴とする請求項３記載の画像処理装置。
  10. 　前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた搭乗者状態判定処理を実行する搭乗者状態判定部を備えることを特徴とする請求項２記載の画像処理装置。
  11. 　前記画像認識処理は搭乗者の開眼度を検出するものであり、前記搭乗者状態判定処理は前記搭乗者が居眠り状態であるか否かを判定するものであることを特徴とする請求項１０記載の画像処理装置。
  12. 　前記画像認識処理は搭乗者の顔向き角度を検出するものであり、前記搭乗者状態判定処理は前記搭乗者が脇見状態であるか否かを判定するものであることを特徴とする請求項１０記載の画像処理装置。
  13. 　前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いたジェスチャ認識処理を実行するジェスチャ認識部を備えることを特徴とする請求項２記載の画像処理装置。
  14. 　前記画像認識処理は搭乗者の手の形状を検出するものであることを特徴とする請求項１３記載の画像処理装置。
  15. 　前記画像認識処理は搭乗者の手の動きを検出するものであることを特徴とする請求項１３記載の画像処理装置。
  16. 　前記運転モード情報は、車両が手動運転モードに設定されているか自動運転モードに設定されているかを示すものであり、
    　前記閾値設定部は、前記車両が前記自動運転モードに設定されている場合、前記車両が前記手動運転モードに設定されている場合に比して前記信頼度判定閾値を小さい値に設定する
    　ことを特徴とする請求項２記載の画像処理装置。
  17. 　前記運転モード情報は、車両が手動運転モードに設定されているか自動運転モードに設定されているかを示すものであり、
    　前記閾値設定部は、前記車両が前記自動運転モードに設定されている場合において、前記車両が前記自動運転モードから前記手動運転モードへの遷移直前状態であると判定されたとき、前記車両が前記手動運転モードに設定されている場合に比して前記信頼度判定閾値を小さい値に設定する
    　ことを特徴とする請求項２記載の画像処理装置。
  18. 　前記運転モード情報は、自動運転制御装置により出力されたものであり、
    　前記自動運転制御装置は、操作入力装置に対する操作入力により前記車両の運転モードを切り替えるものである
    　ことを特徴とする請求項１６記載の画像処理装置。
  19. 　前記運転モード情報は、自動運転制御装置により出力されたものであり、
    　前記自動運転制御装置は、ナビゲーション情報を用いて前記車両が前記遷移直前状態であるか否かを判定するものである
    　ことを特徴とする請求項１７記載の画像処理装置。
  20. 　前記運転モード情報は、自動運転制御装置により出力されたものであり、
    　前記自動運転制御装置は、車載器による受信信号を用いて前記車両が前記遷移直前状態であるか否かを判定するものである
    　ことを特徴とする請求項１７記載の画像処理装置。
  21. 　前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び眠気情報に応じて異なる値に設定することを特徴とする請求項１記載の画像処理装置。
  22. 　前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び眠気情報に応じて異なる値に設定するものであり、
    　前記眠気情報は、搭乗者の眠気レベルを示すものであり、
    　前記閾値設定部は、前記眠気レベルが基準レベル以上である場合、前記眠気レベルが前記基準レベル未満である場合に比して前記信頼度判定閾値を小さい値に設定する
    　ことを特徴とする請求項２記載の画像処理装置。
  23. 　前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び車外環境情報に応じて異なる値に設定することを特徴とする請求項１記載の画像処理装置。
  24. 　前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び車外環境情報に応じて異なる値に設定するものであり、
    　前記車外環境情報は、車両の周囲における降水量を示すものであり、
    　前記閾値設定部は、前記降水量が基準量以上である場合、前記降水量が前記基準量未満である場合に比して前記信頼度判定閾値を小さい値に設定する
    　ことを特徴とする請求項２記載の画像処理装置。
  25. 　画像認識部が、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行するステップと、
    　閾値設定部が、前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定するステップと、
    　を備える画像処理方法。
  26. 　車室内撮像用のカメラと、
    　前記カメラによる撮像画像に対する画像認識処理を実行する画像認識部と、前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定する閾値設定部と、を有する画像処理装置と、
    　を備える画像処理システム。
PCT/JP2018/020992 2018-05-31 2018-05-31 画像処理装置、画像処理方法及び画像処理システム WO2019229938A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020522507A JP7008814B2 (ja) 2018-05-31 2018-05-31 画像処理装置、画像処理方法及び画像処理システム
US17/058,514 US20210197856A1 (en) 2018-05-31 2018-05-31 Image processing device, image processing method, and image processing system
PCT/JP2018/020992 WO2019229938A1 (ja) 2018-05-31 2018-05-31 画像処理装置、画像処理方法及び画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/020992 WO2019229938A1 (ja) 2018-05-31 2018-05-31 画像処理装置、画像処理方法及び画像処理システム

Publications (1)

Publication Number Publication Date
WO2019229938A1 true WO2019229938A1 (ja) 2019-12-05

Family

ID=68698742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020992 WO2019229938A1 (ja) 2018-05-31 2018-05-31 画像処理装置、画像処理方法及び画像処理システム

Country Status (3)

Country Link
US (1) US20210197856A1 (ja)
JP (1) JP7008814B2 (ja)
WO (1) WO2019229938A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021240668A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
WO2021240671A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361560B2 (en) * 2018-02-19 2022-06-14 Mitsubishi Electric Corporation Passenger state detection device, passenger state detection system, and passenger state detection method
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US20210253135A1 (en) * 2020-02-18 2021-08-19 Toyota Motor North America, Inc. Determining transport operation level for gesture control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282598A (ja) * 1996-04-12 1997-10-31 Nissan Motor Co Ltd 車間距離制御装置および車間距離警報装置
JP2010134608A (ja) * 2008-12-03 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2013164663A (ja) * 2012-02-09 2013-08-22 Denso Corp 脇見判定装置および脇見判定方法
JP2017146744A (ja) * 2016-02-16 2017-08-24 株式会社デンソー ドライバ状態判定装置
JP2017207955A (ja) * 2016-05-19 2017-11-24 株式会社デンソー 自動運転システム及び自動運転切替判定プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10710590B2 (en) * 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282598A (ja) * 1996-04-12 1997-10-31 Nissan Motor Co Ltd 車間距離制御装置および車間距離警報装置
JP2010134608A (ja) * 2008-12-03 2010-06-17 Omron Corp 検出装置および方法、並びに、プログラム
JP2013164663A (ja) * 2012-02-09 2013-08-22 Denso Corp 脇見判定装置および脇見判定方法
JP2017146744A (ja) * 2016-02-16 2017-08-24 株式会社デンソー ドライバ状態判定装置
JP2017207955A (ja) * 2016-05-19 2017-11-24 株式会社デンソー 自動運転システム及び自動運転切替判定プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021240668A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
WO2021240671A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法

Also Published As

Publication number Publication date
JPWO2019229938A1 (ja) 2021-02-12
US20210197856A1 (en) 2021-07-01
JP7008814B2 (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
WO2019229938A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
US11615632B2 (en) Abnormality detection device and abnormality detection program
JP5497248B1 (ja) 故障判定装置
EP2523174B1 (en) Vision based night-time rear collision warning system, controller, and method of operating the same
JP6651031B2 (ja) 車両ドア衝突防止装置および車両ドア衝突防止方法
Raphael et al. Development of a camera-based forward collision alert system
JP6350145B2 (ja) 顔向き検出装置及び車両用警告システム
WO2014192137A1 (ja) 移動軌跡予測装置及び移動軌跡予測方法
US8452528B2 (en) Visual recognition area estimation device and driving support device
JP2011118483A (ja) 車載装置および認知支援システム
US11315361B2 (en) Occupant state determining device, warning output control device, and occupant state determining method
JP2006284293A (ja) 車両の物標検出装置及び物標検出方法
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
JP5077128B2 (ja) 覚醒度判定装置
US11572071B2 (en) Method and system for determining awareness data
US10761540B2 (en) Autonomous driving system
JP4647387B2 (ja) 車両の運転支援装置
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
CN114684062A (zh) 约束设备定位
Rezaei et al. Toward next generation of driver assistance systems: A multimodal sensor-based platform
KR20110062651A (ko) 차선 이탈 경보 방법
JP2004334786A (ja) 状態検出装置及び状態検出システム
JP4754305B2 (ja) 運転状態推定装置
US20210067768A1 (en) Abnormality detection device and abnormality detection method
JP5587068B2 (ja) 運転支援装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18920522

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020522507

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18920522

Country of ref document: EP

Kind code of ref document: A1