JPWO2021001944A1 - 車載用画像処理装置、および、車載用画像処理方法 - Google Patents
車載用画像処理装置、および、車載用画像処理方法 Download PDFInfo
- Publication number
- JPWO2021001944A1 JPWO2021001944A1 JP2021529614A JP2021529614A JPWO2021001944A1 JP WO2021001944 A1 JPWO2021001944 A1 JP WO2021001944A1 JP 2021529614 A JP2021529614 A JP 2021529614A JP 2021529614 A JP2021529614 A JP 2021529614A JP WO2021001944 A1 JPWO2021001944 A1 JP WO2021001944A1
- Authority
- JP
- Japan
- Prior art keywords
- face
- driver
- unit
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 105
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000001514 detection method Methods 0.000 claims abstract description 495
- 230000003287 optical effect Effects 0.000 claims abstract description 80
- 230000008859 change Effects 0.000 claims description 61
- 230000009467 reduction Effects 0.000 claims description 43
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
例えば、特許文献1には、カメラから受信した画像から運転者の顔領域を検出し、検出した顔領域で最適な明度の画像になるような露光時間を算出してCCDコントローラに指示する機能、および、顔画像を解析して運転者の脇見運転、居眠り運転などを検出して警報を鳴らす機能を有する車載用画像処理装置が開示されている。
実施の形態1.
図1は、実施の形態1に係る車載用画像処理装置10の構成例を示す図である。
車載用画像処理装置10は、車両(図示省略)に搭載される。
車載用画像処理装置10は、撮像装置20および照明装置30と接続される。
実施の形態1では、撮像装置20は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものを想定している。なお、これは一例に過ぎず、撮像装置20は、車両内をモニタリングすることを目的に車両に設置されたカメラ等であり、少なくとも、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置されているものであればよい。運転席に着座している運転者の顔が存在すべき範囲とは、例えば、運転席のヘッドレストの前方付近の空間に相当する範囲である。撮像装置20は、例えば、可視光カメラであっても、赤外線カメラであってもよい。
図2Aおよび図2Bは、実施の形態1において、撮像装置20の設置位置および撮像範囲のイメージの一例を説明する図である。なお、図2Aおよび図2Bは、車両の車室内部を上から見たイメージを示す図としている。実施の形態1では、図2Aおよび図2Bに示すように、車両内には、運転者以外の乗員も乗車しているものとし、図2Aおよび図2Bにおいて、運転者を21a、後部座席の乗員を21b、助手席の乗員を21cで示している。
実施の形態1において、撮像装置20は、例えば、図2Aに示すように、車両のインストルメントパネル(以下「インパネ」という。)の中央に設置され、インパネの中央から運転席側を撮像するものを想定している。
また、実施の形態1において、撮像装置20は、例えば、図2Bに示すように、車両のインパネの中央に設置され、インパネの中央から、運転席および助手席を撮像するものを想定している。
以下の説明では、撮像装置20は、図2Aに示すような設置位置および撮像範囲になるように設置されているものとする。
照明装置30は、LED(Light Emitting Diode)等、照明光を発光する発光器である。照明装置30は、撮像装置20付近に設置される。実施の形態1では、照明装置30は、撮像装置20に搭載されているものとする。なお、図2Aおよび図2Bでは、照明装置30の図示は省略されている。
車載用画像処理装置10は、上記誤検出判定において、運転者の顔を誤検出したと判定した場合は、撮像装置20の光学設定の制御は行わず、顔検出用領域を縮小した上で、運転者の顔の再検出を行う。これにより、車載用画像処理装置10は、運転者以外の乗員の顔を含む顔領域の画素の平均輝度に合わせた撮像装置20の光学設定の制御、または、運転者の状態に依るものではない警報の出力、を行わないようにする。顔検出用領域の詳細、および、顔検出領域を縮小する処理の詳細については後述する。
光学設定制御部109は、露出制御部1091および画像処理部1092を備える。
撮像装置20は、車両内から取得した光を電気信号に変換し、当該電気信号に基づき画像データを生成する。撮像装置20は、生成した画像データを画像取得部101に出力する。画像取得部101は、撮像装置20から出力された画像データを取得する。
または、撮像装置20は、車両内から取得した光を電気信号に変換して画像取得部101に出力するものであってもよい。この場合、画像取得部101は、撮像装置20から出力された電気信号を変換して、画像データを取得する。
ここでは、例えば、上記のように、画像取得部101が撮像装置20から出力された画像データを取得すること、または、画像取得部101が撮像装置20から出力された電気信号を変換して画像データを取得することを含め、画像取得部101が「撮像装置20から画像を取得する」という。
画像取得部101は、取得した画像を、顔検出部102および輝度算出部107に出力する。
顔検出部102は、運転者の顔領域も検出する。実施の形態1において、顔領域は、例えば、顔のパーツのうち、眉の位置を顔の上端、口の位置を顔の下端、左右の眼の目尻側の端部をそれぞれ顔の左端および右端とし、顔の上端、顔の下端、顔の左端、および、顔の右端を通る矩形として設定される。また、顔領域は、上記のような、顔の上端、顔の下端、顔の左端、および、顔の右端を通る矩形を、予め設定された比率等で広げた矩形として設定されてもよい。
以下の説明において、顔検出部102が運転者の顔を検出する、というとき、当該運転者の顔を検出する、には、運転者の顔領域を検出することも含まれているものとする。
実施の形態1において、顔検出部102は、例えば、顔領域が最も大きい顔を、最も信頼度が高い顔とする。
図3において、画像取得部101が取得した画像を200、画像上の顔検出用領域を201で示している。
この場合、顔検出部102は、第1の顔領域203aおよび第2の顔領域203bのうち、大きい方の、第1の顔領域203aに対応する第1の顔202aを、最も信頼度が高い顔と判断し、運転者の顔に決定する。すなわち、顔検出部102は、検出された第1の顔202aおよび第2の顔202bのうち、第1の顔202aを運転者の顔として検出する。
通常は、運転者の方が撮像装置20の近くに座っており、画像には運転者の顔の方が大きくうつる。したがって、顔検出部102が、乗員の顔である第2の顔202bと、運転者の顔である第1の顔202aの両方を検出したとしても、顔検出部102は、顔領域が大きい方の第1の顔202aを、最も信頼度が高い顔と判断し、当該第1の顔202aを運転者の顔に決定する。
また、顔検出部102は、検出した運転者の顔情報を、記憶部に記憶させる。
運転者監視部103は、誤検出判定部104から顔検出有情報が出力されると、顔検出部102から出力された顔情報に基づき、運転者の状態を監視する。一方、運転者監視部103は、誤検出判定部104から顔検出有情報が出力されない場合は、顔検出部102から出力された顔情報に基づく運転者の状態の監視を行わない。実施の形態1において、運転者監視部103が監視する運転者の状態は、居眠りまたは脇見等、運転に集中しておらず、運転に支障をきたし得る、運転者の状態をいう。なお、誤検出判定部104については、後述する。
運転者監視部103は、運転者が運転に支障をきたし得る状態になっていると判断すると、警報出力指示情報を、警報出力制御部(図示省略)に出力する。
警報出力制御部は、運転者監視部103から警報出力指示情報が出力されると、出力装置(図示省略)に対して、警報を出力させる。出力装置は、例えば、車両に備えられた音声出力装置であり、車載用画像処理装置10と接続されている。警報出力制御部は、出力装置に対して、例えば、警報音を出力させる。
誤検出判定部104は、顔検出部102が検出した運転者の顔情報が顔誤検出条件を満たす場合、顔検出部102が運転者の顔を誤検出したと判定する。一方、誤検出判定部104は、顔検出部102が検出した運転者の顔情報が顔誤検出条件を満たさない場合、顔検出部102が運転者の顔を誤検出していないと判定する。
例えば、車両内の乗員が、図3に示した画像に撮像されているような状態である場合、顔検出部102は第1の顔202aを運転者の顔として検出する。実際に、第1の顔202aは、運転者の顔であるので、顔検出部102は、正しく運転者の顔を検出できている。
その後、図3に示した画像に撮像されているような状態から、運転者が、撮像装置20からみて運転者の顔の手前となる位置に手を移動させたとする。
そうすると、図4に示すように、顔検出用領域201内において検出される顔は、後部座席の乗員の顔である第2の顔202bのみとなる。顔検出部102は、それまで検出できていた運転者の顔である第1の顔202aのパーツを検出できなくなるが、画像200上の顔検出用領域201内において、顔検出部102は、第2の顔202bの顔のパーツは検出できる。したがって、顔検出部102は、第2の顔202bを、運転者の顔として検出する。このように、顔検出部102は、運転者の顔を誤検出し得る。
具体的には、誤検出判定部104は、顔検出部102から出力された顔情報に基づく運転者の顔領域を示す枠(以下「現顔枠」という。)の座標(以下「現顔枠座標」という。)と、記憶部に記憶されている、顔検出部102から出力された顔情報よりも時系列でみて1つ前の顔情報に基づく運転者の顔領域を示す枠(以下「直前顔枠」という。)の座標(以下「直前顔枠座標」という。)を取得する。そして、誤検出判定部104は、直前顔枠座標と、現顔枠座標とを比較し、座標の差が、第1判定条件を満たすか否かを判定する。
第1判定条件は、例えば、座標の差が予め設定された値(以下「第1の閾値」という。)以上であるか否かである。
誤検出判定部104は、例えば、直前顔枠の中心の座標と現顔枠の中心の座標との差の絶対値を座標の差として算出する。誤検出判定部104は、当該座標の差が、第1の閾値以上である場合に、顔検出部102が運転者の顔を誤検出したと判定する。
または、誤検出判定部104は、例えば、直前顔枠の四隅を示す4つの直前顔枠座標と、現顔枠の四隅を示す4つの現顔枠座標とを、それぞれ比較して差を4つ算出し、算出された4つの差の平均値の絶対値を、座標の差として算出する。誤検出判定部104は、当該座標の差が、第1の閾値以上である場合に、顔検出部102が運転者の顔を誤検出したと判定する。
または、誤検出判定部104は、例えば、直前顔枠の四隅を示す4つの直前顔枠座標と、現顔枠の四隅を示す4つの現顔枠座標とを、それぞれ比較して差を4つ算出し、算出された4つの差の絶対値のうち、少なくとも1つが第1の閾値以上である場合に、顔検出部102が運転者の顔を誤検出したと判定する。
そうすると、画像上でみた場合、それまで運転者の顔として、画像200上で検出していた顔領域を示す枠の位置は、左から右へ、一瞬で移動することになる。顔領域を示す枠が大きく移動した場合、検出された顔が、それまで検出していた顔から別人の顔へと変わった可能性がある。よって、誤検出判定部104は、例えば、運転者の顔領域の位置の変化が第1の判定条件を満たすか否かによって、顔検出部102が運転者の顔を誤検出したか否かを判定する。誤検出判定部104は、運転者の顔領域の位置の変化が第1の判定条件を満たす場合、顔誤検出条件を満たすとし、顔検出部102が運転者の顔を誤検出したと判定する。
具体的には、誤検出判定部104は、直前顔枠と現顔枠の大きさを比較し、直前顔枠の大きさに対する、現顔枠の大きさの変化が、第2判定条件を満たすか否かを判定する。第2判定条件は、例えば、直前顔枠に対する現顔枠の比率が、予め設定された値(以下「第2の閾値」)以下であるか否かである。誤検出判定部104は、例えば、直前顔枠の面積と現顔枠の面積を算出し、当該2つの面積の比を直前顔枠に対する現顔枠の比率とする。または、誤検出判定部104は、例えば、直前顔枠の周囲の長さと現顔枠の周囲の長さを算出し、当該2つの周囲の長さの比を直前顔枠に対する現顔枠の比率とする。
例えば、車両内の乗員の状態が、図3に示した画像に撮像されているような状態から、図4に示す画像に撮像されているような状態となった場合、顔検出部102が検出する運転者の顔領域を示す枠は、第1の顔領域203aを示す枠から、第2の顔領域203bを示す枠に変化する。なお、第2の顔領域203bと対応する第2の顔202bは、運転者の顔と誤検出された後部座席の乗員の顔である。このとき、後部座席の乗員は、撮像装置20からは、運転者よりも遠い場所にいるため、画像上の後部座席の乗員の顔の大きさは、運転者の顔の大きさより小さくなる。
そうすると、画像上でみた場合、それまで運転者の顔として、画像200上で検出していた顔領域を示す枠の大きさは、小さくなると考えられる。顔領域を示す枠の大きさが変化した場合、検出された顔が、それまで検出していた顔から別人の顔へと変わった可能性がある。よって、誤検出判定部104は、例えば、運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否かによって、顔検出部102が正しく運転者の顔を誤検出したか否かを判定する。誤検出判定部104は、運転者の顔領域の枠の大きさの変化が第2の判定条件を満たす場合、顔誤検出条件を満たすとし、顔検出部102が運転者の顔を誤検出したと判定する。
具体的には、誤検出判定部104は、顔検出部102から出力された顔情報に基づく、運転者の顔の特徴量(以下「現顔特徴量」という。)と、記憶部に記憶されている、顔検出部102から出力された顔情報よりも時系列でみて1つ前の顔情報に基づく、運転者の顔の特徴量(以下「直前顔特徴量」という。)を数値化する。顔の特徴量とは、例えば、両眼間の距離、または、両眼の大きさの比率である。これに限らず、顔の特徴量とは、例えば、鼻および口間の距離、または、鼻および口の大きさの比率としてもよいし、両眼、鼻、および、口間の距離としてもよいし、両眼、鼻、および、口の比率としてもよい。そして、誤検出判定部104は、直前顔特徴量と、現顔特徴量とを比較し、特徴量の差が、第3判定条件を満たすか否かを判定する。第3判定条件は、例えば、予め設定された値(以下「第3の閾値」という。)以上の差があるか否か、としてもよいし、特徴量が異なるか否か、としてもよい。
例えば、車両内の乗員の状態が、図3に示した画像に撮像されているような状態から、図4に示す画像に撮像されているような状態となった場合、顔検出部102が、顔検出部102が運転者の顔として検出する顔は、第1の顔202aから、第2の顔202bに変化する。なお、第2の顔202bは、運転者の顔と誤検出された後部座席の乗員の顔である。このとき、それまで運転者の顔として検出されていた第1の顔202aの顔の特徴量と、新たに検出された第2の顔202bの顔の特徴量は、変化すると考えられる。顔の特徴量が変化した場合、検出された顔が、それまで検出していた顔から別人の顔へと変わった可能性がある。よって、誤検出判定部104は、例えば、運転者の顔の特徴量の変化が第3判定条件を満たすか否かによって、顔検出部102が正しく運転者の顔を検出できたか否かを判定する。
誤検出判定部104は、運転者の顔の特徴量の変化が第3の判定条件を満たす場合、顔誤検出条件を満たすとし、顔検出部102が運転者の顔を誤検出したと判定する。
例えば、誤検出判定部104は、「運転者の顔領域の位置の変化が第1判定条件を満たすか否か」を判定し、さらに、「運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否か」を判定するようにしてもよい。誤検出判定部104は、運転者の顔領域の位置の変化が第1判定条件を満たし、かつ、運転者の顔領域の枠の大きさの変化が第2判定条件を満たす場合、顔検出部102が運転者の顔を誤検出したと判定する。
例えば、図3に示した画像200に撮像されているような状態から、運転者が、車両の中央に向かって顔を大きく横移動させた場合、画像200上、第1の顔領域203aを示す枠の位置は、第2の顔領域203bを示す枠のほうへ、大きく変化する。このように運転者の顔領域の位置は大きく変化した場合も、画像200上で、第1の顔領域203aの大きさはほぼ変らないこともありうる。このとき、顔検出部102は、第1の顔領域203aを運転者の顔として検出する。つまり、顔検出部102は、正しく運転者の顔を検出できており、誤検出はしていない。
しかし、誤検出判定部104が、「運転者の顔領域の位置の変化が第1判定条件を満たすか否か」の顔誤検出条件のみで、誤検出判定を行うと、誤検出判定部104は、顔検出部102が運転者の顔を誤検出したと判定してしまう。
そこで、誤検出判定部104は、さらに、「運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否か」を判定することで、上述したように運転者が顔を移動させた場合に、顔検出部102が運転者の顔を誤検出したと判定することを防ぐことができ、誤検出判定の精度を向上させることができる。
例えば、図3に示した画像200に撮像されているような状態から、運転者が、撮像装置20からみて運転者の顔の手前となる位置に手を移動させ、かつ、後部座席の乗員が、運転席のほうに身を乗り出したとする。後部座席の乗員が身を乗り出しているため、画像200上で、後部座席の乗員の顔である第2の顔202bの大きさは、運転者の顔である第1の顔202aの大きさとほぼ変らない。第1の顔202aは、手によって隠されているため、顔検出部102は、第2の顔202bを運転者の顔として検出する。
この場合、誤検出判定部104が、「運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否か」の顔誤検出条件のみで、運転者の顔の誤検出判定を行うと、誤検出判定部104は、第1の顔領域203aは大きく変化していないと判定する。すなわち、顔検出部102が運転者の顔を誤検出していないと判定してしまう。
なお、ここでは、後部座席の乗員が身を乗り出すケースについて説明したが、これは一例に過ぎない。例えば、仮に、撮像装置20が、図2Bに示すような設置位置および撮像範囲になるように設置されている場合であって、助手席の乗員が撮像され得る場合に(図5参照)、誤検出判定部104は、顔検出部102が助手席の乗員の顔を運転者の顔と誤検出することを防ぐことができ、誤検出判定の精度を向上させることができる。
また、誤検出判定部104が、顔検出部102が運転者の顔を誤検出したと判定した場合、光学設定制御部109は、撮像装置20の光学設定を現在のまま維持する制御を行う。具体的には、誤検出判定部104は、現在の光学設定と同じ光学設定を指示する指令を撮像装置20に出力する。または、誤検出判定部104は、撮像装置20に対して、何も新たな指令を出力しない。「撮像装置20の光学設定を現在のまま維持する制御を行う」とは、上記のように、現在の光学設定と同じ光学設定を指示する指令を撮像装置20に出力すること、または、撮像装置20に対して何も新たな指令を出力しないことを含む制御である。
また、「撮像装置20の光学設定を現在のまま維持する制御を行う」とは、誤検出判定部104が、顔検出部102が運転者の顔を誤検出したと判定した場合、光学設定制御部109が、光学設定を、デフォルトの光学設定とする制御も含む。具体的には、光学設定制御部109の露出制御部1091は、撮像装置20の露出時間、または、露出時間および点灯時間を、予め設定された初期値とした露出制御を行う。露出時間の初期値、および、点灯時間の初期値には、予め、運転者の顔を鮮明に撮像するのに十分と想定される露光時間および点灯時間が設定されている。また、光学設定制御部109の画像処理部1092は、撮像装置20のゲイン値を、予め設定された初期値としたゲイン調整を行う。ゲイン値の初期値には、予め、運転者の顔を鮮明に撮像するのに十分と想定されるゲイン値が設定されている。
一方、誤検出判定部104は、顔検出部102が検出した運転者の顔情報が顔誤検出条件を満たさないと判定した場合、顔検出部102が運転者の顔を誤検出していないと判定し、顔検出有情報を、運転者監視部103および輝度算出部107に出力する。
領域縮小部105は、例えば、顔検出用領域を示す矩形の右側の一辺を、左方向へ移動させ、顔検出用領域を狭める。その際、領域縮小部105は、顔検出部102が検出した運転者の顔領域を含まない領域となるまで、顔検出用領域を狭める(図6A参照)。
そして、領域縮小部105は、顔検出用領域を縮小した旨の情報を、再検出指示部106に出力する。
輝度算出部107は、算出した、運転者顔領域画素の平均輝度に関する情報(以下「顔領域輝度情報」という。)を輝度判定部108に出力する。
輝度判定部108は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満である場合、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、光学設定制御部109の露出制御部1091、または、光学設定制御部109の画像処理部1092に出力する。
具体的には、輝度判定部108は、まず、露出制御部1091に対して、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を出力する。これを受け、露出制御部1091は、露出制御を行う。なお、露出制御部1091の詳細は後述する。露出制御部1091が露出制御を行うと、輝度判定部108は、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する。輝度判定部108は、露出制御後の運転者領域画素の平均輝度を、輝度算出部107に対して算出させることで取得するようにすればよい。
輝度判定部108は、露出制御後の運転者顔領域画素の平均輝度が、輝度判定用閾値未満である場合、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、画像処理部1092に出力する。画像処理部1092は、ゲイン調整を行う。なお、画像処理部1092の詳細は後述する。画像処理部1092がゲイン調整を行うと、輝度判定部108は、ゲイン調整後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する。輝度判定部108は、ゲイン調整後の運転者領域画素の平均輝度を、輝度算出部107に対して算出させることで取得するようにすればよい。
このように、輝度判定部108は、露出制御部1091、画像処理部1092の順番で光学設定の変更が行われるようにする。
光学設定制御部109の露出制御部1091は、輝度判定部108から、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報が出力されると、露出制御を実施する。具体的には、露出制御部1091は、撮像装置20の露出時間を長く変更する。また、露出制御部1091は、必要に応じて、変更した露出時間に合わせて、照明装置30の点灯時間を長く変更する。露出制御部1091が露出時間または点灯時間をどの程度長く変更するかは、運転者顔領域画素の平均輝度に応じて、予め決められているものとする。
なお、仮に、車載用画像処理装置10が、誤検出判定部104を備えず、車載用画像処理装置10は、顔検出部102が運転者の顔を誤検出したか否かを判定する機能を有しないものであったとする。すなわち、上述した従来技術のように、画像から検出された顔が、運転者以外の顔である可能性があることが考慮されないとする。
その場合、上述の図4の画像で示した状態のように、例えば、何らかの外乱によって、一時的に運転者の顔のパーツを検出できないという状態が生じてしまうと、顔検出部102は、運転者以外の乗員の顔を運転者の顔として検出し得る。そして、顔検出部102から、運転者以外の乗員の顔を運転者の顔とした、当該運転者以外の乗員の顔に関する顔情報が、運転者監視部103および輝度算出部107に出力される。
また、通常、後部座席へは、運転席よりも、例えば照明装置30の光が届きにくいため、後部座席の乗員は、画像において、暗く撮像される。よって、顔検出部102が後部座席の乗員の顔を運転者の顔と誤検出すると、輝度算出部107が算出した、運転者顔領域画素の平均輝度は、運転者顔領域画素の平均輝度として想定されている平均輝度より大幅に小さくなり、光学設定制御部109は、後部座席の乗員の顔領域に合わせて光学設定の制御を実施することになり得る。その結果、例えば、一時的に運転者の顔のパーツを検出できないという状態から、運転者の顔のパーツを検出できる状態(図3参照)に戻ったとしても、画像上、運転者の顔領域の画素の輝度が適正化されていないことにより、顔検出部102は、当該運転者の顔を顔として再検出しにくくなる。具体的には、後部座席より照明装置30等の光が届きやすい運転席付近は明るくなり過ぎて、画像上、例えば、いわゆる「白とび」が発生してしまい、デフォルト状態の光学設定で撮像された画像よりも、運転者の顔を顔として検出しにくくなる。そうすると、顔検出部102は、後部座席の乗員の顔を、運転者の顔として検出し続け、運転者監視部103は、当該後部座席の乗員の顔に対して、状態の監視を行い続けることになってしまう。
また、誤検出判定部104が、運転者の顔が誤検出されていないと判定した場合、運転者監視部103は、顔検出部102が検出した運転者の顔に基づく監視を行わないものとした。
このように、車載用画像処理装置10は、画像から運転者の顔を検出した際、当該運転者の顔を誤検出していない場合、運転者の顔領域の平均輝度に応じて、運転者の顔を鮮明に撮像するための光学設定の制御を行うことで、撮像装置20が運転者以外の乗員の顔を撮像し得ることを考慮して画像から運転者の顔を検出することを可能としている。
また、車載用画像処理装置10は、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出した場合、運転者の顔を検出するための顔検出用領域を縮小することで、撮像装置20が運転者以外の乗員の顔を撮像し得ることを考慮して画像から運転者の顔を検出することを可能としている。
図7は、実施の形態1に係る車載用画像処理装置10の動作を説明するためのフローチャートである。
なお、車載用画像処理装置10は、図7のフローチャートで示す動作を、車両が走行中、繰り返す。
画像取得部101は、取得した画像を、顔検出部102および輝度算出部107に出力する。
顔検出部102は、検出した運転者の顔情報を、運転者監視部103、誤検出判定部104、および、輝度算出部107に出力する。また、顔検出部102は、検出した運転者の顔情報を、記憶部に記憶させる。
そして、領域縮小部105は、顔検出用領域を縮小した旨の情報を、再検出指示部106に出力する。
車載用画像処理装置10は、ステップST701に戻り、顔検出部102は、ステップST701にて画像取得部101が取得した画像に基づき、ステップST705にて領域縮小部105が縮小した後の顔検出用領域内において、運転者の顔を再検出する。
輝度算出部107は、顔領域輝度情報を輝度判定部108に出力する。
ステップST708において、輝度判定部108は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満であると判定した場合(ステップST708の“NO”の場合)、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、光学設定制御部109に出力する。
図8Aは、顔誤検出条件を、「運転者の顔領域の位置の変化が第1判定条件を満たすか否か」とした場合の、誤検出判定部104による誤検出判定の動作の一例の詳細を説明するフローチャートである。図8Bは、顔誤検出条件を、「運転者の顔領域の位置の変化が第1判定条件を満たすか否か」と、「運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否か」の組み合わせとした場合の、誤検出判定部104による誤検出判定の動作の一例の詳細を説明するフローチャートである。図8Cは、顔誤検出条件を、「運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否か」と、「運転者の顔の特徴量の変化が第3判定条件を満たすか否か」の組み合わせとした場合の、誤検出判定部104による誤検出判定の動作の一例の詳細を説明するフローチャートである。
ステップST801において、運転者の顔領域の位置の変化が第1判定条件を満たすと判定した場合(ステップST801の“YES”の場合)、誤検出判定部104は、顔検出部102が運転者の顔を誤検出したと判定し、顔検出用領域を縮小させる範囲縮小指示を、領域縮小部105に出力する。また、光学設定制御部109は、光学設定を現在のまま維持する制御を行う。
ステップST801において、運転者の顔領域の位置の変化が第1判定条件を満たさないと判定した場合(ステップST801の“NO”の場合)、車載用画像処理装置10による処理は、図7のステップST707へ進む。
ステップST801aにおいて、運転者の顔領域の位置の変化が第1判定条件を満たすと判定した場合(ステップST801aの“YES”の場合)、誤検出判定部104は、運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすか否かを判定する(ステップST8011)。
ステップST8011において、運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすと判定した場合(ステップST8011の“YES”の場合)、誤検出判定部104は、ステップST802aへ進む。
ステップST8011において、運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たさないと判定した場合(ステップST8011の“NO”の場合)、車載用画像処理装置10による処理は、図7のステップST707へ進む。
ステップST802aの具体的な動作は、図8AのステップST802の具体的な動作と同様であるため、重複した説明を省略する。
ステップST801aの“NO”の場合の具体的な動作は、図8AのステップST801の“NO”の場合の具体的な動作と同様であるため、重複した説明を省略する。
ステップST8011aにおいて、運転者の顔領域を示す枠の大きさの変化が第2判定条件を満たすと判定した場合(ステップST8011aの“YES”の場合)、誤検出判定部104は、運転者の顔の特徴量の変化が第3判定条件を満たすか否かを判定する(ステップST8012)。
ステップST8012において、運転者の顔の特徴量の変化が第3判定条件を満たすと判定した場合(ステップST8012の“YES”の場合)、誤検出判定部104は、ステップST802bへ進む。
ステップST8012において、運転者の顔の特徴量の変化が第3判定条件を満たさないと判定した場合(ステップST8012の“NO”の場合)、車載用画像処理装置10による処理は、図7のステップST707へ進む。
ステップST802bの具体的な動作は、図8AのステップST802の具体的な動作と同様であるため、重複した説明を省略する。
ステップST8011aの“NO”の具体的な動作も、説明済みであるため、詳細な説明を省略する。
図7のステップST707にて輝度算出部107が運転者顔領域画素の平均輝度を算出すると、輝度判定部108は、運転者顔領域画素の平均輝度が、輝度判定用閾値以上であるか否かを判定する(ステップST708)。当該ステップST708の動作は、図7を用いて説明済みの動作である。
ステップST902において、輝度判定部108は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満であると判定した場合(ステップST902の“NO”の場合)、画像処理部1092は、撮像装置20のゲイン調整を行う(ステップST903)。その後、車載用画像処理装置10は、ステップST708に戻る。
実施の形態2では、シートベルトの引き出し量を考慮することで、誤検出判定の精度を向上させることができる実施の形態について説明する。
図10において、実施の形態1において図1を用いて説明した車載用画像処理装置10と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態2に係る車載用画像処理装置10aは、実施の形態1に係る車載用画像処理装置10と比べ、引き出し量検出部110を備えた点が異なる。
引き出し量検出部110は、例えば、画像取得部101が取得した画像に基づき、当該画像上での、シートベルトに付されたマークの位置の移動量からシートベルトの引き出し量を検出する。シートベルトには、予め、マークが付されているものとする。マークは、撮像装置20により検出可能なものである。例えば、撮像装置20が赤外線カメラであれば、マークは、赤外線カメラにより検出可能なものとする。
また、引き出し量検出部110は、例えば、各座席に設置されたシートベルト近傍に設置され、シートベルトの移動量に応じて回転する部位を有する巻取りセンサ(図示省略)が検知した回転量から、シートベルトの引き出し量を算出することで、シートベルトの引き出し量を検出するものであってもよい。
また、引き出し量検出部110が検出するシートベルトの引き出し量は、例えば、乗員が通常の着座姿勢でシートベルトを着用した状態のシートベルトを基準とした引き出し量(以下、「使用状態基準の引き出し量」という。)でもよい。乗員が通常の着座姿勢から、何らかの目的で姿勢を変化させた場合、シートベルトの引き出し量も変化し得る。引き出し量検出部110が使用状態基準の引き出し量を検出する場合、不使用状態基準の引き出し量を検出するよりも、乗員の体格差を考慮した、より正確な、乗員の姿勢の変化に応じたシートベルトの引き出し量を算出することができる。
引き出し量検出部110は、算出した引き出し量を、誤検出判定部104に出力する。このとき、引き出し量検出部110は、どの座席のシートベルトの引き出し量であるかが特定できる情報を付与して、シートベルトの引き出し量を出力するようにする。
引き出し量検出部110は、少なくとも顔検出部102が検出動作を行うタイミングと同様のタイミングで検出動作を繰り返し行う。そして、検出された引き出し量は、顔情報と対応付けられて記憶部に記憶されるものとする。例えば、顔検出部102は、顔情報を記憶部に記憶させる際、引き出し量検出部110から引き出し量に関する情報を取得し、顔情報と対応付けて記憶部に記憶させる。
誤検出判定部104は、顔検出部102が検出した運転者の顔情報が顔誤検出条件を満たし、かつ、引き出し量検出部110が検出した運転席のシートベルトの引き出し量が第1の引き出し量判定用閾値以下である場合に、顔検出部102は運転者の顔を誤検出したと判定する。
例えば、顔誤検出条件が、「運転者の顔領域の位置の変化が、設定された第1判定条件を満たすか否か」であったとする。
この場合、実施の形態1では、誤検出判定部104は、直前顔枠座標と現顔枠座標との差が大きい場合、顔検出部102が運転者の顔を誤検出したと判定していた。
そこで、実施の形態2では、誤検出判定部104は、顔誤検出条件に加え、運転席のシートベルトの引き出し量を考慮して、誤検出判定を行う。運転者が通常の着座姿勢における顔の位置から顔を大きく移動させた場合、運転者は身体ごと移動することになり、その際、運転席のシートベルトは引き出される方向に移動する。
ステップST703において、誤検出判定部104は、顔誤検出条件を満たし、かつ、引き出し量検出部110が検出した運転席のシートベルトの引き出し量が第1引き出し量判定用閾値以下であるか否かを判定することで、誤検出判定を行う。
しかし、これに限らず、誤検出判定部104は、顔検出部102が検出した運転者の顔情報が顔誤検出条件を満たし、かつ、引き出し量検出部110が検出した運転席以外の座席のシートベルトの引き出し量が閾値(以下「第2引き出し量判定用閾値」という。)以上であるか否かによって、誤検出判定を行うようにしてもよい。
そこで、誤検出判定部104は、顔誤検出条件に加え、運転席以外の座席のシートベルトの引き出し量を考慮して、誤検出判定するようにしてもよい。このように判定しても、誤検出判定部104は、顔誤検出条件に加え、運転席のシートベルトの引出し量を考慮して、誤検出判定を行う場合と同様に、誤検出判定の精度を向上させることができる。
そのため、車載用画像処理装置10aは、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出していない場合に、運転者の顔領域の平均輝度に応じて光学設定の制御を行うので、画像に運転者以外の乗員の顔が撮像されている可能性があることを考慮して、当該画像から運転者の顔を検出することができるとともに、運転者の顔を誤検出していないかの誤検出判定を行う際に、運転席のシートベルトの引出し量を加味するようにすることで、当該誤検出判定の精度を向上させることができる。
また、車載用画像処理装置10aは、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出した場合、運転者の顔を検出するための顔検出用領域を縮小するので、画像に運転者以外の乗員の顔が撮像されている可能性があることを考慮して、当該画像から運転者の顔を検出することができるとともに、運転者の顔を誤検出していないかの誤検出判定を行う際に、運転席のシートベルトの引出し量を加味するようにすることで、当該誤検出判定の精度を向上させることができる。
実施の形態1または実施の形態2において、画像取得部101と、顔検出部102と、運転者監視部103と、誤検出判定部104と、領域縮小部105と、再検出指示部106と、輝度算出部107と、輝度判定部108と、光学設定制御部109と、引き出し量検出部110の機能は、処理回路1101により実現される。すなわち、車載用画像処理装置10,10aは、運転者の顔を誤検出していないかの誤検出判定を行い、当該誤検出判定の結果に基づいて、撮像装置20の光学設定の制御を行うための処理回路1101を備える。
処理回路1101は、図11Aに示すように専用のハードウェアであっても、図11Bに示すようにメモリ1106に格納されるプログラムを実行するCPU(Central Processing Unit)1105であってもよい。
また、車載用画像処理装置10,10aは、撮像装置20または照明装置30等の装置と、有線通信または無線通信を行う入力インタフェース装置1103および出力インタフェース装置1104を備える。
例えば、図1または図10を用いて説明したような車載用画像処理装置10,10aの構成部の一部または全部が、サーバに備えられるものとしてもよい。
Claims (9)
- 撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部と、
前記画像取得部が取得した画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出する顔検出部と、
前記顔検出部が検出した前記運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、前記顔検出部が前記運転者の顔を誤検出したか否かの誤検出判定を行う誤検出判定部と、
前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出していないと判定した場合、前記運転者の顔領域内の画素の平均輝度に応じた光学設定の制御を行い、前記誤検出判定部が、前記顔検出部は前記運転者の顔を誤検出したと判定した場合、前記光学設定を維持する制御を行う光学設定制御部
を備えた車載用画像処理装置。 - 前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出していないと判定した場合に、前記顔検出部が検出した前記運転者の顔領域内の画素の平均輝度を算出する輝度算出部と、
前記輝度算出部が算出した前記平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部を備え、
前記光学設定制御部は、
前記輝度判定部が、前記輝度算出部が算出した前記平均輝度が前記輝度判定用閾値未満であると判定した場合に、前記輝度算出部が算出した前記平均輝度に応じて、前記撮像装置の前記光学設定の制御を行う
ことを特徴とした請求項1記載の車載用画像処理装置。 - 前記顔検出部は、前記画像取得部が取得した画像に基づき、当該画像上に設定された顔検出用領域内において、前記運転者の顔および当該運転者の顔領域を検出し、
前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出したと判定した場合、前記顔検出用領域を縮小させる領域縮小部と、
前記顔検出部に対して、前記領域縮小部が縮小した後の前記顔検出用領域内において、前記運転者の顔および前記運転者の顔領域を再検出させる再検出指示部
を備えた請求項1記載の車載用画像処理装置。 - 前記顔誤検出条件には、
前記顔検出部が検出した前記運転者の顔領域の位置の変化が第1判定条件を満たすか否かが含まれる
ことを特徴とする請求項1記載の車載用画像処理装置。 - 前記顔誤検出条件には、
前記顔検出部が検出した前記運転者の顔領域の枠の大きさの変化が第2判定条件を満たすか否かが含まれる
ことを特徴とする請求項1記載の車載用画像処理装置。 - 前記顔誤検出条件には、
前記顔検出部が検出した前記運転者の顔情報に基づく前記運転者の顔の特徴の変化が第3判定条件を満たすか否かが含まれる
ことを特徴とする請求項1記載の車載用画像処理装置。 - 前記車両の座席に設置されたシートベルトの引き出し量を検出する引き出し量検出部を備え、
前記誤検出判定部は、
前記顔検出部が検出した前記運転者の顔に関する情報が前記顔誤検出条件を満たし、かつ、前記引き出し量検出部が検出した前記運転席のシートベルトの引き出し量が、第1引き出し量判定用閾値以下であるか否によって、前記誤検出判定を行う
ことを特徴とする請求項1記載の車載用画像処理装置。 - 前記車両の座席に設置されたシートベルトの引き出し量を検出する引き出し量検出部を備え、
前記誤検出判定部は、
前記顔検出部が検出した前記運転者の顔に関する情報が前記顔誤検出条件を満たし、かつ、前記引き出し量検出部が検出した前記運転席以外の座席のシートベルトの引き出し量が、第2引き出し量判定用閾値以上であるか否かによって、誤検出判定を行う
ことを特徴とする請求項1記載の車載用画像処理装置。 - 画像取得部が、撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得するステップと、
顔検出部が、前記画像取得部が取得した画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出するステップと、
誤検出判定部が、前記顔検出部が検出した前記運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、前記顔検出部が前記運転者の顔を誤検出したか否かの誤検出判定を行うステップと、
光学設定制御部が、前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出していないと判定した場合、前記運転者の顔領域内の画素の平均輝度に応じた光学設定の制御を行い、前記誤検出判定部が、前記顔検出部は前記運転者の顔を誤検出したと判定した場合、前記光学設定を維持する制御を行うステップ
を備えた車載用画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/026376 WO2021001944A1 (ja) | 2019-07-02 | 2019-07-02 | 車載用画像処理装置、および、車載用画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021001944A1 true JPWO2021001944A1 (ja) | 2021-11-04 |
JP7183420B2 JP7183420B2 (ja) | 2022-12-05 |
Family
ID=74100754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021529614A Active JP7183420B2 (ja) | 2019-07-02 | 2019-07-02 | 車載用画像処理装置、および、車載用画像処理方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7183420B2 (ja) |
DE (1) | DE112019007522T5 (ja) |
WO (1) | WO2021001944A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005108033A (ja) * | 2003-09-30 | 2005-04-21 | Toshiba Corp | 運転者状況判定装置および運転者状況判定方法 |
JP2009116742A (ja) * | 2007-11-08 | 2009-05-28 | Aisin Seiki Co Ltd | 車載用画像処理装置、画像処理方法、および、プログラム |
WO2018150485A1 (ja) * | 2017-02-15 | 2018-08-23 | 三菱電機株式会社 | 運転状態判定装置および運転状態判定方法 |
WO2018225176A1 (ja) * | 2017-06-07 | 2018-12-13 | 三菱電機株式会社 | 状態判定装置および状態判定方法 |
-
2019
- 2019-07-02 JP JP2021529614A patent/JP7183420B2/ja active Active
- 2019-07-02 WO PCT/JP2019/026376 patent/WO2021001944A1/ja active Application Filing
- 2019-07-02 DE DE112019007522.5T patent/DE112019007522T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005108033A (ja) * | 2003-09-30 | 2005-04-21 | Toshiba Corp | 運転者状況判定装置および運転者状況判定方法 |
JP2009116742A (ja) * | 2007-11-08 | 2009-05-28 | Aisin Seiki Co Ltd | 車載用画像処理装置、画像処理方法、および、プログラム |
WO2018150485A1 (ja) * | 2017-02-15 | 2018-08-23 | 三菱電機株式会社 | 運転状態判定装置および運転状態判定方法 |
WO2018225176A1 (ja) * | 2017-06-07 | 2018-12-13 | 三菱電機株式会社 | 状態判定装置および状態判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7183420B2 (ja) | 2022-12-05 |
DE112019007522T5 (de) | 2022-05-05 |
WO2021001944A1 (ja) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2453884C1 (ru) | Устройство для формирования изображения водителя и способ формирования изображения водителя | |
US20090141147A1 (en) | Auto zoom display system and method | |
CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
JP6201956B2 (ja) | 視線検出装置および視線検出方法 | |
CN110308458B (zh) | 调节方法、调节装置、终端及计算机可读存储介质 | |
JP2006308375A (ja) | 赤外線利用型目位置検出装置 | |
JP2008199515A (ja) | 同乗者着座姿勢検出・判定装置及び方法 | |
JP2006158740A (ja) | 運転者状態判定装置 | |
US11034305B2 (en) | Image processing device, image display system, and image processing method | |
JP2021037216A (ja) | 閉眼判定装置 | |
JP2013149257A (ja) | 適応インターフェースシステム | |
JPWO2006087812A1 (ja) | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム | |
JP6587254B2 (ja) | 輝度制御装置、輝度制御システム及び輝度制御方法 | |
JP6945775B2 (ja) | 車載用画像処理装置、および、車載用画像処理方法 | |
JP2018069026A (ja) | 脈波計測装置、及び、脈波計測方法 | |
JP2016028669A (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
US20190156133A1 (en) | Vehicle driving support apparatus and vehicle driving support program | |
JP2009125518A (ja) | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 | |
WO2021001944A1 (ja) | 車載用画像処理装置、および、車載用画像処理方法 | |
JP2015144635A (ja) | 検出装置および検出方法 | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP6646879B2 (ja) | 撮像装置 | |
WO2019030855A1 (ja) | 運転不能状態判定装置および運転不能状態判定方法 | |
WO2022113275A1 (ja) | 睡眠検出装置及び睡眠検出システム | |
JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7183420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |