JP6939580B2

JP6939580B2 - 車両用画像合成装置

Info

Publication number: JP6939580B2
Application number: JP2018001883A
Authority: JP
Inventors: 洋介酒井
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-01-10
Filing date: 2018-01-10
Publication date: 2021-09-22
Anticipated expiration: 2038-01-10
Also published as: CN111566698A; US11270440B2; WO2019138771A1; JP2019121270A; US20200334822A1; DE112018006812T5

Description

本発明は、車両用画像合成装置に関する。

近年、車両の運転中に、運転者の顔をカメラで撮影し、撮影した顔画像に基づいて運転者の状態として例えば居眠りや脇見などを検出し、安全運転ができる状態ではないと判断したときに、警報を行う装置が知られている。運転中、運転者は車両のインストルメントパネルのメータを視認することから、運転者の顔を撮影するカメラは、車両のメータ付近に設置されている。しかし、メータと運転者の間にはステアリングホイールが配設されており、特に、チルト機構によりステアリングホイールの位置を動かせる車両では、ステアリングホイールが運転者の顔を隠すため、カメラで運転者の顔を良好に撮影できないおそれがあった。

特開２００７−０６９６８０号公報特許第４９８９７６２号公報

本発明の目的は、カメラで運転者の顔を撮影したときに、運転者の顔を良好に撮影した画像を得ることができる車両用画像合成装置を提供することにある。

請求項１の発明は、車両に搭載され運転者を異なる位置から撮影する第１カメラ（２）および第２カメラ（３）と、前記第１および第２カメラで撮影された２つの画像を比較して合成に適した境界を検出する境界検出部（１２）と、前記２つの画像を、運転者の画像の隠れた部分がなくなるように前記境界において合成する合成部（１３）とを備え、ステアリングホイールのチルト位置に基づいて計算により境界を設定するように構成された車両用画像合成装置である。

第１実施形態を示す車両用画像合成装置のブロック図ステアリング、メータ及びカメラ等を示す図ステアリング、メータ、カメラ及びドライバ等を示す縦断側面図上カメラ画像を示す図下カメラ画像を示す図合成画像を示す図上カメラ画像の行領域画像を説明する図下カメラ画像の行領域画像を説明する図類似度が一番高い行領域画像で合成した合成画像を示す図画像合成制御のフローチャート合成判定制御のフローチャート合成条件探索制御のフローチャート第２実施形態を示すものであり、ステアリング、メータ及びカメラ等を示す図カメラ及びドライバ等を示す上面図上カメラ画像を示す図下カメラ画像を示す図下カメラ画像を回転移動させた画像を示す図合成画像を示す図第３実施形態を示すものであり、合成画像を示す図第４実施形態を示す合成条件探索制御のフローチャート

（第１実施形態）
以下、第１実施形態の車両用画像合成装置について、図１ないし図１２を参照して説明する。図１は、車両用画像合成装置１の電気的構成を示す。車両用画像合成装置１は、図１に示すように、上カメラ２と、下カメラ３と、チルト位置センサ４と、ステアリング角度センサ５と、制御装置６とを備えて構成されている。

上カメラ２は、第１カメラを構成するものであり、図２及び図３に示すように、車両のインストルメントパネルに設けられたメータ７における上辺部の中央部に配設されている。上カメラ２は、運転者の顔を連続的に撮影し、撮影した画像データを制御装置６に送信する。上カメラ２は、例えば３０フレーム／ｓ程度の速度で連続撮影する機能を有する。

下カメラ３は、第２カメラを構成するものであり、図２及び図３に示すように、車両のメータ７における下辺部の中央部に配設されている。上カメラ２と下カメラ３は、上下方向に、即ち、鉛直方向に設定距離離れて配設されている。上カメラ２及び下カメラ３は、運転者の顔の正面に対向するように配設されている。下カメラ３は、運転者の顔を連続的に撮影し、撮影した画像データを制御装置６に送信する。下カメラ３は、例えば３０フレーム／ｓ程度の速度で連続撮影する機能を有する。

図３に示すように、上カメラ２は、実線と破線で示す範囲の領域を撮影し、撮影された上カメラ画像は、図４に示すような画像となり、運転者の顔の上部がステアリングホイール８で隠れている。上カメラ２は、運転者の顔の中央部分から下部側を、即ち、実線で示す範囲の領域をステアリングホイール８で隠されることなく良好に撮影することが可能である。

そして、下カメラ３は、実線と破線で示す範囲の領域を撮影し、撮影された下カメラ画像は、図５に示すような画像となり、運転者の顔の下部がステアリングコラム９で隠れている。下カメラ３は、運転者の顔の中央部分から上部側を、即ち、実線で示す範囲の領域をステアリングコラム９で隠されることなく良好に撮影することが可能である。

チルト位置センサ４は、ステアリングコラム９のチルト機構によりステアリングホイール８が移動されたときに、ステアリングホイール８の位置を検出し、ステアリングホイール８の位置の検出信号を制御装置６に送信する。ステアリング角度センサ５は、ステアリングホイール８が回転操作されたときに、ステアリングホイール８の回転角度を検出し、ステアリングホイール８の回転角度の検出信号を制御装置６に送信する。

制御装置６は、車両用画像合成装置１全体を制御する機能を有しており、画像合成処理部１０と、画像認識処理部１１とを備えている。画像合成処理部１０は、境界検出部１２及び合成部１３を備えている。画像合成処理部１０は、上カメラ２及び下カメラ３からの画像データ、チルト位置センサ４及びステアリング角度センサ５からの検出信号、車両からの車両情報を入力する。

画像合成処理部１０の境界検出部１２は、上カメラ２で撮影された上カメラ画像（図４参照）と、下カメラ３で撮影された下カメラ画像（図５参照）を入力し、これら２つの画像をステアリングホイール８やステアリングコラム９等で隠される部分がなくなるように合成するのに適した境界を検出する機能を有する。そして、画像合成処理部１０の合成部１３は、上記検出された境界において上カメラ画像と下カメラ画像を合成することにより、図６に示すような合成画像を作成する機能を有する。

画像認識処理部１１は、画像合成処理部１０で合成された合成画像や、カメラ２、３で撮影されたカメラ画像を入力し、入力した画像、即ち、運転者の顔画像を画像認識処理する機能を有する。画像認識処理部１１は、画像認識処理によって、運転者の状態として例えば居眠りや脇見などを判定したり、安全運転ができる状態であるかどうかなどを判定したりする機能を有する。

次に、上記構成の作用、即ち、上カメラ画像と下カメラ画像を合成する制御について、図７ないし図１２を参照して説明する。まず、本合成制御の概略について述べる。上カメラ画像を、図７に示すように、上下方向に行単位で複数の行領域画像１５に分割すると共に、下カメラ画像を、図８に示すように、上下方向に行単位で複数の行領域画像１６に分割する。そして、上カメラ画像を分割した行領域画像１５と、下カメラ画像を分割した行領域画像１６を比較し、類似度を算出する。この類似度の算出は、上カメラ画像の全ての行領域画像１５と、下カメラ画像の全ての行領域画像１６とについて、それぞれ実行するように構成されている。

そして、類似度が一番高い行領域画像１５、１６を境界、即ち、境界領域または境界線とすることにより、境界を検出する構成となっている。続いて、上カメラ画像と上カメラ画像を上記境界において合成する。この場合、上カメラ画像については、類似度が一番高い行領域画像１５よりも下の画像部分１７と、下カメラ画像については、類似度が一番高い行領域画像１６よりも上の画像部分１８とを合成する。これにより、図９に示す合成画像が作成されるように構成されている。尚、類似度が一番高い行領域画像１５、１６については、いずれか一方を採用するようになっている。

次に、本合成制御の具体的内容について、図１０ないし図１２のフローチャートを参照して説明する。尚、図１０ないし図１２のフローチャートは、制御装置６、即ち、画像合成処理部１０及び画像認識処理部１１の制御の内容を示す。

まず、図１０のステップＳ１０においては、上カメラ２と下カメラ３により運転者の顔が撮影され、画像合成処理部１０は、上カメラ２と下カメラ３で撮影された上カメラ画像と下カメラ画像を入力する。続いて、ステップＳ２０へ進み、画像合成処理部１０は、入力した上カメラ画像と下カメラ画像を合成するか否かを判定する合成判定処理を実行する。この合成判定処理については、後述する。

そして、ステップＳ３０へ進み、合成判定がＯＫであるか否かを判断する。ここで、合成判定がＯＫでないときには（ＮＯ）、ステップＳ１０へ戻るようになっている。また、上記ステップＳ３０において、合成判定がＯＫであるときには（ＹＥＳ）、ステップＳ４０へ進み、画像の合成条件を設定する、具体的には、上記ステップＳ２０の合成判定処理において探索された合成条件例えば検出された境界領域の行領域画像１５、１６を設定する。

次いで、ステップＳ５０へ進み、上カメラ２と下カメラ３により運転者の顔が撮影され、画像合成処理部１０は、上カメラ２と下カメラ３で撮影された上カメラ画像と下カメラ画像を入力する。尚、ステップＳ１０で撮影された画像の合成が行われていないときには、このステップＳ５０の撮影は、１回飛ばすことが好ましい。

続いて、ステップＳ６０へ進み、画像合成処理部１０の合成部１３により、上カメラ画像と下カメラ画像が、設定された境界領域の行領域画像１５、１６を境界にして合成される。これにより、図９に示す合成画像が作成され、作成された合成画像は制御装置６の内部のメモリに記憶される。そして、ステップＳ７０へ進み、画像認識処理部１１は、上記合成画像に写っている運転者の顔画像について、画像認識処理を実行し、運転者の状態を判断する。この顔画像認識処理については、周知構成の画像認識処理を用いることが好ましい。

次いで、ステップＳ８０へ進み、合成条件を再設定するかどうかを判定する処理を実行する。この場合、チルト位置センサ４やステアリング角度センサ５からの検出信号により、ステアリングホイール８が移動したり、回転したりしたことが検知された場合、再設定が必要と判定される。また、合成条件が設定されてから、予め決められた設定時間が経過したときにも、再設定が必要と判定される。

続いて、ステップＳ９０へ進み、合成条件を再設定するか否かを判断する。ここで、合成条件を再設定しないときには（ＮＯ）、ステップＳ５０へ戻り、上述した処理、即ち、上カメラ２及び下カメラ３による撮影処理や、画像の合成処理等が繰り返し実行される。また、上記ステップＳ９０において、合成条件を再設定するときには（ＹＥＳ）、ステップＳ１０へ戻り、上述した処理、即ち、上カメラ２及び下カメラ３による撮影処理や、合成判定処理や、合成条件の再設定処理や、画像の合成処理等が繰り返し実行される。

次に、前記ステップＳ２０の合成判定処理について、図１１のフローチャートを参照して説明する。まず、図１１のステップＳ１１０においては、上カメラ画像にステアリングホイール８等による隠れ部分がないかどうかを判断する。ここで、上カメラ画像に隠れ部分がないときには（ＹＥＳ）、ステップＳ１２０へ進み、合成条件として上カメラ画像のみと設定する。続いて、ステップＳ１３０へ進み、合成判定はＯＫと設定する。これにより、図１１の制御を終了し、図１０の制御へ戻り、ステップＳ３０へ進む。

また、上記ステップＳ１１０において、上カメラ画像に隠れ部分があるときには（ＮＯ）、ステップＳ１４０へ進み、下カメラ画像にステアリングホイール８等による隠れ部分がないかどうかを判断する。ここで、下カメラ画像に隠れ部分がないときには（ＹＥＳ）、ステップＳ１５０へ進み、合成条件として下カメラ画像のみと設定する。続いて、ステップＳ１６０へ進み、合成判定はＯＫと設定する。これにより、図１１の制御を終了し、図１０の制御へ戻り、ステップＳ３０へ進む。

また、上記ステップＳ１４０において、下カメラ画像に隠れ部分があるときには（ＮＯ）、ステップＳ１７０へ進み、合成条件を探索する処理を実行する。この合成条件探索処理については、後述する。そして、合成条件探索処理を完了すると、図１１の制御を終了し、図１０の制御へ戻り、ステップＳ３０へ進む。

次に、上記ステップＳ１７０の合成条件探索処理について、図１２のフローチャートを参照して説明する。この合成条件探索処理は、画像合成処理部１０の境界検出部１２によって実行される。ここで、合成条件探索処理の概略について述べる。まず、一方のカメラ画像である例えば上カメラ画像の最初の行領域画像を切り出し、この行領域画像と、他方のカメラ画像である例えば下カメラ画像の最初の行領域画像とを比較して類似度、即ち、類似スコアを算出する。そして、この比較及び類似度算出を、下カメラ画像の上記最初の行領域画像から最後の行領域画像まで全て実行する。その後、上カメラ画像の次の行領域画像を切り出し、この行領域画像についても、下カメラ画像の全ての行領域画像と比較して類似度を算出する。以下、このような比較及び類似度算出を、上カメラ画像の最後の行領域画像まで、順次実行する。そして、算出した類似度の中の最大値の類似度となった行領域画像を境界として選択する。尚、図１２のフローチャートにおける変数や定数は、次のように定義されている。
ｉは上カメラ画像の切出行領域の変数
ＩＮＩＴ＿ｉは上カメラ画像の切出行領域の初期値
ＳＴＥＰ＿ｉは上カメラ画像の切出行領域の更新値
ｍａｘ＿ｉは上カメラ画像の切出行領域の終了値
ｊは下カメラ画像の比較行領域の変数
ＩＮＩＴ＿ｊは下カメラ画像の比較行領域の初期値
ＳＴＥＰ＿ｊは下カメラ画像の比較行領域の更新値
ｍａｘ＿ｊは下カメラ画像の比較行領域の終了値
である。

次に、合成条件探索処理について、具体的に説明する。まず、図１２のステップＳ２１０においては、上カメラ画像の切出行領域の変数ｉに初期値ＩＮＩＴ＿ｉを入力する。続いて、ステップＳ２２０へ進み、上カメラ画像のｉ行領域画像を切り出す、即ち、読み出して取得する。そして、ステップＳ２３０へ進み、下カメラ画像の比較行領域の変数ｊに初期値ＩＮＩＴ＿ｊを入力する。続いて、ステップＳ２４０へ進み、上カメラ画像のｉ行領域画像と、下カメラ画像のｊ行領域画像とを比較し、類似度を算出する。次いで、ステップＳ２５０へ進み、算出された類似度を制御装置６内のメモリに保存する。この場合、類似度に、上カメラ画像のｉ行領域画像の変数ｉと下カメラ画像のｊ行領域画像の変数ｊを付加して保存する。

続いて、ステップＳ２６０へ進み、変数ｊを更新値ＳＴＥＰ＿ｊだけ更新する。そして、ステップＳ２７０へ進み、変数ｊが終了値ｍａｘ＿ｊよりも大きくなったか否かを判断する。ここで、ｊがｍａｘ＿ｊよりも大きくないときには（ＮＯ）、ステップＳ２４０へ戻り、上述した処理を繰り返し実行する。

また、上記ステップＳ２７０において、ｊがｍａｘ＿ｊよりも大きくなったときには（ＹＥＳ）、ステップＳ２８０へ進み、変数ｉを更新値ＳＴＥＰ＿ｉだけ更新する。そして、ステップＳ２９０へ進み、変数ｉが終了値ｍａｘ＿ｉよりも大きくなったか否かを判断する。ここで、ｉがｍａｘ＿ｉよりも大きくないときには（ＮＯ）、ステップＳ２２０へ戻り、上述した処理を繰り返し実行する。

また、上記ステップＳ２９０において、ｉがｍａｘ＿ｉよりも大きくなったときには（ＹＥＳ）、ステップＳ３００へ進み、算出された類似度の最大値が、予め設定された合成判定用の閾値以上であるか否かを判断する。ここで、類似度の最大値が合成判定用の閾値以上であるときには（ＹＥＳ）、ステップＳ３１０へ進み、合成条件の境界領域として、類似度最大値の上カメラ画像の行領域画像と下カメラ画像の行領域画像の組み合わせを選択して設定する。そして、ステップＳ３２０へ進み、合成判定をＯＫと設定する。これにより、本制御を終了し、図１１の制御ひいては図１０の制御へ戻る。

また、上記ステップＳ３００において、類似度の最大値が合成判定用の閾値以上でないときには（ＮＯ）、ステップＳ３３０へ進み、合成判定をＮＧと設定する。これにより、本制御を終了し、図１１の制御ひいては図１０の制御へ戻り、再度撮影し、再度合成判定を行うようになっている。

このような構成の本実施形態においては、カメラ２、３で撮影された２つのカメラ画像を比較して合成に適した境界、即ち、類似度が一番高い行領域画像１５、１６を検出し、前記２つのカメラ画像を、前記類似度が一番高い行領域画像１５、１６において合成するように構成した。この構成によれば、２つのカメラで撮影した２つの画像を、１つの画像に良好に合成することができる。従って、カメラ２、３で運転者の顔を撮影したときに、運転者の顔を良好に撮影した画像、即ち、良好な合成画像を得ることができる。

また、上記実施形態では、上カメラ２で撮影された上カメラ画像を複数の行領域に分割した行領域画像１５と、下カメラ３で撮影された下カメラ画像を複数の行領域に分割した行領域画像１６との類似度を算出し、類似度が一番高い行領域画像を前記境界として検出するように構成した。この構成によれば、画像合成の境界を、簡単な構成にて容易且つ確実に検出することができる。

また、上記実施形態では、上カメラ画像または下カメラ画像に、隠れた部分がない運転者が写っている場合、隠れた部分がない運転者が写っているカメラ画像を用いることにより、画像の合成を行なわないように構成した。この構成によれば、画像の合成を行なわないので、画像合成する場合に比べて、画像認識処理全体に要する時間を短くすることができる。

また、上記実施形態では、チルト機構によりステアリングホイールが移動されたとき、または、画像合成処理や画像認識処理が実行されてから設定時間が経過したときには、前記境界検出部により境界を検出する処理を再度実行するように構成した。この構成によれば、画像合成の境界を検出する処理を、必要最小限しか実行せず、画像合成処理時に毎回実行しない、即ち、設定時間程度の間は、画像合成処理時に境界の条件を固定しているので、多数の合成画像を合成する際に、合成に要する時間を大幅に短縮することができる。

尚、上記実施形態においては、上カメラ画像または下カメラ画像における類似度算出の範囲、即ち、ＩＮＩＴ＿ｉ、ｍａｘ＿ｉ、ＩＮＩＴ＿ｊ、ｍａｘ＿ｊを、ステアリングホイール８の位置や角度等に応じて変更しても良いし、行領域画像の更新値ＳＴＥＰ＿ｉ、ＳＴＥＰ＿ｊを適宜変更しても良い。このように構成すると、計算対象の画像が小さくなって、計算量を少なくすることが可能となるから、制御装置６の処理負荷を軽減することができる。

（第２実施形態）
図１３ないし図１８は、第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第２実施形態では、図１３及び図１４に示すように、２台のカメラ２、３が水平方向にずれて配設されている。具体的には、下カメラ３が、上カメラ２に対して水平方向に所定距離離れて配設されている。尚、上カメラ２は、ドライバの顔の正面に対向するように配設されている。この構成の場合、ずれをなくすように下カメラ画像を回転移動させた画像を生成してから、２つの画像を合成するように構成されている。制御装置６の画像合成処理部１０は、画像生成部としての機能を有している。

第２実施形態において、上カメラ２により撮影された上カメラ画像は、図１５に示すような画像となる。そして、下カメラ３により撮影された下カメラ画像は、図１６に示すような画像となる。上カメラ画像の運転者の顔は正面を向いているが、下カメラ画像の運転者の顔はやや斜めを向いており、このままでは、両画像を合成すると、不自然な顔になってしまう。

そこで、第２実施形態では、制御装置６は、下カメラ画像を例えばアフィン変換等を行なうことにより回転移動させ、図１７に示すような回転移動画像を作成し、この回転移動画像をメモリに記憶する。そして、制御装置６は、下カメラ画像の上記回転移動画像と上カメラ画像を第１実施形態の画像合成制御を用いて合成するように構成されている。これにより、図１８に示すような良好な合成画像を得ることができる。

上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、２台のカメラ２、３が水平方向にずれて配設されている場合に、ずれをなくすようにカメラ画像を回転移動させた画像を生成してから、２つの画像を合成するように構成したので、良好な合成画像を合成することができる。

（第３実施形態）
図１９は、第３実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第３実施形態では、図１９において破線の矩形領域で示すように、画像合成や画像認識処理に使用する画像データの大きさを小さくするように構成した。この構成の場合、制御装置６の画像合成処理部１０は、画像縮小部としての機能を有する。

具体的には、最初に、第１実施形態の画像合成制御を用いて、上カメラ画像と下カメラ画像を合成し、図１９に示すような合成画像２１を作成する。この合成画像２１について、運転者の顔の画像認識処理を行なうことにより、顔画像の大きさと位置を検出する。そして、この検出した顔画像の大きさと位置の情報に基づいて、画像合成や画像認識処理に必要な画像の大きさを、図１９にて破線の矩形領域で示すように設定して、合成画像２１よりも小さくする。

この後、上カメラ画像と下カメラ画像を合成する場合、上カメラ画像及び下カメラ画像それぞれについて、上記破線の矩形領域で示す部分に対応する部分画像またはこの部分画像よりも少し大きい程度の大きさの部分画像を用いて、第１実施形態の画像合成制御とほぼ同様の合成処理を実行する。そして、合成した画像に対して、画像認識処理を行なう場合も、上記破線の矩形領域で示す部分を用いて画像認識処理を実行するように構成されている。

上述した以外の第３実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第３実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第３実施形態によれば、画像合成や画像認識処理に使用する画像データを小さくするように構成したので、制御装置６の処理負荷を低減することができる。

（第４実施形態）
図２０は、第４実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第４実施形態では、上カメラ画像の行領域画像と、下カメラ画像の行領域画像との類似度を算出しているときに、類似度が予め設定された境界判定用の閾値以上になったとき、類似度の算出を止めて、類似度が境界判定用の閾値以上になった行領域画像を境界として検出するように構成した。

具体的には、図２０のステップＳ２１０〜Ｓ２５０は、第１実施形態と同様に実行し、ステップＳ２５０の後、ステップＳ４１０に進む。このステップＳ４１０では、算出された類似度が境界判定用の閾値以上であるか否かを判断する。ここで、類似度が境界判定用の閾値以上でないときには（ＮＯ）、ステップＳ２６０へ進み、これ以降ステップＳ３３０まで、第１実施形態と同様に実行する。

また、上記ステップＳ４１０において、類似度が境界判定用の閾値以上であるときには（ＹＥＳ）、ステップＳ４２０へ進み、合成条件の境界領域として、境界判定用の閾値以上となった類似度の上カメラ画像の行領域画像と下カメラ画像の行領域画像の組み合わせを選択して設定する。そして、ステップＳ３２０へ進み、合成判定をＯＫと設定し、本制御を終了する。

上述した以外の第４実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第４実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第４実施形態によれば、類似度を算出している途中で、類似度が境界判定用の閾値以上になったときに、類似度の算出を止めて、類似度が境界判定用の閾値以上になった行領域画像を境界として検出するように構成したので、境界検出処理に要する時間、ひいては、画像合成に要する時間を短縮することができる。

尚、上記各実施形態では、上カメラ画像の行領域画像と、下カメラ画像の行領域画像とを比較して類似度を算出するように構成したが、これに限られるものではなく、行領域画像に代えて列領域画像を比較するように構成しても良い。列領域画像は、カメラ画像を横方向に列単位で複数に分割した領域である。また、上カメラ画像及び下カメラ画像を複数の所定の大きさの矩形状の画像領域に分割し、分割した矩形状の画像領域を比較するように構成しても良い。

また、上記各実施形態では、２個のカメラ２、３を配設した構成に適用したが、これに限られるものではなく、３個以上のカメラを配設し、３個以上のカメラで撮影した３つ以上のカメラ画像を合成する構成に適用しても良い。

また、上記各実施形態では、類似度を算出し、類似度が一番高い行領域画像１５、１６を境界とするように構成したが、これに限られるものではなく、ステアリングホイールのチルト位置、ステアリング角度、車両情報に含まれる車両パラメータ、例えば、カメラ設置条件、ステアリング形状、ドライバポジション等の種々の車両パラメータ、画像認識処理部１１の顔認識結果の情報などを用いて、境界を検出するために類似度を算出する上カメラ画像及び下カメラ画像の画像領域を狭くするように構成しても良い。このように構成すると、境界の検出時間や制御装置６の処理負荷を低減できる。

また、類似度の算出を止めて、ステアリングホイールのチルト位置やステアリング角度や車両パラメータに基づいて計算により合成に適した境界、即ち、合成に適した境界とする行領域画像を検出して設定するように構成しても良い。このように構成すると、類似度を算出しないので、境界を検出するのに要する時間を大幅に短縮することができる。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１は車両用画像合成装置、２は上カメラ（第１カメラ）、３は下カメラ（第２カメラ）、４はチルト位置センサ、５はステアリング角度センサ、６は制御装置、８はステアリングホイール、９はステアリングコラム、１０は画像合成処理部（境界検出部、合成部、画像生成部、画像縮小部）、１１は画像認識処理部、１５、１６は行領域画像、２１は合成画像である。

Claims

車両に搭載され運転者を異なる位置から撮影する第１カメラ（２）および第２カメラ（３）と、
前記第１および第２カメラで撮影された２つの画像を比較して合成に適した境界を検出する境界検出部（１２）と、
前記２つの画像を、運転者の画像の隠れた部分がなくなるように前記境界において合成する合成部（１３）と
を備え、
前記境界検出部は、ステアリングホイールのチルト位置に基づいて計算により境界を設定するように構成された車両用画像合成装置。
前記境界検出部は、前記第１カメラで撮影された第１画像を複数の行領域に分割した行領域画像と、前記第２カメラで撮影された第２画像を複数の行領域に分割した行領域画像との類似度を算出し、類似度が一番高い行領域画像を前記境界として検出するように構成された請求項１記載の車両用画像合成装置。
前記境界検出部は、前記第１画像の行領域画像と、前記第２画像の行領域画像との類似度を算出しているときに、類似度が予め設定された境界判定用の閾値以上になったとき、類似度の算出を止めて、類似度が閾値以上になった行領域画像を境界として検出するように構成された請求項２記載の車両用画像合成装置。
前記境界検出部は、車両パラメータに基づいて計算により境界を設定するように構成された請求項１記載の車両用画像合成装置。
２台のカメラが水平方向または垂直方向にずれて配設されている場合、ずれをなくすように第１画像または第２画像を回転移動させた画像を生成する画像生成部（１０）を備え、
前記回転移動させた画像を用いて合成を行なうように構成された請求項２記載の車両用画像合成装置。
画像認識結果に基づいて、画像を小さくできると判定された場合、前記画像から顔認識に必要な領域を設定して画像を小さくする画像縮小部（１０）を備え、
前記画像を小さくした画像を用いて合成を行なうように構成された請求項２記載の車両用画像合成装置。
第１画像または第２画像に、隠れた部分がない運転者が写っている場合、隠れた部分がない運転者が写っている画像を用いることにより、画像の合成を行なわないように構成された請求項２記載の車両用画像合成装置。
チルト機構によりステアリングホイールが移動されたときや、画像認識処理が実行されてから設定時間が経過したときには、前記境界検出部により境界を検出する処理を再度実行するように構成された請求項１記載の車両用画像合成装置。