JP5256060B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、例えば、運転者を撮像する撮像装置に関する。

従来から、撮像素子のフィールド毎に露光時間を変え、ダイナミックレンジを拡大した画像を取得する方法が存在する。例えば、特許文献１に記載の方法では、撮像素子における色フィルタアレイのフィールド毎にシャッタ時間又は絞りを切り替えて別々に撮像し、得られたそれぞれの画像を合成することにより１枚の画像を取得する方法が提案されている。具体的には、特許文献１に記載の方法は、長い第１シャッタ時間と短い第２シャッタ時間とを切り替えて撮像し、１フィールド毎のデータの信号レベルが所定のレベルより大きいか否かを判定している。データの信号レベルが所定のレベルより大きい場合は、短い第２シャッタ時間で撮像されたフィールドのデータが用いられ、所定のレベル以下の場合は長い第１シャッタ時間で撮像されたフィールドのデータが用いられ、合成される。このようにして、ダイナミックレンジの広い画像を撮像している。

特開２０００−７８５９４号公報

しかしながら、上記特許文献１に記載の方法では以下のような課題があった。すなわち、合成した画像を用いてエッジ検出等で画像処理を行う際、明るいエリアと暗いエリアとを結合した結合線をエッジとして誤検出してしまう場合がある。例えば、運転者の顔を撮像する撮像装置においては、目の検出方法としてエッジを元にベジェ曲線等により目の境界を検出しているため、結合画像の結合線があるとその結合線自体をエッジとして検出してしまう場合がある。このため、目や鼻、口等の顔部品を正確に検出することができなくなる。

それ故、本発明の目的は、被写体の部分の画像処理において適した画像を取得可能な撮像装置を提供することである。

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係の一例を示したものであって、本発明を何ら限定するものではない。

本発明は、撮像手段（２）と、部分領域設定手段（４、ステップＳ１０。以下ステップ番号のみ記載）と、輝度情報算出手段（４、Ｓ１２）と、画像取得手段（３、Ｓ１５）と、画像分割手段（３、Ｓ１５）と、画像結合手段（３、Ｓ１５）とを備える撮像装置である。撮像手段は、それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能である。部分領域設定手段は、被写体が撮像される領域内に複数の部分領域（トラッキング領域）を設定する。輝度情報算出手段は、部分領域に対する輝度情報を算出する。画像取得手段は、部分領域に対する輝度情報に基づいて、撮像手段で撮像した複数の全体画像の中から、少なくとも１つの部分領域に対応付けされた１つの全体画像を該部分領域に対応する選択画像として取得する。画像分割手段は、部分領域に対応する選択画像から該部分領域を含む部分画像を分割する。画像結合手段は、部分画像を複数の部分領域毎に取得し、該複数の部分画像を結合して被写体を撮像した画像を結合画像として生成する。そして、画像結合手段は、複数の部分画像を結合する結合境界を、隣接する該部分画像にそれぞれ含まれる部分領域の中間位置に設定して、複数の部分画像を結合する。

この発明によれば、被写体を撮像した画像の部分領域の輝度情報に基づいて、当該部分領域に適した露光時間の画像を取得することができる。これにより、部分領域の画像処理に適した画像を取得することができる。また、この発明によれば、露光時間の異なる複数の画像を結合する際、隣接する部分画像にそれぞれ含まれる部分領域の中間位置に設定された結合境界で、複数の画像を結合する。これにより、画像認識の際、結合境界をエッジとして誤検出することを防止することができる。

本発明において、撮像装置は、共通露光時間設定手段（３）をさらに備えてもよい。共通露光時間設定手段は、上記複数の部分領域のうち、２以上の部分領域の輝度情報が所定の条件を満たす場合、該部分領域に対する共通の露光時間を設定する。撮像手段は、共通露光時間設定手段によって設定された共通の露光時間で被写体を撮像する。そして、画像取得手段は、共通露光時間設定手段によって設定された共通の露光時間で撮影した画像を、上記共通の露光時間が設定された部分領域に対応する選択画像として取得する。

この発明によれば、各部分領域に対して露光制御を行う場合に比べて、被写体の全体を撮像した画像を取得するために要する時間を短縮することができる。

本発明において、撮像装置は、露光時間算出手段および閾値変更手段をさらに備えてもよい。露光時間算出手段は、輝度情報算出手段によって算出された輝度情報に基づいて、部分領域に対する露光時間を算出する。閾値変更手段は、露光時間算出手段によって算出された露光時間と共通露光時間設定手段で設定された共通の露光時間とに基づいて、共通の露光時間が設定された部分領域内のエッジ検出の際に用いられる閾値を変更する。

この発明によれば、複数の部分領域に対して共通の露光時間で撮像した場合でも、当該領域内のエッジ検出の閾値を変更することができる。これにより、共通の露光時間で撮像した場合でも、エッジ検出の精度を維持することができる。

本発明において、上記共通露光時間設定手段は、上記所定の条件として、部分領域の平均輝度が所定の範囲であり、かつ、部分領域の平均輝度の差が所定の範囲である場合、該部分領域に対する共通の露光時間を設定してもよい。

この発明によれば、複数の部分領域の平均輝度が所定の条件を満たす場合、当該領域に対して共通の露光時間を設定することができる。

本発明において、画像取得手段は、撮像手段が配設されたカメラ部に配設されてもよい。また、部分領域設定手段と、輝度情報算出手段とは、カメラ部とは別体のカメラＥＣＵ部に配設されてもよい。そして、カメラ部は、カメラＥＣＵ部の要求に応じて、カメラＥＣＵ部に対して上記選択画像を伝送する。

この発明によれば、カメラ部は、カメラＥＣＵ部に対して、選択画像を伝送することができる。これにより、カメラＥＣＵ部は、画像処理に必要な選択画像を取得することができる。

本発明において、カメラ部とカメラＥＣＵ部とは、伝送ケーブルと制御線とで接続されてもよい。カメラＥＣＵ部は、制御線を介して上記輝度情報及び上記部分領域を含む制御信号を送信する。カメラ部は、伝送ケーブルを用いて上記選択画像を伝送する。

この発明によれば、制御線及び伝送ケーブルを用いてカメラ部とカメラＥＣＵ部とを接続することができる。

本発明において、上記伝送ケーブルで伝送する信号はＮＴＳＣであってもよい。

この発明によれば、比較的安価で実績のあるＮＴＳＣケーブルを使用することができる。

本発明において、上記伝送ケーブルで伝送する信号はＧＶＩＦまたはＬＶＤＳであってもよい。

この発明によれば、取得した画像をデジタル伝送することができる。また、高速伝送が可能なため、より高画質な画像を伝送することができる。

本発明において、上記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を制御線として使用してもよい。

この発明によれば、カメラ部とカメラＥＣＵ部とを接続する制御線を省略することができるため、低コスト化を実現できる。また、制御線を省略することによって、ケーブルの配線スペースを省略することができる。

本発明において、画像取得手段と、画像分割手段と、画像結合手段とは、撮像手段が配設されたカメラ部に配設されてもよい。また、部分領域設定手段と、輝度情報算出手段とは、カメラ部とは別体のカメラＥＣＵ部に配設されてもよい。そして、カメラ部は、カメラＥＣＵ部の要求に応じて、カメラＥＣＵ部に対して結合画像又は選択画像を伝送する。

この発明によれば、カメラ部は、カメラＥＣＵ部に対して、結合画像又は選択画像を伝送することができる。

本発明において、部分領域設定手段と、輝度情報算出手段と、画像取得手段と、画像分割手段と、画像結合手段とは、撮像手段が配設されたカメラ部に配設されてもよい。そして、カメラ部は、カメラ部とは別体の画像認識処理を行うカメラＥＣＵ部に対して結合画像を伝送する。

この発明によれば、カメラＥＣＵ部からカメラ部に対して制御信号を送信しなくてもよいため、信号の送受信に関する遅延を防止することができる。また、制御線を省略することができ、低コスト化を実現できる。

本発明において、輝度情報算出手段は、部分領域の輝度情報として、部分領域における各画素の輝度に関するヒストグラムを算出してもよい。そして、画像取得手段は、上記輝度に関するヒストグラムに基づいて選択画像を取得する。

この発明によれば、輝度情報として、輝度に関するヒストグラムを用いて、選択画像を取得することができる。

本発明において、画像取得手段は、部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像を、上記選択画像として取得してもよい。

この発明によれば、白飛び又は黒つぶれしている可能性のある画像を除外することができる。

本発明において、画像取得手段は、部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像が複数存在する場合、露光時間の最も短い全体画像を上記選択画像として取得してもよい。

この発明によれば、露光時間の短い画像を選択することができ、ブレの少ない画像を取得することができる。

本発明において、輝度情報算出手段は、部分領域の輝度情報として、部分領域におけるエッジ強度に関するヒストグラムを算出してもよい。そして、画像取得手段は、エッジ強度に関するヒストグラムに基づいて上記選択画像を取得する。

この発明によれば、エッジ強度に関するヒストグラムを用いて、選択画像を取得することができる。

被写体を撮像した画像の部分領域の輝度情報に基づいて、当該部分領域に適した露光時間の画像を取得することができる。これにより、部分領域の画像処理に適した画像を取得することができる。

第１の実施形態に係る撮像装置の構成を示すブロック図 運転者の顔の各部品について複数のトラッキング領域を設定した様子を示した図 運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ２によって撮像された露光時間の短い画像を示した図 運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ２によって撮像された露光時間の長い画像を示した図 露光制御・選択結合部３が、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する様子を示した図 ４つのトラッキング領域に対して異なる露光時間の画像を撮像し、結合する様子を示した図 撮像装置１の動作の流れを示すフローチャート 輝度情報が所定の範囲の場合、予め定められた共通露光時間を設定するための露光時間変換テーブルの一例を示す図 変形例２に係る撮像装置の構成を示すブロック図 第２の実施形態に係る撮像装置の構成を示すブロック図 第２の実施形態に係る撮像装置５０の動作の流れを示すフローチャート 複数のトラッキング領域と複数の撮像画像との輝度情報に関する対応テーブルの一例を示す図 第３の実施形態に係る撮像装置の動作の流れを示すフローチャート

（第１の実施形態）
以下、図面を参照して本発明の第１の実施形態に係る撮像装置について、説明する。図１は、第１の実施形態に係る撮像装置の構成を示すブロック図である。第１の実施形態に係る撮像装置１は、例えば、車両に搭載され、運転者の顔を撮影するために用いられる。

図１に示されるように、撮像装置１は、撮像センサ２と、露光制御・選択結合部３と、部分領域設定・輝度情報算出部４とを備える。撮像センサ２と露光制御・選択結合部３とは、カメラ部１１に配設されている。部分領域設定・輝度情報算出部４は、カメラＥＣＵ部１２に配設されている。また、カメラ部１１には、画像を一時的に保存しておくためのバッファ６が配設されている。同様に、カメラＥＣＵ部１２には、バッファ７が配設されている。また、画像処理部１０がカメラＥＣＵ部１２に配設されている。さらに、カメラ部１１とカメラＥＣＵ部１２とは、伝送ケーブル８と制御線９とで接続されている。以下、各部について説明する。

（撮像装置１の各部の説明）
カメラ部１１は、撮像センサ２及び露光制御・選択結合部３を搭載したカメラである。カメラ部１１は、車両の室内、例えば、ステアリングコラムカバーの上部に配設され、運転者の顔を撮像可能に配設される。カメラ部１１は、例えば、近赤外線ＬＥＤを搭載し、運転者の顔を照明してもよい。

カメラＥＣＵ部１２は、カメラ部１１とは物理的に離れた位置に配設され、例えば、インストルメントパネル内部に配設される。カメラＥＣＵ部１２は、具体的には、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える情報処理装置であり、プログラムが実行されることによって部分領域設定・輝度情報算出部４及び画像処理部１０を実現する。

撮像センサ２は、被写体を撮像する撮像手段であり、レンズから入射した光を電気信号に変換する。撮像センサ２は、被写体である運転者の顔を含む車両の運転席周辺を所定の解像度で撮影する。撮像センサ２により撮像された画像は、一時的にバッファ６に保存される。撮像センサ２は、露光制御・選択結合部３により露光制御が行われ、複数の露光時間の異なる画像を撮像可能である。撮像センサ２は、具体的には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。撮像センサ２の各画素の輝度値は、例えば、８ビット（最大輝度２５５）で表される。

露光制御・選択結合部３は、所定の処理を行う回路である。すなわち、露光制御・選択結合部３は、例えばシャッタスピードを制御することにより撮像センサ２に対する露光制御を行う。また、露光制御・選択結合部３は、撮像センサ２によって撮像された露光時間の異なる複数の画像を結合する。具体的には、露光制御・選択結合部３は、部分領域設定・輝度情報算出部４から部分領域毎に部分領域の範囲及び輝度情報を受信する。ここで部分領域とは、被写体（運転者の顔）の一部の領域であり、部分領域は、部分領域設定・輝度情報算出部４によって複数設定される。露光制御・選択結合部３は、受信した部分領域の範囲及びその部分領域の範囲に対する輝度情報に基づいて、部分領域毎に、当該部分領域に対応する選択画像（撮像センサ２により撮像された画像の中から選択された画像であって、１つの部分領域に対応付けられた１つの画像）を選択する。より具体的には、露光制御・選択結合部３は、受信した部分領域の範囲及びその部分領域の範囲に対する輝度情報に基づいて、部分領域毎に、当該部分領域に対する露光時間を算出し、算出した露光時間で運転者を撮像するように撮像センサ２を制御する。そして、露光制御・選択結合部３は、算出した露光時間で撮像された各画像を各部分領域に対応する選択画像としてそれぞれ取得する。次に、露光制御・選択結合部３は、各選択画像をそれぞれの部分領域を含む部分画像に分割し、分割した複数の部分画像を結合して１つの結合画像を生成する。すなわち、露光制御・選択結合部３は、１つの部分領域に対する１つの選択画像（全体画像）を取得し、他の部分領域に対する他の選択画像を取得し、これらの選択画像を結合することによって、１つの結合画像を生成する。そして、露光制御・選択結合部３は、生成した結合画像を、伝送ケーブル８を介してカメラＥＣＵ部１２に伝送する。なお、複数の部分領域の輝度情報が同一又は所定の範囲である場合、当該複数の部分領域に対応する１つの画像が選択画像として取得されてもよい。また、露光制御・選択結合部３は、上記複数の部分画像を結合せずに撮像センサ２により撮像した全体画像をそのままカメラＥＣＵ部１２に伝送する場合もある。また、露光制御・選択結合部３は、露光制御としてゲインを調整してもよい。露光制御・選択結合部３の詳細については、後述する。

部分領域設定・輝度情報算出部４は、実際にはカメラＥＣＵ部１２のＣＰＵがプログラムを実行することによって実現される。部分領域設定・輝度情報算出部４は、撮像センサ２により撮像された全体画像から運転者の顔の部品（目、鼻、口等）を認識し、各部品をトラッキング領域として複数設定する。また、部分領域設定・輝度情報算出部４は、設定した複数のトラッキング領域のうち、１つのトラッキング領域について、輝度情報を算出する。そして、部分領域設定・輝度情報算出部４は、複数のトラッキング領域について、トラッキング領域の範囲と当該トラッキング領域の輝度情報とを制御線９を介して露光制御・選択結合部３に送信する。ここで、輝度情報とは、トラッキング領域内の各画素の輝度値に関する情報であり、例えば、当該トラッキング領域における平均輝度（各画素の輝度値の平均）である。輝度情報は、トラッキング領域の最大輝度や最小輝度であってもよい。また、部分領域設定・輝度情報算出部４は、輝度情報としてトラッキング領域における輝度に関するヒストグラム（輝度に関する各画素の頻度分布）を算出してもよい。

バッファ６及びバッファ７は、画像を一時的に保存する記憶手段である。バッファ６は、撮像センサ２により撮像された画像を一時的に保存し、保存した画像を露光制御・選択結合部３に出力する。バッファ７は、露光制御・選択結合部３から出力された、結合画像又は撮像センサ２により撮像した全体画像を一時的に保存し、保存した画像を部分領域設定・輝度情報算出部４に出力する。

伝送ケーブル８及び制御線９は、カメラ部１１とカメラＥＣＵ部１２とを接続する。伝送ケーブル８は、画像伝送ケーブルであり、カメラ部１１からカメラＥＣＵ部１２に対して画像をＮＴＳＣ信号で伝送する。制御線９は、カメラＥＣＵ部１２からカメラ部１１に対して制御信号を送信するためのケーブルである。なお、カメラ部１１とカメラＥＣＵ部１２とは、伝送ケーブル８および制御線９で物理的に接続される必要は無く、無線通信により画像および制御信号が伝送されてもよい。

画像処理部１０は、実際にはカメラＥＣＵ部１２のＣＰＵがプログラムを実行することによって実現される。画像処理部１０は、カメラ部１１から伝送された画像を画像処理し、統計処理することにより、運転者の状態推定等を行う。例えば、画像処理部１０は、結合画像のうち目の部分（目のトラッキング領域）に基づいて運転者の目の開閉状態を認識し、運転者が正常な状態か否かを判断する。そして、画像処理部１０は、運転者の状態推定結果に応じて、車両の制御を行う制御ＥＣＵに対して、必要な動作を行うように制御信号を送信する。なお、画像処理部１０の動作については本発明の特徴部分ではないため、詳細な説明を省略する。

（撮像装置１の動作の説明）
次に、撮像装置１の動作について、図２から図７を参照して説明する。図２は、運転者の顔の各部品について複数のトラッキング領域を設定した様子を示した図である。まず、部分領域設定・輝度情報算出部４は、撮像センサ２により撮像された画像から運転者の顔の各部品である、左目、右目、鼻、及び、口を認識し、それぞれについてトラッキング領域を設定する（初期発見する）。具体的には、部分領域設定・輝度情報算出部４は、図２に示されるように、運転者の右目の領域であるトラッキング領域２１、左目の領域であるトラッキング領域２２、鼻の領域であるトラッキング領域２３、及び、口の領域であるトラッキング領域２４を設定する。以降、初期発見により顔の各部品に対するトラッキング領域が設定された後の撮像装置１の動作について、詳細に説明する。

上述したように、撮像センサ２は、露光制御されることにより、複数の露光時間の異なる画像を撮像可能である。以下では、運転者の顔に太陽光などの強い光が照射した場合において、短い露光時間と長い露光時間とで運転者の顔を撮像した場合について説明する。

図３Ａは、運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ２によって撮像された露光時間の短い画像を示した図である。図３Ａに示されるように、短い露光時間で撮像された画像は、強い光が照射された下半分（照射領域３２）と光が照射されない上半分（非照射領域３１）とに分けられる。非照射領域３１は、当該領域にある顔部品が認識できない程度に黒つぶれしている。これは、非照射領域３１に照射した光が弱く、かつ、露光時間が十分ではないため、受光した光量が少ないためである。一方、照射領域３２は、当該領域にある顔部品を認識することができる程度に各部品の境界が明瞭である。これは、照射領域３２に照射した光が強いため、短い露光時間でも十分な光量が得られるからである。このように、短い露光時間で撮像された画像は、顔の全部品について明瞭な画像を得ることができず、一部の顔部品（鼻及び口）のみについて明瞭な画像が得られる。

一方、露光時間が長い場合は、上記非照射領域３１にある顔部品を認識可能な画像が得られる。図３Ｂは、運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ２によって撮像された露光時間の長い画像を示した図である。図３Ｂに示されるように、長い露光時間で撮像された画像は、非照射領域３１にある顔部品（右目及び左目）を認識できる程度に各部品の境界が明瞭である。これは、非照射領域３１に照射した光は弱いが、露光時間が長いため十分な光量が得られるからである。しかしながら、その一方で、照射領域３２にある顔部品（鼻及び口）は、その境界を認識できない程度に白飛びしている。これは、照射領域３２に照射した光が強く、かつ、露光時間が長いため受光した光量が大きすぎるためである。すなわち、撮像センサ２の照射領域３２に対応する各画素の輝度値が最大輝度（２５５）に達している（最大輝度を超えている）ため、当該領域が白飛びしている。これにより、照射領域３２にある顔部品（鼻及び口）が認識できなくなっている。

上述したように、短い露光時間で撮像された画像は、鼻及び口が明瞭な画像であり、長い露光時間で撮像された画像は、右目及び左目が明瞭な画像である。露光制御・選択結合部３は、これら２つの画像を結合することで、１つの結合画像を生成する。図４は、露光制御・選択結合部３が、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する様子を示した図である。図４に示されるように、露光制御・選択結合部３は、トラッキング領域に結合線が存在しないように、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する。ここで、結合線とは、複数の画像を結合する場合の各画像の境界線であり、２つの画像を結合する場合は、結合線は１本となる。

具体的には、露光制御・選択結合部３は、次のような処理を行う。まず、露光制御・選択結合部３は、制御線９を介して部分領域設定・輝度情報算出部４から複数のトラッキング領域及び各トラッキング領域に対する輝度情報を受信する。次に、露光制御・選択結合部３は、各トラッキング領域の輝度情報に基づいて、各トラッキング領域に対する露光時間を算出する。すなわち、露光制御・選択結合部３は、右目の領域であるトラッキング領域２１に対する露光時間、左目の領域であるトラッキング領域２２に対する露光時間、鼻の領域であるトラッキング領域２３に対する露光時間、及び、口の領域であるトラッキング領域２４に対する露光時間を算出する。各領域に対する露光時間の算出は、例えば、次のようにして行われる。

部分領域設定・輝度情報算出部４は、各トラッキング領域に対する輝度情報として、例えば、各トラッキング領域における平均輝度を算出する。そして、露光制御・選択結合部３は、算出された各領域の平均輝度に基づいて各領域に対する露光時間を算出する。露光制御・選択結合部３は、平均輝度が比較的高い場合は、露光時間を短く、平均輝度が比較的低い場合は、露光時間を長く設定する。ここでは、トラッキング領域２１及び２２（右目及び左目）の平均輝度が同じであり、トラッキング領域２３及び２４（鼻及び口）の平均輝度が同じであるとする。

次に、露光制御・選択結合部３は、算出した各領域に対する露光時間で運転者の顔を撮像するように撮像センサ２を制御する。ここでは、露光制御・選択結合部３で算出された露光時間は、トラッキング領域２１及び２２（右目及び左目）に対しては１０ｍｓｅｃ、トラッキング領域２３及び２４（鼻及び口）に対しては１ｍｓｅｃとする。次に、撮像センサ２は、１０ｍｓｅｃの露光時間の画像（長い露光時間の画像）と１ｍｓｅｃの露光時間の画像（短い露光時間の画像）とを撮像し、２つの画像をバッファ６に保存する。そして、露光制御・選択結合部３は、トラッキング領域２１及び２２に対する長い露光時間の画像（トラッキング領域２１及び２２に対応する選択画像）とトラッキング領域２３及び２４に対する短い露光時間の画像（トラッキング領域２３及び２４に対応する選択画像）とを、バッファ６から取得する。

次に、露光制御・選択結合部３は、取得した２つの画像を結合する。例えば、図４に示されるように、露光制御・選択結合部３は、長い露光時間の画像をトラッキング領域２１及び２２を完全に含むように結合線を定めて分割し、結合線より上の部分画像をトラッキング領域２１及び２２の部分画像として取得する。例えば、露光制御・選択結合部３は、トラッキング領域２１とトラッキング領域２３との中間を横方向（水平方向）の結合線として定める。あるいは、露光制御・選択結合部３は、トラッキング領域２１及び２２の下端を結合線として定めてもよい。同様に、露光制御・選択結合部３は、短い露光時間の画像を、定められた結合線で分割し、結合線より下の部分画像をトラッキング領域２３及び２４の部分画像として取得する。そして、露光制御・選択結合部３は、これら２つの部分画像を結合し、１つの結合画像を生成する。図４に示されるように、結合画像の境界線より上の部分は、長い露光時間の画像における結合線より上の部分であり、結合画像の境界線より下の部分は、短い露光時間の画像における結合線より下の部分である。そして、生成された結合画像は、伝送ケーブル８を介してカメラＥＣＵ部１２に伝送され、画像処理がなされる。なお、結合線は、各トラッキング領域内に存在しなければどのようにして定められてもよく、曲線であってもよい。

このようにして生成された結合画像では、図４に示される結合線より上の部分はトラッキング領域２１及び２２に対して画像認識に適した露光時間の画像（画像認識が可能な境界が明瞭な画像）であり、結合線より下の部分はトラッキング領域２３及び２４に対して画像認識に適した露光時間の画像である。さらに、各トラッキング領域に結合線が存在しない。このため、得られた結合画像を用いて画像処理をする場合、誤って結合線をエッジ検出することを防止することができる。

なお、上記では、長い露光時間の画像と短い露光時間の画像との２つの画像を撮像して結合したが、各トラッキング領域に対して異なる露光時間の画像を取得し、結合してもよい。例えば、４つのトラッキング領域に対してそれぞれ異なる露光時間の４つ画像（４つのトラッキング領域に対応する４つの選択画像）を撮像し、これら４つの画像を結合してもよい。図５は、４つのトラッキング領域に対して異なる露光時間の画像を撮像し、結合する様子を示した図である。図５に示されるように、各トラッキング領域を含む画像がトラッキング領域に対する部分画像として分割され、１つの結合画像が生成されている。すなわち、生成された結合画像は、トラッキング領域２４に対応する選択画像（１ｍｓｅｃで撮像）の部分である部分画像ａと、トラッキング領域２３に対応する選択画像（２ｍｓｅｃで撮像）の部分である部分画像ｂと、トラッキング領域２１に対応する選択画像（１０ｍｓｅｃで撮像）の部分である部分画像ｃと、トラッキング領域２２に対応する選択画像（１２ｍｓｅｃで撮像）の部分である部分画像ｄとを結合した画像である。

次に、上述した撮像装置１の詳細な動作について、図６を参照して説明する。図６は、撮像装置１の動作の流れを示すフローチャートである。図６のフローチャートで示される処理は、カメラＥＣＵ部１２によって制御される。図６のフローチャートで示される処理は、例えば、車両が走行中に繰り返し実行される。

ステップＳ１０において、部分領域設定・輝度情報算出部４（カメラＥＣＵ部１２）は、運転者の顔の各部品である右目、左目、鼻、及び、口を認識し、それぞれについてトラッキング領域（トラッキング領域２１〜２４）を設定する。具体的には、カメラＥＣＵ部１２は、露光制御・選択結合部３に対して制御線９を介して所定の露光時間で画像を撮像するように命令を送信する。撮像された画像は、伝送ケーブル８を介してバッファ７に伝送される。そして、カメラＥＣＵ部１２は、撮像センサ２により撮像された画像をバッファ７から読み出し、従来の顔認識技術であるパターンマッチングやエッジ検出等により各顔部品を認識する。次に、カメラＥＣＵ部１２は、各顔部品について位置と大きさを設定し、カメラＥＣＵ部１２内のＲＡＭに保存する。なお、ステップＳ１０では、上述した顔部品の初期発見と初期発見後の各顔部品の追跡とを行う。すなわち、既に以前のサイクル（図６のフローチャートで示される１回の処理を１サイクルとする）において、初期発見がなされている場合は、カメラＥＣＵ部１２は、設定されたトラッキング領域に基づいて各顔部品を認識し、各顔部品が移動している場合は、顔部品の移動量に応じてトラッキング領域の位置を移動させる。各顔部品の追跡のために用いられる画像は、前回サイクル時にバッファ７に保存された１つの結合前の画像であってもよい。また、顔部品の初期発見及び各顔部品の追跡のために用いられる画像は、結合後の画像であってもよいし、複数の露光時間の異なる画像（結合前の画像）であってもよい。次に、ステップＳ１１の処理が実行される。

ステップＳ１１において、カメラＥＣＵ部１２は、複数のトラッキング領域のうち、１つのトラッキング領域に対する輝度情報を算出する。カメラＥＣＵ部１２は、既に輝度情報が算出されたトラッキング領域以外のトラッキング領域について、輝度情報を算出する。カメラＥＣＵ部１２は、具体的には、トラッキング領域に対する輝度情報として、トラッキング領域における平均輝度を算出する。すなわち、カメラＥＣＵ部１２は、各領域に含まれる画素の輝度値の和を各領域に含まれる画素数で除した値を算出し、制御線９を介して露光制御・選択結合部３に送信する。次に、ステップＳ１２の処理が実行される。

ステップＳ１２において、カメラＥＣＵ部１２は、すべてのトラッキング領域に対して輝度情報が算出されたか否かを判定する。判定結果が肯定の場合、次にステップＳ１３の処理が実行される。判定結果が否定の場合、ステップＳ１１の処理が再び実行される。

ステップＳ１３において、露光制御・選択結合部３は、各トラッキング領域の平均輝度に基づいて、各トラッキング領域に対する露光時間を算出する。具体的には、カメラＥＣＵ部１２が、露光制御・選択結合部３に対して制御線９を介して命令を送信する。命令を受信した露光制御・選択結合部３は、予め露光制御・選択結合部３に保存された露光時間変換テーブルにより、各トラッキング領域に対する露光時間を算出する。ここで、露光時間変換テーブルは、予め露光制御・選択結合部３に保存された平均輝度と露光時間との対応表である。次に、ステップＳ１４の処理が実行される。

ステップＳ１４において、算出された露光時間で撮像した画像が取得される。具体的には、露光制御・選択結合部３は、各トラッキング領域に対する露光時間で画像を撮像するように撮像センサ２を制御し、複数の異なる露光時間の画像を取得する。すなわち、露光制御・選択結合部３は、トラッキング領域２１に対応する選択画像、トラッキング領域２２に対応する選択画像、トラッキング領域２３に対応する選択画像、及び、トラッキング領域２４に対応する選択画像を取得する。次に、ステップＳ１５の処理が実行される。

ステップＳ１５において、露光制御・選択結合部３は、ステップＳ１４で取得した複数の選択画像を結合し、結合画像を生成する。具体的には、露光制御・選択結合部３は、取得した複数の選択画像を、それぞれのトラッキング領域を含む部分画像に分割する。すなわち、露光制御・選択結合部３は、例えば、トラッキング領域２１を完全に含む部分画像を当該トラッキング領域２１に対応する選択画像から分割する。具体的には、例えば、露光制御・選択結合部３は、トラッキング領域２１及び２２の位置と大きさとに基づいて、各領域から等距離にある点を通る線分を１つの結合線として算出する。同様に、露光制御・選択結合部３は、トラッキング領域２１及び２３から等距離にある点を通る線分を他の結合線として算出する。このようにして隣り合う領域と領域との中間を通る結合線を算出することにより、各領域は、それぞれの領域を含む部分に分割される。そして、露光制御・選択結合部３は、各トラッキング領域に対応する選択画像を上記方法で算出した結合線で分割して切り取ることにより、各トラッキング領域に対する部分画像を取得する。そして、露光制御・選択結合部３は、これらの部分画像を結合し、１つの結合画像を生成する。露光制御・選択結合部３は、生成した結合画像をカメラＥＣＵ部１２のバッファ７に伝送ケーブル８を介して伝送する。次に、ステップＳ１６の処理が行われる。

ステップＳ１６において、画像処理部１０（カメラＥＣＵ部１２）は、伝送された結合画像を画像処理することによって、運転者の状態を推定する。具体的には、カメラＥＣＵ部１２は、バッファ７に保存された結合画像を取得し、各トラッキング領域に対して種々の画像処理を行う。例えば、画像処理部１０は、トラッキング領域２１及び２２に対してエッジ検出を行うことにより、運転者の目の開閉状態を検出する。また、画像処理部１０は、トラッキング領域２３及び２４に対してエッジ検出を行うことにより、運転者の顔の向きを検出する。そして、カメラＥＣＵ部１２は、目の開閉状態から運転者の覚醒状態を推定したり、運転者の顔の向きから運転者の注意状態を判断したりする。

以上のようにして、撮像装置１は、トラッキング領域毎に異なる露光時間の画像を撮像し、トラッキング領域内に結合線が存在しないように、複数の画像を結合する。これによってトラッキング領域内に結合線を有さない画像を取得することができ、エッジ検出の際に誤検出を防止することが可能な画像を取得することができる。従って、画像処理に適した画像を取得することができる。

なお、本実施形態では、部分領域設定・輝度情報算出部４は、各トラッキング領域に対する輝度情報として、各トラッキング領域における平均輝度を算出した。他の実施形態では、各トラッキング領域の輝度情報として、トラッキング領域における輝度値の最大値又は最小値を算出してもよい。また、トラッキング領域内の一部の領域の平均輝度であってもよく、トラッキング領域内の一部の領域における最大輝度又は最小輝度であってもよい。また、算出される輝度情報は、トラッキング領域内の輝度に関するヒストグラムであってもよい。例えば、所定の第１閾値より大きな輝度値を有する画素の割合を輝度情報として算出してもよい。同様に、所定の第２閾値より小さな輝度値を有する画素の割合を輝度情報として算出してもよい。さらに、輝度情報として、トラッキング領域内のエッジ強度に関するヒストグラムが算出されてもよい。そして、以上のようにして算出された輝度情報に基づいて、露光制御・選択結合部３は、露光時間を算出する。

また、本実施形態では、露光制御・選択結合部３は、予め定められた露光時間変換テーブルにより、露光時間を算出したが、他の実施形態では、輝度情報と露光時間とを関連付けた関係式に基づいて、露光時間を算出してもよい。

また、本実施形態では、露光制御・選択結合部３は、複数の露光時間の異なる画像を結合してカメラＥＣＵ部１２に伝送したが、結合せずに複数の露光時間の異なる画像（複数の選択画像）をそのまま伝送してもよい。このように結合せずに伝送することで、結合するための処理を省略することができる。これにより、処理負荷の低減、及び、結合処理による時間の遅延を防止することができる。

また、本実施形態では、部分領域設定・輝度情報算出部４は、トラッキングすべき顔部品をトラッキング領域として設定したが、他の実施形態では、トラッキング領域は、予め定められた部分領域であってもよい。すなわち、初期発見時のように、トラッキング領域が定められていない場合においても、予め画像を部分領域に分割しておく。そして、各部分領域に対する輝度情報に基づいて、各部分領域に対する露光時間を算出することで、各部分領域の画像認識に適した画像を取得することができ、初期発見に適した画像を取得することができる。

また、他の実施形態では、伝送ケーブル８は、シールド線付の差動信号伝送ケーブルでもよい。この場合、カメラ部１１において画像のアナログ信号がデジタル信号に変換され、カメラ部１１からカメラＥＣＵ部１２へＧＶＩＦまたはＬＶＤＳ信号により、デジタル化された画像が伝送される。さらに、この場合、上記シールド線を制御線９として利用する。これにより、制御線９を省略することができる。

（変形例１）
なお、第１の実施形態の変形例としては、算出される露光時間は、複数のトラッキング領域に対して共通の時間であってもよい。以下、第１の実施形態の変形例１について説明する。

変形例１では、具体的には、複数のトラッキング領域に対する輝度情報が所定の範囲である場合、露光制御・選択結合部３は、それらトラッキング領域に対して共通の露光時間を設定する。図７は、輝度情報が所定の範囲の場合、予め定められた共通露光時間を設定するための露光時間変換テーブルの一例を示す図である。図７において、「輝度情報」の列は、露光時間を求めるトラッキング領域の輝度情報であり、具体的には、平均輝度である。また、「共通露光時間を用いる条件」の列は、複数のトラッキング領域に対して共通の露光時間を設定する際の条件である。すなわち、複数のトラッキング領域の輝度情報が、図７の「輝度情報」の列に示される同じ範囲にある場合においても、これら複数のトラッキング領域の輝度差が「共通露光時間を用いる条件」の列で示される範囲にない場合は、これら複数のトラッキング領域に対して共通の露光時間を設定しない。また、図７の「露光時間」の列に示される値は、複数のトラッキング領域に設定する共通の露光時間である。

図７に示されるように、露光制御・選択結合部３は、輝度情報が所定の範囲の場合、予め定められた共通の露光時間を設定する。例えば、トラッキング領域２１（右目の領域）の平均輝度が１０で、トラッキング領域２２（左目の領域）の平均輝度が７である場合、これら２つのトラッキング領域の平均輝度が１−２０の範囲内であり、かつ、平均輝度の差が３であるため、露光制御・選択結合部３は、トラッキング領域２１及び２２の露光時間として共通の露光時間１０ｍｓｅｃを設定する。同様に、例えば、トラッキング領域２３（鼻の領域）の平均輝度が１２０で、トラッキング領域２４（口の領域）の平均輝度が１５０である場合、露光制御・選択結合部３は、トラッキング領域２３及び２４の露光時間として共通の露光時間１ｍｓｅｃを設定する。

このように、共通の露光時間を設定することにより、トラッキング領域毎に異なる露光時間で撮像する場合に比べて、短時間で画像を取得することができる。また、輝度情報が所定の範囲内である場合（輝度値が近い場合）、共通の露光時間で撮像した場合においてもある程度（画像認識が可能な程度に）明瞭な画像を取得することができる。

以上のようにして、複数のトラッキング領域（例えば、右目及び左目の領域）に対して共通の露光時間を設定し、共通の露光時間でこれらのトラッキング領域（右目及び左目の領域）の画像を取得した場合、それぞれのトラッキング領域に最適な露光時間ではない可能性がある。従って、このような場合、トラッキング領域に対する最適な露光時間と共通の露光時間とに基づいて、当該トラッキング領域におけるエッジ検出の閾値を変更してもよい。すなわち、露光制御・選択結合部３は、第１の実施形態と同様、各トラッキング領域に対する露光時間を、最適な露光時間としてそれぞれ算出する。同時に、露光制御・選択結合部３は、複数のトラッキング領域（例えば、トラッキング領域２１及び２２）の輝度情報が所定の範囲内である場合、それらトラッキング領域に対して共通の露光時間を算出する。次に、露光制御・選択結合部３は、それぞれの最適な露光時間及び共通の露光時間をカメラＥＣＵ部１２に送信する。そして、画像処理部１０（カメラＥＣＵ部１２）は、算出した最適な露光時間と共通の露光時間とのずれに基づいて、エッジ検出の閾値を変更する。例えば、トラッキング領域２１の最適な露光時間が３０ｍｓｅｃ、トラッキング領域２２の最適な露光時間が５０ｍｓｅｃ、共通の露光時間が４０ｍｓｅｃである場合、画像処理部１０は、トラッキング領域２１に対するエッジ検出処理の際、３０ｍｓｅｃと４０ｍｓｅｃとのずれに基づいて、エッジ検出の閾値を変更する（例えば、通常の閾値の３／４に設定する）。

以上のようにして、エッジ検出の際の閾値を変更することにより、複数のトラッキング領域に対して共通の露光時間で撮像した場合においても、正確なエッジ検出処理を行うことができる。

（変形例２）
次に、第１の実施形態に係る撮像装置の変形例２について説明する。図８は、変形例２に係る撮像装置の構成を示すブロック図である。撮像装置４０では、第１の実施形態に係る撮像装置１の部分領域設定・輝度情報算出部４の位置が異なる。また、撮像装置４０では、制御線９が省略されている。変形例２では、第１の実施形態に係る撮像装置１と同様の構成については、同一の符号を付し、説明を省略する。

変形例２では、部分領域設定・輝度情報算出部４が、カメラ部１１に移動している。すなわち、トラッキング領域の設定及び当該トラッキング領域の輝度情報の算出は、カメラ部１１にて行われる。部分領域設定・輝度情報算出部４は、上述したトラッキング領域の設定及び当該トラッキング領域における輝度情報の算出を行う部分であり、１つの回路によって実現されてもよい。なお、露光制御・選択結合部３と部分領域設定・輝度情報算出部４とは、同一の回路によって実現されてもよいし、異なる回路によって実現されてもよい。

本変形例では、カメラ部１１の部分領域設定・輝度情報算出部４において、トラッキング領域が設定され、各トラッキング領域の輝度情報が算出される。そして、算出された輝度情報に基づいて、露光制御・選択結合部３が露光時間を算出し、各トラッキング領域に対する露光制御画像を取得する。そして、各露光制御画像を結合することによって、結合画像を生成し、結合画像をカメラＥＣＵ部１２に伝送する。

このように、部分領域設定・輝度情報算出部４をカメラ部１１に配設することにより、カメラ部１１とカメラＥＣＵ部１２とを接続する制御線９が不要になる。従って、コストを低減することができる。また、カメラ部１１とカメラＥＣＵ部１２との制御線９を介した情報の送受信が不要になり、遅延を防止することができる。

（第２の実施形態）
次に、第２の実施形態に係る撮像装置について説明する。図９は、第２の実施形態に係る撮像装置の構成を示すブロック図である。第２の実施形態に係る撮像装置５０では、第１の実施形態に係る撮像装置１の露光制御・選択結合部３及び部分領域設定・輝度情報算出部４がそれぞれ露光制御・画像選択部５３及び部分領域設定部５４に置換されている。第２の実施形態に係る撮像装置５０において、第１の実施形態に係る撮像装置１と同様の構成については、同一の符号を付し、説明を省略する。

露光制御・画像選択部５３は、複数の露光時間の異なる画像を撮像した場合において、各トラッキング領域に対する輝度情報に基づいて、各トラッキング領域に対する１つの画像を選択する。第１の実施形態に係る撮像装置１の露光制御・選択結合部３は、各トラッキング領域に対する露光時間を算出し、算出した露光時間で露光制御を行い、複数の露光時間の異なる画像を取得した。すなわち、第１の実施形態では、ステップＳ１０で撮像した画像の輝度情報に基づいて、撮像すべき画像の露光時間を算出し（ステップＳ１３）、その露光時間で画像を撮像した。これに対して、第２の実施形態では、露光時間の異なる複数の画像を撮像し、撮像された画像中から各トラッキング領域に対応する選択画像が選択される。

次に、上述した撮像装置５０の詳細な動作について、図１０を参照して説明する。図１０は、第２の実施形態に係る撮像装置５０の動作の流れを示すフローチャートである。図１０において、図６と同様の処理については、同一のステップ番号を付し、説明を省略する。

ステップＳ３０において、撮像センサ２により複数の異なる露光時間の画像が撮像される。具体的には、カメラＥＣＵ部１２は、制御線９を介して、露光制御・画像選択部５３に対して、複数の異なる露光時間の画像を取得するように命令を送信する。命令を受信した露光制御・画像選択部５３は、複数の異なる露光時間で画像を撮像するように撮像センサ２を制御し、撮像センサ２が複数の画像を撮像する。露光時間は、前回サイクル時（ステップＳ１３）に算出される。なお、露光時間は、予め定められてもよい。また、カメラＥＣＵ部１２からの命令を受信することなく、予め定められた時間間隔で複数の異なる露光時間の画像が撮像されてもよい。撮像された複数の異なる露光時間の画像は、バッファ６に送信され、一時的に保存される。次に、ステップＳ１０からステップＳ１２の処理が行われ、その後、ステップＳ３１の処理が行われる。

ステップＳ１０からステップＳ１３において、各トラッキング領域に対する輝度情報が算出され、次のサイクルで撮像される画像の露光時間が算出される。なお、第１の実施形態では、ステップＳ１０からステップＳ１２の処理はカメラＥＣＵ部１２（部分領域設定・輝度情報算出部４）によって行われたが、第３の実施形態では、ステップＳ１１及びステップＳ１２の処理は、露光制御・画像選択部５３によって行われる。すなわち、ステップＳ１０において、部分領域設定部５４（カメラＥＣＵ部１２）は、第１の実施形態と同様、複数のトラッキング領域を設定する。次に、ステップＳ１１及びステップＳ１２において、露光制御・画像選択部５３は、各トラッキング領域の情報（位置及び大きさ）をカメラＥＣＵ部１２から受信し、バッファ６に保存された複数の異なる露光時間の画像に対して、各トラッキング領域の輝度情報を算出する。具体的には、ステップＳ１２において、露光制御・画像選択部５３は、複数の異なる露光時間の画像のそれぞれについて１つのトラッキング領域に相当する画素の輝度値を取り出し、輝度情報として、例えば、それらの平均輝度を算出する。そして、露光制御・画像選択部５３は、すべてのトラッキング領域に対して輝度情報を算出する。図１１は、複数のトラッキング領域と複数の撮像画像との輝度情報に関する対応テーブルの一例を示す図である。図１１に示されるように、画像Ａから画像Ｄが撮像センサ２によって撮像された場合、露光制御・画像選択部５３は、各トラッキング領域の平均輝度を、各画像に対して算出する。例えば、露光制御・画像選択部５３は、画像Ａのトラッキング領域２１を取り出し、その領域の平均輝度を算出する。また、同様に画像Ｂのトラッキング領域２１を取り出して、その領域の平均輝度を算出する。このようにして、１つのトラッキング領域に対して、画像毎にその領域の平均輝度を算出する。そして、すべてのトラッキング領域に対して、同様の処理を行うことにより（ステップＳ１２でステップＳ１１を繰り返すことにより）、図１１に示される対応テーブルが作成される。また、ステップＳ１３において、露光制御・画像選択部５３は、第１の実施形態と同様、各トラッキング領域に対する露光時間を算出する。各トラッキング領域に対する露光時間は、ステップＳ３０で撮像された１つの画像を用いて各トラッキング領域の輝度情報に基づいて算出される。算出された露光時間は次のサイクルにおけるステップＳ３０の処理で用いられる。次に、ステップＳ３１の処理が実行される。

ステップＳ３１において、露光制御・画像選択部５３は、各トラッキング領域に対する輝度情報に基づいて、各トラッキング領域に対応する選択画像を選択する。具体的には、露光制御・画像選択部５３は、ステップＳ１１及びＳ１２で算出された各トラッキング領域の輝度情報に基づいて、１つのトラッキング領域に対応する１つの画像をバッファ６に保存された複数の画像の中から選択する（トラッキング領域に対応する選択画像を選択する）。例えば、露光制御・画像選択部５３は、予め定められた最適な平均輝度と各画像の当該トラッキング領域の平均輝度とを比較し、最適な平均輝度に最も近い画像を選択画像として選択する。このようにして、露光制御・画像選択部５３は、すべてのトラッキング領域に対応する選択画像を選択する。

なお、上記では、輝度情報として平均輝度を用いて選択画像が選択されたが、他の実施形態では、輝度情報として輝度に関するヒストグラムを用いて選択画像が選択されてもよい。例えば、露光制御・画像選択部５３は、輝度情報として、トラッキング領域の各画素の輝度値に関するヒストグラムを作成する。そして、あるトラッキング領域において、露光制御・画像選択部５３は、所定の条件を満たす画像のみをそのトラッキング領域に対応する選択画像の１つとして選択する（選択画像の候補として選択する）。所定の条件とは、例えば、そのトラッキング領域において、輝度値が所定の範囲（例えば、輝度値２０〜２４０）である画素の割合が、所定の割合（例えば、８０％）よりも小さい場合である。すなわち、ある画像のトラッキング領域において、所定の第１閾値（例えば、２４０）よりも大きな輝度値を有する画素の割合が所定の割合（例えば、２０％）より大きい場合、そのような画像はそのトラッキング領域において白とびが発生している可能性が高い画像であると考えられるため、露光制御・画像選択部５３は、選択画像として選択しない。一方、ある画像のトラッキング領域において、所定の第２閾値（例えば、２０）よりも小さな輝度値を有する画素の割合が所定の割合（例えば、２０％）より大きい場合、そのような画像はそのトラッキング領域において黒つぶれが発生している可能性が高い画像であると考えられるため、露光制御・画像選択部５３は、選択画像として選択しない。なお、上記所定の条件を満たす画像が複数存在する場合、露光制御・画像選択部５３は、露光時間の最も短い画像を選択画像として選択する。一般的に、被写体は移動するため、露光時間が長いほど画像にブレが生じる可能性が高い。従って、露光制御・画像選択部５３が、輝度に関する所定の条件を満たした画像の中から最も露光時間の短い画像を選択することによって、画像認識に適した画像を取得することができる。このようにして、露光制御・画像選択部５３は、トラッキング領域の輝度に関するヒストグラムに基づいて、複数の画像の中から１つの画像を選択画像として選択することができる。

また、他の実施形態では、輝度情報としてエッジ強度に関するヒストグラムを用いて選択画像が選択されてもよい。ここで、エッジ強度とは、撮像された画像に対してエッジ処理した場合に、濃淡の変化の急激さを示す値である。エッジ強度は、撮像された画像について例えばソーベルフィルタを用いて水平方向（ｘ方向）及び垂直方向（ｙ方向）の一次微分を行うことにより、求められる。そして、上述した方法と同様、露光制御・画像選択部５３は、求められたエッジ強度に関するヒストグラムに基づいて、画像を選択してもよい。例えば、露光制御・画像選択部５３は、上述と同様の条件を満たす画像を選択してもよい。

図１０に戻り、次に、ステップＳ１５及びステップＳ１６の処理が実行される。なお、ステップＳ１５の処理は、実行されなくてもよい。すなわち、ステップＳ３１において選択された各トラッキング領域に対応する選択画像を結合せずに、各トラッキング領域に対応する選択画像がカメラＥＣＵ部１２に送信されてもよい。そして、画像処理部１０（カメラＥＣＵ部１２）は、送信された各選択画像を画像処理し、目の開閉状態から運転者の覚醒状態を推定したり、運転者の顔の向き等を判断したりする。このように、各選択画像を結合せずに送信することによって、結合のための処理を省略することができる。また、複数の画像を結合せずに撮像された画像を用いて画像処理を行うため、エッジ検出の際に結合線をエッジとして誤検出することを防止することができる。また、ソーベルフィルタ等を用いて選択画像が選択される場合には、それぞれの選択画像に対してソーベルフィルタを適用し、ソーベルフィルタ適用後の画像をそのままカメラＥＣＵ部１２へ伝送してもよいし、ステップＳ１５の処理において、ソーベルフィルタ適用後の画像を結合し、カメラＥＣＵ部１２へ伝送してもよい。そして、ステップＳ１６において、画像処理部１０で、ソーベルフィルタ適用後の画像に対して画像処理を行ってもよい。

以上のように、第２の実施形態では、予め撮像された複数の露光時間の異なる画像の中から、トラッキング領域毎の輝度情報に基づいて、各トラッキング領域に対応する選択画像を選択する。これにより、各トラッキング領域に対して画像処理に適した画像を選択することができる。従って、トラッキング領域に対して画像処理を行う場合に、各トラッキング領域の画像処理に適した画像を取得することができる。また、露光制御をその都度行わないため、第１の実施形態と比較して遅延の少ない画像を取得することができる。

（第３の実施形態）
次に、第３の実施形態に係る撮像装置について説明する。第３の実施形態に係る撮像装置の構成は、第１の実施形態に係る撮像装置１と同様であるため、説明を省略する。

第３の実施形態では、第１の実施形態において各トラッキング領域に対する輝度情報に基づいて、露光時間を算出した後、露光時間が短い順に画像を撮像する。また、各トラッキング領域に対して、動的予測を行い、撮像する順番が遅いトラッキング領域に対して、当該トラッキング領域を移動又は拡大させる。このように、第３の実施形態では、スケジューリング処理、トラッキング領域に対する動的予測処理、及び、トラッキング領域の移動又は拡大処理が追加される。これらの処理は、カメラＥＣＵ部１２で行われる。以下、詳細について説明する。

図１２は、第３の実施形態に係る撮像装置の動作の流れを示すフローチャートである。図１２において、図６と同様の処理については、同一のステップ番号を付し、説明を省略する。

ステップＳ１０からステップＳ１３において、トラッキング領域が設定され、各トラッキング領域に対する露光時間が算出される。その後、ステップＳ４０の処理が実行される。

ステップＳ４０において、カメラＥＣＵ部１２は、撮像順のスケジューリングを行う。具体的には、カメラＥＣＵ部１２は、露光制御・選択結合部３から制御線９を介して各トラッキング領域に対する露光時間を受信し、露光時間が短い順に順番を決定する。例えば、トラッキング領域２１の露光時間が１０ｍｓｅｃ、トラッキング領域２２の露光時間が１３ｍｓｅｃ、トラッキング領域２３の露光時間が１ｍｓｅｃ、トラッキング領域２４の露光時間が０．８ｍｓｅｃと算出された場合、カメラＥＣＵ部１２は、撮像する順番をトラッキング領域２４、２３、２１、２２の順に設定する。次に、ステップＳ４１の処理が実行される。

ステップＳ４１において、カメラＥＣＵ部１２は、各トラッキング領域に対して、動的予測を行う。具体的には、カメラＥＣＵ部１２は、例えば、カルマンフィルタを用いて各トラッキング領域に対する画像が撮像される時点における各トラッキング領域の位置及び範囲を予測する。これにより、例えば、運転者が進行方向の右側を見ようとしていることにより、トラッキング領域２１が進行方向に対して右側に所定の距離だけ移動しようとしている場合、カメラＥＣＵ部１２は、所定時間後（画像が撮像される時点）のトラッキング領域２１の位置を現在の位置より進行方向の右側に予測する。なお、動的予測の方法については、どのような方法（例えば、移動平均を算出する方法や最小二乗法等）でもよい。次に、ステップＳ４２の処理が実行される。

ステップＳ４２において、カメラＥＣＵ部１２は、各トラッキング領域に対する動的予測の結果に基づいて、各トラッキング領域の位置を移動又は各トラッキング領域を拡大する。例えば、カメラＥＣＵ部１２は、ステップＳ４１においてトラッキング領域２１が所定時間後に進行方向の右側に所定距離だけ移動すると予測した場合、トラッキング領域２１の位置を右側に所定距離移動させる。又は、カメラＥＣＵ部１２は、予測した移動後の位置を含むようにトラッキング領域２１を現在設定されている大きさよりも拡大する。

次に、ステップＳ１４からステップＳ１６の処理が実行される。なお、ステップＳ１４において、ステップＳ４０で設定された順番に、画像が撮像される。

以上のようにして、露光時間の短いトラッキング領域から順番に撮像し、順番の遅いトラッキング領域ほど当該領域を移動又は拡大することにより、運転者の顔が移動している場合においても、カメラＥＣＵ部１２は、画像認識の際、各トラッキング領域内に各顔部品を検出することができる。これにより、運転者の顔が移動している場合においても、各トラッキング領域に対する画像認識に適した画像を取得することができる。

以上のように、本発明では、各部分領域における画像認識に適した画像を取得することができ、例えば、運転者を撮像する撮像装置を提供することができる。

１、４０、５０ 撮像装置
２ 撮像センサ
３ 露光制御・選択結合部
４ 部分領域設定・輝度情報算出部
６、７ バッファ
８ 伝送ケーブル
９ 制御線
１０ 画像処理部
１１ カメラ部
１２ カメラＥＣＵ部
２１、２２、２３、２４ トラッキング領域
３１ 非照射領域
３２ 照射領域
５３ 露光制御・画像選択部
５４ 部分領域設定部

Claims (15)

1. それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能な撮像手段と、
   前記被写体が撮像される領域内に複数の部分領域を設定する部分領域設定手段と、
   前記部分領域に対する輝度情報を算出する輝度情報算出手段と、
   前記部分領域に対する輝度情報に基づいて、前記撮像手段で撮像した複数の全体画像の中から、少なくとも１つの前記部分領域に対応付けされた１つの前記全体画像を該部分領域に対応する選択画像として取得する画像取得手段と、
   前記部分領域に対応する選択画像から該部分領域を含む部分画像を分割する画像分割手段と、
   前記部分画像を前記複数の部分領域毎に取得し、該複数の部分画像を結合して前記被写体を撮像した画像を結合画像として生成する画像結合手段とを備え、
   前記画像結合手段は、前記複数の部分画像を結合する結合境界を、隣接する該部分画像にそれぞれ含まれる前記部分領域の中間位置に設定して、該複数の部分画像を結合する、撮像装置。
2. 前記複数の部分領域のうち、２以上の部分領域の輝度情報が所定の条件を満たす場合、該部分領域に対する共通の露光時間を設定する共通露光時間設定手段をさらに備え、
   前記撮像手段は、前記共通露光時間設定手段によって設定された前記共通の露光時間で前記被写体を撮像し、
   前記画像取得手段は、前記共通露光時間設定手段によって設定された前記共通の露光時間で撮影した画像を、前記共通の露光時間が設定された部分領域に対応する選択画像として取得することを特徴とする、請求項１に記載の撮像装置。
3. 前記輝度情報算出手段によって算出された輝度情報に基づいて、前記部分領域に対する露光時間を算出する露光時間算出手段と、
   前記露光時間算出手段によって算出された露光時間と共通露光時間設定手段で設定された前記共通の露光時間とに基づいて、前記共通の露光時間が設定された部分領域内のエッジ検出の際に用いられる閾値を変更する閾値変更手段とをさらに備えたことを特徴とする、請求項２に記載の撮像装置。
4. 前記共通露光時間設定手段は、前記所定の条件として、前記部分領域の平均輝度が所定の範囲であり、かつ、前記部分領域の平均輝度の差が所定の範囲である場合、該部分領域に対する共通の露光時間を設定することを特徴とする、請求項２に記載の撮像装置。
5. 前記画像取得手段は、前記撮像手段が配設されたカメラ部に配設され、
   前記部分領域設定手段と、前記輝度情報算出手段とは、前記カメラ部とは別体のカメラＥＣＵ部に配設され、
   前記カメラ部は、前記カメラＥＣＵ部の要求に応じて、前記カメラＥＣＵ部に対して前記選択画像を伝送することを特徴とする、請求項１に記載の撮像装置。
6. 前記カメラ部と前記カメラＥＣＵ部とは、伝送ケーブルと制御線とで接続され、
   前記カメラＥＣＵ部は、前記制御線を介して前記輝度情報および前記部分領域を含む制御信号を送信し、
   前記カメラ部は、前記伝送ケーブルを用いて前記選択画像を伝送することを特徴とする、請求項５に記載の撮像装置。
7. 前記伝送ケーブルで伝送する信号はＮＴＳＣであることを特徴とする、請求項６に記載の撮像装置。
8. 前記伝送ケーブルで伝送する信号はＧＶＩＦまたはＬＶＤＳであることを特徴とする、請求項６に記載の撮像装置。
9. 前記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を前記制御線として使用することを特徴とする、請求項６に記載の撮像装置。
10. 前記画像取得手段と、前記画像分割手段と、前記画像結合手段とは、前記撮像手段が配設されたカメラ部に配設され、
    前記部分領域設定手段と、前記輝度情報算出手段とは、前記カメラ部とは別体のカメラＥＣＵ部に配設され、
    前記カメラ部は、前記カメラＥＣＵ部の要求に応じて、前記カメラＥＣＵ部に対して前記結合画像または前記選択画像を伝送することを特徴とする、請求項１に記載の撮像装置。
11. 前記部分領域設定手段と、前記輝度情報算出手段と、前記画像取得手段と、前記画像分割手段と、前記画像結合手段とは、前記撮像手段が配設されたカメラ部に配設され、
    前記カメラ部は、前記カメラ部とは別体の画像認識処理を行うカメラＥＣＵ部に対して結合画像を伝送することを特徴とする、請求項１に記載の撮像装置。
12. 前記輝度情報算出手段は、前記部分領域の輝度情報として、前記部分領域における各画素の輝度に関するヒストグラムを算出し、
    前記画像取得手段は、前記輝度に関するヒストグラムに基づいて前記選択画像を取得することを特徴とする、請求項１に記載の撮像装置。
13. 前記画像取得手段は、前記部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像を、前記選択画像として取得することを特徴とする、請求項１２に記載の撮像装置。
14. 前記画像取得手段は、前記部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像が複数存在する場合、露光時間の最も短い全体画像を前記選択画像として取得することを特徴とする、請求項１３に記載の撮像装置。
15. 前記輝度情報算出手段は、前記部分領域の輝度情報として、前記部分領域におけるエッジ強度に関するヒストグラムを算出し、
    前記画像取得手段は、前記エッジ強度に関するヒストグラムに基づいて前記選択画像を取得することを特徴とする、請求項１に記載の撮像装置。

Images