JP6513321B2 - 車両用撮像制御装置、ドライバモニタリング装置、及び、車両用撮像制御方法 - Google Patents

Description

この発明は、車両に搭載された撮像部を、制御の対象とする装置に関するものである。

撮像部が撮影した画像を画像処理することで、車両に搭乗している人を対象とした種々のモニタリング処理を行う装置が知られている。当該装置が有する搭乗者に対するモニタリングの処理モードとしては、例えば、運転席にいる搭乗者の状態判定、及び、搭乗者の個人認証等が挙げられる。その際、適切なモニタリング処理が行われるためには、撮像部が撮影した画像の中で、モニタリング処理に特に必要な領域が、適切に撮影されていることが望まれる。例えば、搭乗者に対する処理モードが、運転席にいる搭乗者の状態判定である場合は、運転席にいる搭乗者の顔が存在する領域が、モニタリング処理で特に必要な領域となる。この領域が適切に撮影されていないと、運転席にいる搭乗者の状態、例えば居眠り又は脇見等を適切に判定することは難しい。
例えば特許文献１には、取得した画像を分析して人物の顔領域を抽出し、抽出した顔領域の明るさが最適値となる補正量を算出し、当該補正量に基づいて画像の明るさを補正する画像処理方法が記載されている。

特開２００４−１５３３１５号公報

車両の搭乗者を対象とした種々のモニタリング処理が行われる場合、搭乗者に対する処理モードの変化に伴って、モニタリング処理に必要な領域が変化する場合がある。例えば、運転席にいる搭乗者の顔が存在する領域のみが必要であった状況から、助手席にいる搭乗者の顔が存在する領域もまた必要となる場合等が考えられる。
しかしながら、特許文献１の画像処理方法では、このような処理モードの変化について想定がされていない。したがって、当該画像処理方法は、処理モードが変化する場合に、モニタリング処理で必要な領域が適切に写った画像を得ることができるものではなかった。

この発明は、上記のような課題を解決するためになされたもので、処理モードの変化に対応した露光制御ができる車両用撮像制御装置を得ることを目的とする。

この発明に係る車両用撮像制御装置は、車両に搭載された撮像部が出力した、運転席及び助手席を含む車両内部を撮影した画像情報を取得する画像取得部と、画像取得部が取得した画像情報を用いて、モニタリングの対象となる領域の輝度情報を検出する輝度検出部と、車両情報を取得する車両情報取得部と、車両情報取得部が取得した車両情報を用いて、搭乗者に対するモニタリングの処理モードとして、車両が走行中の場合は運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択し、車両が走行中ではない場合は運転席又は助手席にいる搭乗者を認証する個人認証モードを選択するモード選択部と、モニタリングの対象となる領域のうち、モード選択部が運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択した場合は当該搭乗者の顔が存在する領域を選択し、モード選択部が運転席又は助手席にいる搭乗者を認証する個人認証モードを選択した場合は当該搭乗者の顔が存在する領域を選択する領域選択部と、領域選択部が選択した領域の輝度情報を用いて、撮像部の露光条件を算出し、撮像部に算出した露光条件での撮影を指示する制御信号を出力する露光制御部とを備える。
露光制御部は、領域選択部が複数の領域を選択した場合、複数の領域の輝度情報を用いて、撮像部の露光条件を算出するものであり、領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離はないと判定した場合には、領域選択部により選択された複数の領域の輝度情報の平均値が目標値となる露光条件を算出することを特徴とするものである。

この発明によれば、搭乗者に対する処理モードに対応する領域を選択し、選択した領域の輝度情報を用いて、露光条件を算出するので、処理モードの変化に対応した露光制御ができる。

この発明の実施の形態１に係る車両用撮像制御装置の構成を示すブロック図である。 この発明の実施の形態１に係る車両用撮像制御装置を搭載した車両の内部の様子を示す図である。 図２に示す車両内部の様子を撮影した際の画像である。 図４Ａ及び図４Ｂは、この発明の実施の形態１に係る車両用撮像制御装置を備えるドライバモニタリング装置のハードウェア構成例を示す図である。 この発明の実施の形態１に係る車両用撮像制御装置の処理の一例を示すフローチャートである。 この発明の実施の形態１に係る車両用撮像制御装置の処理の一例を示すフローチャートであり、図５に続く処理を示す。 この発明の実施の形態１に係る車両用撮像制御装置の処理の一例を示すフローチャートであり、図６に続く処理を示す。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る車両用撮像制御装置の構成を示すブロック図である。図１では、実施の形態１に係る車両用撮像制御装置が、ドライバモニタリング装置１に内蔵された場合を示している。

ドライバモニタリング装置１は、車両に搭載されて、当該車両にいる搭乗者を対象とした種々のモニタリング処理を行うものである。ドライバモニタリング装置１は、撮像部２と、画像取得部３と、輝度検出部４と、車両情報取得部５と、モード選択部６と、領域選択部７と、露光制御部８と、画像処理部９とを有する。
図２は、車両内部の様子の一例を示す図である。撮像部２が、搭乗者Ａ，Ｂの前方に設置されている。搭乗者Ａは、ステアリング１００が前方に設置された運転席にいて、車両を運転する。搭乗者Ｂは、運転席の隣の助手席にいる。ＣＩＤ（Ｃｅｎｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）１０１は、ナビゲーション機能及びＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）機能等を有する装置（不図示）の入出力装置である。搭乗者Ａ，Ｂは、ＣＩＤ１０１に対してタッチ操作を行い、目的地を入力したり、楽曲の再生を指示したりする。図２は、右ハンドル車の場合であり、左ハンドル車の場合は、図２に示す配置が左右反転する。

撮像部２は、運転席及び助手席を含む車両内部を撮影して、その画像情報を画像取得部３へ出力するカメラである。撮像部２は、露光制御部８が出力する制御信号によって、撮影時の露光条件が制御される。露光条件は、露光時間又はＩＳＯ感度等のカメラパラメータである。なお、露光条件は、露光時間及びＩＳＯ感度に限らず、露光に関するカメラパラメータであればよい。撮像部２は、運転席及び助手席を含む車両内部を撮影できる位置に設置される。その際、車両内部の全体等といったより広範囲を撮影できるように、その設置位置及び画角等が調整されてもよい。
画像取得部３は、撮像部２が出力した画像情報を取得し、その画像情報を輝度検出部４及び画像処理部９へ出力する。

図３は、撮像部２が出力する画像情報で示される画像の一例である。この画像は、図２に示す車両内部の様子を撮影したものに相当する。画像内には、運転席にいる搭乗者Ａの顔が存在する領域Ｔ１、助手席にいる搭乗者Ｂの顔が存在する領域Ｔ２等が写っている。

輝度検出部４は、画像取得部３が取得して出力した画像情報を用いて、領域選択部７が選択したモニタリングの対象となる領域の輝度情報を検出する。
モニタリングの対象となる領域とは、少なくともその領域をモニタリングしておけば、画像処理部９による後述の各処理モードでの処理を行える領域を指す。例えば、画像処理部９が後述の運転者状態判定モード及び個人認証モードという２つの処理モードを有するものである場合、図３に示す領域Ｔ１及びＴ２はいずれも、モニタリングの対象となる領域と言える。モニタリングの対象となる領域の画像上での位置は、撮像部２の設置位置及び設置角度等に応じて決まるものであり、ドライバモニタリング装置１を設置するにあたり、不図示のメモリに記憶されている。または、輝度検出部４が、画像取得部３が出力した画像情報を用いて、搭乗者の顔の位置を抽出するなどして、モニタリングの対象となる領域を動的に算出してもよい。
輝度検出部４は、検出した輝度情報を露光制御部８に出力する。

車両情報取得部５は、不図示のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等から車両情報を取得する。車両情報は、車両の走行状態を含め車両に関する各種の情報であり、車速、シフトポジション、ブレーキ操作、イグニッションのＯＮ／ＯＦＦ及びドアの開閉状態等が含まれる。車両情報取得部５は、取得した車両情報をモード選択部６へ出力する。

モード選択部６は、車両情報取得部５が取得して出力した車両情報を用いて、画像処理部９が有する搭乗者に対するモニタリングの処理モードの中から、いずれかの処理モードを選択する。モード選択部６は、選択結果を領域選択部７へ出力する。

領域選択部７は、モニタリングの対象となる領域のうち、モード選択部６が選択した処理モードに対応する領域を選択する。領域選択部７は、選択結果を輝度検出部４へ出力する。

露光制御部８は、輝度検出部４が検出した領域の輝度情報を用いて、撮像部２の露光条件を算出する。そして、露光制御部８は、撮像部２に算出した露光条件での撮影を指示する制御信号を出力する。

画像処理部９は、画像取得部３が取得して出力した画像情報を用いた画像処理を行い、搭乗者に対するモニタリング処理を行う。
モニタリングの処理モードとしては、例えば、運転席にいる搭乗者の状態を判定する、運転者状態判定モードが挙げられる。運転者状態判定モードは、運転席にいる搭乗者について、居眠り又は脇見検知、デッドマン検知（運転不能状態検知ともいう）、漫然状態検知、見落とし検知、安全確認検知、又は、異常行動検知等を行うモードである。

また他にも、例えば、運転席又は助手席にいる搭乗者の個人を認証する、個人認証モードが挙げられる。この個人認証モードでは、搭乗者が誰であるかが認証される。これにより、予め登録された人物でないと、車両の運転ができないようにする。なお、個人認証モードによる認証結果は、上記の用途以外にも利用されものであってよい。認証結果は、例えば、搭乗者に応じてＣＩＤ１０１の表示内容を制御するために利用されてもよい。認証された搭乗者がナビゲーション機能を利用する際によく設定する目的地、また、認証された搭乗者がＡＶ機能を利用する際によく再生する楽曲等が、ＣＩＤ１０１に選択項目として優先的に表示されるような制御が行われる。

画像処理部９は、状況に応じてモニタリングの処理モードを切り替える。画像処理部９は、例えば車両情報取得部５を介して車両情報を取得し、取得した車両情報に基づき処理モードを切り替える。画像処理部９は、車両の走行中は、運転者状態判定モードを実行し、それ以外のときは個人認証モードを実行する。

画像取得部３と、輝度検出部４と、車両情報取得部５と、モード選択部６と、領域選択部７と、露光制御部８とが、車両用撮像制御装置を構成する。

ここで、ドライバモニタリング装置１のハードウェア構成例について、図４Ａ及び図４Ｂを用いて説明する。
ドライバモニタリング装置１の画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各機能は、処理回路により実現される。当該処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とも呼ばれる。

図４Ａは、ドライバモニタリング装置１の画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各部の機能を、専用のハードウェアである処理回路２００で実現した場合のハードウェア構成例を示す図である。処理回路２００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各部の機能を別個の処理回路２００を組み合わせて実現してもよいし、各部の機能を１つの処理回路２００で実現してもよい。
処理回路２００は、バス２０１を介して入力装置２０２と接続される。入力装置２０２は、撮像部２である。

図４Ｂは、ドライバモニタリング装置１の画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各部の機能を、メモリ２０３に格納されるプログラムを実行するＣＰＵ２０４で実現した場合のハードウェア構成例を示す図である。この場合、画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ２０３に格納される。ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを読み出して実行することにより、画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各部の機能を実現する。すなわち、ドライバモニタリング装置１は、後述する図５、図６及び図７のフローチャートで示すステップＳＴ１〜ステップＳＴ３、ステップＳＴ１０〜ステップＳＴ１３及びステップＳＴ２０〜ステップＳＴ２４が結果的に実行されることになるプログラム等を格納するためのメモリ２０３を有する。また、これらのプログラムは、画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等の、不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、ドライバモニタリング装置１の画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６及び領域選択部７については専用のハードウェアとしての処理回路でその機能を実現し、露光制御部８及び画像処理部９については処理回路がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せによって、上記の画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７、露光制御部８及び画像処理部９の各機能を実現することができる。

次に、上記のように構成された車両用撮像制御装置による処理について、図５、図６及び図７に示すフローチャートを用いてその一例を説明する。
なお、撮像部２は、画像取得部３へ画像情報を常時出力している。また、画像取得部３及び車両情報取得部５及び画像処理部９は、それぞれの処理を常時実行している。

図５は、モード選択部６による処理を示すフローチャートである。
モード選択部６は、車両情報取得部５が取得して出力した車両情報を用いて、車両が走行中であるかを判定する（ステップＳＴ１）。モード選択部６は、例えば車速を用いて、ステップＳＴ１の判定を行う。より具体的には、例えば車速が１ｋｍ／ｈ以上であれば、走行中であると判定される。
走行中であると判定した場合（ステップＳＴ１；ＹＥＳ）、モード選択部６は、運転者状態判定モードを、搭乗者に対するモニタリングの処理モードとして選択する（ステップＳＴ２）。

一方、走行中ではないと判定した場合（ステップＳＴ１；ＮＯ）、モード選択部６は、個人認証モードを、搭乗者に対するモニタリングの処理モードとして選択する（ステップＳＴ３）。
モード選択部６による選択結果は、領域選択部７へ出力される。

図６は、領域選択部７による処理を示すフローチャートである。
領域選択部７は、モード選択部６により、運転者状態判定モードが選択されたかを判定する（ステップＳＴ１０）。
運転者状態判定モードが選択された場合（ステップＳＴ１０；ＹＥＳ）、領域選択部７は、運転席にいる搭乗者の顔が存在する領域、図３であれば領域Ｔ１を選択する（ステップＳＴ１１）。ステップＳＴ１１の処理の後は、ステップＳＴ１２の処理に移る。
一方、運転者状態判定モードが選択されていない場合（ステップＳＴ１０；ＮＯ）、そのままステップＳＴ１２の処理に移る。

続いて、領域選択部７は、モード選択部６により、個人認証モードが選択されたかを判定する（ステップＳＴ１２）。
個人認証モードが選択された場合（ステップＳＴ１２；ＹＥＳ）、領域選択部７は、運転席又は助手席にいる搭乗者の顔が存在する領域、図３であれば領域Ｔ１又はＴ２を選択する（ステップＳＴ１３）。なお、運転席及び助手席に搭乗者がいる場合には、領域Ｔ１及びＴ２が選択され、助手席に搭乗者がいない場合には、領域Ｔ１のみが選択されるようにすることができる。各席に搭乗者がいるかいないかは、シートセンサを設け、当該シートセンサの検知結果を、車両情報取得部５が取得する車両情報に含めるようにして、ドライバモニタリング装置１にて判定可能である。ステップＳＴ１３の処理が終わると、領域選択部７は処理を終える。

一方、個人認証モードが選択されていない場合（ステップＳＴ１２；ＮＯ）、領域選択部７は処理を終える。
領域選択部７による選択結果は、輝度検出部４へ出力される。

図７は、輝度検出部４及び露光制御部８による処理を示すフローチャートである。図７では、領域選択部７により複数の領域が選択された場合を例に説明する。具体的には、個人認証モードで領域Ｔ１及びＴ２が選択された場合である。
輝度検出部４は、画像取得部３が取得して出力した画像情報を用いて、領域選択部７が選択したモニタリングの対象となる領域の輝度情報を検出する（ステップＳＴ２０）。ここでは、領域の平均輝度を、当該領域の輝度情報として検出する。つまり、領域選択部７が選択したモニタリングの対象となる領域ごとに、平均輝度が検出される。検出した輝度情報は、露光制御部８に出力される。

続いて、露光制御部８は、輝度検出部４が検出した輝度情報を用いて、優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離があるかを判定する（ステップＳＴ２１）。具体的には、優先領域の平均輝度と、優先領域以外の領域の平均輝度との差が、設定値以上であるかを判定する。

優先領域とは、領域選択部７により選択された領域の中で、最も優先度が高い領域を指す。個人認証モードでは、助手席よりも運転席にいる搭乗者の個人認証が重要となるので、運転席にいる搭乗者の顔が存在する領域を、優先領域とすることが考えられる。なお、このような基準に拘らず、領域の優先度は、適宜設定されてよい。例えば、運転席ではずっと同じ搭乗者が座っているものの、人の乗り降りにより助手席にいる搭乗者が頻繁に変わる場合は、助手席にいる搭乗者の顔が存在する領域を、優先領域とすることが考えられる。乗り降りの有無は、例えばシートセンサにより検知可能である。

輝度情報の乖離が設定値以上である場合（ステップＳＴ２１；ＹＥＳ）、露光制御部８は、優先領域の輝度情報が目標値となる露光条件を算出する（ステップＳＴ２２）。
目標値は、各処理モードでのモニタリング処理が適切に行える程度の値に設定される。なお、目標値は、ただ１つの値を指すのではなく、一定範囲内に含まれる値の全てを指していてもよい。つまり、モニタリング処理が適切に行える値の下限値から上限値までの全ての値を一括りに目標値としてよい。

一方、輝度情報の乖離が設定値未満である場合（ステップＳＴ２１；ＮＯ）、露光制御部８は、領域選択部７が選択した複数の領域の輝度情報の平均値が目標値となる露光条件を算出する（ステップＳＴ２３）。

例えば、優先領域が極端に明るく、それ以外の領域が極端に暗い場合は、優先領域及びそれ以外の領域をいずれも適切な明るさにすることは難しい。優先領域の明るさを抑えようとすれば、それ以外の領域は更に暗くなり、反対に、優先領域以外の領域の暗さを和らげようとすれば、優先領域は更に明るくなってしまうからである。そこで、ステップＳＴ２１〜ＳＴ２３のようにして、優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離がある場合は、優先領域以外の領域については輝度の調整を諦め、設定値以上の乖離が無い場合に、領域選択部７により選択された領域全てに対して、まんべんなく輝度の調整を行う。
つまり、ステップＳＴ２１の判定で用いられる設定値は、領域選択部７により選択された領域全てで、輝度の改善が見込める程度の値以下に設定される。

続いて、露光制御部８は、算出した露光条件での撮影を指示する制御信号を撮像部２に出力する（ステップＳＴ２４）。撮像部２は、受け取った制御信号に従い、露光条件を変更して、変更後の露光条件で撮影した画像情報を、画像取得部３に出力する。
なお、領域選択部７によって選択された領域が１つの場合は、その領域の輝度情報が目標値となるような露光条件が算出される。
図５、図６及び図７のフローチャートに示す処理は、ドライバモニタリング装置１への電源投入後、繰り返し行われる。

このようにして、露光制御部８は、撮像部２に対して、画像処理部９が行おうとしている処理モードに対応する領域が、適切な輝度となるような露光条件での撮影を、以後行わせる。

なお、上記では、車両用撮像制御装置がドライバモニタリング装置１に内蔵された場合を示した。しかしながら、車両用撮像制御装置を構成する画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７及び露光制御部８を外部サーバ内に構築して、当該外部サーバが撮像部２及び画像処理部９との間で情報を送受信することにより、撮像部２の露光制御を遠隔で行うようにしてもよい。また、その際、撮像部２及び画像処理部９と外部サーバとを、スマートフォン等の携帯端末を介して互いに通信可能に接続することで、撮像部２及び画像処理部９と外部サーバとの間で情報の送受信が行われるように構築してもよい。
また、画像取得部３、輝度検出部４、車両情報取得部５、モード選択部６、領域選択部７及び露光制御部８を携帯端末内に構築して、当該携帯端末を車両用撮像制御装置として機能させてもよい。

また、上記では、領域の平均輝度を当該領域の輝度情報としたが、輝度の最頻値又は輝度の中央値を領域の輝度情報としてもよい。
また、上記では、輝度検出部４は、領域選択部７による選択結果を取得して、選択された領域についてのみ輝度情報を検出し、露光制御部８に出力するものとした。しかしながら、輝度検出部４がモニタリングの対象となる全ての領域について輝度情報を検出して露光制御部８に出力し、その中から露光制御部８が領域選択部７によって選択された領域の輝度情報を抽出して処理に用いるようにしてもよい。つまり、図３を用いて説明すると、輝度検出部４は、領域Ｔ１及びＴ２の輝度情報を検出し、露光制御部８は、走行中であれば領域Ｔ１、走行中でなければ領域Ｔ１又はＴ２の輝度情報を抽出して、露光条件を算出する処理を行うようにしてもよい。なおこの場合は、領域選択部７による選択結果は、輝度検出部４に代えて露光制御部８へ出力される。

以上のように、この実施の形態１に係る車両用撮像制御装置によれば、モード選択部６は、車両情報を用いて処理モードを選択し、領域選択部７は、選択された処理モードに対応する領域を選択する。そして、露光制御部８は、選択された領域の輝度情報を用いて、撮像部２に設定すべき露光条件を算出する。露光制御部８は、撮像部２に対して、算出した露光条件での撮影を以後行わせる。このようにして、処理モードの変化に対応した露光制御ができる。
必要な領域が適切に撮影されることにより、画像処理部９によるモニタリング処理の精度が向上する。
また、撮像部２には、モニタリングの対象となる領域が全て撮影範囲に入るカメラを１台設けるだけでよい。つまり、撮像部２として複数のカメラを設け、モニタリングの対象となる領域と一対一に対応させる必要はない。必要なカメラの台数が減ることで、コストを抑えることができる。

また、露光制御部８は、領域選択部７が複数の領域を選択した場合、複数の領域の輝度情報を用いて、撮像部２の露光条件を算出することとした。このようにして、複数の領域が選択された場合は、それら複数の領域を考慮して露光条件が算出される。

また、露光制御部８は、領域選択部７により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離はないと判定した場合には、領域選択部７により選択された複数の領域の輝度情報の平均値が目標値となる露光条件を算出することとした。このようにして、複数の領域が選択された場合に、それらの領域が適切な輝度で撮影されるようにすることができる。

また、露光制御部８は、領域選択部７により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離があると判定した場合には、当該優先領域の輝度情報が目標値となる露光条件を算出することとした。このようにして、優先すべき領域は、適切な輝度で撮影されるようにすることができる。

また、車両用撮像制御装置と、撮像部２と、画像取得部３が取得した画像情報を用いて、搭乗者に対するモニタリング処理を行う画像処理部９とを、車両に搭載されたドライバモニタリング装置１に備えることとした。このように、車両に搭載されたドライバモニタリング装置１として使うことができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

以上のように、この発明に係る車両用撮像制御装置は、処理モードの変化に対応した露光制御ができるので、撮像部を備えるドライバモニタリング装置に内蔵して、当該撮像部を制御する装置として用いるのに適している。

１ ドライバモニタリング装置、２ 撮像部、３ 画像取得部、４ 輝度検出部、５ 車両情報取得部、６ モード選択部、７ 領域選択部、８ 露光制御部、９ 画像処理部、１００ ステアリング、１０１ ＣＩＤ、２００ 処理回路、２０１ バス、２０２ 入力装置、２０３ メモリ、２０４ ＣＰＵ。

Claims (6)

1. 車両に搭載された撮像部が出力した、運転席及び助手席を含む車両内部を撮影した画像情報を取得する画像取得部と、
   前記画像取得部が取得した画像情報を用いて、モニタリングの対象となる領域の輝度情報を検出する輝度検出部と、
   車両情報を取得する車両情報取得部と、
   前記車両情報取得部が取得した車両情報を用いて、搭乗者に対するモニタリングの処理モードとして、車両が走行中の場合は運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択し、車両が走行中ではない場合は運転席又は助手席にいる搭乗者を認証する個人認証モードを選択するモード選択部と、
   モニタリングの対象となる領域のうち、前記モード選択部が運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択した場合は当該搭乗者の顔が存在する領域を選択し、前記モード選択部が運転席又は助手席にいる搭乗者を認証する個人認証モードを選択した場合は当該搭乗者の顔が存在する領域を選択する領域選択部と、
   前記領域選択部が選択した領域の輝度情報を用いて、前記撮像部の露光条件を算出し、前記撮像部に算出した露光条件での撮影を指示する制御信号を出力する露光制御部とを備え、
   前記露光制御部は、前記領域選択部が複数の領域を選択した場合、前記複数の領域の輝度情報を用いて、前記撮像部の露光条件を算出するものであり、
   前記領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離はないと判定した場合には、前記領域選択部により選択された複数の領域の輝度情報の平均値が目標値となる露光条件を算出することを特徴とする車両用撮像制御装置。
2. 車両に搭載された撮像部が出力した、運転席及び助手席を含む車両内部を撮影した画像情報を取得する画像取得部と、
   前記画像取得部が取得した画像情報を用いて、モニタリングの対象となる領域の輝度情報を検出する輝度検出部と、
   車両情報を取得する車両情報取得部と、
   前記車両情報取得部が取得した車両情報を用いて、搭乗者に対するモニタリングの処理モードとして、車両が走行中の場合は運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択し、車両が走行中ではない場合は運転席又は助手席にいる搭乗者を認証する個人認証モードを選択するモード選択部と、
   モニタリングの対象となる領域のうち、前記モード選択部が運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択した場合は当該搭乗者の顔が存在する領域を選択し、前記モード選択部が運転席又は助手席にいる搭乗者を認証する個人認証モードを選択した場合は当該搭乗者の顔が存在する領域を選択する領域選択部と、
   前記領域選択部が選択した領域の輝度情報を用いて、前記撮像部の露光条件を算出し、前記撮像部に算出した露光条件での撮影を指示する制御信号を出力する露光制御部とを備え、
   前記露光制御部は、前記領域選択部が複数の領域を選択した場合、前記複数の領域の輝度情報を用いて、前記撮像部の露光条件を算出するものであり、
   前記領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離があると判定した場合には、当該優先領域の輝度情報が目標値となる露光条件を算出することを特徴とする車両用撮像制御装置。
3. 車両に搭載された撮像部が出力した、運転席及び助手席を含む車両内部を撮影した画像情報を取得する画像取得部と、
   前記画像取得部が取得した画像情報を用いて、モニタリングの対象となる領域の輝度情報を検出する輝度検出部と、
   車両情報を取得する車両情報取得部と、
   前記車両情報取得部が取得した車両情報を用いて、搭乗者に対するモニタリングの処理モードとして、車両が走行中の場合は運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択し、車両が走行中ではない場合は運転席又は助手席にいる搭乗者を認証する個人認証モードを選択するモード選択部と、
   モニタリングの対象となる領域のうち、前記モード選択部が運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択した場合は当該搭乗者の顔が存在する領域を選択し、前記モード選択部が運転席又は助手席にいる搭乗者を認証する個人認証モードを選択した場合は当該搭乗者の顔が存在する領域を選択する領域選択部と、
   前記領域選択部が選択した領域の輝度情報を用いて、前記撮像部の露光条件を算出し、前記撮像部に算出した露光条件での撮影を指示する制御信号を出力する露光制御部とを備え、
   前記露光制御部は、前記領域選択部が複数の領域を選択した場合、前記複数の領域の輝度情報を用いて、前記撮像部の露光条件を算出するものであり、
   前記領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離はないと判定した場合には、前記領域選択部により選択された複数の領域の輝度情報の平均値が目標値となる露光条件を算出し、
   前記領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離があると判定した場合には、当該優先領域の輝度情報が目標値となる露光条件を算出することを特徴とする車両用撮像制御装置。
4. 請求項１から請求項３のうちの何れか１項に記載の車両用撮像制御装置と、
   前記撮像部と、
   前記画像取得部が取得した画像情報を用いて、搭乗者に対するモニタリング処理を行う画像処理部とを備えることを特徴とする、車両に搭載されたドライバモニタリング装置。
5. 画像取得部が、車両に搭載された撮像部が出力した、運転席及び助手席を含む車両内部を撮影した画像情報を取得する画像取得ステップと、
   輝度検出部が、前記画像取得ステップにより取得された画像情報を用いて、モニタリングの対象となる領域の輝度情報を検出する輝度検出ステップと、
   車両情報取得部が、車両情報を取得する車両情報取得ステップと、
   モード選択部が、前記車両情報取得ステップにより取得された車両情報を用いて、搭乗者に対するモニタリングの処理モードとして、車両が走行中の場合は運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択し、車両が走行中ではない場合は運転席又は助手席にいる搭乗者を認識する個人認証モードを選択するモード選択ステップと、
   領域選択部が、モニタリングの対象となる領域のうち、前記モード選択ステップにより運転席にいる搭乗者の状態を判定する運転者状態判定モードが選択された場合は当該搭乗者の顔が存在する領域を選択し、前記モード選択ステップにより運転席又は助手席にいる搭乗者を認証する個人認証モードが選択された場合は当該搭乗者の顔が存在する領域を選択する領域選択ステップと、
   露光制御部が、前記領域選択ステップにより選択された領域の輝度情報を用いて、前記撮像部の露光条件を算出し、前記撮像部に算出した露光条件での撮影を指示する制御信号を出力する露光制御ステップとを備え、
   前記露光制御部は、前記領域選択部が複数の領域を選択した場合、前記複数の領域の輝度情報を用いて、前記撮像部の露光条件を算出するものであり、
   前記領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離はないと判定した場合には、前記領域選択部により選択された複数の領域の輝度情報の平均値が目標値となる露光条件を算出することを特徴とする車両用撮像制御方法。
6. 画像取得部が、車両に搭載された撮像部が出力した、運転席及び助手席を含む車両内部を撮影した画像情報を取得する画像取得ステップと、
   輝度検出部が、前記画像取得ステップにより取得された画像情報を用いて、モニタリングの対象となる領域の輝度情報を検出する輝度検出ステップと、
   車両情報取得部が、車両情報を取得する車両情報取得ステップと、
   モード選択部が、前記車両情報取得ステップにより取得された車両情報を用いて、搭乗者に対するモニタリングの処理モードとして、車両が走行中の場合は運転席にいる搭乗者の状態を判定する運転者状態判定モードを選択し、車両が走行中ではない場合は運転席又は助手席にいる搭乗者を認識する個人認証モードを選択するモード選択ステップと、
   領域選択部が、モニタリングの対象となる領域のうち、前記モード選択ステップにより運転席にいる搭乗者の状態を判定する運転者状態判定モードが選択された場合は当該搭乗者の顔が存在する領域を選択し、前記モード選択ステップにより運転席又は助手席にいる搭乗者を認証する個人認証モードが選択された場合は当該搭乗者の顔が存在する領域を選択する領域選択ステップと、
   露光制御部が、前記領域選択ステップにより選択された領域の輝度情報を用いて、前記撮像部の露光条件を算出し、前記撮像部に算出した露光条件での撮影を指示する制御信号を出力する露光制御ステップとを備え、
   前記露光制御部は、前記領域選択部が複数の領域を選択した場合、前記複数の領域の輝度情報を用いて、前記撮像部の露光条件を算出するものであり、
   前記領域選択部により選択された複数の領域の中で、最も優先度が高い領域である優先領域とそれ以外の領域との間に設定値以上の輝度情報の乖離があると判定した場合には、当該優先領域の輝度情報が目標値となる露光条件を算出することを特徴とする車両用撮像制御方法。

Images