JP5800288B2

JP5800288B2 - 車両用画像処理装置

Info

Publication number: JP5800288B2
Application number: JP2012238439A
Authority: JP
Inventors: 一路星屋
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2015-10-28
Anticipated expiration: 2032-10-30
Also published as: JP2014090275A; US9798940B2; CN104782115B; CN104782115A; WO2014068858A1; US20150254517A1

Description

本発明は、車両用画像処理装置に関する。

運転者が脇見運転や居眠り運転等をしているか否かを判別するために、運転者の顔画像から顔の向きや眼の状態を読み取って、必要に応じて警報を発する等の処理が行われている。しかし、車両は移動するため、運転者を撮影する光環境等も随時変化する。そのため、顔画像が暗すぎたりハレーションを起こしたりして、その正確な解析が困難となり、顔の状態（例えば、顔の向きや、視線の方向、眼の開閉状態等）を正確に読み取ることができない場合がある。このような状態が継続すると、適切に警報を発することが困難となるおそれがある。

そこで、使用されている地域の商用電源周波数を判定して、フリッカの発生自体を自動的に抑制できるカメラ付き携帯情報端末装置が考案されている（特許文献１参照）。

また、照明の周波数あるいは明るさに応じて、撮像素子のフレームレートを変更することで、電子シャッタを使用せずに、フリッカ対策、および光量調整を可能とするカメラが考案されている（特許文献２参照）。

また、運転者を撮影する光環境の変化によらず、適切な警報を提供できる車載用画像処理装置が考案されている（特許文献３参照）。

また、撮像対象の周囲の明暗にかかわらず鮮明な撮像画像を取得できる画像処理装置が考案されている（特許文献４参照）。

特開２００３−０６０９８４号公報特開２００２−１６５１４１号公報特開２００９−１１６７４２号公報特開２００９−０１７４７４号公報

上述のように、車両は移動するため、特許文献１および２のような、照明の周波数あるいは明るさに応じて、撮像素子のフレームレートを変更する構成では、車両の移動に伴う光環境の変化には対応することができない。

また、特許文献３の構成では、顔画像の明度に応じてカメラの露光時間あるいは絞り径を変化させているため、露光処理が複雑になる、絞り可変機構を必要とするためカメラのコストが増大する。

また、特許文献４の構成では、ナビゲーション装置からの現在地情報に基づいて、撮像画像の明暗を判定しているため、ナビゲーション装置あるいは現在地情報を取得する装置が必要となり、コストが増大する。

橋脚、高速道路の街灯など道路付近に概ね均等な間隔で並んでいる構造物によって生ずる影の中を走行するときには、走行速度に応じた周期的な明暗が発生する。このとき、この明暗の周期が、撮影（露光）の周期の倍数に近いとき、撮影した画像がゆっくりとした周期で明暗を繰り返す現象が起きる。よって、特許文献４の構成は、トンネルのように明暗の変化の周期が比較的長い場合には適しているが、他の構造物に対しては対応できない。

上記問題点を背景として、本発明の課題は、低コストで、光環境の変化によらず、解析に適した画像の取得を可能とする車両用画像処理装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための車両用画像処理装置は、車両の室内を周期的に撮影する撮影部（４０）と、撮影部が撮影した撮影画像の輝度を取得する輝度取得部（２１）と、輝度の変化の履歴に基づいて、以降に撮影する撮影画像の輝度の周期的な変化を推定する輝度推定部（２２）と、撮影画像の輝度の周期的な変化の推定結果に基づいて、撮影部の撮影態様を設定する撮影態様設定部（２３）と、を備える。

上記構成によって、上述のような、撮影画像がゆっくりとした周期で明暗を繰り返す現象の発生を防ぐことができる。また、撮影画像の輝度のムラが少なくなり、解析に適した画像を数多く取得でき、安定した認識処理結果を得ることができる。本来は、例えば道路沿いの構造物が生ずる影による明暗の周期を測定し、その明暗の周期と撮影周期との関係を調べる必要があるが、本構成によって、撮影画像の輝度変化をもって、明暗の周期と撮影周期との関係を推定することができ、結果として、撮影周期が影による明暗の周期の倍数に近い値にならないようにすることができる。

本発明の車両用画像処理装置の構成例を示す図。撮影様態制御処理を説明するフロー図。従来技術による撮影画像の輝度の変化を示す図。本発明による撮影画像の輝度の変化を示す図。撮影様態制御処理の別例を説明するフロー図。車両の現在位置を反映した撮影様態制御処理を説明するフロー図。

以下、本発明の車両用画像処理装置について、図面を用いて説明する。図１のように、車両用画像処理装置１は、ドライバモニタＥＣＵ（以下、「ＥＣＵ」と略称）１０、および該ＥＣＵ１０に接続された撮影部４０と車両の速度を検出する車速センサ４１（本発明の車速検出部）を含む。また、ＥＣＵ１０にナビゲーション装置５０が、車内ＬＡＮ６０を介してデータ通信可能に接続された構成としてもよい。

ＥＣＵ１０は、演算部２０、画像処理部２６、メモリ２７（本発明の撮影態様記憶部）、および信号入出力回路（以下、「Ｉ／Ｆ」と略称）３０（本発明の地図情報取得部）を含む。

演算部２０は、輝度取得部２１、輝度推定部２２、撮影態様設定部２３、撮影制御部２４、判定部２５を含む。輝度取得部２１は、画像処理部２６において処理された撮影画像のうち、例えば運転者の顔位置を判別し（顔位置の判別の詳細については特許文献３参照）、運転者の顔画像の輝度を取得する。輝度は、例えば、予めメモリ２７に記憶された輝度ごとの基準データと、顔画像とを照合することにより取得する。

演算部２０の各部は、ＣＰＵ、各種メモリ等を含んで、１つあるいは複数のＩＣあるいはＡＳＩＣ等としてハードウエア的に構成されていてもよいし、その一部および全部がソフトウエア的にメモリ上に構築されていてもよい。

輝度推定部２２は、メモリ２７に過去に遡って記憶してある顔画像の輝度から、輝度の変化に周期性があるか否かを推定する。撮影態様設定部２３は、輝度推定部２２の推定結果に基づいて、撮影態様を設定する（詳細は後述）。撮影制御部２４は、撮影態様設定部２３が設定した撮影態様に基づいて、撮影部４０の動作を制御する（詳細は後述）。

判定部２５は、後述の撮影様態制御処理を実行するか否かの判定を行う（図６参照）。

画像処理部２６は、公知のパターン認識などの技術によって撮影部４０が撮影した撮影画像の解析を行う。画像処理部２６では、例えば、撮影画像に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。そして、得られた多値画像データから、一般的な画像処理手法を用いて所望の画像部分（例えば、運転者の顔）を抽出する。

メモリ２７は、例えばフラッシュメモリ等の不揮発性メモリで構成され、制御プログラムや、車両用画像処理装置１の動作に必要なデータを記憶する。演算部２０に含まれるＣＰＵが制御プログラムを実行することで、車両用画像処理装置１としての各種機能を実現する。

信号入出力回路３０は、波形整形回路、Ａ／Ｄ変換回路、Ｄ／Ａ変換回路、電圧変換回路等を含む。また、信号入出力回路３０には、車速センサ４１からの出力信号が入力される。入力された信号は、必要に応じて波形整形および電圧変換が行われ、その後Ａ／Ｄ変換され、演算部２０において演算可能な値（デジタル値）となる。

撮影部４０は、例えば、周知のＣＭＯＳセンサあるいはＣＣＤセンサを用いたカメラである。赤外線カメラを用いてもよい。撮影部４０は、例えば運転者を含む運転席周辺である、車両の室内の予め定められた撮像対象を、予め定められたタイミング（例えば、撮影周期）で撮影して、撮影画像を画像処理部２６に出力する。

ナビゲーション装置５０は、例えば、受信したＧＰＳ信号に基づいて車両の現在位置を検出し、地図データ上に車両の現在位置を表示するとともに、設定された目的地までの経路を案内する周知のものである。また、ナビゲーション装置５０は、車両用画像処理装置１に、車両の現在位置の地図情報（詳細は後述）を出力する。

図２を用いて、演算部２０において実行される撮影様態制御処理について説明する。なお、本処理は、メモリ２７に記憶された制御プログラムに含まれ、制御プログラムに含まれる他の処理とともに、予め定められたタイミングで繰り返し実行される。

まず、撮影態様設定部２３で、撮影周期をｆ０（デフォルト値）に設定する（Ｓ１１）。なお、撮影周期は、撮影部４０が画像を撮影する周期、すなわち、図３の隣り合う画像（例えば、画像１０１と画像１０２）の撮影間隔で、例えば、ｆ０＝１０ｍｓである。

次に、撮影制御部２４において、上述の撮影周期ｆ０で運転者の顔画像を撮影するよう撮影部４０を制御する（Ｓ１２）。次に、輝度取得部２１において、撮影部４０が撮影して画像処理部２６が処理した画像データから、撮影画像（すなわち、運転者の顔画像）の輝度を取得する（Ｓ１３）。該輝度は、画像の撮影タイミングと関連付けてメモリ２７に記憶する。撮影タイミングは、日時（例えば、ナビゲーション装置５０から取得）でもよいし、システム時間（例えば、ＣＰＵのカウンタ値）でもよい。

次に、輝度推定部２２において、以下のように、メモリ２７に記憶されている過去の撮影画像の輝度の変化周期を推定する（Ｓ１４）。まず、撮影画像の明暗を判定する。例えば、撮影画像の輝度が予め定められた輝度閾値を超えるとき該撮影画像の明暗は「明」であると判定し、撮影画像の輝度が該輝度閾値を下回るとき該画像の明暗は「暗」であると判定する。

上述の構成が、輝度推定部は、撮影画像の輝度が変化する周期を推定演算し、その周期に基づいて、撮影態様を変更するものに相当する。本構成によって、撮影態様を、撮影画像の輝度が変化する周期に応じて設定することができる。

そして、例えば、「明」がｍ±２回連続し、続いて「暗」がｎ±２回（ｍ，ｎは正の整数で、連続回数の下限値は０）連続する状態が、予め定められた回数（例えば５回）繰り返されたとき、撮影画像の輝度が所定時間以上周期的に変化していると判定する。このとき、この周期も算出しておく。

上述の構成が、輝度推定部は、撮影画像の輝度が予め定められた輝度閾値を超える状態が所定時間継続し、その後、該画像の輝度が該輝度閾値を下回る状態が所定時間継続したとき、該画像の輝度が周期的に変化しているとするものに相当する。本構成によって、比較的簡易な構成で輝度の周期的変化を推定できる。

撮影画像の輝度が所定時間以上周期的に変化しているとき（Ｓ１５：Ｙｅｓ）、撮影態様設定部２３で、撮影周期をｆ１に設定する。撮影周期ｆ１は、明暗が「暗」であると判定される撮影画像の数が少なくなる値に設定する（Ｓ１６）。

上述の構成が、撮影部は、予め定められた撮影周期で車両の室内を撮影し、撮影態様設定部は、周期的に撮影される撮影画像ごとの輝度のばらつきを抑制するように撮影周期を設定するものに相当する。本構成によって、撮影画像がゆっくりとした周期で明暗を繰り返す現象の発生を防ぐことができる。

より詳しくは、撮影態様設定部は、撮影周期を、撮影画像の輝度が周期により変化する状態のときに設定されたものとは異なるものに設定するものに相当する。

次に、車速センサ４１から車速情報を取得し、このときの車速をｖ１とする（Ｓ１７）。このとき、上述の撮影周期ｆ１と車速ｖ１とを関連付けてメモリ２７に記憶する。

この後、車速がｖ１からｖ２に変化したとき（Ｓ１８：Ｙｅｓ）、車速の変化量に基づいて、輝度の変化周期を推定する（Ｓ１９）。なお、車速の変化量は、後述のｘを上回るものとする。一般に、車速が低下したときは輝度の変化周期が長くなり、車速が増加したときは輝度の変化周期が短くなる。車速の変化量と輝度の変化周期の増減との関係を、予めメモリ２７にマップデータとして記憶しておき、該マップデータを参照して輝度の変化周期を推定してもよい。

そして、推定した輝度の変化周期に基づいて、撮影周期をｆ２に変更する（Ｓ２０）。このとき、撮影周期ｆ２と車速ｖ２とを関連付けてメモリ２７に記憶する。無論、撮影周期ｆ２は、撮影周期ｆ１に近い値にならないように設定する。

上述の構成が、車両の速度を検出する車速検出部（４１）を備え、輝度推定部は、車両の速度が変化したとき、車両の速度の変化量に基づいて、変化後の車両の速度における撮影画像の輝度が変化する周期を推定演算し、撮影態様設定部は、輝度推定部の推定演算結果に基づいて、撮影部の撮影態様を設定するものに相当する。本構成によって、撮影画像の輝度の変化から推定するよりも短時間で撮影部の撮影態様を設定することができる。

次に、車速センサ４１から車速情報を取得する（Ｓ２１）。そして、この車速と上述のｖ１との差がｘ以下のとき（Ｓ２２：Ｙｅｓ）、撮影周期の推定を行うことなく、撮影周期をｆ１に戻す（Ｓ２３あるいはＳ１６）。

上述の構成が、車両の速度と撮影部の撮影態様とを関連付けて記憶する撮影態様記憶部（２７）を備え、撮影態様設定部は、車両の速度が変化したとき、変化後の車両の速度が撮影態様記憶部に記憶されているとき、輝度推定部による輝度の推定演算を行うことなく、該車両の速度に関連付けられた撮影態様に設定するものに相当する。本構成によって、短時間で撮影部の撮影態様を設定することができる。

図３および図４を用いて、図２の撮影様態制御処理を実行したときの、撮影画像の輝度の変化について説明する。図３に、従来技術による撮影画像の輝度の変化を時系列で示す。画像１０１が最古の撮影画像で、画像１１５が最新の撮影画像である。図４に、本発明による撮影画像の輝度の変化を時系列で示す。画像２０１が最古の撮影画像で、画像２１５が最新の撮影画像である。

図３のように、撮影画像の輝度の明暗の周期が、撮影周期の倍数に近いとき、撮影画像がゆっくりとした周期で明暗を繰り返す。図３では、画像１０１〜１０５および画像１１０〜１１４が「明」を、画像１０６〜１０９および画像１１５が「暗」を表している。つまり、「明」が５回、「暗」が４回を１周期として、明暗を繰り返している。これは、上述の構造物によって生ずる影による明暗の周期とは異なる。

本発明では、この明暗の繰り返しを検出し、その繰り返しの周期を推定演算する。そして、推定演算した周期によって明暗を周期的に繰り返していると推定したとき、撮影周期が、上述の構造物によって生ずる影による明暗の周期の倍数に近いと判定し、撮影周期を異なるものに設定する。すなわち、影による明暗の周期の倍数に近くないもの、撮影画像の輝度が明暗を周期的に繰り返さないものとする。

図４では、撮影画像の輝度の明暗の周期を、図３とは異なるものとしたため、画像２１４以外の画像は「明」状態となっている。つまり、画像２１４以外の画像は、少なくとも、上述の閾値を上回る輝度となっている。これによって、顔の状態を正確に読み取ることができる撮影画像の枚数が多くなる。

図５を用いて、撮影様態制御処理の別例について説明する。本構成が、撮影部は、予め定められた露光状態で車両の室内を撮影し、撮影態様設定部は、輝度推定部の推定演算結果に基づいて、露光状態を変化させるものに相当する。本構成によって、撮影画像がゆっくりとした周期で明暗を繰り返す現象の発生を防ぐことができる。また、撮影画像の輝度のムラが少なくなり、安定した認識処理結果を得ることができる。

まず、撮影態様設定部２３で、撮影部４０が画像を撮影する際の露光時間（例えば、カメラのシャッター速度）をＴ０（デフォルト値）に設定する（Ｓ３１）。次に、撮影制御部２４において、上述の露光時間Ｔ０で運転者の顔画像を撮影するよう撮影部４０を制御する（Ｓ３２）。

次に、輝度取得部２１において、撮影部４０が撮影して画像処理部２６が処理した撮影画像から、該撮影画像（すなわち、運転者の顔画像）の輝度を取得する（Ｓ３３）。図２と同様に、該輝度は、撮影タイミングと関連付けてメモリ２７に記憶する。

次に、輝度推定部２２において、図２と同様に、メモリ２７に記憶されている過去の撮影画像の輝度の変化周期を推定する（Ｓ３４）。そして、撮影画像の輝度が所定時間以上周期的に変化していると判定したとき（Ｓ３５：Ｙｅｓ）、輝度の変化周期に基づいて、次の撮影タイミングでの撮影画像の輝度を推定する（Ｓ３６）。

次の撮影タイミングでの撮影画像の輝度が閾値を下回る（すなわち、「暗」と判定される）推定したとき（Ｓ３７：Ｙｅｓ）、撮影態様設定部２３で、露光時間をＴ１に設定する。露光時間Ｔ１は、明暗が「暗」であると判定される撮影画像の数が少なくなる値、例えば、Ｔ１＞Ｔ０となるように設定する。

一方、次の撮影タイミングでの撮影画像の輝度が閾値を上回る（すなわち、「明」と判定される）推定したとき（Ｓ３７：Ｎｏ）、露光時間は、上述のステップＳ３１で設定されたＴ０のままである。

図３および図４を用いて、図５における撮影画像の輝度の変化について説明する。上述のように、図３では、撮影画像の輝度の明暗の変化の周期が、撮影周期の倍数に近いとき、撮影画像がゆっくりとした周期で明暗を繰り返す。つまり、「明」が５回連続した後に、「暗」が４回連続する。

一方、図４では、画像２０１を撮影する前のタイミングで、上述の撮影画像の明暗の変化の周期が推定できていて、画像２０１を撮影する前に「暗」が４回連続していたとすると、次の５枚の撮影画像（つまり、画像２０１〜画像２０５）は「明」であると推定できる。よって、このときの露光時間はＴ０でよい。画像２０５を撮影したとき、「明」が５回連続したので、次回以降の４枚の撮影画像（つまり、画像２０６〜画像２０９）は「暗」であると推定できる。よって、このときの露光時間をＴ１とする。同様に、画像２１０〜画像２１４は、「明」であると推定できる。これにより、従来技術による方法では、「暗」となる画像２０６〜画像２０９が「明」となるので、顔の状態を正確に読み取ることができる画像（「明」となるもの）の枚数が多くなる。そして、解析に適した画像を数多く取得でき、安定した認識処理結果を得ることができる。

ナビゲーション装置５０から車両の現在位置の地図情報を取得し、地図情報に基づいて撮影態様制御処理（図２あるいは図５）を実行するようにしてもよい。図６にその一例を示す。本構成が、車両が走行中の現在位置を含む地図情報を取得する地図情報取得部（３０）を備え、地図情報に基づいて、撮影態様設定部による撮影部の撮影態様の設定を行うか否かを判定する判定部（２５）を備えるものに相当する。本構成によって、必要な場所においてのみ撮影態様の設定を行うことができるので、安定した認識処理結果を得ることができるとともに、処理負荷の低減につながる。

まず、ナビゲーション装置５０から地図情報を取得する（Ｓ５１）。次に、地図情報に基づいて撮影態様制御処理を実行する必要があるか否かを、判定部２５（図１参照）において判定する（Ｓ５２）。以下のうちの少なくとも一つが成立するとき、撮影態様制御処理を実行する必要があると判定する。
・現在位置がトンネル内であるとき。
・現在位置が掘割部であるとき。
・現在位置が森林地帯であるとき。
・現在走行中の道路に沿ってビル、街路樹、あるいは街路灯が立ち並んでいるとき。
・現在走行中の道路に沿って橋脚が立ち並んでいるとき。

撮影態様制御処理を実行する必要があると判定したとき（Ｓ５３：Ｙｅｓ）、撮影態様制御処理（図２あるいは図５）を実行する（Ｓ５４）。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

１車両用画像処理装置
１０ドライバモニタＥＣＵ（ＥＣＵ）
２０演算部
２１輝度取得部
２２輝度推定部
２３撮影態様設定部
２４撮影制御部
２５判定部
２６画像処理部
２７メモリ（撮影態様記憶部）
３０信号入出力回路（Ｉ／Ｆ，地図情報取得部）
４０撮影部
４１車速センサ（車速検出部）
５０ナビゲーション装置

Claims

車両の室内を周期的に撮影する撮影部（４０）と、
前記撮影部が撮影した撮影画像の輝度を取得する輝度取得部（２１）と、
前記輝度の変化の履歴に基づいて、以降に撮影する撮影画像の輝度の周期的な変化を推定する輝度推定部（２２）と、
前記撮影画像の輝度の周期的な変化の推定結果に基づいて、前記撮影部の撮影態様を設定する撮影態様設定部（２３）と、
を備えることを特徴とする車両用画像処理装置。
前記輝度推定部は、前記撮影画像の輝度が変化する周期を推定演算し、その周期に基づいて、前記撮影態様を変更する請求項１に記載の車両用画像処理装置。
前記撮影部は、予め定められた撮影周期で前記車両の室内を撮影し、
前記撮影態様設定部は、周期的に撮影される前記撮影画像ごとの輝度のばらつきを抑制するように前記撮影周期を設定する請求項２に記載の車両用画像処理装置。
前記車両の速度を検出する車速検出部（４１）を備え、
前記輝度推定部は、前記車両の速度が変化したとき、前記車両の速度の変化量に基づいて、変化後の車両の速度における前記撮影画像の輝度が変化する周期を推定演算し、
前記撮影態様設定部は、前記輝度推定部の推定演算結果に基づいて、前記撮影部の撮影態様を設定する請求項３に記載の車両用画像処理装置。
前記車両の速度と前記撮影部の撮影態様とを関連付けて記憶する撮影態様記憶部（２７）を備え、
前記撮影態様設定部は、前記車両の速度が変化したとき、変化後の車両の速度が前記撮影態様記憶部に記憶されているとき、前記輝度推定部による輝度の推定演算を行うことなく、該車両の速度に関連付けられた撮影態様に設定する請求項４に記載の車両用画像処理装置。
前記撮影部は、予め定められた露光状態で前記車両の室内を撮影し、
前記撮影態様設定部は、前記輝度推定部の推定演算結果に基づいて、前記露光状態を変化させる請求項１ないし請求項５のいずれか１項に記載の車両用画像処理装置。
前記車両が走行中の現在位置を含む地図情報を取得する地図情報取得部（３０）を備え、
前記地図情報に基づいて、前記撮影態様設定部による前記撮影部の撮影態様の設定を行うか否かを判定する判定部（２５）を備える請求項１ないし請求項６のいずれか１項に記載の車両用画像処理装置。