JP6447289B2 - 撮像装置、撮像方法、プログラム、車両制御システム、および車両 - Google Patents

Description

本発明は、撮像装置、撮像方法、プログラム、車両制御システム、および車両に関する。

従来、車内に搭載されたステレオカメラなどの撮像装置を用いて、ドライバの前方にある車両や歩行者などの物体を認識し、当該物体までの距離（距離情報）を算出する物体認識技術が知られている。

そして、この物体認識技術による認識結果や距離情報に基づいてドライバへの警告や車両のブレーキ制御を行うことで、衝突事故などを防止することができる。従って、物体認識技術では、ドライバへの誤った警告や不要なブレーキ制御につながるような誤った認識結果や距離情報を出力することを回避しなければならない。

このようなステレオカメラに用いられる撮像素子の一つとして、ローリングシャッタ方式のＣＭＯＳ(Complementary Metal-Oxide Semiconductor)センサがある。このローリングシャッタ方式のＣＭＯＳセンサは、ライン順次に露光を行うものである。また、例えば、非インバータ方式の蛍光灯や水銀灯などの放電灯などの照明は、光源周波数に応じた明滅を繰り返している。上述のようなＣＭＯＳセンサの露光時間が蛍光灯などの光源周波数に適応していない場合、蛍光灯などの照明下で撮像された画像には、この明滅周期に対応した垂直方向の間隔で、水平方向に黒い縞が現れる。さらに光源周波数がフレームレートに同期していない場合には、フレーム上の明滅位置がフレームに従いずれていくため、水平方向の暗い縞が垂直方向にながれるようなフリッカが現れる。

そして、二つの撮像部を備えたステレオカメラでは、それぞれの撮像部で撮像された二つの撮像画像におけるフリッカの発生状態にズレが生じた場合、二つの撮像画像の比較マッチング性能が低下し、ステレオカメラとしての物体認識性能が低下してしまう。そこで、撮像した画像のフリッカの有無を検出し、検出したフリッカの周波数情報を元に撮像した画像からフリッカ成分を除去した画像を生成する技術が開示されている（例えば、特許文献１参照）。

しかしながら、上述の特許文献１に開示された技術では、フーリエ変換等の周波数変換ブロックが必要であり、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等の論理回路で実装する場合、大きな回路規模が必要となってしまうという問題があった。

本発明は、上記に鑑みてなされたものであって、フリッカが発生するような状態においても、簡易な構成で、物体認識性能の低下を防ぐ撮像装置、撮像方法、プログラム、車両制御システム、および車両を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、所定領域を撮像する二つの撮像部と、前記二つの撮像部によって撮像された画像データに基づいて、物体までの距離を算出する距離算出部と、前記二つの画像データからフリッカを検出するフリッカ検出部と、前記二つの画像データからそれぞれ検出されたフリッカ間で、フリッカによる所定方向の輝度の変化状態にズレが生じている場合、前記撮像部の撮像タイミングを補正制御するタイミング制御部と、を備える。

本発明によれば、フリッカが発生するような状態においても、簡易な構成で、物体認識性能の低下を防ぐことができるという効果を奏する。

図１は、実施の形態にかかるステレオカメラを搭載した自動車を示す図である。 図２は、ステレオカメラの概観図である。 図３は、実施の形態にかかるステレオカメラのハードウェア構成図である。 図４は、実施の形態にかかるステレオカメラの機能構成を示す図である。 図５は、左右のカメラ部により測定対象の物体を撮像している状態を示す図である。 図６は、フリッカが発生した画像データの例を示す図である。 図７は、実施の形態にかかるステレオカメラにおける撮像タイミングの補正制御処理の流れを示すフローチャートである。 図８は、実施の形態にかかるステレオカメラを含む車両制御システムを搭載した自動車を示す図である。

以下に添付図面を参照して、撮像装置、撮像方法、プログラム、車両制御システム、および車両の実施の形態を詳細に説明する。以下の実施の形態では、ＣＭＯＳセンサ（撮像素子）を備えたステレオカメラを撮像装置に適用し、自動車などの車両に取り付けられた場合の例を示している。

ＣＭＯＳセンサ（撮像素子）とは、ＸＹアドレス型のセンサであって、ローリングシャッタにより画像データを読み出している。このような撮像素子を用いて、商用交流電源により直接的に点灯される、所定周波数で明滅する蛍光灯などの光源の照明下で被写体を撮像した場合について説明する。撮像する際に撮像素子の露光時間を光源の発光周期より著しく短くすると、画像データの各フレームにおいて垂直方向の輝度ムラが生じてしまう。また、撮像のフレームレートと、光源の発光周期とが異なる場合、垂直方向の輝度ムラの状態が変化し、時間方向に輝度のフリッカ（いわゆる蛍光灯フリッカ）が生じる。周期的に明滅する光源に対し、ローリングシャッタでは、グローバルシャッタと異なり全画素を同じタイミングで露光できないからである。

例えば、上述のようなステレオカメラを車両に搭載して撮像した場合、商店街やガソリンスタンド等の店内から漏れる蛍光灯の光によって、走行中や駐停車中に撮像した画像データに蛍光灯フリッカが発生する可能性がある。

また、蛍光灯だけでなく、外灯やトンネルなどで利用されるナトリウムランプによる照明下で被写体を撮像した場合でも、撮像した画像データにフリッカが発生する可能性がある。具体的には、例えば、ステレオカメラを搭載した車両がトンネル内を走行中に、トンネル内の照明下で撮像した場合、撮像した画像データにフリッカが発生する可能性がある。また、例えば、当該車両が夜間の道路外灯近くを走行中に、外灯下で撮像した場合、撮像した画像データにフリッカが発生する可能性がある。なお、ナトリウムランプが利用されている外灯等も同じく商用交流電源で点灯している。

このような状態で、二つのカメラを備えたステレオカメラにおいて撮像された画像データを用いて、ブロックマッチングによる同じ物体の認識処理を行う場合、二つの撮像画像におけるフリッカの発生状態にズレが生じていると、物体の認識処理の性能低下につながる可能性がある。

そこで、本実施の形態にかかるステレオカメラでは、二つのカメラで撮像した画像データからフリッカが検出された場合、それぞれの画像データで検出されたフリッカの状態を解析し、フリッカの状態に基づいて二つのカメラの撮像タイミングを制御して、物体の認識処理の際のフリッカによる悪影響を軽減させる。

まず、本実施の形態の全体構成について説明する。図１は、実施の形態にかかるステレオカメラを搭載した自動車を示す図である。本実施の形態にかかるステレオカメラが搭載された自動車とは、車両の一例である。図１（ａ）は、自動車の側面を示す概略図であり、図１（ｂ）は、自動車の正面を示す概略図である。また、図２は、ステレオカメラの概観図である。

図１（ａ）（ｂ）に示すように、本実施の形態のステレオカメラ１００は、カメラ部１およびカメラ部２を備えている。そして、カメラ部１およびカメラ部２は、自動車の進行方向前方の光景を撮像することができるように設置されている。また、図２に示すように、ステレオカメラ１００は、本体部３と、本体部３に対して設けられた一対の円筒状のカメラ部１およびカメラ部２とによって構成されている。

図３は、実施の形態にかかるステレオカメラのハードウェア構成図である。図３に示すように、実施の形態にかかるステレオカメラ１００は、ＣＰＵ（Central Processing Unit）１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４、カメラ部１、２、および通信Ｉ／Ｆ（interface）１０６を備えており、バスライン１０８を介して接続されている。

ＣＰＵ１０２は、ステレオカメラ１００の全体制御を行なう。ＲＯＭ１０３は、ＣＰＵ１０２の制御により実行される処理で利用されるプログラムや各種データを記憶する。ＲＡＭ１０４は、ＣＰＵ１０２の制御により実行される処理で利用されるデータ等を一時的に記憶する。通信Ｉ／Ｆ１０６は、外部機器等と各種データのやり取りを行なう。

カメラ部１、２は、被写体を撮像するものであり、撮像部の一例である。本実施の形態において、被写体とは測定対象の物体や車外等の所定領域を示している。そして、図３に示すように、カメラ部１は、レンズ１１およびＣＭＯＳセンサ１２を有しており、カメラ部２は、レンズ２１およびＣＭＯＳセンサ２２を有している。

レンズ１１、２１は、被写体の光学像をＣＭＯＳセンサ１２、２２上に結像する光学素子の一例である。

ＣＭＯＳセンサ１２、２２は、結像された光学像を光電変換して電気信号を出力する撮像素子の一例である。そして、出力されたアナログ電気信号がデジタル電気信号に変換され画像データとなる。レンズ１１、２１と、ＣＭＯＳセンサ１２、２２とをそれぞれ含むカメラ部１、２は、例えばステレオカメラ１００が取り付けられた自動車（車両）の前方（所定領域）にある被写体を撮像することで、それぞれ画像データを生成する。

また、ステレオカメラ１００では、左右のカメラ部１、２が所定の距離をもって配置されていることから、同じ被写体を撮像しても、左右のＣＭＯＳセンサ１２、２２上での結像位置が異なる（図５参照）。

図４は、実施の形態にかかるステレオカメラの機能構成を示す図である。ステレオカメラ１００は、画像取得部１０、２０と、輝度画像取得部３０と、視差画像算出部４０と、物体認識処理部５０と、距離算出部６０と、フリッカ検出部７０と、タイミング制御部８０と、を主に備えている。

画像取得部１０、２０は、それぞれステレオカメラを構成する２台のカメラの一方および他方により被写体を撮像して、画像データを取得する。画像取得部１０、２０は、例えば、図３のＣＭＯＳセンサ１２、２２によって実現される。

輝度画像取得部３０は、画像取得部１０、２０により取得された画像データから輝度画像を取得する。輝度画像と後述の視差画像とは時間においてほぼ同期しており、画像中の座標が対応している。

視差画像算出部４０は、画像取得部１０、２０により取得された画像データから視差画像を算出する。視差画像算出部４０は、同じ物体（被写体）が撮像された左右の画像データから、ブロック分割した画像同士のパターンマッチングにより、同じ物体に対応するブロックを抽出し、マッチングしたブロックから視差画像を求めている。また、視差画像算出部４０は、同じ測定対象の物体に対する、画像取得部１０、２０での結像位置の画素のズレ量により視差ｄ（図５参照）を算出する。

物体認識処理部５０は、輝度画像取得部３０により取得された二つの輝度画像から、車両などの物体を認識する。物体の認識方法は、事前に車両等のパターン認識用のブロック画像の辞書を作成して記憶しておき、記憶されているブロック画像とのマッチングにより認識処理を行う。

距離算出部６０は、物体認識処理部５０による認識処理の結果（認識結果）と、視差画像算出部４０により算出された視差ｄとにより、測定対象である物体（被写体）までの距離を算出する。

ここで、物体までの距離の算出方法を、図５を参照して説明する。図５は、左右のカメラ部により測定対象の物体Ｏを撮像している状態を示す図である。図５に示すように、カメラ部１はレンズ１１およびＣＭＯＳセンサ１２を備え、カメラ部２はレンズ２１およびＣＭＯＳセンサ２２を備えている。

図５に示す「ｆ」は、カメラ部１、２の焦点距離である。また、「Ｂ」は、カメラ部１とカメラ部２の距離（レンズ１１の中心とレンズ２１の中心の距離）である。また、「Ｚ」は、カメラ部１、２と物体Ｏの距離であり、視点と測定対象（物体）の距離となる。

カメラ部１、２は物理的に異なる位置から同じ物体Ｏを撮像する。そのため、カメラ部１で撮像された画像Ｇ１と、カメラ部２で撮像された画像Ｇ２を比較すると、画像Ｇ１、Ｇ２間で画素ズレが発生している。この画像Ｇ１、Ｇ２間の画素のズレ量を視差「ｄ」としている。

図５に記載の通りに各距離を定義すると、以下の比が成立する。
Ｚ：Ｂ＝Ｚ＋ｆ：Ｂ＋ｄ ・・・（比）

そして、上述の比から、以下の式が導き出される。
Ｚ＝Ｂｆ／ｄ ・・・（式）
距離算出部６０は、上述の式により、物体までの距離（Ｚ）を算出できる。つまり、距離算出部６０は、カメラ部１とカメラ部２との距離と、カメラ部１、２の焦点距離と、視差と、により物体までの距離を算出することができる。

図４に戻り、フリッカ検出部７０は、カメラ部１、２のＣＭＯＳセンサ１２、２２のそれぞれにより撮像された二つの画像データを取得すると、当該二つの画像データからフリッカを検出する。フリッカの検出は公知の方法を用いることができ、例えば、特開２０１２−１０３０６に記載されている。

ここで、フリッカの詳細について説明する。上述のように、蛍光灯などの照明下で二つのＣＭＯＳセンサ１２、２２により同じ被写体（物体）が撮像された場合、出力される二つの画像データにはフリッカが発生する可能性がある。また、二つのＣＭＯＳセンサ１２、２２は、同じタイミングで撮像するように制御されているが、完全に同じタイミングで撮像されるとは限らない。このような場合、ＣＭＯＳセンサ１２、２２からは、垂直方向の輝度ムラが異なるフリッカが発生した二つの画像データが出力される。

図６は、フリッカが発生した画像データの例を示す図である。図６（ａ）は、カメラ部１のＣＭＯＳセンサ１２により撮像された画像データである。図６（ｂ）は、カメラ部２のＣＭＯＳセンサ２２により撮像された画像データである。

図６（ａ）および図６（ｂ）の画像データには、フリッカである垂直方向の輝度ムラが発生し、時間とともに垂直方向で位置が変化している。具体的には、図６（ａ）には、輝度ムラ１２ａ〜１２ｄが発生し、図６（ｂ）には、輝度ムラ２２ａ〜２２ｄが発生している。

そして、カメラ部１、２のＣＭＯＳセンサ１２、２２の撮像開始タイミングにズレが生じると、図６（ａ）（ｂ）に示すように、輝度ムラ１２ａ〜１２ｄと輝度ムラ２２ａ〜２２ｄの垂直方向の位置にズレが生じる。つまり、ステレオカメラ１００では、カメラ部１、２のＣＭＯＳセンサ１２、２２の撮影タイミングが全く同時でない限り、同じ被写体を撮像しても、図６（ａ）（ｂ）に示すように、フリッカの輝度ムラにズレが生じた画像が撮像される場合がある。

図４に戻り、タイミング制御部８０は、ＣＭＯＳセンサ１２、２２により撮像された二つの画像データからそれぞれ検出されたフリッカ間で、フリッカによる垂直方向（所定方向）の輝度ムラにズレが生じている場合、カメラ部２の撮像タイミングを補正制御するものである。輝度ムラとは、輝度の変化状態の一例である。

二つの画像データにおける、フリッカによる垂直方向の輝度ムラにズレが生じているか否かの判断は以下のように行う。まず、タイミング制御部８０は、二つの画像データそれぞれに対して水平方向のライン（所定方向と交差するライン）ごとの輝度の平均値を算出して、ＲＡＭ１０４により実現される記憶部９０に全て記憶する。この輝度の平均値は、ライン数分記憶されることになる。

次に、タイミング制御部８０は、ライン数分の輝度の平均値から、二つの画像データのラインごとの輝度の平均値の差分値を算出する。この差分値は、ライン数分の組み合わせがある。

そして、タイミング制御部８０は、算出したライン数分の差分値のうち、最も差分が大きい差分値であるピーク値が、予め定めた閾値以上であるか否かを判断する。タイミング制御部８０は、ピーク値が閾値未満の場合、輝度ムラのズレが看過できる程度であるため、輝度ムラにズレが生じていないと判断し、撮像タイミングを確定（固定）する。

一方、タイミング制御部８０は、ピーク値が閾値以上の場合、輝度ムラにズレが生じていると判断し、タイミング制御信号により、カメラ部２のＣＭＯＳセンサ２２の撮像タイミングを補正制御する。ここでは、タイミング制御部８０がカメラ部１、２のうち、カメラ部２のＣＭＯＳセンサ２２に対して撮像タイミングを補正制御しているが、カメラ部１のＣＭＯＳセンサ１２に対して撮像タイミングを補正する構成としてもよい。また、タイミング制御部８０は、１ライン周期分の補正量により、カメラ部２のＣＭＯＳセンサ２２の撮像タイミングを補正制御する。

タイミング制御部８０は、カメラ部２のＣＭＯＳセンサ２２の撮像タイミングを補正制御した後、フリッカ検出部７０によって再度二つの画像データからフリッカが検出され、二つの画像データの輝度ムラにズレが生じている場合、再度カメラ部２のＣＭＯＳセンサ２２の撮像タイミングを補正制御する。

具体例を示すと、ＣＭＯＳセンサ１２、２２から出力されるそれぞれの画像のサイズがＶＧＡ（６４０×４８０）であったとする。タイミング制御部８０は、それぞれの画像データにおける４８０ラインのラインごとの輝度の平均値を算出し、４８０個の輝度の平均値を記憶部９０に記憶する。次に、タイミング制御部８０は、記憶された４８０個同士の輝度の平均値の差分値を算出する。

そして、タイミング制御部８０は、４８０個の差分値のうち最も差分が大きいピーク値が、予め定めた閾値以上であるか否かを判断する。ピーク値が大きくなり閾値以上になると、ＣＭＯＳセンサ１２、２２により撮像された画像データのフリッカによる垂直方向の輝度ムラにズレが生じていると判断する。一方、ピーク値が小さくなり閾値未満になると、フリッカによる垂直方向の輝度ムラのズレが看過できる程度となり、ズレが生じていないと判断する。

ピーク値が閾値以上であることから、フリッカによる垂直方向の輝度ムラにズレが生じていると判断すると、タイミング制御部８０は、タイミング制御信号により、ＣＭＯＳセンサ２２の撮像タイミングを、１ライン周期分遅らせる。そして、タイミング制御部８０は、撮像タイミングを１ライン周期分遅らせた後、再度同様の処理を行う。なお、タイミング制御部８０は、撮像タイミングを１ライン周期分早める補正制御を行ってもよい。

この処理を繰り返し、タイミング制御部８０は、フリッカによる垂直方向の輝度ムラにズレが生じてないと判断すると、そこで、撮像タイミングを確定（固定）し、電源ＯＦＦになるまでその設定値で動作し続ける。

次に、本実施の形態にかかるステレオカメラ１００における撮像タイミングの補正制御処理について説明する。図７は、実施の形態にかかるステレオカメラにおける撮像タイミングの補正制御処理の流れを示すフローチャートである。図７は、上述の例と同様に、ＣＭＯＳセンサ１２、２２から出力されるそれぞれの画像のサイズがＶＧＡ（６４０×４８０）である場合について説明する。

まず、フリッカ検出部７０は、ＣＭＯＳセンサ１２、２２から、それぞれ１フレームの画像データを取得する（ステップＳ１００）と、二つの画像データからフリッカが検出されたか否かを判断する（ステップＳ１０２）。フリッカが検出されなかった場合（ステップＳ１０２：Ｎｏ）、ステップＳ１００に戻って処理を繰り返す。

一方、フリッカが検出された場合（ステップＳ１０２：Ｙｅｓ）、タイミング制御部８０は、ＣＭＯＳセンサ１２から出力された画像データに対して、ラインごとの輝度の平均値を算出し、記憶部９０に記憶する（ステップＳ１０４ａ）。そして、タイミング制御部８０は、４８０ライン分の輝度の平均値を記憶部９０に記憶する（ステップＳ１０６ａ）。

同様に、タイミング制御部８０は、ＣＭＯＳセンサ２２から出力された画像データに対して、ラインごとの輝度の平均値を算出し、記憶部９０に記憶する（ステップＳ１０４ｂ）。そして、タイミング制御部８０は、４８０ライン分の輝度の平均値を記憶部９０に記憶する（ステップＳ１０６ｂ）。

次に、タイミング制御部８０は、４８０個の輝度の平均値から、それぞれのラインごとの差分値を算出する（ステップＳ１０８）。そして、タイミング制御部８０は、４８０個の差分値のピーク値が、予め定めた閾値以上であるか否かを判断する（ステップＳ１１０）。

差分値のピーク値が閾値未満である場合（ステップＳ１１０：Ｎｏ）、ＣＭＯＳセンサ２２の撮像タイミングを確定（固定）する（ステップＳ１１２）。一方、差分値のピーク値が閾値以上である場合（ステップＳ１１０：Ｙｅｓ）、タイミング制御信号により、ＣＭＯＳセンサ２２の撮像タイミングを、１ライン周期分遅くする補正制御を行い（ステップＳ１１４）、ステップＳ１００に戻り処理を繰り返す。

このように、本実施の形態にかかるステレオカメラ１００は、カメラ部１、２のＣＭＯＳセンサ１２、２２により撮像された二つの画像データからフリッカが検出され、二つの画像データからそれぞれ検出されたフリッカ間で、フリッカによる垂直方向の輝度ムラにズレが生じていると判断した場合、カメラ部２の撮像タイミングを補正制御する。これにより、ステレオカメラ１００を構成する二つのＣＭＯＳセンサ１２、２２から出力されるフリッカの発生状態を可能な限り近づけることができ、簡易な構成で、物体認識性能の低下を防ぐことができる。

次に、上述の実施の形態のステレオカメラ１００を含む車両制御システム２００について説明する。図８は、実施の形態にかかるステレオカメラを含む車両制御システムを搭載した自動車を示す図である。なお、自動車は、上述と同様、車両の一例である。図８（ａ）は、車両制御システムを搭載した自動車の側面図であり、図８（ｂ）は、車両制御システムを搭載した自動車の正面図である。

図８（ａ）（ｂ）に示すように、自動車３００は、車両制御システム２００を備えている。車両制御システム２００は、居室空間である車室において設置されたステレオカメラ１００と、制御装置６と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

ステレオカメラ１００は、上述したように、カメラ部１およびカメラ部２を備えており、カメラ部１およびカメラ部２は、自動車の進行方向前方の光景を撮像することができるように設置されている。例えば、ステレオカメラ１００は、図９に示すように、自動車３００のフロントウィンドウ内側のバックミラー近傍に設置されている。

制御装置６は、ステレオカメラ１００から受信した視差画像の画像データに基づいて求まるステレオカメラ１００から被写体までの距離により、各種車両制御を実行する。制御装置６は、車両制御の例として、ステレオカメラ１００から受信した視差画像の画像データに基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御を実行する。また、制御装置６は、車両制御の例として、ステレオカメラ１００から受信した視差画像の画像データに基づいて、ブレーキペダル８（制御対象）を制御して自動車３００を減速および停止させるブレーキ制御等を実行する。

このようなステレオカメラ１００および制御装置６を含む車両制御システム２００のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、自動車３００の運転の安全性を向上することができる。

なお、上述のように、ステレオカメラ１００は、自動車３００の前方を撮像するものとしたが、これに限定されるものではない。すなわち、ステレオカメラ１００は、自動車３００の後方または側方を撮像するように設置されるものとしてもよい。この場合、ステレオカメラ１００は、自動車１００の後方の後続車、または側方を並進する他の車両等の位置を検出することができる。そして、制御装置６は、自動車３００の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、制御装置６は、自動車３００の駐車時等におけるバック動作において、ステレオカメラ１００によって検出された自動車３００の後方の障害物の視差画像に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

なお、本実施の形態のステレオカメラで実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施の形態のステレオカメラで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施の形態のステレオカメラで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のステレオカメラで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施の形態のステレオカメラで実行されるプログラムは、上述した各部（輝度画像取得部、視差画像算出部、物体認識処理部、距離算出部、フリッカ検出部、タイミング制御部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからステレオカメラで実行されるプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。また、例えば、上述した各部の機能のうちの一部または全部が専用のハードウェア回路で実現されてもよい。

１、２ カメラ部
３ 本体部
６ 制御装置
７ ステアリングホイール
８ ブレーキペダル
１１、２１ レンズ
１２、２２ ＣＭＯＳセンサ
３０ 輝度画像取得部
４０ 視差画像算出部
５０ 物体認識処理部
６０ 距離算出部
７０ フリッカ検出部
８０ タイミング制御部
９０ 記憶部
１００ ステレオカメラ
２００ 車両制御システム
３００ 自動車（車両）

特開２０１３−５１５２３号公報

Claims (9)

1. 所定領域を撮像する二つの撮像部と、
   前記二つの撮像部によって撮像された画像データに基づいて、物体までの距離を算出する距離算出部と、
   前記画像データからフリッカを検出するフリッカ検出部と、
   前記二つの撮像部によって撮像された画像データからそれぞれ検出されたフリッカ間で、フリッカによる所定方向の輝度の変化状態にズレが生じている場合、前記撮像部の撮像タイミングを補正制御するタイミング制御部と、を備える撮像装置。
2. 前記タイミング制御部は、前記二つの撮像部によって撮像された画像データそれぞれに対して前記所定方向と交差するラインごとの輝度の平均値を算出し、算出した前記平均値のラインごとの差分値を算出し、算出したライン数分の前記差分値のうち最も差が大きい差分値が予め定めた閾値以上であった場合、前記輝度の変化状態にズレが生じていると判断し、前記撮像部の撮像タイミングを補正制御する、請求項１に記載の撮像装置。
3. 前記タイミング制御部は、前記二つの撮像部のうち、いずれか一つの前記撮像部に対して撮像タイミングを補正制御する、請求項２に記載の撮像装置。
4. 前記タイミング制御部は、１ライン周期分の補正量により、前記撮像部の撮像タイミングを補正制御する、請求項３に記載の撮像装置。
5. 前記タイミング制御部は、前記撮像部の撮像タイミングを補正制御した後、再度前記画像データからフリッカが検出され、前記二つの撮像部によって撮像された画像データの前記輝度の変化状態にズレが生じている場合、再度前記撮像部の撮像タイミングを補正制御する、請求項４に記載の撮像装置。
6. 二つの撮像部を備えた撮像装置において実行される撮像方法において、
   前記二つの撮像部によって撮像された画像データに基づいて、物体までの距離を算出する距離算出ステップと、
   前記二つの画像データからフリッカを検出するフリッカ検出ステップと、
   前記二つの画像データからそれぞれ検出されたフリッカ間で、フリッカによる所定方向の輝度の変化状態にズレが生じている場合、前記撮像部の撮像タイミングを補正制御するタイミング制御ステップと、を含む撮像方法。
7. 二つの撮像部によって撮像された画像データに基づいて、物体までの距離を算出する距離算出ステップと、
   前記二つの画像データからフリッカを検出するフリッカ検出ステップと、
   前記二つの画像データからそれぞれ検出されたフリッカ間で、フリッカによる所定方向の輝度の変化状態にズレが生じている場合、前記撮像部の撮像タイミングを補正制御するタイミング制御ステップと、
   をコンピュータに実行させるためのプログラム。
8. 請求項１〜５のいずれか一つに記載の撮像装置と、
   前記撮像装置によって算出された前記撮像装置から前記物体までの距離によって、車両を制御する制御装置と、を備える車両制御システム。
9. 請求項８に記載の車両制御システムを搭載した車両。

Images