JP6566302B2 - 撮像装置、撮像装置のエラー確認方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置のエラー確認方法及びプログラムに関するものである。

従来、撮像装置から出力される撮像画像データ又はこれに所定の処理を施した処理後データ（以下「撮像画像データ等」という。）が、データ通信経路上のケーブル断線や接続不良（はんだ不良等）などの通信不良により、正常に通信できないという問題が知られている。

特許文献１には、用途が特定されていないフレキシブル配線基板の断線を検出可能とする方法が開示されている。この方法では、フレキシブル配線基板に信号用配線部とは独立した検出用配線部を形成し、当該フレキシブル配線基板が接続される回路基板上に検出用配線部が断線したときの信号を発生させる断線検出回路を設ける。これにより、断線検出回路が発生させる信号に基づき、フレキシブル配線基板の断線を検出するというものである。

近年、撮像装置は、車両、鉄道、船舶、航空機などの移動体に搭載されて移動体周囲の物体を認識する物体認識装置や、街頭などに設置される監視カメラなど、多種多様な用途に広く利用されている。いずれの用途で利用される場合でも、撮像装置から正常な撮像画像データ等を受け取らなければ適切な処理を実行できないが、撮像画像データ等のデータ通信経路上における通信不良が原因で、撮像装置から正常な撮像画像データ等を受け取れないことがある。例えば、撮像装置を組み立てる際の作業ミスなどにより、撮像装置の内部や外部における撮像画像データ等のデータ通信経路上のケーブルが破断したり、接点のはんだ不良等で接続不良が生じたりして、通信不良が発生することがある。また、撮像装置の設置場所の環境や状況（振動、温度変化など）により、ケーブルが破断したり接続不良が発生したりして、通信不良が発生することもある。特に、撮像画像データ等のデータ通信には、複数のデータ信号をそれぞれ異なる信号線を使って同時並行で送るパラレル方式が採用されることが多く、この場合、シリアル方式と比べて信号線の数が多い分、接続不良等による通信不良が発生しやすい。

撮像装置においては、撮像画像データ等のデータ通信経路上で通信不良が発生しているか否かを適切に把握することが重要である。前記特許文献１に開示の方法を利用すれば、撮像画像データ等のデータ通信経路上のケーブルの断線を検出することが可能である。しかしながら、ケーブル内にデータ通信用の配線とは別に、専用の検出用配線を設ける必要がある。また、ケーブル内のデータ通信用の配線だけが部分的に破断した場合や、当該ケーブルよりも上流側のデータ通信経路上に存在する他のケーブルの破断や接点での接続不良などで、撮像画像データ等の通信不良が生じている状況については、前記特許文献１に開示の方法では検出できない。

また、撮像装置が例えば２つの撮像手段を備えたステレオカメラである場合、これらの撮像手段によって撮像した２つの撮像画像データを用いて視差画像情報等を生成する処理を行うことがある。この場合、各撮像手段における撮像画像データのデータ通信経路上で通信不良が発生していなくても、撮像手段の撮像タイミングがズレることで、適切な視差画像情報等を生成する処理が実行できないという問題も生じる。

上述した課題を解決するために、本発明は、撮像領域を撮像する撮像手段を２つ以上備えた撮像装置であって、前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成手段と、前記視差データ生成手段が生成した視差データを出力するデータ出力手段と、所定のエラー確認タイミングで、予め決められたエラー確認用データを前記データ出力手段から出力させるエラー確認制御手段と、を備え、前記エラー確認制御手段は、予め決められた、基線方向の画素値の境目となる所定位置が異なる２つ以上のエラー確認用基準画像に対応する２つ以上のエラー確認用基準画像データと、それぞれのエラー確認用基準画像に対して所定画素分だけ基線方向へズレた２つ以上のエラー確認用比較画像に対応する２つ以上のエラー確認用比較画像データと、に基づいて、前記視差データ生成手段が生成した各視差データを、前記エラー確認用データとして用いることを特徴とする。

本発明によれば、専用の検出用配線を設けることなく、撮像画像データのデータ通信経路上の断線や接続不良による通信不良、撮像手段の撮像タイミングのズレなどを含む各種撮像装置エラーを検出することが可能となるという優れた効果が奏される。

実施形態１におけるエラー確認処理の流れを示すフローチャートである。 実施形態１における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 （ａ）及び（ｂ）は、２つの撮像部でそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。 一般的な測距原理を示す説明図である。 実施形態１の物体認識処理を説明するための処理ブロック図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 （ａ）及び（ｂ）は、２つの撮像部からそれぞれ出力されるエラー確認用基準画像データ及びエラー確認用比較画像データの一例をそれぞれ示す説明図である。 図８（ａ）及び（ｂ）のエラー確認用基準画像データ及びエラー確認用比較画像データから算出される視差画像データを示す説明図である。 （ａ）は、一方の撮像部から出力されるエラー確認用基準画像データの一例を示す説明図である。（ｂ）は、他方の撮像部のケーブルが断線している状況のエラー確認用比較画像データの一例を示す説明図である。 図１０（ａ）及び（ｂ）のエラー確認用基準画像データ及びエラー確認用比較画像データから算出される視差画像データを示す説明図である。 （ａ）及び（ｂ）は、変形例１で用いる他のエラー確認用基準画像データ及びエラー確認用比較画像データをそれぞれ示す説明図である。 図１２（ａ）及び（ｂ）のエラー確認用基準画像データ及びエラー確認用比較画像データから算出される視差画像データを示す説明図である。 （ａ）は、変形例２で用いるエラー確認用基準画像データの一例である。（ｂ）は、変形例２で用いるエラー確認用比較画像データの一例である。 （ａ）は、変形例２において、一方の撮像部から出力されるエラー確認用基準画像データの一例を示す説明図である。（ｂ）は、変形例２において、他方の撮像部の最下位ｂｉｔの信号線に通信不良が発生した状況のエラー確認用比較画像データの一例を示す説明図である。 図１５（ａ）及び（ｂ）のエラー確認用基準画像データ及びエラー確認用比較画像データから算出される視差画像データを示す説明図である。 （ａ）及び（ｂ）は、実施形態２において、２つの撮像部間で撮像タイミングのズレが発生しているときの各撮像部で撮像された画像の一例をそれぞれ示す説明図である。 実施形態２における撮像ユニットの構成を示す説明図である。 （ａ）は、実施形態２において、水平同期信号と垂直同期信号と画像データの出力タイミングとを示すタイミングチャートである。（ｂ）は、水平同期信号と垂直同期信号と出力される画像データの画像上の位置との関係を示す概念図である。 同撮像ユニットの各撮像部から出力される画像データの画素値の出力順序を示す説明図である。 実施形態２におけるエラー確認処理の流れを示すフローチャートである。 実施形態２における固定画像データの一例を示す説明図である。 撮像タイミングにズレが発生していない場合において、各撮像部から出力される２つの固定画像データを検査部が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。 第一撮像部よりも第二撮像部の撮像タイミングが１画素分の出力時間だけ遅れている場合において、各撮像部から出力される２つの固定画像データを検査部が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。 第一撮像部よりも第二撮像部の撮像タイミングが２画素分の出力時間だけ遅れている場合において、各撮像部から出力される２つの固定画像データを検査部が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。 第一撮像部よりも第二撮像部の撮像タイミングが３画素分の出力時間だけ遅れている場合において、各撮像部から出力される２つの固定画像データを検査部が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。 変形例３における固定画像データの一例を示す説明図である。 撮像タイミングにズレが発生していない場合において、各撮像部から出力される２つの固定画像データを検査部が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。 第一撮像部よりも第二撮像部の撮像タイミングが１ライン分の出力時間だけ遅れている場合において、各撮像部から出力される２つの固定画像データを検査部が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。

〔実施形態１〕
以下、本発明に係る撮像装置を備えた物体認識装置を、移動体機器制御システムである車載機器制御システムに用いた一実施形態（以下、本実施形態を「実施形態１」という。）について説明する。
なお、本実施形態１の撮像装置は、移動体としての車両に搭載され、物体認識装置の処理に利用されるものであるが、本発明に係る撮像装置は、移動体以外の場所に設置されるものや、物体認識装置の処理とは異なる処理に利用されるものとしても使用できる。

図２は、本実施形態１における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方に存在する物体を認識し、その認識結果を利用して各種車載機器の制御を行う。

本実施形態１の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データを含む各種データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識し、その認識結果に基づいて、表示モニター１０３やスピーカーを用いて自車両１００の運転者へ警告を報知したり、車両走行制御ユニット１０６により自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図３は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像装置としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラで構成されており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が２次元配置された撮像手段としての画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力するデータ出力手段としての信号処理部１１５Ａ，１１５Ｂとから構成されている。なお、信号処理部１１５Ａ，１１５Ｂは、画像センサ１１３Ａ，１１３Ｂ上に設けられていても良い。本実施形態１の撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。画像データは、例えば、１画素あたり、１２ビットのデータ量のものであり、０〜４０９５階調（画素値）をとる。

また、撮像ユニット１０１は、画像処理基板等からなる画像処理装置である処理ハードウェア部１２０を備えている。処理ハードウェア部１２０は、撮像画像データに対してリアルタイム性が要求される処理を主に実行するものである。具体的には、例えば、ガンマ補正等の輝度補正処理、２つの撮像部１１０Ａ，１１０Ｂの取り付け位置ズレなどに起因する撮像画像の歪みを補正する歪み補正処理（左右の撮像画像の平行化）、ブロックマッチングによる視差演算処理などが挙げられる。なお、輝度補正処理や歪み補正処理は必ずしも行う必要はない。

本実施形態１の処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データの輝度補正処理を行う輝度補正処理部１２４、画像の歪みを補正する歪み補正処理部１２５、これらの補正処理後の輝度画像データから視差画像を得るために各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１などで構成される。

ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一点（同一対象物上の同じ箇所）に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一点までの距離を算出することができる。

図４（ａ）及び（ｂ）は、２つの撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一例をそれぞれ示す説明図である。
図４（ａ）及び（ｂ）に示す例では、２つの撮像部１１０Ａ，１１０Ｂで互いに異なる方向から同じ撮像領域を撮像し、これにより得られる２つの撮像画像のうちの一方（図４（ａ）に示す画像）を基準画像とし、他方（図４（ｂ）に示す画像）を比較画像としている。そして、基準画像内のある画像領域が比較画像内のどの画像領域に対応するかを検索する。例えば、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域を検索する際、縦方向位置は画像領域Ｗａの縦方向位置と同じ位置に固定したまま、横方向位置を変化させて、比較画像内を、Ｗｂ１→Ｗｂ２→Ｗｂ３・・・というように検索していく。そして、この検索を行いながら基準画像と比較画像との間の相関演算を行い、相関度が最も高くなる画像領域を検出して、撮像領域内の同一点に対応する対応点を基準画像及び比較画像の両方で特定するマッチング処理を行う。

図５は、一般的な測距原理を示す説明図である。
マッチング処理により、基準画像内の画像領域Ｗａに対応する比較画像内の画像領域Ｗｂ３が特定されたら、撮像領域内の同一点に対応した各画像領域Ｗａ，Ｗｂ３内の対応点について、基準画像と比較画像とのズレ量を視差値として求める。具体的には、図５に示すように、基準画像内における注目画素の基線方向位置をＸＲとし、比較画像内における対応画素の基線方向位置をＸＬとしたとき、視差値Ｄは、Ｄ＝｜ＸＬ−ＸＲ｜から求めることができる。

なお、マッチング処理により求めた視差値Ｄを用いることで、基準画像内における注目画素に映し出されている撮像領域内の当該同一点（測定対象点）までの距離（基線から測定対象点までの距離）Ｚを、下記の式（１）より算出することができる。なお、下記の式（１）において、「Ｆ」は撮像部１１０Ａ，１１０Ｂの焦点距離であり、「Ｂ」は撮像部１１０Ａ，１１０Ｂ間の基線長である。
Ｚ ＝ Ｂ × Ｆ ／ Ｄ ・・・（１）

画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データや視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３とを備えている。ＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および処理ハードウェア部１２０の全体的な制御を担うとともに、他車両やガードレールその他の各種オブジェクト（認識対象物）の認識処理を実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果を外部へと出力する。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

図６は、本実施形態１の物体認識処理を説明するための処理ブロック図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂから出力される２つの輝度画像データは画像処理部１３１に出力される。この画像処理部１３１は、輝度画像データに対して輝度補正処理や歪み補正処理などの画像処理を実行するものであり、処理ハードウェア部１２０の輝度補正処理部１２４及び歪み補正処理部１２５によって構成される。

画像処理部１３１は、輝度画像データが入力されると、輝度補正処理部１２４による輝度補正処理を実行した後に、歪み補正処理部１２５による歪み補正処理を実行する。この歪み補正処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。

このようにして歪み補正処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の第一撮像部１１０Ａの輝度画像データを基準画像データとし、他方の第二撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素とその隣の画素からなるブロックを定義する。ここで、注目画素とともにブロックを構成する周辺画素としては、隣の画素のみに限らず、例えば、注目画素を中心とした３画素×３画素のブロック内に存在する画素を用いたり、注目画素に対してｘ方向に複数個分の画素を用いたりしてもよい。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

このようにして視差画像生成処理を行ったら、次に、Ｖマップ生成部１３３において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＶマップと呼ぶ。

具体的に説明すると、Ｖマップ生成部１３３は、視差画像生成部１３２で生成された視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図７（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３３は、図７（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報から、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとり、Ｘ軸に視差値をとった二次元直交座標系上に、頻度を分布させたＶマップを得ることができる。このＶマップは、頻度に応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

次に、本実施形態１では、視差画像生成部１３２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３４において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理を実行する。
例えば、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面に一致している場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる認識対象物を映し出した画素であると言える。このような画素は、路面を映し出す画素が持つ特徴に合致するので、路面を映し出している画素であると推定することができる。

路面形状検出部１３４では、このような路面に対応する視差値が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。近似直線の情報が得られたら、次に、路面高さテーブル算出部１３５において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３４により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面はＶマップ上で直線（基準直線）により表される。路面形状検出部１３４から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３４から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

次に、Ｕマップ生成部１３６について説明する。Ｕマップ生成部１３６では、Ｕマップを生成するＵマップ生成処理を実行する。視差画像データに含まれる各画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＵマップと呼ぶ。本実施形態１のＵマップ生成部１３３では、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから５ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

例えば、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ１台ずつ存在する場合、Ｕマップにおいては、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。一方、他車両に対応する高頻度の点は、左右のガードレールの間で、Ｘ軸方向に略平行に延びる線分の状態で分布する。

次に、孤立領域検出部１３７について説明する。孤立領域検出部１３７では、Ｕマップ生成部１３６で生成されたＵマップの情報から、まず、Ｕマップの平滑化処理を行った後、二値化処理を行う。その後、値のある座標のラベリングを行い、孤立領域を検出する。以下、それぞれの処理について説明する。

視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のＵマップは、ノイズを含んでいる。そのため、ノイズを除去するためと、認識対象物（オブジェクト）を識別しやすくするため、Ｕマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ（たとえば３×３画素の単純平均）を頻度値に対して適用する。これにより、ノイズと考えられるようなＵマップ上の地点の頻度が減少し、認識対象物（オブジェクト）の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。

次に、このように平滑化されたＵマップの情報から、Ｕマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Ｕマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第４０１８３１０号公報などに開示されている適応二値化方法を用いることができる。各認識対象物（オブジェクト）は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各認識対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「１」（黒）とし、頻度の低い領域を「０」（白）とする。

このように二値化処理で「１」の値（黒）をもつ地点（頻度値が二値化閾値より高い座標）をその連結性に基づいてラベリングし、同一ラベルが付いた領域を１つの孤立領域として検出する。

このようにして得られる各孤立領域について、その幅（Ｕマップ上のＸ軸方向長さ）と、その孤立領域内の最小視差値ｄから計算される当該孤立領域に映し出されている認識対象物（オブジェクト）と自車両との距離ｚとを用い、当該孤立領域に対応する画像領域に映し出されている物体の幅Ｗを計算することができる。この物体の幅Ｗが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。

次に、視差画像の対応領域検出部１３８について説明する。
前記孤立領域検出部１３７によりオブジェクト候補領域として決定された孤立領域について、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する認識対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する認識対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する認識対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１３８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

具体的には、視差画像の対応領域検出部１３８は、孤立領域検出部１３７から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちＸ軸方向座標がｘｍｉｎからｘｍａｘまでの範囲（検出幅）について、視差画像を所定のＹ軸方向範囲について走査し、当該孤立領域に設定されたＵマップ上での矩形領域の高さすなわちＵマップＹ軸方向座標（視差値）がｄｍｉｎからｄｍａｘまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲（視差画像のＹ軸方向範囲）は、例えば、視差画像上端から視差画像１／６だけ下の位置から、視差画像下方に向けて、最大視差ｄｍａｘから得られる路面までの範囲とすることができる。

このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像Ｘ軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

オブジェクト領域抽出部１３９は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、視差画像上のオブジェクト領域として決定する。

次に、オブジェクトタイプ分類部１４０について説明する。
前記オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の高さから、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の高さを計算できる。同様に、オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の幅から、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の幅を計算できる。また、当該オブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の奥行きは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから計算することができる。

オブジェクトタイプ分類部１４０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。具体的には、オブジェクトタイプの分類を行うためのテーブルデータと比較して、自車両前方に存在する認識対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

次に、３次元位置決定部１４１について説明する。
３次元位置決定部１４１では、検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定する。

次に、ガードレール検出部１４２について説明する。
路面の側方などに設置される側壁やガードレールは、一般に、路面から３０〜１００ｃｍの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するＵマップ内の領域を選定する。その後、この対象範囲について、Ｕマップの頻度に重み付けを行い、Ｈｏｕｇｈ変換して近似直線を検出し、この近似直線からガードレールを検出する。

次に、本実施形態１におけるエラー確認処理について説明する。
本実施形態１においては、画像解析ユニット１０２に入力される視差画像データのデータ通信経路上に通信不良（エラー）が生じていないかどうかを確認し、通信不良ならばエラー信号を出力するエラー確認処理を実行する。このエラー確認処理は、画像解析ユニット１０２内に設けられたエラー信号出力手段としての検査部１４３（図６参照）で実行される。エラー確認処理の実行タイミング（エラー確認タイミング）は、工場出荷前の段階でも、自車両１００に搭載された後の段階でもよく、後者の段階であれば、例えばエンジンをかけた直後やエンジンを切った直後などのタイミングが挙げられるが、適宜決められる。

図１は、本実施形態１におけるエラー確認処理の流れを示すフローチャートである。
本実施形態１におけるエラー確認処理は、まず、エラー確認処理の実行タイミングが到来したら、画像解析ユニット１０２のＣＰＵ１２３は、記憶手段１２２に記憶されているエラー確認用プログラムを実行する。これにより、ＣＰＵ１２３は、エラー確認制御手段として機能し、まず、撮像ユニット１０１における２つの撮像部１１０Ａ，１１０Ｂに対し、予め決められたエラー確認用データとしての固定画像データを出力させる制御命令を送信する。これを受けた２つの撮像部１１０Ａ，１１０Ｂは、予め決められている固定画像データを、データ出力手段としての信号処理部１１５Ａ，１１５Ｂから出力する（Ｓ１）。

２つの撮像部１１０Ａ，１１０Ｂから出力される固定画像データは、各撮像部１１０Ａ，１１０Ｂに設けられる記憶部に予め保存しておき、これを信号処理部１１５Ａ，１１５Ｂから出力するものでもよいが、これに限られない。例えば、各撮像部１１０Ａ，１１０Ｂ内の演算器で固定画像データを順次生成して信号処理部１１５Ａ，１１５Ｂから出力するものでもよい。

このようにして各撮像部１１０Ａ，１１０Ｂから出力される固定画像データは、通常の撮像画像データ（輝度画像データ）と同様に、撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０とを接続する各ケーブル１５０Ａ，１５０Ａを介して、処理ハードウェア部１２０へ送られる。処理ハードウェア部１２０では、通常の撮像画像データ（輝度画像データ）と同様に、この２つの固定画像データから視差画像データを生成する（Ｓ２）。

このようにして生成された視差画像データは、通常の視差画像データと同様に、画像解析ユニット１０２へ送られる。処理ハードウェア部１２０と画像解析ユニット１０２との間の接続にはケーブルを用いてもよい。ケーブルを用いた場合は、取り付けの自由度が向上したり、撮像ユニット１０１を小型化できるというメリットがある。

画像解析ユニット１０２では、受け取った視差画像データが正常であるか異常であるかを判定する正否判定処理を行う（Ｓ３）。この正否判定処理は、画像解析ユニット１０２内の記憶手段１２２に予め記憶されている確認用データとしての固定視差画像データを用いて行われる。具体的には、例えば、２つの撮像部１１０Ａ，１１０Ｂから出力される予め決められた固定画像データから算出される理論上の視差画像データを予め固定視差画像データとして記憶しておき、受け取った視差画像データと固定視差画像データとを比較して、一致すれば正常であり、一致しなければ異常であると判定する。なお、２つの撮像部１１０Ａ，１１０Ｂから出力される固定画像データは、予め把握されているため、これら固定画像データから得られるべき理論上の視差画像データは予め計算により特定できる。

この判定において、受け取った視差画像データが正常であれば、そのままエラー確認処理を終了する。一方、受け取った視差画像データが異常であれば、画像解析ユニット１０２のＣＰＵ１２３は、エラー信号を出力する（Ｓ４）。これにより、例えば、このエラー信号を受けた表示制御部が表示モニター１０３に、撮像ユニット１０１の通信不良を知らせる警告画像を表示したり、スピーカーから警告音を出したりして、ユーザーへの警告を行う。これにより、ユーザーは通信不良に気付くことができ、通信不良への対処を行うことができる。また、このエラー信号を撮像部１１０Ａ，１１０Ｂへ出力し、撮像部１１０Ａ，１１０Ｂの動作を停止させるのが好ましい。

なお、本実施形態１では、２つの撮像部から出力される固定画像データから生成された視差画像データに異常があるか否かの判定手段や、異常であると判定されたときにエラー信号を出力するエラー信号出力手段として機能する検査部１４３が、自車両１００に搭載されている画像解析ユニット１０２に備わっている。これにより、自車両１００に搭載された後の段階でもエラー確認処理の実行が可能である。ただし、工場出荷前の段階や車両メンテナンス時の段階等のように、専門技術者により通信不良の確認作業を行うような場合には、このような検査部１４３を、自車両１００に搭載させておく必要はない。このような場合、このような検査部１４３をもつ検査装置を本車載機器制御システムとは別個に用意しておき、専門技術者が通信不良の確認作業を行う際に当該検査装置を本車載機器制御システムに接続して用いる。このとき、当該検査装置で出力されるエラー信号に基づき、例えば当該検査装置の表示モニターに判定結果を表示させるようにしてもよい。

次に、本実施形態１のエラー確認処理における正否判定処理の具体例を説明する。
図８（ａ）及び（ｂ）は、２つの撮像部１１０Ａ，１１０Ｂからそれぞれ出力される固定画像データの一例をそれぞれ示す説明図である。
図８（ａ）は、基準画像を出力する第一撮像部１１０Ａから出力される固定画像データの例であり、以下「エラー確認用基準画像データ」という。また、図８（ｂ）は、比較画像を出力する第二撮像部１１０Ｂから出力される固定画像データの例であり、以下「エラー確認用比較画像データ」という。なお、ここでは、説明を簡単にするために、固定画像データが、横方向（ｘ方向）に８画素、縦方向（ｙ方向）に６画素である４８画素からなる画像データである例で説明する。

エラー確認用基準画像データは、ｘ≦４の範囲の画素値が０（図中黒色で示す部分）であり、ｘ≧５の範囲の画素値が１（図中白色で示す部分）であるエラー確認用基準画像を示す画像データである。一方、エラー確認用比較画像データは、ｘ≦５の範囲の画素値が０（図中黒色で示す部分）であり、ｘ≧６の範囲の画素値が１（図中白色で示す部分）であるエラー確認用比較画像を示す画像データである。つまり、本実施形態１におけるエラー確認用比較画像は、エラー確認用基準画像に対して１画素分だけ基線方向（ｘ方向）へズレた画像である。

これらのエラー確認用基準画像データ及びエラー確認用比較画像データが撮像部１１０Ａ，１１０Ｂから出力されると、処理ハードウェア部１２０の視差演算部１２１において視差画像データが生成される。このときの視差演算部１２１での処理内容について説明すると、まず、エラー確認用基準画像データ内のひとつの画素に注目し、その周辺画素を含む対象ブロックの画素値を調べる。ここでは、周辺画素として注目画素のｘ方向にひとつ隣の１画素を選ぶものとする。図８（ａ）中に四角の枠で示したのは、注目画素が（４，５）であり、周辺画素が（５，５）である場合の対象ブロックである。このとき、注目画素の画素値が０であり、周辺画素の画素値が１である。

つづいて、エラー確認用比較画像データにおける同じ行（同じｙ方向位置）において、同じサイズの候補ブロックを１画素ずつｘ方向へずらし、エラー確認用基準画像データ内の対象ブロックと最も相関がある画素値の特徴を示す候補ブロックをエラー確認用比較画像データ内から検索する。例えば、図８（ｂ）中に四角の枠で示したのは、候補画素が（４，５）であり、周辺画素が（５，５）である候補ブロックである。この候補ブロックは、候補画素の画素値が０であり、周辺画素の画素値も０であるため、エラー確認用基準画像データ内の対象ブロックとは画素値の特徴について相関が低い。

一方、候補画素をｘ方向に１画素分ずらして（５，５）とし、周辺画素を（６，５）とした場合の候補ブロックは、候補画素の画素値が０であり、周辺画素の画素値が１となる。この候補ブロックは、エラー確認用基準画像データ内の対象ブロックと同じ画素値の特徴を示しており、相関が高い。そして、この候補ブロックは、他の候補ブロックと比較して対象ブロックに対する相関が最も高いので、この候補ブロックに対応する候補画素が、対象ブロックの注目画素に対応する対応画素であると決まる。そして、注目画素のｘ方向位置（ｘ＝４）と対応画素のｘ方向位置（ｘ＝５）との差は１画素であるため、視差値は１と算出されることになる。

図９は、エラー確認用基準画像データ及びエラー確認用比較画像データから算出される理論上の視差画像データ（固定視差画像データ）を示す説明図である。
図９に示す固定視差画像データは、対応画素を決定できない画素（対象ブロックと相関の高い候補ブロックが見つからない注目画素）については、通常のマッチング処理と同様、視差値を０としている。

ここで、例えばケーブル１５０Ａ，１５０Ｂが断線するなどして、撮像部１１０Ａ，１１０Ｂからの撮像画像データ（輝度画像データ）が処理ハードウェア部１２０に適切に入力されなくなった状況を考える。通常、撮像部１１０Ａ，１１０Ｂから処理ハードウェア部１２０へ入力される撮像画像データの信号値が不定状態になるのを防ぐため、その入力信号線にはプルアップ処理又はプルダウン処理が施される。本実施形態１では、処理ハードウェア部１２０への撮像画像データの入力信号線にはプルダウン処理が施してある。この場合、例えば、比較画像を撮像する第二撮像部１１０Ｂと処理ハードウェア部１２０とを接続するケーブル１５０Ｂが断線している場合、比較画像データの全画素値が０となる。

このようにケーブル１５０Ｂが断線している状況において、エラー確認処理が実行されると、エラー確認用比較画像データも、図１０（ｂ）に示すように、全画素値が０となる。その結果、このエラー確認用比較画像データと図１０（ａ）に示す正常なエラー確認用基準画像データとから生成される視差画像データは、図１１に示すように、全視差値が０となる。このようにして得た視差画像データは、図９に示した固定視差画像データとは一致しないため、検査部１４３において異常であると判定され、エラー信号が出力されることになる。

なお、ここでは、比較画像を撮像する第二撮像部１１０Ｂのケーブル１５０Ｂが断線している状況を例に挙げて説明したが、基準画像を撮像する第一撮像部１１０Ａのケーブル１５０Ａが断線している状況でも、図１１に示すように全視差値が０となった視差画像データが生成される結果、検査部１４３において異常であると判定され、エラー信号が出力されることになる。
また、処理ハードウェア部１２０と画像解析ユニット１０２とをケーブルで接続する場合、そのケーブルが断線している状況でも、画像解析ユニット１０２に入力される視差画像データはプルダウン処理により図１１に示すように全視差値が０となる。よって、この場合も、検査部１４３において異常であると判定され、エラー信号が出力される。
また、これらのケーブル１５０Ａ，１５０Ｂに限らず、撮像部１１０Ａ，１１０Ｂから画像解析ユニット１０２までのデータ通信経路上における他のケーブルの断線、はんだ不良等の接続不良などが発生した状況でも、同様に適切な視差画像データが画像解析ユニット１０２に入力されず、検査部１４３において異常であると判定され、エラー信号が出力されることになる。

〔変形例１〕
次に、本実施形態１におけるエラー確認処理の一変形例（以下、本変形例を「変形例１」という。）について説明する。
上述した実施形態１におけるエラー確認処理では、通信不良が発生していることを検出できるが、その通信不良が撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間で発生しているのか、それとも、処理ハードウェア部１２０と画像解析ユニット１０２との間で発生しているのかを特定することはできない。

そこで、本変形例１においては、画素値の境目となるｘ方向位置（基線方向位置）が異なる２組以上の複数種類のエラー確認用基準画像データとエラー確認用比較画像データとの組み合わせを用いて、エラー確認処理を行う。ここでは、図８（ａ）及び（ｂ）に示したエラー確認用基準画像データとエラー確認用比較画像データとの組み合わせと、図１２（ａ）及び（ｂ）に示すエラー確認用基準画像データとエラー確認用比較画像データとの組み合わせとを用いる。これらの組み合わせは、図８（ａ）及び図１２（ａ）に示すエラー確認用基準画像データはいずれも同じものであるが、図８（ｂ）及び図１２（ｂ）に示すエラー確認用比較画像データが互いに異なるものである。詳しくは、図１２（ｂ）に示す比較画像は、図８（ｂ）の比較画像よりも更に１画素分だけ基準画像よりもｘ方向にズレたものである。

図１２（ｂ）に示すエラー確認用比較画像は、エラー確認用基準画像に対して２画素分だけ基線方向（ｘ方向）へズレた画像である。したがって、これにより生成される視差画像データは、理論上は、図１３に示すようなものとなる。よって、図１２（ａ）及び（ｂ）に示すエラー確認用基準画像データとエラー確認用比較画像データとの組み合わせを用いて行う正否判定処理では、図１３に示す固定視差画像データを用いる。

ここで、撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間には通信不良が生じていないが、処理ハードウェア部１２０と画像解析ユニット１０２との間で通信不良が発生している状況を考える。視差画像データの画素値は４ｂｉｔであり、処理ハードウェア部１２０と画像解析ユニット１０２との間をケーブルで接続する場合、そのケーブルは、４ｂｉｔのパラレル信号を通信するパラレル信号ケーブルである。つまり、処理ハードウェア部１２０と画像解析ユニット１０２との間で視差画像データを通信する信号線は４本である。そして、ここでは、４本の信号線のうちの最下位ｂｉｔの信号線に通信不良が発生したとする。なお、４本の信号線はいずれもプルダウン処理を施してある。

本変形例１では、まず、２つの撮像部１１０Ａ，１１０Ｂから図８（ａ）及び（ｂ）に示したエラー確認用基準画像データ及びエラー確認用比較画像データを出力させる。このとき、処理ハードウェア部１２０で生成される視差画像データは、図９に示した固定視差画像データと一致したものとなる。ただし、処理ハードウェア部１２０と画像解析ユニット１０２との間で視差画像データを通信するケーブルの最下位ｂｉｔの信号線が破断している状況であるため、画像解析ユニット１０２に受け取られる視差画像データは、図１１に示すようになる。これは、最下位ｂｉｔの信号線が破断している結果、視差値＝１が画像解析ユニット１０２に適切に伝送されず、視差値が１である画素についてもプルダウン処理により０として受信されることになるためである。

続いて、本変形例１では、２つの撮像部１１０Ａ，１１０Ｂから図１２（ａ）及び（ｂ）に示すエラー確認用基準画像データ及びエラー確認用比較画像データを出力させる。このとき、処理ハードウェア部１２０で生成される視差画像データは、図１３に示した固定視差画像データと一致したものとなる。このときの視差画像データは、算出される視差値が２であるため、その視差値を示す４ｂｉｔ信号の２桁目のｂｉｔ位置の値が１であり、最下位ｂｉｔの値は０である。そのため、処理ハードウェア部１２０と画像解析ユニット１０２との間で視差画像データを通信するケーブルの最下位ｂｉｔの信号線が破断している状況であっても、２桁目のｂｉｔ位置の信号線が正常な通信が可能な状況であるため、画像解析ユニット１０２に受け取られる視差画像データは、図１３に示す固定視差画像データと一致したものとなる。

一方で、仮に、撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間に通信不良が発生しているが、処理ハードウェア部１２０と画像解析ユニット１０２との間では通信不良が発生していない場合には、２つの撮像部１１０Ａ，１１０Ｂから処理ハードウェア部１２０が受け取るエラー確認用基準画像データ及びエラー確認用比較画像データが異常である。そのため、いずれの組み合わせに係るエラー確認用基準画像データ及びエラー確認用比較画像データでも、処理ハードウェア部１２０で生成される視差画像データは固定視差画像データとは一致しない。したがって、いずれの組み合わせについても、画像解析ユニット１０２での正否判定処理では、固定視差画像データと一致せず、異常であると判定されることになる。

以上より、本変形例１によれば、これら２組のエラー確認用基準画像データ及びエラー確認用比較画像データの組み合わせについてそれぞれ行った２つの正否判定処理の結果から、通信不良が発生している箇所を絞り込むことができる。すなわち、１組目の正否判定処理の結果が異常であり、２組目の正否判定処理の結果が正常である場合には、撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間には通信不良が発生しておらず、処理ハードウェア部１２０と画像解析ユニット１０２との間で通信不良が発生していると特定でき、いずれの組の正否判定処理の結果も異常である場合には、撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間に通信不良が発生していると特定できる。

更に、処理ハードウェア部１２０と画像解析ユニット１０２との間の通信不良が、最下位ｂｉｔの信号線ではなく、２桁目のｂｉｔ位置の信号線で発生している場合には、１組目の正否判定処理の結果が正常であり、２組目の正否判定処理の結果が異常となる。この場合も、２組のエラー確認用基準画像データ及びエラー確認用比較画像データの組み合わせについてそれぞれ行った２つの正否判定処理の結果から、通信不良が発生している箇所を絞り込むことができる。しかも、最下位ｂｉｔの信号線で通信不良が発生している場合と比較して、２組の正否判定処理の結果が異なる内容となることから、通信不良が発生している信号線が最下位ｂｉｔであるか２桁目のｂｉｔ位置であるかを特定することも可能である。

同様に、視差値を示す３桁目や４桁目のビット位置が１となるエラー確認用基準画像データ及びエラー確認用比較画像データの組み合わせを追加すれば、３桁目や４桁目のビット位置の信号線で通信不良が発生しているか否かも判定することが可能である。
すなわち、本変形例１によれば、処理ハードウェア部１２０と画像解析ユニット１０２との間の通信不良について、どの信号線で通信不良が発生しているのかを特定することが可能である。

〔変形例２〕
次に、本実施形態１におけるエラー確認処理の他の変形例（以下、本変形例を「変形例２」という。）について説明する。
上述した実施形態１や変形例１におけるエラー確認処理では、撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間で発生している通信不良について、どの信号線で通信不良が発生しているかを特定することはできない。本変形例２は、これを特定するためのものである。

図１４（ａ）は、本変形例２で用いるエラー確認用基準画像データの一例であり、図１４（ｂ）は、本変形例２で用いるエラー確認用比較画像データの一例である。
本変形例２においては、エラー確認用基準画像データ及びエラー確認用比較画像データは、４ｂｉｔの画像データであり、その画素値は０〜１５の１６種類の値を取り得る。本変形例２におけるエラー確認用基準画像データは、図１４（ａ）及び（ｂ）に示すように、ｙ方向に区分けした複数の区画ライン（ｙ＝１〜６）が設定され、各区画ラインでは、ｘ≦４の範囲とｘ≧５の範囲とで画素値が異なるように設定された画像データである。しかも、本変形例２では、複数の区画ラインの中に、当該区画ラインに含まれる２つの画素値の組み合わせが他の区画ラインとは異なっているものが含まれるように設定されている。より詳しくは、当該区画ラインに含まれる２つの画素値の組み合わせが、画素値を示す４ｂｉｔデータの同じビット位置における値が互いに異なる組み合わせであって、当該ビット位置が他の区画ラインとは異なるような区画ラインが含まれるように設定されている。特に、本変形例２においては、画素値を示す４ｂｉｔデータの全ビット位置について、当該ビット位置における値が互いに異なる２つの画素値が組み合わされた区画ラインが存在するように設定されている。

また、本変形例２におけるエラー確認用比較画像データは、エラー確認用基準画像データに対して１画素分だけ基線方向（ｘ方向）へズレた画像であるため、これらのエラー確認用基準画像及びエラー確認用比較画像データから生成される固定視差画像データは、図９に示したものとなる。

本変形例２において、各撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間を接続するケーブル１５０Ａ，１５０Ｂは、４ｂｉｔのパラレル信号を通信するパラレル信号ケーブルである。つまり、各撮像部１１０Ａ，１１０Ｂと処理ハードウェア部１２０との間で撮像画像データを通信する信号線は４本である。

ここで、比較画像を撮像する第二撮像部１１０Ｂのケーブル１５０Ｂにおける４本の信号線のうちの最下位ｂｉｔの信号線に通信不良が発生した状況を考える。この状況下では、画素値が１である画素については、第二撮像部１１０Ｂから処理ハードウェア部１２０へ適切な画素値を伝送できない。そして、本変形例２では、ケーブル１５０Ａ，１５０Ｂにおける４本の信号線にはプルダウン処理が施されていることから、処理ハードウェア部１２０に入力されるエラー確認用比較画像データは、図１５（ｂ）に示すように、本来の画素値が１である画素の画素値が０となる。すなわち、エラー確認用比較画像データにおいて、本来の画素値が１であるｘ≦５の範囲のｙ＝２に位置する画素及びｘ≧６の範囲のｙ＝３に位置する画素はすべて画素値が０となる。

この場合、マッチング処理において、図１５（ａ）に示すエラー確認用基準画像データにおける注目画素が（４，２）で周辺画素が（５，２）である対象ブロックについては、本来であれば、図１５（ｂ）に示すエラー確認用比較画像データ中の候補画素（５，２）及び周辺画素（６，２）からなる候補ブロックがマッチングされるはずであるが、当該候補画素（５，２）の画素値が１ではなく０となってしまっているので、当該候補ブロックの画素値の特徴が対象ブロックとは一致せず、マッチングされない。したがって、当該注目画素（４，２）の視差値は０となる。

同様に、図１５（ａ）に示すエラー確認用基準画像データにおける注目画素が（４，３）で周辺画素が（５，３）である対象ブロックについては、本来であれば、図１５（ｂ）に示すエラー確認用比較画像データ中の候補画素（５，３）及び周辺画素（６，３）からなる候補ブロックがマッチングされるはずであるが、当該周辺画素（６，３）の画素値が１ではなく０となってしまっているので、当該候補ブロックの画素値の特徴が対象ブロックとは一致せず、マッチングされない。したがって、当該注目画素（４，３）の視差値も０となる。

以上の結果、得られる視差画像データは、図１６に示すようになる。すなわち、本来であれば視差値が１となるはずの（４，２）と（４，３）の画素の視差値が０となった視差画像データが得られる。その結果、正否判定処理において、この視差画像データと図９に示す固定視差画像データと比較することで、（４，２）と（４，３）の画素について異常があることを検出することができる。

上述したとおり、本変形例２におけるエラー確認用基準画像データは、各区画ライン（ｙ＝１〜６）に含まれる２つの画素値の組み合わせが、画素値を示す４ｂｉｔデータの同じビット位置における値が互いに異なる組み合わせであって、当該ビット位置が他の区画ラインとは異なるような区画ラインが含まれるように設定されている。すなわち、最下位ｂｉｔであれば、ｙ＝２とｙ＝３の区画ラインは、最下位ｂｉｔの値が互いに異なる２つの画素値の組み合わせであり、残りの区画ライン（ｙ＝１，４〜６）は最下位ｂｉｔの値が同じである２つの画素値の組み合わせである。したがって、ｙ＝２とｙ＝３の区画ラインについての視差値に異常がある場合には、最下位ｂｉｔの信号線に通信不良が発生していることを特定できる。

同様に、２桁目のビット位置であれば、ｙ＝３とｙ＝４の区画ラインは、２桁目のビット位置の値が互いに異なる２つの画素値の組み合わせであり、残りの区画ライン（ｙ＝１，２，５，６）は２桁目のビット位置の値が同じである２つの画素値の組み合わせである。したがって、ｙ＝３とｙ＝４の区画ラインについての視差値に異常がある場合には、２桁目のビット位置の信号線に通信不良が発生していることを特定できる。

同様に、３桁目のビット位置であれば、ｙ＝４とｙ＝５の区画ラインは、３桁目のビット位置の値が互いに異なる２つの画素値の組み合わせであり、残りの区画ライン（ｙ＝１〜３，６）は３桁目のビット位置の値が同じである２つの画素値の組み合わせである。したがって、ｙ＝４とｙ＝５の区画ラインについての視差値に異常がある場合には、３桁目のビット位置の信号線に通信不良が発生していることを特定できる。

同様に、４桁目のビット位置であれば、ｙ＝１とｙ＝５とｙ＝６の区画ラインは、４桁目のビット位置の値が互いに異なる２つの画素値の組み合わせであり、残りの区画ライン（ｙ＝２〜４）は４桁目のビット位置の値が同じである２つの画素値の組み合わせである。したがって、ｙ＝１とｙ＝５とｙ＝６の区画ラインについての視差値に異常がある場合には、４桁目のビット位置の信号線に通信不良が発生していることを特定できる。

なお、上述した実施形態１（各変形例を含む。）における各種処理は、ハードウェア処理で実現してもよいし、ソフトウェア処理で実現してもよい。
また、上述した実施形態１（各変形例を含む。）は、第二撮像部１１０Ｂから出力されるエラー確認用比較画像データが、予めエラー確認用基準画像に対して所定画素分だけ基線方向（ｘ方向）へズレた画像である例であるが、これに限られない。例えば、２つの撮像部１１０Ａ，１１０Ｂから同じ固定画像データを出力させ、これを受信した処理ハードウェア部１２０の歪み補正処理部１２５にて、撮像部１１０Ｂからの固定画像データを所定画素分だけ基線方向（ｘ方向）へずらす画像処理を行ってエラー確認用比較画像を生成するようにしてもよい。

〔実施形態２〕
次に、本発明に係る撮像装置を、上述した実施形態１と同様に車載機器制御システムの物体認識装置に用いた他の実施形態（以下、本実施形態を「実施形態２」という。）について説明する。
なお、上述した実施形態１のエラー確認処理は、通信不良が生じていないかどうかを確認するものであったが、本実施形態２のエラー確認処理は、２つの撮像部１１０Ａ，１１０Ｂにおける撮像タイミングのズレが生じていないかどうかを確認するものである。そのほかの構成や動作については、上述した実施形態１と同様であるため、以下、実施形態１とは異なる点を中心に説明する。

本実施形態２のように、２つの撮像部１１０Ａ，１１０Ｂで構成されるステレオカメラが自車両１００に搭載される場合、ステレオカメラが他車両や歩行者などの認識対象物と相対移動する。そのため、各撮像部１１０Ａ，１１０Ｂの撮像タイミングにズレがあると、そのズレ分だけ視差演算部１２１により算出される視差値に誤差が生じる。よって、各撮像部１１０Ａ，１１０Ｂの撮像タイミングのズレが少ないことが要求される。

図１７（ａ）及び（ｂ）は、２つの撮像部１１０Ａ，１１０Ｂ間で撮像タイミングのズレが発生しているときの各撮像部で撮像された画像の一例をそれぞれ示す説明図である。
この例では、図１７（ａ）に示す第一撮像部１１０Ａによる基準画像の撮像タイミングに対し、図１７（ｂ）に示す第二撮像部１１０Ｂによる比較画像の撮像タイミングが遅れている。そのため、自車両１００の前方における対向車両等の識別対象物は、図１７（ａ）に示す基準画像よりも図１７（ｂ）に示す比較画像の方が近くに映し出されている。このような場合、基準画像と比較画像との間における同一の識別対象物の画像部分の位置の違いは、２つの撮像部１１０Ａ，１１０Ｂの設置位置の違い（基線方向位置の違い）だけでなく、撮像タイミングの違いも影響している。したがって、当該識別対象物の画像部分の位置の違いに基づいて算出される視差値は、当該識別対象物までの距離を適切に反映したものとはならず、撮像タイミングの違いによる誤差を含むものとなる。

そこで、本実施形態２においては、２つの撮像部１１０Ａ，１１０Ｂ間で撮像タイミングのズレが発生しているかどうかを確認し、ズレが発生していればエラー信号を出力するエラー確認処理を実行する。このエラー確認処理は、処理ハードウェア部１２０内に設けられるエラー信号出力手段としての検査部１２６で実行される。エラー確認処理の実行タイミング（エラー確認タイミング）は、上述した実施形態１と同様、工場出荷前の段階でも、自車両１００に搭載された後の段階でもよく、後者の段階であれば、例えばエンジンをかけた直後やエンジンを切った直後などのタイミングが挙げられ、適宜決められる。

ここで、本実施形態２における撮像ユニット１０１の構成及び動作は、上述した実施形態１と同様であるが、本実施形態２のエラー確認処理に関連して、より詳しく説明する。
図１８は、本実施形態２における撮像ユニット１０１の構成を示す説明図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂは、一般的なデジタルカメラと同様、それぞれの水平同期信号と垂直同期信号のタイミングに合わせて、画像センサ１１３Ａ，１１３Ｂ上の各受光素子の受光量を示すデジタル電気信号（画素値）を各信号処理部１１５Ａ，１１５Ｂから所定の順番で順次出力する。

図１９（ａ）は、水平同期信号と垂直同期信号と画像データの出力タイミングとを示すタイミングチャートである。
図１９（ｂ）は、水平同期信号と垂直同期信号と出力される画像データの画像上の位置との関係を示す概念図である。
図２０は、各撮像部１１０Ａ，１１０Ｂの信号処理部１１５Ａ，１１５Ｂから出力される画像データの画素値の出力順序を示す説明図である。

なお、図２０では、説明を簡単にするために、画像の１画面分の有効な画像データが、水平方向（ｘ方向）に８画素で、垂直方向（ｙ方向）に６画素である合計４８画素で構成されている例としている。また、ブランク期間の画像データについては、図示していない。図２０において、各画素位置に記入されている数字が当該画像データの画素値の出力順序を示している。本実施形態２では、画像センサ１１３Ａ，１１３Ｂの左上の画素から右下に向かって順次出力する。具体的には、左上の画素から水平方向へ進み、右端の画素に達したら、垂直方向へ一行だけ下へ移動し、再び左端の画素から右端の画素に向けて水平方向へ進むことを繰り返して、右下の画素まで順次出力する。

処理ハードウェア部１２０において、視差画像データを生成する視差画像生成処理を行うハードウェア画像処理部（輝度補正処理部１２４、歪み補正処理部１２５、視差演算部１２１）では、各撮像部１１０Ａ，１１０Ｂの信号処理部１１５Ａ，１１５Ｂから出力される画像データについて、図２０に示すような順番で画像データ信号ライン上を順次流れてくる各画素値を受け取る。このとき、このように流れてくる各画素値がそれぞれどの画素位置の画素値であるかを特定するために、ハードウェア画像処理部１２１，１２４，１２５は、各撮像部１１０Ａ，１１０Ｂの信号処理部１１５Ａ，１１５Ｂからそれぞれ出力される水平同期信号及び垂直同期信号を受信する。各撮像部１１０Ａ，１１０Ｂの信号処理部１１５Ａ，１１５Ｂからそれぞれ出力される各画素値は、それぞれの水平同期信号及び垂直同期信号に同期して出力されるものであり、また、出力順序は予め決まっているので、ハードウェア画像処理部１２１，１２４，１２５は、水平同期信号及び垂直同期信号から、各画素値の画素位置を特定することができる。

すなわち、図１９（ｂ）に示すように、画像データ信号ライン上を順次流れてくる各画素値について、水平同期信号は、どこからどこまでの画素値が横１ライン分の画素値であるのかを特定するための同期信号であり、垂直同期信号は、どこからどこまでの画素値が１画面分の画素値であるのかを特定するための同期信号である。なお、撮像部１１０Ａ，１１０Ｂの信号処理部１１５Ａ，１１５Ｂから出力される画像データには、撮像領域を撮像して得られる有効な画像データのほかに、撮像部１１０Ａ，１１０Ｂの動作上必要ではあるが撮像領域の画像データとしての意味を持たないデータも含まれる。以下、有効な画像データが出力される期間を有効画像期間とし、それ以外の期間をブランク期間とする。

本実施形態２では、図１９（ａ）に示すように、水平同期信号及び垂直同期信号のいずれもがＨレベルである期間が有効画像期間となる方式を採用しているが、図１９（ａ）の例とは正負の論理が反対の方式や、パルス信号で横１ラインの先頭あるいは１画面の先頭を示す方式などであってもよい。

次に、本実施形態２におけるエラー確認処理について説明する。
図２１は、本実施形態２におけるエラー確認処理の流れを示すフローチャートである。
本実施形態２において、まず、エラー確認処理の実行タイミングが到来したら、上述した実施形態１と同様、画像解析ユニット１０２のＣＰＵ１２３は、記憶手段１２２に記憶されているエラー確認用プログラムを実行する。これにより、ＣＰＵ１２３は、エラー確認制御手段として機能し、まず、撮像ユニット１０１における２つの撮像部１１０Ａ，１１０Ｂに対し、予め決められたエラー確認用データとしての固定画像データを出力させる制御命令を送信する。これを受けた２つの撮像部１１０Ａ，１１０Ｂは、予め決められている固定画像データを、それぞれの水平同期信号及び垂直同期信号に同期して、データ出力手段としての信号処理部１１５Ａ，１１５Ｂから出力する（Ｓ１１）。

このとき、水平同期信号及び垂直同期信号のタイミングが２つの撮像部１１０Ａ，１１０Ｂの間でズレていると、２つの撮像部１１０Ａ，１１０Ｂの間における撮像タイミングにもズレが発生する。これは、各撮像部１１０Ａ，１１０Ｂの露光タイミングがそれぞれの水平同期信号及び垂直同期信号のタイミングに同期しているためである。そして、各撮像部１１０Ａ，１１０Ｂの露光タイミングがズレると、各撮像部１１０Ａ，１１０Ｂの画像センサ１１３Ａ，１１３Ｂ上の各受光素子が取り込む受光時期がズレる結果、撮像タイミングのズレが発生する。

本実施形態２では、このような撮像タイミングのズレを確認するため、２つの撮像部１１０Ａ，１１０Ｂからそれぞれの水平同期信号及び垂直同期信号に同期して出力される固定画像データを、処理ハードウェア部１２０内に設けられる検査部１２６で受信する。そして、検査部１２６において、各撮像部１１０Ａ，１１０Ｂから出力される２つの固定画像データを比較して、撮像タイミングのズレが生じているか否かを判断する。具体的には、予め決められた複数の画素値が分布した固定画像データを用い、各撮像部１１０Ａ，１１０Ｂから出力される２つの固定画像データ間における検査部１２６が同時期に受信する画素値間の差分値から、撮像タイミングのズレが生じているか否かを判断する。

図２２は、本実施形態２における固定画像データの一例を示す説明図である。
この例は、各横ラインの画素値が、水平方向（ｘ方向）に１画素ズレるたびに１０ずつ増えるような画素値分布をもった固定画像データである。具体的には、ｘ＝１に位置する各横ラインの画素値は１０であり、ｘ＝２に位置する各横ラインの画素値は２０であり、ｘ＝３に位置する各横ラインの画素値は３０であり、最終的に、ｘ＝８に位置する各横ラインの画素値は８０である。すなわち、本実施形態２で用いる固定画像データは、その画像上において横方向に画像濃度偏差をもったものとなる。

図２３は、撮像タイミングにズレが発生していない場合において、各撮像部１１０Ａ，１１０Ｂから出力される２つの固定画像データを検査部１２６が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。なお、図２３は、固定画像データにおけるおよそ横１ライン分のみを示してある。
撮像タイミングにズレが発生していない場合、図２３に示すように、２つの撮像部１１０Ａ，１１０Ｂ間で水平同期信号（垂直同期信号も）にズレがない。各撮像部１１０Ａ，１１０Ｂから出力される２つの固定画像データは同じ画素値分布を有するものであるため、検査部１２６が同時期に受信する両固定画像データ間の画素値の差分値は、図２３に示すように、いずれもゼロとなる。

これに対し、第一撮像部１１０Ａよりも第二撮像部１１０Ｂの撮像タイミングが１画素分の出力時間だけ遅れている場合、図２４に示すように、２つの撮像部１１０Ａ，１１０Ｂ間で水平同期信号（垂直同期信号も）に１画素分の出力時間に相当するズレが発生する。この場合、検査部１２６が同時期に受信する両固定画像データ間の画素値は１画素だけズレたものとなり、その差分値は、図２４に示すように、いずれも１０となる。なお、第一撮像部１１０Ａよりも第二撮像部１１０Ｂの撮像タイミングが１画素分の出力時間だけ早い場合、その差分値は、−１０となる。

ここで、ブランク期間は、固定画像データとは無関係の画素値が出力されるので、いずれの固定画像データがブランク期間であるときの差分値は算出しないものとする。具体的には、検査部１２６は、例えば、各撮像部１１０Ａ，１１０Ｂから出力される水平同期信号を受信し、各撮像部１１０Ａ，１１０Ｂの水平同期信号がいずれもＨレベルである期間だけ差分値を算出する動作を実行するようにする。

また、第一撮像部１１０Ａよりも第二撮像部１１０Ｂの撮像タイミングが２画素分の出力時間だけ遅れている場合、図２５に示すように、２つの撮像部１１０Ａ，１１０Ｂ間で水平同期信号（垂直同期信号も）に、２画素分の出力時間に相当するズレが発生する。この場合、検査部１２６が同時期に受信する両固定画像データ間の画素値は２画素だけズレたものとなり、その差分値は、図２５に示すように、いずれも２０となる。
同様に、第一撮像部１１０Ａよりも第二撮像部１１０Ｂの撮像タイミングが３画素分の出力時間だけ遅れている場合、図２６に示すように、２つの撮像部１１０Ａ，１１０Ｂ間で水平同期信号（垂直同期信号も）に、３画素分の出力時間に相当するズレが発生する。この場合、検査部１２６が同時期に受信する両固定画像データ間の画素値は３画素だけズレたものとなり、その差分値は、図２６に示すように、いずれも３０となる。

このように、検査部１２６が同時期に受信する各撮像部１１０Ａ，１１０Ｂからの固定画像データ間における画素値の差分値から、撮像タイミングが発生しているか否かを確認することができる。しかも、本実施形態２においては、固定画像データが図２２に示したような画素値分布を有することで、どの程度の撮像タイミングのズレが発生しているかを、１画素分の出力期間に相当する時間単位（分解能）で、その差分値から把握することができる。すなわち、差分値が１０であれば、１画素分の出力時間に相当する時間だけ撮像タイミングのズレが発生しており、差分値が２０であれば２画素分の出力時間に相当する時間だけ撮像タイミングのズレが発生しているというように、撮像タイミングのズレ量を把握することができる。また、差分値の正負から、どちらの撮像部の撮像タイミングが遅れているかも把握することができる。

ただし、図２６に示すように撮像タイミングのズレ量が大きくなると、異なる水平同期信号間の画素値の差分値（図２６では「−７０」）が算出されることがある。このような差分値は、異常値として処理したり、撮像タイミングのズレ量の測定可能範囲を超えたと判断する基準としたりするなど、例外処理に利用してもよい。すなわち、例えば、この正の値と負の値が混在することを検出した場合に、例外処理に移行しても良い。

本実施形態２において、検査部１２６は、各撮像部１１０Ａ，１１０Ｂから２つの固定画像データが出力されるとき、これらの固定画像データ間における同時期に受信する画素値の差分値を算出し（Ｓ１２）、その算出結果を画像解析ユニット１０２へ出力する。そして、画像解析ユニット１０２は、この差分値がゼロであれば（Ｓ１３のＹｅｓ）、そのままエラー確認処理を終了する。一方、この差分値がゼロでなければ（Ｓ１３のＮｏ）、画像解析ユニット１０２のＣＰＵ１２３は、エラー信号を出力する（Ｓ１４）。これにより、例えば、このエラー信号を受けた表示制御部が表示モニター１０３に、撮像ユニット１０１の撮像タイミングズレを知らせる警告画像を表示したり、スピーカーから警告音を出したりして、ユーザーへの警告を行う。これにより、ユーザーは撮像タイミングズレに気付くことができ、撮像タイミングズレへの対処を行うことができる。

なお、処理ステップＳ１３における判断としては、差分値がゼロであることは必須ではなく、例えば、記憶手段に記憶された閾値を超えるか否かを判断しても良い。このとき、閾値については、撮影する時間間隔や撮影対象、設置場所といった条件ごとに適宜決定することができる。

また、このエラー信号を撮像部１１０Ａ，１１０Ｂへ出力し、撮像部１１０Ａ，１１０Ｂの動作を停止させるのが好ましい。
また、撮像部１１０Ａ，１１０Ｂが撮像タイミングのズレを補正する補正手段を備えている場合には、画像解析ユニット１０２は、検査部１２６からの差分値によって特定できる撮像タイミングのズレ量をエラー信号として撮像部１１０Ａ，１１０Ｂの補正手段へ出力するようにしてもよい。これにより、このエラー信号による撮像タイミングのズレ量を補正値として、補正手段が撮像部１１０Ａ，１１０Ｂの水平同期信号及び垂直同期信号のタイミングを補正することにより、撮像タイミングのズレを是正することができる。

なお、本実施形態２において、各撮像部１１０Ａ，１１０Ｂから出力する固定画像データは、図２２に示したものに限られず、撮像タイミングのズレが発生したときの差分値が、撮像タイミングのズレが発生していないときの差分値とは異なる値をとるような画素値分布をもった画像データであれば、どのようなものであってもよい。
また、本実施形態２では、各撮像部１１０Ａ，１１０Ｂから出力する固定画像データが同じ画素値分布をもった例であったが、異なる画素値分布をもつ固定画像データを用いてもよい。

また、各撮像部１１０Ａ，１１０Ｂから出力する固定画像データは、複数の画素値が分布したものでなく、単一の画素値で構成されるものであっても、撮像タイミングのズレが発生しているか否か、撮像タイミングのズレ量がどの程度かを把握することは可能である。例えば、本実施形態２のように、各撮像部１１０Ａ，１１０Ｂの水平同期信号がいずれもＨレベルである期間だけ差分値を算出する場合には、算出される差分値の個数から撮像タイミングのズレ量を把握することが可能である。

〔変形例３〕
次に、本実施形態２におけるエラー確認処理の一変形例（以下、本変形例を「変形例３」という。）について説明する。
上述した実施形態２におけるエラー確認処理は、１画素分の出力時間に相当する単位で撮像タイミングのズレ量を確認できる高分解能なエラー確認処理であったが、撮像タイミングのズレ量が１ライン分の出力時間に相当する時間を超える場合には、撮像タイミングのズレ量を正確に把握できず、撮像タイミングのズレが発生しているかどうかも正確に把握できなくなる。
本変形例３は、１ライン分の出力時間に相当する時間単位で撮像タイミングのズレを確認できる低分解能なエラー確認処理であるが、撮像タイミングのズレ量の確認可能範囲が広いエラー確認処理の例について説明する。

図２７は、本変形例３における固定画像データの一例を示す説明図である。
この例は、各横ラインの画素値は、それぞれの横ライン内では同じ画素値をとるが、垂直方向（ｙ方向）に１ラインズレるたびに各横ラインの画素値が１０ずつ増えるような画素値分布をもった固定画像データである。具体的には、ｙ＝１に位置する横ラインの画素値は１０であり、ｙ＝２に位置する横ラインの画素値は２０であり、ｙ＝３に位置する横ラインの画素値は３０であり、最終的に、ｙ＝６に位置する横ラインの画素値は６０である。すなわち、本変形例３で用いる固定画像データは、その画像上において縦方向に画像濃度偏差をもったものとなる。

図２８は、撮像タイミングにズレが発生していない場合において、各撮像部１１０Ａ，１１０Ｂから出力される２つの固定画像データを検査部１２６が受信するタイミングと、当該２つの固定画像データ間における画素値の差分値を示す説明図である。なお、図２８は、固定画像データにおけるおよそ１画面分を示してある。
撮像タイミングにズレが発生していない場合、図２８に示すように、２つの撮像部１１０Ａ，１１０Ｂ間で垂直同期信号（水平同期信号も）にズレがない。各撮像部１１０Ａ，１１０Ｂから出力される２つの固定画像データは同じ画素値分布を有するものであるため、検査部１２６が同時期に受信する両固定画像データ間の画素値の差分値は、図２８に示すように、いずれもゼロとなる。

これに対し、第一撮像部１１０Ａよりも第二撮像部１１０Ｂの撮像タイミングが１ライン分の出力時間だけ遅れている場合、図２９に示すように、２つの撮像部１１０Ａ，１１０Ｂ間で垂直同期信号（水平同期信号も）に１ライン分の出力時間に相当するズレが発生する。この場合、検査部１２６が同時期に受信する両固定画像データ間の画素値は１ラインだけズレたものとなり、その差分値は、図２９に示すように、いずれも１０となる。なお、第一撮像部１１０Ａよりも第二撮像部１１０Ｂの撮像タイミングが１ライン分の出力時間だけ早い場合、その差分値は、−１０となる。

本変形例３においても、ブランク期間は、固定画像データとは無関係の画素値が出力されるので、いずれの固定画像データがブランク期間であるときの差分値は算出しないものとする。具体的には、検査部１２６は、例えば、各撮像部１１０Ａ，１１０Ｂから出力される水平同期信号及び垂直同期信号を受信し、各撮像部１１０Ａ，１１０Ｂの水平同期信号及び垂直同期信号がすべてＨレベルである期間だけ差分値を算出する動作を実行するようにする。

このように、本変形例３においても、検査部１２６が同時期に受信する各撮像部１１０Ａ，１１０Ｂからの固定画像データ間における画素値の差分値から、撮像タイミングが発生しているか否かを確認することができる。しかも、本変形例３においては、固定画像データが図２７に示したような画素値分布を有することで、どの程度の撮像タイミングのズレが発生しているかを、１ライン分の出力期間に相当する時間単位（分解能）で、その差分値から把握することができる。すなわち、差分値が１０であれば、１ライン分の出力時間に相当する時間だけ撮像タイミングのズレが発生しており、差分値が２０であれば２ライン分の出力時間に相当する時間だけ撮像タイミングのズレが発生しているというように、撮像タイミングのズレ量を把握することができる。また、差分値の正負から、どちらの撮像部の撮像タイミングが遅れているかも把握することができる。

ただし、本変形例３においても、撮像タイミングのズレ量が大きくなると、異なる垂直同期信号間の画素値の差分値が算出されることがあるが、このような差分値は、異常値として処理したり、撮像タイミングのズレ量の測定可能範囲を超えたと判断する基準としたりするなど、例外処理に利用してもよい。

なお、本変形例３において、各撮像部１１０Ａ，１１０Ｂから出力する固定画像データは、図２７に示したものに限られず、撮像タイミングのズレが発生したときの差分値が、撮像タイミングのズレが発生していないときの差分値とは異なる値をとるような画素値分布をもった画像データであれば、どのようなものであってもよい。
また、本変形例３では、各撮像部１１０Ａ，１１０Ｂから出力する固定画像データが同じ画素値分布をもった例であったが、異なる画素値分布をもつ固定画像データを用いてもよい。
また、本変形例３でも、各撮像部１１０Ａ，１１０Ｂから出力する固定画像データは、複数の画素値が分布したものでなく、単一の画素値で構成されるものであっても、撮像タイミングのズレが発生しているか否か、撮像タイミングのズレ量がどの程度かを把握することは可能である。

このように、本変形例３によれば、上述した実施形態２に対し、撮像タイミングのズレ量の検出分解能が低いが、撮像タイミングのズレ量の検出範囲が広いエラー確認処理を実施できる。本変形例３のように低分解能で検出範囲が広いエラー確認処理を実施するか、上述した実施形態２のように高分解能で検出範囲が狭いエラー確認処理を実施するかは、適宜使い分けると良い。
または、本変形例３のエラー確認処理と上述した実施形態２のエラー確認処理の両方を実施するようにしてもよい。具体的には、例えば、上述した実施形態２のエラー確認処理を実施した後に本変形例３のエラー確認処理を実施する。また、固定画像データとして、画像上の横方向にも縦方向にも画像濃度偏差をもるような画素値分布をもったものを利用すれば、その固定画像データの差分値から、高分解能で検出範囲も広いエラー確認処理を実現することもできる。

以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
撮像領域を撮像する撮像部１１０Ａ，１１０Ｂ等の撮像手段と、該撮像手段が撮像して得た輝度画像データ等の撮像画像データ又は該撮像画像データに所定の処理を施した視差画像データ等の処理後データを出力する信号処理部１１５Ａ，１１５Ｂ又は視差演算部１２１等のデータ出力手段とを備えた撮像装置において、所定のエラー確認タイミングで、予め決められた固定画像データ又は固定視差画像データ等のエラー確認用データを前記データ出力手段から出力させるＣＰＵ１２３等のエラー確認制御手段を有することを特徴とする。
本態様において、所定のエラー確認タイミングで撮像装置のデータ出力手段から出力されるエラー確認用データは、予め決まっているデータ（固定データ）であることから、そのデータ内容は予め把握できる。よって、撮像装置のデータ出力手段から出力されるエラー確認用データが正常なのか異常なのかを判断することができ、エラー確認用データの正常、異常の判断結果から、通信不良等の撮像装置エラーを検出することができる。したがって、専用の検出用配線を設けることなく、撮像画像データのデータ通信経路上の断線や接続不良による通信不良、あるいは、ステレオカメラにおける２つの撮像手段の撮像タイミングのズレなど、各種の撮像装置エラーを検出することが可能となる。特に、本態様では、エラー確認時に、エラー確認用データが撮像画像データ等のデータ通信経路を使って通信されることになるため、データ出力手段に接続されるケーブル等の通信手段の断線や接続不良だけでなく、撮像装置内における撮像画像データ等のデータ通信経路上の断線や接続不良も含めて、通信不良を検出することが可能となる。

（態様Ｂ）
前記態様Ａにおいて、前記撮像手段を２つ以上備えており、前記２つ以上の撮像手段がそれぞれ撮像して得た基準画像データ及び比較画像データ等の２以上の撮像画像データから視差データを生成する視差演算部１２１等の視差データ生成手段を有し、前記データ出力手段は、前記視差データ生成手段が生成した視差データを出力するものであることを特徴とする。
これによれば、視差データの正常、異常の判断結果から、通信不良や撮像手段の撮像タイミングのズレ等の撮像装置エラーを検出することができる。視差データは、画像データよりも情報量を少なくできることから、正常、異常の判断処理が容易になる。

（態様Ｃ）
前記態様Ｂにおいて、前記エラー確認制御手段は、予め決められたエラー確認用基準画像に対応するエラー確認用基準画像データと、該エラー確認用基準画像に対して所定画素分だけ基線方向へズレたエラー確認用比較画像に対応するエラー確認用比較画像データとに基づいて前記視差データ生成手段が生成した視差データを、前記エラー確認用データとして用いることを特徴とする。
これによれば、視差データの正常、異常の判断結果から通信不良（エラー）を検出する処理を簡易に行うことができる。

（態様Ｄ）
前記態様Ｃにおいて、前記エラー確認用基準画像は、基線方向の所定位置を境にして画素値が異なる画像であり、前記エラー確認制御手段は、前記所定位置が異なる２つ以上のエラー確認用基準画像又はエラー確認用比較画像にそれぞれ対応する２組以上のエラー確認用基準画像データ及びエラー確認用比較画像データに基づいて前記視差データ生成手段が生成した各視差データを、前記エラー確認用データとして用いることを特徴とする。
これによれば、２組以上のエラー確認用基準画像データ及びエラー確認用比較画像データから、視差値が異なる２以上の視差データを得ることができる。もし、視差データ生成前におけるデータ通信経路で通信不良が生じている場合、いずれの視差データについても異常であると判断されることになる。一方、視差データ生成前におけるデータ通信経路では通信不良が生じておらず、視差データ生成後におけるデータ通信経路で通信不良が発生している場合、視差値が異なる２以上の視差データを用いることで、その通信不良の内容によっては、異常であると判断される視差データと、正常であると判断される視差データとを混在させることが可能となる。このような混在した結果が得られた場合、視差データ生成前におけるデータ通信経路では通信不良が発生していないことが確認でき、視差データ生成後におけるデータ通信経路で通信不良が発生していることを特定することができる。特に、視差データの通信がパラレル方式である場合、視差値が異なる２以上の視差データを用いることで、少なくとも１箇所のビット位置に対応する信号ラインの値が異なることから、その信号ラインに通信不良が生じているか否かを特定することが可能である。

（態様Ｅ）
前記態様Ｃ又はＤにおいて、前記エラー確認用基準画像データ及び前記エラー確認用比較画像データは、画素値が４ｂｉｔ等の複数ビットで表現されるデータであり、前記エラー確認用基準画像は、基線方向の所定位置を境にして同じビット位置における値が異なる２つの画素値をもち、かつ、基線方向に対して直交する方向に区分けした複数の区画ラインに該ビット位置が他の区画ラインとは異なるものが含まれる画像であることを特徴とする。
これによれば、もし、視差データ生成前におけるデータ通信経路で通信不良が生じており、視差データ生成後におけるデータ通信経路で通信不良が生じていない場合、その通信不良が画像データの画素値を示す複数ビット値のうちの一部のビット位置で生じている場合、当該ビット位置における値が異なる２つの画素値をもつ区画ラインに対応する視差値に異常が出る。よって、異常が出た視差値に対応する区画ラインを特定することで、画像データの通信経路上のどのビット位置で通信不良が発生しているのかを特定することができる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記エラー確認用データに対応する固定視差画像データ等の確認用データを用いて前記データ出力手段から出力されたエラー確認用データの異常を検出したとき、エラー信号を出力する検査部１４３等のエラー信号出力手段を有することを特徴とする。
これによれば、通信不良が生じたときに当該撮像装置からエラー信号が出力されることから、当該撮像装置の工場出荷前に限らず、工場出荷後における任意のタイミングで通信不良の確認を行うことができる。

（態様Ｇ）
前記態様Ａにおいて、前記撮像手段を２つ以上備えており、前記エラー確認制御手段は、前記２つ以上の撮像手段で撮像領域を撮像するときの撮像タイミングと同じタイミングで、各撮像手段に対応する各データ出力手段から前記エラー確認用データをそれぞれ出力させることを特徴とする。
これによれば、各データ出力手段から出力される当該エラー確認用データの出力タイミングから、撮像手段の撮像タイミングのズレを検出することができる。

（態様Ｈ）
前記態様Ｇにおいて、前記２つ以上の撮像手段のうちの少なくとも１つの撮像手段に対応するデータ出力手段から出力されるエラー確認用データは、予め決められた複数の画素値が分布したエラー確認用画像データであることを特徴とする。
これによれば、各データ出力手段から出力される当該エラー確認用データ間の画素値を比較することで、撮像タイミングのズレ量を把握することが可能となる。

（態様Ｉ）
前記態様Ｇ又はＨにおいて、前記各データ出力手段から同時期に出力されるエラー確認用データ間の画素値を比較して撮像タイミングのズレを検出したとき、エラー信号を出力する検査部１２６等のエラー信号出力手段を有することを特徴とする。
これによれば、撮像タイミングのズレが生じたときに当該撮像装置からエラー信号が出力されることから、当該撮像装置の工場出荷前に限らず、工場出荷後における任意のタイミングで撮像タイミングのズレを確認することができる。

（態様Ｊ）
前記態様Ｆ又はＩにおいて、前記エラー信号出力手段がエラー信号を出力したとき、前記撮像手段の動作を停止させるＣＰＵ１２３等の撮像停止手段を有することを特徴とする。
これによれば、通信不良や撮像タイミングのズレ等の撮像装置エラーにより撮像手段が撮像した撮像画像データが不適切に利用されるのを防止することができる。

（態様Ｋ）
撮像領域を撮像する撮像部１１０Ａ，１１０Ｂ等の撮像手段と、該撮像手段が撮像して得た輝度画像データ等の撮像画像データ又は該撮像画像データに所定の処理を施した視差画像データ等の処理後データを出力する信号処理部１１５Ａ，１１５Ｂ又は視差演算部１２１等のデータ出力手段とを備えた撮像装置のエラー確認方法であって、所定のエラー確認タイミングで、予め決められた固定画像データ又は固定視差画像データ等のエラー確認用データを前記データ出力手段から出力させる工程と、前記データ出力手段から出力されたエラー確認用データを用いて、前記撮像手段が異常であるか否かを判断する工程とを有することを特徴とする。
これによれば、専用の検出用配線を設けることなく、撮像画像データのデータ通信経路上の断線や接続不良による通信不良あるいは撮像タイミングのズレ等の撮像装置エラーを検出することができる。

（態様Ｌ）
撮像領域を撮像する撮像部１１０Ａ，１１０Ｂ等の撮像手段と、該撮像手段が撮像して得た輝度画像データ等の撮像画像データ又は該撮像画像データに所定の処理を施した視差画像データ等の処理後データを出力する信号処理部１１５Ａ，１１５Ｂ又は視差演算部１２１等のデータ出力手段とを備えた撮像装置のコンピュータを機能させるためのプログラムであって、所定のエラー確認タイミングで、予め決められた固定画像データ又は固定視差画像データ等のエラー確認用データを前記データ出力手段から出力させるエラー確認制御手段として、前記コンピュータを機能させることを特徴とする。
これによれば、専用の検出用配線を設けることなく、撮像画像データのデータ通信経路上の断線や接続不良による通信不良あるいは撮像タイミングのズレ等の撮像装置エラーを検出することができる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ 表示モニター
１０６ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１１５Ａ，１１５Ｂ 信号処理部
１２０ 処理ハードウェア部
１２１ 視差演算部
１２２ 記憶手段
１２６，１４３ 検査部
１５０Ａ，１５０Ｂ ケーブル

特開２００１−２３０５０４号公報

Claims (9)

1. 撮像領域を撮像する撮像手段を２つ以上備えた撮像装置であって、
   前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成手段と、
   前記視差データ生成手段が生成した視差データを出力するデータ出力手段と、
   所定のエラー確認タイミングで、予め決められたエラー確認用データを前記データ出力手段から出力させるエラー確認制御手段と、
   を備え、
   前記エラー確認制御手段は、
   予め決められた、基線方向の画素値の境目となる所定位置が異なる２つ以上のエラー確認用基準画像に対応する２つ以上のエラー確認用基準画像データと、それぞれのエラー確認用基準画像に対して所定画素分だけ基線方向へズレた２つ以上のエラー確認用比較画像に対応する２つ以上のエラー確認用比較画像データと、に基づいて、前記視差データ生成手段が生成した各視差データを、前記エラー確認用データとして用いること
   を特徴とする撮像装置。
2. 撮像領域を撮像する撮像手段を２つ以上備えた撮像装置であって、
   前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成手段と、
   前記視差データ生成手段が生成した視差データを出力するデータ出力手段と、
   所定のエラー確認タイミングで、予め決められたエラー確認用データを前記データ出力手段から出力させるエラー確認制御手段と、
   を備え、
   前記エラー確認制御手段は、予め決められたエラー確認用基準画像に対応するエラー確認用基準画像データと、該エラー確認用基準画像に対して所定画素分だけ基線方向へズレたエラー確認用比較画像に対応するエラー確認用比較画像データとに基づいて前記視差データ生成手段が生成した視差データを、前記エラー確認用データとして用い、
   前記エラー確認用基準画像データ及び前記エラー確認用比較画像データは、画素値が複数ビットで表現されるデータであり、
   前記エラー確認用基準画像は、基線方向の所定位置を境にして同じビット位置における値が異なる２つの画素値をもち、かつ、基線方向に対して直交する方向に区分けした複数の区画ラインに該ビット位置が他の区画ラインとは異なるものが含まれる画像であること
   を特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記エラー確認用基準画像データ及び前記エラー確認用比較画像データは、画素値が複数ビットで表現されるデータであり、
   前記エラー確認用基準画像は、基線方向の所定位置を境にして同じビット位置における値が異なる２つの画素値をもち、かつ、基線方向に対して直交する方向に区分けした複数の区画ラインに該ビット位置が他の区画ラインとは異なるものが含まれる画像であることを特徴とする撮像装置。
4. 請求項１乃至３のいずれか１項に記載の撮像装置において、
   前記エラー確認用データに対応する確認用データを用いて前記データ出力手段から出力されたエラー確認用データの異常を検出したとき、エラー信号を出力するエラー信号出力手段を有することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記エラー信号出力手段がエラー信号を出力したとき、前記撮像手段の動作を停止させる撮像停止手段を有することを特徴とする撮像装置。
6. 撮像領域を撮像する撮像手段を２つ以上備えた撮像装置のエラー確認方法であって
   前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成工程と、
   前記視差データ生成工程で生成された視差データを出力するデータ出力工程と、
   所定のエラー確認タイミングで、予め決められたエラー確認用データを出力させるエラー確認制御工程と、
   を備え、
   前記エラー確認制御工程では、
   予め決められた、基線方向の画素値の境目となる所定位置が異なる２つ以上のエラー確認用基準画像に対応する２つ以上のエラー確認用基準画像データと、それぞれのエラー確認用基準画像に対して所定画素分だけ基線方向へズレた２つ以上のエラー確認用比較画像に対応する２つ以上のエラー確認用比較画像データと、に基づいて、前記視差データ生成工程において生成された各視差データを、前記エラー確認用データとして用いること
   を特徴とするエラー確認方法。
7. 撮像領域を撮像する撮像手段を２つ以上備えた撮像装置のエラー確認方法であって
   前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成工程と、
   前記視差データ生成工程で生成された視差データを出力するデータ出力工程と、
   所定のエラー確認タイミングで、予め決められたエラー確認用データを出力させるエラー確認制御工程と、
   を備え、
   前記エラー確認制御工程では、予め決められたエラー確認用基準画像に対応するエラー確認用基準画像データと、該エラー確認用基準画像に対して所定画素分だけ基線方向へズレたエラー確認用比較画像に対応するエラー確認用比較画像データとに基づいて前記視差データ生成工程で生成した視差データを、前記エラー確認用データとして用い、
   前記エラー確認用基準画像データ及び前記エラー確認用比較画像データは、画素値が複数ビットで表現されるデータであり、
   前記エラー確認用基準画像は、基線方向の所定位置を境にして同じビット位置における値が異なる２つの画素値をもち、かつ、基線方向に対して直交する方向に区分けした複数の区画ラインに該ビット位置が他の区画ラインとは異なるものが含まれる画像であること
   を特徴とするエラー確認方法。
8. 撮像領域を撮像する撮像手段を２つ以上備えた撮像装置のコンピュータを機能させるためのプログラムであって、
   前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成手段、
   前記視差データ生成手段が生成した視差データを出力するデータ出力手段、及び、
   所定のエラー確認タイミングで、予め決められたエラー確認用データを前記データ出力手段から出力させるエラー確認制御手段として、前記コンピュータを機能させ、
   前記エラー確認制御手段は、
   予め決められた、基線方向の画素値の境目となる所定位置が異なる２つ以上のエラー確認用基準画像に対応する２つ以上のエラー確認用基準画像データと、それぞれのエラー確認用基準画像に対して所定画素分だけ基線方向へズレた２つ以上のエラー確認用比較画像に対応する２つ以上のエラー確認用比較画像データと、に基づいて、前記視差データ生成手段が生成した各視差データを、前記エラー確認用データとして用いること
   を特徴とするプログラム。
9. 撮像領域を撮像する撮像手段を２つ以上備えた撮像装置のコンピュータを機能させるためのプログラムであって、
   前記２つ以上の撮像手段がそれぞれ撮像して得た２以上の撮像画像データから視差データを生成する視差データ生成手段、
   前記視差データ生成手段が生成した視差データを出力するデータ出力手段、及び、
   所定のエラー確認タイミングで、予め決められたエラー確認用データを前記データ出力手段から出力させるエラー確認制御手段として、前記コンピュータを機能させ、
   前記エラー確認制御手段は、予め決められたエラー確認用基準画像に対応するエラー確認用基準画像データと、該エラー確認用基準画像に対して所定画素分だけ基線方向へズレたエラー確認用比較画像に対応するエラー確認用比較画像データとに基づいて前記視差データ生成手段が生成した視差データを、前記エラー確認用データとして用い、
   前記エラー確認用基準画像データ及び前記エラー確認用比較画像データは、画素値が複数ビットで表現されるデータであり、
   前記エラー確認用基準画像は、基線方向の所定位置を境にして同じビット位置における値が異なる２つの画素値をもち、かつ、基線方向に対して直交する方向に区分けした複数の区画ラインに該ビット位置が他の区画ラインとは異なるものが含まれる画像であること
   を特徴とするプログラム。