JP6071422B2

JP6071422B2 - 画像処理装置

Info

Publication number: JP6071422B2
Application number: JP2012237591A
Authority: JP
Inventors: 春樹的野; 裕史大塚
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2017-02-01
Anticipated expiration: 2032-10-29
Also published as: EP2914001A9; EP2914001A4; EP2914001B1; US20150310621A1; CN104769942A; WO2014069169A1; EP2914001A1; US9652853B2; JP2014090233A

Description

本発明は、物体の画像認識を行う画像処理装置に関する。

物体の画像認識を行う画像処理装置として、２つのカメラで撮像した２つの原画像に基づいて、原画像間における物体位置のずれ量、すなわち視差を算出して視差画像を生成し、この視差画像と原画像とを用いて物体の３次元位置を認識する画像認識処理を行うものが知られている（例えば、特許文献１参照）。

特開２００９−１４６２１７号公報

ところで、視差画像は、画像処理装置における処理負担の軽減などを考慮して、ブロックマッチングにより算出された視差に基づいて生成される場合がある。この場合、視差は、ブロックマッチングで用いられたブロックごと、すなわち複数の画素ごとに１つ算出されるので、複数の画素ごとに１つの視差情報を対応付ける視差画像は、１つの画素ごとに１つの輝度情報を対応付ける原画像に対して見かけ上解像度が低下する。

しかしながら、視差画像の解像度が原画像の解像度と異なる場合、視差画像と原画像とを用いて行う画像認識処理において、両画像間で対応する画素の位置を毎回演算する必要があり、その分、画像認識処理にかかる時間が長くなる可能性がある。これに対し、画像認識処理を並列的に行うことで処理時間の短縮が可能であるが、処理に必要な回路構成が大型化又は複雑化してしまう。

そこで、本発明は以上のような問題点に鑑み、物体の画像認識処理にかかる処理時間を短縮できる画像処理装置を提供することを目的とする。

本発明の第１の態様による画像処理装置は、２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、前記２つの原画像の少なくとも１つを前記ブロックマッチングで用いられた正方形又は長方形のブロックの形状に応じて縮小した第１縮小画像を生成する第１縮小画像生成手段と、前記視差画像と前記第１縮小画像とに基づいて物体の画像認識を行う画像認識手段と、を備え、前記第１縮小画像生成手段は、前記ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素である場合、１以上の自然数である所定数ｋを用いることにより、前記第１縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｍ×ｋ）で除算した画素数となり、かつ、前記第１縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｎ×ｋ）で除算した画素数となるように、前記第１縮小画像を生成する。
本発明の第２の態様による画像処理装置は、２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、前記２つの原画像の少なくとも１つを前記視差画像に合わせて縮小した第１縮小画像を生成する第１縮小画像生成手段と、前記視差画像と前記第１縮小画像とに基づいて物体の画像認識を行う画像認識手段と、前記２つの原画像を夫々縮小して２つの第２縮小画像を生成する第２縮小画像生成手段とを備え、前記２つの第２縮小画像は、前記２つの原画像に代えて、前記視差演算手段における視差の算出に用いられ、前記第２縮小画像生成手段は、前記２つのカメラの撮像素子が色フィルタを備えている場合、前記色フィルタのパターンに基づいて色を復元するとともに、前記色フィルタのパターンに応じて前記２つの原画像を縮小し、更に、前記第２縮小画像生成手段は、前記色フィルタのパターンが縦方向にｉ画素、かつ、横方向にｊ画素の画素数で繰り返される場合、１以上の所定数ｈを用いることにより、前記第２縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｉ×ｈ）で除算した画素数となり、かつ、前記第２縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｊ×ｈ）で除算した画素数となるように、前記第２縮小画像を生成する。
本発明の第３の態様による画像処理装置は、２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、前記２つの原画像の少なくとも１つを前記視差画像の解像度に対応した解像度に縮小して第１縮小画像を生成する第１縮小画像生成手段と、前記視差画像と前記第１縮小画像とに基づいて物体の画像認識を行う画像認識手段と、を備える。

本発明の画像処理装置によれば、物体の画像認識処理にかかる処理時間を短縮できる。

画像認識システムの概略構成を示す説明図である。ステレオカメラとこれによる三角測量技術を示す説明図である。画像認識ＬＳＩにおける処理内容を示すブロック図である。ブロックマッチング処理の方法を示し、（ａ）は基準画像における第１ブロックの設定方法であり、（ｂ）は比較画像における第２ブロックによる探索方法である。画像認識ＬＳＩにおける別の態様による処理内容を示すブロック図である。

以下、添付された図面を参照し、本発明を実施するための第１実施形態の一例について詳述する。
本実施形態の画像処理装置は、ステレオカメラが同タイミングかつ異なる位置から物体を撮像して得られる一対の画像上において、物体の位置ずれ（視差）をブロックマッチングにより算出し、算出した視差に基づいて、物体の３次元位置を周知の変換式により算出する、すなわち、物体の画像認識を行う装置である。この装置は、不審者の侵入などを監視する監視システムや、障害物と衝突する危険性を予測して車両の安全走行を支援する車載システムなど、物体の認識を必要とする様々なシステムに適用可能である。

図１は、画像処理装置を含む画像認識システムの一例を示す。
画像認識システムは、２つのカメラ１０１，１０２で構成されるステレオカメラ１０と、ステレオカメラ１０を制御するカメラ制御部１２と、一時記憶領域であるＲＡＭ（Random Access Memory）１４と、プログラムや各種初期値を格納するＲＯＭ（Read Only Memory）１６と、画像認識システム全体の制御を行うＣＰＵ（Central Processing Unit）１８と、画像認識システムで認識した物体の認識情報を画像認識システムの外部へ出力する外部ＩＦ（Interface）２０と、画像処理ＬＳＩ（Large Scale Integration）２２と、を備え、各構成要素は通信バス２４を介してデータの授受を行う。

ステレオカメラ１０は、図２に示すように、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子１０１ａ，１０２ａを備え、撮像対象物からレンズ１０１ｂ，１０２ｂを通して撮像素子１０１ａ，１０２ａに入射した光を、その強度に応じて電気信号に変換する。電気信号は、撮像した物体の輝度情報を表す原画像データとして、通信バス２４を介して、ＲＡＭ１４、あるいは、直接、画像処理ＬＳＩ２２へ出力される。原画像のサイズは、撮像素子１０１ａ，１０２ａの画素数にもよるが、本実施形態では、例えば、１０メガバイト程度の大きさである。

このステレオカメラ１０の光軸を、３次元空間のｘｙｚ座標系におけるｘｚ平面でｚ軸に平行に配置し、かつ、レンズ１０１ｂ，１０２ｂをｘ軸に並べた場合、撮像対象物Ａからの光が一方のカメラ１０１のレンズ１０１ｂを通して撮像素子１０１ａに入射したときのｘ座標ｘ₁と、撮像対象物Ａからの光が他方のカメラ１０２のレンズ１０２ｂを通して撮像素子１０２ａに入射したときのｘ座標ｘ₂と、の差分の絶対値｜ｘ₁−ｘ₂｜が視差δとして得られる。そして、撮像対象物Ａのｚ座標、すなわちステレオカメラ１０から撮像対象物Ａまでの距離Ｄは、視差δ、２つのカメラの基線長（光軸間隔）ｂ、及びレンズ１０１ｂ，１０２ｂと撮像素子１０１ａ，１０１ｂとの間の焦点距離ｆを用いて、以下の式で求められる。

Ｄ＝ｂ×ｆ／δ
以下、本明細書では、説明の便宜上、ｙ方向を高さ方向として、ステレオカメラ１０が、カメラ１０１及びカメラ１０２を横並びに平行で同じ高さの位置に配置する「平行等位ステレオ」のカメラを前提とするが、このような配置に限定されないことはいうまでもない。

カメラ制御部１２は、カメラ１０１及びカメラ１０２の制御を行う制御回路である。具体的には、カメラ制御部１２は、カメラ１０１及びカメラ１０２の撮像タイミングが同時となるように制御する。これは、撮像タイミングが異なると、そのタイミング間で撮像対象物の位置が変化した場合には、視差δを撮像対象物の最新の位置に応じて算出することができないためである。また、カメラ制御部１２は、カメラ１０１及びカメラ１０２の露光量が等しくなるように制御する。これは、後述するブロックマッチング処理において、同一の撮像対象物については２つの原画像において同一の輝度値で対応付けられていると、マッチング精度が向上するからである。

画像処理ＬＳＩ２２は、ステレオカメラ１０から出力された２つの原画像データを、通信バス２４を介して入力することにより、物体の画像認識を行う画像処理装置である。
図３は、画像処理ＬＳＩ２２において行われる処理の内容を示す。

画像処理ＬＳＩ２２は、補正部２６ａ，２６ｂと、視差演算部２８と、視差画像生成部３０と、第１縮小画像生成部３２と、画像認識部３４と、を含んで構成される。
補正部２６ａ，２６ｂは、入力した２つの原画像データに対して、２つの原画像を左右に並べた場合に撮像された物体が同じ高さとなるように変換し、視差演算部２８で行われる後述のブロックマッチング処理を容易にする。変換するための補正データは、予めキャリブレーションを行うことにより作成される補正データテーブル（ＲＯＭ１６に記憶されている）を参照することで得られる。かかるキャリブレーションでは、レンズ１０１ｂ，１０２ｂの歪み、カメラ１０１，１０２の取り付け位置・角度の誤差などの各種誤差を予め計測して補正データを算出する。

視差演算部２８は、補正部２６ａ，２６ｂで補正された２つの原画像データに基づいて、ブロックマッチング処理により視差を算出する視差演算手段をなす。
ブロックマッチング処理は、図４（ａ）に示すように、原画像の一方（以下、「基準画像」という）を、所定形状の第１ブロック（図中の太実線）により複数の画素を含むように区切り、図４（ｂ）に示すように、原画像の他方（以下、「比較画像」という）を、第１ブロックと同じサイズ・形状・位置の第２ブロック（図中の太実線）で区切り、この第２ブロックを１画素ずつ横方向にずらして、各位置で第１ブロック内及び第２ブロック内における２つの輝度パターンについての相関値を算出し、相関値が最も低くなる、即ち、相関が最も高い位置を探索する。本実施形態において、相関値の算出方法は差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を用いるが、これに限定されず、公知のあらゆる方法を用い得る。探索の結果、相関が最も高くなる位置を特定した場合には、第１ブロック内の特定の画素（例えば、左下の画素）と、特定された位置における第２ブロック内の特定の画素（例えば、左下の画素）との間の距離を視差δとして算出する。これを１つのステップとして、同様のステップを基準画素の全画素について実行する。算出された視差δは、算出されたときの第１ブロックあるいは第２ブロックの位置と関連付けられて、例えば、ＲＡＭ１４などに一時記憶されてもよい。

図４（ａ）及び図４（ｂ）では、第１ブロック及び第２ブロックを、夫々、縦方向に４画素、かつ、横方向に４画素の１６画素を含む略正方形としているが、このようなサイズ及び形状に限定されず、第１ブロック及び第２ブロックをそれぞれ長方形にしてもよい。すなわち、第１ブロック及び第２ブロックは、第１ブロック及び第２ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素（ただし、ｍ及びｎは１以上の自然数であり、かつ、いずれか一方が２以上である）であってもよい。また、例えば、原画像が平行四辺形状である場合には、第１ブロック及び第２ブロックを平行四辺形状にして複数の画素数を含むようにしてもよい。

ブロックマッチング処理において用いる第１ブロック及び第２ブロックのサイズは変更可能である。例えば、ＣＰＵ１８が、気象条件などにより物体の画像認識能力が低下するおそれがあると判断した場合には、ＣＰＵ１８は視差演算部２８に対して、第１ブロック及び第２ブロックのサイズを小さくするように指示してもよい。一方、例えば、ＣＰＵ１８が、気象条件などが画像認識能力に影響を与えるものではなく、画像処理ＬＳＩ２２の処理負担を優先させるべきであると判断した場合には、ＣＰＵ１８は視差演算部２８に対して、第１ブロック及び第２ブロックのサイズを大きくするように指示してもよい。

視差画像生成部３０は、視差演算部２８により算出された視差δに基づいて視差画像を生成する視差画像生成手段をなす。
視差画像生成部３０は、視差演算部２８で算出された１つの視差δを、これが算出されたときにおける、基準画像の第１ブロック内、又は比較画像の第２ブロック内のいずれか一方の複数画素全体に対応付けて、この対応付けを、算出された全ての視差δについて行うことにより視差画像を生成する。このため、視差画像は、基準画像と比較画像とのいずれか一方に基づいて生成される。対応付けは、例えば、第１ブロック内又は第２ブロック内の複数画素全体に視差δに応じた１つの色相情報を与えることで行われてもよい。したがって、視差画像は、複数の画素ごとに１つの視差情報で対応付けられ、１つの画素ごとに１つの輝度情報を対応付ける原画像に対して見かけ上解像度が低下することになる。

なお、視差画像生成部３０は、視差演算部２８において視差δを全て算出してから視差画像の生成を開始するのではなく、視差δが算出される都度、順次、基準画像あるいは比較画像に対して視差δの対応付けを行うことにより視差画像を生成してもよい。この場合、視差演算部２８は、算出した視差δをＲＡＭ１４に出力する必要がなくなる。

第１縮小画像生成部３２は、補正部２６ａ，２６ｂで変換された２つの原画像のうち一方を、視差演算部２８のブロックマッチング処理で用いられたブロックに合わせて縮小した第１縮小画像を生成する第１縮小画像生成手段をなす。

第１縮小画像生成部３２において縮小する原画像は、視差画像が基準画像及び比較画像のいずれに基づいて生成されたかにより異なり、基準画像を基礎として生成した場合には、基準画像となった原画像を縮小し、比較画像を基礎として生成した場合には、比較画像となった原画像を縮小する。

縮小の方法としては、２つの原画像のうち一方をブロックマッチング処理で用いられたブロックの形状に応じて縮小する。例えば、第１ブロック及び第２ブロックの形状が正方形又は長方形であり、第１ブロック及び第２ブロックに、縦方向にｍ画素、かつ、横方向にｎ画素の（ｍ×ｎ）の画素数が含まれる場合、第１縮小画像の縦方向の画素数が原画像の縦方向の画素数をｍで除算した画素数となり、かつ、第１縮小画像の横方向の画素数が原画像の横方向の画素数をｎで除算した画素数となるように、原画像を縮小する。これにより、視差画像の解像度と第１縮小画像の解像度が等しくなる。

画像認識部３４は、視差画像生成部２８で生成された視差画像と、第１縮小画像生成部３２で生成された第１縮小画像と、に基づいて物体の画像認識を行う画像認識手段をなす。より具体的には、画像認識部３４は、第１縮小画像の輝度情報を用いてパターンマッチングをすることにより物体の識別処理を行う。また、画像認識部３４は、識別された物体の３次元位置を視差画像の視差情報から算出することにより、物体の画像認識を行う。このとき、第１縮小画像において識別された物体の領域が視差画像においてどの領域に相当するのか、視差画像と第１縮小画像との間で、対応する画素の位置を算出する。なお、画像認識部３４で得られた物体の認識情報は、通信バス２４を介して外部ＩＦ２０に出力される。

このような画像処理ＬＳＩ２２によれば、視差画像の解像度と第１縮小画像の解像度が等しくなるため、画像認識部３４において、視差画像と第１縮小画像との間で対応する画素の位置を全て画素について演算する必要がなくなり、その分、画像認識処理にかかる時間を短縮できる。

また、ステレオカメラ１０の解像度が高くなることにより原画像データのサイズが大きくなった場合、画像処理ＬＳＩ２２における処理負担を軽減すべく、視差演算部２８におけるブロックマッチング処理で用いられる第１ブロック及び第２ブロックのサイズを、画像認識能力に影響を与えない範囲で大きくしても、視差画像の解像度と第１縮小画像の解像度が等しいため、画像認識部３４の画像認識処理にかかる時間に与える影響が殆どない。

なお、ＲＡＭ１４の容量に余裕があり、解像度の高い画像を保存できる場合には、第１縮小画像生成部３２において、原画像を次のように縮小してもよい。すなわち、第１ブロック及び第２ブロックが正方形又は長方形であり、第１ブロック及び第２ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素である場合、２以上の自然数である所定数ｋを用いることにより、第１縮小画像の縦方向の画素数が原画像の縦方向の画素数を（ｍ×ｋ）で除算した画素数となり、かつ、第１縮小画像の横方向の画素数が原画像の横方向の画素数を（ｎ×ｋ）で除算した画素数となるように、原画像を縮小してもよい。このように縮小した場合でも、視差画像と第１縮小画像との間で対応する画素の位置を演算する処理負担は、縮小しない場合に比べ軽減される。

前述の実施形態において、画像処理ＬＳＩ２２は、第１縮小画像生成部３２に代えて、補正部２６ａ及び補正部２６ｂの少なくとも一方で変換された原画像から部分的に切り出した切出し画像を生成する切出し画像生成部を備えていてもよい。切出し画像では、視差画像と比較すると、カメラ１０１又はカメラ１０２による撮像範囲のうち一部だけの輝度情報しか得られないが、例えば、原画像に示された輝度情報が、各画素でどのような時間変化を示しているかに着目することにより、注目領域を決定し、この注目領域の画素を含むように、第１ブロック及び第２ブロックのブロック形状に応じた切出し画像を生成してもよい。これにより、画像認識部３４における画像認識処理の処理負担が軽減される。

また、前述の実施形態において、２つの補正部２６ａ，２６ｂのうち補正部２６ｂで変換された原画像を第１縮小画像生成部３２における第１縮小画像の生成に用いたが、これに限られず、補正部２６ａで変換された原画像、あるいは２つの補正部２６ａ，２６ｂの両方で変換された２つの原画像を用いてもよい。

次に、本発明を実施するための第２実施形態の一例について説明する。なお、第１実施形態と同一構成については、同一符号を付すことでその説明を省略又は簡潔にする。
図５は、第２実施形態における画像処理ＬＳＩ２２の処理内容を示す。

第２実施形態における画像処理ＬＳＩ３６は、第１実施形態と比較すると、補正部２６ａ，２６ｂと視差演算部２８との間に、夫々、第２縮小画像生成部３８ａ，３８ｂによる処理が追加されている点で異なる。

第２縮小画像生成部３８ａ，３８ｂは、補正部２６ａ，２６ｂで変換された２つの原画像を夫々縮小して２つの第２縮小画像を生成する第２縮小画像生成手段をなす。第２縮小画像生成部３８ａ，３８ｂで生成された第２縮小画像は、補正部２６ａ，２６ｂで変換された２つの原画像に代えて、視差演算部２８における視差の算出に用いられる。

また、第２縮小画像生成部３８ａ，３８ｂは、２つのカメラ１０１，１０２の撮像素子１０１ａ，１０２ａが色フィルタを備えている場合、色フィルタのパターンに基づいて色を復元するとともに、色フィルタのパターンに応じて補正部２６ａ，２６ｂで変換された２つの原画像を縮小する。

色フィルタのパターンが、例えば、縦方向にｉ画素、かつ、横方向にｊ画素の（ｉ×ｊ）の画素数で繰り返される場合、第２縮小画像生成部３８ａ，３８ｂは、１以上の所定数ｈを用いることにより、第２縮小画像の縦方向の画素数が２つの原画像の縦方向の画素数を（ｉ×ｈ）で除算した画素数となり、かつ、第２縮小画像の横方向の画素数が２つの原画像の横方向の画素数を（ｊ×ｈ）で除算した画素数となるように、第２縮小画像を生成する。色フィルタのパターンは、例えば、ベイヤ配列である場合には、縦方向に２画素、かつ、横方向に２画素の４画素数で繰り返されるが、この場合、第２縮小画像生成部３８ａ，３８ｂは、第２縮小画像の縦方向の画素数が２つの原画像の縦方向の画素数を（２×ｈ）で除算した画素数となり、かつ、第２縮小画像の横方向の画素数が２つの原画像の横方向の画素数を（２×ｈ）で除算した画素数となるように、第２縮小画像を生成する。

このような第２実施形態の画像処理ＬＳＩ３８によれば、色復元処理でしばしば問題となる偽色を解消すべくステレオカメラ１０の解像度を高くしても、ステレオカメラ１０から出力された原画像のサイズは、第２縮小画像生成部３８ａ，３８ｂにおいて縮小されるため、視差演算部２８における処理負担が軽減される。

また、偽色の発生を抑制するために、レンズ１０１ｂと撮像素子１０１ａとの間、及びレンズ１０２ｂと撮像素子１０２ａとの間に挿入される光学ローパスフィルタが不要となり、画像認識システムの製造コスト削減にも貢献する。

１０ステレオカメラ
１０１カメラ
１０２カメラ
１０１ａ撮像素子
１０２ａ撮像素子
２２画像処理ＬＳＩ
２４通信バス
２８視差演算部
３０視差画像生成部
３２第１縮小画像生成部
３４画像認識部
３６ａ第２縮小画像生成部
３６ｂ第２縮小画像生成部

Claims

２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、
前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、
前記２つの原画像の少なくとも１つを前記ブロックマッチングで用いられた正方形又は長方形のブロックの形状に応じて縮小した第１縮小画像を生成する第１縮小画像生成手段と、
前記視差画像と前記第１縮小画像とに基づいて物体の画像認識を行う画像認識手段と、
を備え、
前記第１縮小画像生成手段は、前記ブロックに含まれる画素数が縦方向にｍ画素、かつ、横方向にｎ画素である場合、１以上の自然数である所定数ｋを用いることにより、前記第１縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｍ×ｋ）で除算した画素数となり、かつ、前記第１縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｎ×ｋ）で除算した画素数となるように、前記第１縮小画像を生成する画像処理装置。
前記所定数ｋは１であることを特徴とする請求項１に記載の画像処理装置。
前記２つの原画像を夫々縮小して２つの第２縮小画像を生成する第２縮小画像生成手段を更に含んで構成され、
前記２つの第２縮小画像は、前記２つの原画像に代えて、前記視差演算手段における視差の算出に用いられることを特徴とする請求項１または請求項２に記載の画像処理装置。
前記第２縮小画像生成手段は、前記２つのカメラの撮像素子が色フィルタを備えている場合、前記色フィルタのパターンに基づいて色を復元するとともに、前記色フィルタのパターンに応じて前記２つの原画像を縮小することを特徴とする請求項３に記載の画像処理装置。
前記第２縮小画像生成手段は、前記色フィルタのパターンが縦方向にｉ画素、かつ、横方向にｊ画素の画素数で繰り返される場合、１以上の所定数ｈを用いることにより、前記第２縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｉ×ｈ）で除算した画素数となり、かつ、前記第２縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｊ×ｈ）で除算した画素数となるように、前記第２縮小画像を生成することを特徴とする請求項４に記載の画像処理装置。
２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、
前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、
前記２つの原画像の少なくとも１つを前記視差画像に合わせて縮小した第１縮小画像を生成する第１縮小画像生成手段と、
前記視差画像と前記第１縮小画像とに基づいて物体の画像認識を行う画像認識手段と、
前記２つの原画像を夫々縮小して２つの第２縮小画像を生成する第２縮小画像生成手段とを備え、
前記２つの第２縮小画像は、前記２つの原画像に代えて、前記視差演算手段における視差の算出に用いられ、
前記第２縮小画像生成手段は、前記２つのカメラの撮像素子が色フィルタを備えている場合、前記色フィルタのパターンに基づいて色を復元するとともに、前記色フィルタのパターンに応じて前記２つの原画像を縮小し、
更に、前記第２縮小画像生成手段は、前記色フィルタのパターンが縦方向にｉ画素、かつ、横方向にｊ画素の画素数で繰り返される場合、１以上の所定数ｈを用いることにより、前記第２縮小画像の縦方向の画素数が前記２つの原画像の縦方向の画素数を（ｉ×ｈ）で除算した画素数となり、かつ、前記第２縮小画像の横方向の画素数が前記２つの原画像の横方向の画素数を（ｊ×ｈ）で除算した画素数となるように、前記第２縮小画像を生成する画像処理装置。
２つのカメラで撮像した２つの原画像に基づいて、ブロックマッチングにより視差を算出する視差演算手段と、
前記視差演算手段により算出された視差に基づいて視差画像を生成する視差画像生成手段と、
前記２つの原画像の少なくとも１つを前記視差画像の解像度に対応した解像度に縮小して第１縮小画像を生成する第１縮小画像生成手段と、
前記視差画像と前記第１縮小画像とに基づいて物体の画像認識を行う画像認識手段と、
を備えた画像処理装置。