WO2024122135A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置は、ステレオカメラから入力される、第１のカメラが有する第１の画像センサが検出した第１の画像と、第２のカメラが有する第２の画像センサが検出した第２の画像とを比較し、第１の方向とは異なる第２の方向における、第１の画像と第２の画像との違いに基づいて、第２の画像を補正するための補正処理係数を算出する画像比較部と、画像比較部により算出された補正処理係数により、第２の画像を補正する画像処理部と、を備える。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に関する。

　従来、３次元物体認識技術としてステレオカメラ技術がある。ステレオカメラ技術は、異なる位置に配置した２台のカメラ（「ステレオカメラ」と呼ぶ）が撮像する画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。ステレオカメラ技術を用いることにより、対象物の位置を正確に検出することができる。このため、車載カメラやロボットに搭載されるカメラなどで３次元の物体を検出及び認識するためにステレオカメラ技術が適用されている。ステレオカメラの２つのカメラの画像は、例えば、中心射影方式により所定の射影に変換され、変換後の画像の差分を検出することで物体までの距離を測定することができる。

　高精度の距離検出を行う場合、２つの画像を所定の射影に高精度に合わせる必要がある。このため、例えば、カメラやレンズの温度変化や経時変化などの要因により、カメラが撮像した画像が変化すると、物体まで測定する距離の測距誤差が発生してしまう。例えば、低コスト化や非球面化に対して利点のあるプラスチックレンズでは、温度に対して検出画像が変化するので、プラスチックレンズの温度変化に伴い測距誤差が発生する。また、ガラスレンズであっても広角視野に対応した魚眼レンズでは、広角視野での画像の変化が大きくなるので、測距誤差が発生する。

　レンズの温度変化により発生する測距誤差の課題に対し、以下の特許文献１及び２に開示された技術が知られている。例えば、特許文献１には、「カメラ情報格納手段は各撮像手段のズームの状態及びフォーカスの状態に依存して変化するカメラ情報については、その状態に応じた複数のカメラ情報を持ち、ステレオ画像処理手段が各撮像手段のズームの状態及びフォーカスの状態を取得して、カメラ情報格納部から対応するカメラ情報を取得し、ステレオ画像処理に用いる。」と記載されている。

　また、特許文献２には、「歪み補正処理部は、温度センサにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値（ずれ量）が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて歪み補正式により歪み補正処理を行う。」と記載されている。

特開２００８－２４１４９１号公報 特開２０１２－１４７２８１号公報

　特許文献１には、温度が変わることで、レンズの膨張収縮や構造の変形などにより発生する像ずれに対し、第一及び第二の撮像部の温度情報を取得し、対応する補正情報をカメラ情報格納部からカメラ情報と一緒に取得することで、温度差によるカメラ情報の変化を補正することができると記載されている。一方で、特許文献１に記載された処理は、温度に応じた補正情報を記憶装置に格納するため、記憶装置の記録容量が大きくなり、記憶装置のコストが課題となる。また、カメラで取得した画像の歪補正を行う場合は、記憶装置から補正情報が読み出されるため、２つのカメラに対応した記憶装置を予め確保しておかなければならない。特に、３次元計測装置は高分解能や広視野を実現するため、カメラの高画素化が進んでおり、補正情報等の情報量は増大する一方であり、記憶装置の記録容量も大型化しなければならない。

　また、特許文献２に記載の画像処理装置では、特許文献１で課題とされた記録容量の増大に対し、多項式の歪み補正式を用いることで、記憶装置に格納されるデータのデータ量を低減できる。このため、記憶装置の記録容量を低減できても、特許文献２に記載の画像処理装置は、特許文献１に記載の装置と同様に、２つのカメラに対応した記憶装置を確保しておかなければならないという課題があった。

　さらに特許文献１及び２に記載された技術は、補正精度でも重大な課題がある。特許文献１に記載された温度検出部、特許文献２に記載された温度センサが検出する温度は、レンズの温度を直接示していない。例えば、レンズが太陽光を浴びたり、カメラ処理回路の熱がレンズに伝わったりする場合、レンズ内部の温度と外部の温度が異なる。この場合、２つのカメラの温度が異なることもあり、２つのカメラで検出される画像を補正する際、誤差が生じることがある。さらに、実際のレンズの温度特性にはばらつきがあり、同じ温度変化でも同じ特性を示すとは限らない。このため、温度変化から画像の変化を検出することは困難である。また、２つのカメラの温度が変化すると、カメラに内蔵されるセンサの感度も変化して、各センサで検出される画像も異なってしまう。

　本発明はこのような状況に鑑みて成されたものであり、ステレオカメラ（２つのカメラ）の変化に合わせて、２つのカメラから出力される画像を補正することを目的とする。

　本発明に係る画像処理装置は、第１の方向に並んで配置される第１のカメラ及び第２のカメラを備えるステレオカメラから入力される、第１のカメラが有する第１の画像センサが検出した第１の画像と、第２のカメラが有する第２の画像センサが検出した第２の画像とを比較し、第１の方向とは異なる第２の方向における、第１の画像と第２の画像との違いに基づいて、第２の画像を補正するための補正処理係数を算出する画像比較部と、画像比較部により算出された補正処理係数により、第２の画像を補正する画像処理部と、を備える。

　本発明によれば、ステレオカメラ（２つのカメラ）の変化に合わせて、２つのカメラから出力される画像を補正することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態に係る画像処理装置の内部構成例を示すブロック図である。 本発明の第１の実施形態に係る補正アルゴリズムを説明する図である。 本発明の第１の実施形態に係る温度変化に伴うセンサ上の画像の変化を示す図である。 本発明の第１の実施形態に係る２つのレンズの変化の差の補正方法を説明する図である。 本発明の第１の実施形態に係る倍率誤差信号ＭＥＳのｋ依存性を示すグラフである。 本発明の第１の実施形態に係るレンズとセンサの部品位置の関係を示す図である。 本発明の第１の実施形態に係る第２の画像センサがＹ方向に移動した場合における像高変位量と像高変位量差分の補正効果を示す図である。 本発明の第１の実施形態に係る第２の画像センサがＹ軸を回転軸として回転した場合における像高変位量と像高変位量差分の補正効果を示す図である。 本発明の第１の実施形態に係る垂直画角に対して像高変位量が非線形に変化するような場合における像高変位量と像高変位量差分の補正効果を示す図である。 本発明の第１の実施形態に係る第１のレンズと第２のレンズの水平方向の各位置における垂直方向の像高の変位の例を示す図である。 本発明の第１の実施形態に係るＭＥＳの算出に用いられる、２つのセンサで検出される様々な領域の例を示す図である。 本発明の第１の実施形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置の処理の例を示すフローチャートである。 本発明の第２の実施形態に係る画像処理装置の内部構成例を示すブロック図である。 本発明の第３の実施形態に係る画像処理装置の内部構成例を示すブロック図である。 本発明の第４の実施形態に係る画像処理装置の内部構成例を示すブロック図である。

　以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。本発明は、例えば、先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）、又は自動運転（ＡＤ：Autonomous Driving）向けの車載ＥＣＵ（Electronic Control Unit）が通信可能な車両制御用の演算装置に適用可能である。

［第１の実施形態］
　図１は、本発明の第１の実施形態に係る画像処理装置１の内部構成例を示すブロック図である。

　画像処理装置１は、第１の方向に並んで配置される第１のカメラ（第１のカメラ１０）及び第２のカメラ（第２のカメラ２０）を備えるステレオカメラから入力される画像に対して所定の処理を行う。このステレオカメラでは、第１のカメラ１０と第２のカメラ２０が水平方向（第１の方向）に並んで配置されている。

　第１のカメラ１０は、第１のレンズ１１と第１の画像センサ１２を備えている。第１のカメラ１０は、第１のレンズ１１を介して像光が結像した第１の画像センサ１２で対象物の像を検出する。第１のカメラ（第１のカメラ１０）が有する第１の画像センサ（第１の画像センサ１２）が検出した第１の画像に対して、後段の各機能部による所定の処理が行われる。

　第２のカメラ２０は、第２のレンズ２１と第２の画像センサ２２を備えている。第２のカメラ２０は、第２のレンズ２１を介して像光が結像した第２の画像センサ２２で対象物の像を検出する。第２のカメラ（第２のカメラ２０）が有する第２の画像センサ（第２の画像センサ２２）が検出した第２の画像に対して、後段の各機能部による所定の処理が行われる。

　以下の説明で、第１のレンズ１１と第２のレンズ２１を区別しない場合、「レンズ」と総称する。同様に、第１の画像センサ１２と第２の画像センサ２２を区別しない場合、「センサ」と総称する。また、第１のカメラ１０と第２のカメラ２０を「２つのカメラ」と総称することがある。また、第１の画像センサ１２で検出される第１の画像を「第１のカメラ１０で検出される第１の画像」と呼ぶことがある。同様に、第２の画像センサ２２で検出される第２の画像を「第２のカメラ２０で検出される第２の画像」と呼ぶことがある。

　第１のカメラ１０で検出された第１の画像は、歪変換処理部５０Ａに入力され、歪変換処理部５０Ａが第１の画像の歪を変換する。
　第２のカメラ２０で検出された第２の画像は、歪変換処理部５０Ｂに入力される。そして、歪変換処理部５０Ｂが第２の画像の歪を変換する。
　以下の説明で、歪変換処理部５０Ａ，５０Ｂを区別しない時は、歪変換処理部５０と呼ぶ。第１の実施形態に係る画像処理部は、第１の画像の歪と第２の画像の歪を変換する歪変換処理部（歪変換処理部５０）である。例えば、レンズの射影方式が正射影（ｆｓｉｎθ）であった場合、歪変換処理部５０Ａ，５０Ｂは、それぞれ第１の画像と第２の画像を正射影から中心射影（ｆｔａｎθ）への射影変換を行うことで、第１の画像と第２の画像の歪を変換する。ただし、射影変換後の画像が中心射影（ｆｔａｎθ）以外であっても本発明の効果は得られる。

　ここで例えば、第１のカメラ１０の第１のレンズ１１の温度に対して、第２のカメラ２０の第２のレンズ２１の相対温度が変化することで第１の画像に対して第２の画像の倍率が変化する。また、第１のカメラ１０の第１のレンズ１１と第２のカメラ２０の第２のレンズ２１の温度が等しくとも、第１のカメラ１０の第１のレンズ１１と第２のカメラ２０の第２のレンズ２１の温度に対する倍率変化の感度が異なることで第１の画像に対して第２の画像の倍率が変化する。この倍率変化に対応するため、画像処理部（歪変換処理部５０Ｂ）は、画像比較部（画像比較部３０）により算出された補正処理係数ｋにより、第２の画像を補正する。補正処理係数ｋによる第２の画像の補正は、第２の画像の倍率変化を補正する処理である。

　２つのカメラの後段には、画像比較部３０が設けられる。画像比較部３０には、第１のカメラ１０から第１の画像が入力され、第２のカメラ２０から第２の画像が入力される。
この画像比較部３０は、第１の画像と第２の画像とを比較し、第１の方向とは異なる第２の方向における、第１の画像と第２の画像との違いに基づいて、第２の画像を補正するための補正処理係数ｋを算出する。本実施の形態では、２つのカメラが並ぶ略水平方向を第１の方向とし、第１の方向に対する略垂直方向と第２の方向とする。ただし、後述するように第２の方向を略垂直方向に限らず、水平方向に対して４５度程度まで傾けた方向（後述する図１１の（５）、（６）を参照）としてもよい。

　画像比較部３０は、２つのカメラの並ぶ方向に対して略垂直な方向に第１の画像、第２の画像を比較し、比較結果を歪変換処理部５０Ｂに出力する。本実施の形態では、補正処理係数ｋで表される所定の倍率を第２の画像の全体に掛けることでの第２の画像の画像サイズを補正することができる。このため、第１の画像の所定領域に対して第２の画像の所定領域の画像サイズが違うことは、第１の画像に対して第２の画像の倍率が違うことと等価である。そこで、画像比較部３０は、補正処理係数ｋを算出するために、第１の画像と第２の画像からそれぞれ所定の大きさの領域を抽出する。抽出された領域の大きさは、後述する図３に示すように、２つの画像に共通して映る対象物である画像の一部の大きさであってもよいし、後述する図１１の（１）、（２）に示すように２つの画像ごとに画像全体の大きさであってもよい。

　ここでは、第１の画像と第２の画像から抽出される領域を、第１の画像と第２の画像から抽出された一部の領域（例えば、後述する図３に示す領域Ｒ１，Ｒ２）であると想定する。そして、画像比較部３０は、第２の画像に所定の倍率を掛けることで、第１の画像と第２の画像のそれぞれの画像サイズが一致するような画像倍率を算出する。以下の説明では、この画像倍率を「補正処理係数ｋ」と呼ぶ。そして、歪変換処理部５０Ｂは、画像比較部３０から入力された補正処理係数ｋを用いて、第２の画像の倍率変化を補正する。補正処理係数ｋの詳細な説明は後述する。

　歪変換処理部５０の後段には、輝度補正部５１、画像補間部５２、及び輝度情報生成部５３が設けられる。輝度補正部５１、画像補間部５２、及び輝度情報生成部５３は、それぞれ歪変換処理部５０Ａから出力される歪変換後の画像に対して所定の処理を行う経路と、歪変換処理部５０Ｂから出力される歪変換、かつ倍率変化が補正された後の画像に対して所定の処理を行う経路に対して設けられる。

　輝度補正部５１は、輝度補正処理として、例えば、２つのカメラのゲインの違い、又は第１のカメラ１０内の画素と第２のカメラ２０内の画素間のゲインの違いを補正する処理を行う。この補正により、第１の画像と第２の画像に映る同じ対象物の輝度が同じとなる。
　画像補間部５２は、画像補間処理として、例えば、ＲＡＷ画像からカラー画像に変換するデモザイキング処理を行う。

　輝度情報生成部５３は、後段の視差画像生成部６０による視差画像の生成を可能とするため、輝度情報を生成する処理として、例えば、カラー画像である第１の画像と第２の画像を、それぞれ輝度の画像に変換する。輝度の画像への変換時に、第１の画像と第２の画像のそれぞれに対して輝度情報が生成される。

　第１の画像と第２の画像に対して、輝度補正部５１、画像補間部５２、及び輝度情報生成部５３の各処理が行われることで、輝度情報生成部５３から出力される第１の処理画像、第２の処理画像が得られる。画像処理装置１では、第１の処理画像、第２の処理画像がいずれも輝度画像と同じであるが、各画像に対して所定の処理が行われることから「処理画像」と呼ぶ。

　視差検出部（視差画像生成部６０）は、少なくとも歪が変換され、かつ輝度情報が生成された第１の画像（すなわち、第１の処理画像）と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された第２の画像（すなわち、第２の処理画像）とに基づいて、第１の画像と第２の画像に映る対象物の視差を検出する。ここで、視差画像生成部６０が視差を検出する第１の画像と第２の画像に映る対象物は、第１の画像に基づいて処理された第１の処理画像と、第２の画像に基づいて処理された第２の処理画像とに映っている。このため、視差画像生成部６０は、第１の処理画像と第２の処理画像に基づいて、対象物の視差を検出するための視差画像を生成する。

　距離算出部７０は、視差画像生成部６０により検出された視差（上述した視差画像）に基づいて、第１の画像及び第２の画像に映る対象物までの距離を算出する。そして、距離算出部７０は、対象物までの距離を、不図示の車両制御部等に出力する。
　不図示の車両制御部は、対象物までの距離の算出結果に基づいて、車両を転舵して走行する方向を変更したり、対象物の手前で車両を停止したりする等の制御を行う。

　このような画像処理装置１は、２つのカメラで検出された画像を画像比較部３０で比較し、歪変換処理部５０Ｂが比較結果を用いて第２の画像の補正処理を行うことを特徴としている。これに対して、上述した先行文献１及び２に記載された技術は、測距誤差の補正の考え方が本実施形態に係る技術と異なる。先行文献１及び２に記載された技術では、２つのレンズの温度変化に対して、２つのカメラから出力された画像が所定温度の条件となるように第１の画像、第２の画像の両方共に歪みが補正される。ただし、先行文献１及び２に記載された技術は、例えば、温度計で計測される温度がレンズ温度でないため画像の補正精度が低く、温度に対する像の変位量にレンズ間のばらつきがあるため、画像の変位量のばらつきを考慮して画像を補正できないなどの問題がある。それに対して、本実施形態に係る画像処理装置１では、２つのカメラで検出された実際の画像のずれを用いることで、画像を補正できるため、画像の補正精度を高めることができるという利点がある。

　次に、温度変化に伴ってカメラが撮像した画像が変化する様子と、本実施形態に係る補正アルゴリズムについて説明する。
　図２は、本実施形態に係る補正アルゴリズムを説明する図である。図２の上側には、黒点で表す対象物１００の像を第１のレンズ１１を介して第１の画像センサ１２が検出する様子と、対象物１００の像を第２のレンズ２１を介して第２の画像センサ２２が検出する様子が示される。ここで、車両の前方方向に対して第１のカメラ１０が右側に設置され、第２のカメラ２０が左側に設置されているとする。また、対象物１００として、例えば、移動する車両、人の他、路面に設置された信号機、ポール等の構造物等も想定される。

　また、図２の下側には、（１）センサ上の画像と、（２）補正処理後の画像の例が示される。図２の（１）には、第１の画像センサ１２及び第２の画像センサ２２上で検出される対象物１００の画像の例が示される。また、図２の（２）には、本実施形態に係る補正アルゴリズムを図２の(１)に示す画像に適用して補正した画像の例が示される。

　まず、第１のレンズ１１のレンズ温度が変化した場合に測距誤差が発生するメカニズムについて説明する。所定の温度条件で測定したときの第１のカメラ１０（第１のレンズ１１）に入射する対象物１００からの光線１１０、第２のカメラ２０（第２のレンズ２１）に入射する対象物１００からの光線１２０を一点鎖線で示している。所定の温度条件で測定した場合、第１の画像センサ１２、第２の画像センサ２２上の光線入射位置の差（視差）から対象物までの距離Ｄ０が検出される。これは、実際と等しい距離となる。

　ここで、第１のレンズ１１の温度が変化したときの第１のカメラ１０に入射する対象物１００の光線１１１を破線で示している。第１のレンズ１１の温度が変わった場合、第１のレンズ１１の屈折率変化やレンズ面間隔の変化などの影響を受け、第１のレンズ１１の画角に対する像高の関係がずれる。この場合、第１のレンズ１１によって光線１１０が光線１１１に変換され、第１の画像センサ１２上で像の位置が矢印１９の方向にずれて検出される。そして、対象物１００に対する測距の処理が、第１のレンズ１１の温度が変化する前の処理と同じである場合、対象物１００からの光線は二点鎖線で示す仮想光線１１２の画角に存在していると誤検出される。

　また、第２のレンズ２１の温度が変化していない状態で第２のカメラ２０に入射する対象物１００の光線１２１についても破線で示している。第２のレンズ２１によって光線１２０が光線１２１に変換され、第２の画像センサ２２上で像の位置が矢印２９の方向にずれて検出される。光線１２０と仮想光線１１２の交点が対象物１００の位置として誤検出され、この位置に基づいて、第１のレンズ１１と第２のレンズ２１を基点とした距離Ｄ１が算出され、画像処理装置１から距離Ｄ１が出力される。ここで、図２に示すように、対象物１００までの正しい距離Ｄ０と、誤って算出された距離Ｄ１とは一致しない。これが第１のレンズ１１の温度変化に伴う測距誤差が発生するメカニズムである。

　次に、本実施形態に係る補正アルゴリズムについて説明する。
　図２の（１）には、第１のレンズ１１の温度が変化すると第１の画像センサ１２上で対象物１００の像の位置が矢印１９の方向にずれて検出されることが示される。一方、第２の画像センサ２２上では、対象物１００の像の位置がずれて検出されていない。

　本実施形態に係る補正アルゴリズムを適用することで、図２の（１）のセンサ上の画像にて検出された２つの画像を基に補正情報（後述する補正処理係数ｋ）が生成される。本実施形態では、補正情報に基づいて、第２の画像センサ２２で検出された対象物１００の像高（画像サイズ）の倍率が変換される。

　そして、図２の（２）の補正処理後の画像に示すように、第２の画像センサ２２上の対象物１００の画像が矢印１９と同じ方向である矢印２９の方向にずれて補正される。第２の画像センサ２２上の対象物１００の画像が補正されると、光線１２０が光線１２１、仮想光線１２２に変化したと推定することができる。

　このため、仮想光線１１２と仮想光線１２２の交点が対象物１００の位置として検出される。仮想光線１１２と仮想光線１２２の交点は、光線１１０，１２０の交点の位置が矢印９１の方向にずれた位置となる。そして、仮想光線１１２と仮想光線１２２の交点の位置に基づいて距離Ｄ２が算出される。このとき、距離Ｄ０と距離Ｄ２はほとんど同じ距離となる。距離Ｄ０と距離Ｄ２に発生する測距誤差は実用上、問題とならない。

　このように、レンズの温度変化に伴う画像変化は、第１の画像と第２の画像の像の変位量を合わせることで測距誤差を低減することが示された。以上のようなレンズの特性は、レンズが広角となるほど大きな像高変化を起こすため、レンズの倍率が変わったと解釈することができる。以降の説明では、レンズの温度に伴う画像（像高）変化をレンズ倍率変化と呼ぶ。

　なお、本処理により、対象物１００の左右の検出位置が矢印９１の方向にずれるが、画角の変化としては小さく、小数点２桁目の画角が変化する程度にすぎない。このため、例えば、車両やロボットに本実施形態に係る画像処理装置１を搭載し、適用することについては問題とならない。

　次に、本実施形態に係る補正アルゴリズムで用いられる補正情報の求め方について説明する。
　図３は、温度変化に伴うセンサ上の画像の変化を示す図である。図３の右側には、第１の画像センサ１２で検出される画像の変化の例が示され、図３の左側には、第２の画像センサ２２で検出される画像の変化の例が示される。

　第１の画像センサ１２と第２の画像センサ２２には、それぞれ第１のレンズ１１の温度が変化する前に検出された対象物１００のセンサ上の位置が黒点１０００として示されている。破線で示す円Ｃ０は黒点１０００と同じ像高位置を表している。この円Ｃ０は、第１のレンズ１１と第２のレンズ２１が同じ温度である場合、又は第１の画像センサ１２と第２の画像センサ２２が同じ感度である場合のいずれであっても、水平中心に対する黒点１０００の位置が同じであることを表している。なお、カメラの温度が変化することにより画像センサの感度が変わる。このため、レンズの温度の変化だけでなく、画像センサの感度の変化に応じても第２の画像の補正が行われる。

　第１のレンズ１１の温度が変化した後において、第１の画像センサ１２に検出された対象物１００のセンサ上の位置と、第２のレンズ２１の温度が変化した後において、第２の画像センサ２２に検出された対象物１００のセンサ上の位置とが、黒点１００１として示されている。また、実線の円Ｃ１は黒点１００１と同じ像高位置をそれぞれ示している。
つまり、円Ｃ１は、第１のレンズ１１の温度と第２のレンズ２１の温度とがそれぞれ異なる場合、又は第１の画像センサ１２の感度と第２の画像センサ２２の感度とがそれぞれ異なる場合に、水平中心に対する黒点１００１の位置が異なることを表している。

　また、第１の画像センサ１２と第２の画像センサ２２には、２つのレンズの温度変化に伴う黒点１０００から黒点１００１への変位量がそれぞれ変位量ｄｘ１、変位量ｄｘ２として示されている。２つのレンズの倍率の変化が異なるため、第１の画像センサ１２と第２の画像センサ２２に示された変位量ｄｘ１、変位量ｄｘ２が異なっている。つまり、変位量ｄｘ１から変位量ｄｘ２を減じると差分が生じる。

　そこで、図１に示した画像比較部３０は、変位量ｄｘ１と変位量ｄｘ２の関係を求める。この際、画像比較部（画像比較部３０）は、第１の画像が第２の方向に延びる領域Ｒ１の画像の変位量と、第２の画像が第２の方向に延びる領域Ｒ２の画像の変位量との差分を、第１の画像と、第２の画像との違いとし、画像処理部（歪変換処理部５０）が、第２の画像の第２の方向に延びる領域の変位量の差分をなくす補正を行うための倍率である補正処理係数ｋを算出する。

　なお、画像比較部３０の処理は、第１の画像と第２の画像の一部の領域の画像サイズに基づいて以下のように言い換えることもできる。すなわち、画像比較部（画像比較部３０）は、第２の方向に延びる第１の画像の一部の領域Ｒ１の画像サイズと、第２の方向に延びる第２の画像の一部の領域Ｒ２の画像サイズの差異を、第１の画像と、第２の画像との違いとし、補正処理係数ｋを算出する。補正処理係数ｋは、画像処理部（歪変換処理部５０）が、第２の画像の一部の領域の画像サイズの差異をなくす補正を行うための倍率である。

　そして、歪変換処理部５０Ｂが変位量ｄｘ１と変位量ｄｘ２の関係に応じた画像処理を行うことで２つのレンズの変化の差を補正することができる。ただし、水平方向の像の位置は対象物の距離に依存して変化する。このため、画像比較部３０は、対象物１００までの距離として予め分かっている情報を用いなければ、正確な変位量ｄｘ１と変位量ｄｘ２の関係を求めることができない。この結果、画像処理装置１は、水平方向の変位量ｄｘ１と変位量ｄｘ２だけで、例えば路上などで検出される情報に基づいて２つのレンズの変化の差を補正するのは困難である。

　このような課題に対して、本実施形態に係る画像比較部３０は、水平方向ではなく、垂直方向の円Ｃ０と円Ｃ１の差分をそれぞれ、変位量ｄｙ１、変位量ｄｙ２とする。そして、画像比較部３０は、垂直方向の変位量ｄｙ１と変位量ｄｙ２を用いて、水平方向の変位量ｄｘ１と変位量ｄｘ２の関係を求める。通常、レンズは光軸に対して回転対称の特性を有するため、変位量ｄｘ１と変位量ｄｙ１は同じ量となる。そして、変位量ｄｘ２と変位量ｄｙ２も同じ量となる。そこで、画像比較部３０は、水平方向の変位量ｄｘ１と変位量ｄｘ２を、垂直方向の変位量ｄｙ１と変位量ｄｙ２に変えたとしても、第１の画像と第２の画像の差を補正することが可能となる。

（像高変位量が線形に変化する場合）
　次に、変位量ｄｙ１と変位量ｄｙ２の関係から２つのレンズの変化の差を補正する方法について説明する。
　図４は、本実施形態に係る２つのレンズの変化の差の補正方法を説明する図である。ここでは、図３の第１の画像センサ１２と第２の画像センサ２２に示した領域Ｒ１、領域Ｒ２の変位量について説明する。なお、図４には、像高変位量が線形に変化する場合が示される。

　図４の（１）は、第２のレンズ１２の温度に対する第１のレンズ１１の温度変化Δｔに伴うカメラの像高の変位量の垂直画角依存性を示すグラフである。このグラフの横軸は垂直画角を示し、縦軸は像高変位量を示している。図中には、第１のカメラ１０の特性Ｓ１１、第２のカメラ２０の特性Ｓ１２が直線で示されている。ただし、図４の（１）に示す特性Ｓ１１，Ｓ１２を直接検出することは困難である。

　そこで、本実施形態に係る画像比較部３０は、図４の（２）に示す第２のレンズ１２の温度に対する第１のレンズ１１の温度変化Δｔに伴うカメラの像高変位量差分の垂直画角依存性を示すグラフを用いる。このグラフの縦軸は、２つのカメラの像高変位量の差分を示している。像高変位量の差分は、例えば、画像比較部３０が対象物１００の位置の違いを検出すればよい。

　そして、画像比較部３０は、例えば、視差マッチング処理のように、第１の画像に対して第２の画像を垂直方向にずらし、２つの画像が最も一致するずらし量を検出する。なお、画像比較部３０は、第１の画像と第２の画像とを比較することで特徴点の位置を求めることもできる。

　図４の（２）に示すグラフの点は、特定の対象物１００以外にも、所定の像を用いて検出したものを黒点で表現している。第１の画像と第２の画像に映り込む構造物であれば、像高が検出されるので、黒点の数は５点に限らず、多数設けられてもよい。このように、変位量の差分は、第１の画像に映る対象物の位置と、第２の画像に映る対象物の位置との違いを示す黒点として表される。そこで、画像比較部（画像比較部３０）は、第１の画像に映る対象物の位置と、第２の画像に映る対象物の位置との違いに基づいて変位量の差分を検出する。そして、画像比較部３０は、図４の（１）と（２）で用いた第１の画像と第２の画像のうち、第２の画像に対して画像の倍率を変化させるための補正処理係数ｋを算出する。

　図４の（３）は、第２の画像を最適倍率としたときの像高変位量の垂直画角依存性を示している。図４の（３）は、第２のレンズ１２の温度に対する第１のレンズ１１の温度変化Δｔに伴うカメラの像高の変位量の垂直画角依存性を示すグラフであり、第２の画像を最適倍率とした時に第２のカメラ２０の特性Ｓ１２が特性ＳＣ１に変化する様子を表している。最適倍率とすると、像高変位量が第１のカメラ１０の特性Ｓ１１と、第２のカメラ２０の特性ＳＣ１とが同じ特性となる。つまり、図４の（１）に示した特性Ｓ１２に対して補正処理係数ｋを掛けると、特性Ｓ１２の傾きが大きくなった特性ＳＣ１の傾きと、第１のカメラ１０の特性Ｓ１１の傾きが同じとなる。

　図４の（４）は、第２の画像を最適倍率としたときの像高変位量差分の垂直画角依存性を示している。第１のカメラ１０の特性Ｓ１１と第２のカメラ２０の特性ＳＣ１が同じであるため、図４の（４）に示すように、垂直画角に依らず像高変位量が一定（ほぼゼロ）となることが示される。

　本実施形態では、画像比較部３０が最適倍率となる補正処理係数ｋを求めるための倍率誤差信号ＭＥＳ（Magnificaion Error Signal）を定義する。以下の説明では、倍率誤差信号ＭＥＳを、「ＭＥＳ」と略称することもある。ＭＥＳは、次式（１）で表される。式（１）に示すＳ（＋θ）、Ｓ（－θ）は、垂直画角θでの像高変位量の差分を示している。
　ＭＥＳ＝Ｓ（＋θ）－Ｓ（－θ）　…（１）

　図５は、倍率誤差信号ＭＥＳのｋ依存性を示すグラフである。このグラフの横軸は補正処理係数ｋ（倍率）を示し、縦軸は倍率誤差信号ＭＥＳを示している。補正処理係数ｋの変化に伴って、倍率誤差信号ＭＥＳが変化する。

　図３には、Ｓ（＋θ）がｄｙ１－ｋ×ｄｙ２で表され、Ｓ（－θ）が－（ｄｙ１－ｋ×ｄｙ２）で表されることが示される。このため、ＭＥＳは、Ｓ（＋θ）－Ｓ（－θ）＝２（ｄｙ１－ｋ×ｄｙ２）と表すことができる。
　図４の（２）に示したグラフでは、Ｓ（＋θ）が正の値をとり、Ｓ（－θ）が負の値をとることが示される。ここで、例えば図４の（２）に示したグラフの場合、ＭＥＳ ＞ ０となる。そして、図４の（２）に示したグラフが左上がりのグラフの場合、ＭＥＳ ＜ ０となる。

　一方、補正処理係数ｋが最適値である場合には、図４の（４）に示したグラフでは、Ｓ（＋θ）がゼロ、Ｓ（－θ）がゼロの値をとるので、式（１）より、Ｓ（＋θ）－Ｓ（－θ）＝０、すなわちＭＥＳはゼロのとき、ｄｙ１－ｋ×ｄｙ２＝０の関係であるので、補正処理係数ｋが、ｋ＝ｄｙ１／ｄｙ２と表される。

　図５に示すように、補正処理係数ｋが最適値よりも大きい場合には、ＭＥＳはマイナスとなる。そこで、画像比較部３０は、補正処理係数ｋを変えてＭＥＳを演算し、ＭＥＳがゼロとなる補正処理係数ｋ（最適値）を求める。画像比較部３０は、最適値として求めた補正処理係数ｋを歪変換処理部５０Ｂ（図１を参照）に出力する。

　画像処理部（歪変換処理部５０）は、第１のカメラ（第１のカメラ１０）と第２のカメラ（第２のカメラ２０）の温度が変化したことにより第１の画像に対して違いが生じる第２の画像を補正する。また、第１のカメラ（第１のカメラ１０）と第２のカメラ（第２のカメラ２０）の温度の変化によって、第１のカメラ（第１のカメラ１０）が有する第１の画像センサ（第１の画像センサ１２）の感度と、第２のカメラ（第２のカメラ２０）が有する第２の画像センサ（第２の画像センサ２２）の感度の差が生じる。このため、画像処理部（歪変換処理部５０）は、第１の画像センサ（第１の画像センサ１２）の感度と、第２の画像センサ（第２の画像センサ２２）の感度の差により、第１の画像に対して違いが生じる第２の画像を補正することができる。

　このように歪変換処理部５０Ｂは、補正処理係数ｋを用いることで、レンズの温度又はセンサの感度変化に伴う第２の画像の倍率変化を補正することができる。上述したように、レンズは光軸に対して回転対称の特性を有するため、垂直方向の倍率変化を補正した結果は水平方向に対しても有効である。

　なお、第２の画像の倍率変化はレンズとセンサの間隔が変化することでも発生する。本実施形態に係る補正アルゴリズムは、倍率変化を補正できるため、レンズとセンサの間隔変化に伴う画像の変化も補正することができる。例えば、レンズとセンサの間隔変化がそのまま倍率の変化なので、この倍率の変化を補正することで、間隔変化に伴う画像の変化を補正できる。

　ここまで画像比較部３０は、ＭＥＳの計算にあたって垂直画角±θを用いるものとして説明した。ただし、画像比較部３０は、例えば、図４の（２）に示す黒点を多数（６個以上）検出した後、その黒点で補間した像高変位量差分の値を用いて、ＭＥＳがゼロとなる補正処理係数ｋを算出してもよい。

　次に、第１のカメラ１０と第２のカメラ２０に対して他の外乱があった場合であっても本実施形態に係る補正アルゴリズムが有効であることを説明する。ここまで２つのレンズは光軸に対して回転対称の特性を有するため、変位量ｄｘ１と変位量ｄｙ１は同じ量となると説明してきた。ただし、第１のカメラ１０と第２のカメラ２０において部品ずれが発生すると、変位量ｄｘが変位量ｄｙと一致しない場合がある。また、第１のカメラ（第１のカメラ１０）の検出倍率と、第２のカメラ（第２のカメラ２０）の検出倍率とが経時的に変化する場合がある。この場合であっても、画像処理部（歪変換処理部５０）は、第１の画像に対して違いが生じる第２の画像を補正することができる。
ここでは、第１のカメラ（第１のカメラ１０）の検出倍率と、第２のカメラ（第２のカメラ２０）の検出倍率とが経時的に変化する例について、図６を参照して説明する。

　図６は、レンズとセンサの部品位置の関係を示す図である。図６の右側には、第１のレンズ１１と第１の画像センサ１２が配置され、図６の左側には第２のレンズ２１と第２の画像センサ２２が配置される様子が示される。第１の画像センサ１２と第２の画像センサ２２は、Ｘ軸方向に並べて配置されている。

　ここで、例えば、第２の画像センサ２２がＹ軸方向にずれた場合（矢印４１）、第２の画像センサ２２がＹ軸を回転軸として回転した場合（矢印４２）、第２の画像センサ２２の光軸がＹ方向にずれた場合（矢印４３）のいずれにおいても、第２の画像センサ２２で検出される垂直方向の像高変位量がずれるため、垂直方向の像高変位量差分もずれてしまう。像高変位量差分にずれを生じさせる、これら３つの要因に対しても本実施形態に係る補正アルゴリズムが有効であることを以下に説明する。なお、第１のカメラ１０と第２のカメラ２０を車両に取り付けた当初の位置が、本来の取り付け位置からずれたことにより、第１のカメラ１０の検出倍率と、第２のカメラ２０の検出倍率とが変化した場合であっても、本実施形態に係る補正アルゴリズムが有効である。

（第２の画像センサがＹ方向に移動する場合）
　図７は、図６に示す第２の画像センサ２２がＹ方向に移動した場合（図６の矢印４１）における像高変位量と像高変位量差分の補正効果を示す図である。なお、図７の（１）、（２）、（３）、（４）は、いずれも図４の（１）、（２）、（３）、（４）と同様の内容を示している。

　図７の（１）のグラフに示した第１のカメラ１０の特性Ｓ１１は図４に示した特性Ｓ１１と同じである。これに対し、図７の（１）のグラフに示した第２のカメラ２０の特性Ｓ２２は、垂直方向の像高変位量の下側にシフトしている点が図４に示す例と異なる。このため、図７の（２）のグラフに示す像高変位量差分が上側にシフトする。このときのＭＥＳは、図４の（２）のグラフを参照して計算したのと同様にプラスとなる。

　そこで、画像比較部３０は、ＭＥＳがゼロとなる補正を行うと、図７の（３）、（４）のグラフに示すように、像高変位量と像高変位量差分が変化する。図７の（３）に示す第１のカメラ１０の特性Ｓ１１と、第２のカメラ２０の特性ＳＣ２の傾きが一致することで、図７の（４）に示すように、像高変位量差分が垂直画角に依らず一定となる。ここで、図７の（４）に示すように、像高変位量差分にはオフセットが発生しているが、視差検出には影響ない。

　一方で、第１の画像と第２の画像の垂直方向のオフセットは２つの画像の位置ずれを示しているため、検出する対象物が異なってしまう可能性がある。これに対しては、例えば歪変換処理部５０Ａ又は歪変換処理部５０Ｂで第１の画像又は第２の画像を垂直方向にオフセットすることで、補正することができる。

（第２の画像センサが回転する場合）
　図８は、第２の画像センサ２２がＹ軸を回転軸として回転した場合（図６の矢印４２）における像高変位量と像高変位量差分の補正効果を示す図である。なお、図８の（１）～（４）は、いずれも図４（１）～（４）と同様の内容を示している。

　第２の画像センサ２２が回転していない場合、光軸に沿って入射した像光が第２のレンズ２１の光軸に対して対称の位置で第２の画像センサ２２に受像される。しかし、第２の画像センサ２２が像光を受像する面が第２のレンズ２１の光軸に対して角度を持って回転すると、第２のレンズ２１の光軸に対して対称の位置であっても、第２のレンズ２１から入射した像光が第２の画像センサ２２に受像するまでの距離が異なるため、第２の画像センサ２２の像高が変わってしまう。

　図８の（１）のグラフに示した第１のカメラ１０の特性Ｓ１１は図４に示した特性Ｓ１１と同様である。ただし、図８の（１）のグラフに示す第２のカメラ２０の特性Ｓ３２は、倍率変化による特性Ｓ１２（図４の（１）を参照）と、第２の画像センサ２２のＹ軸を回転軸とした回転による特性との合成となっている。そして、第２の画像センサ２２の回転による特性は、非線形かつ垂直画角に対して略対称である。このため、図８の（２）のグラフに示す像高変位量差分が非線形の形状となり、ＭＥＳがプラスとなる。

　そこで、画像比較部３０は、ＭＥＳがゼロとなる補正を行うと、図８の（３）、（４）のグラフに示すように、倍率変化による特性Ｓ１２を抑制できる。図８の（３）には、最適倍率とした時の第２のカメラ２０の特性ＳＣ１、歪変換処理部５０Ｂで処理される第２のカメラ２０の特性ＳＣ３が示される。図４を参照して説明したように、第１のカメラ１０の特性Ｓ１１と、第２のカメラ２０の特性ＳＣ１とが同じ特性となる。一方、第１のカメラ１０の特性Ｓ１１と、歪変換処理部５０Ｂで処理される第２のカメラ２０の特性ＳＣ３とは一致しない。このため、第２の画像センサ２２のＸ軸方向の回転ずれによる特性のみが残留するが、この特性は視差画像生成部６０による視差検出に影響しない。

　なお、歪変換処理部５０Ａ又は歪変換処理部５０Ｂが垂直方向の像高変位成分を基に第１の画像又は第２の画像を補正することで、第２の画像センサ２２がＹ軸を回転軸として回転した場合のＭＥＳの補正対応をすることもできる。

　次に、第２のレンズ２１の光軸がＹ方向にずれた場合（図６の矢印４３）の補正効果について説明する。
　第２のレンズ２１の光軸ずれは、第２の画像センサ２２のＹ軸方向ずれとＸ軸方向の回転ずれの組合せで表すことができる。このため、歪変換処理部５０Ｂは、第２のレンズ２１の温度に伴う倍率変化を補正することができる。

　本実施形態では、図４、図７及び図８を参照した説明した像高変位は、垂直画角に対して線形に変化するものとして説明した。ただし、垂直画角に対して像高が非線形に変化しても、像高変位量と像高変位量差分の補正効果がある。ここで、垂直画角に対して像高が非線形に変化する場合の補正効果について、図９を参照して説明する。

（像高変位量が非線形に変化する場合）
　図９は、垂直画角に対して像高変位量が非線形に変化するような場合における像高変位量と像高変位量差分の補正効果を示す図である。
　図９の（１）のグラフには、垂直画角に対して像高変位量が非線形に変化した場合における第１のカメラ１０の特性Ｓ４１と、第２のカメラ２０の特性Ｓ４２の例が示される。

　垂直画角に対して像高変位量が非線形に変化した場合においても、像高変位量は垂直画角の０ｄｅｇに対して対称である。そこで、画像比較部３０は、垂直画角に対する所定の像高を検出し、像高変位量差分を求めてＭＥＳを演算すればよい。像高変位量差分は、図９の（２）のグラフに示される。このグラフは、非線形に変化したものとなる。

　ここで、図９の（３）のグラフには、第２のカメラ２０を最適倍率とした時に、第２のカメラ２０の特性Ｓ４２が特性ＳＣ４に変化する様子が示される。この結果、像高変位量が第１のカメラ１０の特性Ｓ１１と、第２のカメラ２０の特性ＳＣ４とで同じ特性となる。

　図９の（４）のグラフには、図４の（４）と同様のグラフが示される。画像比較部３０は、ＭＥＳがゼロとなる補正処理係数ｋを求めることで、垂直画角によらず像高変位量差分がゼロとなるため、第２のレンズ２１の温度に伴う倍率変化を補正することができる。

　また、本実施形態では図３の領域Ｒ１、領域Ｒ２に示した、水平画角が略０ｄｅｇである情報を用いたが、他の領域を用いてもよい。
　図１０は、第１のレンズ１１と第２のレンズ２１の水平方向の各位置における垂直方向の像高の変位の例を示す図である。

　図１０の右側には、第１のレンズ１１による垂直方向の像高の変位の例が示され、図１０の左側には、第２のレンズ２１による垂直方向の像高の変位の例が示される。図中の垂直中心は、垂直画角の０ｄｅｇの位置を表し、水平中心は、水平画角の０ｄｅｇの位置を表す。図１０より、２つのレンズによる像高の変位は、各レンズの垂直中心付近であれば、水平中心からの距離によらず垂直方向の像高の変位が小さいことが示される。

　一方、各レンズの垂直中心からプラス方向及びマイナス方向に離れるにつれて垂直方向の像高の変位が大きくなることが示される。垂直方向の像高は、水平画角によらず垂直画角のみに依存して変位するためである。そこで、２つのレンズによる各位置での像高の変位の特性を踏まえて、画像比較部３０がＭＥＳを算出する際、２つのレンズの様々な領域を対象として垂直方向の像高の情報を取得する。

　図１０に示した２つのレンズの水平方向の各位置における垂直方向の像高の変位を踏まえて、ＭＥＳの算出に用いられる領域について、図１１を参照して説明する。
　図１１は、ＭＥＳの算出に用いられる、２つのセンサで検出される様々な領域の例を示す図である。

　図１１の（１）、（３）、（５）、（７）には、第２の画像センサ２２で検出される領域の例が示され、図１１の（２）、（４）、（６）、（８）には、第１の画像センサ１２で検出される領域の例が示される。図１１の（１）～（８）には、図１０に示したのと同様に、各センサの垂直中心、水平中心に対するプラス及びマイナスを付記する。なお、図面が煩雑になるのを避けるため、各センサの垂直中心、水平中心の記載は省略する。

　ここで、図１１の（１）、（２）には、各センサの全面の情報（領域Ｒ１１，Ｒ１２）が用いられることが示される。領域Ｒ１１，Ｒ１２は、各センサの全面に含まれているが、水平方向に対する垂直方向に同じ対象物が含まれる場合、画像比較部３０が垂直方向の変化を用いて画像を比較する点において、図４と図５に示したＭＥＳと補正処理係数ｋを算出する処理と違いはない。

　図１１の（３）、（４）には、各センサの０ｄｅｇ以外の水平画角の情報が用いられることが示される。例えば、０ｄｅｇの水平中心に対してマイナス方向（左端）に寄った位置（領域Ｒ２１，Ｒ２２）の情報が用いられることが示される。領域Ｒ２１，Ｒ２２は、水平方向に片寄った位置にあるが、領域Ｒ２１，Ｒ２２に同じ対象物が含まれる場合において、図４と図５に示したＭＥＳと補正処理係数ｋを算出する処理と違いはない。

　図１１の（５）、（６）には、各センサの斜め方向の情報（領域Ｒ３１，Ｒ３２）が用いられることが示される。領域Ｒ３１，Ｒ３２は、水平方向に対して斜めであるが、領域Ｒ３１，Ｒ３２に同じ対象物が含まれる場合、画像比較部３０が垂直方向の変化を用いて画像を比較する点において、図４と図５に示したＭＥＳと補正処理係数ｋを算出する処理と違いはない。

　図１１の（７）、（８）には、各センサの０ｄｅｇの垂直画角に対して対称な位置の情報（領域Ｒ４１，Ｒ４２）が用いられることが示される。領域Ｒ４１，Ｒ４２に同じ対象物が含まれる場合、画像比較部３０が垂直方向の変化を用いて画像を比較する点において、図４と図５に示したＭＥＳと補正処理係数ｋを算出する処理と違いはない。そこで、画像比較部（画像比較部３０）は、第１のカメラ（第１のカメラ１０）が有する第１のレンズ（第１のレンズ１１）の光軸に対して対象となる第１の画像の複数の領域と、第２のカメラ（第２のカメラ２０）が有する第２のレンズ（第２のレンズ２１）の光軸に対して対象となる第２の画像の複数の領域とを用いて、変位量の差分を検出する。
　このように垂直画角±θ付近のみの対象物を含む領域Ｒ４１，Ｒ４２から補正処理係数ｋを算出し、倍率補正の処理を行うことで、画像処理装置１の処理負荷を低減させることも可能である。

　なお、垂直画角θは広角の方が像高変位量が大きいため、像高変位量差分を検出しやすい。また、誤差を低減する目的で、ＭＥＳを次式（２）に示す演算が行われてもよい。次式（２）の±θ１、±θ２は、例えば、図４の（２）に示したいずれの黒点であってもよい。
　ＭＥＳ＝［Ｓ（＋θ１）－Ｓ（－θ１）］＋［Ｓ（＋θ２）－Ｓ（－θ２）］＋…　（２）

＜計算機のハードウェア構成例＞
　次に、画像処理装置１の各装置を構成する計算機２００のハードウェア構成を説明する。
　図１２は、計算機２００のハードウェア構成例を示すブロック図である。計算機２００は、本実施の形態に係る画像処理装置１として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る画像処理装置１は、計算機２００（コンピューター）がプログラムを実行することにより、図１に示した各機能ブロックが連携して行う画像処理方法を実現する。

　計算機２００は、バス２４０にそれぞれ接続されたＣＰＵ（Central Processing Unit）２１０、ＲＯＭ（Read Only Memory）２２０、及びＲＡＭ（Random Access Memory）２３０を備える。さらに、計算機２００は、不揮発性ストレージ２５０及びネットワークインターフェイス２６０を備える。

　ＣＰＵ２１０は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ２２０から読み出してＲＡＭ２３０にロードし、実行する。ＲＡＭ２３０には、ＣＰＵ２１０の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がＣＰＵ２１０によって適宜読み出される。ただし、ＣＰＵ２１０に代えてＭＰＵ（Micro Processing Unit）を用いてもよく、ＣＰＵ２１０とＧＰＵ（Graphics Processing Unit）を併用してもよい。ＣＰＵ２１０がソフトウェアを実行することで図１に示した画像比較部３０、歪変換処理部５０、輝度補正部５１、画像補間部５２、輝度情報生成部５３、視差画像生成部６０、及び距離算出部７０の各機能が実現される。

　不揮発性ストレージ２５０としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ２５０には、ＯＳ（Operating System）、各種のパラメーターの他に、計算機２００を機能させるためのプログラムが記録されている。ＲＯＭ２２０及び不揮発性ストレージ２５０は、ＣＰＵ２１０が動作するために必要なプログラムやデータ等を記録しており、計算機２００によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。この不揮発性ストレージ２５０には、例えば、画像比較部３０により計算された画像補正係数ｋ、第１の画像と第２の画像、第１の処理画像と第２の処理画像、視差画像、対象物までの距離情報等が記録される。

　ネットワークインターフェイス２６０には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを装置間で送受信することが可能である。図１に示した距離算出部７０が算出した対象物までの距離情報は、ネットワークインターフェイス２６０により、不図示のＥＣＵ（Electronic Control Unit）や車両制御装置に送信され、車両の制御に用いられる。

＜画像処理装置１の処理の例＞
　図１３は、画像処理装置１の処理の例を示すフローチャートである。画像処理装置１は、各機能部の処理により、本実施の形態に係る画像処理方法を実施する。

　始めに、画像比較部３０は、第１のカメラ１０から入力した第１の画像と、第２のカメラ２０から入力した第２の画像とを比較し（Ｓ１）、補正処理係数ｋを算出する。次に、歪変換処理部５０Ａは、第１の画像の歪を変換し、歪変換処理部５０Ｂは、第２の画像の歪を変換する（Ｓ２）。なお、ステップＳ１，Ｓ２の処理は、並行して行われてもよい。

　次に、歪変換処理部５０Ｂは、補正処理係数ｋに基づいて、歪が変換された第２の画像の倍率を変換する（Ｓ３）。なお、ステップＳ２，Ｓ３は処理が反転してもよいし、同時に行われてもよい。

　次に、輝度補正部５１は、歪が変換された第１の画像の輝度を補正し、歪が変換され、かつ倍率が変換された第２の画像の輝度を補正する（Ｓ４）。
　次に、画像補間部５２は、歪が変換された第１の画像を補間し、歪が変換され、かつ倍率が変換された第２の画像を補間する（Ｓ５）。

　次に、輝度情報生成部５３は、歪が変換された第１の画像の輝度情報を生成し、歪が変換され、かつ倍率が変換された第２の画像の輝度情報を生成する（Ｓ６）。
　次に、視差画像生成部６０は、歪が変換された第１の画像の輝度情報と、が変換され、かつ倍率が変換された第２の画像の輝度情報とに基づいて、視差画像を生成する（Ｓ７）。
　次に、距離算出部７０は、視差画像に基づいて、対象物までの距離を算出する（Ｓ８）。

　ステップＳ１～Ｓ８の画像処理は、所定時間毎に繰り返し行われる。そして、不図示の車両制御部は、距離算出部７０により算出された対象物までの距離に基づいて、車両を制御する。なお、画像処理装置１と、車両制御部とを一体化した電子制御装置として構成することも可能である。

　以上説明した第１の実施形態に係る画像処理装置１では、従来のレンズの水平画角（６０度程度）に比べて、広角な水平画角（１２０度程度）のレンズを有するカメラの特に画角の端の部分（中心に対して±６０度）で顕著であった像高変位量差分を抑制する補正処理係数ｋを算出することで、第２の画像を補正することが可能となる。

　ここで、画像処理装置１の画像比較部３０は、第１の画像と第２の画像から検出した像高のうち、垂直画角の±θにおける垂直方向の像高変位量差分（例えば、ゼロ）が一定となるようにＭＥＳを算出する。このＭＥＳは、補正処理係数ｋに依存する値であり、補正処理係数ｋが最適値である場合にＭＥＳがゼロとなる。そして、歪変換処理部５０Ｂは、第２のカメラ２０が撮像した第２の画像の歪を変換するだけでなく、ＭＥＳがゼロとなる補正処理係数ｋを用いて、第２の画像の倍率変化を補正することができる。このように画像比較部３０は、水平方向の変位量ではなく、水平方向以外の方向の像高変位量差分に基づいて、各カメラの画像センサが検出した像の倍率の違いを検出する。そして、歪変換処理部５０Ｂは、一方のカメラの画像センサが検出した画像の倍率を、他方のカメラの画像センサが検出した画像に合わせる補正を行う。

　このため、従来は、画像の補正情報を記憶するための大容量の記憶装置を確保する必要があったのに対し、本実施の形態に係る画像処理装置１は、ステレオカメラ（２つのカメラ）の変化に合わせて、２つのカメラから出力される画像を補正することができる。そして、画像処理装置１は、画像の補正情報を記憶するための大容量の記憶装置を確保する必要がない。

　また、歪変換処理部５０の後段の各処理部は、第２のカメラ２０の第２の画像センサ２２が検出し、倍率変化が補正された第２の画像を、第１のカメラ１０が撮像した第１の画像と同様に扱える。このため、視差画像生成部６０により生成される視差画像の誤差が少なくなり、距離算出部７０により算出される対象物までの距離も正確に測距される。

　また、第２の画像センサ２２がＹ軸方向にずれた場合、第２の画像センサ２２がＹ軸を回転軸として回転した場合、第２の画像センサ２２の光軸がＹ方向にずれた場合、又は垂直画角に対して像高が非線形に変化する場合のいずれであっても、第２のカメラ２０の特性を第１のカメラ１０の特性に合わせることで、像高変位量差分が垂直画角に依らず一定となる。このため、視差画像生成部６０により生成される視差画像の誤差が少なくなり、距離算出部７０により算出される対象物までの距離も正確に測距される。

　なお、画像処理装置として様々な実施形態が想定される。以下に、本発明の第２～第４の実施形態に係る画像処理装置の構成例を説明する。各実施形態に係る画像処理装置において、処理対象として用いられる画像が異なるが、この画像を用いてＭＥＳがゼロとなる補正処理係数ｋを算出し、この補正処理係数ｋにより、一方の画像（第２のカメラ２０により撮影された画像、又はこの画像に所定の処理がなされた処理画像）が補正される点は、第１の実施形態に係る画像処理装置１と同様である。

［第２の実施形態］
　図１４は、本発明の第２の実施形態に係る画像処理装置１Ａの内部構成例を示すブロック図である。第２の実施形態に係る画像処理装置１Ａでは、第１の画像と第２の画像の比較結果である補正処理係数ｋを算出する点は、第１の実施形態に係る画像処理装置１と同様である。

　画像比較部３０は、図１に示した画像処理装置１と同じ第１のカメラ１０と第２のカメラ２０の後段に設けられる。そして、画像比較部３０は、画像倍率変換部１５０に補正処理係数ｋを出力する。

　画像倍率変換部１５０は、画像比較部３０及び輝度情報生成部５３Ｂの後段に配置される。第２の実施形態に係る画像処理部は、歪が変換された第２の画像の倍率を補正処理係数ｋにより変換する画像倍率変換部（画像倍率変換部１５０）である。そして、画像倍率変換部１５０は、画像比較部３０から入力する補正処理係数ｋを用いて、輝度情報生成部５３Ｂから入力する第２の処理画像の倍率を変換する。画像倍率変換部１５０は、倍率が変換された第２の処理画像を、視差画像生成部６０に出力する。

　視差検出部（視差画像生成部６０）は、少なくとも歪が変換され、かつ輝度情報が生成された第１の画像（すなわち、第１の処理画像）と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された第２の画像（すなわち、第２の処理画像）とに基づいて、第１の画像と第２の画像に映る対象物の視差を検出する。ここで、視差画像生成部６０は、輝度情報生成部５３Ａから入力する第１の処理画像と、画像倍率変換部１５０から入力する、倍率が変換された第２の処理画像とに基づいて、対象物の視差を検出するための視差画像を生成する。
　距離算出部７０は、視差画像生成部６０により生成された視差画像に基づいて、対象物までの距離を算出する。

　以上説明した第２の実施形態に係る画像処理装置１Ａの構成としても、２つのレンズの温度変化に伴う、第２の画像の倍率変化を補正することができる。ここで、画像比較部３０が第１の画像と第２の画像の比較結果である補正処理係数ｋを算出し、画像倍率変換部１５０は、補正処理係数ｋを用いて、第２の処理画像の倍率を変換する。このため、視差画像生成部６０で生成される対象物ごとの視差が正確に求められ、距離算出部７０により算出される対象物までの距離も正確に算出される。

［第３の実施形態］
　図１５は、本発明の第３の実施形態に係る画像処理装置１Ｂの内部構成例を示すブロック図である。第３の実施形態に係る画像処理装置１Ｂでは、輝度情報が生成された第１の処理画像と第２の処理画像を用いて補正処理係数ｋが算出される。

　第３の実施形態に係る画像処理装置１Ｂは、画像処理装置１が備える各機能部に加えて、画像比較部３１及び画像倍率変換部１５０を備える。ここで、輝度情報生成部５３は、第１のカメラ１０で撮像された画像から輝度情報を生成する輝度情報生成部５３Ａと、第２のカメラ２０で撮像された画像から輝度情報を生成する輝度情報生成部５３Ｂとを含むものとする。なお、画像処理装置１Ｂにおいても、第１の画像及び第２の画像に対する歪変換処理部５０の処理は図１に示した例と同様に行われるため、図１に示したような歪変換処理部５０Ａ，５０Ｂの符号は省略する。

　画像比較部３１は、図１に示した画像比較部３０に代えて設けられるものであり、輝度情報生成部５３の後段に配置される。画像比較部（画像比較部３１）は、少なくとも歪が変換され、かつ輝度情報が生成された第１の画像（すなわち、第１の処理画像）と、少なくとも歪が変換され、かつ輝度情報が生成された第２の画像（すなわち、第２の処理画像）とに基づいて補正処理係数ｋを算出する。このため、画像比較部３１には、輝度情報生成部５３Ａ，５３Ｂからそれぞれ輝度情報が生成された第１の処理画像と第２の処理画像が入力される、第１の処理画像は、第１のカメラ１０が撮像した画像が、輝度情報生成部５３Ａにより処理された画像である。また、第２の処理画像は、第２のカメラ２０が撮像した画像が、輝度情報生成部５３Ｂにより処理された画像である。画像比較部３１が第１の処理画像と第２の処理画像を比較して算出した補正処理係数ｋは、画像倍率変換部１５０に出力される。

　画像倍率変換部１５０は、画像比較部３１及び輝度情報生成部５３Ｂの後段に配置される。第３の実施形態に係る画像処理部は、補正処理係数ｋにより第２の画像の倍率を変換する画像倍率変換部（画像倍率変換部１５０）である。そして、画像倍率変換部１５０には、画像比較部３１から補正処理係数ｋが入力し、輝度情報生成部５３Ｂから第２の処理画像が入力する。そして、画像倍率変換部１５０は、補正処理係数ｋを用いて、第２の処理画像の倍率を変換する。画像倍率変換部１５０は、倍率が変換された第２の処理画像を、視差画像生成部６０に出力する。

　視差画像生成部６０は、輝度情報生成部５３Ａから入力する第１の処理画像と、画像倍率変換部１５０から入力する、倍率が変換された第２の処理画像とに基づいて、対象物の視差を検出するための視差画像を生成する。
　距離算出部７０は、視差画像生成部６０により生成された視差画像に基づいて、対象物までの距離を算出する。

　ここで、例えば、レンズの射影が中心射影（ｆｔａｎθ）の場合について検討する。この場合、歪変換処理部５０Ａ、歪変換処理部５０Ｂで射影は変更されない。そして、第１のカメラ１０で出力された第１の画像と、輝度情報生成部５３Ａで処理された第１の処理画像は同じとなる。同様に、第２のカメラ２０で出力された第２の画像と、輝度情報生成部５３Ｂで処理された第２の処理画像は同じとなる。このため、第３の実施形態で説明した各画像の状態は、第１の実施形態で説明した各画像の状態と同じとなり、第３の実施形態に係る補正アルゴリズムによっても第２の処理画像を補正できることが分かる。

　次に、他の射影について検討する。例えば、レンズの射影方式が正射影（ｆｓｉｎθ）であった場合を検討する。この場合、第１のカメラ１０で検出された第１の画像、第２のカメラ２０で検出された第２の画像に対して、中心射影（ｆｔａｎθ）への射影変換が行われる。例えば、第１の画像、第２の画像の像高変位量が、図４の（１）に示した特性で表されると、第１の処理画像と第２の処理画像の像高変位量は、図９の（１）に示したような特性で表される。このため、第３の実施形態に係る補正アルゴリズムで第２の処理画像を補正できることが分かる。

　第３の実施形態では中心射影と正射影を説明したが、中心射影と正射影の間の歪特性を有する立体射影、等立体角射影、等距離射影であっても同様の効果が得られる。また、本実施形態に係る画像倍率変換部１５０は、歪変換処理部５０と同じ機能を有し、第２の処理画像に対して歪を変換してもよい。また、歪変換処理部５０Ｂが、画像倍率変換部１５０と同じ機能を有し、第２の画像の倍率を変換してもよい。

　以上説明した第３の実施形態に係る画像処理装置１Ｂでは、輝度情報生成部５３Ａ，５３Ｂから出力される第１の処理画像と第２の処理画像の比較結果に基づいて補正処理係数ｋが算出され、画像倍率変換部１５０により第２の処理画像の倍率が変換される。ここで、第１の実施形態に係る画像処理装置１では、画像比較部３０が補正処理係数ｋを算出した後、歪変換処理部５０Ｂが第２のレンズ２１による歪と、第２の画像の倍率変化を補正していたのに対し、第３の実施形態に係る画像処理装置１Ｂでは、既に第２の画像の歪が変換された第２の処理画像の倍率だけを補正する点が異なる。このため、画像処理装置１Ｂでは、例えば、第１のカメラ１０と第２のカメラ２０、及び機能部５０～５３が一体に構成されている場合であっても、歪変換処理部５０Ｂの処理を変える必要がない。

［第４の実施形態］
　図１６は、本発明の第４の実施形態に係る画像処理装置１Ｃの内部構成例を示すブロック図である。第３の実施形態では、第１の処理画像と第２の処理画像を画像比較部３１が比較し、比較結果を基に画像倍率変換部１５０が第２の処理画像の画像倍率を変換した。
これに対して第４の実施形態に係る画像処理装置１Ｃでは、画像倍率変換部１５０を不要とし、画像比較部３１の比較結果が歪変換処理部５０Ｂに出力される構成とする。

　第４の実施形態に係る画像処理装置１Ｃは、第３の実施形態に係る画像処理装置１Ｂが備える各機能部のうち、画像倍率変換部１５０を除いた構成としている。

　画像比較部３１は、図１５に示した画像処理装置１Ｂと同じ輝度情報生成部５３Ａ，５３Ｂの後段に設けられる。画像比較部（画像比較部３１）は、少なくとも歪が変換され、かつ輝度情報が生成された第１の画像（すなわち、第１の処理画像）と、少なくとも歪が変換され、かつ輝度情報が生成された第２の画像（すなわち、第２の処理画像）とに基づいて補正処理係数ｋを算出する。そして、画像比較部３１は、歪変換処理部５０Ｂと画像倍率変換部１５０から出力される第１の処理画像と第２の処理画像に基づいて補正処理係数ｋを算出し、この補正処理係数ｋを歪変換処理部５０Ｂに出力する。

　第４の実施形態に係る画像処理部は、第１の画像の歪を変換し、第２の画像の歪を変換し、かつ第２の画像の倍率を補正処理係数ｋにより変換する歪変換処理部（歪変換処理部５０Ｂ）である。この歪変換処理部５０Ｂは、第２のカメラ２０で検出された第２の画像の歪を変換し、画像比較部３１から入力した補正処理係数ｋに基づいて、第２の画像の倍率変化を補正する。以降の処理は、第１の実施形態に係る画像処理装置１と同様である。

　例えば、視差検出部（視差画像生成部６０）は、少なくとも歪が変換され、かつ輝度情報が生成された第１の画像（すなわち、第１の処理画像）と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された第２の画像（すなわち、第２の処理画像）とに基づいて、第１の画像と第２の画像に映る対象物の視差を検出する。ここで、視差画像生成部６０は、輝度情報生成部５３Ａから入力する第１の処理画像と、輝度情報生成部５３Ｂから入力する、歪変換処理部５０Ｂにより倍率が変換された第２の処理画像とを用いて、対象物の視差を検出するための視差画像を生成する。
　距離算出部７０は、視差画像生成部６０により生成された視差画像に基づいて、対象物までの距離を算出する。

　以上説明した第４の実施形態に係る画像処理装置１Ｃの構成としても、２つのレンズの温度変化に伴う、第２の画像の倍率変化を補正することができる。この時、画像比較部３１による第１の画像と第２の画像の比較結果に基づいて、歪変換処理部５０Ｂの補正処理係数ｋが変更され、第１の画像と第２の画像の像高の差分が無くなる。このため、視差画像生成部６０で生成される対象物ごとの視差が正確に求められ、距離算出部７０により算出される対象物までの距離も正確に算出される。

　第４の実施形態に係る画像処理装置１Ｃでは、画像比較部３１が第１の処理画像と第２の処理画像に基づいて補正処理係数ｋを算出したことにより、歪変換処理部５０Ｂから出力される第２の画像の倍率変化が補正される。倍率変化が補正された第２の処理画像が後段の処理を経て第２の処理画像として画像比較部３１に入力すると、画像比較部３１は、第２の画像の倍率変化を補正しない補正処理係数ｋを算出してしまう。このため、画像比較部３１により、一旦、補正処理係数ｋが算出された後は、一定期間は、画像比較部３１の処理が停止する。そして、一定期間後、再び、画像比較部３１の処理が再開される。

　なお、本発明は上記した実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
　例えば、上述した各実施形態は本発明を分かりやすく説明するために画像処理装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　さらに、上述した実施形態ではレンズの温度変化に伴う倍率変化を補正する処理を説明したが、２つのカメラの倍率が経時的に変化しても同様の効果が得られる。
　また、上述した実施の形態では、画像の水平方向と垂直方向の倍率の両方を変換する処理を説明したが、変形例に係る画像処理装置が、視差を検出する水平方向のみの倍率を変換しても、上述した実施の形態に係る処理と同様の効果が得られる。この場合、画像処理部（歪変換処理部５０）は、第２の画像を少なくとも第１の方向に補正する。言い換えれば、視差を検出する方向の倍率を変換しても、上述した実施の形態に係る処理と同様の効果が得られる。
　さらに、上述した各実施の形態に係る画像処理装置は、リアルタイムでの画像の補正処理が可能である。それ以外にも、上述した各実施の形態に係る画像処理装置は、例えば温度情報や時間情報を基に画像を補正してもよいし、ＭＥＳが所定量ずれたことをモニタしておき、ＭＥＳが所定量ずれたタイミングで画像を補正してもよい。

　１…画像処理装置、１０…第１のカメラ、１１…第１のレンズ、１２…第１の画像センサ、２０…第２のカメラ、２１…第２のレンズ、２２…第２の画像センサ、３０…画像比較部、５０Ａ，５０Ｂ…歪変換処理部、５１…輝度補正部、５２…画像補間部、５３…輝度情報生成部、６０…視差画像生成部、７０…距離算出部、１００…対象物

Claims (14)

1. 　第１の方向に並んで配置される第１のカメラ及び第２のカメラを備えるステレオカメラから入力される、前記第１のカメラが有する第１の画像センサが検出した第１の画像と、前記第２のカメラが有する第２の画像センサが検出した第２の画像とを比較し、前記第１の方向とは異なる第２の方向における、前記第１の画像と前記第２の画像との違いに基づいて、前記第２の画像を補正するための補正処理係数を算出する画像比較部と、
   　前記画像比較部により算出された前記補正処理係数により、前記第２の画像を補正する画像処理部と、を備える
   　画像処理装置。
2. 　前記画像比較部は、前記第１の画像が前記第２の方向に延びる領域の画像の変位量と、
   前記第２の画像が前記第２の方向に延びる領域の画像の変位量との差分を、前記第１の画像と、前記第２の画像との違いとし、前記画像処理部が、前記第２の画像の前記第２の方向に延びる領域の前記変位量の差分をなくす補正を行うための倍率である前記補正処理係数を算出する
   　請求項１に記載の画像処理装置。
3. 　前記画像比較部は、前記第２の方向に延びる前記第１の画像の一部の領域の画像サイズと、前記第２の方向に延びる前記第２の画像の一部の領域の画像サイズの差異を、前記第１の画像と、前記第２の画像との違いとし、前記画像処理部が、前記第２の画像の一部の領域の前記画像サイズの差異をなくす補正を行うための倍率である前記補正処理係数を算出する
   　請求項１に記載の画像処理装置。
4. 　前記画像処理部は、前記第１のカメラの検出倍率と、前記第２のカメラの検出倍率とが経時的に変化することにより前記第１の画像に対して違いが生じる前記第２の画像を補正する
   　請求項２に記載の画像処理装置。
5. 　前記画像処理部は、前記第１のカメラと前記第２のカメラの温度が変化したことにより、前記第１の画像に対して違いが生じる前記第２の画像を補正する
   　請求項２に記載の画像処理装置。
6. 　前記画像処理部は、前記第１のカメラと前記第２のカメラの温度の変化によって生じる、前記第１のカメラが有する第１の画像センサの感度と、前記第２のカメラが有する第２の画像センサの感度の差により、前記第１の画像に対して違いが生じる前記第２の画像を補正する
   　請求項５に記載の画像処理装置。
7. 　前記画像比較部は、前記第１の画像に映る対象物の位置と、前記第２の画像に映る対象物の位置との違いに基づいて前記変位量の差分を検出する
   　請求項２に記載の画像処理装置。
8. 　前記画像比較部は、前記第１のカメラが有する第１のレンズの光軸に対して対象となる前記第１の画像の複数の領域と、前記第２のカメラが有する第２のレンズの光軸に対して対象となる前記第２の画像の複数の領域とを用いて、前記変位量の差分を検出する
   　請求項２に記載の画像処理装置。
9. 　前記画像処理部は、前記第２の画像を少なくとも前記第１の方向に補正する
   　請求項２に記載の画像処理装置。
10. 　前記画像処理部は、前記第１の画像の歪と前記第２の画像の歪を変換する歪変換処理部であって、
    　少なくとも歪が変換され、かつ輝度情報が生成された前記第１の画像と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第２の画像とに基づいて、
    前記第１の画像と前記第２の画像に映る対象物の視差を検出する視差検出部を備える
    　請求項２に記載の画像処理装置。
11. 　前記画像処理部は、歪が変換された前記第２の画像の倍率を前記補正処理係数により変換する画像倍率変換部であって、
    　少なくとも歪が変換され、かつ輝度情報が生成された前記第１の画像と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第２の画像とに基づいて、
    前記第１の画像と前記第２の画像に映る対象物の視差を検出する視差検出部を備える
    　請求項２に記載の画像処理装置。
12. 　前記画像処理部は、前記補正処理係数により前記第２の画像の倍率を変換する画像倍率変換部であって、
    　前記画像比較部は、少なくとも歪が変換され、かつ輝度情報が生成された前記第１の画像と、少なくとも歪が変換され、かつ輝度情報が生成された前記第２の画像とに基づいて前記補正処理係数を算出し、
    　歪が変換され、かつ輝度情報が生成された前記第１の画像と、歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第２の画像とに基づいて、前記第１の画像と前記第２の画像に映る対象物の視差を検出する視差検出部を備える
    　請求項２に記載の画像処理装置。
13. 　前記画像処理部は、前記第１の画像の歪を変換し、前記第２の画像の歪を変換し、かつ前記第２の画像の倍率を前記補正処理係数により変換する歪変換処理部であって、
    　前記画像比較部は、少なくとも歪が変換され、かつ輝度情報が生成された前記第１の画像と、少なくとも歪が変換され、かつ輝度情報が生成された前記第２の画像とに基づいて前記補正処理係数を算出し、
    　少なくとも歪が変換され、かつ輝度情報が生成された前記第１の画像と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第２の画像とに基づいて、
    前記第１の画像と前記第２の画像に映る対象物の視差を検出する視差検出部を備える
    　請求項２に記載の画像処理装置。
14. 　第１の方向に並んで配置される第１のカメラ及び第２のカメラを備えるステレオカメラから入力される、前記第１のカメラが有する第１の画像センサが検出した第１の画像と、
    前記第２のカメラが有する第２の画像センサが検出した第２の画像とを比較し、前記第１の方向とは異なる第２の方向における、前記第１の画像と前記第２の画像との違いに基づいて、前記第２の画像を補正するための補正処理係数を算出するステップと、
    　算出された前記補正処理係数により、前記第２の画像を補正するステップと、を含む
    　画像処理方法。

Images