WO2020152995A1 - 画像処理装置 - Google Patents

Abstract

処理に必要なメモリ量および演算量を低減することができる画像処理装置を提供する。画像処理装置１０において、記憶手段１２が画像を記憶する。アフィン処理手段２０ａは、画像Ｐ１に第１のアフィン処理を行って画像Ｐ３を取得する。アフィン処理手段２０ｂは、画像Ｐ２に第２のアフィン処理を行って画像Ｐ４を取得する。係数変更手段３１は、アフィン処理手段２０ａおよびアフィン処理手段２０ｂのうち一方のみに対し、アフィン処理の係数を変更する。距離算出手段２５は、画像Ｐ３および画像Ｐ４に基づき、画像内の物体までの距離を検出する。

Description

画像処理装置

　この発明は、画像処理装置に関する。

　３次元物体認識技術としてステレオカメラ技術がある。この技術は、異なる位置に配置した２台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。この技術を用いることにより、観察対象の位置を正確に検出することができる。車載用やロボット用などにおいて、３次元の物体を検出および認識するためにステレオカメラ技術が適用されている。ステレオカメラの２つのカメラの画像は所定の射影で変換（例えば、中心射影方式）され、画像の差分を検出することで距離を測定する。

　例えば経時変化や温度変化などの要因でカメラ検出画像が変化すると、それに伴い測距誤差が発生する。例えば、低コスト化や非球面化に対して利点のある、プラスチックレンズでは、温度に対して像高が変化する。これに伴い距離誤差が発生する。

　温度変化による測距誤差発生の課題に対し、下記特許文献１では、「ズーム及びフォーカス機能を有するステレオカメラを用いた３次元計測装置において、ズーム及びフォーカスが変化した場合でも精度のよい３次元計測を行うこと」を課題として、「ズーム及びフォーカスが可変な撮像手段を１つ以上含む複数の撮像手段と、ズーミング及びフォーカシングの制御手段と、複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理手段と、ステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、を有する３次元計測装置によって構成される。カメラ情報格納手段は各撮像手段のズームの状態及びフォーカスの状態に依存して変化するカメラ情報については、その状態に応じた複数のカメラ情報を持ち、ステレオ画像処理手段が各撮像手段のズームの状態及びフォーカスの状態を取得して、カメラ情報格納部から対応するカメラ情報を取得し、ステレオ画像処理に用いる。」という技術を記載している。

　また、特許文献２は、「ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うこと」を課題として、「係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ごとに、補正係数として補正係数記憶部に格納しておく。歪み補正処理部は、温度センサにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値（ずれ量）が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて上記歪み補正式により歪み補正処理を行う。」という技術を記載している。

　また、特許文献３～５にも、温度に応じてステレオ画像処理の内容を変更する技術が記載されている。

特開２００８－２４１４９１号公報 特開２０１２－１４７２８１号公報 特開２０１７－６２１７３号公報 特開２００９－１１７９７６号公報 特開２００７－８１８０６号公報

　従来の技術では、ステレオ画像処理における画像変換について、演算量および必要メモリ量が大きいという課題があった。

　たとえば、特許文献１に記載の３次元計測装置では、温度による像ずれに対し、２つのカメラの温度に応じた２つの画像処理を行うので、演算量が増加する。また、温度に応じた歪補正情報を両方のカメラについて不揮発性メモリに記録する必要があり、必要メモリ量が大きくなる。
　また、特許文献２の３次元計測装置では、不揮発性メモリ量の増大に対し、多項式を用いることでデータ量を低減しようとしているが、この技術でも両方のカメラについて演算が必要となり、演算量および必要メモリ量が増大する。
　さらに、特許文献３～５の技術でも、２つのカメラについて画像処理を行うので、演算量および必要メモリ量が増大する。

　本発明は、上記のような課題に鑑みてなされたものであり、処理に必要なメモリ量および演算量を低減することができる画像処理装置を提供することを目的とする。

　この発明に係る画像処理装置は、
　画像を記憶する画像記憶手段と、
　第１の画像に第１のアフィン処理を行って第３の画像を取得する、第１のアフィン処理手段と、
　第２の画像に第２のアフィン処理を行って第４の画像を取得する、第２のアフィン処理手段と、
　前記第１のアフィン処理手段および前記第２のアフィン処理手段のうち一方のみに対し、アフィン処理の係数を変更する、係数変更手段と、
　前記第３の画像および前記第４の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える。
　特定の態様によれば、
　前記画像処理装置は、前記第１の画像を撮影する第１のカメラに係る第１の温度と、前記第２の画像を撮影する第２のカメラに係る第２の温度との温度差を取得する、温度差取得手段を備え、
　前記係数変更手段は、前記温度差に基づいてアフィン処理の係数を変更する。
　特定の態様によれば、
　前記温度差取得手段は、前記第１の温度を取得する第１の温度取得手段と、前記第２の温度を取得する第２の温度取得手段とを備え、
　前記第１の温度と所定の基準温度との第１の差分が、前記第２の温度と前記基準温度との第２の差分より大きい場合には、前記係数変更手段は前記第１のアフィン処理手段に対してアフィン処理の係数を変更し、
　前記第１の差分が、前記第２の差分より小さい場合には、前記係数変更手段は前記第２のアフィン処理手段に対してアフィン処理の係数を変更する。
　また、この発明に係る画像処理装置は、
　画像を記憶する画像記憶手段と、
　第１の画像に第１の変換処理を行って第３の画像を取得する、第１の変換処理手段と、
　第２の画像に第２の変換処理を行って第４の画像を取得する、第２の変換処理手段と、
　前記第１の変換処理手段および前記第２の変換処理手段のうち少なくとも一方に対し、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する、位置変更手段と、
　前記第３の画像および前記第４の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える。
　また、この発明に係る画像処理装置は、
　画像を記憶する画像記憶手段と、
　第１の画像に第１の変換処理を行って第３の画像を取得する、第１の変換処理手段と、
　第２の画像に第２の変換処理を行って第４の画像を取得する、第２の変換処理手段と、
　前記第３の画像および前記第４の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
　前記距離の検出誤差を検出する、誤差検出手段と、
　前記距離の前記検出誤差に基づき、前記第１の変換処理手段および前記第２の変換処理手段のうち少なくとも一方に対し、変換処理の係数を変更する、係数フィードバック手段と、
を備える。
　本明細書は本願の優先権の基礎となる日本国特許出願番号2019-008531号の開示内容を包含する。

　本発明に係る画像処理装置によれば、処理に必要なメモリ量および演算量を低減することができる。

本発明の実施例１に係る画像処理装置を含む構成の例を示すブロック図である。 図１の画像処理装置の構成の例を示すブロック図である。 実施例１の係数変更の効果を説明する図である。 カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。 実施例１の変形例における処理の例を説明するフローチャートである。 実施例１の別の変形例における構成の例を示すブロック図である。 本発明の実施例２に係る画像処理装置の構成の例を示すブロック図である。 実施例２に係る視差画像生成処理の概要を説明する模式図である。 実施例２の変形例における構成の例を示すブロック図である。 本発明の実施例３に係る画像処理装置の構成の例を示すブロック図である。 光学系における相対位置ずれの補正について示す図である。 実施例３の変形例における構成の例を示すブロック図である。 実施例３の別の変形例における構成の例を示すブロック図である。 本発明の実施例４に係る画像処理装置の構成の例を示すブロック図である。 図１４の誤差信号生成手段による測距誤差の検出方法の一例を示す図である。 実施例１と実施例２を組合せた構成の例を示すブロック図である。

　以下、この発明の実施例を添付図面に基づいて説明する。
［実施例１］
　図１は、本発明の実施例１に係る画像処理装置１０を含む構成の例を示すブロック図である。画像処理装置１０は複数の画像を入力できるように構成されており、図１の例では、ステレオカメラを構成するカメラ５０（第１のカメラ）およびカメラ６０（第２のカメラ）からそれぞれ画像を受信できるように接続されている。

　カメラ５０は、レンズ５１（第１のレンズ）と、画像センサ５２（第１の画像センサ）とを備えている。また、カメラ６０は、レンズ６１（第２のレンズ）と、画像センサ６２（第２の画像センサ）とを備えている。カメラ５０は、対象物等の像をレンズ５１を介して画像センサ５２で検出する。カメラ６０は、対象物等の像をレンズ６１を介して画像センサ６２で検出する。

　カメラ５０は、温度センサ５３（第１の温度センサ）を備える。温度センサ５３は、カメラ５０に係る温度（第１の温度）を検出する。同様に、カメラ６０は、温度センサ６３（第２の温度センサ）を備える。温度センサ６３は、カメラ６０に係る温度（第２の温度）を検出する。ここで、「カメラに係る温度」の意味は当業者が適宜定義可能であるが、たとえばレンズの温度であってもよく、レンズ付近の温度であってもよく、画像センサの温度（とくにＣＭＯＳ素子の温度）であってもよく、カメラのその他の構成要素の温度であってもよく、カメラ内の空間の温度であってもよい。

　画像処理装置１０は公知のコンピュータとしての構成を有し、演算手段１１および記憶手段１２を備える。演算手段１１はたとえばマイクロプロセッサ等を備え、記憶手段１２はたとえば揮発性メモリおよび不揮発性メモリの少なくとも一方を備える。記憶手段１２は、画像その他の情報を記憶することができ、たとえば画像記憶手段として機能する。

　図２は、画像処理装置１０の構成の例を示すブロック図である。画像処理装置１０は、図２に示す各手段を備える。とくに、演算手段１１は各手段の機能を実現することができ、記憶手段１２は各手段の処理に関連する情報を記憶することができる。

　画像処理装置１０は、カメラ５０から画像Ｐ１（第１の画像）を取得するとともに、カメラ６０から画像Ｐ２（第２の画像）を取得する。アフィン処理手段２０ａ（第１のアフィン処理手段）は、画像Ｐ１にアフィン処理（第１のアフィン処理）を行う。アフィン処理はたとえば線形の座標変換処理であるが、非線形の演算を含むものであってもよい。このアフィン処理を行った結果として、アフィン処理手段２０ａは画像Ｐ３（第３の画像）を取得する。

　同様に、アフィン処理手段２０ｂ（第２のアフィン処理手段）は、画像Ｐ２にアフィン処理（第２のアフィン処理）を行って画像Ｐ４（第４の画像）を取得する。なお、アフィン処理手段２０ａおよびアフィン処理手段２０ｂは、アフィン処理以外の歪変換処理を併せて実行するものであってもよい。例えば、レンズの射影方式がｆｓｉｎθである場合には、ｆｔａｎθへの射影変換を行ってもよい。ただし、射影変換後の画像の形式はｆｔａｎθ以外であってもよい。

　温度差取得手段３０は、温度取得手段３０ａ（第１の温度取得手段）および温度取得手段３０ｂ（第２の温度取得手段）を含む。温度取得手段３０ａは、カメラ５０に係る温度を温度センサ５３から取得し、温度取得手段３０ｂは、カメラ６０に係る温度を温度センサ６３から取得する。温度差取得手段３０は、カメラ５０に係る温度と、カメラ６０に係る温度との温度差（カメラ間の温度差）を取得して出力する。

　係数変更手段３１は、アフィン処理手段２０ａおよびアフィン処理手段２０ｂのうち一方のみに対し、アフィン処理の係数を変更する。図２の例では、アフィン処理手段２０ａの係数を変更するが、アフィン処理手段２０ｂについては係数を変更しない。本実施例では、係数変更手段３１は、温度差取得手段３０からカメラ間の温度差を取得し、この温度差に基づいてアフィン処理の係数を変更する。この変更の具体的内容については、図３等を参照して後述する。

　たとえば、係数変更手段３１は、カメラ間の温度差と、所定の変換基準テーブルとに基づいて、画像Ｐ１に対する変換を表す変換テーブルを生成する。変換基準テーブルは、たとえば記憶手段１２に予め記憶されていてもよく、その場合には記憶手段１２は変換基準係数記憶手段として機能するということができる。この変換テーブルは、たとえば画像歪を補正するための変換に対応するものであり、具体的な形式としては、温度差を入力とし、像高の比率を出力とする関数を表すテーブルとして構成することができる。この場合には、温度差に応じて像高の比率が変更されることにより、実質的にアフィン処理の係数が変更されるということができる。

　なお、本実施例では、係数変更手段３１が温度差に基づいて変換テーブルを随時生成するが、変形例として、各温度差に対応する変換テーブルを記憶手段１２等に予め保持しておき、温度差に基づいて係数変更手段３１が特定の変換テーブルを選択するように構成してもよい。

　輝度補正手段２１ａ（第１の輝度補正手段）は、画像Ｐ３の各画素の輝度を補正する。たとえば、カメラ５０のゲイン、画像Ｐ３内の各画素のゲインの違い、等に基づいて補正が行われる。同様に、輝度補正手段２１ｂ（第２の輝度補正手段）は、画像Ｐ４の各画素の輝度を補正する。

　画素補間手段２２ａ（第１の画素補間手段）は、画像Ｐ３に対してデモザイキング処理を行う。たとえば、ＲＡＷ画像からカラー画像への変換が行われる。同様に、画素補間手段２２ｂ（第２の画素補間手段）は、画像Ｐ４に対してデモザイキング処理を行う。

　輝度情報生成手段２３ａ（第１の輝度情報生成手段）は、画像Ｐ３の輝度情報を生成する。たとえば、カラー画像を表す情報を、視差画像を生成するための輝度情報に変換する。同様に、輝度情報生成手段２３ｂ（第２の輝度情報生成手段）は、画像Ｐ４の輝度情報を生成する。

　視差画像生成手段２４は、画像Ｐ３および画像Ｐ４（またはこれらに基づいて生成された情報）に基づいて、２つの画像情報の視差を算出する。

　距離算出手段２５は、視差に基づき、画像に映っている対象物までの距離を算出する。ここで、上述の輝度補正手段２１ａおよび輝度補正手段２１ｂ、画素補間手段２２ａおよび画素補間手段２２ｂ、輝度情報生成手段２３ａおよび輝度情報生成手段２３ｂ、視差画像生成手段２４、等の処理を考慮すると、距離算出手段２５は、画像Ｐ３および画像Ｐ４に基づき、画像内の物体までの距離を検出するということができる。なお、距離の測定基準は当業者が任意に設計可能であるが、たとえばカメラ５０とカメラ６０との位置関係に応じて定義される所定の距離基準点から、当該物体までの距離とすることができる。

　ここで、従来技術と、本発明の実施例１との動作原理の違いを説明する。従来技術（たとえば特許文献１～５に記載されるもの）では、温度変化に対して、２つのカメラから出力された２つの画像それぞれに対して、アフィン処理の係数が変更される（なお、アフィン処理の係数を明示的に変更するものに限らず、アフィン処理の他に追加の変換を施すことにより、実質的にアフィン処理の係数が変更されたものと同等の結果を得る場合を含む）。このため、従来技術では、両方のカメラについてアフィン処理の係数の変更が必要となる。

　これに対し、本発明の実施例１では、２つのカメラの温度差によって発生した画像間の差分だけを補正するような画像変換を行う。たとえば、実施例１では画像Ｐ１に対するアフィン処理の係数のみが変更される。これにより、アフィン処理の係数を変更するために必要なメモリ量（揮発性メモリ量または不揮発性メモリ量）および演算量を低減することができる。特に高画素のカメラを用いたときには、メモリの低減量、演算量は大きくなるため、その効果が高くなる。

　次に、実施例１に係る係数変更手段３１によるアフィン処理の係数の変更について、より具体的に説明する。
　図３は、実施例１の係数変更の効果を説明する図である。図３（Ａ）は、カメラ５０とカメラ６０との温度差が発生した場合の状態の変化を示し、図３（Ｂ）は、図３（Ａ）の変化に応じて係数変更手段３１による係数の変更処理を行った後の状態を示す。ここでは、レンズ５１およびレンズ６１を介し、画像センサ５２および画像センサ６２によって取得される画像に基づき、対象物１００までの距離が検出される。

　図３（Ａ）において、温度差がない状態（たとえばカメラ５０およびカメラ６０が所定の基準温度にある状態）で測定したときの、レンズ５１に入射する対象物１００からの光線Ｌ１と、レンズ６１に入射する対象物１００からの光線Ｌ２とを一点鎖線で示している。画像センサ５２において検出される光線Ｌ１の入射位置と、画像センサ６２において検出される光線Ｌ２の入射位置との差（視差）に基づいて、対象物１００までの距離Ｄ０が検出される。この場合には測距誤差は発生せず、距離Ｄ０は対象物１００までの距離を正確に表す。

　図３（Ａ）において、カメラ間に温度差が発生し、たとえばレンズ６１の温度が上昇したとする。これによって、レンズ６１の光学特性（屈折率やレンズ面間隔等など）が変化し、レンズ５１の光学特性とは異なる状態となる。この結果、光線Ｌ２のレンズ６１における屈折角やレンズの面間隔が変化し、光線Ｌ３として画像センサ６２に入射するようになったとする。この場合には画像センサ６２における像高が変化し、画像センサ６２上で対象物１００の像の位置がずれて検出される（矢印Ａ１）。測距の処理が同じままの場合、対象物１００からの光線は二点鎖線で示す仮想光線Ｌ４の画角に存在していると誤検出される。このため、光線Ｌ１と仮想光線Ｌ４との交点が対象物１００の位置として誤検出され、対象物１００までの距離は距離Ｄ１として検出される。図３からもわかるように、距離Ｄ０と距離Ｄ１は一致せず、測距誤差が発生する。これがレンズの温度変化に伴う測距誤差発生のメカニズムである。

　次に、実施例１の係数変更方法について、図３（Ｂ）を用いて説明する。カメラ間で温度差が発生し、たとえばレンズ６１の温度が上昇した場合、係数変更手段３１によって変換テーブルが生成され、アフィン処理手段２０ａで、画像Ｐ１に対してのみその変換テーブルに基づいて画像変換が行われる。この画像変換は、実際にはレンズ５１の物理的特性を変更するものではないが、等価的に、レンズ５１の画角および像高の変換条件を変更するものと解釈することができる。以下では、レンズ５１の画角および像高の変換条件が変化したとして説明する。

　レンズ５１の画角および像高の変換により、画像センサ５２で検出される光線は、光線Ｌ１から二点鎖線で示す仮想光線Ｌ５に変化する。仮想光線Ｌ５と仮想光線Ｌ４の交点が対象物１００の位置として検出され、距離Ｄ２が検出される。ここで、距離Ｄ２と距離Ｄ２との差は、距離Ｄ１と距離Ｄ０との差よりも小さく、測距誤差が改善される。とくに、距離Ｄ０と距離Ｄ２をほとんど同じ距離とするような係数の変更が可能であり、実用上の測距では残存誤差は問題とならない。また、この係数の変更により、対象物１００の左右の検出位置がずれる（矢印Ａ２）が、画角の変化としては小さく抑えることが可能である。たとえば、画角の変化は０．１ｄｅｇ以下とすることができ、車載用やロボット用などの用途については問題とならない。このような係数の変更を行うための具体的な関数およびパラメータ等は、当業者が適宜設計可能である。

　以上説明するように、実施例１に係る画像処理装置によれば、測距誤差を従来と同程度か、または実用上問題とならない程度に抑制できる一方で、アフィン処理の係数の変更処理を片方のカメラの画像のみに限定することができるので、必要なメモリ量および演算量を低減することができる。

　次に、実施例１の効果について定量的に説明する。
　図４は、カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。計算には以下の条件例を用いた。
　対象物までの距離：５０ｍ
　基線長（カメラ５０とカメラ６０との間の距離）：０．３ｍ
　レンズ射影方式：正射影（ｆｓｉｎθ）
　レンズ焦点距離：６ｍｍ
　レンズ基準温度：３０℃
　カメラ５０の温度（第１の温度）：４０℃
　カメラ６０の温度（第２の温度）：７０℃
　最大画角（カメラ５０およびカメラ６０双方によって撮影可能な対象物の角度）：－３０ｄｅｇ～＋３０ｄｅｇ
　レンズ５１およびレンズ６１の温度感度：０．００４８μｍ／℃／ｄｅｇ（線形変化）
　なお、この温度感度は、画角３０ｄｅｇ、温度変化７０℃で像の位置が１０μｍだけ変位することに相当する。

　ここで、レンズ温度感度は、画角および温度に対して線形に変化すると仮定している。レンズの製造ばらつき等を考慮すると、実際には温度感度はレンズによって異なるが、温度感度が異なっていたとしても同様の効果が得られる（なお、この条件例では、レンズ５１およびレンズ６１の温度感度は同じであると仮定した）。また、レンズ温度感度は線形である必要はなく、非線形であっても同様の効果が得られる。

　この条件例において、３通りの距離測定を行い、測距誤差を算出した。なお、ここでは実際の距離に対する誤差量を測距誤差と定義した。第１の距離測定は、補正なしで行われ、すなわちアフィン処理の係数を変更しない状態で距離を測定した。この場合には、カメラ５０からの画像は４０℃で撮影され、基準温度３０℃に対応するアフィン処理の係数を用いて変換が行われる。また、カメラ６０からの画像は７０℃で撮影され、基準温度３０℃に対応するアフィン処理の係数を用いて変換が行われる。結果は図４に「▲」記号を用いて示す。カメラ５０とカメラ６０との温度差が大きいため、画角が大きくなるにつれ測距誤差が増大している。

　第２の距離測定は、従来技術に対応するものである。第２の距離測定では、両側の画像についてアフィン処理の係数を変更した。この場合には、カメラ５０からの画像は４０℃で撮影され、その温度４０℃に対応するアフィン処理の係数を用いて変換が行われる。また、カメラ６０からの画像は７０℃で撮影され、その温度７０℃に対応するアフィン処理の係数を用いて変換が行われる。結果は図４に「◇」記号を用いて示す（グラフ上では後述の「＋」記号と重複する）。両側のカメラについてそれぞれ適切な変換が行われるので、画角に関わらず測距誤差はほぼ０％に抑制される。

　第３の距離測定は、本発明の実施例１に対応するものである。第３の距離測定では、カメラ５０からの画像についてのみアフィン処理の係数を変更した。この場合には、カメラ５０からの画像は４０℃で撮影され、特定のアフィン処理が行われるが、このアフィン処理の係数は、基準温度３０℃に対応する係数が、カメラ間の温度差３０℃に対応する量だけ変更されたものである。また、カメラ６０からの画像は７０℃で撮影され、基準温度３０℃に対応するアフィン処理の係数を用いて変換が行われる。結果は図４に「＋」記号を用いて示す。なお、図４ではこの測定結果の測距誤差はほぼ０％であるため、グラフ上では第２の距離測定の結果（「◇」記号）と重複している。係数変更の演算量および必要メモリ量が低減されているが、画角に関わらず測距誤差はほぼ０に抑制される。なお、原理的には、第２の距離測定（両側のカメラについてアフィン処理の係数を変更するもの）に比べて測距誤差が大きくなる場合があるが、その差はわずかであり、実用上はその差は問題とならない。

　以上のように、実施例１に係る画像処理装置１０によれば、片側のカメラの画像に対してのみアフィン処理の係数を変更することにより、従来の課題である必要メモリ量（揮発性メモリ量または不揮発性メモリ量）および演算量の低減を達成した。

　特に、３次元計測装置には高分解能や広視野が要求されるため、カメラの高画素化が進んでおり、その低減効果は今後さらに大きくなると考えられる。

　また、温度変化の小さい材質（ガラス等）を用いてレンズを作製するのは高価であるが、実施例１に係る画像処理装置１０によれば、比較的安価なプラスチックレンズ等でも誤差を低減できるので、コストを削減することができる。

　実施例１において、係数変更手段３１による係数の変更の具体的処理は任意に設計可能である。たとえば、温度変化に対する画像の変化の状況を、予めカメラ５０およびカメラ６０について測定しておき、その結果から得られる変化の差分に基づき、各係数の変更量を決定してもよい。また、特許文献２のように所定の関数を用いてカメラ５０およびカメラ６０の変化の差分を算出し、各係数の変更量を決定してもよい。この場合においても、揮発性メモリ量の低減を図れる。例えば温度変化のように時定数の大きい変化の場合には、変換テーブルを準備するための時間を長くできる。このため、係数変更手段３１では、変換テーブルを１つの画像分だけ確保し、記憶手段１２等からカメラ５０およびカメラ６０の変換基準テーブルの情報を数画素のブロック単位で読み出し、レンズの温度情報を考慮して、基準テーブルを記憶手段１２の揮発性メモリに格納すればよい。

　従来技術（たとえば特許文献１および特許文献２に記載される技術）の場合には、画像変換するために所定温度条件で画像の歪を複数回測定する必要があるが、本発明の実施例１の場合には、温度に関する設計値もしくは別のレンズの測定値と、これらから得られた感度情報とに基づき、係数の変更を行ってもよい。

　実施例１では、係数変更手段３１はアフィン処理手段２０ａに対して（すなわちカメラ５０からの画像Ｐ１に対して）アフィン処理の係数を変更するが、変形例として、アフィン処理手段２０ｂに対して（すなわちカメラ６０からの画像Ｐ２に対して）アフィン処理の係数を変更してもよい。その場合には、画像Ｐ１に対するアフィン処理の係数は変更されない。

　別の変形例として、係数変更手段３１は、アフィン処理手段２０ａおよびアフィン処理手段２０ｂのいずれに対して係数を変更するかを切替可能であってもよい。
　図５は、このような変形例における温度差取得手段３０および係数変更手段３１の処理の例を説明するフローチャートである。図５の処理において、まず温度差取得手段３０は、カメラ５０に係る温度およびカメラ６０に係る温度を取得する（ステップＳ１）。

　次に、温度差取得手段３０または係数変更手段３１は、カメラ５０に係る温度と、所定の基準温度との差分（第１の差分）を算出するとともに、カメラ６０に係る温度と、当該基準温度との差分（第２の差分）を算出する（ステップＳ２）。この基準温度はたとえばレンズの仕様上の基準温度であり、予め設定され記憶手段１２に記憶されているものとする。差分は、たとえば差の絶対値として表される。

　次に、係数変更手段３１は、カメラ５０に係る差分とカメラ６０に係る差分とを比較する（ステップＳ３）。カメラ５０に係る差分のほうが大きい場合には、係数変更手段３１は、アフィン処理手段２０ａに対してアフィン処理の係数を変更するよう切り替える（ステップＳ４）。言い換えると、カメラ５０に係る温度と基準温度との差分が、カメラ６０に係る温度と基準温度との差分より大きい場合には、係数変更手段３１は、カメラ５０からの画像Ｐ１に対するアフィン処理の係数を変更するよう切り替える。

　一方、カメラ６０に係る差分のほうが大きい場合には、係数変更手段３１は、アフィン処理手段２０ｂに対してアフィン処理の係数を変更するよう切り替える（ステップＳ５）。言い換えると、カメラ６０に係る温度と基準温度との差分が、カメラ５０に係る温度と基準温度との差分より大きい場合には、係数変更手段３１は、カメラ６０からの画像Ｐ２に対するアフィン処理の係数を変更するよう切り替える。

　なお、カメラ５０に係る差分とカメラ６０に係る差分とが等しい場合の分岐先または処理は、当業者が適宜設計可能である。

　ここで、一般的に、２つのレンズの温度が異なる場合には、レンズの温度が基準温度に近い方のレンズによる画像のほうが誤差が小さい。このため、本発明のように片側のカメラの画像に対してのみアフィン処理の係数を変更する場合には、レンズ基準温度に近い温度のレンズを基準とし、レンズ基準温度から遠い温度のレンズについて係数を変更して近い温度のレンズに合わせることによって、より高精度な測距が実現できる。

　実施例１では、係数変更手段３１はカメラ間の温度差に基づいて動作するが、動作の基準は温度差に限らない。たとえば、変形例として、カメラ間の相対的位置関係に基づいて動作してもよい。このような変形のより具体的な例として、車載用の画像処理装置において、フロントガラスによる画像への影響を軽減するよう構成することができる。

　画像処理装置１０を車載用に用いる場合に、出荷時の検査ではフロントガラスを使わない場合がある。そのような場合には、車両に取り付けた状態ではフロントガラスの曲率の影響を受け、その像が歪み、画角に応じた測距誤差が発生するおそれがある。このような影響に対しても、片側のカメラ画像のみの係数の変更で測距誤差を低減することができる。

　図６は、このような変形例に係る画像処理装置１０Ｘの構成の例を示すブロック図である。この場合には、温度差取得手段３０、温度センサ５３および温度センサ６３は不要であり、係数変更手段３１は、カメラ５０に係る位置と、カメラ６０に係る位置との位置関係に基づいて、アフィン処理手段２０ａまたはアフィン処理手段２０ｂのアフィン処理の係数を変更するよう動作する。なお、カメラ間の位置関係が固定されている場合には、その位置関係に係る情報を予め記憶手段１２に記憶しておいてもよい。また、カメラ間の位置関係が変化し得る場合には、カメラ間の位置関係を取得するための手段を設けてもよい。

　車載用の場合には、解析等の目的から出荷時の歪み情報は保持しておくことが望ましく、両側のカメラ画像を画像変換する分、不揮発性メモリが必要となる。これに対し、本変形例のような片側のカメラ画像のみの係数変更では、不揮発性メモリ量を半減できる。この場合、係数変更手段３１は、記憶手段１２から直接的に、アフィン処理手段２０ａまたはアフィン処理手段２０ｂに変換テーブルを転送してもよい。この場合の変換テーブルは、チャート等の結果をもとに作成することができる。

［実施例２］
　図７は、本発明の実施例２に係る画像処理装置１１０の構成の例を示すブロック図である。実施例１では、係数変更手段３１がアフィン処理手段２０ａに対して明示的にアフィン係数の変更を行った。実施例２は、視差画像生成手段２４がオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行う。

　実施例１の係数変更手段３１に代えて、実施例２ではオフセット係数生成手段３２が設けられる。オフセット係数生成手段３２は、温度差取得手段３０からカメラ間の温度差を取得し、この温度差に基づいてオフセット情報を生成する。

　たとえば、オフセット係数生成手段３２は、カメラ間の温度差と、所定のオフセット基準係数とに基づいて、画像Ｐ３および画像Ｐ４から視差画像を生成するためのオフセットテーブルを生成する。オフセット基準係数は、たとえば記憶手段１２に予め記憶されていてもよく、その場合には、記憶手段１２はオフセット基準係数記憶手段として機能するということができる。このオフセットテーブルは、たとえば視差を補正するための変換に対応するものであり、具体的な形式としては、温度差および画素の座標を入力とし、画素の座標のオフセット値を出力とする関数を表すテーブルとして表すことができる。

　この場合には、温度差に応じて視差が変更されることにより、実質的に、片側の画像のみに対してアフィン処理の係数が変更されるということができる。このため、オフセット係数生成手段３２は、実施例１における係数変更手段３１と実質的に同等の機能を有するものであり、係数変更手段の一形態であるということができる。

　視差画像生成手段２４は、画像Ｐ３と、画像Ｐ４と、オフセット係数生成手段３２が生成したオフセットテーブルとに基づき、視差画像を生成する。

　図８は、実施例２における視差画像生成処理の概要を説明する模式図である。図８（Ａ）は従来技術による視差画像生成処理を示し、図８（Ｂ）は本実施例による視差画像生成処理を示す。

　図８（Ａ）の従来の視差画像生成処理において、視差画像生成手段２４は、画像Ｐ３中の複数画素から構成されるブロックｂ１を抽出し、画像Ｐ４の中でこれと一致するブロックを検索する。このとき、画像Ｐ３中のブロックｂ１の位置（Ｘ１，Ｙ１）と、画像Ｐ４中の最もよく一致したブロックｂ２の位置（Ｘ２，Ｙ２）との差分（変位量）（Ｘ２－Ｘ１，Ｙ２－Ｙ１）が視差として検出される。なお画像中のブロックの位置は、たとえばそのブロックの中心にある画素の位置によって表すことができる。このような処理を画像Ｐ３中の全ての画素に対して行うことにより、視差画像が生成される。

　次に、本発明の実施例２に係る図８（Ｂ）の視差画像生成処理について、具体例を説明する。図８（Ｂ）では、まず、画像Ｐ３のブロックｂ１の位置（Ｘ１，Ｙ１）に対し、オフセット係数生成手段３２で生成されたオフセット量（ΔＸ，ΔＹ）を加える。このオフセット量の加算を画像Ｐ３に対してのみ行うことにより、実質的に、画像Ｐ３のみに対してアフィン処理の係数が変更されるということができる。ここでは位置（Ｘ１＋ΔＸ，Ｙ１＋ΔＹ）をオフセット位置と呼ぶ。

　そして、図８（Ａ）の場合と同様に、画像Ｐ３中の複数画素から構成されるブロックｂ１を抽出し、画像Ｐ４の中でこれと一致するブロックを探索する。そして、画像Ｐ３中のブロックｂ１のオフセット位置（Ｘ１＋ΔＸ，Ｙ１＋ΔＹ）と、画像Ｐ４中の最もよく一致したブロックｂ２の位置（Ｘ２，Ｙ２）との差分（変位量）（Ｘ２－Ｘ１－ΔＸ，Ｙ２－Ｙ１－ΔＹ）が視差として検出される。

　このような処理により、実施例１と同じ効果を得ることができる。本実施例の場合、実施例１のように画像サイズに対応した揮発性メモリを確保しておく必要はなく、必要メモリ量がさらに低減可能である。例えば、画像Ｐ３中の各ブロックについて一致先ブロックの探索をするときには、画像Ｐ３の各ブロックについて基準位置（たとえば中心画素）のオフセット量のみを保持しておけばよいため、実施例１のような画像サイズのオフセットテーブルを用意する必要はない。このため、本実施例に係る画像処理装置１１０を用いることで、大幅なメモリ量の削減が図れる。さらに、変位量（ΔＸ，ΔＹ）を線形もしくは非線形の関数から算出するよう構成することにより、処理に必要な不揮発性メモリ量も低減することができる。

　実施例２において、オフセット係数生成手段３２によるオフセットテーブル生成の具体的処理は任意に設計可能である。たとえば、温度変化に対する画像の変化の状況を、予めカメラ５０およびカメラ６０について測定しておき、その結果から得られる変化の差分に基づき、各温度についてテーブルの内容を決定してもよい。また、特許文献２のように所定の関数を用いてカメラ５０およびカメラ６０の変化の差分を算出し、テーブルの内容を決定してもよい。たとえば、カメラ５０およびカメラ６０について、温度に対する画像の変化の差分を関数で表し、この関数の値を画像Ｐ３の各画素における変位量とすればよい。このような関数を決定するためには、たとえば複数の温度条件で画像の歪を実測すればよいが、そのような実測を行わずとも、温度に関する設計値もしくは別のレンズの測定値と、これらから得られた感度情報とに基づき、テーブルの内容を決定してもよい。

　実施例２では、オフセット係数生成手段３２はカメラ間の温度差に基づいて動作するが、動作の基準は温度差に限らない。たとえば、変形例として、カメラ間の相対的位置関係に基づいて動作してもよい。

　図９は、このような変形例に係る画像処理装置１１０Ｘの構成の例を示すブロック図である。この場合には、温度差取得手段３０、温度センサ５３および温度センサ６３は不要であり、オフセット係数生成手段３２は記憶手段１２に記憶されたオフセット情報（たとえばオフセット係数）を読み出して用いることができる。このような変形のより具体的な例として、車載用の画像処理装置において、フロントガラスによる画像への影響を軽減するよう構成することができる。

［実施例３］
　図１０は、本発明の実施例３に係る画像処理装置２１０の構成の例を示すブロック図である。従来技術（たとえば特許文献１および特許文献２に開示される技術）の場合、画像変換するために所定温度条件で画像の歪を複数測定する必要がある。しかしながら、温度に対する画像変化を測定するには、長い測定時間が必要となり、実用的な考え方ではない。そこで、本実施例に係る画像処理装置２１０では、設計値もしくは別レンズの測定値と、これから得られる予め決定可能な感度情報とに基づき、画像の変換を行う。

　以下、実施例１との相違を説明する。画像処理装置２１０は変換中心シフト手段３３（位置変更手段）を備える。変換中心シフト手段３３は、カメラ間の温度差に応じたレンズ５１の歪中心位置を与える関数を表す変換基準テーブルを、係数変更手段３１に出力する。この変換基準テーブルは、たとえば記憶手段１２に予め記憶される。

　係数変更手段３１は、カメラ間の温度差と、この変換基準テーブルから取得される歪中心位置とに基づき、画像Ｐ１の歪中心の位置を変更する。ここで「歪中心」とは、変換処理による位置の変位量が最も小さくなる位置のことであり、たとえば変換前の画像内における位置で表される。すなわち、係数変更手段３１および変換中心シフト手段３３は、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する。そして、変更された歪中心の位置に基づき、射影変換等の変換処理を行う。この変換処理はたとえばアフィン処理を含む。このようにして、光軸に対して垂直な方向における、レンズ５１と画像センサ５２との相対的な位置ずれ（以降、単に「相対位置ずれ」と呼ぶ場合がある）を補正することができる。

　一般的に、レンズと画像センサとの関係は、レンズ前方の無限遠を結像したときに画像センサの中心となるよう調整されるのが一般的であり、ある程度の範囲で調整されているが、量産の工程等でばらつきが発生する可能性がある。これが相対位置ずれの原因の一例である。

　図１１は、片側の光学系（たとえばレンズ５１および画像センサ５２）における、相対位置ずれの補正（すなわち歪中心の位置の変更）について示している。なお、レンズ温度感度は、画角および温度に対して線形に変化すると仮定している。図１１（Ａ）は測定データに含まれる相対位置ずれを補正しない場合を示し、図１１（Ｂ）は相対位置ずれを補正した場合を示している。

　いずれの場合でも、実際の測定（破線）では、像変位量は画角とともに線形に増大する。すなわち、画角が０に近い領域では０に近く、周辺部で絶対値が大きくなる。一方で、これに対する変換（一点鎖線。たとえばアフィン処理）は、これと逆の特性（たとえば傾きが正負逆転した線形関数）をもって実施され、像変位量の変化を打ち消すように設計される。

　図１１（Ａ）の例では、測定データにおける像変位量は、画像中心（画角が０となる位置）における値が０ではないが、変換は画像中心で０である。このため相対位置ずれが補正されず、全画角で誤差（実線）が残留していることがわかる。それに対し、図１１（Ｂ）の例では、測定データにおける像変位量について、画像中心における値が０となるよう補正されている（なお図１１（Ｂ）では誤差を表す実線は座標軸とほぼ一致するため明確には表れない）。このように相対位置ずれを補正した場合には、いずれの画角でも誤差は残留しないことがわかる。図１１（Ｂ）のような測定値の補正は、変換中心シフト手段３３が出力する変換基準テーブルに基づいて実行することができる。

　レンズの歪の中心位置（変換基準テーブルに記録される値に対応する）は、製造ラインにおいて、予め複数の温度について測定することができる。この製造ラインは、画像処理装置の組立工程とは異なる製造ラインであってもよい。また、射影変換を行う場合には、その中心位置（たとえば変換前後で変位量が最小となる位置）が中心となるよう補正してもよい。この場合、厳密に考えると、温度によるレンズの歪の中心は射影位置とはずれる可能性があるが、大きくずれることはないため、補正の効果は少なくともある程度得ることができる。

　このような補正処理を行うことで、時間のかかる温度をパラメータとした測定を省略することができ、製造時間の短縮が図れる。なお、補正量（歪中心の位置の変化量）は、製造時に決定し、記憶手段１２に格納しておいてもよい。また、補正量は温度差のみに依存する値である必要はなく、経時変化等に応じて変化してもよい。

　上述の実施例３では、変換中心シフト手段３３は、アフィン処理手段２０ａのみに対して（係数変更手段３１を介して）歪中心の位置を変更した。変形例として、変換中心シフト手段３３はアフィン処理手段２０ｂのみに対して歪中心の位置を変更してもよく、アフィン処理手段２０ａおよびアフィン処理手段２０ｂの双方に対して歪中心の位置を変更してもよい。すなわち、アフィン処理手段２０ａおよびアフィン処理手段２０ｂのうち少なくとも一方に対して歪中心の位置を変更するものであればよい。

　図１２は、このような変形例に係る画像処理装置２１０Ｘの構成の例を示すブロック図である。この変形例では、変換中心シフト手段３３は、アフィン処理手段２０ａおよびアフィン処理手段２０ｂの双方に対して歪中心の位置を変更する。

　また、実施例３では、変換中心シフト手段３３が係数変更手段３１およびアフィン処理手段２０ａに対して明示的にアフィン係数の変更を行った。変形例として、実施例２のように、変換中心シフト手段３３が係数変更手段３１および視差画像生成手段２４を介して視差に関するオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行ってもよい。図１３は、このような変形例に係る画像処理装置２１０Ｙの構成の例を示すブロック図である。

　また、実施例３ではアフィン処理手段２０ａおよびアフィン処理手段２０ｂを用いたが、これらは、歪中心を定義して変換を行うものであれば、アフィン処理手段に限らず、任意の変換処理手段を用いることができる。すなわち、画像処理装置２１０は、画像Ｐ１に第１の変換処理を行って画像Ｐ３を取得する、第１の変換処理手段と、画像Ｐ２に第２の変換処理を行って画像Ｐ４を取得する、第２の変換処理手段とを備えていればよい。

［実施例４］
　図１４は、本発明の実施例４に係る画像処理装置３１０の構成の例を示すブロック図である。実施例１の構成に加え、誤差信号生成手段３４（誤差検出手段）および係数誤差補正手段３５（係数フィードバック手段）が設けられている。以下、実施例１との相違を説明する。

　一般に、画像処理装置には経時的な変化があり、それによって測距誤差が発生する場合があり、この測距誤差の解消が課題となる場合がある。例えば、経時変化ではレンズの面間隔が変わるなどの影響があり、レンズの温度に対する変位量が変化することが想定される。そこで、本実施例では、画像処理装置の製造後の測定（路上もしくは車両検査など）に基づいて変換基準テーブルを実質的に補正する処理を行う。

　レンズの温度感度が変わった場合、図３に示すものと同様の測距誤差が発生する。なお、図３は左右のレンズについて温度感度が同じで温度差が発生した場合の比較例であるが、左右のレンズについて温度が一定で温度感度が変わった場合でも、測距誤差の発生原理は同じである。

　本発明の実施例４に係る画像処理装置３１０は、測距誤差を係数変更手段３１にフィードバックすることにより、係数変更手段３１による係数の変更量を補正する。とくに、誤差信号生成手段３４は、距離算出手段２５の測距誤差（距離の検出誤差）を検出し、この測距誤差を表す誤差信号を生成して係数誤差補正手段３５に送信する。

　係数誤差補正手段３５は、距離の検出誤差を表すこの誤差信号に基づいて、係数変更手段３１における係数の誤差を補正する。すなわち、アフィン処理手段２０ａに対して変換処理の係数を変更する。

　図１５に、誤差信号生成手段３４による測距誤差の検出方法の一例を示す（なお測距誤差の検出方法はこれに限らず任意に設計可能である）。この例では、画像中の水平な直線において、距離基準点から等距離にある２点の位置情報を利用する。

　図１５の画像には、路上に２本の白線Ｒ１，Ｒ２が現れている。白線Ｒ１，Ｒ２は、距離基準点から等距離（たとえば車両に対して左右対称）にあるものとする。誤差信号生成手段３４は、白線Ｒ１，Ｒ２の双方と交差する水平直線Ｈ１を生成する。次に、誤差信号生成手段３４は、水平直線Ｈ１と、白線Ｒ１，Ｒ２との交点Ｃ１，Ｃ２を求める。次に、誤差信号生成手段３４は、交点Ｃ１，Ｃ２までの距離を取得し、これらの距離の差を算出する。ここで、測距誤差がない場合には、交点Ｃ１までの距離と、交点Ｃ２までの距離とは互いに等しい（差が０となる）はずである。この考え方に基づき、これらの距離が等しくない場合には、係数誤差補正手段３５は、距離の差に応じて係数変更手段３１における係数の変更量を補正する。たとえば、係数変更手段３１が用いる変換基準テーブルを書き換える。より具体的には、たとえば変換基準テーブルにおける全ての値を等倍する（すなわち画像を拡大または縮小する）ことにより、係数の変更量が補正され、画像の距離誤差が補正される。このようにしてフィードバック処理が行われる。

　この例では水平な直線の例として水平直線Ｈ１を用いたが、このような直線は画像中に現れる直線を用いてもよく、たとえば横断歩道Ｒ３が検出可能な場合には、横断歩道Ｒ３の端線Ｈ２を水平な直線として利用してもよい。

　ここで、実施例４によれば、画像Ｐ３および画像Ｐ４のどちらがより正しいか（どちらの誤差がより小さいか）を決定する必要がないため、比較的簡素な構成でフィードバック処理を実現することができる。たとえば、従来技術（たとえば特許文献１および特許文献２に開示される技術）では、２つのレンズのうち、どちらのレンズの温度感度が変わったのかを決定する必要があるが、本発明の実施例４ではそのような処理は不要である。

　上述の実施例４では２点までの距離差を用いたが、これに代えて統計的な処理を用いてもよい。たとえば、水平直線Ｈ１上の点を３点以上定義し、各点までの距離の統計的情報（平均値、中央値、分散、標準偏差等）に基づいて係数の変更量を補正してもよい。

　また、誤差信号は他の内容の誤差を表すものであってもよい。たとえば、同一の構造物の寸法（たとえば路面からの高さ）を画像Ｐ３および画像Ｐ４それぞれについて測定し、その寸法の差を誤差信号として用いてもよい。

　さらに、実施例４では係数変更手段３１はカメラ間の温度差に依存して動作するが、温度差に依存しないものであってもよい。例えば、出荷時に係数変更手段３１の変換基準テーブルを所定の初期設計値に設定しておき、その後路上での誤差信号の結果をもとに変換基準テーブルを書き換えてもよい。

　また、実施例４では、係数誤差補正手段３５が係数変更手段３１およびアフィン処理手段２０ａに対して明示的にアフィン係数の変更を行った。変形例として、実施例２のように、係数誤差補正手段３５が視差画像生成手段２４を介して視差に関するオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行ってもよい。

　また、実施例４では、係数誤差補正手段３５は、アフィン処理手段２０ａのみに対して（係数変更手段３１を介して）変換処理の係数を変更したが、変換処理の係数の変更は、アフィン処理手段２０ａおよびアフィン処理手段２０ｂのうち少なくとも一方に対して行われればよい。

　また、実施例４ではアフィン処理手段２０ａおよびアフィン処理手段２０ｂを用いたが、これらはアフィン処理手段に限らず、任意の変換処理手段を用いることができる。すなわち、画像処理装置３１０は、画像Ｐ１に第１の変換処理を行って画像Ｐ３を取得する、第１の変換処理手段と、画像Ｐ２に第２の変換処理を行って画像Ｐ４を取得する、第２の変換処理手段とを備えていればよい。

　上述の実施例１～４のいずれにおいても、カメラ５０およびカメラ６０の相対的位置関係は当業者が適宜設計可能である。たとえば、カメラ５０およびカメラ６０を、互いの光軸が平行となる向きに、カメラ５０とカメラ６０とを結ぶ直線が光軸と直交するように、配置することができる。この際、カメラ５０およびカメラ６０は、水平方向に並べることができる（すなわち１つの水平面内に配置してもよい）が、垂直方向に並べてもよい（すなわち１つの鉛直平面内に配置してもよい）。また、カメラ５０とカメラ６０とを合理化する等により、１つのセンサとして視差を検出する場合でも、視差を検出するための２つの画像のうち、片側の画像についてアフィン処理の係数を変更したり、歪中心の位置を変更したり、測距誤差をフィードバックしたりすることにより、実施例１～４と同様の効果が得られる。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成の一部を加えることも可能である。また、各実施例の構成の一部について、他の構成の一部を追加・削除・置換することが可能である。例えば、図１６の画像処理装置４１０のように実施例１と実施例２を組合せた構成とすることもできる。さらに例えば、各実施例の画像処理装置に新たなカメラを組み合わせたり、それ以外の画像処理装置と併用したりする場合に、１つのカメラの画像を基準として他のカメラの画像の歪みを補正する処理をしてもよい。このようにすることで、複数画像を比較または合成する場合に、処理結果を一致させることができ、処理負荷を低減できる。

　１０，１０Ｘ，１１０，１１０Ｘ，２１０，２１０Ｘ，２１０Ｙ，３１０，４１０　画像処理装置、１００　対象物、２０ａ　アフィン処理手段（第１のアフィン処理手段、第１の変換処理手段）、２０ｂ　アフィン処理手段（第２のアフィン処理手段、第２の変換処理手段）、２５　距離算出手段、３０　温度差取得手段、３１　係数変更手段、３２　オフセット係数生成手段（係数変更手段）、５３　温度センサ（第１の温度センサ）、６３　温度センサ（第２の温度センサ）、３３　変換中心シフト手段（位置変更手段）、３５　係数誤差補正手段（係数フィードバック手段）、Ｐ１　画像（第１の画像）、Ｐ２　画像（第２の画像）、Ｐ３　画像（第３の画像）、Ｐ４　画像（第４の画像）。
　本明細書で引用した全ての刊行物、特許及び特許出願はそのまま引用により本明細書に組み入れられるものとする。
 

Claims (5)

1. 　画像処理装置であって、
   　画像を記憶する画像記憶手段と、
   　第１の画像に第１のアフィン処理を行って第３の画像を取得する、第１のアフィン処理手段と、
   　第２の画像に第２のアフィン処理を行って第４の画像を取得する、第２のアフィン処理手段と、
   　前記第１のアフィン処理手段および前記第２のアフィン処理手段のうち一方のみに対し、アフィン処理の係数を変更する、係数変更手段と、
   　前記第３の画像および前記第４の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
   を備える、画像処理装置。
2. 　請求項１に記載の画像処理装置において、
   　前記画像処理装置は、前記第１の画像を撮影する第１のカメラに係る第１の温度と、前記第２の画像を撮影する第２のカメラに係る第２の温度との温度差を取得する、温度差取得手段を備え、
   　前記係数変更手段は、前記温度差に基づいてアフィン処理の係数を変更する、
   画像処理装置。
3. 　請求項２に記載の画像処理装置において、
   　前記温度差取得手段は、前記第１の温度を取得する第１の温度取得手段と、前記第２の温度を取得する第２の温度取得手段とを備え、
   　前記第１の温度と所定の基準温度との第１の差分が、前記第２の温度と前記基準温度との第２の差分より大きい場合には、前記係数変更手段は前記第１のアフィン処理手段に対してアフィン処理の係数を変更し、
   　前記第１の差分が、前記第２の差分より小さい場合には、前記係数変更手段は前記第２のアフィン処理手段に対してアフィン処理の係数を変更する、
   画像処理装置。
4. 　画像処理装置であって、
   　画像を記憶する画像記憶手段と、
   　第１の画像に第１の変換処理を行って第３の画像を取得する、第１の変換処理手段と、　第２の画像に第２の変換処理を行って第４の画像を取得する、第２の変換処理手段と、　前記第１の変換処理手段および前記第２の変換処理手段のうち少なくとも一方に対し、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する、位置変更手段と、
   　前記第３の画像および前記第４の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
   を備える、画像処理装置。
5. 　画像処理装置であって、
   　画像を記憶する画像記憶手段と、
   　第１の画像に第１の変換処理を行って第３の画像を取得する、第１の変換処理手段と、　第２の画像に第２の変換処理を行って第４の画像を取得する、第２の変換処理手段と、　前記第３の画像および前記第４の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
   　前記距離の検出誤差を検出する、誤差検出手段と、
   　前記距離の前記検出誤差に基づき、前記第１の変換処理手段および前記第２の変換処理手段のうち少なくとも一方に対し、変換処理の係数を変更する、係数フィードバック手段と、
   を備える、画像処理装置。

Images