JP6459487B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来、被写体の距離を計測できるステレオカメラが利用されている。例えば、自動車に搭載されたステレオカメラ（以下「車載ステレオカメラ」という。）により、車両前方の被写体までの距離を計測して、自動車を制御する技術が実用化されている。例えば、車載ステレオカメラが計測した距離は、自動車の衝突防止や車間距離の制御等の目的で、運転者への警告、ブレーキ及びステアリング等の制御に利用されている。

この車載ステレオカメラは、撮像環境における温度の変化に応じて、撮像画像の歪み方が異なってくる。例えば特許文献１および特許文献２には、温度に応じたステレオカメラの撮像歪みを補正する目的で、複数種類の温度毎の補正パラメータを予めステレオカメラの格納部分に格納し、温度に応じた補正パラメータを適用する技術が開示されている。

しかしながら、特許文献１および特許文献２に開示された技術では、車両の振動や、繰り返される気温の変化の影響などによる経時劣化（ステレオカメラの部品、および、レンズの組み付け位置の変化や膨張、変形など）に起因する撮像画像の歪みの傾向の変化を踏まえて補正を行うことはできない。

上述した課題を解決し、目的を達成するために、本発明は、ステレオカメラを構成する第１カメラおよび第２カメラのうち前記第１カメラによる撮像で得られた第１撮像画像を取得する第１取得部と、前記第２カメラによる撮像で得られた第２撮像画像を取得する第２取得部と、前記第２撮像画像内の複数の特徴点ごとに、前記第１撮像画像上の当該特徴点の位置と前記第２撮像画像上の当該特徴点の位置との差を示す視差の第１方向の成分および前記第１方向に直交する第２方向の成分を少なくとも含む対応点データを求める対応点データ探索部と、探索された前記対応点データの集合に基づいて、前記第１撮像画像を補正するための第１補正パラメータ、および、前記第２撮像画像を補正するための第２補正パラメータを算出する算出部と、前記ステレオカメラの温度を示す温度情報を取得する第３取得部と、複数種類の温度ごとに、前記第１補正パラメータおよび前記第２補正パラメータを対応付けた対応情報を記憶する補正パラメータ記憶部と、前記第３取得部により取得された前記温度情報が示す温度と、前記算出部により算出された前記第１補正パラメータおよび前記第２補正パラメータを対応付けて、前記補正パラメータ記憶部に記憶された前記対応情報を更新する更新部と、を備える画像処理装置である。

本発明によれば、より高精度に撮像画像の歪みを補正することができる。

図１は、実施形態のシステムの構成の一例を示す図である。 図２は、ステレオカメラによる距離計測の原理を説明するための図である。 図３は、対応情報の一例を示す図である。 図４は、平行等位ステレオカメラの理想状態を示す図である。 図５は、両眼角度差θが存在する場合を示す図である。 図６は、基線角度差φが存在する場合を示す図である。 図７は、台形歪みの例を示す図である。 図８は、第１の画像補正部の構成の一例を示す図である。 図９は、視差計算部による処理の一例を示すフローチャートである。 図１０は、補正パラメータ処理部の機能構成の一例を示す図である。 図１１は、画面分割の一例を示す図である。 図１２は、補正パラメータを選択する処理の一例を示すフローチャートである。 図１３は、対応情報を更新する処理の一例を示す図である。 図１４は、補正パラメータごとの、任意の温度における映像ズレ量を表す模式図である。

以下、添付図面を参照しながら、本発明に係る画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態のシステム１の構成の一例を示す図である。図１に示すように、システム１は、撮像装置１０と画像処理装置２０とを備える。

撮像装置１０は、水平方向に所定の距離（基線長）を設けて配置された第１カメラ２０１および第２カメラ２０２を有している。この例では、第１カメラ２０１および第２カメラ２０２は、互いに異なる視点から同一の被写体を撮像可能なステレオカメラを構成している。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。以下の説明では、第１カメラ２０１による撮像で得られた画像を「第１撮像画像」と称し、第２カメラ２０２による撮像で得られた画像を「第２撮像画像」と称する。なお、第１撮像画像と第２撮像画像とを区別しない場合は、「撮像画像」と称する。

次に、図２を用いて、第１カメラ２０１および第２カメラ２０２で構成されるステレオカメラによる距離計測の原理を説明する。図２の例では、焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０の第１カメラ２０１がｚ軸を光軸方向として配置されている。また、焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１の第２カメラ２０２がｚ軸を光軸方向として配置されている。第１カメラ２０１及び第２カメラ２０２は、ｘ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。

第１カメラ２０１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２カメラ２０２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。

ここで、第２カメラ２０２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。また、Ｐ_０’とＰ_１の距離をｐとする。距離ｐは、同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（以下、「視差」という。）を表す。三角形Ａ−Ｏ_０−Ｏ_１と、三角形Ｏ_１−Ｐ_０’−Ｐ_１は相似である。そのため、ｄ＝Ｂ×ｆ／ｐである。すなわち、基線長Ｂ、焦点距離ｆ及び視差ｐから、被写体Ａまでの距離ｄを求めることができる。

以上が、ステレオカメラによる距離計測原理である。被写体Ａまでの距離ｄを正確に求めるには、第１カメラ２０１及び第２カメラ２０２が正確に配置されていなければならない。しかしながら、組み付け公差なく２台のカメラを厳密に平行に配置することは非常に困難なため、信号処理により撮像画像を補正する必要がある。この具体的な内容については後述する。

図１に戻って説明を続ける。画像処理装置２０は、補正パラメータ処理部２１０と、補正パラメータ記憶部２１１と、第１の画像補正部２２１と、第２の画像補正部２２２と、視差計算部２３０とを有する。

補正パラメータ処理部２１０は、ＣＰＵ、プログラム実行用メモリ（例えばＲＡＭ等）、プログラム格納用の不揮発性メモリ（例えばＲＯＭ等）などで構成された計算機システムであり、第１カメラ２０１による撮像で得られた第１撮像画像、および、第２カメラ２０２による撮像で得られた第２撮像画像を取得し、第１撮像画像を補正するための第１補正パラメータ、第２撮像画像を補正するための第２補正パラメータを生成する。

また、本実施形態では、撮像装置１０（ステレオカメラ）の温度（より具体的にはステレオカメラの筐体の温度）を検出する温度検出部２４０により検出された温度を示す温度情報が、補正パラメータ処理部２１０に入力される。温度検出部２４０の構成は任意であり、公知の様々な温度センサを採用することができる。例えば温度検出部２４０は、一定の周期でステレオカメラ筐体の温度（絶対温度でもよいし、ある基準温度からの相対温度でもよい）を検出し、その検出した温度を示す温度情報を補正パラメータ処理部２１０に送信することもできるし、補正パラメータ処理部２１０からの要求に従って温度情報を送信することもできる。補正パラメータ処理部２１０の具体的な内容については後述する。なお、以下の説明では、第１補正パラメータと第２補正パラメータとを区別しない場合は、「補正パラメータ」と称する。

補正パラメータ記憶部２１１は、複数種類の温度ごとに、第１補正パラメータおよび第２補正パラメータを対応付けた対応情報を記憶する。補正パラメータ記憶部２１１は、例えば不揮発性メモリやハードディスク（ＨＤＤ）などの記憶装置で構成される。一例として、本実施形態における対応情報は、図３に示すように、３種類の温度（ｔ１〜ｔ３）ごとに、補正パラメータを対応付けた情報であるが、これに限られるものではない。図３の例では、温度ｔ１に対して、補正パラメータＰ１（以下では、補正パラメータＰ１を構成する第１補正パラメータを「Ｐ１１」、第２補正パラメータを「Ｐ１２」と表記する）が対応付けられている。また、温度ｔ２（＞ｔ１）に対して、補正パラメータＰ２（以下では、補正パラメータＰ２を構成する第１補正パラメータを「Ｐ２１」、第２補正パラメータを「Ｐ２２」と表記する）が対応付けられている。さらに、温度ｔ３（＞ｔ２）に対して、補正パラメータＰ３（以下では、補正パラメータＰ３を構成する第１補正パラメータを「Ｐ３１」、第２補正パラメータを「Ｐ３２」と表記する）が対応付けられている。補正パラメータの具体的な内容については後述する。また、後述するように、補正パラメータ記憶部２１１に記憶された対応情報は、補正パラメータ処理部２１０によって随時更新されていく。具体的な内容については後述する。

詳しくは後述するが、本実施形態では、補正パラメータ処理部２１０は、温度検出部２４０から取得した温度情報が示す温度に応じて、補正パラメータ記憶部２１１に記憶された３つの補正パラメータ（Ｐ１〜Ｐ３）のうちの何れかを選択する。そして、補正パラメー処理部２１０によって選択された補正パラメータが、第１の画像補正部２２１および第２の画像補正部２２２の各々の補正に適用される。

第１の画像補正部２２１および第２の画像補正部２２２は、第１撮像画像と第２撮像画像が、理想的な平行等位画像になるよう、第１撮像画像および第２撮像画像を幾何的に変形する。この例では、第１の画像補正部２２１は、第１補正パラメータを用いて第１撮像画像を補正する。以下の説明では、この補正後の画像を第１補正画像と称する。この例では、第１の画像補正部２２１は請求項の「第１の補正部」に対応している。また、第２の画像補正部２２２は、第２補正パラメータを用いて第２撮像画像を補正する。以下の説明では、この補正後の画像を第２補正画像と称する。この例では、第２の画像補正部２２２は請求項の「第２の補正部」に対応している。より具体的な内容については後述する。

視差計算部２３０は、従来技術と同様の手法により、第１補正画像と第２補正画像から視差を計算し、視差画像を出力する。より具体的な内容については後述する。

次に、補正パラメータ処理部２１０において、２台のカメラ（第１カメラ２０１、第２カメラ２０２）のｚ軸（光軸方向）周りの回転のみがずれた平行等位ステレオカメラに対する補正処理の内容を説明する。２台のカメラのＺ軸周りの回転がずれることにより、両眼角度差が生じる場合と、基線角度差が生じる場合とが考えられる。両眼角度差とは、第１カメラ２０１の基線と水平方向（ｘ軸方向）との角度と、第２カメラ２０２の基線と水平方向との角度との角度差を表す。基線角度差とは、第１カメラ２０１および第２カメラ２０２の各々の基線が、水平方向に対して同じ角度だけずれたときの当該角度（つまり、両方のカメラの基線と水平方向との角度差）を表す。なお、以下の説明では、第１撮像画像を、「参照画像」と称する場合がある。参照画像は、視差の計算に使用する画像である。また、第２撮像画像を、「基準画像」と称する場合がある。基準画像は、視差を計算するための座標の基準をとる画像である。

平行等位ステレオカメラの理想状態は、図４に示すように、両眼角度差および基線角度差の各々が０の状態である。理想状態では、無限遠にある被写体は、両眼の撮像画像（参照画像及び基準画像）上で同じ位置に写る。すなわち、Ａ_Ｒ＝Ａ_Ｌとなる。基準画像上の被写体の像位置Ａ_Ｒが同じまま、被写体がステレオカメラに近づくと、参照画像上の被写体の像位置Ａ_ＬはＡ_Ｌ１に移動し、水平方向の視差が生じる。

図５は、図４と比べ、基準カメラがｚ軸周りにθだけ回転した状態であり、基線角度差は０だが、両眼角度差θが存在する場合を示すものである。図５では理想状態を基準に描いているため、無限遠における被写体の像位置（Ｂ_Ｒ,Ｂ_Ｌ）は同じに見えるが、基準画像上のｘｙ座標系が傾いているため、Ｂ_Ｒの座標値（ｘＢ_Ｒ，ｙＢ_Ｒ）は、以下の式１で表すことができる。

また、視差ｄの水平方向の成分（ｘ成分）ｄ_ｘと、垂直方向の成分（ｙ成分）ｄ_ｙは、上記式１および（ｘＢ_Ｌ，ｙＢ_Ｌ）＝（ｘＡ_Ｌ，ｙＡ_Ｌ）＝（ｘＡ_Ｒ，ｙＡ_Ｒ）より、以下の式２で表すことができる。

一方、被写体とステレオカメラとの距離が近づくときに生じる視差は、基線方向によって決まるため、参照画像上の対応点位置は、Ｂ_Ｌの水平方向に限られる。

図６は、図４と比べて、基準カメラ、参照カメラともに、ｚ軸周りにφだけ回転した状態で、図５とは逆に、両眼角度差は０だが、基線角度差が存在する場合を示す。この場合、両方の座標系は同じだけ傾いているため、無限遠における被写体の像位置（Ｃ_Ｒ，Ｃ_Ｌ）の座標位置は同一で、視差は０と計測される。一方、被写体が近づく場合、像位置Ｃ_Ｌは、基線方向に移動するため、視差ｄは、水平成分（ｘ軸方向の成分）だけでなく、垂直成分（ｙ軸方向の成分）も持つことになる。この視差ｄの垂直成分は、基線方向と参照画像の水平方向（ｘ軸）との差によるので、像位置には依存せず、視差ｄの大きさに比例して拡大する。視差ｄの垂直成分ｄ_ｙは、以下の式３で表すことができる。

このように、２種類の角度差（両眼角度差、基線角度差）の影響は、視差ｄの垂直成分ｄ_ｙの分布状況に違いを生じる。このため、視差ｄの垂直成分ｄ_ｙの画面内の分布を調べることにより、両眼角度差、基線角度差を分離して計測することができる。具体的には、複数フレーム間および同一フレーム中における様々な方向、距離に存在する多数の被写体（特徴点）について、両眼画像（参照画像および基準画像）上の対応位置を探索し、参照画像上の被写体の像位置（ｘ_ｉ，ｙ_ｉ）と、視差ｄの水平成分ｄ_ｘｉ、及び垂直成分ｄ_ｙｉを収集する（ｉは特徴点に割り当てられる番号を示す）。そして、視差ｄの垂直成分ｄ_ｙｉと、視差ｄの水平成分ｄ_ｘｉ、参照画像上の位置の水平方向の成分ｘ_ｉ、および、参照画像上の位置の垂直方向の成分ｙ_ｉとの関係を表す視差多項式に近似する。視差多項式は、例えば以下の式４で表すことができる。

また、上記式２および式３より、両眼角度差（θ）は以下の式５で表すことができ、基線角度差（φ）は以下の式６で表すことができる。

ここで、カメラがｘ軸、ｙ軸周りに回転すると、撮像画像は、上下左右に移動するが、厳密には、平行移動だけでなく、台形歪みも同時に発生する。図７は、台形歪みの例を示す図である。図７の（ａ）は、理想状態の撮像画像である。図７の（ｂ）は、上にａだけ平行移動した撮像画像であり、図７の（ｃ）はさらに台形歪みを加えた撮像画像を示す（黒の太線は同じ被写体を表すものとする）。図７の（ａ）と（ｂ）のズレは、画面全体にわたって距離ａだけのずれになる。また、図７の（ｂ）から（ｃ）への変化は、画面上半分は拡大、下半分は縮小になるので、画面中央のずれの距離ａと比べて、画面の上下端のずれの距離ｂ及びｃが大きくなっている。このような台形歪みは、透視変換によるもので、アフィン変換（１次多項式による座標変換）の範囲では補正することができないが、回転角度が微小な場合は台形歪みも微小なので、２次項を付加することで、近似的には補正できる。そこで、上記式４の代わりに、２次多項式モデルを利用することにより、台形歪みを補正することを考える。２次多項式モデルを利用した視差多項式は、例えば以下の式７で表すことができる。

上記式７では、２次の項の係数ｅ、ｆ及びｇがあるため、撮像画像に台形歪みがある場合にも対応できる。撮像画像に台形歪みがない場合には、ｅ＝ｆ＝ｇ＝０となり、上記式４と同じになる。これにより、上記式７の係数ｂ及びｄは、基準角度差φ及び両眼角度差θと上記式５及び６の関係を持つと期待できる。なお、本実施形態における画像処理方法では、カメラのｚ軸周りの回転による撮像画像の縦横方向の位置ずれ（座標のずれ）と、ｘ軸又はｙ軸周りの回転による撮像画像の縦方向（基線垂直方向）の位置ずれを計測し、補正することができる。ただし、ｘ軸またはｙ軸周りの回転及び、他の歪みによる横方向の並進ずれは、本実施形態の方法では計測できず、したがって補正もできない。そのため、このような横方向のずれを補正するためには、例えば特開２０１２−５８１８８号公報のような公知の他の処理方法と組み合わせて実施することが望ましい。

次に、第１の画像補正部２２１および第２の画像補正部２２２の処理内容について説明する。図８は、第１の画像補正部２２１の構成の一例を示す図である。ここでは、第１の画像補正部２２１を例に挙げて説明するが、第２の画像補正部２２２の場合も同様である。図８に示すように、第１の画像補正部２２１は、変換部５０２、補間部５０４および画像メモリ５０６を備える。変換部５０２は、第１撮像画像の座標の１つを表す第１撮像画像座標情報を読み込む。そして、変換部５０２は、補正パラメータ記憶部２１１に記憶された第１補正パラメータ（詳細は後述するが、補正パラメータ処理部２１０により選択された第１補正パラメータ）により決定される第１多項式により、読み込んだ座標を変換する。ここで、変換部５０２による変換後の座標の値は整数になるとは限らないので、補間部５０４は、画像メモリ５０６に保存された第１撮像画像を参照して、例えば双一次補間等の公知の補間技術により、変換後の座標の値を補間する。第１の画像補正部２２１は、第１撮像画像の全ての座標について、変換部５０２および補間部５０４の処理を繰り返すことにより、第１補正画像を生成する。

本実施形態では、変換部５０２による座標変換に用いる多項式（補正パラメータにより決定される多項式）として、以下の式８で表される２次多項式を用いる。

ただし、（ｘ_０，ｙ_０）は、撮像画像の変換前の座標を表す。また、（ｘ_１，ｙ_１）は、撮像画像の変換後の座標を表す。この場合、補正パラメータは、（ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ｂ_０，ｂ_１，ｂ_２，ｂ_３，ｂ_４，ｂ_５）の計１２個の係数である。

次に、図９を用いて、視差計算部２３０の処理内容について説明する。まず、視差計算部２３０には、平行配置された２台のカメラで同時に撮像された画像が入力される（ステップＳ６０１）。この例では、視差計算部２３０には、第１の画像補正部２２１から第１補正画像が入力され、第２の画像補正部２２２から第２補正画像が入力される。次に、視差計算部２３０は、視差を計算するための座標の基準をとる画像である第２補正画像（基準画像）から濃淡変化の激しい特徴点を複数抽出する（ステップＳ６０２）。そして、視差計算部２３０は、抽出した特徴点ごとに、もう１つの画像である第１補正画像（参照画像）において当該特徴点が映り込んだ位置を探索する対応点探索を行う（ステップＳ６０３）。例えば視差計算部２３０は、参照画像から、基準画像上の各特徴点の近傍領域（ブロック）と同じ被写体の写った対応点の位置を探索する。この対応点探索は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＰＯＣ（位相限定相関）など周知の技術を利用することができる。そして、視差計算部２３０は、対応点探索処理の結果を用いて、抽出した特徴点ごとに、基準画像上の当該特徴点の位置と参照画像上の当該特徴点の位置との差分を示す視差を算出する（ステップＳ６０４）。そして、視差計算部２３０は、ステップＳ６０４の算出結果を用いて、撮像画像に含まれる複数の特徴点と１対１に対応する複数の座標ごとに、当該座標に対応する視差量が設定された画像データを示す視差画像を出力する（ステップＳ６０５）。以上の処理を定期的に繰り返し実行することで、常にステレオカメラ前方の視差画像を出力し続けることができる。

次に、本実施形態の補正パラメータ処理部２１０のより詳細な内容について説明する。図１０は、補正パラメータ処理部２１０の機能構成の一例を示す図である。図１０に示すように、補正パラメータ処理部２１０は、第１取得部２５１と、第２取得部２５２と、対応点データ探索部２５３と、算出部２５４と、第３取得部２５５と、更新部２５６と、選択部２５７とを有する。

第１取得部２５１は、第１カメラ２０１から第１撮像画像を取得する。第２取得部２５２は、第２カメラ２０２から第２撮像画像を取得する。なお、本実施形態では、上述の第１取得部２５１および第２取得部２５２を別体として記載するが、これに限らず、例えば第１取得部２５１および第２取得部２５２は同一の構成要素であってもよい。つまり、第１取得部２５１および第２取得部２５２のうちの一方が他方の機能も兼ねる形態であってもよい。

対応点データ探索部２５３は、第２撮像画像（基準画像）内の複数の特徴点ごとに、第１撮像画像（参照画像）上の当該特徴点の位置と第２撮像画像上の当該特徴点の位置との差を示す視差の水平方向の成分および垂直方向の成分を少なくとも含む対応点データを求める。より具体的な内容については後述する。なお、この例では、水平方向は請求項の「第１方向」に対応し、垂直方向は請求項の「第２方向」に対応していると考えることができる。

算出部２５４は、探索された対応点データの集合に基づいて、第１撮像画像を補正するための第１補正パラメータ、および、第２撮像画像を補正するための第２補正パラメータを算出する。本実施形態では、算出部２５４は、探索された対応点データの数が閾値に到達した場合、探索された対応点データの集合に基づいて、第１補正パラメータおよび第２補正パラメータを算出する。

例えば図１１に示すように、第２撮像画像（基準画像）のｘ座標とｙ座標をそれぞれ３分割し、第２撮像画像全体を９つの単位領域に分割し（分割により得られる単位領域の数およびサイズはハードウェアの性能に応じて任意に変更可能）、対応点データ探索部２５３は、対応点データの探索対象となる単位領域内の特徴点ごとに対応点データを求め、対応点データの数が閾値に到達するたびに、対応点データの探索対象の単位領域を順次に切り替える制御を行う形態であってもよい。そして、算出部２５４は、全ての単位領域（ブロック）において、探索された対応点データの個数が閾値に到達した場合、探索された対応点データの集合に基づいて、第１補正パラメータおよび第２補正パラメータを算出する形態であってもよい。なお、上記のように全てのブロック（単位領域）を対応点データの探索対象とする形態に限られるものではなく、有効な特徴点があまり得られそうにないブロック、視差の誤差の影響をあまり受けにくいブロックについては対応点データの収集を省略することもできる。以上の形態においては、補正パラメータ処理部２１０は、第２撮像画像を２以上の所定数の単位領域（複数の画素を含むブロック）に分割する機能と、対応点データの探索対象の単位領域を切り替える機能とをさらに備えることになる。

図１０の説明を続ける。第３取得部２５５は、撮像装置１０（ステレオカメラ）の温度を示す上述の温度情報を取得する。例えば第３取得部２５５は、温度検出部２４０から一定の周期で送信されてくる温度情報を受信する形態であってもよいし、温度検出部２４０に対して任意のタイミングで温度情報を要求し、その応答として温度情報を取得する形態であってもよい。

更新部２５６は、第３取得部２５５により取得された温度情報が示す温度と、算出部２５４により算出された第１補正パラメータおよび第２補正パラメータを対応付けて、補正パラメータ記憶部２１１に記憶された上述の対応情報を更新する。より具体的な内容については後述する。

選択部２５７は、補正パラメータ記憶部２１１に記憶された対応情報に基づいて、第３取得部２５５により取得された温度情報が示す温度に対応する温度に対応付けられた第１補正パラメータおよび第２補正パラメータを選択する。より具体的には、選択部２５７は、対応情報内の複数種類の温度のうち、第３取得部２５５により取得された温度情報が示す温度との差が基準値以内の温度に対応付けられた第１補正パラメータおよび第２補正パラメータを選択する。上記基準値は任意に設定可能であり、例えば実験などにより予め決めておくこともできる。

また、例えば選択部２５７は、一定時間が経過するたびに（例えば３０分が経過するたびに）、第１補正パラメータおよび第２補正パラメータを取得することもできる。より具体的には、選択部２５７は、一定時間が経過するたびに、第３取得部２５５に対して温度情報の取得を指示し、この指示を受けた第３取得部２５５は、温度検出部２４０に対して温度情報を要求する。そして、第３取得部２５５は、その応答として、温度検出部２４０から温度情報を取得し、選択部２５７は、補正パラメータ記憶部２１１に記憶された対応情報を参照して、第３取得部２５５により取得された温度情報が示す温度（現在のステレオカメラの温度に相当）に対応する温度に対応付けられた第１補正パラメータおよび第２補正パラメータを選択する。

また、例えば選択部２５７は、第３取得部２５５により取得された温度情報が示す温度の変化量が閾値を超えた場合、第１補正パラメータおよび第２補正パラメータを選択する。例えば第３取得部２５５が、一定の周期で温度検出部２４０から送信されてくる温度情報を順次に取得する形態において、第３取得部２５５により取得された最新の温度情報が示す温度と、直前の温度情報が示す温度との差が閾値を超えた場合、選択部２５７は、第３取得部２５５に対して温度情報の取得を指示し、この指示を受けた第３取得部２５５は、温度検出部２４０に対して温度情報を要求する。そして、第３取得部２５５は、その応答として、温度検出部２４０から温度情報を取得し、選択部２５７は、補正パラメータ記憶部２１１に記憶された対応情報を参照して、第３取得部２５５により取得された温度情報が示す温度（現在のステレオカメラの温度に相当）に対応する温度に対応付けられた第１補正パラメータおよび第２補正パラメータを選択する。

以上のようにして選択部２５７により選択された第１補正パラメータおよび第２補正パラメータは、第１の画像補正部２２１および第２の画像補正部２２２の各々の補正に適用される。また、本実施形態では、上述の更新部２５６は、選択部２５７により選択された第１補正パラメータを用いて第１撮像画像を補正した第１補正画像と、該第１撮像画像とのズレ量（映像ズレ量）が許容値を超える場合、または、選択部２５７により選択された第２補正パラメータを用いて第２撮像画像を補正した第２補正画像と、該第２撮像画像とのズレ量が許容値を超える場合、第３取得部２５５により取得された温度情報が示す温度に対応する温度と、算出部２５４により算出された第１補正パラメータおよび第２補正パラメータを対応付けて、補正パラメータ記憶部２１１に記憶された対応情報を更新する。より具体的な内容については後述する。

本実施形態では、補正パラメータ処理部２１０が有する上述の各部の機能（第１取得部２５１、第２取得部２５２、対応点データ探索部２５３、算出部２５４、第３取得部２５５、更新部２５６、選択部２５７）は、補正パラメータ処理部２１０が備えるＣＰＵが、上述のプログラム格納用の不揮発性メモリ等に格納されたプログラムを実行することにより実現されるが、これに限られるものではなく、例えば補正パラメータ処理部２１０が有する上述の各部の機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）で実現されてもよい。

図１２は、補正パラメータを選択する処理の一例を示すフローチャートである。図１２に示す処理は、一定時間が経過するたびに行われてもよいし、第３取得部２５５により取得された温度の変化量が閾値を超えた場合に行われてもよい。まず、選択部２５７は、第３取得部２５５に対して温度情報の取得を指示し、この指示を受けた第３取得部２５５は温度検出部２４０から温度情報を取得する（ステップＳ７０１）。次に、選択部２５７は、ステップＳ７０１で取得した温度情報が示す温度が閾値ｔｈ１よりも低いか否かを判断する（ステップＳ７０２）。ステップＳ７０１で取得した温度情報が示す温度が閾値ｔｈ１よりも低い場合（ステップＳ７０２：Ｙｅｓ）、選択部２５７は、補正パラメータ記憶部２１１に記憶された対応情報内の３つの温度（ｔ１〜ｔ３）のうち、ステップＳ７０１で取得した温度情報が示す温度との差が基準値以内である温度は、最も低い温度を示すｔ１であると判断し、温度ｔ１に対応付けられた補正パラメータＰ１（第１補正パラメータＰ１１、第２補正パラメータＰ１２）を選択する（ステップＳ７０３）。

一方、ステップＳ７０１で取得した温度情報が示す温度が閾値ｔｈ１以上の場合（ステップＳ７０２：Ｎｏ）、選択部２５７は、ステップＳ７０１で取得した温度情報が示す温度が閾値ｔｈ１よりも高い閾値ｔｈ２以下であるか否かを判断する（ステップＳ７０４）。ステップＳ７０１で取得した温度情報が示す温度が閾値ｔｈ１以上、かつ、閾値ｔｈ２以下の低い場合（ステップＳ７０４：Ｙｅｓ）、選択部２５７は、上述の対応情報内の３つの温度（ｔ１〜ｔ３）のうち、ステップＳ７０１で取得した温度情報が示す温度との差が基準値以内である温度は、中間の温度を示すｔ２であると判断し、温度ｔ２に対応付けられた補正パラメータＰ２（第１補正パラメータＰ２１、第２補正パラメータＰ２２）を選択する（ステップＳ７０５）。

また、上述のステップＳ７０４において、ステップＳ７０１で取得した温度情報が示す温度が閾値ｔｈ２を超える場合（ステップＳ７０４：Ｎｏ）、選択部２５７は、上述の対応情報内の３つの温度（ｔ１〜ｔ３）のうち、ステップＳ７０１で取得した温度情報が示す温度との差が基準値以内である温度は、最も高い温度を示すｔ３であると判断し、温度ｔ３に対応付けられた補正パラメータＰ３（第１補正パラメータＰ３１、第２補正パラメータＰ３２）を選択する（ステップＳ７０６）。上述の閾値ｔｈ１および閾値ｔｈ２は任意に設定可能であり、例えば実験などにより予め決めておくこともできる。

図１３は、補正パラメータ記憶部２１１に記憶された補正パラメータを更新する処理の一例を示すフローチャートである。この例では、１フレームごとにステレオ画像（基準画像、参照画像）が入力されるたびに、図１３に示す処理が行われる。まず補正パラメータ処理部２１０には、平行配置された２台のカメラ（第１カメラ２０１、第２カメラ２０２）で同時に撮影されたステレオ画像（基準画像、参照画像）が入力され（ステップＳ１００１）、第１取得部２５１は、第１カメラ２０１から第１撮像画像（参照画像）を取得し、第２取得部２５２は、第２カメラ２０２から第２撮像画像（基準画像）を取得する。

次に、対応点データ探索部２５３は、ステップＳ１００１で入力された第２撮像画像（基準画像）内の複数の特徴点ごとに対応点探索を実行する（ステップＳ１００２）。より具体的には、対応点データ探索部２５３は、基準画像内の特徴点を抽出し、その周囲の画像内容の相関が高い参照画像上の位置（参照画像上の当該特徴点の位置）を求める。通常の視差画像生成では、左右のカメラが平行等位であるという前提のもとで左右方向のみの対応点探索を行うが、ここでは、上下左右に対応点探索を行い、縦横２次元方向の対応位置差（ｄ_ｘ,ｄ_ｙ）を、基準画像内の複数の特徴点ごとに求める。以上のようにして、本実施形態の対応点データ探索部２５３は、基準画像内の複数の特徴点ごとに、参照画像上の当該特徴点の位置と基準画像上の当該特徴点の位置との差を示す視差ｄの水平方向（横方向）の成分ｄ_ｘおよび垂直方向（縦方向）の成分ｄ_ｙと、参照画像上の当該特徴点の像位置の水平方向の成分ｘ_ｉおよび垂直方向の成分ｙ_ｉとを含む対応点データを求める。

対応点データ探索部２５３により探索された対応点データの数が閾値に到達した場合（ステップＳ１００３：Ｙｅｓ）、更新部２５６は、ステップＳ１００１で入力された撮像画像と、現在選択（適用）されている補正パラメータを用いて当該撮像画像を補正した補正画像との映像ズレ量が許容値を超えているか否かを判断する（ステップＳ１００４）。図１４は、本実施形態の補正パラメータＰ１〜Ｐ３ごとの、任意の温度ｔにおける映像ズレ量（撮像画像と、当該補正パラメータを用いて当該撮像画像を補正した補正画像との映像ズレ量）を表す模式図である。ここで求める映像ズレ量は、その目的に応じて、例えば補正前後の座標間の距離でもよいし、水平方向、又は垂直方向のいずれかのズレ量でもよいが、本実施形態のようなステレオカメラの撮像画像の歪みを補正するという目的の場合には、補正前後の座標間の距離の垂直方向（縦方向）の成分をズレ量として用いるのが好ましい。また、映像ズレ量は、例えば各特徴点におけるズレ量の画像全体の平均値でもよいし、ヒストグラムによる最頻値、最小値あるいは最大値でもよい。また、ズレ量の許容値の範囲を任意的に決めておき、その許容範囲を超えていないかを確認してもよい。

図１３の説明を続ける。映像ズレ量が許容値を超えている場合（ステップＳ１００４：Ｙｅｓ）、更新部２５６は、算出部２５４に対して補正パラメータの算出を依頼する。この依頼を受けた算出部２５４は、探索された対応点データの集合に基づいて、視差ｄの垂直方向の成分ｄ_ｙと、視差ｄの水平方向の成分ｄ_ｘ、参照画像上の位置の水平方向の成分ｘ_ｉ、および、参照画像上の位置の垂直方向の成分ｙ_ｉとの関係を表す視差多項式を求める（ステップＳ１００５）。この例では、算出部２５４は、探索された対応点データの集合から、最小二乗法により、上記式７に示す視差多項式の係数を決定する。

次に、算出部２５４は、ステップＳ１００５で求めた視差多項式の係数を用いて、第１補正パラメータとして、第１撮像画像（参照画像）の座標を変換する第１多項式の係数を決定し、第２補正パラメータとして、第２撮像画像（基準画像）の座標を変換する第２多項式の係数を決定する（ステップＳ１００６）。詳細については、以下に述べる。本実施形態では、算出部２５４は、ステップＳ１００５で求めた、上記式７に示す視差多項式の係数のうち、参照画像上の位置の水平方向の成分ｘ_ｉの１次の項の係数であるｂ、および、視差ｄの水平方向の成分ｄ_ｘｉの１次の項の係数であるｄを用いて、上記式５、上記式６に従い、両眼角度差（θ）、基線角度差（φ）を求める。これは、第１カメラ（参照カメラ）２０１が基線に対してφ傾き、第２カメラ（基準カメラ）２０２が第１カメラ２０１に対してθ傾いていることを示している。したがって、参照画像（第１撮像画像）を（−φ）、基準画像（第２撮像画像）を（−φ−θ）だけ回転させればよい。

算出部２５４は、第１撮像画像（参照画像）の回転の座標変換式を、以下の式９および式１０により設定する。

ただし、上記式９および１０において、（ｘ_ｌ，ｙ_ｌ）は、参照画像上の変換前の座標を示し、（ｘ_ｌ’，ｙ_ｌ’）は、参照画像上の変換後の座標を示す。

また、算出部２５４は、第２撮像画像（基準画像）の回転の座標変換式を、以下の式１１および式１２により設定する。

ただし、上記式１１および１２において、（ｘ_ｒ，ｙ_ｒ）は、基準画像上の変換前の座標を示し、（ｘ_ｒ’，ｙ_ｒ’）は、基準画像上の変換後の座標を示す。

さらに、並進や、台形歪みによる撮像画像の縦方向（垂直方向）の座標のずれに対応するため、参照画像用の変換式である上記式１０には、上記式８の多項式近似結果の係数ａ、ｅ、ｆ及びｇの項を加えて、以下の式１３を得る。

本来は、これらの項は、φだけ回転する前の座標系でのずれ量ではあるが、φの絶対値が小さい場合には、近似的にそのまま加算してもよい。以上より、第１撮像画像（参照画像）を補正するための第１補正パラメータとなる上記式８の座標変換式の係数（ａ_０・・・ｂ_５）は、以下の式１４で表すことができる。

また、第２撮像画像（基準画像）を補正するための第２補正パラメータとなる上記式８の座標変換式の係数（ａ_０・・・ｂ_５）は、以下の式１５で表すことができる。

ここでは、ｘの０次の項及び２次の項ａ_３、ａ_４及びａ_５は計測できないため、すべて０とした。他の計測方法によってａ_３、ａ_４及びａ_５を決定すれば、より精度を向上させることができる。以下、上記式１４の第１補正パラメータにより決定される多項式を「第１多項式」と称する場合がある。また、上記式１５の第２補正パラメータにより決定される多項式を「第２多項式」と称する場合がある。

算出部２５４は、以上のようにして補正パラメータ（第１補正パラメータ、第２補正パラメータ）を算出する。

次に、更新部２５６は、第３取得部２５５に対して温度情報の取得を指示する。この指示を受けた第３取得部２５５は、温度検出部２４０から温度情報を取得する（ステップＳ１００７）。次に、更新部２５６は、ステップＳ１００７で取得された温度情報が示す温度（現在のステレオカメラの温度に相当）と、ステップＳ１００６で算出された第１補正パラメータおよび第２補正パラメータを対応付けて、補正パラメータ記憶部２１１に記憶された対応情報を更新する（ステップＳ１００８）。例えばステップＳ１００７で取得された温度情報が示す温度と、上述の対応情報内の複数種類の温度（ｔ１〜ｔ３）のうちの温度ｔ１との差が基準値以内（両者が一致する場合も含む）である場合、補正パラメータ記憶部２１１に記憶されている対応情報のうち温度ｔ１と補正パラメータとの対応関係については、温度ｔ１に対して、ステップＳ１００６で算出された補正パラメータが対応付けられた情報に更新（変更）されるという具合である。

以上に説明したように、本実施形態では、補正パラメータ記憶部２１１に記憶された上述の対応情報を随時更新していく。すなわち、本実施形態によれば、経時劣化に起因する撮像画像の歪みの傾向の変化が反映された対応情報を用いて撮像画像の補正を行うことができるので、補正パラメータ記憶部２１１に記憶された対応情報が固定（デフォルトのまま）である形態に比べて、より高精度に撮像画像の歪みを補正することができる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の実施形態に示される全構成要素から幾つかを任意に組み合わせることもできる。

例えば上述の各実施形態では、撮像装置１０と画像処理装置２０とは別々の装置で構成されているが、これに限らず、例えば上述の撮像装置１０の機能と、上述の画像処理装置２０の機能とを有する１つの装置で構成されてもよい。

また、上述した画像処理装置２０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

１ システム
１０ 撮像装置
２０ 画像処理装置
２０１ 第１カメラ
２０２ 第２カメラ
２１０ 補正パラメータ処理部
２１１ 補正パラメータ記憶部
２２１ 第１の画像補正部
２２２ 第２の画像補正部
２３０ 視差計算部
２５１ 第１取得部
２５２ 第２取得部
２５３ 対応点データ探索部
２５４ 算出部
２５５ 第３取得部
２５６ 更新部
２５７ 選択部

特許第４８５８２６３号公報 特開２０１２−１４７２８１号公報

Claims (11)

1. ステレオカメラを構成する第１カメラおよび第２カメラのうち前記第１カメラによる撮像で得られた第１撮像画像を取得する第１取得部と、
   前記第２カメラによる撮像で得られた第２撮像画像を取得する第２取得部と、
   前記第２撮像画像内の複数の特徴点ごとに、前記第１撮像画像上の当該特徴点の位置と前記第２撮像画像上の当該特徴点の位置との差を示す視差の第１方向の成分および前記第１方向に直交する第２方向の成分を少なくとも含む対応点データを求める対応点データ探索部と、
   探索された前記対応点データの集合に基づいて、前記第１撮像画像を補正するための第１補正パラメータ、および、前記第２撮像画像を補正するための第２補正パラメータを算出する算出部と、
   前記ステレオカメラの温度を示す温度情報を取得する第３取得部と、
   複数種類の温度ごとに、前記第１補正パラメータおよび前記第２補正パラメータを対応付けた対応情報を記憶する補正パラメータ記憶部と、
   前記第３取得部により取得された前記温度情報が示す温度と、前記算出部により算出された前記第１補正パラメータおよび前記第２補正パラメータを対応付けて、前記補正パラメータ記憶部に記憶された前記対応情報を更新する更新部と、を備える、
   画像処理装置。
2. 前記対応情報に基づいて、前記第３取得部により取得された前記温度情報が示す温度に対応する温度に対応付けられた前記第１補正パラメータおよび前記第２補正パラメータを選択する選択部と、
   前記選択部により選択された前記第１補正パラメータを用いて前記第１撮像画像を補正する第１補正部と、
   前記選択部により選択された前記第２補正パラメータを用いて前記第２撮像画像を補正する第２補正部と、を備える、
   請求項１に記載の画像処理装置。
3. 前記選択部は、前記対応情報内の前記複数種類の温度のうち、前記第３取得部により取得された前記温度情報が示す温度との差が基準値以内の温度に対応付けられた前記第１補正パラメータおよび前記第２補正パラメータを選択する、
   請求項２に記載の画像処理装置。
4. 前記選択部は、一定時間が経過するたびに、前記第１補正パラメータおよび前記第２補正パラメータを選択する、
   請求項２または３に記載の画像処理装置。
5. 前記選択部は、前記第３取得部により取得された前記温度情報が示す温度の変化量が閾値を超えた場合、前記第１補正パラメータおよび前記第２補正パラメータを選択する、
   請求項２または３に記載の画像処理装置。
6. 前記更新部は、前記選択部により選択された前記第１補正パラメータを用いて前記第１撮像画像を補正した第１補正画像と、該第１撮像画像とのズレ量が許容値を超える場合、または、前記選択部により選択された前記第２補正パラメータを用いて前記第２撮像画像を補正した第２補正画像と、該第２撮像画像とのズレ量が許容値を超える場合、前記第３取得部により取得された前記温度情報が示す温度と、前記算出部により算出された前記第１補正パラメータおよび前記第２補正パラメータを対応付けて、前記補正パラメータ記憶部に記憶された前記対応情報を更新する、
   請求項２乃至５のうちの何れか１項に記載の画像処理装置。
7. 前記算出部は、探索された前記対応点データの数が閾値に到達した場合、探索された前記対応点データの集合に基づいて、前記第１補正パラメータおよび前記第２補正パラメータを算出する、
   請求項１乃至６のうちの何れか１項に記載の画像処理装置。
8. 前記対応点データは、前記視差の前記第１方向の成分および前記第２方向の成分と、前記第１撮像画像上の前記特徴点の像位置の前記第１方向の成分および前記第２方向の成分とを含み、
   前記算出部は、
   探索された前記対応点データの集合に基づいて、前記視差の前記第２方向の成分と、前記視差の前記第１方向の成分、前記第１撮像画像上の位置の前記第１方向の成分、および、前記第１撮像画像上の位置の前記第２方向の成分との関係を表す視差多項式を求め、
   前記視差多項式の係数を用いて、前記第１補正パラメータとして、前記第１撮像画像の座標を変換する第１多項式の係数を決定し、前記第２補正パラメータとして、前記第２撮像画像の座標を変換する第２多項式の係数を決定する、
   請求項１乃至７のうちの何れか１項に記載の画像処理装置。
9. 前記算出部は、探索された前記対応点データの集合から、最小二乗法により、前記視差多項式の係数を決定する、
   請求項８に記載の画像処理装置。
10. ステレオカメラを構成する第１カメラおよび第２カメラのうち前記第１カメラによる撮像で得られた第１撮像画像を取得する第１取得ステップと、
    前記第２カメラによる撮像で得られた第２撮像画像を取得する第２取得ステップと、
    前記第２撮像画像内の複数の特徴点ごとに、前記第１撮像画像上の当該特徴点の位置と前記第２撮像画像上の当該特徴点の位置との差を示す視差の第１方向の成分および前記第１方向に直交する第２方向の成分を少なくとも含む対応点データを求める対応点データ探索ステップと、
    探索された前記対応点データの集合に基づいて、前記第１撮像画像を補正するための第１補正パラメータ、および、前記第２撮像画像を補正するための第２補正パラメータを算出する算出ステップと、
    前記ステレオカメラの温度を示す温度情報を取得する第３取得ステップと、
    前記第３取得ステップにより取得された前記温度情報が示す温度に対応する温度と、前記算出ステップにより算出された前記第１補正パラメータおよび前記第２補正パラメータを対応付けて、複数種類の温度ごとに、前記第１補正パラメータおよび前記第２補正パラメータを対応付けた対応情報を記憶する補正パラメータ記憶部に記憶された前記対応情報を更新する更新ステップと、を含む、
    画像処理方法。
11. コンピュータに、
    ステレオカメラを構成する第１カメラおよび第２カメラのうち前記第１カメラによる撮像で得られた第１撮像画像を取得する第１取得ステップと、
    前記第２カメラによる撮像で得られた第２撮像画像を取得する第２取得ステップと、
    前記第２撮像画像内の複数の特徴点ごとに、前記第１撮像画像上の当該特徴点の位置と前記第２撮像画像上の当該特徴点の位置との差を示す視差の第１方向の成分および前記第１方向に直交する第２方向の成分を少なくとも含む対応点データを求める対応点データ探索ステップと、
    探索された前記対応点データの集合に基づいて、前記第１撮像画像を補正するための第１補正パラメータ、および、前記第２撮像画像を補正するための第２補正パラメータを算出する算出ステップと、
    前記ステレオカメラの温度を示す温度情報を取得する第３取得ステップと、
    前記第３取得ステップにより取得された前記温度情報が示す温度に対応する温度と、前記算出ステップにより算出された前記第１補正パラメータおよび前記第２補正パラメータを対応付けて、複数種類の温度ごとに、前記第１補正パラメータおよび前記第２補正パラメータを対応付けた対応情報を記憶する補正パラメータ記憶部に記憶された前記対応情報を更新する更新ステップと、を実行させるためのプログラム。

Images