JP6680335B2

JP6680335B2 - ステレオカメラ、車両、算出方法及びプログラム

Info

Publication number: JP6680335B2
Application number: JP2018205171A
Authority: JP
Inventors: 潤岸和田; 青木　伸; 青木　　伸; 菊池　直樹; 直樹菊池; 景洋長尾
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2020-04-15
Anticipated expiration: 2034-03-07
Also published as: JP2019053073A

Description

本発明は校正方法、校正装置及びプログラムに関する。

被写体までの距離を計測できるステレオカメラが利用されている。例えば自動車に搭載されたステレオカメラ（以下「車載ステレオカメラ」という。）により、車両前方の被写体までの距離を計測して、自動車を制御する技術が実用化されている。例えば車載ステレオカメラが計測した距離は、自動車の衝突防止や車間距離の制御等の目的で、運転者への警告、ブレーキ及びステアリング等の制御に利用されている。

一般に、車載ステレオカメラは自動車のフロントガラス内側に設置することが多い。これは、車載ステレオカメラを車外に設置すると、防水及び防塵などの点でより高い耐久性が必要になるためである。車内に設置されたステレオカメラは、車外の風景をフロントガラス越しに撮影する。一般に、フロントガラスは複雑な曲面形状を有し、またカメラ内のレンズのような光学部品と比べ、形状にゆがみを持つ。そのためフロントガラスは、フロントガラス越しに撮影された画像に歪みを生じさせる。

ステレオカメラにより取得した撮影画像を補正する技術は従来から知られている。例えば特許文献１には、ステレオカメラを構成する一対のカメラから出力された一対の画像データのそれぞれを、一方の画像データと他方の画像データとの座標のずれに基づく校正パラメータを用いて変換することにより、ステレオカメラの光学的な歪み及び位置的なずれを画像処理によって調整する装置が開示されている。

しかしながら従来の技術では、一対の画像データ間の被写体の像の視差（相対位置）のずれ（以下「相対位置ずれ」という。）は正しい視差に校正できるが、フロントガラス等の透明体の影響による画像データ上の被写体の像の座標のずれ（以下「絶対位置ずれ」という。）は正しい座標に校正できなかった。そのため被写体の像の視差から算出された被写体までの距離と、画像データ上の被写体の像の座標から被写体の位置を示す３次元座標を算出すると、当該３次元座標に誤差が発生してしまう問題があった。

本発明は、上記に鑑みてなされたものであって、透明体の影響による画像データ上の絶対位置ずれを高精度に校正することができる校正方法、校正装置及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１カメラと、当該第１カメラから所定距離離れた位置に配置された第２カメラとを備え、距離情報を算出するステレオカメラであって、前記第１カメラにより透明体を介さずに被写体を撮影して得られる第１撮影画像と、前記第２カメラにより透明体を介さずに被写体を撮影して得られる第２撮影画像と、前記第１カメラにより透明体を介して被写体を撮影して得られる第３撮影画像と、前記第１カメラと前記透明体の相対的な位置関係が前記第３撮影画像を撮像する際の位置関係と同じ状態で、前記第２カメラにより透明体を介して被写体を撮影して得られる第４撮影画像と、前記第１撮影画像と前記第３撮影画像とに基づいて算出された第１パラメータと、前記第２撮影画像と前記第４撮影画像とに基づいて算出された第２パラメータと、前記第３撮影画像と前記第４撮影画像とに基づいて算出された第３パラメータと、前記第３パラメータと前記第１パラメータとに基づいて算出された第４パラメータとを記憶する記憶部と、前記第４パラメータと、前記第１及び第２カメラが前記所定距離離れた状態で、前記第１及び第２カメラが撮像した画像とに基づいて前記距離情報を算出する算出部と、を備える。

本発明によれば、透明体の影響による画像データ上の絶対位置ずれを高精度に校正することができるという効果を奏する。

図１はステレオカメラを使用した距離の計測原理を説明するための図である。図２Ａは被写体の像の理想的な検出位置を示す図である。図２Ｂは被写体の像の検出位置のずれを示す図である。図３Ａは被写体の像及び視差の理想の状態を示す図である。図３Ｂはフロントガラスによる光の屈折の影響で被写体の像の絶対位置ずれを示す図である。図３Ｃは図３Ｂの基準画像の像の位置を基準にして視差を算出する場合を示す図である。図３Ｄは視差が理想視差Ｄになるように比較画像を校正する場合を示す図である。図３Ｅは被写体の像の位置の絶対位置ずれが校正できていないことを示す図である。図４は第１実施形態の校正方法の実施環境（フロントガラス無）の例を示す図である。図５は校正用チャートのパターンの例を示す図である。図６は第１実施形態の校正方法の実施環境（フロントガラス有）の例を示す図である。図７は第１実施形態の情報処理装置の構成の例を示す図である。図８は第１実施形態の校正方法の例を示すフローチャートである。図９は第２実施形態の情報処理装置の構成の例を示す図である。図１０は第２実施形態の校正方法の例を示すフローチャートである。図１１は第３実施形態の視差算出装置の構成の例を示す図である。図１２は第３実施形態の視差算出方法の例を示すフローチャートである。図１３は第４実施形態のステレオカメラの構成の例を示す図である。図１４は第４実施形態のステレオカメラを車載ステレオカメラとして使用する例を示す図である。図１５は情報処理装置及び視差算出装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、校正方法、校正装置及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
第１実施形態では、校正対象の撮影装置が車載ステレオカメラである場合を例にして説明する。車載ステレオカメラにより撮影された撮影画像の位置ずれには、絶対位置ずれ及び相対位置ずれがある。絶対位置ずれ及び相対位置ずれについて説明するため、まず視差と、視差を利用した距離計測原理について説明する。視差はステレオカメラが撮影した撮影画像を使用して算出する。図１はステレオカメラを使用した距離の計測原理を説明するための図である。図１の例では、第１カメラ１（焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０）がＺ軸を光軸方向として配置されている。また第２カメラ２（焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１）がＺ軸を光軸方向として配置されている。第１カメラ１及び第２カメラ２はＸ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。

第１カメラ１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２カメラ２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。以下、撮像面Ｓ_０から取得された撮影画像を「比較画像」という。また撮像面Ｓ_１から取得された撮影画像を「基準画像」という。

ここで第２カメラ２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。またＰ_０’とＰ_１の距離をＤとする。距離Ｄは同じ被写体の像を２台のカメラで撮影した画像上での位置のずれ量（視差）を表す。三角形Ａ−Ｏ_０−Ｏ_１と三角形Ｏ_１−Ｐ_０’−Ｐ_１とは相似である。そのためｄ＝Ｂ×ｆ／Ｄが成り立つ。すなわち基線長Ｂ、焦点距離ｆ及び視差Ｄから、被写体Ａまでの距離ｄを求めることができる。

以上が、ステレオカメラによる距離計測原理である。しかしながら透明体を介して被写体を撮影するステレオカメラ（フロントガラスを介して被写体を撮影する車載ステレオカメラなど）の場合、透明体の影響により撮影画像上の被写体の像の位置にずれ（上述の絶対位置ずれ）が生じる。

図２Ａは被写体の像の理想的な検出位置を示す図である。図２Ａではレンズ１１（光学系）を簡単のためピンホールカメラとみなしている。レンズ１１の光軸上に被写体１３が存在していた場合、光線は光軸１４と同じ方向に直進していき、そのままセンサ１２上に到達する。すなわち被写体１３の像は光軸の位置に対応する位置で検出される。

図２Ｂは被写体の像の検出位置のずれを示す図である。図２Ｂは図２Ａのレンズ１１の前面にフロントガラス１５が設置されている場合の例である。被写体１３から出射された光線はフロントガラス１５の前後面で屈折し、最終的にフロントガラスがない場合に到達していた像位置（図２Ａ参照）からΔＦｒ分だけずれて到達する。すなわち被写体１３の像は光軸の位置に対応する位置からΔＦｒ分だけずれて検出される。

このΔＦｒはステレオカメラの片眼のカメラ毎に発生する。ここで理想的な視差（以下、「理想視差」という。）と、ステレオカメラが取得した一対の画像データから得られた視差とに基づいて画像データを校正すると、被写体の像の視差のずれ（相対位置ずれ）は正しい視差に校正できるが、被写体の像の座標のずれ（ΔＦｒ：絶対位置ずれ）が校正できないことについて説明する。

図３Ａ〜Ｅは被写体の像の視差のずれ（上述の相対位置ずれ）は正しい視差に校正できるが、被写体の像の位置のずれ（上述の絶対位置ずれ）が正しい位置に校正できない校正の原理を説明するための図である。図３Ａ〜Ｅの比較画像は第１カメラ１により撮影された撮影画像である。図３Ａ〜Ｅの基準画像は第２カメラ２により撮影された撮影画像である。

図３Ａは被写体の像及び視差の理想の状態を示す図である。比較画像では被写体の像の位置は（５，７）である。一方、基準画像では被写体の像の位置は（５，４）である。すなわち理想視差Ｄは３である。

図３Ｂはフロントガラスによる光の屈折の影響で被写体の像の絶対位置ずれを示す図である。比較画像では被写体の像は（７，９）に現れている。すなわち理想状態からのずれの大きさは縦方向に２、横方向に２である。一方、基準画像では被写体の像は（６，３）に現れている。すなわち理想状態からのずれの大きさは縦方向に１、横方向に１である。

図３Ｃは図３Ｂの基準画像の像の位置を基準にして視差を算出する場合を示す図である。比較画像において、基準画像の像の位置と同じ位置である（６，３）に基準となる像をとる。図３Ｃの状態では視差は縦方向に１、横方向に６である。つまり被写体の像の絶対位置ずれの影響により、理想視差とのずれ（相対位置ずれ）が縦方向に１、横方向に３生じている。

図３Ｄは視差が理想視差Ｄになるように比較画像を校正する場合を示す図である。ステレオカメラの撮影対象として距離が既知の校正用チャートを利用すると、理想視差Ｄが算出できる。従来のステレオカメラ校正方法では、距離が既知の校正用チャートを被写体として含む基準画像の像の位置（６，３）を基準として視差が３（理想視差Ｄ）になるように、距離が既知の校正用チャートを被写体として含む比較画像の像の位置を校正する。すなわち従来のステレオカメラ校正方法は、比較画像の像の位置が（７，９）から（６，６）になるように比較画像を校正する。この校正により比較画像と基準画像とから理想視差Ｄを算出できるようにする。

図３Ｅは被写体の像の位置の絶対位置ずれが校正できていないことを示す図である。比較画像の像の位置（６，６）は理想状態の位置（５，７）から縦方向に１、横方向に１ずれたままである。また基準画像の像の位置（６，３）は理想状態の位置（５，４）から縦方向に１、横方向に１ずれたままである。以上のように、一対の画像データを使用して、視差が理想視差Ｄになるように画像データを校正しても、被写体の像の位置が正しい位置に校正できない。

以下、第１実施形態の校正方法によると、被写体の像の位置をほぼ理想状態の位置に校正することができることについて説明する。

第１実施形態の校正方法では、フロントガラス１５が無い状態で校正用チャートを撮影して取得した撮影画像（比較画像及び基準画像）と、フロントガラス１５が有る状態で校正用チャートを撮影して取得した撮影画像（比較画像及び基準画像）と、を使用する。以下、フロントガラスが無い状態で撮影された比較画像を第１比較画像という。またフロントガラスが無い状態で撮影された基準画像を第１基準画像という。またフロントガラスが有る状態で撮影された比較画像を第２比較画像という。またフロントガラスが有る状態で撮影された基準画像を第２基準画像という。

図４は第１実施形態の校正方法の実施環境（フロントガラス１５無）の例を示す図である。校正用チャート６０（校正用具）はステレオカメラ３０の撮影範囲に入るように設置する。校正用チャート６０は、比較画像上の点に対応する基準画像上の対応点を検出し易くするためのパターン等を有する。

図５は校正用チャート６０のパターンの例を示す図である。図５は校正用チャート６０のパターンがチェッカーパターンの場合である。図５のチェッカーパターンの格子点のピッチは小さいほど特徴点（対応点）が多くなり、後述の情報処理装置５０がフロントガラス１５に起因する局所的な絶対位置ずれを正確に検出することができる。一方、格子点のピッチを小さくすると後述の対応点検索処理で対応点を誤検出する可能性が高くなるため、格子点のピッチを小さくする場合は不規則な細かい模様のパターンを用いてもよい。しかしながら細かい模様のパターンを用いるほど、後述の情報処理装置５０で扱う情報量が大きくなるため、後述の情報処理装置５０の処理が重くなる。また校正用チャート６０は撮影画像の全体に映るように十分大きなサイズであることが好ましい。これにより後述の情報処理装置５０が撮影画像全体の特徴点（対応点）の情報を用いることができるので、フロントガラス１５に起因する正確な絶対位置ずれを取得することができる。なお校正用チャート６０のパターンの形状はチェッカーパターンに限られず任意でよい。例えば校正用チャート６０のパターンの形状は円形パターン等でもよい。

図４に戻り、ステレオカメラ３０はフロントガラスが無い状態で校正用チャート６０を撮影して第１比較画像及び第１基準画像を取得する。第１比較画像は第１カメラ１（図１参照）により撮影される。第１基準画像は第２カメラ２（図１参照）により撮影される。第１比較画像及び第１基準画像は、校正装置としての情報処理装置５０に入力される。

図６は第１実施形態の校正方法の実施環境（フロントガラス１５有）の例を示す図である。図６の実施環境は、図４の実施環境の自動車にフロントガラス１５を取り付けた場合である。すなわち図４及び図６の実施環境の違いはフロントガラス１５の有無だけである。ステレオカメラ３０はフロントガラス１５が有る状態で校正用チャート６０を撮影して第２比較画像及び第２基準画像を取得する。第２比較画像及び第２基準画像は、校正装置としての情報処理装置５０に入力される。

第１比較画像及び第２比較画像は、情報処理装置５０がステレオカメラ３０の第１カメラ１の絶対位置のずれを校正する補正パラメータを決定するために用いられる。また第１基準画像及び第２基準画像は、情報処理装置５０がステレオカメラ３０の第２カメラ２の絶対位置のずれを校正する補正パラメータを決定するために用いられる。

図７は第１実施形態の情報処理装置５０の構成の例を示す図である。第１実施形態の情報処理装置５０は受付部５１、判定部５２、絶対位置ずれ算出部５３、補正パラメータ算出部５４及び記憶制御部５５を備える。

受付部５１は、フロントガラス１５を介さずに校正用チャート６０を撮影した第１撮影画像（第１比較画像及び第１基準画像）を、ステレオカメラ３０から受け付ける。受付部５１は第１撮影画像（第１比較画像及び第１基準画像）を判定部５２に入力する。また受付部５１は、フロントガラス１５を介して校正用チャート６０を撮影した第２撮影画像（第２比較画像及び第２基準画像）を、ステレオカメラ３０から受け付ける。受付部５１は第２撮影画像（第２比較画像及び第２基準画像）を判定部５２に入力する。

判定部５２は受付部５１から第１撮影画像（第１比較画像及び第１基準画像）を受け付ける。判定部５２は、第１撮影画像に信頼性があるか否かを判定する。判定部５２は、例えば第１撮影画像に含まれる校正用チャート６０上のパターンの像の白輝度を抽出する。校正用チャート６０上のパターンの像に輝度ムラが発生していると、後述の対応点探索処理の精度に影響が発生するため、判定部５２は輝度ムラが第１撮影画像全域で顕著に発生しているか否かを判定する。判定部５２は、例えば輝度ムラが第１撮影画像全域で顕著に発生していない場合、第１撮影画像に信頼性があると判定する。判定部５２は第１撮影画像に信頼性がある場合、第１撮影画像を絶対位置ずれ算出部５３に入力する。

同様に判定部５２は受付部５１から第２撮影画像（第２比較画像及び第２基準画像）を受け付ける。判定部５２は第２撮影画像に信頼性があるか否かを判定する。判定部５２は、例えば第２撮影画像上の輝度の差異が正常であるか否かを判定する。これにより判定部５２はフロントガラス１５上にゴミが付着していた場合等を特定する。フロントガラス１５上にゴミ等が付着していると、後述の対応点探索処理の精度に影響が発生する。判定部５２は、例えば第２撮影画像上の輝度の差異が正常である場合、第２撮影画像に信頼性があると判定する。判定部５２は第２撮影画像に信頼性がある場合、第２撮影画像を絶対位置ずれ算出部５３に入力する。

絶対位置ずれ算出部５３は判定部５２から第１撮影画像（第１比較画像及び第１基準画像）、及び第２撮影画像（第２比較画像及び第２基準画像）を受け付ける。絶対位置ずれ算出部５３は第１カメラ１の絶対位置ずれ、及び第２カメラ２の絶対位置ずれを算出する。第１カメラ１及び第２カメラ２の絶対位置ずれの算出方法は同様なので、第１比較画像及び第２比較画像を利用した第１カメラ１の絶対位置ずれの算出方法について説明する。

絶対位置ずれ算出部５３は第１比較画像の校正用チャート６０の像の座標と、第２比較画像の校正用チャート６０の像の座標と、に基づいて、絶対位置ずれ（フロントガラス１５に起因する被写体の像の座標のずれ）を算出する。具体的には、絶対位置ずれ算出部５３は、第１比較画像の各特徴点に対応する第２比較画像の各特徴点（各対応点）を、ｘ方向及びｙ方向の２次元方向に検索する（対応点検索処理）。当該特徴点は校正用チャート６０のパターンの像を利用して絶対位置ずれ算出部５３により決定される。絶対位置ずれ算出部５３は第１比較画像の特徴点の座標（ｘ１，ｙ１）と、第１比較画像の当該特徴点に対応する第２比較画像の特徴点（対応点）の座標（ｘ２，ｙ２）と、の差（Δｘ，Δｙ）を、第１カメラ１の当該特徴点付近の絶対位置ずれとして算出する。絶対位置ずれ算出部５３は第１カメラ１の絶対位置ずれを補正パラメータ算出部５４に入力する。

また絶対位置ずれ算出部５３は第２カメラ２の絶対位置ずれを、第１カメラ１の絶対位置ずれと同様にして算出し、第２カメラ２の絶対位置ずれを補正パラメータ算出部５４に入力する。

補正パラメータ算出部５４は絶対位置ずれ算出部５３から第１カメラ１の絶対位置ずれ及び第２カメラ２の絶対位置ずれを受け付ける。補正パラメータ算出部５４は第１カメラ１の絶対位置ずれを校正する第１補正パラメータ、及び第２カメラ２の絶対位置ずれを校正する第２補正パラメータを算出する。第１補正パラメータ及び第２補正パラメータは、例えば絶対位置ずれを打ち消すように座標を変換する補正式の係数等である。当該補正式は、例えば絶対位置ずれが（１，２）の場合、ｘ方向に−１、ｙ方向に−２、座標を変換する式である。補正パラメータ算出部５４は第１補正パラメータ及び第２補正パラメータを記憶制御部５５に入力する。

記憶制御部５５は補正パラメータ算出部５４から第１補正パラメータ及び第２補正パラメータを受け付ける。記憶制御部５５は第１補正パラメータ及び第２補正パラメータをステレオカメラ３０に記憶する。記憶制御部５５は、例えば有線又は無線によりステレオカメラ３０に第１補正パラメータ及び第２補正パラメータを送信することにより、ステレオカメラ３０に第１補正パラメータ及び第２補正パラメータを記憶する。なお第１補正パラメータ及び第２補正パラメータを着脱可能な記憶媒体等に記憶し、当該記憶媒体を介してステレオカメラ３０に第１補正パラメータ及び第２補正パラメータを記憶してもよい。

次に第１実施形態の校正方法について説明する。図８は第１実施形態の校正方法の例を示すフローチャートである。ステレオカメラ３０はフロントガラス１５が無い状態（図４参照）で校正用チャート６０を撮影して第１撮影画像（第１比較画像及び第１基準画像）を取得する（ステップＳ１）。次に、情報処理装置５０（判定部５２）はステップＳ１で取得された第１撮影画像に信頼性があるか否かを判定する（ステップＳ２）。情報処理装置５０は第１撮影画像の信頼性を、例えば輝度ムラが第１撮影画像全域で顕著に発生しているか否かにより判定する。

信頼性がない場合（ステップＳ２、Ｎｏ）、実施環境の調整が行われ（ステップＳ３）、ステップＳ１に戻る。実施環境の調整は、例えば校正用チャート６０の位置や向きの調整等である。信頼性がある場合（ステップＳ２、Ｙｅｓ）、フロントガラス１５が自動車に設置される（ステップＳ４）。すなわち第１実施形態の校正方法の実施環境を図６の状態にする。

次に、ステレオカメラ３０はフロントガラス１５が有る状態（図６参照）で校正用チャート６０を撮影して第２撮影画像（第２比較画像及び第２基準画像）を取得する（ステップＳ５）。次に、情報処理装置５０（判定部５２）はステップＳ５で取得された第２撮影画像に信頼性があるか否かを判定する（ステップＳ６）。情報処理装置５０は第２撮影画像の信頼性を、例えば第２撮影画像上の輝度の差異が正常であるか否かにより判定する。

信頼性がない場合（ステップＳ６、Ｎｏ）、実施環境の調整が行われ（ステップＳ７）、ステップＳ１に戻る。実施環境の調整は、例えばフロントガラス１５の再設置等である。なお実施環境の調整（ステップＳ７）が軽微な場合、ステップＳ１に戻らずにステップＳ４からやり直してもよい。

信頼性がある場合（ステップＳ６、Ｙｅｓ）、情報処理装置５０（絶対位置ずれ算出部５３）は、第１比較画像及び第２比較画像を参照して、上述の方法で第１カメラ１の絶対位置ずれを算出し、第１基準画像及び第２基準画像を参照して、上述の方法で第２カメラ２の絶対位置ずれを算出する（ステップＳ８）。

次に、情報処理装置５０（補正パラメータ算出部５４）は第１カメラ１の絶対位置ずれを校正する第１補正パラメータ、及び第２カメラ２の絶対位置ずれを校正する第２補正パラメータを算出する（ステップＳ９）。第１補正パラメータ及び第２補正パラメータは、例えば絶対位置ずれを打ち消すように座標を変換する補正式の係数等である。

次に、情報処理装置５０（記憶制御部５５）は第１補正パラメータ及び第２補正パラメータをステレオカメラ３０に記憶する。記憶制御部５５は、例えば有線又は無線によりステレオカメラ３０に第１補正パラメータ及び第２補正パラメータを送信することにより、ステレオカメラ３０に第１補正パラメータ及び第２補正パラメータを記憶する（ステップＳ１０）。

以上説明したように、第１実施形態の校正方法は、フロントガラス１５が無い状態で撮影した第１撮影画像（第１比較画像及び第１基準画像）と、フロントガラス１５が有る状態で撮影した第２撮影画像（第２比較画像及び第２基準画像）と、を取得する。そして第１比較画像の各特徴点に対応する第２比較画像の各特徴点（各対応点）との差を、第１カメラ１の当該各特徴点付近の絶対位置ずれとして算出する。同様に第１基準画像の各特徴点に対応する第１基準画像の各特徴点（各対応点）との差を、第２カメラ２の当該各特徴点付近の絶対位置ずれとして算出する。第１実施形態の校正方法は、このようにして算出された第１カメラ１（第２カメラ２）の絶対位置ずれに基づいて第１補正パラメータ（第２補正パラメータ）を算出するので、第１補正パラメータ（第２補正パラメータ）により第１カメラ１（第２カメラ２）のフロントガラス１５の影響による絶対位置ずれを校精度に校正することができる。

なお第１実施形態の説明では、校正対象の撮影装置を自動車に搭載されるステレオカメラ３０として説明した。しかしながら第１実施形態の校正方法は、カメラ毎に独立に行うことができるので、校正対象の撮影装置のカメラの数は任意でよい。例えば校正対象の撮影装置は単眼カメラでもよい。

（第２実施形態）
次に第２実施形態について説明する。校正対象の撮影装置がステレオカメラ３０の場合は、物体に搭載するステレオカメラ３０の組み付け公差の影響等によっても、上述の図３Ａ〜図３Ｅで説明した相対位置ずれが発生する。実施形態の校正方法により算出した第１補正パラメータ（第２補正パラメータ）により、第２比較画像（第２基準画像）の絶対位置ずれを補正した後に、更に図３Ｄで説明した校正を行うようにステレオカメラ３０の第１補正パラメータを更新すれば、組み付け公差の影響等による相対位置ずれも校正することができる。第２実施形態ではステレオカメラ３０の絶対位置ずれ及び相対位置ずれを校正する場合について説明する。

図９は第２実施形態の情報処理装置５０の構成の例を示す図である。第２実施形態の情報処理装置５０は受付部５１、判定部５２、絶対位置ずれ算出部５３、補正パラメータ算出部５４、記憶制御部５５及び相対位置ずれ算出部５６を備える。第２実施形態の情報処理装置５０は、第１実施形態の情報処理装置５０の構成に相対位置ずれ算出部５６が追加されている。第２実施形態の説明では、第１実施形態と同様の説明については省略し、物体に搭載するステレオカメラ３０の組み付け公差の影響等による相対位置ずれを校正する処理について説明する。

＜絶対位置ずれ算出部５３が使用される場合の動作＞
まず第２実施形態の情報処理装置５０はフロントガラス１５の影響による絶対値ずれを校正するため、絶対位置ずれ算出部５３及び補正パラメータ算出部５４により第１及び第２補正パラメータを算出し、記憶制御部５５によりステレオカメラ３０に記憶する（図８参照）。絶対位置ずれ算出部５３が使用される場合の情報処理装置５０の動作は第１実施形態と同じなので説明を省略する。

＜相対位置ずれ算出部５６が使用される場合の動作＞
次に第２実施形態の情報処理装置５０は、フロントガラス１５の絶対位置ずれの影響を校正した後の撮影画像をステレオカメラ３０から受け付け、相対位置ずれ算出部５６及び補正パラメータ算出部５４により、ステレオカメラ３０の組み付け公差の影響等による相対位置ずれを校正するパラメータ（後述の第３パラメータ）を算出する。以下、相対位置ずれ算出部５６が使用される場合の情報処理装置５０の動作について詳細に説明する。

受付部５１は第１補正パラメータにより絶対位置ずれが校正された第２比較画像（第１カメラ１がフロントガラス１５を介して校正用チャート６０を撮影した比較画像）と、第２補正パラメータにより絶対位置ずれが校正された第２基準画像（第２カメラ２がフロントガラス１５を介して校正用チャート６０を撮影した基準画像）と、をステレオカメラ３０から受け付ける。

判定部５２は第１補正パラメータ（第２補正パラメータ）により絶対位置ずれが校正された第２比較画像（第２基準画像）に信頼性があるか否かを判定する。信頼性の判定方法の説明は第１実施形態と同様のため省略する。判定部５２は第２比較画像（第２基準画像）に信頼性がある場合、第２比較画像（第２基準画像）を相対位置ずれ算出部５６に入力する。

相対位置ずれ算出部５６は、第２比較画像の各特徴点に対応する第２基準画像の各特徴点（各対応点）を検索することにより視差（Ｄｘ，Ｄｙ）を算出する。そして相対位置ずれ算出部５６は当該視差（Ｄｘ，Ｄｙ）と、理想視差（Ｄ，０）との差を相対位置ずれとして算出する。相対位置ずれ算出部５６は相対位置ずれを補正パラメータ算出部５４に入力する。

補正パラメータ算出部５４は第２比較画像及び第２基準画像の相対位置ずれを校正する第３補正パラメータを算出する。第３補正パラメータによる校正は第２比較画像に対して行われる（図３Ｄ参照）。第３補正パラメータは、例えば相対位置ずれを打ち消すように第２比較画像の座標を変換する補正式の係数等である。補正パラメータ算出部５４は絶対位置ずれを校正する第１補正パラメータと、当該第３補正パラメータと、を合わせることにより第１補正パラメータを修正し、修正後第１補正パラメータを算出する。補正パラメータ算出部５４は修正後第１補正パラメータを記憶制御部５５に入力する。

記憶制御部５５は修正後第１補正パラメータをステレオカメラ３０に記憶することにより、ステレオカメラ３０に記憶されている第１補正パラメータを更新する。

次に第２実施形態の校正方法について説明する。図１０は第２実施形態の校正方法の例を示すフローチャートである。情報処理装置５０は第１実施形態の校正方法（図８、ステップＳ１〜ステップＳ１０参照）により算出した第１補正パラメータ及び第２補正パラメータをステレオカメラ３０に記憶する（ステップＳ１１）。

ステレオカメラ３０は、フロントガラス１５を介して、被写体として校正用チャート６０を撮影して、第２比較画像と第２基準画像とを取得する（ステップＳ１２）。次に、ステレオカメラ３０が、第２比較画像を第１補正パラメータにより校正する（ステップＳ１３）。次に、ステレオカメラ３０が、第２基準画像を第２補正パラメータにより校正する（ステップＳ１４）。

次に、情報処理装置５０は、校正された第２比較画像の被写体の像の座標と、校正された第２基準画像の被写体の像の座標との差と、理想視差Ｄとから、校正された第２比較画像の被写体の像と、校正された第２基準画像の被写体の像と、の視差のずれを示す相対位置ずれを校正する第３補正パラメータを算出する（ステップＳ１５）。次に、情報処理装置５０は、第１補正パラメータを第３補正パラメータにより修正することにより、修正後第１補正パラメータを算出する（ステップＳ１６）。次に、ステレオカメラ３０は修正後第１補正パラメータを記憶する（ステップＳ１７）。

以上説明したように、第２実施形態の校正方法によれば、ステレオカメラ３０の第１補正パラメータを更に修正するので、ステレオカメラ３０により撮影された撮影画像に含まれる被写体の像から、被写体のより正確な位置を示す３次元情報を取得することができる。

なお上述の説明では、情報処理装置５０は第１補正パラメータを第３補正パラメータにより修正したが、第２補正パラメータを第３補正パラメータにより修正してもよい。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態は第２実施形態の校正方法により算出された補正パラメータを記憶する視差算出装置である。なお稼働中の視差算出装置で補正パラメータを利用する場合は、「校正」ではなく「補正」と表記する。図１１は第３実施形態の視差算出装置２０の構成の例を示す図である。第３実施形態の視差算出装置２０は、受付部２１、第１補正部２２、第２補正部２３、記憶部２４、算出部２５及び復元部２６を備える。

受付部２１は第２比較画像（透明体を介して撮影された比較画像）の入力を受け付ける。受付部２１は第２比較画像を第１補正部２２に出力する。また受付部２１は第２基準画像（透明体を介して撮影された基準画像）の入力を受け付ける。受付部２１は第２基準画像を第２補正部２３に出力する。

第１補正部２２は第２比較画像を受付部２１から受け付ける。第１補正部２２は第２比較画像を、上述の修正後第１補正パラメータを使用して補正する。第１補正部２２は補正後の第２比較画像を、算出部２５及び復元部２６に出力する。

第２補正部２３は第２基準画像を受付部２１から受け付ける。第２補正部２３は第２基準画像を、上述の第２補正パラメータを使用して補正する。第２補正部２３は補正後の第２基準画像を、算出部２５及び復元部２６に出力する。

記憶部２４は第１補正部２２が使用する修正後第１補正パラメータと、第２補正部２３が使用する第２補正パラメータとを記憶する。

算出部２５は第１補正部２２から補正後の第２比較画像を受け付け、第２補正部２３から補正後の第２基準画像を受け付ける。算出部２５は補正された第２比較画像に含まれる被写体の像と、補正された第２基準画像に含まれる被写体の像とから視差を算出する。算出部２５は画素毎に視差を算出し、視差を濃度値で表した視差画像を生成する。

復元部２６は第１補正部２２から補正後の第２比較画像を受け付け、第２補正部２３から補正後の第２基準画像を受け付ける。復元部２６は補正により低下した第２比較画像のＭＴＦ（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）特性を復元させる。復元部２６は第２比較画像のＭＴＦ特性を復元させることにより、解像度を向上させた第１カメラ１の輝度画像を生成する。同様に、復元部２６は補正により低下した第２基準画像のＭＴＦ特性を復元させる。復元部２６は第２基準画像のＭＴＦ特性を復元させることにより、解像度を向上させた第２カメラ２の輝度画像を生成する。

次にフローチャートを参照して第３実施形態の視差算出方法について説明する。図１２は第３実施形態の視差算出方法の例を示すフローチャートである。受付部２１は第２比較画像の入力を受け付ける（ステップＳ２１）。次に受付部２１は第２基準画像の入力を受け付ける（ステップＳ２２）。

次に第１補正部２２は第２比較画像を、修正後第１補正パラメータを使用して補正する（ステップＳ２３）。次に第２補正部２３は第２基準画像を、第２補正パラメータを使用して補正する（ステップＳ２４）。

次に算出部２５は補正された第２比較画像に含まれる被写体の像と、補正された第２基準画像に含まれる被写体の像とから視差を算出する（ステップＳ２５）。算出部２５はステップＳ２５により算出した視差（画素毎に算出した視差）を使用して、視差を画素の濃度値で表した視差画像を生成する（ステップＳ２６）。

以上説明したように、第３実施形態の視差算出装置２０は、第１補正部２２が、第２比較画像を、修正後第１補正パラメータを使用して補正する。また第２補正部２３が、第２基準画像を、第２補正パラメータを使用して補正する。また算出部２５が、補正された第２比較画像に含まれる被写体の像と、補正された第２基準画像に含まれる被写体の像とから視差を算出する。

これにより第３実施形態の視差算出装置２０によれば、透明体の影響による画像データ上の被写体の像の座標のずれ（絶対位置ずれ）だけでなく、組み付け公差等の影響による画像データ上の被写体の像の視差のずれ（相対位置ずれ）も補正することができる。すなわち第１実施形態の視差算出装置２０は、被写体の像の視差から算出された被写体までの距離と、画像データ上の被写体の像の座標と、から被写体の位置を示す３次元座標をより正確に算出することができる。

（第４実施形態）
次に第４実施形態について説明する。図１３は第４実施形態のステレオカメラ３０の構成の例を示す図である。第４実施形態のステレオカメラ３０は、第１カメラ１、第２カメラ２、及び視差算出装置２０を備える。視差算出装置２０は、受付部２１、第１補正部２２、第２補正部２３、記憶部２４、算出部２５及び復元部２６を備える。

第４実施形態のステレオカメラ３０は、第３実施形態の視差算出装置２０を備えるステレオカメラである。第４実施形態のステレオカメラ３０は、例えば車載ステレオカメラとして利用できる。図１４は第３実施形態のステレオカメラ３０を車載ステレオカメラとして使用する例を示す図である。ステレオカメラ３０がフロントガラス１５の内側に設置されている。これにより自動車（車両）の走行中及び停止中に、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）も補正することができる。

第４実施形態のステレオカメラ３０によれば、画像データ上の被写体の像の視差のずれ（相対位置ずれ）だけでなく、画像データ上の被写体の像の座標のずれ（絶対位置ずれ）もリアルタイムに補正することができる。すなわち第４実施形態のステレオカメラ３０は、リアルタイムに、被写体の像の視差から算出された被写体までの距離と、画像データ上の被写体の像の座標と、から被写体の位置を示す３次元座標を正確に算出することができる。

最後に情報処理装置５０及び視差算出装置２０のハードウェア構成の例について説明する。図１５は情報処理装置５０及び視差算出装置２０のハードウェア構成の例を示す図である。情報処理装置５０及び視差算出装置２０は、制御装置４１、主記憶装置４２、補助記憶装置４３、外部ＩＦ４４及び通信装置４５を備える。制御装置４１、主記憶装置４２、補助記憶装置４３、外部ＩＦ４４及び通信装置４５は、バス４６を介して互いに接続されている。

制御装置４１は補助記憶装置４３から主記憶装置４２に読み出されたプログラムを実行する。主記憶装置４２はＲＯＭやＲＡＭ等のメモリである。補助記憶装置４３はＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やメモリカード等である。外部ＩＦ４４は他の装置とデータを送受信するためのインターフェースである。通信装置４５は無線方式などにより他の装置と通信するためのインターフェースである。

情報処理装置５０及び視差算出装置２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また情報処理装置５０及び視差算出装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また情報処理装置５０及び視差算出装置２０が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また情報処理装置５０及び視差算出装置２０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

情報処理装置５０で実行されるプログラムは、上述した各機能ブロック（受付部５１、判定部５２、絶対位置ずれ算出部５３、補正パラメータ算出部５４、記憶制御部５５及び相対位置ずれ算出部５６）を含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置４１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置４２上にロードされる。すなわち、上記各機能ブロックは、主記憶装置４２上に生成される。

また視差算出装置２０で実行されるプログラムは、上述した各機能ブロック（受付部２１、第１補正部２２、第２補正部２３、算出部２５及び復元部２６）を含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置４１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置４２上にロードされる。すなわち、上記各機能ブロックは、主記憶装置４２上に生成される。

なお、上述した情報処理装置５０の各機能ブロック（受付部５１、判定部５２、絶対位置ずれ算出部５３、補正パラメータ算出部５４、記憶制御部５５及び相対位置ずれ算出部５６）、及び上述した視差算出装置２０の各機能ブロック（受付部２１、第１補正部２２、第２補正部２３、算出部２５及び復元部２６）の一部又は全部を、ソフトウェアにより実現せずに、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

１第１カメラ
２第２カメラ
１１レンズ（光学系）
１２センサ
１３被写体
１４光軸
１５フロントガラス
２０視差算出装置
２１受付部
２２第１補正部
２３第２補正部
２４記憶部
２５算出部
２６復元部
３０ステレオカメラ
４１制御装置
４２主記憶装置
４３補助記憶装置
４４外部ＩＦ
４５通信装置
４６バス
５０情報処理装置（校正装置）
５１受付部
５２判定部
５３絶対位置ずれ算出部
５４補正パラメータ算出部
５５記憶制御部
５６相対位置ずれ算出部
６０校正用チャート（校正用具）

特許第４１０９０７７号公報

Claims

第１カメラと、当該第１カメラから所定距離離れた位置に配置された第２カメラとを備え、距離情報を算出するステレオカメラであって、
前記第１カメラにより透明体を介さずに被写体を撮影して得られる第１撮影画像と、前記第２カメラにより透明体を介さずに被写体を撮影して得られる第２撮影画像と、前記第１カメラにより透明体を介して被写体を撮影して得られる第３撮影画像と、前記第１カメラと前記透明体の相対的な位置関係が前記第３撮影画像を撮像する際の位置関係と同じ状態で、前記第２カメラにより透明体を介して被写体を撮影して得られる第４撮影画像と、
前記第１撮影画像と前記第３撮影画像とに基づいて算出された第１パラメータと、
前記第２撮影画像と前記第４撮影画像とに基づいて算出された第２パラメータと、
前記第３撮影画像と前記第４撮影画像とに基づいて算出された第３パラメータと、
前記第３パラメータと前記第１パラメータとに基づいて算出された第４パラメータとを記憶する記憶部と、
前記第４パラメータと、前記第１及び第２カメラが前記所定距離離れた状態で、前記第１及び第２カメラが撮像した画像とに基づいて前記距離情報を算出する算出部と、
を備えるステレオカメラ。
前記第４パラメータは、前記第１カメラの撮影する画像又は前記第２カメラの撮影する画像を補正するパラメータである、請求項１に記載のステレオカメラ。
前記第４パラメータは、前記第１カメラと前記第２カメラの相対位置ずれを補正するパラメータである、
請求項１に記載のステレオカメラ。
第１カメラと、当該第１カメラから所定距離離れた位置に配置された第２カメラとを備え、
前記第１カメラにより透明体を介さずに被写体を撮影して得られる第１撮影画像と、前記第２カメラにより透明体を介さずに被写体を撮影して得られる第２撮影画像と、前記第１カメラにより透明体を介して被写体を撮影して得られる第３撮影画像と、前記第１カメラと前記透明体の相対的な位置関係が前記第３撮影画像を撮像する際の位置関係と同じ状態で、前記第２カメラにより透明体を介して被写体を撮影して得られる第４撮影画像と、
前記第１撮影画像と前記第３撮影画像とに基づいて算出された第１パラメータと、
前記第２撮影画像と前記第４撮影画像とに基づいて算出された第２パラメータと、
前記第３撮影画像と前記第４撮影画像とに基づいて算出された第３パラメータと、
前記第３パラメータと前記第１パラメータとに基づいて算出された第４パラメータとを記憶する記憶部と、
前記第４パラメータと、前記第１及び第２カメラが前記所定距離離れた状態で、前記第１及び第２カメラが撮像した画像とに基づいて距離情報を算出する算出部と、
を備える車両。
前記透明体は、前記車両のフロントガラスである、請求項４に記載の車両。
第１カメラと、当該第１カメラから所定距離離れた位置に配置された第２カメラとを備えるステレオカメラでの距離情報の算出方法であって、
前記第１カメラにより透明体を介さずに被写体を撮影して得られる第１撮影画像と、前記第２カメラにより透明体を介さずに被写体を撮影して得られる第２撮影画像と、前記第１カメラにより透明体を介して被写体を撮影して得られる第３撮影画像と、前記第１カメラと前記透明体の相対的な位置関係が前記第３撮影画像を撮像する際の位置関係と同じ状態で、前記第２カメラにより透明体を介して被写体を撮影して得られる第４撮影画像と、前記第１撮影画像と前記第３撮影画像とに基づいて算出された第１パラメータと、
前記第２撮影画像と前記第４撮影画像とに基づいて算出された第２パラメータと、
前記第３撮影画像と前記第４撮影画像とに基づいて算出された第３パラメータと、
前記第３パラメータと前記第１パラメータとに基づいて算出された第４パラメータとを記憶するステップと、
前記第４パラメータと、前記第１及び第２カメラが前記所定距離離れた状態で、前記第１及び第２カメラが撮像した画像とに基づいて前記距離情報を算出するステップと、
を備える算出方法。
第１カメラと、当該第１カメラから所定距離離れた位置に配置された第２カメラとを備えるステレオカメラに搭載された制御装置に、
前記第１カメラにより透明体を介さずに被写体を撮影して得られる第１撮影画像と、前記第２カメラにより透明体を介さずに被写体を撮影して得られる第２撮影画像と、前記第１カメラにより透明体を介して被写体を撮影して得られる第３撮影画像と、前記第１カメラと前記透明体の相対的な位置関係が前記第３撮影画像を撮像する際の位置関係と同じ状態で、前記第２カメラにより透明体を介して被写体を撮影して得られる第４撮影画像と、
前記第１撮影画像と前記第３撮影画像とに基づいて算出された第１パラメータと、
前記第２撮影画像と前記第４撮影画像とに基づいて算出された第２パラメータと、
前記第３撮影画像と前記第４撮影画像とに基づいて算出された第３パラメータと、
前記第３パラメータと前記第１パラメータとに基づいて算出された第４パラメータとを記憶するステップと、
前記第４パラメータと、前記第１及び第２カメラが前記所定距離離れた状態で、前記第１及び第２カメラが撮像した画像とに基づいて距離情報を算出するステップと、
を実行させるプログラム。