JP6739367B2

JP6739367B2 - カメラ装置

Info

Publication number: JP6739367B2
Application number: JP2017013101A
Authority: JP
Inventors: 琢馬大里; 英彰城戸; 永崎　健; 健永崎
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2017-01-27
Filing date: 2017-01-27
Publication date: 2020-08-12
Anticipated expiration: 2037-01-27
Also published as: WO2018139297A1; JP2018119910A

Description

本発明は、カメラ装置に関する。

本技術分野の背景技術として、特開2001-92968（特許文献１）がある。

該公報には、「比較画像ラインメモリと、アドレス生成回路と、ステレオマッチング回路とを有する。ラインメモリは、一方の撮像画像における基準画素領域内の画像データと、他方の撮像画像における基準画素領域の垂直位置に対応した水平線上の画像データとを記憶する。アドレス生成回路は、ステレオマッチングを行う際の探索範囲を設定するとともに、当該設定された探索範囲内の画像データと基準画像領域内の画像データとの読み出しを、ラインメモリに対して指示する。また、ステレオマッチング回路は、ラインメモリから読み出された探索範囲内の画像データと基準画素領域の画像データとに基づいて、ステレオマッチングにより基準画素領域の相関先を特定する。ここで、上記のアドレス生成回路は、基準画素領域の水平位置を基準とした無限遠対応点のずれの程度に基づいて、当該基準画素領域に関する探索範囲の位置を補正する。」と記載されている。

本技術分野の背景技術として、特開2009-8539号（特許文献２）がある。

該公報には、「スクリーン等の他の手段を用いることなく、消失点算出の基準となる被写体が存在しない環境においても視差についての視差オフセット値の補正を行うことが可能なステレオ画像処理装置を提供する。」と記載されている。

特開2001-92968号公報特開2009-8539号公報

対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の式で表される。

ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、wi[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、d[px]は視差、ε[px]は視差オフセットを表す。ここで視差オフセットとは、視差に生じるオフセット状の誤差である。この値はカメラの設置位置によって決定されるが、振動、温度変化による装置の歪み、ねじ締め時に発生する物理的な負荷などによって経時的に変化することが知られている。視差オフセットの値が変化した場合、視差から距離を算出する際に誤差が生じ、対象の三次元位置を正確に推定することが困難となる。

前記特許文献１には、ステレオカメラでスクリーンを撮像し、撮像された画像に基づいて視差オフセットを推定する手段が記載されている。しかしながら、スクリーンを撮像する必要があるため、工場などの特殊設備が必要であり、経時的に変化する視差オフセットに対応出来ない。

前記特許文献２には、大きさが時間的に変化しない物体を追跡し、物体の画像上での大きさと算出された視差の関係から視差オフセットを推定する手段が記載されている。しかしながら、特定の立体物を安定に追跡し続ける必要があるため、補正可能なシーンが限られてしまう。

本発明の目的は、視差の算出精度を確保しつつ、算出コストを低減することができるカメラ装置を提供することにある。

上記目的を達成するために、本発明の一例のカメラ装置は、第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、視差の分解能に対応する第１距離以上離れた位置にある物体が撮像された第１領域を背景差分法により前記第１画像から抽出する領域抽出部と、前記第１領域に視界が遮られずに前記物体が撮像されているか否かを背景差分法又は前記物体のシルエットにより判断する領域決定部と、前記第１領域に視界が遮られずに前記物体が撮像されている場合、前記第１領域及びそれに最も類似する第２画像の第２領域から第１視差を算出する第１視差算出部と、前記第１視差を補正値として決定する補正値決定部と、前記補正値に基づいて第２視差を補正する補正処理部と、を備える。

本発明によれば、視差の算出精度を確保しつつ、算出コストを低減することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態によるステレオカメラ校正装置の構成を示す図である。視差オフセット補正部のフローチャートを示した図である。遠方物体として地上物体を用いる場合の遠方領域抽出部のフローチャートを示した図である。遠方物体として地上物体を用いる場合の遠方候補領域を抽出する動作を説明するための図である。遠方物体が遮蔽されるシーンを説明するための図である。遠方物体として天体を用いる場合の遠方領域抽出部フローチャートを示した図である。遠方物体として太陽を用いる場合の遠方領域抽出部フローチャートを示した図である。太陽撮像用の露光調整を説明するための図である。遠方物体として雲を用いる場合の遠方領域抽出部フローチャートを示した図である。領域視差算出部の動作を説明するための図である。視差閾値を変更可能な視差オフセット補正部のフローチャートを示した図である。遠方閾値算出部のフローチャートを示した図である。遠方の定義手段を説明するための図である。

以下、図面を用いて、本発明の第１〜第２の実施形態によるステレオカメラ校正装置（カメラ装置）の構成及び動作について説明する。なお、各図において、同一符号は同一部分を示す。

本実施形態の目的は、前述した発明の目的と一部重複するが、例えば、立体物を安定に追跡し続ける必要なく、視差オフセットを精度よく補正することにある。本発明の第１〜第２の本実施形態によるステレオカメラ校正装置は、十分に遠方、すなわち視差オフセットが発生していないステレオカメラでは視差が0と見なせる位置の物体が撮像された領域を画像内から抽出し、該当領域の視差を算出することで、視差オフセットの値を補正する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態によるステレオカメラ校正装置１００の構成を示す図である。ステレオカメラ校正装置１００は、ステレオカメラ１１０、メモリ１０６、ＣＰＵ１０７（Central Processing Unit）、画像処理部１０３（DSP: Digital Signal Processor）、外部出力部１０５（通信回路）などを備える。

ステレオカメラ１１０は左撮像部１０１と右撮像部１０２を備える。それぞれで撮像された画像を元に、画像処理部１０３は、視差の算出や、視差に基づいた立体物検出などの処理を実施する。視差を三次元位置に変換するにあたって、視差オフセット補正部１０４が視差オフセットの補正を行うことで、三次元位置の推定精度を向上する。推定結果は外部出力部１０５を通じて処理装置の外部に送信され、例えば車載ステレオカメラであれば、ブレーキやアクセルなどの車両制御に利用される。

換言すれば、左撮像部１０１（第１撮像部）は、第１画像を撮像し、右撮像部１０２（第２撮像部）は、第２画像を撮像する。

ここで遠方とは、視差が0と見なせる位置のことをさす。視差は遠方ほど小さくなるため、例えば視差を1/2[px]単位で算出し処理するシステムでは、視差1/2[px]未満となる位置を遠方と定義し、処理を行えばよい。もちろん、1/2[px]の精度が必要ない場合にはより大きな視差から遠方とみなしてよいため、システムの要求精度に応じて設定する。

以下、視差オフセット補正部１０４について説明する。なお、視差オフセット補正部１０４は、遠方領域抽出部２０１、領域視差算出部２０２、補正値決定部２０３、補正処理部２０４から構成される。

図２は、視差オフセット補正部１０４のフローチャートを示した図である。遠方領域抽出部２０１は、画像から遠方物体が撮像されている領域を抽出する。領域視差算出部２０２は、抽出された領域全体の視差を算出する。補正値決定部２０３は、算出された視差に基づいて視差オフセットの補正量を決定する。補正処理部２０４は、決定された補正量を用いて視差の補正を行う。

遠方領域抽出部２０１は、前述したように、画像中から遠方物体が撮像されている領域を抽出する。遠方物体として、例えば地上物体、山や高層ビルなどの巨大な物体が挙げられる。空中に存在する遠方物体として、太陽、月、星などの天体、雲などが挙げられる。

前述した「遠方」の定義を考慮すると、遠方領域抽出部２０１（領域抽出部）は、視差の分解能（測定できる視差の最小値）に対応する第１距離以上離れた位置にある物体が撮像された領域（第１領域）を画像（第１画像）から抽出するとも言える。

抽出する手段としては、例えば車載環境であれば、背景差分法を用いる。カメラの位置を前後方向に動かしながら２枚以上の画像を撮像したとき、遠方にある物体は画像上での位置にほぼ変化がないが、近傍にある物体は大きく変化する。よって、撮像した画像同士を重ね合わせ、変化のない領域は遠方の物体が撮像されているとして抽出することができる。

以下、遠方物体として利用する物体を制限することで、より効果的に遠方領域を抽出する手段について説明する。

図３は、遠方物体として地上物体を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。なお、遠方領域抽出部２０１は、GPS情報取得部３０１、地図情報取得部３０２、遠方候補領域抽出部３０３、遠方領域決定部３０４から構成される。

まず、GPS情報取得部３０１は、カメラの設置されている位置及びその向き情報を取得し、地図情報取得部３０２は、建造物や山などの位置や高さ情報を取得する。換言すれば、GPS情報取得部３０１（位置情報取得部）は、少なくともカメラ（カメラ装置）の位置及びその向きを示す位置情報を取得する。地図情報取得部３０２は、地図の情報を示す地図情報を取得する。地図情報は、建造物等（物体）の高さを示す高さ情報を含む。

次に、遠方候補領域抽出部３０３は、撮像された画像の中から遠方の地上物体が撮像される可能性のある領域を遠方候補領域Ａ１として抽出する。換言すれば、遠方候補領域抽出部３０３（領域抽出部）は、位置情報及び地図情報に基づいて画像（第１画像）から遠方候補領域Ａ１（第１領域）を抽出する。これにより、地上物体が撮像される可能性のある遠方候補領域Ａ１を抽出することができる。

地図及びGPS情報から領域を抽出するイメージを図４に示した。対象となりうる物体４０６の位置４０１とカメラの位置４０２及び向き４０３の関係は取得済みであるから、撮像され得る画像座標(i, j)は以下のカメラ方程式によって計算できる。

ここでfは焦点距離、 wi, wjは画素ピッチ、ci, cjは画像中心であり、カメラに固有の定数である。(X, Y, Z)は対象の三次元位置を表す。この式によって、対象とカメラの相対位置関係から横方向の範囲４０４、対象の高さから縦方向の範囲４０５を決定し、領域（遠方候補領域Ａ１）として抽出することが出来る。

換言すれば、遠方候補領域抽出部３０３は、対象（物体）及びカメラ（カメラ装置）の位置に基づいて遠方候補領域Ａ１（第１領域）の横方向の範囲４０４を決定し、高さ情報に基づいて遠方候補領域Ａ１の縦方向の範囲を決定する。これにより、対象（物体）が撮像される矩形の遠方候補領域Ａ１を決定することができる。

ただし、本処理では遠方物体が撮像されるとすれば画像上のどの領域であるかを抽出しただけにすぎず、例えば図５のように街路樹などの遮蔽物によって視界が遮られ遠方物体が撮像されていない可能性がある。

そこで遠方領域決定部３０４は、抽出された遠方候補領域Ａ１に視界が遮られずに遠方物体が撮像されているか否かの判断を行い、最終的に遠方領域Ａ２として決定する。換言すれば、遠方領域決定部３０４（領域決定部）は、遠方候補領域Ａ１（第１領域）に視界が遮られずに遠方物体（物体）が撮像されているか否かを判断する。領域視差算出部２０２（第１視差算出部）は、遠方候補領域Ａ１に視界が遮られずに遠方物体が撮像されている場合、視差（第１視差）を算出する。これにより、視差（第１視差）の算出精度が向上する。

具体的には、前述の背景差分法のように抽出した領域の変化が複数画像間で小さいことを判定する、あるいは、建物の形状データを地図情報とともに取得しておき画像上でのシルエットと一致するか判定する、などの手段が挙げられる。

上記の形状データを用いる具体例では、建物等（物体）の形状データは、例えば、地図情報に含まれる。遠方領域決定部３０４（領域決定部）は、建物等（物体）の形状データに基づいて、遠方候補領域Ａ１（第１領域）に視界が遮られずに建物等が撮像されているか否かを判断する。これにより、背景差分法を用いる具体例と比較して算出コストを低減することができる。

（天体の利用）
図６は、遠方物体として空中物体、特に太陽や月などの天体を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。本変形例では、遠方領域抽出部２０１は、GPS情報取得部３０１、星図情報取得部３０１ａ、遠方候補領域抽出部６０１、遠方領域決定部３０４から構成される。なお、本変形例では、星図情報取得部３０１ａを有し、遠方候補領域抽出部６０１の動作が第１の実施形態の遠方候補領域抽出部３０３の動作と異なる。

まずGPS情報取得部３０１においてカメラの設置されている位置、向き、撮像時刻の情報を取得する。星図情報取得部３０１ａは、星図の情報を示す星図情報をメモリ等の記憶部から取得する。なお、星図情報取得部３０１ａは、無線通信装置等を介して外部のシステムから星図情報を取得してもよい。また、撮像時刻の情報は、内部又は外部に設けられた時計から取得してもよいし、無線通信装置等を介して外部のシステムから取得してもよい。

次に、遠方候補領域抽出部６０１は、撮像された画像の中から天体が撮像される可能性のある領域を遠方候補領域Ａ１として抽出する。時刻情報及び星図情報を元に天体の位置を推定可能であるから、カメラの位置・向き情報と合わせることで候補領域を抽出可能である。換言すれば、遠方候補領域抽出部６０１（領域抽出部）は、位置情報、星図情報、及び時刻情報（日時）に基づいて、画像（第１画像）から遠方候補領域Ａ１（第１領域）を抽出する。これにより、天体が撮像される可能性のある遠方候補領域Ａ１を抽出することができる。

最後に、遠方領域決定部３０４は、抽出された遠方候補領域Ａ１に遠方物体が撮像されているか否かの判断を行い、最終的に遠方領域Ａ２として決定する。天体の場合、時刻及び星図情報からその形状が容易に推定可能であるため、天体の形状データと画像上のシルエットの一致を判定することが可能である。

（太陽の利用）
図７は、遠方物体として太陽を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。太陽は他の物体と比べて非常に明るいことを利用する。本変形例では、遠方領域抽出部２０１は、露光調整部７０１、遠方領域決定部７０２から構成される。

露光調整部７０１は、カメラの露光時間を太陽撮像用の露光時間に調整する。この露光時間は十分短く設定されており、太陽は撮像されるがそれ以外の物体はほぼ写らない。換言すれば、露光調整部７０１は、第１画像及び第２画像に太陽のみが撮像されるように左撮像部１０１（第１撮像部）及び右撮像部１０２（第２撮像部）の露光時間を調整する。

図８に、通常の露光時間で撮像した画像８０１と、太陽撮像用の露光時間で撮像した画像８０２を示す。遠方領域決定部７０２では、閾値以上の輝度値を持つ領域を遠方領域として決定する。換言すれば、遠方領域決定部７０２（領域決定部）は、閾値以上の輝度値を有する画像（第１画像）の領域を遠方領域（第１領域）として決定する。これにより、太陽が撮像された遠方領域を容易に抽出することができる。

（雲の利用）
図９は、遠方物体として空中物体、特に雲を用いる場合の遠方領域抽出部２０１のフローチャートを示した図である。本変形例では、遠方領域抽出部２０１は、画像領域分割部９０１、領域特徴量計算部９０２、空領域判定部９０３、遠方領域決定部９０４から構成される。

まず、画像領域分割部９０１は、画像を小領域に分割する。次に、領域特徴量計算部９０２は、小領域ごとに特徴量を計算する。例えばフーリエ変換を行う。フーリエ変換は周波数空間への変換であり、画像としては明暗変化の大きさと細かさを表す数値が算出される。

換言すれば、画像領域分割部９０１（領域分割部）は、画像（第１画像）を複数の小領域（第３領域）に分割する。領域特徴量計算部９０２（特徴量計算部）は、小領域（第３領域）ごとに特徴量を計算する。

次に、空領域判定部９０３は、それぞれの小領域が空（雲を含む）らしいかどうかの判定を行う。空や雲はビルなどの人工物に比べ明暗変化に乏しく、直線などの急激な変化も存在しないため、フーリエ変換の結果から空らしい特徴を持つ領域を抽出することが可能である。換言すれば、空領域判定部９０３（領域判定部）は、それぞれの小領域（第３領域）の特徴量に基づいて、それぞれの小領域に雲が撮像されているか否かを判定する。

最後に遠方領域決定部９０４は、抽出された小領域を統合し遠方領域とする。換言すれば、遠方領域決定部９０４（領域決定部）は、雲が撮像されている小領域（第３領域）を統合した領域を遠方領域（第１領域）として決定する。これにより、雲が撮像された遠方領域を抽出することができる。

このように遠方物体として用いる対象を制限することでより精度よく遠方領域を抽出することができ、視差オフセットの誤補正を回避することが出来る。

図２に示した領域視差算出部２０２は、抽出された遠方領域における視差を算出する。すなわち、図１０に示すように、1枚の画像から抽出された遠方領域１００１が他画像においてどれだけずれた位置に撮像されたかを探索する（マッチング処理）。換言すれば、領域視差算出部２０２（第１視差算出部）は、遠方領域（第１領域）及びそれに最も類似する第２画像の第２領域から第１視差を算出する。なお、第２領域は、右撮像部１０２（第２撮像部）によって撮像される第２画像のマッチングウィンドウである。

探索には、例えばSAD（Sum of Absolute Difference）などの相関値を用いる。SADは領域内の画素ごとに差分をとり、その絶対値を足し合わせたものである。相関値が閾値以下（類似度が最大）である時のずれ量が、すなわち視差となる。通常のステレオカメラシステムでは広い範囲を探索して視差を算出するが、本発明の実施形態では遠方物体だけを対象として視差を算出するため、探索範囲は視差のごく小さい範囲のみに絞ることが出来る。

図２に示した補正値決定部２０３は、遠方領域の視差を元に視差オフセットの補正値を決定する。本実施形態においては視差が0と見なせる領域の視差を算出している。すなわち、遠方領域の視差は本来0になるはずであり、算出された値は視差オフセットそのものである。よって、遠方領域において算出された視差を補正値として設定する。換言すれば、補正値決定部２０３は、領域視差算出部２０２（第１視差算出部）によって算出された第１視差を補正値として決定する。

地上物体を用いる場合には、対象物体までの距離は地図情報によって既知であるから、対象物体の視差をd_obj、遠方領域の視差をd_farとしたとき、補正値εは

としてもよい。もちろん、安定性のために補正値をフィルタ、例えば時系列の平滑化フィルタにかけてもよい。

図２に示した補正処理部２０４は、決定された補正値に基づき視差の補正を行う。例えば、ＦＰＧＡ等の回路（第２視差算出部）は、左撮像部１０１によって撮像される画像（第１画像）及び右撮像部１０２によって撮像される画像（第２画像）に基づいて視差（第２視差）を算出する。補正処理部２０４は、補正値に基づいて視差（第２視差）を補正する。具体的には、例えば、補正処理部２０４は、視差（第２視差）から補正値を減算する。これにより、視差を正確に算出することができる。補正された視差は画像処理部１０３において利用され、立体物の検出・位置推定などの用途に用いられる。

以上説明したように、本実施形態によれば、視差の分解能に対応する第１距離以上離れた位置にある物体を用いて視差を補正するので、視差の算出精度を確保することができる。また、一対の第１画像と第２画像のみから補正値としての第１視差を算出するので、算出コストを低減することができる。

〔第２の実施形態〕
ここでは、遠方物体を定義する際に、遠方と判定する距離閾値を対象に応じて変化させる第２の実施形態について述べる。

特に建造物など地上物体を対象とする場合は、遠方かどうかを判定するための閾値が重要である。閾値が低すぎる場合、近傍の物体の視差を元に視差オフセットの補正を実行してしまう。対象物体の視差が十分に小さいことを仮定しているため、誤補正につながる恐れがある。一方、閾値が高すぎる場合、条件を満たす対象物が撮像させる頻度が低下してしまい、補正が行われない恐れがある。

図１１は、閾値を変更可能な視差オフセット補正部１０４のフローチャートを示した図である。視差オフセット補正部１０４は、遠方閾値算出部１１０１、遠方領域抽出部２０１、領域視差算出部２０２、補正値決定部２０３、補正処理部２０４から構成される。

遠方閾値算出部１１０１は、遠方と判定する距離の閾値を設定し、以後は第１の実施形態に示したものと同様の処理を行う。

以下、遠方閾値算出部１１０１について説明する。

図１２は、遠方閾値算出部１１０１のフローチャートを示した図である。

許容視差誤差設定部１２０１では、ステレオカメラシステムに許容される視差誤差を設定する。本発明では、視差がα[px]以下となる距離を遠方と定義した場合、実際に視差α相当の位置に物体があることで視差αが算出されたとしても、視差オフセットとみなして補正を行う。

すなわち、この時の誤差は最大でαである。よって、遠方を定義する視差は、基本的には許容視差誤差と等しい。許容視差誤差は、例えば視差精度に基づいて設定できる。カメラで撮像された画像は画像素子の1画素単位、すなわち1[px]単位でしか得ることは出来ない。視差は、サブピクセル推定と呼ばれる手法を用いて1[px]より精度よく算出することが可能だが、1/8[px]程度が限界となる。このとき、視差オフセットも1/8[px]の精度で算出出来ればよい。

よって、サブピクセル推定の精度を許容視差誤差として設定できる。あるいは、検知物体までの距離として求められる精度から算出してもよい。視差と距離は変換可能であるから、対象までの距離とその時に許容される距離誤差を設定すれば、許容される視差誤差も一意に計算可能である。

次に対象誤差設定部１２０２で対象とする物体が取りうる視差の範囲を設定する。地上物体であれば物体までの相対距離は地図情報とGPS情報によって得られるが、実際にはどちらの情報にも誤差が発生するため、誤差を考慮して遠方閾値を設定する必要がある。

これらの関係を、図１３に示す。カメラ位置１３０１から、許容視差誤差設定部１２０１において定義された遠方距離１３０３より遠くに存在する物体だけを対象とし、処理を実行したい。物体１３０２は地図情報によって位置がわかっている物体であるが、実際には地図及びGPSの誤差範囲である破線１３０４内のどこかに存在する。よって破線全体が遠方距離１３０３より遠方に存在する必要があり、遠方を判定する閾値１３０５は、許容視差誤差から設定された遠方距離１３０３と地図及びGPSの誤差１３０４ａの和として設定される。

換言すれば、遠方領域抽出部２０１（領域抽出部）は、カメラ（カメラ装置）の位置情報及び地図情報に基づいて、視差の分解能に対応する遠方距離１３０３（第１距離）にカメラの位置情報及び地図情報の誤差１３０４ａ（第２距離）を加算した閾値１３０５（第３距離）以上離れた位置にある物体が撮像された領域（第１領域）を画像（第１画像）から抽出する。

以上説明したように、本実施形態によれば、地図及びGPSの誤差に応じて、遠方と判定する距離閾値を変化させることができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

上記実施形態では、一例として、領域視差算出部２０２（第１視差算出部）とは別にＦＰＧＡ等の回路（第２視差算出部）を用いて視差を算出しているが、領域視差算出部２０２が第２視差算出部の機能を兼ねていてもよいし、ＦＰＧＡ等の回路（第２視差算出部）が領域視差算出部２０２（第１視差算出部）の機能を兼ねていてもよい。つまり、両者のうちの一方に、視差を算出する機能を統合してもよい。

さらに、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（ＣＰＵ）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施形態は、以下の態様であってもよい。

（１）一対の撮像部と、該一対の撮像部間の視差を視差誤差(いわゆるオフセット誤差)に応じた視差補正量に基づいて補正する補正部を備え、
前記視差補正量は、予め許容視差誤差値に基づいて定められる所定の距離より遠方に存在する物体を用いて前記視差補正量を校正する、ステレオカメラ。

（２）前記補正部は、前記物体を撮影した際に算出される視差が前記所定の許容視差誤差値以上である場合には、算出された前記視差を小さくするように(具体的には、０となるように)前記視差補正量を校正する、（１）に記載のステレオカメラ。

（３）前記物体として、地上物体(山、ランドマーク等)、又は、空中物体(太陽、月等の天体、又は、雲)を用いる、（１）に記載のステレオカメラ。

（４）前記物体として地上物体を用いる場合には、地図情報に基づいて前記地上物体が自車から前記所定の距離より遠方に存在するかを判断する、（３）に記載のステレオカメラ。

（５）前記所定の距離は、前記地図情報に想定される誤差に基づいて修正する、（４）に記載のステレオカメラ。

（６）前記物体として空中物体を用いる場合には、地図情報・時刻・方位情報の少なくとも一つに基づいて、前記空中物体が撮像されうる領域を推定する、（３）に記載のステレオカメラ。

（７）前記所定の距離は、対象とする空中物体の種別に基づいて修正する、（６）に記載のステレオカメラ。

上記（１）〜（７）によれば、視差オフセットを精度よく補正することの可能なステレオカメラを提供することが出来る。

１００…ステレオカメラ校正装置
１０１…左撮像部
１０２…右撮像部
１０３…画像処理部
１０４…視差オフセット補正部
１０５…外部出力部
１０６…メモリ
１１０…ステレオカメラ
２０１…遠方領域抽出部
２０２…領域視差算出部
２０３…補正値決定部
２０４…補正処理部
３０１…情報取得部
３０１ａ…星図情報取得部
３０２…地図情報取得部
３０３…遠方候補領域抽出部
３０４…遠方領域決定部
４０６…物体
６０１…遠方候補領域抽出部
７０１…露光調整部
７０２…遠方領域決定部
９０１…画像領域分割部
９０２…領域特徴量計算部
９０３…空領域判定部
９０４…遠方領域決定部
１００１…遠方領域
１１０１…遠方閾値算出部
１２０１…許容視差誤差設定部
１２０２…対象誤差設定部
１３０１…カメラ位置
１３０２…物体
１３０３…遠方距離
１３０４ａ…誤差
１３０５…閾値

Claims

第１画像を撮像する第１撮像部と、
第２画像を撮像する第２撮像部と、
視差の分解能に対応する第１距離以上離れた位置にある物体が撮像された第１領域を背景差分法により前記第１画像から抽出する領域抽出部と、
前記第１領域に視界が遮られずに前記物体が撮像されているか否かを背景差分法又は前記物体のシルエットにより判断する領域決定部と、
前記第１領域に視界が遮られずに前記物体が撮像されている場合、前記第１領域及びそれに最も類似する第２画像の第２領域から第１視差を算出する第１視差算出部と、
前記第１視差を補正値として決定する補正値決定部と、
前記補正値に基づいて第２視差を補正する補正処理部と、
を備えることを特徴とするカメラ装置。
請求項１に記載のカメラ装置であって、
前記第１画像及び前記第２画像に基づいて前記第２視差を算出する第２視差算出部を備え、
前記補正処理部は、
前記第２視差から前記補正値を減算する
ことを特徴とするカメラ装置。
請求項１に記載のカメラ装置であって、
少なくとも前記カメラ装置の位置及びその向きを示す位置情報を取得する位置情報取得部と、
地図の情報を示す地図情報を取得する地図情報取得部と、を備え
前記領域抽出部は、
前記位置情報及び前記地図情報に基づいて前記第１画像から前記第１領域を抽出する
ことを特徴とするカメラ装置。
第１画像を撮像する第１撮像部と、
第２画像を撮像する第２撮像部と、
視差の分解能に対応する第１距離以上離れた位置にある物体が撮像された第１領域を前記第１画像から抽出する領域抽出部と、
前記第１領域及びそれに最も類似する第２画像の第２領域から第１視差を算出する第１視差算出部と、
前記第１視差を補正値として決定する補正値決定部と、
前記補正値に基づいて第２視差を補正する補正処理部と、
カメラ装置の位置及びその向きを示す位置情報を取得する位置情報取得部と、
星図の情報を示す星図情報を取得する星図情報取得部と、を備え、
前記物体は、
天体であり、
前記領域抽出部は、
前記位置情報、前記星図情報、及び日時に基づいて、前記第１画像から前記第１領域を抽出する
ことを特徴とするカメラ装置。
請求項１に記載のカメラ装置であって、
前記物体は、
太陽であり、
前記第１画像及び前記第２画像に太陽のみが撮像されるように前記第１撮像部及び前記第２撮像部の露光時間を調整する露光調整部と、
閾値以上の輝度値を有する前記第１画像の領域を前記第１領域として決定する領域決定部と、
を備えることを特徴とするカメラ装置。
請求項１に記載のカメラ装置であって、
前記物体は、
雲であり、
前記第１画像を複数の第３領域に分割する領域分割部と、
前記第３領域ごとに特徴量を計算する特徴量計算部と、
それぞれの前記第３領域の前記特徴量に基づいて、それぞれの前記第３領域に前記雲が撮像されているか否かを判定する領域判定部と、
前記雲が撮像されている前記第３領域を統合した領域を前記第１領域として決定する領域決定部と、
を備えることを特徴とするカメラ装置。
請求項３に記載のカメラ装置であって、
前記地図情報は、
前記物体の高さを示す高さ情報を含み、
前記領域抽出部は、
前記物体及び前記カメラ装置の位置に基づいて前記第１領域の横方向の範囲を決定し、前記高さ情報に基づいて前記第１領域の縦方向の範囲を決定する
ことを特徴とするカメラ装置。
請求項３に記載のカメラ装置であって、
前記領域抽出部は、
前記位置情報及び前記地図情報に基づいて、前記第１距離に前記位置情報及び前記地図情報の誤差である第２距離を加算した第３距離以上離れた位置にある前記物体が撮像された前記第１領域を前記第１画像から抽出する
ことを特徴とするカメラ装置。
請求項１に記載のカメラ装置であって、
前記領域決定部は、
地図情報の前記物体の形状データに基づいて、前記第１領域に視界が遮られずに前記物体が撮像されているか否かを判断する
ことを特徴とするカメラ装置。