JP2024063302A - 情報処理装置、移動体制御システムおよび情報処理方法 - Google Patents

Abstract

【課題】互いに露光条件が異なる複数対の画像から適切な対の画像を選択して良好な測距を行う。【解決手段】測距装置は、撮像により互いに視差を有する対の画像を生成する撮像手段１１１，１１２と、対の画像から視差量を算出し、該視差量から距離に関する情報を生成する距離情報生成手段１０５と、撮像手段に、対の画像として、撮像における露光条件が互いに互いに異なる第１対の露光画像および第２対の露光画像を生成させる露光制御手段１１３と、第１対の露光画像および第２対の露光画像のそれぞれから算出される視差量の確からしさである信頼度を取得する信頼度取得手段１０３と、信頼度に基づいて、距離に関する情報を生成するための視差量を取得する対の画像としての視差算出画像を選択する選択手段１０４とを有する。【選択図】図１

Description

本発明は、互いに視差を有する対の画像（視差画像）を用いて距離を計測する技術に関する。

自動車等の移動体には、撮像装置により視差画像を取得してステレオ測距の原理により距離に関する情報を得る測距装置が搭載される。また撮像装置には、露光条件を異ならせた撮像により得られる複数の画像データを合成することでダイナミックレンジを拡大したＨＤＲ（High Dynamic Range）画像を得られるものがある。特許文献１には、撮像素子が互いに位相差を有する信号を取得できる画素構成を有することで視差画像を取得できるとともに、高感度画素と低感度画素を備えることで露光条件が異なる画像も取得できる撮像装置が開示されている。

特許第６４０８３７２号公報

しかしながら、特許文献１には、視差画像間の視差を算出する際に用おける露光条件の選択について言及されていない。このため、高感度画素で取得した視差画像、低感度画素で取得した視差画像、さらにはＨＤＲ画像としての視差画像のいずれが視差量の算出に最適なのかを判断することが難しい。

本発明は、互いに露光条件が異なる複数対の画像から適切な対の画像を選択して良好な測距を行えるようにした測距装置等を提供する。

本発明の一側面としての測距装置は、撮像により互いに視差を有する対の画像を生成する撮像手段と、対の画像から視差量を算出し、該視差量から距離に関する情報を生成する距離情報生成手段と、撮像手段に、対の画像として、撮像における露光条件が互いに互いに異なる第１対の露光画像および第２対の露光画像を生成させる露光制御手段と、第１対の露光画像および第２対の露光画像のそれぞれから算出される視差量の確からしさである信頼度を取得する信頼度取得手段と、信頼度に基づいて、距離に関する情報を生成するための視差量を取得する対の画像としての視差算出画像を選択する選択手段とを有することを特徴とする。なお、移動体に搭載された上記測距装置と、距離に関する情報に基づいて移動体の移動を制御する制御手段を有する移動体制御システム、さらには該移動体制御システムを搭載した移動体も、本発明の他の一側面を構成する。

また本発明の他の一側面としての測距方法は、撮像により互いに視差を有する対の画像を生成する撮像手段を用意するステップと、対の画像から視差量を算出し、該視差量から距離に関する情報を生成するステップと、撮像手段に、対の画像として、撮像における露光条件が互いに異なる第１対の露光画像および第２対の露光画像を生成させるステップと、第１対の露光画像および第２対の露光画像のそれぞれから算出される視差量の確からしさである信頼度を取得するステップと、信頼度に基づいて、距離に関する情報を生成するための視差量を取得する対の画像としての視差算出画像を選択するステップとを有することを特徴とする。なお、コンピュータに上記測距方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、互いに露光条件が異なる複数対の画像から適切な対の画像を選択して良好な測距を行うことができる。

実施例１の測距装置の構成を示すブロック図。 実施例１における撮像素子の露光タイミングを示すタイミングチャート。 実施例１における測距処理を示すフローチャート。 実施例１における入力画像の例を示す図。 実施例２における信頼度判定処理を示すフローチャート。 実施例３における信頼度判定処理を示すフローチャート。 実施例４における信頼度判定処理を示すフローチャート。 実施例５における信頼度判定処理を示すフローチャート。 実施例６における測距装置および撮像素子の構成を示す図。 実施例７の移動体の構成を示す図。 実施例１、６のカメラユニットの構成を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

実施例１では、ステレオ撮像装置（ステレオカメラ）によりフレームごとに取得される互いに視差を有する対の画像の視差量から距離に関する情報を取得する測距装置について説明する。本実施例の測距装置は、デジタルカメラ、デジタルビデオカメラ、車載センサデバイス、ロボットビジョンセンサデバイス等に用いられる。

図１は、本実施例の測距装置１００の構成を示している。測距装置１００は、ステレオカメラ（撮像手段）１０１、露光制御画像取得部１０２、視差信頼度推定部（信頼度取得手段）１０３、画像生成選択部（選択手段）１０４およびステレオ測距部（距離情報生成手段）１０５を備える。ステレオカメラ１０１は互いに所定距離（基線長）を隔てて並列配置された２つのカメラユニット（撮像ユニット）１１１、１１２を有する。カメラユニット１１１、１１２のそれぞれの撮像画角は、互いに共通する画角範囲が含まれるように設定されている。

図１１は、カメラユニット１１１、１１２の構成を示している。各カメラユニットは、結像光学系９１２、撮像素子９１３、画像処理部９１４および画像格納部９１５を有する。撮像素子９１３はＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子であり、結像光学系９１２により形成された被写体像を光電変換（撮像）することで画像信号を出力する。９２０は結像光学系の光軸を示している。

画像処理部９１４は、撮像素子９１３から読み出された画像信号に対して各種画像処理を行って画像データ（以下、単に画像という）を生成する。生成された画像は、画像格納部９１５に蓄えられたり、不図示の信号伝送部を通じて後段の視差信頼度推定部１０３に伝送されたりする。カメラユニット１１１は第１の視点からの撮像を行って第１の画像を生成し、カメラユニット１１２は第１の視点とは異なる第２の視点からの撮像を行って第２の画像を生成する。第１の画像と第２の画像により、互いに視差を有する対の画像（ステレオ画像）が構成される。

露光制御画像取得部１０２は、上記カメラユニット１１１、１１２と露光制御部（露光制御手段）１１３を有する。露光制御部１１３は、カメラユニット１１１、１１２の露光量を同時に制御する。ここでは、露光制御部１１３は、カメラユニット１１１、１１２の撮像における露光条件としての露光時間を変更する。これにより、カメラユニット１１１、１１２のそれぞれに、互いに露光条件が異なる画像として、第１の露光時間の画像（第１の露光画像：以下、長秒画像という）と、第１の露光時間より短い第２の露光時間の画像（第２の露光画像：以下（短秒画像という）を生成させることができる。カメラユニット１１１、１１２にて生成される互いに視差を有する２つの長秒画像および互いに視差を有する２つの短秒画像を、以下の説明においてそれぞれ、対の長秒画像（第１対の露光画像）および対の短秒画像（第２対の露光画像）という。

図２は、各カメラユニットにおける撮像素子の画素行ごとの露光時間を示している。横軸は時刻ｔを、縦軸は撮像素子の画素行ｃを表している。画素行ｃは１画素行ごとに画像信号を読み出す読み出し行となる。最初の読み出し行において第１の露光時間２０１の画像信号と第２の露光時間２０２の画像信号を取得すると、次の読み出し行において第１の露光時間２１１の画像信号と第２の露光時間２１２の画像信号を取得する。こうして最終の読み出し行において第１の露光時間２ｎ１の画像信号と第２の露光時間２ｎ２の画像信号を取得すると、第１の露光時間２０１、２１１、…、２ｎ１で取得した異なる画素行の画像信号を結合して長秒画像を取得する。また、第２の露光時間２０２、２１２、…、２ｎ２で取得した異なる画素行の画像信号を合成（結合）して短秒画像を取得する。

露光制御部１１３、視差信頼度推定部１０３、画像生成選択部１０４およびステレオ測距部１０５は１つ又は複数の半導体集積回路を含む演算処理装置（ＣＰＵ等のコンピュータ）により構成されている。

カメラユニット１１１、１１２から取得された対の長秒画像および対の短秒画像は視差信頼度推定部１０３に伝送される。視差信頼度推定部１０３は、後述する信頼度判定処理により対の長秒画像から算出される視差量の確からしさである信頼度である長秒視差信頼度を推定する。また視差信頼度推定部１０３は、同処理により、対の短秒画像から算出される視差量の確からしさである信頼度である短秒視差信頼度を推定する。これら長秒および短秒視差信頼度を受けた画像生成選択部１０４は、距離に関する情報を生成するための視差量の算出に用いる対の画像（以下、視差算出画像という）として、対の長秒画像、対の短秒画像および対のＨＤＲ画像（合成画像）のいずれかを選択する。対のＨＤＲ画像は、カメラユニット１１１から取得された長秒画像と短秒画像を合成（ブレンディング）することで生成される第１のＨＤＲ画像と、カメラユニット１１２から取得された長秒画像と短秒画像を合成することで生成される第２のＨＤＲ画像とにより構成される。

ステレオ測距部１０５は、画像生成選択部１０４で選択された対の視差演算画像を用いて公知の手法で視差量を演算し、さらに該視差量を用いて距離値を演算する。測距装置１００は、以上の処理を撮像素子の全画素からの画像信号に対して行うことで、撮像画角内の被写体までの距離に関する情報を含む距離画像を生成する。距離に関する情報は、距離自体を示す情報であってもよいし、参照テーブルや変換式等を用いて距離に変換可能な情報であってもよい。

具体的には、入力された対の画像に対して幾何補正処理、光量補正処理およびバンドパスフィルタ処理によるノイズ低減処理を含む前処理を行い、前処理後の対の画像から視差量を算出して、得られた視差量を距離値に換算する。この視差量算出処理では、対の画像のうち一方の画像において注目点座標を中心とする照合領域を設定し、他方の画像において参照点座標を中心とする照合領域と同形状の参照領域を順次移動させながら相関値を算出する。そして、最も相関の高い注目点座標と参照点座標との位置ずれ量を視差量とする。相関値の算出方法としては、画像信号の差の二乗和を評価するＳＳＤ(Sum of Squared Difference)や、差の絶対値を評価するＳＡＤ(Sum of Absolute Difference)等を用いることができる。注目点座標と参照点座標の設定値は整数であるが、相関の極値をピークフィッティングすることにより、サブピクセル精度で視差量を算出することができる。そして視差量算出処理では、算出した視差量を予め設定されたカメラユニット１１１、１１２間の基線長Ｗと各カメラユニットの焦点距離ｆとを用いて幾何的な関係式を用いて距離値Ｌに換算する。このように、視差量と距離値を撮像素子の全画素について算出することで、距離画像を生成する。

図３のフローチャートは、測距装置のコンピュータ（露光制御部１１３、視差信頼度推定部１０３、画像生成選択部１０４およびステレオ測距部１０５）がプログラムに従って実行する測距処理（測距方法）を示している。Ｓはステップを意味する。

Ｓ３０１において、視差信頼度推定部１０３は、取得した入力画像（対の長秒画像および対の短秒画像）に対して信頼度判定処理を行う。信頼度判定処理では、対の画像において算出される視差量の確からしさとしての信頼度を表す、コントラスト信頼度、飽和信頼度および動き振れ信頼度を算出する。

コントラスト信頼度Ｃｏｎｆ＿ｃは、被写体（画像）のコントラストに関する信頼度であり、以下の式により算出される。

図４は、入力画像４０１の例を示す。入力画像４０１は、対の画像のうちの一方であり、図では注目点座標または参照点座標（以下、注目点／参照点座標と記す）（ｘ，ｙ）４０２を中心とする照合領域または参照領域（以下、照合／参照領域と記す）４０３を示している。以下の信頼度は、対の画像のうち少なくとも一方において算出すればよい。

コントラスト信頼度Ｃｏｎｆ＿ｃの算出には、まず注目点／参照点座標（ｘ，ｙ）４０２を中心とする照合／参照領域４０３内の信号輝度値ＩのコントラストＣ（ｘ，ｙ）を求める。ｘとｈは入力画像における水平方向の座標を示し、ｙとｖは垂直方向の座標を示す。Ｉａｖｅは、照合領域４０３内の信号輝度値Ｉの平均値を示す。

次に、照合／照合領域４０３内の推定ノイズ量ｎｏｉｓｅ（ｘ，ｙ）を算出する。ｑは撮像素子の特性等から事前に用意される係数である。そして、コントラストＣ（ｘ，ｙ）と推定ノイズ量ｎｏｉｓｅ（ｘ，ｙ）との比から、注目点／参照点座標（ｘ，ｙ）４０２のコントラスト信頼度Ｃｏｎｆ＿ｃ（ｘ，ｙ）を算出する。これらの算出を全画素に対して行うことで、入力画像のコントラスト信頼度が得られる。このようにして対の長秒画像および対の短秒画像のそれぞれのコントラスト信頼度Ｃｏｎｆ＿ｃを得る。

視差量の算出において相関値を算出する際に、照合／参照領域４０３内のコントラストが高い場合やノイズ量が小さい場合は相関のピークが鋭くなり、信頼性の高い視差量を算出することができる。このため、コントラスト信頼度Ｃｏｎｆ＿ｃが高いほど、算出された視差量の信頼度を高信頼度と判定する。

飽和信頼度Ｃｏｎｆ＿ｓは、照合／参照領域４０３内に輝度飽和またはそれに準ずる信号輝度値を出力している画素が存在しないかを判定するための輝度飽和に関する信頼度であり、以下のように定義される。

すなわち、照合／参照領域４０３内に信号輝度値Ｉ（ｈ，ｖ）が信号輝度閾値Ｉｔｈ以上の画素が存在する場合は低信頼度０とし、信号輝度閾値Ｉｔｈ以上の画素が存在しない場合は高信頼度１とする。この判定を全画素に対して行うことで、入力画像の飽和信頼度が得られる。照合／参照領域４０３内に輝度飽和またはそれに準ずる信号輝度値を出力している画素が存在した場合は、相関値を出力する際に輝度飽和している領域が被写体の持つテクスチャとは異なる疑テクスチャとなって誤った相関値が算出されるおそれがある。この場合、被写体距離に応じた視差量とは異なる視差量が算出される。したがって、照合／参照領域４０３内に輝度飽和領域が存在しない場合は高信頼度と判定する。

動き振れ信頼度Ｃｏｎｆ＿ｍは、照合／参照領域４０３内に動き振れの影響が大きい画素が存在しないかを判定するための動き振れに関する信頼度である。注目点座標（ｘ，ｙ）に対する照合／参照領域４０３内の信号輝度値Ｉ（ｈ，ｖ）に対してバンドパスフィルタ処理を行って得られたバンドパスフィルタ処理画像の振幅をＣｏｎｆ＿ｍ（ｘ，ｙ）とする。バンドパスフィルタの透過帯域は、動き振れの影響を考慮したい空間周波数帯域に適宜設定される。具体的には、測距装置の移動速度、主たる被写体の移動速度および各秒画像を取得するための露光時間に応じて設定される。照合／参照領域４０３内の動き振れが大きい場合は、被写体のテクスチャが劣化したり露光中に被写体の重心が移動したりすることにより、相関のピークが鈍くなる。つまり、視差量の算出精度が低下する。したがって、動き振れの影響を考慮したい空間周波数帯域の振幅が小さいほど動き振れの影響が大きいため、動き振れ信頼度Ｃｏｎｆ＿ｍの値が大きいほど高信頼度と判定する。

これらコントラスト信頼度、飽和信頼度および動き振れ信頼度を以下の式のように統合して照合／参照領域ごとの視差量の信頼度を判定する。

上記式において、α、β、γは重み係数である。

次にＳ３０２では、画像生成選択部１０４は、Ｓ３０１で算出された統合的な信頼度判定値Ｃｏｎｆ＿ａｌｌを比較することで照合／参照領域ごとに視差量の信頼度が高いと推定される対の画像を選択する画像生成選択処理を行う。具体的には、画像生成選択部１０４は、対の長秒画像の照合／参照領域ごとの信頼度判定値Ｃｏｎｆ＿ａｌｌと対の短秒画像の照合／参照領域ごとの信頼度判定値Ｃｏｎｆ＿ａｌｌとを比較し、信頼度が高い方の照合／参照領域を有する対の画像を視差算出画像として選択する。つまり、視差算出画像を照合／参照領域ごとに選択する。

信頼度判定値Ｃｏｎｆ＿ａｌｌを比較した結果、優位な差が認められない場合は、上述した対のＨＤＲ画像を視差算出画像として選択する。

次にＳ３０３では、ステレオ測距部１０５は、Ｓ３０２で選択された視差算出画像を用いて、照合／参照領域ごとの視差量を算出し、さらに距離値を算出して距離画像を算出するステレオ測距処理を行う。

このように、露光条件が異なる複数対の画像から視差信頼度に基づいて視差量の算出に適した対の画像を選択することで、高精度な測距を行うことが可能となる。

なお、本実施例において、撮像素子の画素行ごとに長い露光時間と短い露光時間を交互に割り当て、等しい読み出しクロック周波数で駆動し、画像信号の読み出し後に隔画素行ごとの画像信号を合成して長秒画像と短秒画像を生成することが好ましい。これにより、長秒画像と短秒画像の露光重心のずれを抑えることができる。

また、撮像素子に露光感度が互いに異なる第１の画素と第２の画素を設けることで露光条件を異ならせてもよい。これにより、露光時間が同一でも長秒画像に相当する高感度画像としての第１の露光画像と低秒画像に相当する低感度画像としての第２の露光画像とを同時に取得することができ、画像間で露光時間が異なることの影響を受けないようにすることができる。

また、コントラスト信頼度Ｃｏｎｆ＿ｃは、コントラストＣのみで算出してもよい。また、動き振れ信頼度Ｃｏｎｆ＿ｍは、これを求める照合／参照領域の信号値をフーリエ変換し、対象の空間周波数帯域の振幅を用いて評価する等、周波数解析として評価してもよい。これにより、周波数成分ごとに分解して評価することができるため、測距精度をより向上させることができる。

また、対の画像のうち一方の信頼度だけでなく他方の画像の信頼度も求め、これらの信頼度の総合評価（平均値や最高値等）が高い対の画像を視差算出画像として選択することで、測距精度をより向上させてもよい。

また、長秒画像と短秒画像をブレンディングしてＨＤＲ画像を生成する際に、これらのコントラスト信頼度の比を用いてブレンド比率を決定してもよい。コントラスト信頼度は長秒画像と短秒画像ともに同条件で視差量の算出精度に影響するため、上述のようにブレンド比率を決定することは、測距精度の向上の観点から好ましい。例えば、長秒画像のコントラスト信頼度／短秒画像のコントラスト信頼度＝ｋのとき、
ＨＤＲ画像＝ｋ／（１＋ｋ）×長秒画像＋１／（１＋ｋ）×短秒画像、
としてＨＤＲ画像を生成してもよい。

また、視差算出画像の選択においては、視差量を算出するための相関演算を行う領域ごとに対の画像を選択してもよい。これにより、被写体の種類や配置等の撮像するシーンに応じた適切な視差量を算出することができ、測距精度を向上させることができる。

さらに、互いに異なる露光条件の第１対および第２対の露光画像のそれぞれに対する視差量をステレオ測距処理に先立って算出しておき、その後に信頼度に基づいて測距演算を行う対の画像を選択し、該選択した対の画像における視差量を用いて測距を行ってもよい。この処理は、ＦＰＧＡ(Field Programmable Gate Array)等の論理回路で行う場合に座標（ｘ、ｙ）ごとに対の画像を切り替えて視差量を算出するより、対の画像全体について視差量を算出して後から測距に使用する視差量を選択する方が実装コストの観点で好ましい。

実施例２では、実施例１で説明した飽和度信頼度、動き振れ信頼度およびコントラスト信頼度を順に用いて視差算出画像を選択する。測距装置の構成は、図１に示した測距装置１００と同じであり、実施例１と共通する構成要素には同符号を付す。測距処理は、図３のフローチャートで示したものと、Ｓ３０１を除いて同様である。

図５のフローチャートは、図３のＳ３０１の代わりに本実施例にて視差信頼度推定部１０３が実行する信頼度判定処理を示している。

Ｓ５０１において、視差信頼度推定部１０３は、入力画像としての対の長秒画像と対の短秒画像に対して飽和信頼度Ｃｏｎｆ＿ｓを算出する。そして、長秒画像と短秒画像のそれぞれにＣｏｎｆ＿ｓ＝０の照合／参照領域が存在するか否か、つまりは輝度飽和領域の存在の有無を判定する。輝度飽和領域が存在するＴｒｕｅの場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。これは、短秒画像の方が長秒画像よりも輝度飽和の影響が少ないため、視差算出画像として適しているためである。一方、輝度飽和領域が存在しないＦＡＬＳＥの場合は、視差信頼度推定部１０３はＳ５０２に進む。

Ｓ５０２において、視差信頼度推定部１０３は、対の長秒画像と対の短秒画像に対して動き振れ信頼度Ｃｏｎｆ＿ｍを算出する。そして、動き振れ判定閾値ｔｈ＿ｍを用いて、Ｃｏｎｆ＿ｍ＜ｔｈ＿ｍの照合／参照領域が存在するか否か、つまりは動き振れの影響が大きくてＣｏｎｆ＿ｍの値が小さい照合／参照領域が存在するか否かを判定する。動き振れの影響が大きい（Ｃｏｎｆ＿ｍ＜ｔｈ＿ｍの）照合／参照領域が存在するＴＲＵＥの場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。これは、短秒画像の方が長秒画像よりも動き振れの影響が小さいため、視差算出画像として適しているためである。一方、動き振れの影響が大きい照合／参照領域が存在しないＦＡＬＳＥの場合は、視差信頼度推定部１０３はＳ５０３に進む。

Ｓ５０３において、視差信頼度推定部１０３は、対の長秒画像と対の短秒画像に対してコントラスト信頼度Ｃｏｎｆ＿ｃを算出し、短秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌと長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｈとを比較する。さらに、これらコントラスト信頼度の差分と所定値としてのコントラスト判定閾値ｔｈ＿ｃ（０）を比較する。

Ｃｏｎｆ＿ｃ＿Ｌ－ Ｃｏｎｆ＿ｃ＿Ｈ≧ｔｈ＿ｃである場合、すなわち短秒画像を方が長秒画像よりコントラスト信頼度が有意に高い場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。また、Ｃｏｎｆ＿ｃ＿Ｈ－Ｃｏｎｆ＿ｃ＿Ｌ≧ｔｈ＿ｃである場合、すなわち長秒画像を方が短秒画像よりコントラスト信頼度が有意に高い場合は、視差信頼度推定部１０３はＳ５１２に進み、視差算出画像として対の長秒画像を選択するという判定結果を出力する。さらに｜Ｃｏｎｆ＿ｃ＿Ｌ－Ｃｏｎｆ＿ｃ＿Ｈ｜＜ｔｈ＿ｃである場合、すなわち長秒画像と短秒画像のコントラスト信頼度に有意な差がない場合は、視差信頼度推定部１０３はＳ５１３に進み、視差算出画像として対のＨＤＲ画像を選択するという判定結果を出力する。

Ｓ５１１、Ｓ５１２およびＳ５１３の判定結果は、画像生成選択部１０４（図１のＳ３０２）に渡される。画像生成選択部１０４は、判定結果に基づいて、視差算出画像を対の短秒画像、対の長秒画像および対のＨＤＲ画像のいずれかを選択する。ステレオ測距部１０５（図１のＳ３０３）は、選択された対の画像を用いてステレオ測距処理を行う。

このように複数種類の信頼度を順に判定して視差算出画像を選択することで、全ての信頼度を算出してから視差算出画像を選択する場合と比較して、処理の高速化が望める。コントラストは短秒画像と長秒画像に関わらず同様な条件で視差算出（つまりは測距）の精度に影響するが、輝度飽和や動き振れについては短秒画像の方が長秒画像よりも影響を受けにくい。このため本実施例のように、飽和信頼度と動き振れ信頼度に基づく視差算出画像の選択をコントラスト信頼度に基づく視差算出画像の選択よりも先に行うことが好ましい。

実施例３では、実施例１で説明したコントラスト信頼度のみを用いて視差算出画像を選択する。測距装置の構成は、図１に示した測距装置１００と同じであり、実施例１と共通する構成要素には同符号を付す。測距処理は、図３のフローチャートで示したものと、Ｓ３０１を除いて同様である。

図６のフローチャートは、図３のＳ３０１の代わりに本実施例にて視差信頼度推定部１０３が実行する信頼度判定処理を示している。

Ｓ６０１において、視差信頼度推定部１０３は、図５のＳ５０３と同様に、入力画像としての対の長秒画像と対の短秒画像に対してコントラスト信頼度Ｃｏｎｆ＿ｃを算出し、短秒画像と長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌ、Ｃｏｎｆ＿ｃ＿Ｈを比較する。また、コントラスト信頼度の差分とコントラスト判定閾値ｔｈ＿ｃ（０）を比較する。

そして、視差信頼度推定部１０３は、Ｃｏｎｆ＿ｃ＿Ｌ－ Ｃｏｎｆ＿ｃ＿Ｈ≧ｔｈ＿ｃである場合はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。Ｃｏｎｆ＿ｃ＿Ｈ－Ｃｏｎｆ＿ｃ＿Ｌ≧ｔｈ＿ｃである場合はＳ５１２に進み、視差算出画像として対の長秒画像を選択するという判定結果を出力する。さらに、｜Ｃｏｎｆ＿ｃ＿Ｌ－Ｃｏｎｆ＿ｃ＿Ｈ｜＜ｔｈ＿ｃである場合はＳ５１３に進み、視差算出画像として対のＨＤＲ画像を選択するという判定結果を出力する。

このようにコントラスト信頼度のみを用いて視差算出画像を選択することで、実施例１、２に比べて計算量を大幅に低減することができる。また、輝度飽和や動き振れの影響は、撮像場所や時間、被写体等の撮像シーンに依存して発生する確率が異なる。一方、コントラストは、被写体と環境光が短秒画像にも長秒画像にも必ず同条件で影響する。これらのことから、視差算出画像の選択をコントラスト信頼度のみで行ってもよい。

実施例４では、実施例１で説明した飽和信頼度およびコントラスト信頼度を用いて視差算出画像を選択する。測距装置の構成は、図１に示した測距装置１００と同じであり、実施例１と共通する構成要素には同符号を付す。測距処理は、図３のフローチャートで示したものと、Ｓ３０１を除いて同様である。

図７のフローチャートは、図３のＳ３０１の代わりに本実施例にて視差信頼度推定部１０３が実行する信頼度判定処理を示している。

Ｓ７０１において、視差信頼度推定部１０３は、図７のＳ５０１と同様に入力画像としての対の長秒画像と対の短秒画像に対して飽和信頼度Ｃｏｎｆ＿ｓを算出し、長秒画像と短秒画像のそれぞれにＣｏｎｆ＿ｓ＝０の照合／参照領域が存在するか否かを判定する。輝度飽和領域が存在するＴｒｕｅの場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。輝度飽和領域が存在しないＦＡＬＳＥの場合はＳ７０２に進む。

Ｓ７０２において、視差信頼度推定部１０３は、図５のＳ５０３と同様に、入力画像としての対の長秒画像と対の短秒画像に対してコントラスト信頼度Ｃｏｎｆ＿ｃを算出し、短秒画像と長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌ、Ｃｏｎｆ＿ｃ＿Ｈを比較する。また、これらコントラスト信頼度の差分とコントラスト判定閾値ｔｈ＿ｃ（０）を比較する。

視差信頼度推定部１０３は、Ｃｏｎｆ＿ｃ＿Ｌ－ Ｃｏｎｆ＿ｃ＿Ｈ≧ｔｈ＿ｃである場合はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。また、Ｃｏｎｆ＿ｃ＿Ｈ－Ｃｏｎｆ＿ｃ＿Ｌ≧ｔｈ＿ｃである場合はＳ５１２に進み、視差算出画像として対の長秒画像を選択するという判定結果を出力する。さらに、｜Ｃｏｎｆ＿ｃ＿Ｌ－Ｃｏｎｆ＿ｃ＿Ｈ｜＜ｔｈ＿ｃである場合はＳ５１３に進み、視差算出画像として対のＨＤＲ画像を選択するという判定結果を出力する。

コントラスト信頼度を算出する照合／参照領域内に輝度飽和領域が存在すると、被写体が有するコントラストを正しく算出できなくなり誤判定に繋がる。このため、本実施例は、輝度飽和によるコントラスト信頼度の誤判定を防ぎつつ、計算量の低減効果を得ることができる。

実施例５では、飽和信頼度とコントラスト信頼度を用いた視差算出画像の選択を行い、の後にコントラスト信頼度では選択できない場合に動き振れ信頼度による視差算出画像の選択を行う。測距装置の構成は、図１に示した測距装置１００と同じであり、実施例１と共通する構成要素には同符号を付す。測距処理は、図３のフローチャートで示したものと、Ｓ３０１を除いて同様である。

図８のフローチャートは、図３のＳ３０１の代わりに本実施例にて視差信頼度推定部１０３が実行する信頼度判定処理を示している。

Ｓ８０１において、視差信頼度推定部１０３は、図７のＳ５０１と同様に対の長秒画像と対の短秒画像に対して飽和度信頼度Ｃｏｎｆ＿ｓを算出し、長秒画像と短秒画像のそれぞれにＣｏｎｆ＿ｓ＝０の照合／参照領域が存在するか否かを判定する。輝度飽和領域が存在するＴｒｕｅの場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。輝度飽和領域が存在しないＦＡＬＳＥの場合はＳ８０２に進む。

Ｓ８０２において、視差信頼度推定部１０３は、図５のＳ５０３と同様に、入力画像としての対の長秒画像と対の短秒画像に対してコントラスト信頼度Ｃｏｎｆ＿ｃを算出し、短秒画像と長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌ、Ｃｏｎｆ＿ｃ＿Ｈを比較する。また、これらコントラスト信頼度の差分とコントラスト判定閾値ｔｈ＿ｃ（０）を比較する。視差信頼度推定部１０３は、Ｃｏｎｆ＿ｃ＿Ｌ－Ｃｏｎｆ＿ｃ＿Ｈ≧ｔｈ＿ｃである場合はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。また、Ｃｏｎｆ＿ｃ＿Ｈ－Ｃｏｎｆ＿ｃ＿Ｌ≧ｔｈ＿ｃである場合はＳ５１２に進み、視差算出画像として対の長秒画像を選択するという判定結果を出力する。さらに、｜Ｃｏｎｆ＿ｃ＿Ｌ－Ｃｏｎｆ＿ｃ＿Ｈ｜＜ｔｈ＿ｃである場合はＳ８０３に進む。

Ｓ８０３において、視差信頼度推定部１０３は、図５のＳ５０２と同様に、対の長秒画像と対の短秒画像に対して動き振れ信頼度Ｃｏｎｆ＿ｍを算出する。そして、動き振れ判定閾値ｔｈ＿ｍを用いて、Ｃｏｎｆ＿ｍ＜ｔｈ＿ｍの照合／参照領域が存在するか否かを判定する。動き振れの影響が大きい（Ｃｏｎｆ＿ｍ＜ｔｈ＿ｍの）照合／参照領域が存在するＴＲＵＥの場合はＳ８０４に進む。また、動き振れの影響が大きい照合／参照領域が存在しないＦＡＬＳＥの場合はＳ５１３に進み、視差算出画像として対のＨＤＲ画像を選択するという判定結果を出力する。

Ｓ８０４において、視差信頼度推定部１０３は、再度、短秒画像と長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌ、Ｃｏｎｆ＿ｃ＿Ｈを比較する。短秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌの方が高ければＳ５１１に進んで視差算出画像として対の短秒画像を選択するという判定結果を出力する。長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｈの方が高ければＳ５１２に進んで視差算出画像として対の長秒画像を選択するという判定結果を出力する。

動き振れの影響が大きい画像を含む長秒画像と短秒画像を合成すると、動き振れの影響が大きい被写体の周辺にアーティファクトが発生し、視差量の算出精度の低下につながる。このため、本実施例によれば、輝度飽和領域とコントラスト信頼度による視差算出画像の選択を基本とし、これらより選択ができない場合には画像合成によるアーティファクトの発生を防いで視差量の算出に適した対のＨＤＲ画像を選択する。

実施例１では２つのカメラユニット１１１、１１２を用いてステレオカメラを構成したが、本実施例では単一のカメラユニットを用いてステレオカメラを構成する。図１０は、本実施例のカメラユニット９１１の構成も示している。ただし、本実施例では、撮像素子９１３の構成が実施例１とは異なり、瞳分割方式による撮像面位相差測距を行える構成を有する。また、図１０において、ｚ方向は光軸９２０が延びる光軸方向を示し、ｘ方向とｙ方向は光軸９２０に直交して互いに直交する２方向を示す。

図９（ｂ）は、撮像素子９１３のｘｙ断面を示している。撮像素子９１３は、単位画素９３０をｘ方向とｙ方向に複数配置することで構成される。単位画素９３０の受光層は、２つの光電変換部としての第１の光電変換部９３１と第２の光電変換部９３２により構成されている。

図９（ｃ）は、１つの単位画素９３０のＩ－Ｉ′断面を示す。単位画素９３０は、導光層９４１と受光層９４２を有する。導光層９４１には、単位画素９３０に入射した光束を光電変換部９３１、９３２へと効率良く導くためのマイクロレンズ９４３が設けられている。また導光層９４１には、図示はしないが、所定の波長帯域の光を通過させるカラーフィルタや画素駆動用および信号読み出し用の配線等も配置されている。受光層９４２には、導光層９４１を通じて入射した光を光電変換する第１および第２の光電変換部９３１、９３２が配置されている。

このような単位画素構造を有する単一の撮像素子９１３と単一の結像光学系９１２を備えたカメラユニット９１１では、瞳分割方式により視点が互いに異なる第１の画像と第２の画像を取得することができる。

図９（ｄ）は、瞳分割方式の原理を示している。この図では、結像光学系９１２の射出瞳９５０と、撮像素子９１３内の複数の単位画素９３０のうち代表的な中心像高付近の単位画素９３０とを示している。単位画素９３０内のマイクロレンズ９４３は、射出瞳９５０と受光層９４２とが光学的に共役関係となるように配置されている。この結果、射出瞳９５０に内包される部分瞳領域である第１の瞳領域９５１を通過した光束は第１の光電変換部９３１に入射し、他の部分瞳領域である第２の瞳領域９５２を通過した光束は第２の光電変換部９３２に入射する。単位画素９３０の位置が周辺像高位置であっても主光線が傾いて単位画素９３０に入射するが、この部分瞳領域と光束と光電変換部の対応関係は変わらない。

撮像素子９１３には複数の単位画素９３０が配列されており、各単位画素の第１の光電変換部９３１での光電変換により生成された信号を読み出して合成することで第１の画像が生成される。同様に、各単位画素の第２の光電変換部９３２での光電変換により生成された信号を読み出して合成することで第２の画像が生成される。

本実施例の測距装置１００′は、上述したカメラユニット９１１および露光制御部１１３′を含む露光制御画像取得部１０２′と、図１にも示した視差信頼度推定部１０３、画像生成選択部１０４およびステレオ測距部１０５とを備える。

露光制御部１１３′が実施例１で説明した方法で撮像素子９１３の露光量を制御することで、第１および第２の露光画像としての対の長秒画像と、第１および第２の露光画像としての対の短秒画像を取得することができる。

本実施例の測距装置１００′では、単一のカメラユニット９１１から取得した対の長秒画像と対の短秒画像を用いて実施例１～５のいずれかで説明した処理を行うことで、視差量を算出して距離画像を生成することができる。

本実施例のように単一のカメラユニットを用いることで、２つのカメラユニットを用いる場合と比べて、対の画像間での視差以外の幾何的なずれの影響が小さい。したがって、本実施例において露光条件が異なる複数対の画像から視差量算出に適した対の画像を適切に選択することで、より高精度に測距を行うことができる。

図１０（ａ）は移動体である車両１０００を示し、図１０（ｂ）は車両１０００に搭載された制御システムを示している。なお、移動体は、自動車に限定されず、電車、飛行機、船舶、小型モビリティおよびやＡＧＶ（Automatic Guided Vehicle)等のロボットでもよい。

図１０（ａ）において、車両１０００は、実施例１～６で説明した測距装置１０１０（１００、１００′）、ミリ波レーダ装置１０２０、ＬｉＤＡＲ(Light Detection and Ranging)装置１０３０および車両情報計測器１０４０を備えている。また車両１０００は、経路生成ＥＣＵ(Electronic Control Unit)１０５０および車両制御ＥＣＵ１０６０を備えている。経路生成ＥＣＵ１０５０と車両制御ＥＣＵ１０６０を、ＣＰＵにより構成してもよい。

測距装置１０１０は、車両１０００が走行する道路等を含む周囲環境を撮像して、互いに視差を有する対の画像（長秒画像、短秒画像およびＨＤＲ画像）を含む画像情報を生成する。また、撮像素子の画素ごとの被写体までの距離に関する情報を含む距離画像の情報（以下、距離情報という）も生成する。測距装置１０１０は、これらの画像情報および距離情報を経路生成ＥＣＵ１０５０に出力する。測距装置１０１０は、図に示すように車両１０００のフロントガラスの上端付近に配置され、車両１０００の前方に向かって所定の角度範囲（撮像画角）の領域を撮像する。

実施例１でも述べたように、距離に関する情報は距離自体を示す情報であってもよいし、距離に変換可能な情報であってもよい。また、距離を所定の整数値に割り当てた情報を経路生成ＥＣＵ１０５０に出力してもよい。さらに、被写体までの距離に変換可能な光学的に共役な距離値（撮像素子から共役点までのデフォーカス量）や光学系から共役点までの距離（像側主点から共役点までの距離）の情報を経路生成ＥＣＵ１０５０に出力してもよい。車両情報計測器１０４０は、車両１０００の走行速度を計測したり操舵角を検出したりして、これらを示す計測情報を経路生成ＥＣＵ１０５０に出力する。

経路生成ＥＣＵ１０５０は、論理回路を用いて構成されている。経路生成ＥＣＵ１０５０は、車両情報計測器１０４０からの計測情報、測距装置１０１０からの画像情報および距離情報、レーダ装置１０２０からの距離情報およびＬｉＤＡＲ装置１０３０からの距離情報を取得する。そして経路生成ＥＣＵ１０５０は、これら取得した情報に基づいて、車両１０００の目標走行軌跡と目標走行速度のうち少なくとも一方に関する目標経路情報を生成して車両制御ＥＣＵ１０６０に逐次出力する。

車両制御ＥＣＵ１０６０は、目標経路情報に基づいて、車両１０００の走行速度や操舵角が制御目標値になるように車両１０００のエンジン又はモータの回転数やステアリングの回転角を制御する運転制御を行う。測距装置１０１０と車両制御ＥＣＵ１０６０により、移動体制御システムとしての車載システムが構成される。

また、車両１０００が運転者１００１に対して画像の表示または音声による通知を行うＨＭＩ(Human Machine Interface)１０７０を備える場合がある。この場合には、経路生成ＥＣＵ１０５０が生成した目標経路情報をＨＭＩ１０７０を通じて運転者１００１に対して表示または通知することができる。

測距装置１０１０にて露光条件が異なる複数対の画像から視差量算出に適した対の画像が選択されて高精度の距離情報が経路生成ＥＣＵ１０５０に出力されることで、経路生成ＥＣＵ１０５０が生成する目標経路情報の精度が向上し、より安全な車両の運転制御が達成される。

車両等の移動体に搭載された測距装置１０１０は、トンネルの出口や夜間の対向車のヘッドライト等を含む輝度飽和が生じやすいシーンや対向車等の動き振れが大きい被写体を撮像する。このようなシーンや被写体を撮像する場合でも、対の画像の画角（照合／参照領域）ごとに実施例１～６で説明したように視差量算出に適した対の画像を選択することで、輝度飽和や動き振れの影響を低減した高精度な測距処理を行うことができる。

なお、測距装置１０１０により得られた距離情報を用いて、対象物までの距離が所定の距離範囲内に含まれるか否かの判定を車両制御ＥＣＵ１０６０により行ってもよい。車両制御ＥＣＵ１０６０は、所定の距離範囲内に対象物が存在する場合は「衝突可能性あり」と判定し、所定の距離内に対象物が存在しない場合は「衝突可能性なし」と判定する。また、車両制御ＥＣＵ１０６０は、「衝突可能性あり」と判定した場合は、その判定結果に基づいて車両１０００のブレーキやステアリングを制御したり、運転者１００１への警告を行ったりしてもよい。警告には、表示画面に警告情報を表示したり、シートベルトやステアリングに振動を与えたりすることが含まれる。

また、車両１０００が物体に衝突した場合に、その旨を移動体の製造元（メーカー）や販売元（ディーラー）等の通知先に通知するための通知部（通知手段）を設けてもよい。通知部としては、例えば、車両１０００と物体との衝突に関する情報を予め設定された外部の通知先に対して電子メール等によって送信するもの採用することができる。

上記の実施の形態は、以下の構成を含む。

（構成１）
撮像により互いに視差を有する対の画像を生成する撮像手段と、
前記対の画像から視差量を算出し、該視差量から距離に関する情報を生成する距離情報生成手段と、
前記撮像手段に、前記対の画像として、互いに露光条件が異なる第１対の露光画像および第２対の露光画像を生成させる露光制御手段と、
前記第１対の露光画像および前記第２対の露光画像のそれぞれから算出される視差量の信頼度を取得する信頼度取得手段と、
前記信頼度に基づいて、前記距離に関する情報を生成するための視差量を取得する前記対の画像としての視差算出画像を選択する選択手段とを有することを特徴とする測距装置。
（構成２）
前記選択手段は、前記視差算出画像として、前記第１対の露光画像と、前記第２対の露光画像と、前記第１対および第２対の露光画像を合成して得られる対の合成画像のいずれかを選択することを特徴とする構成１に記載の測距装置。
（構成３）
前記信頼度は、コントラストに関する信頼度、輝度飽和に関する信頼度および動き振れに関する信頼度のうち少なくとも１つであることを特徴とする構成１または２に記載の測距装置。
（構成４）
前記選択手段は、前記コントラストに関する信頼度、前記輝度飽和に関する信頼度および前記動き振れに関する信頼度を統合した信頼度に基づいて前記視差算出画像を選択することを特徴とする構成３に記載の測距装置。
（構成５）
前記選択手段は、前記輝度飽和に関する信頼度、前記動き振れに関する信頼度および前記コントラストに関する信頼度をこの順で用いて前記視差算出画像を選択することを特徴とする構成３に記載の測距装置。
（構成６）
前記選択手段は、前記輝度飽和に関する信頼度および前記コントラストに関する信頼度をこの順で用いて前記視差算出画像を選択することを特徴とする構成３に記載の測距装置。
（構成７）
前記選択手段は、前記第１対の露光画像と前記第２対の露光画像の前記コントラストに関する信頼度の差が所定値より小さい場合は、前記視差算出画像として、前記第１対および第２対の露光画像を合成して得られる対の合成画像を選択することを特徴とする構成３に記載の測距装置。
（構成８）
前記露光制御手段は、前記撮像手段における撮像素子の露光時間を変更することで前記撮像手段に前記第１対および第２対の露光画像を生成させることを特徴とする構成１に記載の測距装置。
（構成９）
前記露光制御手段は、前記撮像手段における撮像素子に設けられた互いに感度が異なる第１の画素と第２の画素を同一の露光時間で露光することで前記撮像手段に前記第１対および第２対の露光画像を生成させることを特徴とする構成１に記載の測距装置。
（構成１０）
前記撮像手段は、互いに基線長を隔てて配置された、それぞれ結像光学系と撮像素子を有する２つの撮像ユニットにより構成されていることを特徴とする構成１に記載の測距装置。
（構成１１）
前記撮像手段は、単一の結像光学系と、画素ごとに対の光電変換部を有する単一の撮像素子とを有することを特徴とする構成１に記載の測距装置。
（構成１２）
移動体に搭載された構成１に記載の測距装置と、
前記距離に関する情報に基づいて前記移動体の移動を制御する制御手段を有することを特徴とする移動体制御システム。
（構成１３）
前記制御手段は、前記距離に関する情報に基づいて前記移動体と物体との衝突可能性を判定することを特徴とする移動体制御システム。
（構成１４）
前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体のブレーキまたはステアリングを制御することを特徴とする構成１３に記載の移動体制御システム。
（構成１５）
前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体の運転者に対する警告を行うことを特徴とする構成１３に記載の移動体制御システム。
（構成１６）
前記移動体と前記物体との衝突に関する情報を外部に通知する通知手段を有することを特徴とする移動体制御システム。
（構成１７）
構成１２から１６のいずれか一項に記載の移動体制御システムを備え、
前記測距装置を保持して移動可能であることを特徴とする移動体。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００，１００′,１０１０ 測距装置
１１１，１１２，９１１ カメラユニット
１１３，１１３′ 露光制御部
１０３ 視差信頼度推定部
１０４ 画像生成選択部
１０５ ステレオ測距部

本発明の一側面としての情報処理装置は、撮像手段によって撮像された互いに視差を有する画像の集まりである視差画像であって、互いに露光条件が異なる視差画像である第１の視差画像および第２の視差画像を取得する画像取得手段と、第１の視差画像および前記第２の視差画像について、視差画像の視差量の確からしさである信頼度を取得する信頼度取得手段と、信頼度に基づいて、第１の視差画像および第２の視差画像を含む複数の前記視差画像から、距離に関する情報を生成するために用いられる視差画像を選択する選択手段とを有することを特徴とする。なお、移動体に搭載された上記測距装置と、距離に関する情報に基づいて移動体の移動を制御する制御手段を有する移動体制御システム、さらには該移動体制御システムを搭載した移動体も、本発明の他の一側面を構成する。

また本発明の他の一側面としての情報処理方法は、撮像手段によって撮像された互いに視差を有する画像の集まりである視差画像であって、互いに露光条件が異なる前記視差画像である第１の視差画像および第２の視差画像を取得するステップと、第１の視差画像および第２の視差画像について、視差画像の視差量の確からしさである信頼度を取得するステップと、信頼度に基づいて、第１の視差画像および第２の視差画像を含む複数の視差画像から、距離に関する情報を生成するために用いられる視差画像を選択するステップとを有することを特徴とする。なお、コンピュータに上記測距方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、互いに露光条件が異なる複数の視差画像から、距離に関する情報を生成するための適切な視差画像を選択することができる。

図１は、本実施例の情報処理装置としての測距装置１００の構成を示している。測距装置１００は、ステレオカメラ（撮像手段）１０１、露光制御画像取得部（画像取得手段）１０２、視差信頼度推定部（信頼度取得手段）１０３、画像生成選択部（選択手段）１０４およびステレオ測距部（距離情報生成手段）１０５を備える。ステレオカメラ１０１は互いに所定距離（基線長）を隔てて並列配置された２つのカメラユニット（撮像ユニット）１１１、１１２を有する。カメラユニット１１１、１１２のそれぞれの撮像画角は、互いに共通する画角範囲が含まれるように設定されている。

露光制御画像取得部１０２は、上記カメラユニット１１１、１１２と露光制御部（露光 制御手段）１１３を有する。露光制御部１１３は、カメラユニット１１１、１１２の露光 量を同時に制御する。ここでは、露光制御部１１３は、カメラユニット１１１、１１２の 撮像における露光条件としての露光時間を変更する。これにより、カメラユニット１１１ 、１１２のそれぞれに、互いに露光条件が異なる画像として、第１の露光時間の画像（以下、長秒画像という）と、第１の露光時間より短い第２の露光時間の画像（以下、短秒画像という）を生成させることができる。カメラユニット１１１、１１２にて生成される互いに視差を有する２つの長秒画像および互いに視差を有する２つの短秒画像を、以下の説明においてそれぞれ、対の長秒画像（第１の視差画像）および対の短秒画像（第２の視差画像）という。

カメラユニット１１１、１１２から取得された対の長秒画像および対の短秒画像は視差信頼度推定部１０３に伝送される。視差信頼度推定部１０３は、後述する信頼度判定処理 により対の長秒画像から算出される視差量の確からしさである信頼度である長秒視差信頼度を推定する。また視差信頼度推定部１０３は、同処理により、対の短秒画像から算出される視差量の確からしさである信頼度である短秒視差信頼度を推定する。これら長秒および短秒視差信頼度を受けた画像生成選択部１０４は、距離に関する情報を生成するための視差量の算出に用いる対の画像（視差画像：以下、視差算出画像という）として、対の長秒画像、対の短秒画像および対のＨＤＲ画像（合成画像）のいずれかを選択する。対のＨＤＲ画像は 、カメラユニット１１１から取得された長秒画像と短秒画像を合成（ブレンディング）することで生成される第１のＨＤＲ画像と、カメラユニット１１２から取得された長秒画像と短秒画像を合成することで生成される第２のＨＤＲ画像とにより構成される。

（構成１）
撮像手段によって撮像された互いに視差を有する画像の集まりである視差画像であって、互いに露光条件が異なる前記視差画像である第１の視差画像および第２の視差画像を取得する画像取得手段と、
前記第１の視差画像および前記第２の視差画像について、前記視差画像の視差量の確からしさである信頼度を取得する信頼度取得手段と、
前記信頼度に基づいて、前記第１の視差画像および前記第２の視差画像を含む複数の前記視差画像から、距離に関する情報を生成するために用いられる前記視差画像を選択する選択手段と、を有することを特徴とする情報処理装置。
（構成２）
前記視差画像に基づいて視差量を算出し、前記視差量に基づいて、前記距離に関する情報を生成する生成手段を有することを特徴とする構成１に記載の情報処理装置。
（構成３）
前記撮像手段の露光条件を制御する制御手段を有することを特徴とする構成２に記載の情報処理装置。
（構成４）
前記選択手段は、前記距離に関する情報を生成するために用いられる前記視差画像として、前記第１の視差画像と、前記第２の視差画像と、前記第１および第２の視差画像を合成して得られる合成画像のいずれかを選択することを特徴とする構成１から３のいずれか１つに記載の情報処理装置。
（構成５）
前記信頼度は、コントラストに関する信頼度、輝度飽和に関する信頼度および動き振れに関する信頼度のうち少なくとも１つであることを特徴とする構成１から４のいずれか１つに記載の情報処理装置。
（構成６）
前記選択手段は、前記コントラストに関する信頼度、前記輝度飽和に関する信頼度および前記動き振れに関する信頼度を統合した信頼度に基づいて、前記距離に関する情報を生成するために用いられる前記視差画像を選択することを特徴とする構成５に記載の情報処理装置。
（構成７）
前記選択手段は、前記輝度飽和に関する信頼度、前記動き振れに関する信頼度および前記コントラストに関する信頼度をこの順で用いて、前記距離に関する情報を生成するために用いられる前記視差画像を選択することを特徴とする構成５に記載の情報処理装置。
（構成８）
前記選択手段は、前記輝度飽和に関する信頼度および前記コントラストに関する信頼度をこの順で用いて、前記距離に関する情報を生成するために用いられる前記視差画像を選択することを特徴とする構成５に記載の情報処理装置。
（構成９）
前記選択手段は、前記第１の視差画像と前記第２の視差画像の前記コントラストに関する信頼度の差が所定値より小さい場合は、前記距離に関する情報を生成するために用いられる前記視差画像として、前記第１および第２の視差画像を合成して得られる合成画像を選択することを特徴とする構成５に記載の情報処理装置。
（構成１０）
前記画像取得手段は、前記撮像手段における撮像素子の露光時間を変更することで前記第１および第２の視差画像を取得することを特徴とする構成１から９のいずれか１つに記載の情報処理装置。
（構成１１）
前記画像取得手段は、前記撮像手段における撮像素子に設けられた互いに露光感度が異なる第１の画素と第２の画素を同一の露光時間で露光することで前記第１および第２の視差画像を取得することを特徴とする構成１から１０のいずれか１つに記載の情報処理装置。
（構成１２）
前記撮像手段は、互いに基線長を隔てて配置された、それぞれ結像光学系と撮像素子を有する２つの撮像ユニットにより構成されていることを特徴とする構成１から１１のいずれか１つに記載の情報処理装置。
（構成１３）
前記撮像手段は、単一の結像光学系と、画素ごとに対の光電変換部を有する単一の撮像素子とを有することを特徴とする構成１から１１のいずれか１つに記載の情報処理装置。
（構成１４）
移動体に搭載された構成１から１３のいずれか１つに記載の情報処理装置と、
前記距離に関する情報に基づいて前記移動体の移動を制御する制御手段を有することを特徴とする移動体制御システム。
（構成１５）
前記制御手段は、前記距離に関する情報に基づいて前記移動体と物体との衝突可能性を判定することを特徴とする構成１４に記載の移動体制御システム。
（構成１６）
前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体のブレーキまたはステアリングを制御することを特徴とする構成１５に記載の移動体制御システム。
（構成１７）
前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体の運転者に対する警告を行うことを特徴とする構成１５または１６に記載の移動体制御システム。
（構成１８）
前記移動体と前記物体との衝突に関する情報を外部に通知する通知手段を有することを特徴とする構成１５から１７のいずれか１つに記載の移動体制御システム。
（構成１９）
構成１４から１８のいずれか１つに記載の移動体制御システムを備え、
前記情報処理を保持して移動可能であることを特徴とする移動体。

本発明の一側面としての情報処理装置は、撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された対の撮影画像である第１対の撮影画像および第２対の撮影画像を取得する画像取得手段と、第１対の撮影画像および前記第２対の撮影画像について、それぞれの視差量の確からしさである信頼度を取得する信頼度取得手段と、信頼度に基づいて、第１対の撮影画像および第２対の撮影画像を含む複数の対の撮影画像から、距離に関する情報を生成するために用いられる視差画像を選択する選択手段とを有することを特徴とする。なお、移動体に搭載された上記測距装置と、距離に関する情報に基づいて移動体の移動を制御する制御手段を有する移動体制御システム、さらには該移動体制御システムを搭載した移動体も、本発明の他の一側面を構成する。

また本発明の他の一側面としての情報処理方法は、撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された対の撮影画像である第１対の撮影画像および第２対の撮影画像を取得するステップと、第１対の撮影画像および第２対の撮影画像について、それぞれの視差量の確からしさである信頼度を取得するステップと、信頼度に基づいて、第１対の撮影画像および第２対の撮影画像を含む複数の対の撮影画像から、距離に関する情報を生成するために用いられる対の撮影画像を選択するステップとを有することを特徴とする。なお、コンピュータに上記測距方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

Claims (19)

1. 撮像により互いに視差を有する対の画像を生成する撮像手段と、
   前記対の画像から視差量を算出し、該視差量から距離に関する情報を生成する距離情報生成手段と、
   前記撮像手段に、前記対の画像として、前記撮像における露光条件が互いに異なる第１対の露光画像および第２対の露光画像を生成させる露光制御手段と、
   前記第１対の露光画像および前記第２対の露光画像のそれぞれから算出される視差量の確からしさである信頼度を取得する信頼度取得手段と、
   前記信頼度に基づいて、前記距離に関する情報を生成するための視差量を取得する前記対の画像としての視差算出画像を選択する選択手段とを有することを特徴とする測距装置。
2. 前記選択手段は、前記視差算出画像として、前記第１対の露光画像と、前記第２対の露光画像と、前記第１対および第２対の露光画像を合成して得られる対の合成画像のいずれかを選択することを特徴とする請求項１に記載の測距装置。
3. 前記信頼度は、コントラストに関する信頼度、輝度飽和に関する信頼度および動き振れに関する信頼度のうち少なくとも１つであることを特徴とする請求項１に記載の測距装置。
4. 前記選択手段は、前記コントラストに関する信頼度、前記輝度飽和に関する信頼度および前記動き振れに関する信頼度を統合した信頼度に基づいて前記視差算出画像を選択することを特徴とする請求項３に記載の測距装置。
5. 前記選択手段は、前記輝度飽和に関する信頼度、前記動き振れに関する信頼度および前記コントラストに関する信頼度をこの順で用いて前記視差算出画像を選択することを特徴とする請求項３に記載の測距装置。
6. 前記選択手段は、前記輝度飽和に関する信頼度および前記コントラストに関する信頼度をこの順で用いて前記視差算出画像を選択することを特徴とする請求項３に記載の測距装置。
7. 前記選択手段は、前記第１対の露光画像と前記第２対の露光画像の前記コントラストに関する信頼度の差が所定値より小さい場合は、前記視差算出画像として、前記第１対および第２対の露光画像を合成して得られる対の合成画像を選択することを特徴とする請求項３に記載の測距装置。
8. 前記露光制御手段は、前記撮像手段における撮像素子の露光時間を変更することで前記撮像手段に前記第１対および第２対の露光画像を生成させることを特徴とする請求項１に記載の測距装置。
9. 前記露光制御手段は、前記撮像手段における撮像素子に設けられた互いに露光感度が異なる第１の画素と第２の画素を同一の露光時間で露光することで前記撮像手段に前記第１対および第２対の露光画像を生成させることを特徴とする請求項１に記載の測距装置。
10. 前記撮像手段は、互いに基線長を隔てて配置された、それぞれ結像光学系と撮像素子を有する２つの撮像ユニットにより構成されていることを特徴とする請求項１に記載の測距装置。
11. 前記撮像手段は、単一の結像光学系と、画素ごとに対の光電変換部を有する単一の撮像素子とを有することを特徴とする請求項１に記載の測距装置。
12. 移動体に搭載された請求項１に記載の測距装置と、
    前記距離に関する情報に基づいて前記移動体の移動を制御する制御手段を有することを特徴とする移動体制御システム。
13. 前記制御手段は、前記距離に関する情報に基づいて前記移動体と物体との衝突可能性を判定することを特徴とする請求項１２に記載の移動体制御システム。
14. 前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体のブレーキまたはステアリングを制御することを特徴とする請求項１３に記載の移動体制御システム。
15. 前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体の運転者に対する警告を行うことを特徴とする請求項１３に記載の移動体制御システム。
16. 前記移動体と前記物体との衝突に関する情報を外部に通知する通知手段を有することを特徴とする移動体制御システム。
17. 請求項１２から１６のいずれか一項に記載の移動体制御システムを備え、
    前記測距装置を保持して移動可能であることを特徴とする移動体。
18. 撮像により互いに視差を有する対の画像を生成する撮像手段を用意するステップと、
    前記対の画像から視差量を算出し、該視差量から距離に関する情報を生成するステップと、
    前記撮像手段に、前記対の画像として、前記撮像における露光条件が互いに異なる第１対の露光画像および第２対の露光画像を生成させるステップと、
    前記第１対の露光画像および前記第２対の露光画像のそれぞれから算出される視差量の確からしさである信頼度を取得するステップと、
    前記信頼度に基づいて、前記距離に関する情報を生成するための視差量を取得する前記対の画像としての視差算出画像を選択するステップとを有することを特徴とする測距方法。
19. コンピュータに、請求項１８に記載の測距方法に従う処理を実行させることを特徴とするプログラム。