JPWO2009101798A1 - 複眼撮像装置、測距装置、視差算出方法及び測距方法 - Google Patents

Abstract

対象物表面の輝度の分布によらず高精度にサブピクセル視差を推定可能な複眼撮像装置を提供する。基準画像を含む画像を生成する基準撮像光学系と、基準撮像光学系に対して略点対称に配置され、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、２以上の偶数の参照撮像光学系のそれぞれについて、基線と平行な方向に沿って、基準画像に対して参照画像の一方をずらしていった場合のずらし量ごとに相関値を算出する相関値算出部（６）と、２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算部（７）と、合成相関値に基づき、基準画像と参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出部（８）とを備える。

Description

本発明は、複数の撮像光学系を有し、撮像光学系間で生じる視差を算出する複眼撮像装置等に関するものである。

近年、所定の位置から対象物までの距離、又は対象物の三次元位置（形状）の測定の要求が高まっている。例えば自動車の視界支援において、自動車に取付けた小型カメラで撮影した周囲の物体の映像のみでなく、測距装置により測定した物体と自動車との正確な距離情報を同時に表示することにより、周囲の物体との衝突をより適確に回避する方法が提案されている。また、携帯電話やテレビなどにおいては、映像の臨場感をより忠実に再現するために立体映像の入出力装置が望まれている。これら用途の測距装置には高精度化及び小型化が望まれている。

対象物までの距離、又は対象物の三次元位置を測定する方式として、従来より三角測量の原理を利用したステレオ測距方式が利用されている。ステレオ測距方式では、複数のカメラ間に生じる視差に基づき対象物までの距離が算出される。

図３０は、カメラａ及びカメラｂの２つのカメラを用いた場合の、ステレオ測距方式による対象物までの距離算出の例を説明する図である。対象物１００の光線１０１ａ、１０１ｂは、カメラａのレンズ１０２ａ及びカメラｂのレンズ１０２ｂの各光学中心１０５ａ、１０５ｂを介して撮像領域１０４ａ、１０４ｂに結像する。光軸１０３ａ及び光軸１０３ｂは各カメラの光軸を表す。この時、例えば対象物１００が、カメラａについては撮像領域１０４ａと光軸１０３ａとの交点１０６ａからＰａ離れた位置１０７ａに結像し、カメラｂについては撮像領域１０４ｂ上の撮像領域１０４ｂと光軸１０３ｂとの交点１０６ｂからＰｂ離れた位置１０７ｂに結像した場合、カメラａとカメラｂとの間に視差Ｐ（＝Ｐｂ−Ｐａ）が生じる。この視差Ｐは測距装置と対象物距離との距離Ｄに応じて変化する。カメラａの光軸１０３ａとカメラｂの光軸１０３ｂは平行とし、その間隔を基線長Ｂ、カメラａ及びカメラｂの焦点距離をｆとすると、対象物までの距離Ｄは（式１）で表わされる。したがって、基線長Ｂ及び焦点距離ｆが事前のキャリブレーション処理などにより既知であるとすると、視差Ｐを求めることにより対象物１００までの距離Ｄを算出することが可能となる。

なお、実際の環境ではカメラａとカメラｂの光軸は平行でない場合が多い。そこで、例えば非特許文献１に示されるような平行化処理を行う。その結果、光軸が平行な画像が作成され、上記の（式１）を用いた演算を利用して距離Ｄが算出可能となることが知られている。

撮像領域１０４ａ及び１０４ｂは通常ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により構成される。したがって、２次元平面上で離散化された対象物像の輝度信号を用いて視差Ｐは算出されるため、通常その視差検出分解能は１画素となる。（式１）の関係より視差検出分解能から測距分解能（以降、測距精度と記載）が決まる。

また、対象物の三次元位置は、例えば、図３１〜図３３を用いて以下で説明する方法により、算出することができる。

図３１は、測距装置と対象物との位置関係を表す図である。図３１において、世界座標の原点Ｍｗ（０、０、０）は、カメラａの光学中心１０５ａとする。図に示すように、対象物１１０の一点１１１の三次元位置座標をＭｗ（Ｘｗ１、Ｙｗ１、Ｚｗ１）とすると、Ｚｗ１は図３０を用いて説明した（式１）で算出する距離Ｄで求められる。

図３２は、図３１のカメラａと対象物１１０の一点１１１をＹｗ軸のマイナス側から見た図である。図に示すように、交点１０６ａを撮像領域１０４ａの二次元座標系の原点ｍｓ（０、０）とすると、Ｘｗ１は結像位置１０７ａの座標ｍｓ（ｘｓ１、ｙｓ１）を用いて（式２）で表される。

図３３は、図３１のカメラａと対象物１１０の一点１１１をＸｗ軸のプラス側から見た図である。図３２と同様に、交点１０６ａを撮像領域１０４ａの二次元座標系の原点ｍｓ（０、０）とすると、Ｙｗ１は結像位置１０７ａの座標ｍｓ（ｘｓ１、ｙｓ１）を用いて（式３）で表される。

三次元位置の測定精度も、前述の測距精度と同様に視差検出分解能により決まる。

次に、視差Ｐの具体的な検出方法の例を説明する。視差Ｐは、カメラａの撮像領域１０４ａで取込まれた画像ａと、カメラｂの撮像領域１０４ｂで取込まれた画像ｂとについて、各画像の小領域毎の相関値であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値総和）を算出し、算出した相関値を用いて画像ａと画像ｂ間の小領域毎の画像のずれ、つまり視差Ｐを算出する。なお、ＳＡＤは相関値の一例であり、一般的に知られているＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ：差分２乗総和）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）なども相関値として利用可能である。

以下に、図３４〜図３６を参照しながら、代表的な相関値であるＳＡＤを用いた視差の算出について説明する。

図３４は、画像における各画素の輝度の表現方法について説明する図である。図に示すように、０を黒、１５を白とし、各画素の輝度の階調を線の密度で表現する。輝度は少数点以下の値となることもあり得る。

図３５Ａは、写像した対象物のテクスチャを対象物側からみた、画像ａの一部を示す図である。図３５Ｂは写像した対象物のテクスチャを対象物側からみた、画像ｂの一部を示す図である。

図３５Ｂの太線で囲われた画像ブロックｂは、対象物が無限遠にあるときに図３５Ａの太線で囲われた画像ブロックａと同一の画像が写像する。対象物が有限の距離にある場合は、図３５Ａ及び図３５Ｂに示すように視差が生じるため、図３５Ｂの画像は図３５Ａの画像に対して右側に写像する。ここでは図３５Ａと図３５Ｂとが３．６画素の実際視差を持つ場合の説明を行う。画像ブロックａと最も相関の高い画像領域を探索するため、画像ブロックｂを図３５Ｂの太線の位置から右方向に１画素ずつずらしていき、各ずらし量毎にＳＡＤを（式４）に基づき算出する。

ここで、Ｉａ、Ｉｂは各画像ブロック内の輝度値を表し、ｉ、ｊは各画像ブロック内の局所アドレスを表す。画像ブロックａ及び画像ブロックｂは同一の画像サイズで、両画像ブロックの同一アドレスの輝度差分の絶対値のブロック内総和を各ずらし量毎に算出する。画像ブロックの形状は長方形や、テクスチャの特徴に応じた形状でもよいが、ここでは正方形の画像ブロックでの説明をしている。

図３６は、画像ブロックｂを１画素ずつ移動させたときのＳＡＤの推移を示す図である。ずらし量４画素の場合にＳＡＤが最小となっているため、画像ブロックａと画像ブロックｂとの相関が最も高いと考えられる。したがって、画像ブロックａでのカメラａとカメラｂとの視差は４画素と算出され、算出された視差に画素ピッチサイズをかけることで（式１）の視差Ｐが求められ、対象物までの距離Ｄを算出することができる。この場合、実際の視差３．６画素に近い視差は求められるが、視差の検出精度は１画素となるため、小数点以下の画素の精度で視差（以降、サブピクセル視差と呼ぶ）は求められない。

測距精度つまり視差検出分解能を１画素単位でなく更に高精度に求めるための方法として、サブピクセルレベル視差を推定する方法が提案されている（例えば特許文献１）。例えば、等角直線フィッティングというサブピクセル視差推定方法では、図３７に示すように実際視差を基準にＳＡＤの推移が左右で同一θの傾きであることを仮定することによって、１次線形補間により実際視差がサブピクセルレベルで推定される。等角直線フィッティングのサブピクセル視差算出式、つまり補間式を（式５）に示す。

ここで、Ｐはサブピクセル視差、ＰｍｉｎはＳＡＤが最小となるずらし量（整数視差）、Ｒ（０）はＳＡＤが最小になるずらし量での相関値（ＳＡＤ）、その隣接するずらし量でのＳＡＤをＲ（−１）、Ｒ（１）とする。

またその他にも、ＳＡＤなどの相関値のずらし量毎の推移が実際視差を基準に対称な推移となることを仮定して、２次関数など高次の線形関数や非線形関数により実際視差を補間演算する方法が提案されている。図３５Ａ及び図３５Ｂに示すような輝度が１次関数的に変化する対象物の場合は、図３６に示すようにＳＡＤの推移が実際視差を基準に対称となり、且つ１次直線的にＳＡＤが推移する。そのため、等角直線フィッティングを用いてサブピクセル視差推定を行うと、視差３．６画素を正確に求めることができる。
特開２０００−２８３７５３号公報 徐剛、辻三郎著 「３次元ビジョン」共立出版 ｐｐ９６−９９ ２００２年９月２５日出版

上述のように、図３５Ａ、図３５Ｂ及び図３６では、輝度の分布が視差の探索方向に１次関数的に一様に変化する対象物を例として説明している。このような場合、相関値の推移が実際視差を基準に対称となるため、等角直線フィッティングによりサブピクセル視差推定を正確に行うことができる。しかし、実際の対象物では表面の模様（テクスチャ）が一様に変化する場合は少なく、例えば図３８Ａ及び図３８Ｂに示すように輝度の分布が一様に変化しない場合が多い。

図３８Ａは対象物側からみた画像ａの一部を示す図である。図３８Ｂは対象物側からみた画像ｂの一部を示す図である。図３８Ｂの太線で囲われた画像ブロックｂには、対象物が無限遠にあるときに図３８Ａの太線で囲われた画像ブロックａと同一の画像が写像する。対象物が有限の距離にある場合は図３０に示すように視差が生じるために図３８Ｂの画像は、図３８Ａの画像に対して右側に移動する。ここでは図３５Ａ及び図３５Ｂと同様に、図３８Ａと図３８Ｂとが３．６画素の実際視差を持つ場合の説明を行う。

図３９は、図３８Ａ及び図３８Ｂの画像の場合のＳＡＤの推移と、その時の前述の等角直線フィッティングによるサブピクセル視差推定を説明する図である。図に示すように、ＳＡＤの推移が実際視差を基準に対称とならないため、サブピクセル視差推定結果は実際視差からはずれてしまう。具体的には、サブピクセル視差は、約３．２画素と推定されてしまう。その結果、推定視差は実際視差と約０．４画素の誤差が生じる。

このように、従来のステレオ測距方式において用いられているサブピクセル視差推定を行う補間式は、相関値の推移が実際視差を基準に対称となる場合を仮定している。そのため、相関値の推移が実際視差を基準に対称とならない対象物においては、視差の推定誤差が生じるという課題があった。また、例えば図４０Ａ及び図４０Ｂに示すような３つ以上の光学系を用いた多眼ステレオカメラにおいても同様に、相関値の推移が実際視差を基準に対称とならない対象物においては、視差の推定誤差が生じるという課題があった。

本発明は上記課題を解決する為になされたものであり、対象物の輝度の分布によらず相関値の推移が実際視差を基準に対称となり、上述したような従来の補間によるサブピクセル視差推定方法を用いても高精度にサブピクセル視差を推定可能な複眼撮像装置又は測距装置を提供することを目的とする。

上述した目的を達成するために、本発明に係る複眼撮像装置は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する複眼撮像装置であって、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段とを少なくとも備えることを特徴とする。

これにより、基準撮像光学系に対して略対称に配置された２以上の参照撮像光学系のそれぞれについて算出された相関値が、対応するずらし量ごとに加算されるので、被写体によらず相関値の推移が実際視差を基準として対称となり、高精度にサブピクセル視差を推定することが可能となる。

ここで略点対称とは、２つの参照撮像光学系で構成される場合には、２つの参照撮像光学系の光学中心と基準撮像光学系の光学中心とが略１直線上に配置され、２つの参照撮像光学系と基準撮像光学系との基線長が略同一であることをいう。また、４つの参照撮像光学系で構成される場合には、追加された２つの参照撮像光学系の光学中心と基準撮像光学系の光学中心とが略１直線上に配置され、追加された２つの参照撮像光学系と基準撮像光学系との基線長が略同一であることをいう。さらに多数の参照撮像光学系で構成される場合は、追加された２つで１組の参照撮像光学系の光学中心の各組と基準撮像光学系の光学中心とが略１直線上に配置され、追加された２つで１組の参照撮像光学系の各組と基準撮像光学系との基線長が略同一であることをいう。

また、前記視差算出手段は、前記相関値加算手段で加算されたずらし量ごとの相関値を、対称性を利用した補間式を用いて補間することにより、サブピクセルレベルの視差を算出することが好ましい。

これにより、従来の対称性を前提とした補間によるサブピクセル視差推定方法を用いても、高精度にサブピクセル視差を推定することが可能となる。

また、前記複眼撮像装置は、４以上の参照撮像光学系を備え、前記４以上の参照撮像光学系の光学中心は、前記基準撮像光学系の光学中心に対して略点対称に配置された１対の第１の参照撮像光学系に係る基線の方向と、前記基準撮像光学系の光学中心に対して略点対称に配置された第１の参照撮像光学系の光学中心と異なる１対の第２の参照撮像光学系に係る基線の方向とが所定の角度傾くように配置されることが好ましい。

これにより、２つの参照撮像光学系を用いた場合に比べて、参照撮像光学系、つまり、参照画像が増加するので、情報量が増加し、相関値の推移の直線性が向上する。また、基準撮像光学系に対して略点対称に配置される１対の参照撮像光学系と基準撮像光学系との光学中心を結ぶ直線である基線の方向と、他の対の参照撮像光学系と基準撮像光学系との基線の方向が所定の角度傾くことで、撮像された対象物の情報量がさらに増大し、相関値の推移の直線性が向上する。その結果、サブピクセル視差の推定精度がさらに向上する。

また、前記４以上の参照撮像光学系は、前記第１の参照撮像光学系と前記基準撮像光学系との基線の長さである第１の基線長と、前記第２の参照撮像光学系と前記基準撮像光学系との基線の長さである第２の基線長とが異なるように配置され、前記相関値算出手段では、前記第２の参照撮像光学系で生成された参照画像の相関値を算出する際に、前記第２の基線長を前記第１の基線長で除した値に、前記第１の参照撮像光学系で生成された参照画像の相関値を算出する際に利用した第１のずらし量を乗じた値である第２のずらし量ごとに前記相関値を算出することが好ましい。

これにより、基準撮像光学系の光学中心に対して略点対称に配置される１対の参照撮像光学系と基準撮像光学系との基線の長さと、他の対の参照撮像光学系と基準撮像光学系との基線の長さが異なる場合でも、相関値の推移の対称性を高めることが可能となる。その結果、参照撮像光学系の配置の自由度が増大するとともに、サブピクセル視差の推定精度を向上させることができる。

また、基準撮像光学系及び前記４以上の参照撮像光学系は、前記基準撮像光学系が有する撮像装置を構成する画素の位置関係と同一となるように配置されることが好ましい。

これにより、ブロックマッチング演算を行う際に、ずらし量に対応したブロックの境界が画素の境界と一致するので、バイリニア補間などによる画像処理が不要となる。その結果、ブロックマッチング演算の演算時間を短縮することが可能となる。

また、前記基準撮像光学系の光学中心に対して略点対称に配置された対となる参照撮像光学系のそれぞれの対において、対のうち一方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心とを結ぶ直線と、対のうち他方の参照撮像光学系の光学中心との距離である光学中心位置誤差が、Ｄを対象物までの距離、ｐｉｔｃｈを画素ピッチ、ｆを焦点距離としたときに、
光学中心位置誤差 ≦ Ｄ・ｐｉｔｃｈ・０．１５／ｆ
を満たすことが好ましい。

これにより、被写体によらず相関値の推移が実際視差を基準に十分なレベルで点対称となるので、従来より高精度にサブピクセル視差を推定することが可能となる。

また、前記基準撮像光学系の光学中心に対して略点対称に配置された対となる参照撮像光学系のそれぞれの対において、対のうち一方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心との間隔である第１基線長と、対のうち他方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心との間隔である第２基線長との長さの差である基線長誤差が、Ｄを対象物までの距離、ｐｉｔｃｈを画素ピッチ、ｆを焦点距離としたときに、
基線長誤差 ≦ Ｄ・ｐｉｔｃｈ・０．２／ｆ
を満たすことが好ましい。

これにより、被写体によらず相関値の推移が実際視差を基準に十分なレベルで点対称となるので、従来より高精度にサブピクセル視差を推定することが可能となる。

また、前記複眼撮像装置は、さらに、前記基準画像及び前記参照画像に平滑化フィルタを施す前処理手段を備え、前記相関値算出手段では、前記平滑化フィルタを施した基準画像及び参照画像に基づいて前記相関値を算出することが好ましい。

これにより、対象物の輝度の分布によらずノイズの影響による精度低下を低減でき、更に対象物の輝度の変動を滑らかにすることが可能となる為、例えば上述したＳＡＤと等角直線フィッティングを用いた場合に、相関値の推移の対称性を保ったまま、ＳＡＤの推移の直線性が向上し、サブピクセル視差推定精度が更に向上する。

また、上述した目的を達成するために、本発明に係る測距装置は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することにより、前記対象物までの距離又は前記対象物の三次元位置を算出する測距装置であって、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段と算出された視差と前記基準撮像光学系の焦点距離と前記基線の長さに基づき、前記測距装置から前記対象物までの距離又は前記対象物の三次元位置を算出する距離算出手段とを備えることを特徴とする。

これにより、２以上の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することで、被写体によらず相関値の推移が実際視差を基準として対称となるので、高精度にサブピクセル視差を推定することが可能となる。その結果、被写体となる対象物までの距離を、高精度で推定することが可能となる。

また、本発明に係る視差算出方法は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する視差算出方法であって、前記複数の撮像光学系は、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系とを含み、前記視差算出方法は、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出ステップと、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算ステップと、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出ステップとを含むことを特徴とする。

これにより、上記複眼撮像装置と同様の効果を得ることができる。

また、本発明に係る測距方法は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することにより、前記対象物までの距離又は前記対象物の三次元位置を算出する測距方法であって、前記複数の撮像光学系は、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系とを含み、前記測距方法は、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出ステップと、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算ステップと、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出ステップと算出された視差と前記基準撮像光学系の焦点距離と前記基線の長さに基づき、前記測距装置から前記対象物までの距離又は前記対象物の三次元位置を算出する距離算出ステップとを含むことを特徴とする。

これにより、上記測距装置と同様の効果を得ることができる。

なお、本発明は、このような視差算出方法又は測距方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

本発明によれば、対象物の輝度の分布によらず相関値の推移が実際視差を基準として対称となり、上述したような従来の補間によるサブピクセル視差推定方法を用いても高精度にサブピクセル視差を推定可能な複眼撮像装置又は測距装置を提供することが可能となる。

図１は、本発明の実施の形態１に係る測距装置の構成を示す図である。 図２は、本発明の実施の形態１に係る測距装置と対象物との位置関係を示す図である。 図３は、本発明の実施の形態１に係る測距装置による対象物の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。 図４は、本発明の実施の形態１に係る対象物の表面上の点１３の周辺のテクスチャを基準撮像光学系で撮影した場合の、対象物側から見た画像の一部を示す図である。 図５Ａは、本発明の実施の形態１に係る撮像光学系で撮影した画像の一部を示す図である。 図５Ｂは、本発明の実施の形態１に係る撮像光学系で撮影した画像の一部を示す図である。 図５Ｃは、本発明の実施の形態１に係る撮像光学系で撮影した画像の一部を示す図である。 図６Ａは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図６Ｂは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図７は、本発明の実施の形態１に係る合成ＳＡＤの推移を示す図である。 図８は、本発明の実施の形態１に係る画像に写像された対象物の１点の周辺のテクスチャを示す図である。 図９Ａは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図９Ｂは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図１０は、本発明の実施の形態２に係る測距装置の構成を示す図である。 図１１Ａは、本発明の実施の形態２に係るＳＡＤの推移を示す図である。 図１１Ｂは、本発明の実施の形態２に係るＳＡＤの推移を示す図である。 図１２は、本発明の実施の形態２に係るＳＡＤの推移を示す図である。 図１３は、本発明の実施の形態３に係る測距装置の構成を示す図である。 図１４は、本発明の実施の形態３に係る測距装置の動作を説明する図である。 図１５は、本発明の実施の形態３に係る測距装置の動作を説明する図である。 図１６は、本発明の実施の形態３に係る測距装置の性能を説明する図である。 図１７は、本発明の実施の形態３に係る測距装置の動作を説明する図である。 図１８Ａは、本発明の実施の形態３に係るＳＡＤの推移を示す図である。 図１８Ｂは、本発明の実施の形態３に係るＳＡＤの推移を示す図である。 図１９は、本発明の実施の形態３に係る合成ＳＡＤの推移を示す図である。 図２０は、本発明の実施の形態３に係る測距装置の性能を説明する図である。 図２１は、本発明の実施の形態４に係る測距装置の構成を示す図である。 図２２は、本発明の実施の形態４に係る測距装置と対象物との位置関係を示す図である。 図２３は、本発明の実施の形態４に係る測距装置による対象物の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。 図２４Ａは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｂは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｃは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｄは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｅは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｆは、本発明の実施例に係る測距装置の構成を示す図である。 図２５Ａは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２５Ｂは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２５Ｃは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２５Ｄは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２６Ａは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２６Ｂは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２６Ｃは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２６Ｄは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２７Ａは、本発明の変形例に係る撮像光学系の配置を示す図である。 図２７Ｂは、本発明の変形例に係る撮像光学系の配置を示す図である。 図２８Ａは、本発明に係る撮像光学系の配置について説明するための図である。 図２８Ｂは、本発明に係る撮像光学系の配置について説明するための図である。 図２８Ｃは、本発明に係る撮像光学系の配置について説明するための図である。 図２９Ａは、本発明に係る撮像光学系の配置について説明するための図である。 図２９Ｂは、本発明に係る撮像光学系の配置について説明するための図である。 図３０は、ステレオ測距方式による対象物までの距離算出の例を説明する図である。 図３１は、従来技術の説明における測距装置と対象物との位置関係を表す図である。 図３２は、従来技術の説明におけるカメラと対象物の一点をＹｗ軸のマイナス側から見た図である。 図３３は、従来技術の説明におけるカメラと対象物の一点をＸｗ軸のプラス側から見た図である。 図３４は、画像における各画素の輝度の表現方法について説明する図である。 図３５Ａは、従来技術の説明における写像した対象物のテクスチャを対象物側からみた、画像の一部を示す図である。 図３５Ｂは、従来技術の説明における写像した対象物のテクスチャを対象物側からみた、画像の一部を示す図である。 図３６は、従来技術の説明におけるＳＡＤの推移を示す図である。 図３７は、従来技術の説明におけるＳＡＤの推移を示す図である。 図３８Ａは、従来技術の説明における対象物側からみた画像の一部を示す図である。 図３８Ｂは、従来技術の説明における対象物側からみた画像の一部を示す図である。 図３９は、従来技術の説明における等角直線フィッティングによるサブピクセル視差推定を説明する図である。 図４０Ａは、従来技術の説明における別の構成の測距装置を示す図である。 図４０Ｂは、従来技術の説明における別の構成の測距装置を示す図である。

符号の説明

１ｓ、１ａ、１ｂ カメラ
２ｓ、２ａ、２ｂ、２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ、２１ｇ、２１ｈ レンズ
３ｓ、３ａ、３ｂ、２２ａ、２２ｂ、２２ｃ、２２ｄ、２２ｅ、２２ｆ、２２ｇ、２２ｈ 撮像領域
４ Ａ／Ｄ変換部
５ 前処理部
６ 相関値算出部
７ 相関値加算部
８ 視差算出部
９ 後処理部
１０ｓ、１０ａ、１０ｂ 光学中心
１１ｓ、１１ａ、１１ｂ 光軸
１２ 対象物
１３ 対象物の表面上の点
１４ｓ、１４ａ、１４ｂ、１５ｓ、１５ａ、１５ｂ ブロック
１６ａ、１６ｂ、１７ａ、１７ｂ 矢印
２０ 複眼カメラ
２３ 平滑化フィルタ部
２４ 視差換算部
２５ｓ 光学中心
５０、６０、７０、８０ 測距装置

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本実施の形態に係る測距装置５０の構成を示す図である。この測距装置５０は、３つのカメラ１ｓ、１ａ、１ｂ並びにＡ／Ｄ変換部４、前処理部５、相関値算出部６、相関値加算部７、視差算出部８及び後処理部９を備える。

３つのカメラ１ｓ、１ａ、１ｂは、それぞれ同様の構成を有する。つまり、カメラ１ｓはレンズ２ｓ及び撮像領域３ｓを備え、カメラ１ａ及び１ｂは、それぞれレンズ２ａ及び撮像領域３ａ並びにレンズ２ｂ及び撮像領域３ｂを備える。ここで、カメラ１ｓを基準撮像光学系ｓ、カメラ１ａ及び１ｂをそれぞれ参照撮像光学系ａ及び参照撮像光学系ｂと呼ぶ。

撮像領域３ｓ、３ａ、３ｂは、例えばＣＣＤやＣＭＯＳなどの固体撮像素子上に構成され、レンズ２ｓ、２ａ、２ｂを通過した対象物の光から画像を生成する。

ここで、本実施の形態に係る基準撮像光学系ｓ並びに参照撮像光学系ａ及びｂは、以下に示す特徴を有する。まず、各撮像光学系の光軸は平行である。そして、各撮像光学系の光学中心は一直線上に配置され、かつ、その直線は光軸に垂直である。また、各撮像光学系の撮像領域（２次元平面）と光軸は垂直に配置され、焦点距離（撮像領域から光学中心までの距離）は全ての撮像光学系で同一である。さらに、各撮像光学系の光学中心を結ぶ線、つまりエピポーラ線は各撮像領域の水平方向の画素配列と平行であり、各撮像光学系間の視差は各撮像領域の画素配列の水平方向に生じる。

なお、本発明において、上記に示した本実施の形態に係る基準撮像光学系ｓ並びに参照撮像光学系ａ及びｂの光軸、光学中心、撮像領域及び焦点距離等に関する特徴を、厳密に満たす必要はない。キャリブレーション処理等により補正可能であれば、例えば、光軸は厳密に互いに平行でなくてもよい。また、光軸、光学中心、撮像領域及び焦点距離等に関する特徴の誤差が、無視できる程度であれば問題ない。

また、基準撮像光学系ｓは、３つの撮像光学系の真ん中に配置され、基準撮像光学系ｓの光学中心と参照撮像光学系ａの光学中心との距離（以降、基線長と呼ぶ）Ｂａと、基準撮像光学系ｓの光学中心と参照撮像光学系ｂの光学中心との距離（基線長）Ｂｂとは同一である。つまり、参照撮像光学系ａ及びｂは、基準撮像光学系ｓに対して点対称に配置されている。

Ａ／Ｄ変換部４は、撮像領域３ｓ、３ａ、３ｂを構成する撮像素子から伝送される輝度情報をアナログ値からデジタル値に変換する（量子化）。ここで、撮像領域３ｓの像をＡ／Ｄ変換部４が量子化したものを画像ｓ、撮像領域３ａ及び撮像領域３ｂの像をＡ／Ｄ変換部４が量子化したものを画像ａ及び画像ｂとする。Ａ／Ｄ変換部４は、カメラ１ｓ、１ａ、１ｂ毎に別個に構成されてもよいし、カメラ１ｓ、１ａ、１ｂに対して共通に構成されてもよいし、いずれかのみが別個に構成されてもよい。

前処理部５は、デジタル値に変換された各撮像領域の輝度情報について、キャリブレーション、輝度のシェーディング補正、光学系間の明るさの差の低減補正など画像の相関演算を高精度に行うための画像の補正処理を行う。例えば、一般的に知られるレンズ歪曲補正やステレオ画像の平行化などのキャリブレーション処理である。このキャリブレーション処理を行うことで、実装誤差を補正した画像を得ることができる。なお、本実施の形態では前処理部５がキャリブレーション処理などの画像補正を行う場合について説明するが、本発明が適用される測距装置は、このような測距装置に限定されるものではない。例えば、キャリブレーション処理がない測距装置であってもよい。

相関値算出部６は、詳細は後述するが、参照撮像光学系ａ及びｂのそれぞれについて、基準撮像光学系ｓの光学中心と参照撮像光学系ａ又はｂの光学中心とを結ぶ直線である基線の方向に沿って、画像ｓに含まれる基準画像に対し画像ａ又はｂに含まれる参照画像の画像位置（画像座標）をずらして画像を比較していった場合のずらし量ごとに、基準画像と参照画像との類似度を表す相関値を算出する（ブロックマッチング演算）。ここで、基準画像に対し参照画像の一方の画像位置をずらしていくとは、基準撮像光学系及び参照撮像光学系が生成した画像の一部の領域を、それぞれ基準画像及び参照画像として選択し、基準画像に対し参照画像の選択位置（探索位置）をずらしていくことをいう。

相関値加算部７は、詳細は後述するが、相関値算出部６で撮像光学系の組合せ毎に算出された相関値を、対応するずらし量ごとに加算することで、実際視差を基準として対称な分布となる合成相関値を算出する。

視差算出部８は、相関値加算部７で加算された実際視差を基準として対称な分布となる合成相関値を、対称性を利用した補間式を用いて補間することにより、基準画像及び参照画像におけるサブピクセルレベルの視差を推定する。ここで、サブピクセルレベルとは小数点以下の画素の精度をいう。

後処理部９は、視差算出部８で算出されたサブピクセルレベルの視差に基づき対象物の三次元位置（又は測距装置から対象物までの距離）を算出する処理や、推定した三次元形状のフィルタリング処理や、推定した対象物のテクスチャを作成する処理など、アプリケーション毎の出力に応じたデータを作成する。なお、本実施の形態では、後処理部９が対象物の三次元位置や距離を算出する場合について説明するが、本発明が適用される装置は、このような測距装置に限定されるものではない。例えば、後処理部９が視差算出部８で算出された視差を他の装置に出力する装置であってもよい。この場合、対象物までの距離を測定しないことから、視差を算出する装置を複眼撮像装置と呼ぶ。

図２は、図１で示した測距装置５０と対象物１２との位置関係を示す図である。光学中心１０ｓは基準撮像光学系ｓの光学中心、光学中心１０ａは参照撮像光学系ａの光学中心、光学中心１０ｂは参照撮像光学系ｂの光学中心である。ここで、基準撮像光学系ｓの光学中心１０ｓを三次元の世界座標系の原点Ｍｗ（０、０、０）とする。

光軸１１ｓは基準撮像光学系ｓの光軸、光軸１１ａ、１１ｂはそれぞれ参照撮像光学系ａ、参照撮像光学系ｂの光軸である。

対象物１２は三次元位置又は距離を測定する対象物である。

対象物の表面上の点１３は対象物１２の表面上の一点であり、ここでは点１３の周辺の領域は撮像領域と平行に設置されている。また、点１３の世界座標はＭｗ（Ｘｗ１、Ｙｗ１、Ｚｗ１）である。

次に、以上のように構成された本実施の形態における測距装置５０の基本的な動作について説明する。

図３は、測距装置５０による対象物１２の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。

まず、Ａ／Ｄ変換部４は、撮像領域３ｓ、３ａ、３ｂを構成する撮像素子から伝送される輝度情報をアナログ値からデジタル値に変換する（Ｓ１０１）。

次に、前処理部５は、デジタル値に変換された各撮像領域の輝度情報について、キャリブレーション、輝度のシェーディング補正、光学系間の明るさの差の低減補正など画像の相関演算を高精度に行うための画像の補正処理を行う（Ｓ１０２）。

続いて、相関値算出部６は、ステップＳ１０２で補正処理された画像を所定の小領域（以下、ブロックと呼ぶ）に分割する（Ｓ１０３）。そして、相関値算出部６は、三次元位置又は距離算出の対象となる対象物１２の表面上の点１３に対応する画像ｓのブロックを基準画像として選択する（Ｓ１０４）。そして、相関値算出部６は、まだ以下に記述するステップＳ１０６〜Ｓ１０９の処理が行われていない参照撮像光学系が生成した画像ａ又は画像ｂを取得できれば、ループ１を開始する（Ｓ１０５）。さらに、相関値算出部６はずらし量を取得できればループ２を開始する（Ｓ１０６）。

そして、相関値算出部６は、ステップＳ１０５で取得した画像ａ又は画像ｂの中から、ステップＳ１０６で取得したずらし量に対応するブロックを参照画像として選択する（Ｓ１０７）。続けて、ステップＳ１０４で選択した画像ｓのブロックである基準画像と、ステップＳ１０７で選択した画像ａ又はｂのブロックである参照画像との類似度を表す相関値、例えばＳＡＤを算出する（Ｓ１０８）。

このようにして、相関値算出部６は、予め定められた最小ずらし量から順にずらし量を大きくしていき、ずらし量ごとの相関値を算出する（Ｓ１０６〜Ｓ１０９）。ここで、ずらし量が予め定められた最大ずらし量に達した場合、相関値算出部６は、ループ２（Ｓ１０６〜Ｓ１０９）を終了する。

また、ループ２（Ｓ１０６〜Ｓ１０９）、つまり、ずらし量ごとの相関値の算出が終了すると、相関値算出部６は、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像を取得し、ループ２（Ｓ１０６〜Ｓ１０９）の処理を繰り返す（Ｓ１０５〜Ｓ１１０）。ここで、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像がない場合、つまり、画像ａ及び画像ｂの両方の処理が終了した場合、相関値算出部６は、ループ１（Ｓ１０５〜Ｓ１１０）を終了する。

続いて、相関値加算部７は、上述の処理で算出された基準画像と各参照画像との相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する（Ｓ１１１）。この処理により得られる合成相関値は、実際視差を基準として対称な分布を形成する。

そして、視差算出部８は、ステップＳ１１１において加算された後のずらし量ごとの相関値を、対称性を利用した補間式を用いて補間する（Ｓ１１２）。ここで用いる補間式は、例えば、等角直線フィッティングやパラボラフィッティング（二次関数によるフィッティング）などの相関値が実際視差を基準として対称な分布を形成することを前提としたサブピクセル視差推定方法で利用される補間式である。そして、視差算出部８は、補間後の相関値を利用して、相関値が最大又は最小となる（類似度が最も高い）ずらし量であるサブピクセル視差を算出する（Ｓ１１３）。具体的には、相関値としてＳＡＤを利用した場合、視差算出部８は、ＳＡＤが最小となるずらし量をサブピクセル視差として算出することとなる。

このようにして得られた視差を利用して、後処理部９は、対象物の三次元位置又は距離を算出する（Ｓ１１４）。

なお、上述の処理において、測距装置５０は、画像ｓの選択した１ブロックについて、サブピクセル視差を求め、対象物の三次元位置や距離を算出するようになっているが、画像ｓのブロック選択を繰り返すことで、画像ｓの全てのブロックについて、サブピクセル視差を求め、対象物の三次元位置や距離を算出してもよい。

次に、図３において説明した処理の具体例として、測距装置５０による対象物１２の三次元位置の算出について、図４〜図７を参照しながら説明する。

図４は、図２の対象物１２の表面上の点１３の周辺のテクスチャを基準撮像光学系ｓで撮影した場合の、対象物側から見た画像ｓの一部を示す図である。背景技術の説明と同様に各四角形は画素を表し、各画素中の線の密度が輝度値を表す。図に示すように、点１３は画像ｓ上では、黒丸で示す位置に対応するとする。

このような場合、図３のステップＳ１０３で示したように、相関値算出部６は、各撮像光学系から得られる画像を所定の小領域（ブロック）に分割し、各ブロック毎に三次元位置を算出する。

基準撮像光学系ｓにおけるブロックサイズを水平方向に４画素、垂直方向に４画素の４×４画素とした場合、図３のステップＳ１０４で示したように、画像ｓについては、測定の対象となる対象物１２の表面上の点１３が含まれるブロック１４ｓの位置のブロックを基準画像として選択する。なお、画像ｓにおける基準画像の選択は、測定の対象となる対象物１２の表面上の点１３が含まれていればどのように選択してもよく、例えば、図４で示した位置よりも１画素左にずれた位置のブロックを基準画像として選択してもよい。

ところで、基準撮像光学系ｓと参照撮像光学系ａ間の基線長Ｂａと、基準撮像光学系ｓと参照撮像光学系ｂ間の基線長Ｂｂとは等しいため、画像ｓに対して画像ａ及び画像ｂに発生する視差は、方向が逆で大きさが同一となる。ここでは、画像ａ及び画像ｂで発生する実際視差は、いずれも３．６画素とする。

このように実際視差が３．６画素の場合、画像ｓのブロック１４ｓと同一の画像ａの画像座標には、図４に示すブロック１４ａの位置の画像が写る。また、画像ｓのブロック１４ｓと同一の画像ｂの画像座標には、図４に示すブロック１４ｂの位置の画像が写る。つまり、画像ｓ、画像ａ、画像ｂの同一の画像座標における対象物１２の画像は図５Ａ〜図５Ｃのようになる。ここで、画像座標とは、各撮像光学系の光軸と撮像面との交点を原点とした場合の画素の位置を表す座標とする。なお、対象物が無限遠に相当する位置にある場合には、画像ｓ、画像ａ、画像ｂにおいて、対象物の像は同一の画像座標に結像する。

図５Ａは基準撮像光学系ｓで撮影した画像ｓの一部を示す図である。図５Ｂは参照撮像光学系ａで撮影した画像ａの一部を示す図である。図５Ｃは参照撮像光学系ｂで撮影した画像ｂの一部を示す図である。

図５Ａ〜図５Ｃにおいて、各画像中の太線で囲われた４×４画素のブロックが、図４で示したブロック１４ｓ、１４ａ、１４ｂに対応し、同一の画像座標のブロックを表す。以下に、画像ｓと画像ａ又は画像ｂとの相関値として、（式４）により求められるＳＡＤを利用した場合の、相関値算出の方法を示す。

まず、図２のステップＳ１０５〜Ｓ１１０で示すように、相関値算出部６は参照撮像光学系が撮像した画像のうち、画像ａ、つまり、図５Ｂの画像を取得する。そして、相関値算出部６は、既に選択されている基準画像である画像ｓのブロック、つまり、図５Ａの太線で囲われたブロックと画像ａのブロックである参照画像とを対象として、ＳＡＤを算出する。このとき、相関値算出部６は、最小ずらし量である０画素に対応する図５Ｂの太線で囲われたブロックから、最大ずらし量である７画素に対応するブロックまで、視差の生じる方向、つまり図５Ｂに示す矢印の方向である画像水平方向右側へ１画素ずつブロックをずらしなから参照画像とするブロックを選択する。その結果、各ずらし量ごとのＳＡＤが算出される。このようにして算出されたＳＡＤの推移を図６Ａに示す。

次に、相関値算出部６は、まだ相関値が算出されていない画像ｂ、つまり、図５Ｃの画像を選択する。そして、相関値算出部６は、画像ａの場合と同様に、基準画像と参照画像とのＳＡＤを算出する。このとき、相関値算出部６は、最小ずらし量である０画素に対応する図５Ｃの太線で囲われたブロックから、最大ずらし量である７画素に対応するブロックまで視差の生じる方向、つまり図５Ｃに示す矢印の方向である画像水平方向左側へ１画素ずつブロックをずらしながら参照画像とするブロックを選択する。その結果、各ずらし量ごとのＳＡＤが算出される。このようにして算出されたＳＡＤの推移を図６Ｂに示す。

図６Ａ及び図６Ｂは、画像ｓと画像ａ及び画像ｓと画像ｂとのＳＡＤの推移を表す図である。図に示すＳＡＤの推移は、いずれも実際視差を基準として左右非対称になっているため、前述の等角直線フィッティングによってサブピクセル視差を推定した場合、実際視差である３．６画素に対して、画像ａにおいてはマイナス側に約０．４画素の誤差（図６Ａ）、画像ｂにおいてはプラス側に約０．５画素の誤差（図６Ｂ）が発生する。

そこで、図２のステップＳ１１１で示すように、相関値加算部７は、ＳＡＤの推移が実際視差を基準として左右対称となるように、対応するずらし量ごとにＳＡＤを加算することにより合成相関値を算出する。

図７は、図６Ａと図６Ｂに示したＳＡＤを各ずらし量ごとに加算した場合の合成相関値である合成ＳＡＤの推移を示す図である。図に示すように、加算後のＳＡＤの推移は、実際視差を基準として対称となる。ここで、相関値加算部７が算出する合成ＳＡＤの推移Ｓ＿ｓｕｍ（ｉ）は、図６ＡのＳＡＤの推移をＳａ（ｉ）、図６ＢのＳＡＤの推移をＳｂ（ｉ）とすると、（式６）で算出することができる。

このように、合成ＳＡＤの推移は、実際視差を基準として対称となっているので、図２のステップＳ１１２で示すように、対称性を利用した補間式を用いる前述の等角直線フィッティングによってサブピクセル視差を推定した場合、視差算出部８は、図７に示すように０．１画素未満の誤差で視差を算出できる。したがって、ＳＡＤの推移が左右非対称となる場合に比べて大幅にサブピクセル視差推定精度を向上することができる。すなわち、等角直線フィッティングではＳＡＤの推移が実際視差を基準にして対称で、且つＳＡＤの推移が直線的になる場合に誤差なくサブピクセル視差推定を行うことができる。特に図７で示すように、ＳＡＤの推移が直線的でないため視差の推定誤差は発生するが、相関値（ＳＡＤ）の加算によって実際視差を基準としてＳＡＤの推移が対称にすることができるために視差の推定誤差を非常に小さくすることができる。

このように視差算出部８が算出したサブピクセルレベルの視差に基づき、図３のステップＳ１１４に示すように、後処理部９は、出力に応じた形態に視差を変換してデータを出力する。例えば対象物の三次元位置を出力する場合は、画像ｓの２次元画像座標系であるｍ（ｕｓ１、ｖｓ１）から図２の光軸１０ｓと撮像領域３ｓとの交点を原点とする２次元座標系であるｍｓ（ｘｓ１、ｙｓ１）に変換し、従来技術の説明と同様に（式１）、（式２）、（式３）を用いて画像ｓの各ブロックに対する三次元位置を求めることができる。ここで、（式１）の視差Ｐは算出されたサブピクセル視差に画素ピッチを掛けることで求めることができる。また、測距装置から対象物までの距離のみを算出する場合は、従来技術の説明と同様に（式１）を用いて距離を算出することができる。

次に図８、図９Ａ及び図９Ｂを用いて、本実施の形態において、図７に示すように合成相関値（ここでは合成ＳＡＤ）の推移が実際視差に対して対称になる原理を説明する。

図８は対象物１２側から見た、画像ｓに写像された対象物１２の表面上の点１３の周辺のテクスチャを示す図である。また、太線で囲われたブロック１５ｓは、図５Ａで示す太線で囲われたブロックと同一である。

点線で囲われたブロック１５ａは、画像ｓのブロック１５ｓと同一の画像座標に写像される画像ａの画像領域である。また、点線で囲われたブロック１５ｂは、画像ｓのブロック１５ｓと同一の画像座標に写像される画像ｂの画像領域である。ここで、図６Ａに示したＳＡＤの推移は、図８の黒い矢印１６ａ及び白い矢印１７ａの領域について参照画像である画像ａのブロックをずらしなから算出したものに相当する。一方、図６Ｂに示したＳＡＤの推移は、図８の白い矢印１６ｂ及び黒い矢印１７ｂの領域について参照画像である画像ｂのブロックをずらしながら算出したものに相当する。

ところで、演算では離散的な点でしかＳＡＤを算出できない。そこで、仮にＳＡＤを算出する間隔、つまり、サンプル間隔が無限に小さいとした場合のＳＡＤの推移を図９Ａ及び図９Ｂに示す。

図９Ａは、サンプル間隔が無限に小さいとした場合の図６Ａ及び図６Ｂに対応するＳＡＤの推移を示す図である。また、図９Ｂは、サンプル間隔が無限に小さいとした場合の合成ＳＡＤの推移を示す図である。

図９Ａにおいて、実線で示すＳＡＤの推移は、図６Ａに対応する画像ａのＳＡＤの推移を示す。実線で示したＳＡＤの推移のうち、ずらし量０から実際視差のずらし量までのＳＡＤの推移（実線１８ａ）が、図８に示す黒い矢印１６ａの領域でのＳＡＤに相当し、実際視差のずらし量からそれ以上のずらし量でのＳＡＤの推移（実線１９ａ）が、図８に示す白い矢印１７ａの領域でのＳＡＤに相当する。なお、図９Ａの黒点は実際のサンプル点である。

一方、点線で示すＳＡＤの推移は、図６Ｂに対応する画像ｂのＳＡＤの推移を示す。点線で示したＳＡＤの推移のうち、ずらし量０から実際視差のずらし量までのＳＡＤの推移（点線１８ｂ）が、図８に示す白い矢印１６ｂの領域でのＳＡＤに相当し、実際視差のずらし量からそれ以上のずらし量でのＳＡＤの推移（点線１９ｂ）が、図８に示す黒い矢印１７ｂの領域でのＳＡＤに相当する。なお、図９Ａの白丸の点は実際のサンプル点である。

図８において、黒い矢印１６ａでのＳＡＤの推移、つまり、画像ａにおけるずらし量０から実際視差までの推移と、黒い矢印１７ｂでのＳＡＤの推移、つまり、画像ｂにおける実際視差からそれ以上のずらし量での推移とでは、サンプル間隔が無限に小さい場合には、実際視差のずらし量を基準にＳＡＤを算出する基準画像と参照画像の組み合わせが同一になる。そのため、図９Ａの実線１８ａで示されるＳＡＤの推移と点線１９ｂで示されるＳＡＤの推移とは、実際視差のずらし量を基準に対称となる。

同様に、図８において、白い矢印１７ａでのＳＡＤの推移、つまり、画像ａにおける実際視差のずらし量からそれ以上でのずらし量での推移と、白い矢印１６ｂでのＳＡＤの推移、つまり、画像ｂにおけるずらし量０から実際視差のずらし量での推移とでは、サンプル間隔が無限に小さい場合には、実際視差のずらし量を基準にＳＡＤを算出する基準画像と参照画像の組み合わせが同一になる。そのため、図９Ａの実線１６ｂで示されるＳＡＤの推移と点線１７ａで示されるＳＡＤの推移とは実際視差のずらし量を基準に対称となる。

これらの理由から、各ずらし量での画像ｓ及び画像ａのブロック間のＳＡＤと、画像ｓ及び画像ｂのブロック間のＳＡＤとを加算した場合、図９Ｂに示すように合成ＳＡＤの推移が実際視差を基準として対称になる。なお、サンプル間隔が大きくなっても上記の対称性は損なわれないことは言うまでもない。したがって、本実施の形態において、図７に示すように合成相関値（ここでは合成ＳＡＤ）の推移が実際視差を基準として対称となる。

なお、相関値を算出する際にＳＡＤでなく、例えばＳＳＤやＮＣＣなど他の相関値を利用したとしても、上述のように異なる撮像光学系での基準画像と参照画像との組合せの同一性に起因することから、合成相関値が実際視差を基準として対称となる。

また、本実施の形態では画像ｓ中の１ブロックについて説明を行っているが、画像ｓ中の全ブロックについて同様の演算をすることで、画像ｓに映っている対象物のすべての三次元位置を求めることができる。

また、本実施の形態において、後処理部９は、対象物１２の三次元位置や距離を算出していたが、視差算出部８で算出された視差を利用して複数の画像を合成するとしてもよい。

以上のように、本実施の形態によれば、対象物の輝度の分布によらず相関値の推移が実際視差を基準として対称となるため、対象物によらず高精度にサブピクセル視差を推定可能な複眼撮像装置及び測距装置を提供することができる。

（実施の形態２）
次に、本発明の実施の形態２に係る測距装置について説明する。

本実施の形態に係る測距装置６０は、前処理部５に画像の高周波成分を低減させる平滑化フィルタ部を備えることが実施の形態１の測距装置５０と異なっているが、その他の構成部及び機能等は実施の形態１の測距装置５０と同じである。そのため、本実施の形態の測距装置の特徴的な部分を中心に説明する。

図１０は、本実施の形態に係る測距装置６０の構成を示す図である。なお、実施の形態１と同じ構成部に関しては同一符号にて示し、説明を省略する。

図に示すように、本実施の形態に係る測距装置６０が備える前処理部５は、実施の形態１と同様の画像の相関演算を高精度に行うための画像の補正処理に加えて、例えばガウシアンフィルタや平均化フィルタや加重平均化フィルタのような画像の高周波成分を低減させる処理を行う平滑化フィルタ部２３を有する。

このように高周波成分を低減させた画像を用いて、相関値算出部６が、実施の形態１で示した処理と同様の処理により相関値の推移を算出すると、相関値の推移の直線性が若干改善される。

図１１Ａ及び図１１Ｂは、図４で示した画像ｓ、画像ａ、画像ｂに対してσ＝１のガウシアンフィルタを施した場合に得られるＳＡＤの推移を示す図である。

図１１Ａ及び図１１Ｂでは、画像の高周波成分の輝度分布が低減された分、実施の形態１の図６Ａ及び図６Ｂで示したＳＡＤの推移と比べて、ＳＡＤの推移の直線性は若干改善される。しかし、実際視差を基準としたＳＡＤの推移の対称性は殆ど改善されない。よって、図１１Ａ及び図１１Ｂに示したそれぞれのＳＡＤの推移に対して、前述の等角直線フィッティングによるサブピクセル視差推定を行っても、視差推定の大幅な精度改善は期待できない。そこで、実施の形態１と同様に、相関値加算部７がずらし量ごとにＳＡＤを加算することで、ＳＡＤの推移の対称性を向上させる必要がある。

図１２は、図１１Ａ及び図１１Ｂに示したＳＡＤをずらし量ごとに加算した場合の合成ＳＡＤの推移を示す図である。

視差算出部８が合成ＳＡＤの推移に対して等角直線フィッティングによるサブピクセル視差推定を行うと、実施の形態１の場合よりもさらに誤差が低減される。これは、前述のように合成ＳＡＤの推移が実際視差を基準として対称になることに加えて、平滑化フィルタ部２３による輝度分布の高周波成分の低減によりＳＡＤの推移の直線性が向上したためである。すなわち、ＳＡＤの推移が実際視差を基準として対称にならない被写体の場合は、平滑化フィルタ部２３が画像の高周波成分を除去するだけでは、等角直線フィッティングによるサブピクセル視差推定の精度は大きく向上しない。しかし、本実施の形態のように、相関値加算部７がＳＡＤを加算することで合成ＳＡＤの推移が実際視差を基準として対称になる場合には、等角直線フィッティングによるサブピクセル視差推定の精度を被写体によらず大幅に向上させることができる。

以上のように、本実施の形態によれば、平滑化フィルタ部２３が画像の高周波成分を除去することにより、相関値（ここではＳＡＤ）の推移の直線性を向上させる。その結果、低次の補間式を用いて相関値の推移を補間した場合に、測距装置はさらに高精度にサブピクセル視差を推定することが可能となる。

（実施の形態３）
次に、本発明の実施の形態３に係る測距装置について説明する。

図１３は、本実施の形態に係る測距装置７０の構成を示す図である。図１３に示すように参照撮像光学系ｂの光学中心１９ｂは、基準撮像光学系ｓの光学中心１９ｓと参照撮像光学系ａの光学中心１９ａとを結ぶ直線（図１３の点線１８）に対して、点線１８の垂直方向に距離Ｅｒｒｏｒ＿ｖだけかい離している。つまり、測距装置７０は、光学中心位置誤差（以下、基線垂直方向誤差という。）Ｅｒｒｏｒ＿ｖを有する。また、光学中心１９ｓと光学中心１９ａとの距離である基線長Ｂａと、光学中心１９ｓと光学中心１９ｂとの距離である基線長Ｂｂ（点線１８と平行方向の距離）とはＥｒｒｏｒ＿ｈの差異を持つ。つまり、測距装置７０は、基線長誤差（以下、基線方向誤差という。）Ｅｒｒｏｒ＿ｈを有する。その他の構成部及び機能等は図１０の実施の形態２の測距装置６０と同じである。そのため、本実施の形態の測距装置の特徴的な部分を中心に説明する。

図１０の実施の形態２のように参照撮像光学系の光学中心を基準撮像光学系の光学中心に対して点対称に配置することにより、高精度な視差検出精度を持つ測距装置を実現できるが、実際にはカメラの実装誤差やレンズ成型誤差などに起因して、図１３に示すように基線垂直方向誤差Ｅｒｒｏｒ＿ｖや基線方向誤差Ｅｒｒｏｒ＿ｈが発生する場合がある。これらの誤差が大きいほど、実施の形態２の図１２で示した相関値の推移が、実際視差を基準として左右対称にならなくなってくる。したがって、本実施の形態ではこれらの誤差が相関値の推移に及ぼす影響と、その許容範囲について説明する。なおここでは、基準撮像光学系ｓと参照撮像光学系ａ及びｂとの光軸は平行とし、基準撮像光学系の光軸は撮像領域３ｓの領域中心に位置し、かつ参照撮像光学系ａ及びｂの光軸は撮像領域３ａ及び３ｂの領域中心に位置すると仮定する。さらに撮像領域３ｓと撮像領域３ａと撮像領域３ｂにおいて、縦横の画素配列はそれぞれ平行であると仮定する。なお、上記の仮定を満たさない場合でも、前処理部５におけるキャリブレーションによる補正により上記仮定が成立するよう実現してもよい。

まず基線垂直方向誤差Ｅｒｒｏｒ＿ｖがある場合について説明する。ここでは基線方向誤差Ｅｒｒｏｒ＿ｈはないものとする。基線垂直方向誤差Ｅｒｒｏｒ＿ｖがある場合、図１４に示すように、画像ａにおいて、基準画像に類似する参照画像の画像座標を探索する探索方向と視差の発生方向とは一致する。しかし、画像ｂにおいて、基準画像に類似する参照画像の画像座標を探索する探索方向と視差の発生方向とは、基線垂直方向誤差Ｅｒｒｏｒ＿ｖが大きいほど異なってくる。図１４では視差の発生方向を点線、探索方向を実線で示している。図１４では説明を直感的に示すために実際よりも視差の発生方向を大きく探索方向と異ならせて記載している。図１４からわかるように、被写体距離が近いほど視差が大きくなるために視差の発生位置と探索位置との垂直方向のかい離が大きくなり、図１２に示した実際視差を基準として左右対称となる相関値の推移が成り立たなくなってくる。例えば、カメラ１ｓとカメラ１ａとカメラ１ｂが、焦点距離ｆ＝５ｍｍ、基線長Ｂａ＝２０ｍｍ、基線長Ｂｂ＝２０ｍｍ、画素ピッチｐｉｔｃｈ＝０．００２ｍｍとし、基線垂直方向誤差Ｅｒｒｏｒ＿ｖ＝０．５ｍｍとする。被写体距離Ｄ＝２０００ｍｍである場合は、（式１）に基づき視差Ｐを計算すると、図１５に示すように視差が２５画素発生する。このとき画像ａに含まれる被写体像は図１４で説明したように視差の探索方向つまり基線と水平方向に視差２５画素が発生し、一方画像ｂに含まれる被写体像は図１４の点線方向に視差２５画素が発生する。このとき画像ｂに含まれる被写体像は、基線垂直方向誤差Ｅｒｒｏｒ＿ｖの影響により、画像ｓに比べて視差探索方向の垂直方向に約０．６２画素ずれて写像される。視差探索方向と平行方向には約２４．９９画素の視差となり２５画素に対して０．０１画素以下の無視できる差異の視差となる。したがって、画像ｓと画像ａとにおけるＳＡＤの推移と、画像ｓと画像ｂとにおけるＳＡＤの推移とが、視差探索方向と垂直方向にこの場合約０．６２画像がずれることに起因して、実際視差を基準として厳密に左右対称でなくなる。被写体距離が更に近い場合は、画像ｂの視差探索方向の垂直方向への写像のずれが大きくなり、ＳＡＤの推移の左右対称性が更に低下する。

図１６に、図１３に示すように基線垂直方向誤差Ｅｒｒｏｒ＿ｖを有する測距装置を用いてある被写体を撮像した場合の測距精度の低下（視差検出誤差の増加）をシミュレーションにより検証した結果のグラフを示す。測距精度の低下が視差探索方向の垂直方向への写像のずれ量に起因するため、図１６の横軸は視差探索方向の垂直方向への写像のずれ量としている。Ｅｒｒｏｒ＿ｖは、図１６の横軸の画像ずれ量をＰ＿ｖとすると、（式７）で換算することができる。

ここで、Ｄは被写体距離、ｐｉｔｃｈは画素ピッチ、ｆは焦点距離である。図１６では画像ずれＰ＿ｖが大きくなるにしたがって、視差検出誤差が大きくなっているのがわかる。図１６の点線の基準測距精度は、同一の被写体を用いた場合の図４０Ａの従来のステレオカメラ（３眼）の測距精度（視差検出誤差）をシミュレーションで求めた場合の結果である。従来のステレオカメラの焦点距離、画素ピッチ、被写体距離は同一に設定し、図４０Ａの基準撮像光学系ｓと参照撮像光学系ａとの基線長及び基準撮像光学系ｓと参照撮像光学系ｂとの基線長はいずれも図１３の本実施の形態の基線長Ｂａと同一にしている。この従来のステレオカメラ（３眼）のシミュレーション結果には基線垂直方向誤差Ｅｒｒｏｒ＿ｖに相当する実装誤差は与えていない（従来のキャリブレーション手法等により補正可能なため）ため、基準測距精度は一定値となる。図１６より、画像ずれＰ＿ｖが０．１５画素以内であれば、従来のステレオカメラより高精度に測距（視差検出）できることがわかる。したがって、本実施の形態の測距装置７０において、基線垂直方向誤差Ｅｒｒｏｒ＿ｖを、（式７）のＰ＿ｖ＝０．１５として、（式８）となるよう測距装置７０を構成することにより、測距装置７０は従来のステレオカメラより高精度に測距（視差検出）をすることができる。

例えば、（最小）被写体距離Ｄ＝５００ｍｍ、画素ピッチｐｉｔｃｈ＝０．００２ｍｍ、焦点距離５ｍｍの場合、垂直方向誤差Ｅｒｒｏｒ＿ｖを０．０３ｍｍ以内に作成することにより、従来のステレオカメラより高精度に測距（視差検出）をすることができる。したがって、図１３の各カメラの光学中心の相対位置を実装時に（式８）を満たすよう高精度に実装すればよい。例えばレンズ２ｓ、２ａ、２ｂを一体成型により作成することによって比較的容易に実現可能である。また、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）技術等によって実現されるウェーハレベルカメラ（日経ＭＩＣＲＯＤＥＶＩＣＥＳ ２００８年７月号参照）などのカメラ大量生産技術を用いたステレオカメラでも実現可能であることは言うまでもない。また、本実施の形態では３眼についての説明を行っているが、５眼、７眼、９眼など多数の光学系でも適用可能であることは言うまでもない。なお、図１６に示すグラフから得られるＰ＿ｖ＝０．１５は、特定の被写体を撮像した場合にのみに得られる値ではない。被写体を変えても同様の傾向が得られ、Ｐ＿ｖ＝０．１５は、被写体に依存しない値である。

次に、基線方向誤差Ｅｒｒｏｒ＿ｈがある場合について説明する。ここでは基線垂直方向誤差Ｅｒｒｏｒ＿ｖはないものとする。基線方向誤差Ｅｒｒｏｒ＿ｈがある場合、図１３に示すように基線長Ｂａと基線長Ｂｂとが異なるために、図１７に示すように、同一被写体に対する画像ａに生じる視差Ｐａと、画像ｂに生じる視差Ｐｂが異なる。したがって図１８Ａ及び図１８Ｂに示すように、画像ｓと画像ａとのＳＡＤの推移（図１８Ａ）と、画像ｓと画像ｂとのＳＡＤの推移（図１８Ｂの黒丸）との実際視差に対する対称性が悪くなる。ここでの実際視差は画像ｓと画像ａとの実際視差を指している。基線方向誤差Ｅｒｒｏｒ＿ｈが大きいほど、実際視差に対する対称性が悪くなる。これは、例えば基線方向誤差Ｅｒｒｏｒ＿ｈが正の場合は、図１８Ｂに示すように、画像ｓと画像ｂとのＳＡＤの推移がずらし量の大きくなる方向に平行移動するためである。基線方向誤差Ｅｒｒｏｒ＿ｈが大きいほど、上記平行移動の量が多くなり対称性が悪くなる。図１８Ｂにおいて白丸のＳＡＤの推移は、図１０の実施の形態２における画像ｓと画像ｂとのＳＡＤの推移である（つまり、Ｅｒｒｏｒ＿ｈ＝０）。図１９に、図１８Ａと図１８ＢとのＳＡＤをずらし量ごとに加算した合成ＳＡＤの推移を示す。図１９から明らかなように、実際視差を基準としたＳＡＤの推移の対称性が悪くなることにより、推定視差が実際視差からずれているのがわかる。

図２０に、図１３に示すように基線方向誤差Ｅｒｒｏｒ＿ｈを有する測距装置によりある被写体を撮像した場合の測距精度の低下（視差検出誤差の増加）をシミュレーションにより検証した結果のグラフを示す。視差検出誤差が視差探索方向への写像のずれ量に起因するため、図２０の横軸は視差探索方向への写像のずれ量としている。Ｅｒｒｏｒ＿ｈは、図２０の横軸の画像ずれ量をＰ＿ｈとすると、（式９）で換算することができる。

ここで、Ｄは被写体距離、ｐｉｔｃｈは画素ピッチ、ｆは焦点距離である。図２０では画像ずれＰ＿ｈが大きくなるにしたがって、視差検出誤差が大きくなっているのがわかる。図２０の実線の基準測距精度は、同一の被写体を用いた場合の図４０Ａの従来のステレオカメラ（３眼）の測距精度（視差検出誤差）をシミュレーションで求めた場合の結果である。従来のステレオカメラの焦点距離、画素ピッチ、被写体距離は同一に設定し、図４０Ａの基準撮像光学系ｓと参照撮像光学系ａとの基線長及び基準撮像光学系ｓと参照撮像光学系ｂとの基線長はいずれも図１３の本実施の形態の基線長Ｂａと同一にしている。この従来のステレオカメラ（３眼）のシミュレーション結果には基線方向誤差Ｅｒｒｏｒ＿ｈに相当する実装誤差は与えていない（従来のキャリブレーション手法等により補正可能なため）ため、基準測距精度は一定値となる。図２０より、画像ずれＰ＿ｈが０．２画素以内であれば、従来のステレオカメラより高精度に測距（視差検出）できることがわかる。したがって、本実施の形態の測距装置７０において、基線垂直方向誤差Ｅｒｒｏｒ＿ｈを、（式９）のＰ＿ｈ＝０．２として、（式１０）となるように測距装置７０を作成することにより、測距装置７０は従来のステレオカメラより高精度に測距（視差検出）をすることができる。

例えば、（最小）被写体距離Ｄ＝５００ｍｍ、画素ピッチｐｉｔｃｈ＝０．００２ｍｍ、焦点距離５ｍｍの場合、垂直方向誤差Ｅｒｒｏｒ＿ｖを０．０４ｍｍ以内に作成することにより、従来のステレオカメラより高精度に測距（視差検出）をすることができる。したがって、図１３の各カメラの光学中心の相対位置を実装時に（式１０）を満たすよう高精度に実装するとよい。例えばレンズ２ｓ、２ａ、２ｂを一体成型により作成することにより比較的容易に上記を実現可能である。また、ＭＥＭＳ技術等によって実現されるウェーハレベルカメラ（日経ＭＩＣＲＯＤＥＶＩＣＥＳ ２００８年７月号参照）などのカメラ大量生産技術を用いたステレオカメラでも実現可能であることは言うまでもない。また、本実施の形態では３眼についての説明を行っているが、５眼、７眼、９眼など多数の光学系でも適用可能であることは言うまでもない。なお、図２０に示すグラフから得られるＰ＿ｈ＝０．２は、Ｐ＿ｖ＝０．１５と同様に、特定の被写体を撮像した場合にのみに得られる値ではない。被写体を変えても同様の傾向が得られ、Ｐ＿ｈ＝０．２は、被写体に依存しない値である。

以上より、本実施の形態による測距装置７０は、（式８）、（式１０）を満たす構成であれば、従来のステレオカメラより高精度に測距（視差検出）をすることができる。

（実施の形態４）
次に、本発明の実施の形態４に係る測距装置について説明する。

本実施の形態に係る測距装置８０は、参照撮像光学系を８つ備えることと相関値算出部６に参照撮像光学系間の視差の違いを換算する視差換算部を備えることとが、実施の形態２の測距装置６０と異なっているが、その他の構成部及び機能等は実施の形態２の測距装置６０と同じである。そのため、本実施の形態の測距装置の特徴的な部分を中心に説明する。

図２１は、本実施の形態に係る測距装置８０の構成を示す図である。なお、実施の形態２と同じ構成部に関しては同一符号にて示し、説明を省略する。

図２１に示すように、測距装置８０は複眼カメラ２０を備える。複眼カメラ２０は、一体成型された９つのレンズアレイと、９つの異なる撮像領域を有する単一のＣＣＤやＣＭＯＳなどの固体撮像素子で構成される。ここで、光帯域分離フィルタや絞りなどは、本発明の主眼ではないため図示していない。複眼カメラ２０は、レンズ径が通常のカメラより小さいためレンズの焦点距離を短く設計でき、光学系全体の厚さを非常に薄く構成することができる。また、レンズアレイによる一体成型とすることで、アレイに含まれる各光学系の光軸間の相対位置関係を高精度（例えば誤差５μｍ未満）に作成することも可能となる。

なお、本実施の形態では各撮像光学系がレンズアレイである場合について説明するが、本発明が適用される測距装置は、このような測距装置に限定されるものではない。例えば、別個の撮像光学系で測距装置を構成してもよい。撮像素子を複数用いてもよい。

基準撮像光学系ｓは、レンズ２１ｓ及び撮像領域２２ｓを含む構成であり、固体撮像素子の中心付近に配置される。参照撮像光学系ａ〜ｈは、それぞれレンズ２１ａ〜ｈ及び撮像領域２２ａ〜ｈを含む構成である。

ここでは、実施の形態２の測距装置６０と同様に、基準撮像光学系ｓ、参照撮像光学系ａ〜ｈは、以下に示す特徴を有する。まず、各撮像光学系の光軸は平行である。そして、各撮像光学系の光学中心は同一平面上に配置され、かつ、その平面は光軸に垂直である。また、各撮像光学系の撮像領域（２次元平面）と光軸は垂直に配置され、焦点距離（撮像領域から光学中心までの距離）は全ての撮像光学系で同一である。

また、基準撮像光学系ｓと参照撮像光学系ａと参照撮像光学系ｂの光学中心は、同一直線上に配置される。そして、参照撮像光学系ａの光学中心と参照撮像光学系ｂの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。また、基準撮像光学系ｓと参照撮像光学系ｃと参照撮像光学系ｄの光学中心は、同一直線上に配置される。そして、参照撮像光学系ｃの光学中心と参照撮像光学系ｄの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。また、基準撮像光学系ｓと参照撮像光学系ｅと参照撮像光学系ｆの光学中心は、同一直線上に配置されている。そして、参照撮像光学系ｅの光学中心と参照撮像光学系ｆの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。また、基準撮像光学系ｓと参照撮像光学系ｇと参照撮像光学系ｈの光学中心は、同一直線上に配置されている。そして、参照撮像光学系ｇの光学中心と参照撮像光学系ｈの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。

また、説明の便宜のため、基準撮像光学系ｓと参照撮像光学系ａと参照撮像光学系ｂの光学中心を結ぶ前述の直線は、撮像領域２２ｓの水平方向画素配列と平行であると仮定する。したがって、基準撮像光学系ｓと参照撮像光学系ａとの間に生じる視差、及び基準撮像光学系ｓと参照撮像光学系ｂとの間に生じる視差は、各撮像領域の画素配列の水平方向に生じる。

以上より、基準撮像光学系ｓと参照撮像光学系ａの基線長Ｂａと、基準撮像光学系ｓと参照撮像光学系ｂの基線長Ｂｂは等しい。また、基準撮像光学系ｓと参照撮像光学系ｃの基線長Ｂｃと、基準撮像光学系ｓと参照撮像光学系ｄの基線長Ｂｄは等しい。また、基準撮像光学系ｓと参照撮像光学系ｅの基線長Ｂｅと、基準撮像光学系ｓと参照撮像光学系ｆの基線長Ｂｆは等しい。また、基準撮像光学系ｓと参照撮像光学系ｇの基線長Ｂｇと、基準撮像光学系ｓと参照撮像光学系ｈの基線長Ｂｈは等しい。

相関値算出部６は、実施の形態１で説明した相関値を算出する処理に加えて、視差の換算処理を行う視差換算部２４を有する。視差換算部２４は、詳細は後述するが、基線長が異なるように配置された参照撮像光学系の相関値を算出する際に、ブロックのずらし量を、相関値加算部７で加算が可能なずらし量に変換する。例えば、視差換算部２４は、参照撮像光学系ａと基線長が異なるように配置された参照撮像光学系ｅの相関値を算出する際に、基線長Ｂｅを基線長Ｂａで除した値Ｌｅと、基線長Ｂａと平行な方向の画素ピッチｐｉｔｃｈ＿ａを基線長Ｂｅと平行な方向の画素ピッチｐｉｔｃｈ＿ｅで除した値Ｍｅとの積であるＬｅ・Ｍｅ（＝Ｋｅ）を、参照撮像光学系ａで生成された参照画像の相関値を算出する際に利用したブロックのずらし量に乗じることで、相関値加算部７で加算が可能なずらし量に変換する。ここで、基線長と平行な方向の画素ピッチとは、撮像光学系で撮像された画像において、基線と平行な同一直線上に画素の中心点と対応する点が出現する最短周期をいう。

なお、本実施の形態において、ずらし量の単位は、基線方向の画素ピッチを表す「画素」である。したがって、基線方向により画素ピッチが異なる撮像光学系間の相関値を加算する際には、視差換算部２４は、単位の変換を行う必要がある。つまり、基線長の比を基準となるずらし量に乗じるだけではなく、さらに画素ピッチの比であるＭｅを乗じて、視差の換算を行う必要がある。しかし、ずらし量の単位が基線方向に依存しない単位である場合には、例えば、ミリメートルなどの単位である場合には、単位の変換は必要ない。すなわち、視差換算部２４は、画素ピッチの比であるＭｅを用いずに、基線長の比であるＬｅに基準となるずらし量を乗じることで、ずらし量を換算することが可能となる。

相関値加算部７は、実施の形態２と同様に、相関値算出部６で光学系の組合せ毎に算出された相関値を、視差換算部２４で変換されたずらし量に基づいて、対応するずらし量ごとの相関値をすべて加算する。その結果、相関値加算部７は、実際視差を基準として対称な推移となる合成相関値を算出する。

図２２は、図２１に示した測距装置８０と対象物１２との位置関係を示す図である。

図に示すように、実施の形態２と同様、基準撮像光学系ｓの光学中心２５ｓを世界座標の原点Ｍｗ（０、０、０）とし、対象物１２の表面上の１点である点１３の世界座標をＭｗ（Ｘｗ１、Ｙｗ１、Ｚｗ１）とする。

ところで、上述のように参照撮像光学系ｃと参照撮像光学系ｄについても、参照撮像光学系ａと参照撮像光学系ｂと同様に、基準撮像光学系ｓの光学中心に対して点対称に撮像光学系の光学中心が配置され、且つ各光学中心は同一直線上に配置されている。そのため、基準撮像光学系ｓと参照撮像光学系ｃ、及び、基準撮像光学系ｓと参照撮像光学系ｄのブロックマッチング演算で得られるずらし量毎のＳＡＤを加算すると、実際視差を基準として対称なＳＡＤの推移が得られる。しかし、基準撮像光学系ｓと参照撮像光学系ａ及び参照撮像光学系ｂの基線長と、基準撮像光学系ｓと参照撮像光学系ｃ及び参照撮像光学系ｄの基線長とが異なる場合は、実際視差が変わる。よって、相関値加算部７が、同一のずらし量ごとにＳＡＤの推移を合成（加算）しても、実際視差を基準として対称なＳＡＤの推移が得られない。そこで、視差換算部２４が、ＳＡＤを算出する際のずらし量を基線長の長さと画素ピッチに合わせて変更する必要がある。

次に、以上のように構成された本実施の形態における測距装置８０の基本的な動作について説明する。

図２３は、測距装置８０による対象物１２の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。

ステップＳ２０１〜Ｓ２０４の処理は、実施の形態１の図３で示したステップＳ１０１〜Ｓ１０４の処理と同様であるので説明を省略する。

ステップＳ２０４の処理が終了すると、相関値算出部６は、まだ以下に記述するステップＳ２０６〜Ｓ２１２の処理が行われていない参照撮像光学系が生成した画像ａ〜ｈのいすれかを取得できれば、ループ１を開始する（Ｓ２０５）。

次に、相関値算出部６が備える視差換算部２４は、例えば基準撮像光学系ｓと参照撮像光学系ａ及び参照撮像光学系ｂを基準とすれば、参照撮像光学系ａと基準撮像光学系ｓとの基線長（基準となる基線長）と、画素ピッチとを取得する（Ｓ２０６）。そして、視差換算部２４は、ステップＳ２０５で選択された画像を生成した参照撮像光学系と基準撮像光学系ｓとの基線長と、画素ピッチとを取得する（Ｓ２０７）。続けて、視差換算部２４は、ステップＳ２０６で取得した基準となる基線長とステップＳ２０７で取得した基線長及び画素ピッチに基づいて、新たなずらし量を算出する（Ｓ２０８）。

そして、相関値算出部６は、上述のように算出された新たなずらし量を取得できればループ２を開始する（Ｓ２０９）。

さらに、相関値算出部６は、ステップＳ２０５で取得した画像ａ〜ｈのいずれかの画像の中から、ステップＳ２０９で取得したずらし量に対応するブロックを参照画像として選択する（Ｓ２１０）。続けて、ステップＳ２０４で選択した画像ｓのブロックである基準画像と、ステップＳ２０９で選択した画像ａ〜ｈのいずれかの画像のブロックである参照画像との類似度を表す相関値、例えばＳＡＤを算出する（Ｓ２１１）。

このようにして、相関値算出部６は、ステップＳ２０８で算出された新たなずらし量ごとの相関値を算出する（Ｓ２１２、Ｓ２０９）。ここで、ずらし量が最大ずらし量に達した場合、相関値算出部６は、ループ２（Ｓ２０９、Ｓ２１２）を終了する。

また、ループ２（Ｓ２０９、Ｓ２１２）、つまり、ずらし量ごとの相関値の算出が終了すると、相関値算出部６は、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像を取得し、ループ２（Ｓ２０９、Ｓ２１２）の処理を繰り返す（Ｓ２１３、Ｓ２０５）。ここで、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像がない場合、つまり、画像ａ及び画像ｂの両方の処理が終了した場合、相関値算出部６は、ループ１（Ｓ２０５、Ｓ２１３）を終了する。

続いて、相関値加算部７は、上述の処理で算出された基準画像と各参照画像との相関値を、対応するずらし量ごとに加算する（Ｓ２１４）。ここでは、対称に配置された参照撮像光学系の相関値を加算するのみではなく、すべての参照撮像光学系の相関値を加算する。この処理により得られる合成相関値は、実際視差を基準として対称な分布を形成する。ここでいう実際視差とは、基準とした基線長と画素ピッチにおいての視差量となる。

以下のステップＳ２１５〜Ｓ２１７の処理は、実施の形態１の図３で示したステップＳ１１２〜Ｓ１１４の処理と同様であるので説明を省略する。

次に、図２３において説明した処理の詳細な説明を行う。図２３のステップＳ２０８において、視差換算部２４は、基線長及び画素ピッチの比率に基づいて新たなずらし量を算出する。具体的には、相関値算出部６が参照撮像光学系ｃの生成した画像ｃの相関値を算出する場合に、基準となる基線長を参照撮像光学系ａの基線長Ｂａ、基準となる画素ピッチを基線長Ｂａと平行な方向の画素ピッチをｐｉｔｃｈ＿ａとすると、視差換算部２４は（式１１）により基線長の比率からＳＡＤの推移算出時のずらし量の刻み量Ｋｃ（単位：画素）を算出することができる。なお、画像ａの相関値算出におけるずらし量の刻み量は１画素である。

ここでＢｃは基準撮像光学系ｓと参照撮像光学系ｃとの間の基線長であり、ｐｉｔｃｈ＿ｃは基線長Ｂｃと平行な方向の画素ピッチである。なお、上述の通り、基線長Ｂａと基線長Ｂｂは同一であり、基線長Ｂｃと基線長Ｂｄも同一である。したがって、視差換算部２４は、基準撮像光学系ｓと参照撮像光学系ｃ、及び、基準撮像光学系ｓと参照撮像光学系ｄのＳＡＤの推移を算出するときのずらし量を上述の刻み量Ｋｃから算出することができる。つまり、最小ずらし量を０画素とした場合、新たなずらし量は０画素、Ｋｃ画素、２・Ｋｃ画素、３・Ｋｃ画素、・・・となる。仮に、最小ずらし量が−２画素である場合は、−２・Ｋｃ画素、−Ｋｃ画素、０画素、Ｋｃ画素、２・Ｋｃ画素、３・Ｋｃ画素、・・・というずらし量になる。なお、上述の刻み量Ｋｃの値によっては、サブピクセル単位のずらし量となり得る。その場合は、相関値算出部６が参照画像を選択する際に、バイリニア補間などの処理により参照画像を抽出することで、相関値を算出することが可能となる。

同様にして、基準撮像光学系ｓと参照撮像光学系ｅと参照撮像光学系ｆとの組合せの場合も、視差換算部２４が、ＳＡＤを算出する際の新たなずらし量を算出する。視差換算部２４が、新たなずらし量を算出する際に利用する刻み量は、（式１２）により求められる。

ここでＢｅは基準撮像光学系ｓと参照撮像光学系ｅとの間の基線長であり、ｐｉｔｃｈ＿eは基線長Ｂｅと平行な方向の画素ピッチである。なお、上述の通り基線長Ｂｅと基線長Ｂｆは同一である。したがって、視差換算部２４は、基準撮像光学系ｓと参照撮像光学系ｅ、及び、基準撮像光学系ｓと参照撮像光学系ｆのＳＡＤの推移を算出するときのずらし量を上述の刻み量Ｋｅから算出することができる。つまり、最小ずらし量を０画素とした場合、新たなずらし量は０画素、Ｋｅ画素、２・Ｋｅ画素、３・Ｋｅ画素、・・・というずらし量になる。

同様にして、基準撮像光学系ｓと参照撮像光学系ｇと参照撮像光学系ｈとの組合せの場合も、視差換算部２４が、ＳＡＤを算出する際の新たなずらし量を算出する。視差換算部２４が、新たなずらし量を算出する際に利用する刻み量は、（式１３）により求められる。

ここでＢｇは基準撮像光学系ｓと参照撮像光学系ｇとの間の基線長であり、ｐｉｔｃｈ＿ｇは基線長Ｂｇと平行な方向の画素ピッチである。なお、上述の通り基線長Ｂｇと基線長Ｂｈは同一である。したがって、視差換算部２４は、基準撮像光学系ｓと参照撮像光学系ｇ、及び、基準撮像光学系ｓと参照撮像光学系ｈのＳＡＤの推移を算出するときのずらし量を上述の刻み量Ｋｃから算出することができる。つまり、０画素、Ｋｇ画素、２・Ｋｇ画素、３・Ｋｇ画素、・・・というずらし方になる。

ここで、基準撮像光学系ｓと参照撮像光学系ａ〜ｈとのＳＡＤの推移を格納する変数を、それぞれＳａ（ｉ）、Ｓｂ（ｉ）、Ｓｃ（ｉ）、Ｓｄ（ｉ）、Ｓｅ（ｉ）、Ｓｆ（ｉ）、Ｓｇ（ｉ）、Ｓｈ（ｉ）とする。その場合、図２３のステップＳ２１４に示すように、相関値加算部７は、（式１４）によりＳＡＤの推移を合成（加算）する。このＳＡＤの推移の合成において利用するずらし量は、視差換算部２４が算出した新たなずらし量である。

このようにして、相関値加算部７が合成したＳＡＤの推移も、実施の形態１と同様に実際視差を基準として対称となる。また、実施の形態１と比べて、基準撮像光学系ｓに対して対称な２つの参照撮像光学系の組合わせの数が増加するので、平滑化効果によりＳＡＤの推移の変動が小さくなり、さらに、ＳＡＤの推移の直線性が向上する。

このように相関値加算部７が合成した相関値Ｓ＿ｓｕｍから、実施の形態２同様に、視差算出部８は、図２３のステップＳ２１５及びＳ２１６に示すように、サブピクセルレベルの視差を算出する。このとき、ＳＡＤの推移の直線性が向上したことで、低次の補間式を用いた場合に、対象物の輝度分布によらず高精度にサブピクセル視差を推定することが可能となる。

そして、視差算出部８が算出したサブピクセルレベルの視差に基づき、図２３のステップＳ２１７に示すように、後処理部９は出力に応じた形態に視差を変換してデータを出力する。例えば、対象物の三次元位置を出力する場合は、画像ｓの２次元画像座標系であるｍ（ｕｓ１、ｖｓ１）から、図２２の基準撮像光学系ｓの光軸と撮像領域２２ｓとの交点を原点とする２次元座標系であるｍｓ（ｘｓ１、ｙｓ１）に変換し、従来技術の説明と同様に（式１）、（式２）、（式３）を用いて画像ｓの各ブロックに対する三次元位置を求めることができる。このとき用いる基線長のパラメータは、基線長Ｂａ（基準撮像光学系ｓと参照撮像光学系ａとの間の基線長）を用いる。なお、（式１）の視差Ｐは上述の処理により算出されたサブピクセル視差に画素ピッチを掛けることで求めることができる。

以上のように、本実施の形態によれば、対象物の輝度の分布によらず相関値の推移が実際視差を基準に対称となるため、対象物によらず高精度にサブピクセル視差を推定することが可能な測距装置を提供することができる。また、基準撮像光学系ｓに対して光学中心が点対称な２つの参照撮像光学系の組合わせの数を増加することで、平滑化効果により相関値の推移の変動が小さくなり、低次の補間式を用いることで更に高精度なサブピクセル視差を推定可能な測距装置を提供できる。

（実施例）
本実施例では、従来のステレオカメラと本発明による測距装置との測距精度（視差検出精度）の比較シミュレーション結果の例を示す。図２４Ａ〜図２４Ｃは従来のステレオカメラの構成を示す。図２４Ｄ〜図２４Ｆは本発明による測距装置、つまり基準撮像光学系の光学中心に対して２つの参照光学系の光学中心を点対称に配置し、その２つの参照光学系の対が１つ以上構成されることにより、対象物の輝度分布によらず合成相関値が実際視差を基準として左右対称になる測距装置の構成を示す。図２４Ａ〜図２４Ｆにおいては、すべての光学系について焦点距離、水平及び垂直方向画素ピッチ、被写体距離は同一としている。各参照画像の基準撮像光学系に対する基線長は、水平及び垂直方向に基線が生じる場合はすべて同一、斜め方向に基線が生じる場合は水平方向の基線長のｓｑｒｔ（２）倍としている。実施の形態３で説明したような基線垂直方向誤差や基線方向誤差はここでは含んでいない。図２５Ａ〜図２５Ｄは、測距精度の比較に用いた被写体を示す図である。図２５Ａ〜図２５Ｄの各被写体については各光学系に応じて適切に理想的に０．１画素刻みで１０．０〜１１．０画素のずらし画像（視差画像）を作成し、比較シミュレーションに用いている。画像には実際の撮像素子で観測される程度の白色ノイズを加えている。図２６Ａ〜図２６Ｄは、図２５Ａ〜図２５Ｄの各被写体に対応する比較シミュレーション結果を示すグラフである。図２６Ａ〜図２６Ｄの各グラフの横軸は視差演算を行う際の演算ブロックサイズ（正方形演算ブロックの１辺の画素数）を示し、縦軸はそれぞれに対応する視差検出誤差を示している。各演算ブロック毎の視差検出誤差の算出方法は、図２５Ａ〜図２５Ｄの各被写体を該当演算ブロックサイズで領域分割し、各演算ブロック毎の視差検出誤差を被写体全領域で平均した値を示している。また、各演算ブロック毎の視差検出誤差は、０．１画素刻みで作成した１０．０〜１１．０画素のずらし画像（視差画像）のすべてのずらし量（視差画像）に対しての視差検出誤差の平均値を算出している（つまり、小数点以下が０．１画素刻みで０．０〜０．９のすべての視差量について検証している）。

図２６Ａ〜図２６Ｄの比較シミュレーション結果をみると分かるように、いずれの被写体においても、本発明による測距装置が従来のステレオカメラに比較して、大幅に視差検出誤差が低減（視差検出精度が向上）していることがわかる。

（変形例１）
上述の各実施の形態に係る測距装置は、本発明を説明するための一例であり、例えば、図２７Ａに示すような測距装置の構成でもよい。

図２７Ａは、本変形例に係る測距装置の撮像光学系の構成を示す図である。図に示すように、本変形例に係る測距装置は、基準撮像光学系ｓ及び参照撮像光学系ａ〜ｆと、基準撮像光学系ｓと参照撮像光学系ａ〜ｆとから算出された対象物の三次元位置（形状）に高解像度なカラーのテクスチャをマッピングするための２つのテクスチャ撮像光学系を備える。テクスチャ用撮像光学系は、任意の位置及び個数で配置してよい。その他、付加的な機能を追加するために本変形例に係る測距装置に新たな撮像光学系を追加してもよい。

（変形例２）
上述の各実施の形態に係る測距装置は、４つ又は８つの参照撮像光学系を備えていたが、６つの参照撮像光学系を備えてもよいことは言うまでもない。

図２７Ｂは、本変形例に係る測距装置の撮像光学系の構成を示す図である。図に示すように、本変形例に係る測距装置は７つの撮像光学系を備える。また、本変形例に係る測距装置において、参照撮像光学系ａの光学中心と参照撮像光学系ｂの光学中心とが略１直線上に基準撮像光学系ｓの光学中心を基準として点対称に配置され、参照撮像光学系ｃの光学中心と参照撮像光学系ｄの光学中心とが略１直線上に基準撮像光学系ｓの光学中心を基準として点対称に配置され、参照撮像光学系ｅの光学中心と参照撮像光学系ｆの光学中心とが略１直線上に基準撮像光学系ｓの光学中心を基準として点対称に配置されている。

本変形例に係る測距装置のように、本発明に係る測距装置は、略１直線上に基準撮像光学系を基準に光学中心が略対称に配置される２つの参照撮像光学系を複数有する構造であればよい。さらに複数、例えば１０個、１２個などの参照撮像光学系を備える測距装置であっても、本発明の効果を得ることができる。

ところで、上述の実施の形態４並びに変形例１及び２に係る測距装置のように、４以上の参照撮像光学系を備えている場合、参照撮像光学系の配置によっては、ブロックマッチング演算時のずらし量がサブピクセル単位となり、ブロックマッチング演算の時間が増大するときがある。そこで、ブロックマッチング演算時のずらし量がサブピクセル単位とならない、つまり、ブロックマッチング演算の演算時間が短くなる撮像光学系の配置について、図２８Ａ〜図２８Ｃを用いて説明する。

図２８Ａ〜図２８Ｃは撮像光学系の配置を表す図である。図２８Ａ〜図２８Ｃに示す各撮像光学系において、すべての撮像光学系の撮像領域を構成する画素の水平方向の配列は平行であり、かつ、すべての撮像光学系の撮像領域を構成する画素の垂直方向の配列は平行である。ここで、画素の配列方向（水平又は垂直）と平行な略１直線上に、基準撮像光学系を基準として光学中心が略点対称に配置される２つの参照撮像光学系を撮像光学系群１とする。また、画素の配列方向（水平又は垂直）と平行な略１直線上に、基準撮像光学系を基準として光学中心が略点対称に配置される他の２つ参照撮像光学系を撮像光学系群２とする。このとき、撮像光学系群１及び２において、基準撮像光学系ｓと２つの各参照撮像光学系との基線長は、それぞれＢ１及びＢ２である。また、撮像光学系群１及び２のブロックマッチング演算時のブロックのずらし方向つまり各基線長と平行な方向の画素ピッチは、それぞれｐ１及びｐ２である。

ここで、Ｂ１／ｐ１とＢ２／ｐ２とが整数倍の関係である場合、ブロックマッチング演算時のずらし量に対応したブロックを参照画像として選択するときに、ブロックの境界が画素の境界と一致する（参照画像の切出し座標が常に整数となる）。その結果、相関値算出部６が参照画像を選択する際に、バイリニア補間などの補間演算をする必要がなくなるので、演算時間を大幅に削減することが可能となる。

図２８Ａに示す撮像光学系において、撮像光学系群１を参照撮像光学系ａ及び参照撮像光学系ｂ、撮像光学系群２を参照撮像光学系ｃ及び参照撮像光学系ｄとする。ここで、垂直方向の画素ピッチと水平方向の画素ピッチは同一のｐ１（ｐ１＝ｐ２）である。基準撮像光学系ｓと参照撮像光学系ａとの基線長Ｂａと、基準撮像光学系ｓと参照撮像光学系ｃの基線長Ｂｃとの基線長は同一である。したがって、Ｂａ／ｐ１＝Ｂｃ／ｐ２が成立つため、ブロックマッチング演算時のずらし量ごとのブロックの境界が画素の境界と一致する。その結果、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。

図２８Ｂに示す撮像光学系では、図２８Ａの撮像光学系の配置に加え、画素配列に対して４５度の斜め方向に参照撮像光学系ｅ、ｆ、ｇ、ｈがそれぞれｓｑｒｔ（２）倍の基線長の長さの位置に配置されている。このとき、基準撮像光学系ｓと参照撮像光学系ｅ、ｆ、ｇ、ｈとの基線長と平行な方向の画素ピッチｐ２は、いずれも水平（垂直）方向の画素ピッチのｓｑｒｔ（２）倍（ｐ２＝ｓｑｒｔ（２）・ｐ１）となる。したがって、代表して参照撮像光学系ｅを撮像光学系群２と仮定して説明すると、Ｂｅ＝ｓｑｒｔ（２）・Ｂａであることも考慮すると、Ｂａ／ｐ１＝Ｂｅ／ｐ２が成立つ。Ｂｅは基準撮像光学系ｓと参照撮像光学系ｅとの基線長である。この場合も、ブロックマッチング演算時のずらし量に対応したブロックを参照画像として選択するときに、ブロックの境界が画素の境界と一致する（参照画像の切出し座標が常に整数となる）。その結果、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。

図２８Ｃに示す撮像光学系では、図２８Ａ及び図２８Ｂと異なり、水平方向の画素ピッチであるｐ１は、垂直方向の画素ピッチであるｐ２より長い。そこで水平方向及び垂直方向の画素ピッチの比と対応するように、基準撮像光学系ｓと参照撮像光学系ａ及びｂの基線長Ｂａは、基準撮像光学系ｓと参照撮像光学系ｃ及びｄの基線長Ｂｃより長い。つまり、Ｂａ／ｐ１＝Ｂｃ／ｐ２が成立するように各撮像光学系が配置されている。その結果、図２８Ａ及び図２８Ｂと同様に、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。

上述のように、各撮像光学系は、各撮像光学系の撮像装置である撮像領域を、構成する画素の位置関係にあわせて配置することで、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。つまり、各撮像光学系は、各撮像光学系の撮像領域を構成する画素の配列方向及び距離と、各撮像光学系の基線の方向及び長さとが、相似となるように配置されることで、演算時間を大幅に削減することが可能となる。

（変形例３）
上述の各実施の形態に係る測距装置は、図２９Ａ及び図２９Ｂに示すように、各参照画像の光学中心が基準撮像光学系ｓの光学中心に対して略点対称であればよい。図２９Ａ及び図２９Ｂは本発明に係る測距装置を装置の別の例を測距装置の上側から見た図である。レンズ及び撮像素子以外の構成は省略している。図２９Ａに示すように、各光学系の光学中心を結ぶ基線と、各光学系の光軸とは垂直でなくてもよい。この場合は、視差探索時にブロックサイズをずらし量ごとに可変とする従来の視差探索手法を用いて各参照撮像光学系に対する相関値を導出すればよく、合成した相関値の推移の実際視差に対する対称性は損なわれないため本発明の効果を得ることが可能である。もしくはアフィン変換を用いたキャリブレーション（視点変換）により光軸と基線方向を垂直にして演算してもよい。また、図２９Ｂに示すように、各光学系の光軸は必ずしも平行である必要はない。光軸の方向はアフィン変換を用いたキャリブレーション（視点変換）により補正可能であるためである。

以上、本発明の実施の形態及び変形例に係る測距装置について説明したが、本発明の具体的な構成は、上述した各実施の形態及び各変形例に限られるものではない。また、互いに異なる実施の形態及び変形例における構成部を組み合わせてもよい。発明の要旨を逸脱しない範囲で種々の変更及び修正が可能である。

例えば、上述の各実施の形態及び各変形例に係る撮像光学系が、ベイヤー配列などのカラー撮像素子を備える場合であってもよい。この場合、一般的に知られるデモザイク処理等により高解像度化されたカラー画像を用いることで、上述の各実施の形態及び各変形例と同様に、高精度に視差が算出できる。

また、上述の各実施の形態及び各変形例において、基準撮像光学系の光学中心とその他の２つの参照撮像光学系の光学中心が１直線上に、基準撮像光学系の光学中心を基準として点対称に配置されていたが、基準撮像光学系の光学中心とその他の２つの参照撮像光学系の光学中心が略１直線上に、基準撮像光学系の光学中心を基準として略点対称に配置されてもよい。

ここでいう略１直線上及び略点対称とは、実施の形態３で説明した（式８）、（式１０）の条件を満たす範囲をいう。

また、上述の各実施の形態において相関値を算出する関数としてＳＡＤを用いていたが、例えばＺＮＣＣ（相互相関係数）を用いることも可能である。ＺＮＣＣを用いた場合、相関の最も高いときに相関値が１となり、相関が低いときに相関値が１未満となる。このように相関値の推移が最大となるずらし量を視差としてサブピクセルレベルで求める場合も、本発明を適用することができる。その他にも相関値を算出する関数として前述のＳＳＤやＮＣＣなども本発明を適用することができる。つまり、本発明によれば、相関値の推移が実際視差を基準として対称になるので、相関値の推移の極値の最大、最小に関わらず、高精度にサブピクセル視差を求めることが可能である。

また、上述の各実施の形態及び変形例に係る測距装置において、対象物の三次元位置又は距離を算出しなくてもよい。この場合、測距装置は複眼撮像装置と呼ばれることとなる。複眼撮像装置も測距装置と同様に、例えば、図１で示したような構成となる。ただし、測距装置と異なり、複眼撮像装置は対象物の三次元位置や距離を算出する後処理部９を含まない。

また、本発明は、上記のような測距装置として実現することができるだけでなく、上記のような測距装置が備える特徴的な構成部をステップとする測距方法又は視差算出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

また、本発明は、上記のような測距装置の構成部が有する機能の一部を実現する半導体集積回路（ＬＳＩ）として実現することもできる。

本発明は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することのできる複眼撮像装置、及び、装置から対象物までの距離又は対象物の三次元位置もしくは形状を求めることのできる測距装置に関するものであり、車載、監視、医療、ロボット、ゲーム、ＣＧ画像作成、立体画像用入力、デジタルカメラやデジタルビデオカメラのオートフォーカス用途などに有用である。

本発明は、複数の撮像光学系を有し、撮像光学系間で生じる視差を算出する複眼撮像装置等に関するものである。

近年、所定の位置から対象物までの距離、又は対象物の三次元位置（形状）の測定の要求が高まっている。例えば自動車の視界支援において、自動車に取付けた小型カメラで撮影した周囲の物体の映像のみでなく、測距装置により測定した物体と自動車との正確な距離情報を同時に表示することにより、周囲の物体との衝突をより適確に回避する方法が提案されている。また、携帯電話やテレビなどにおいては、映像の臨場感をより忠実に再現するために立体映像の入出力装置が望まれている。これら用途の測距装置には高精度化及び小型化が望まれている。

対象物までの距離、又は対象物の三次元位置を測定する方式として、従来より三角測量の原理を利用したステレオ測距方式が利用されている。ステレオ測距方式では、複数のカメラ間に生じる視差に基づき対象物までの距離が算出される。

図３０は、カメラａ及びカメラｂの２つのカメラを用いた場合の、ステレオ測距方式による対象物までの距離算出の例を説明する図である。対象物１００の光線１０１ａ、１０１ｂは、カメラａのレンズ１０２ａ及びカメラｂのレンズ１０２ｂの各光学中心１０５ａ、１０５ｂを介して撮像領域１０４ａ、１０４ｂに結像する。光軸１０３ａ及び光軸１０３ｂは各カメラの光軸を表す。この時、例えば対象物１００が、カメラａについては撮像領域１０４ａと光軸１０３ａとの交点１０６ａからＰａ離れた位置１０７ａに結像し、カメラｂについては撮像領域１０４ｂ上の撮像領域１０４ｂと光軸１０３ｂとの交点１０６ｂからＰｂ離れた位置１０７ｂに結像した場合、カメラａとカメラｂとの間に視差Ｐ（＝Ｐｂ−Ｐａ）が生じる。この視差Ｐは測距装置と対象物距離との距離Ｄに応じて変化する。カメラａの光軸１０３ａとカメラｂの光軸１０３ｂは平行とし、その間隔を基線長Ｂ、カメラａ及びカメラｂの焦点距離をｆとすると、対象物までの距離Ｄは（式１）で表わされる。したがって、基線長Ｂ及び焦点距離ｆが事前のキャリブレーション処理などにより既知であるとすると、視差Ｐを求めることにより対象物１００までの距離Ｄを算出することが可能となる。

なお、実際の環境ではカメラａとカメラｂの光軸は平行でない場合が多い。そこで、例えば非特許文献１に示されるような平行化処理を行う。その結果、光軸が平行な画像が作成され、上記の（式１）を用いた演算を利用して距離Ｄが算出可能となることが知られている。

撮像領域１０４ａ及び１０４ｂは通常ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により構成される。したがって、２次元平面上で離散化された対象物像の輝度信号を用いて視差Ｐは算出されるため、通常その視差検出分解能は１画素となる。（式１）の関係より視差検出分解能から測距分解能（以降、測距精度と記載）が決まる。

また、対象物の三次元位置は、例えば、図３１〜図３３を用いて以下で説明する方法により、算出することができる。

図３１は、測距装置と対象物との位置関係を表す図である。図３１において、世界座標の原点Ｍｗ（０、０、０）は、カメラａの光学中心１０５ａとする。図に示すように、対象物１１０の一点１１１の三次元位置座標をＭｗ（Ｘｗ１、Ｙｗ１、Ｚｗ１）とすると、Ｚｗ１は図３０を用いて説明した（式１）で算出する距離Ｄで求められる。

図３２は、図３１のカメラａと対象物１１０の一点１１１をＹｗ軸のマイナス側から見た図である。図に示すように、交点１０６ａを撮像領域１０４ａの二次元座標系の原点ｍｓ（０、０）とすると、Ｘｗ１は結像位置１０７ａの座標ｍｓ（ｘｓ１、ｙｓ１）を用いて（式２）で表される。

図３３は、図３１のカメラａと対象物１１０の一点１１１をＸｗ軸のプラス側から見た図である。図３２と同様に、交点１０６ａを撮像領域１０４ａの二次元座標系の原点ｍｓ（０、０）とすると、Ｙｗ１は結像位置１０７ａの座標ｍｓ（ｘｓ１、ｙｓ１）を用いて（式３）で表される。

三次元位置の測定精度も、前述の測距精度と同様に視差検出分解能により決まる。

次に、視差Ｐの具体的な検出方法の例を説明する。視差Ｐは、カメラａの撮像領域１０４ａで取込まれた画像ａと、カメラｂの撮像領域１０４ｂで取込まれた画像ｂとについて、各画像の小領域毎の相関値であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：差分絶対値総和）を算出し、算出した相関値を用いて画像ａと画像ｂ間の小領域毎の画像のずれ、つまり視差Ｐを算出する。なお、ＳＡＤは相関値の一例であり、一般的に知られているＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ：差分２乗総和）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）なども相関値として利用可能である。

以下に、図３４〜図３６を参照しながら、代表的な相関値であるＳＡＤを用いた視差の算出について説明する。

図３４は、画像における各画素の輝度の表現方法について説明する図である。図に示すように、０を黒、１５を白とし、各画素の輝度の階調を線の密度で表現する。輝度は少数点以下の値となることもあり得る。

図３５Ａは、写像した対象物のテクスチャを対象物側からみた、画像ａの一部を示す図である。図３５Ｂは写像した対象物のテクスチャを対象物側からみた、画像ｂの一部を示す図である。

図３５Ｂの太線で囲われた画像ブロックｂは、対象物が無限遠にあるときに図３５Ａの太線で囲われた画像ブロックａと同一の画像が写像する。対象物が有限の距離にある場合は、図３５Ａ及び図３５Ｂに示すように視差が生じるため、図３５Ｂの画像は図３５Ａの画像に対して右側に写像する。ここでは図３５Ａと図３５Ｂとが３．６画素の実際視差を持つ場合の説明を行う。画像ブロックａと最も相関の高い画像領域を探索するため、画像ブロックｂを図３５Ｂの太線の位置から右方向に１画素ずつずらしていき、各ずらし量毎にＳＡＤを（式４）に基づき算出する。

ここで、Ｉａ、Ｉｂは各画像ブロック内の輝度値を表し、ｉ、ｊは各画像ブロック内の局所アドレスを表す。画像ブロックａ及び画像ブロックｂは同一の画像サイズで、両画像ブロックの同一アドレスの輝度差分の絶対値のブロック内総和を各ずらし量毎に算出する。画像ブロックの形状は長方形や、テクスチャの特徴に応じた形状でもよいが、ここでは正方形の画像ブロックでの説明をしている。

図３６は、画像ブロックｂを１画素ずつ移動させたときのＳＡＤの推移を示す図である。ずらし量４画素の場合にＳＡＤが最小となっているため、画像ブロックａと画像ブロックｂとの相関が最も高いと考えられる。したがって、画像ブロックａでのカメラａとカメラｂとの視差は４画素と算出され、算出された視差に画素ピッチサイズをかけることで（式１）の視差Ｐが求められ、対象物までの距離Ｄを算出することができる。この場合、実際の視差３．６画素に近い視差は求められるが、視差の検出精度は１画素となるため、小数点以下の画素の精度で視差（以降、サブピクセル視差と呼ぶ）は求められない。

測距精度つまり視差検出分解能を１画素単位でなく更に高精度に求めるための方法として、サブピクセルレベル視差を推定する方法が提案されている（例えば特許文献１）。例えば、等角直線フィッティングというサブピクセル視差推定方法では、図３７に示すように実際視差を基準にＳＡＤの推移が左右で同一θの傾きであることを仮定することによって、１次線形補間により実際視差がサブピクセルレベルで推定される。等角直線フィッティングのサブピクセル視差算出式、つまり補間式を（式５）に示す。

ここで、Ｐはサブピクセル視差、ＰｍｉｎはＳＡＤが最小となるずらし量（整数視差）、Ｒ（０）はＳＡＤが最小になるずらし量での相関値（ＳＡＤ）、その隣接するずらし量でのＳＡＤをＲ（−１）、Ｒ（１）とする。

またその他にも、ＳＡＤなどの相関値のずらし量毎の推移が実際視差を基準に対称な推移となることを仮定して、２次関数など高次の線形関数や非線形関数により実際視差を補間演算する方法が提案されている。図３５Ａ及び図３５Ｂに示すような輝度が１次関数的に変化する対象物の場合は、図３６に示すようにＳＡＤの推移が実際視差を基準に対称となり、且つ１次直線的にＳＡＤが推移する。そのため、等角直線フィッティングを用いてサブピクセル視差推定を行うと、視差３．６画素を正確に求めることができる。

特開２０００−２８３７５３号公報

徐剛、辻三郎著 「３次元ビジョン」共立出版 ｐｐ９６−９９ ２００２年９月２５日出版

上述のように、図３５Ａ、図３５Ｂ及び図３６では、輝度の分布が視差の探索方向に１次関数的に一様に変化する対象物を例として説明している。このような場合、相関値の推移が実際視差を基準に対称となるため、等角直線フィッティングによりサブピクセル視差推定を正確に行うことができる。しかし、実際の対象物では表面の模様（テクスチャ）が一様に変化する場合は少なく、例えば図３８Ａ及び図３８Ｂに示すように輝度の分布が一様に変化しない場合が多い。

図３８Ａは対象物側からみた画像ａの一部を示す図である。図３８Ｂは対象物側からみた画像ｂの一部を示す図である。図３８Ｂの太線で囲われた画像ブロックｂには、対象物が無限遠にあるときに図３８Ａの太線で囲われた画像ブロックａと同一の画像が写像する。対象物が有限の距離にある場合は図３０に示すように視差が生じるために図３８Ｂの画像は、図３８Ａの画像に対して右側に移動する。ここでは図３５Ａ及び図３５Ｂと同様に、図３８Ａと図３８Ｂとが３．６画素の実際視差を持つ場合の説明を行う。

図３９は、図３８Ａ及び図３８Ｂの画像の場合のＳＡＤの推移と、その時の前述の等角直線フィッティングによるサブピクセル視差推定を説明する図である。図に示すように、ＳＡＤの推移が実際視差を基準に対称とならないため、サブピクセル視差推定結果は実際視差からはずれてしまう。具体的には、サブピクセル視差は、約３．２画素と推定されてしまう。その結果、推定視差は実際視差と約０．４画素の誤差が生じる。

このように、従来のステレオ測距方式において用いられているサブピクセル視差推定を行う補間式は、相関値の推移が実際視差を基準に対称となる場合を仮定している。そのため、相関値の推移が実際視差を基準に対称とならない対象物においては、視差の推定誤差が生じるという課題があった。また、例えば図４０Ａ及び図４０Ｂに示すような３つ以上の光学系を用いた多眼ステレオカメラにおいても同様に、相関値の推移が実際視差を基準に対称とならない対象物においては、視差の推定誤差が生じるという課題があった。

本発明は上記課題を解決する為になされたものであり、対象物の輝度の分布によらず相関値の推移が実際視差を基準に対称となり、上述したような従来の補間によるサブピクセル視差推定方法を用いても高精度にサブピクセル視差を推定可能な複眼撮像装置又は測距装置を提供することを目的とする。

上述した目的を達成するために、本発明に係る複眼撮像装置は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する複眼撮像装置であって、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段とを少なくとも備えることを特徴とする。

これにより、基準撮像光学系に対して略対称に配置された２以上の参照撮像光学系のそれぞれについて算出された相関値が、対応するずらし量ごとに加算されるので、被写体によらず相関値の推移が実際視差を基準として対称となり、高精度にサブピクセル視差を推定することが可能となる。

ここで略点対称とは、２つの参照撮像光学系で構成される場合には、２つの参照撮像光学系の光学中心と基準撮像光学系の光学中心とが略１直線上に配置され、２つの参照撮像光学系と基準撮像光学系との基線長が略同一であることをいう。また、４つの参照撮像光学系で構成される場合には、追加された２つの参照撮像光学系の光学中心と基準撮像光学系の光学中心とが略１直線上に配置され、追加された２つの参照撮像光学系と基準撮像光学系との基線長が略同一であることをいう。さらに多数の参照撮像光学系で構成される場合は、追加された２つで１組の参照撮像光学系の光学中心の各組と基準撮像光学系の光学中心とが略１直線上に配置され、追加された２つで１組の参照撮像光学系の各組と基準撮像光学系との基線長が略同一であることをいう。

また、前記視差算出手段は、前記相関値加算手段で加算されたずらし量ごとの相関値を、対称性を利用した補間式を用いて補間することにより、サブピクセルレベルの視差を算出することが好ましい。

これにより、従来の対称性を前提とした補間によるサブピクセル視差推定方法を用いても、高精度にサブピクセル視差を推定することが可能となる。

また、前記複眼撮像装置は、４以上の参照撮像光学系を備え、前記４以上の参照撮像光学系の光学中心は、前記基準撮像光学系の光学中心に対して略点対称に配置された１対の第１の参照撮像光学系に係る基線の方向と、前記基準撮像光学系の光学中心に対して略点対称に配置された第１の参照撮像光学系の光学中心と異なる１対の第２の参照撮像光学系に係る基線の方向とが所定の角度傾くように配置されることが好ましい。

これにより、２つの参照撮像光学系を用いた場合に比べて、参照撮像光学系、つまり、参照画像が増加するので、情報量が増加し、相関値の推移の直線性が向上する。また、基準撮像光学系に対して略点対称に配置される１対の参照撮像光学系と基準撮像光学系との光学中心を結ぶ直線である基線の方向と、他の対の参照撮像光学系と基準撮像光学系との基線の方向が所定の角度傾くことで、撮像された対象物の情報量がさらに増大し、相関値の推移の直線性が向上する。その結果、サブピクセル視差の推定精度がさらに向上する。

また、前記４以上の参照撮像光学系は、前記第１の参照撮像光学系と前記基準撮像光学系との基線の長さである第１の基線長と、前記第２の参照撮像光学系と前記基準撮像光学系との基線の長さである第２の基線長とが異なるように配置され、前記相関値算出手段では、前記第２の参照撮像光学系で生成された参照画像の相関値を算出する際に、前記第２の基線長を前記第１の基線長で除した値に、前記第１の参照撮像光学系で生成された参照画像の相関値を算出する際に利用した第１のずらし量を乗じた値である第２のずらし量ごとに前記相関値を算出することが好ましい。

これにより、基準撮像光学系の光学中心に対して略点対称に配置される１対の参照撮像光学系と基準撮像光学系との基線の長さと、他の対の参照撮像光学系と基準撮像光学系との基線の長さが異なる場合でも、相関値の推移の対称性を高めることが可能となる。その結果、参照撮像光学系の配置の自由度が増大するとともに、サブピクセル視差の推定精度を向上させることができる。

また、基準撮像光学系及び前記４以上の参照撮像光学系は、前記基準撮像光学系が有する撮像装置を構成する画素の位置関係と同一となるように配置されることが好ましい。

これにより、ブロックマッチング演算を行う際に、ずらし量に対応したブロックの境界が画素の境界と一致するので、バイリニア補間などによる画像処理が不要となる。その結果、ブロックマッチング演算の演算時間を短縮することが可能となる。

また、前記基準撮像光学系の光学中心に対して略点対称に配置された対となる参照撮像光学系のそれぞれの対において、対のうち一方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心とを結ぶ直線と、対のうち他方の参照撮像光学系の光学中心との距離である光学中心位置誤差が、Ｄを対象物までの距離、ｐｉｔｃｈを画素ピッチ、ｆを焦点距離としたときに、
光学中心位置誤差 ≦ Ｄ・ｐｉｔｃｈ・０．１５／ｆ
を満たすことが好ましい。

これにより、被写体によらず相関値の推移が実際視差を基準に十分なレベルで点対称となるので、従来より高精度にサブピクセル視差を推定することが可能となる。

また、前記基準撮像光学系の光学中心に対して略点対称に配置された対となる参照撮像光学系のそれぞれの対において、対のうち一方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心との間隔である第１基線長と、対のうち他方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心との間隔である第２基線長との長さの差である基線長誤差が、Ｄを対象物までの距離、ｐｉｔｃｈを画素ピッチ、ｆを焦点距離としたときに、
基線長誤差 ≦ Ｄ・ｐｉｔｃｈ・０．２／ｆ
を満たすことが好ましい。

これにより、被写体によらず相関値の推移が実際視差を基準に十分なレベルで点対称となるので、従来より高精度にサブピクセル視差を推定することが可能となる。

また、前記複眼撮像装置は、さらに、前記基準画像及び前記参照画像に平滑化フィルタを施す前処理手段を備え、前記相関値算出手段では、前記平滑化フィルタを施した基準画像及び参照画像に基づいて前記相関値を算出することが好ましい。

これにより、対象物の輝度の分布によらずノイズの影響による精度低下を低減でき、更に対象物の輝度の変動を滑らかにすることが可能となる為、例えば上述したＳＡＤと等角直線フィッティングを用いた場合に、相関値の推移の対称性を保ったまま、ＳＡＤの推移の直線性が向上し、サブピクセル視差推定精度が更に向上する。

また、上述した目的を達成するために、本発明に係る測距装置は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することにより、前記対象物までの距離又は前記対象物の三次元位置を算出する測距装置であって、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段と算出された視差と前記基準撮像光学系の焦点距離と前記基線の長さに基づき、前記測距装置から前記対象物までの距離又は前記対象物の三次元位置を算出する距離算出手段とを備えることを特徴とする。

これにより、２以上の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することで、被写体によらず相関値の推移が実際視差を基準として対称となるので、高精度にサブピクセル視差を推定することが可能となる。その結果、被写体となる対象物までの距離を、高精度で推定することが可能となる。

また、本発明に係る視差算出方法は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する視差算出方法であって、前記複数の撮像光学系は、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系とを含み、前記視差算出方法は、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出ステップと、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算ステップと、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出ステップとを含むことを特徴とする。

これにより、上記複眼撮像装置と同様の効果を得ることができる。

また、本発明に係る測距方法は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することにより、前記対象物までの距離又は前記対象物の三次元位置を算出する測距方法であって、前記複数の撮像光学系は、前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系とを含み、前記測距方法は、前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出ステップと、前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算ステップと、前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出ステップと算出された視差と前記基準撮像光学系の焦点距離と前記基線の長さに基づき、前記測距装置から前記対象物までの距離又は前記対象物の三次元位置を算出する距離算出ステップとを含むことを特徴とする。

これにより、上記測距装置と同様の効果を得ることができる。

なお、本発明は、このような視差算出方法又は測距方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

本発明によれば、対象物の輝度の分布によらず相関値の推移が実際視差を基準として対称となり、上述したような従来の補間によるサブピクセル視差推定方法を用いても高精度にサブピクセル視差を推定可能な複眼撮像装置又は測距装置を提供することが可能となる。

図１は、本発明の実施の形態１に係る測距装置の構成を示す図である。 図２は、本発明の実施の形態１に係る測距装置と対象物との位置関係を示す図である。 図３は、本発明の実施の形態１に係る測距装置による対象物の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。 図４は、本発明の実施の形態１に係る対象物の表面上の点１３の周辺のテクスチャを基準撮像光学系で撮影した場合の、対象物側から見た画像の一部を示す図である。 図５Ａは、本発明の実施の形態１に係る撮像光学系で撮影した画像の一部を示す図である。 図５Ｂは、本発明の実施の形態１に係る撮像光学系で撮影した画像の一部を示す図である。 図５Ｃは、本発明の実施の形態１に係る撮像光学系で撮影した画像の一部を示す図である。 図６Ａは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図６Ｂは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図７は、本発明の実施の形態１に係る合成ＳＡＤの推移を示す図である。 図８は、本発明の実施の形態１に係る画像に写像された対象物の１点の周辺のテクスチャを示す図である。 図９Ａは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図９Ｂは、本発明の実施の形態１に係るＳＡＤの推移を示す図である。 図１０は、本発明の実施の形態２に係る測距装置の構成を示す図である。 図１１Ａは、本発明の実施の形態２に係るＳＡＤの推移を示す図である。 図１１Ｂは、本発明の実施の形態２に係るＳＡＤの推移を示す図である。 図１２は、本発明の実施の形態２に係るＳＡＤの推移を示す図である。 図１３は、本発明の実施の形態３に係る測距装置の構成を示す図である。 図１４は、本発明の実施の形態３に係る測距装置の動作を説明する図である。 図１５は、本発明の実施の形態３に係る測距装置の動作を説明する図である。 図１６は、本発明の実施の形態３に係る測距装置の性能を説明する図である。 図１７は、本発明の実施の形態３に係る測距装置の動作を説明する図である。 図１８Ａは、本発明の実施の形態３に係るＳＡＤの推移を示す図である。 図１８Ｂは、本発明の実施の形態３に係るＳＡＤの推移を示す図である。 図１９は、本発明の実施の形態３に係る合成ＳＡＤの推移を示す図である。 図２０は、本発明の実施の形態３に係る測距装置の性能を説明する図である。 図２１は、本発明の実施の形態４に係る測距装置の構成を示す図である。 図２２は、本発明の実施の形態４に係る測距装置と対象物との位置関係を示す図である。 図２３は、本発明の実施の形態４に係る測距装置による対象物の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。 図２４Ａは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｂは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｃは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｄは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｅは、本発明の実施例に係る測距装置の構成を示す図である。 図２４Ｆは、本発明の実施例に係る測距装置の構成を示す図である。 図２５Ａは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２５Ｂは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２５Ｃは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２５Ｄは、本発明の実施例に係る測距装置で性能評価するための画像を示す図である。 図２６Ａは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２６Ｂは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２６Ｃは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２６Ｄは、本発明の実施例に係る測距装置での性能評価を示す図である。 図２７Ａは、本発明の変形例に係る撮像光学系の配置を示す図である。 図２７Ｂは、本発明の変形例に係る撮像光学系の配置を示す図である。 図２８Ａは、本発明に係る撮像光学系の配置について説明するための図である。 図２８Ｂは、本発明に係る撮像光学系の配置について説明するための図である。 図２８Ｃは、本発明に係る撮像光学系の配置について説明するための図である。 図２９Ａは、本発明に係る撮像光学系の配置について説明するための図である。 図２９Ｂは、本発明に係る撮像光学系の配置について説明するための図である。 図３０は、ステレオ測距方式による対象物までの距離算出の例を説明する図である。 図３１は、従来技術の説明における測距装置と対象物との位置関係を表す図である。 図３２は、従来技術の説明におけるカメラと対象物の一点をＹｗ軸のマイナス側から見た図である。 図３３は、従来技術の説明におけるカメラと対象物の一点をＸｗ軸のプラス側から見た図である。 図３４は、画像における各画素の輝度の表現方法について説明する図である。 図３５Ａは、従来技術の説明における写像した対象物のテクスチャを対象物側からみた、画像の一部を示す図である。 図３５Ｂは、従来技術の説明における写像した対象物のテクスチャを対象物側からみた、画像の一部を示す図である。 図３６は、従来技術の説明におけるＳＡＤの推移を示す図である。 図３７は、従来技術の説明におけるＳＡＤの推移を示す図である。 図３８Ａは、従来技術の説明における対象物側からみた画像の一部を示す図である。 図３８Ｂは、従来技術の説明における対象物側からみた画像の一部を示す図である。 図３９は、従来技術の説明における等角直線フィッティングによるサブピクセル視差推定を説明する図である。 図４０Ａは、従来技術の説明における別の構成の測距装置を示す図である。 図４０Ｂは、従来技術の説明における別の構成の測距装置を示す図である。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本実施の形態に係る測距装置５０の構成を示す図である。この測距装置５０は、３つのカメラ１ｓ、１ａ、１ｂ並びにＡ／Ｄ変換部４、前処理部５、相関値算出部６、相関値加算部７、視差算出部８及び後処理部９を備える。

３つのカメラ１ｓ、１ａ、１ｂは、それぞれ同様の構成を有する。つまり、カメラ１ｓはレンズ２ｓ及び撮像領域３ｓを備え、カメラ１ａ及び１ｂは、それぞれレンズ２ａ及び撮像領域３ａ並びにレンズ２ｂ及び撮像領域３ｂを備える。ここで、カメラ１ｓを基準撮像光学系ｓ、カメラ１ａ及び１ｂをそれぞれ参照撮像光学系ａ及び参照撮像光学系ｂと呼ぶ。

撮像領域３ｓ、３ａ、３ｂは、例えばＣＣＤやＣＭＯＳなどの固体撮像素子上に構成され、レンズ２ｓ、２ａ、２ｂを通過した対象物の光から画像を生成する。

ここで、本実施の形態に係る基準撮像光学系ｓ並びに参照撮像光学系ａ及びｂは、以下に示す特徴を有する。まず、各撮像光学系の光軸は平行である。そして、各撮像光学系の光学中心は一直線上に配置され、かつ、その直線は光軸に垂直である。また、各撮像光学系の撮像領域（２次元平面）と光軸は垂直に配置され、焦点距離（撮像領域から光学中心までの距離）は全ての撮像光学系で同一である。さらに、各撮像光学系の光学中心を結ぶ線、つまりエピポーラ線は各撮像領域の水平方向の画素配列と平行であり、各撮像光学系間の視差は各撮像領域の画素配列の水平方向に生じる。

なお、本発明において、上記に示した本実施の形態に係る基準撮像光学系ｓ並びに参照撮像光学系ａ及びｂの光軸、光学中心、撮像領域及び焦点距離等に関する特徴を、厳密に満たす必要はない。キャリブレーション処理等により補正可能であれば、例えば、光軸は厳密に互いに平行でなくてもよい。また、光軸、光学中心、撮像領域及び焦点距離等に関する特徴の誤差が、無視できる程度であれば問題ない。

また、基準撮像光学系ｓは、３つの撮像光学系の真ん中に配置され、基準撮像光学系ｓの光学中心と参照撮像光学系ａの光学中心との距離（以降、基線長と呼ぶ）Ｂａと、基準撮像光学系ｓの光学中心と参照撮像光学系ｂの光学中心との距離（基線長）Ｂｂとは同一である。つまり、参照撮像光学系ａ及びｂは、基準撮像光学系ｓに対して点対称に配置されている。

Ａ／Ｄ変換部４は、撮像領域３ｓ、３ａ、３ｂを構成する撮像素子から伝送される輝度情報をアナログ値からデジタル値に変換する（量子化）。ここで、撮像領域３ｓの像をＡ／Ｄ変換部４が量子化したものを画像ｓ、撮像領域３ａ及び撮像領域３ｂの像をＡ／Ｄ変換部４が量子化したものを画像ａ及び画像ｂとする。Ａ／Ｄ変換部４は、カメラ１ｓ、１ａ、１ｂ毎に別個に構成されてもよいし、カメラ１ｓ、１ａ、１ｂに対して共通に構成されてもよいし、いずれかのみが別個に構成されてもよい。

前処理部５は、デジタル値に変換された各撮像領域の輝度情報について、キャリブレーション、輝度のシェーディング補正、光学系間の明るさの差の低減補正など画像の相関演算を高精度に行うための画像の補正処理を行う。例えば、一般的に知られるレンズ歪曲補正やステレオ画像の平行化などのキャリブレーション処理である。このキャリブレーション処理を行うことで、実装誤差を補正した画像を得ることができる。なお、本実施の形態では前処理部５がキャリブレーション処理などの画像補正を行う場合について説明するが、本発明が適用される測距装置は、このような測距装置に限定されるものではない。例えば、キャリブレーション処理がない測距装置であってもよい。

相関値算出部６は、詳細は後述するが、参照撮像光学系ａ及びｂのそれぞれについて、基準撮像光学系ｓの光学中心と参照撮像光学系ａ又はｂの光学中心とを結ぶ直線である基線の方向に沿って、画像ｓに含まれる基準画像に対し画像ａ又はｂに含まれる参照画像の画像位置（画像座標）をずらして画像を比較していった場合のずらし量ごとに、基準画像と参照画像との類似度を表す相関値を算出する（ブロックマッチング演算）。ここで、基準画像に対し参照画像の一方の画像位置をずらしていくとは、基準撮像光学系及び参照撮像光学系が生成した画像の一部の領域を、それぞれ基準画像及び参照画像として選択し、基準画像に対し参照画像の選択位置（探索位置）をずらしていくことをいう。

相関値加算部７は、詳細は後述するが、相関値算出部６で撮像光学系の組合せ毎に算出された相関値を、対応するずらし量ごとに加算することで、実際視差を基準として対称な分布となる合成相関値を算出する。

視差算出部８は、相関値加算部７で加算された実際視差を基準として対称な分布となる合成相関値を、対称性を利用した補間式を用いて補間することにより、基準画像及び参照画像におけるサブピクセルレベルの視差を推定する。ここで、サブピクセルレベルとは小数点以下の画素の精度をいう。

後処理部９は、視差算出部８で算出されたサブピクセルレベルの視差に基づき対象物の三次元位置（又は測距装置から対象物までの距離）を算出する処理や、推定した三次元形状のフィルタリング処理や、推定した対象物のテクスチャを作成する処理など、アプリケーション毎の出力に応じたデータを作成する。なお、本実施の形態では、後処理部９が対象物の三次元位置や距離を算出する場合について説明するが、本発明が適用される装置は、このような測距装置に限定されるものではない。例えば、後処理部９が視差算出部８で算出された視差を他の装置に出力する装置であってもよい。この場合、対象物までの距離を測定しないことから、視差を算出する装置を複眼撮像装置と呼ぶ。

図２は、図１で示した測距装置５０と対象物１２との位置関係を示す図である。光学中心１０ｓは基準撮像光学系ｓの光学中心、光学中心１０ａは参照撮像光学系ａの光学中心、光学中心１０ｂは参照撮像光学系ｂの光学中心である。ここで、基準撮像光学系ｓの光学中心１０ｓを三次元の世界座標系の原点Ｍｗ（０、０、０）とする。

光軸１１ｓは基準撮像光学系ｓの光軸、光軸１１ａ、１１ｂはそれぞれ参照撮像光学系ａ、参照撮像光学系ｂの光軸である。

対象物１２は三次元位置又は距離を測定する対象物である。

対象物の表面上の点１３は対象物１２の表面上の一点であり、ここでは点１３の周辺の領域は撮像領域と平行に設置されている。また、点１３の世界座標はＭｗ（Ｘｗ１、Ｙｗ１、Ｚｗ１）である。

次に、以上のように構成された本実施の形態における測距装置５０の基本的な動作について説明する。

図３は、測距装置５０による対象物１２の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。

まず、Ａ／Ｄ変換部４は、撮像領域３ｓ、３ａ、３ｂを構成する撮像素子から伝送される輝度情報をアナログ値からデジタル値に変換する（Ｓ１０１）。

次に、前処理部５は、デジタル値に変換された各撮像領域の輝度情報について、キャリブレーション、輝度のシェーディング補正、光学系間の明るさの差の低減補正など画像の相関演算を高精度に行うための画像の補正処理を行う（Ｓ１０２）。

続いて、相関値算出部６は、ステップＳ１０２で補正処理された画像を所定の小領域（以下、ブロックと呼ぶ）に分割する（Ｓ１０３）。そして、相関値算出部６は、三次元位置又は距離算出の対象となる対象物１２の表面上の点１３に対応する画像ｓのブロックを基準画像として選択する（Ｓ１０４）。そして、相関値算出部６は、まだ以下に記述するステップＳ１０６〜Ｓ１０９の処理が行われていない参照撮像光学系が生成した画像ａ又は画像ｂを取得できれば、ループ１を開始する（Ｓ１０５）。さらに、相関値算出部６はずらし量を取得できればループ２を開始する（Ｓ１０６）。

そして、相関値算出部６は、ステップＳ１０５で取得した画像ａ又は画像ｂの中から、ステップＳ１０６で取得したずらし量に対応するブロックを参照画像として選択する（Ｓ１０７）。続けて、ステップＳ１０４で選択した画像ｓのブロックである基準画像と、ステップＳ１０７で選択した画像ａ又はｂのブロックである参照画像との類似度を表す相関値、例えばＳＡＤを算出する（Ｓ１０８）。

このようにして、相関値算出部６は、予め定められた最小ずらし量から順にずらし量を大きくしていき、ずらし量ごとの相関値を算出する（Ｓ１０６〜Ｓ１０９）。ここで、ずらし量が予め定められた最大ずらし量に達した場合、相関値算出部６は、ループ２（Ｓ１０６〜Ｓ１０９）を終了する。

また、ループ２（Ｓ１０６〜Ｓ１０９）、つまり、ずらし量ごとの相関値の算出が終了すると、相関値算出部６は、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像を取得し、ループ２（Ｓ１０６〜Ｓ１０９）の処理を繰り返す（Ｓ１０５〜Ｓ１１０）。ここで、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像がない場合、つまり、画像ａ及び画像ｂの両方の処理が終了した場合、相関値算出部６は、ループ１（Ｓ１０５〜Ｓ１１０）を終了する。

続いて、相関値加算部７は、上述の処理で算出された基準画像と各参照画像との相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する（Ｓ１１１）。この処理により得られる合成相関値は、実際視差を基準として対称な分布を形成する。

そして、視差算出部８は、ステップＳ１１１において加算された後のずらし量ごとの相関値を、対称性を利用した補間式を用いて補間する（Ｓ１１２）。ここで用いる補間式は、例えば、等角直線フィッティングやパラボラフィッティング（二次関数によるフィッティング）などの相関値が実際視差を基準として対称な分布を形成することを前提としたサブピクセル視差推定方法で利用される補間式である。そして、視差算出部８は、補間後の相関値を利用して、相関値が最大又は最小となる（類似度が最も高い）ずらし量であるサブピクセル視差を算出する（Ｓ１１３）。具体的には、相関値としてＳＡＤを利用した場合、視差算出部８は、ＳＡＤが最小となるずらし量をサブピクセル視差として算出することとなる。

このようにして得られた視差を利用して、後処理部９は、対象物の三次元位置又は距離を算出する（Ｓ１１４）。

なお、上述の処理において、測距装置５０は、画像ｓの選択した１ブロックについて、サブピクセル視差を求め、対象物の三次元位置や距離を算出するようになっているが、画像ｓのブロック選択を繰り返すことで、画像ｓの全てのブロックについて、サブピクセル視差を求め、対象物の三次元位置や距離を算出してもよい。

次に、図３において説明した処理の具体例として、測距装置５０による対象物１２の三次元位置の算出について、図４〜図７を参照しながら説明する。

図４は、図２の対象物１２の表面上の点１３の周辺のテクスチャを基準撮像光学系ｓで撮影した場合の、対象物側から見た画像ｓの一部を示す図である。背景技術の説明と同様に各四角形は画素を表し、各画素中の線の密度が輝度値を表す。図に示すように、点１３は画像ｓ上では、黒丸で示す位置に対応するとする。

このような場合、図３のステップＳ１０３で示したように、相関値算出部６は、各撮像光学系から得られる画像を所定の小領域（ブロック）に分割し、各ブロック毎に三次元位置を算出する。

基準撮像光学系ｓにおけるブロックサイズを水平方向に４画素、垂直方向に４画素の４×４画素とした場合、図３のステップＳ１０４で示したように、画像ｓについては、測定の対象となる対象物１２の表面上の点１３が含まれるブロック１４ｓの位置のブロックを基準画像として選択する。なお、画像ｓにおける基準画像の選択は、測定の対象となる対象物１２の表面上の点１３が含まれていればどのように選択してもよく、例えば、図４で示した位置よりも１画素左にずれた位置のブロックを基準画像として選択してもよい。

ところで、基準撮像光学系ｓと参照撮像光学系ａ間の基線長Ｂａと、基準撮像光学系ｓと参照撮像光学系ｂ間の基線長Ｂｂとは等しいため、画像ｓに対して画像ａ及び画像ｂに発生する視差は、方向が逆で大きさが同一となる。ここでは、画像ａ及び画像ｂで発生する実際視差は、いずれも３．６画素とする。

このように実際視差が３．６画素の場合、画像ｓのブロック１４ｓと同一の画像ａの画像座標には、図４に示すブロック１４ａの位置の画像が写る。また、画像ｓのブロック１４ｓと同一の画像ｂの画像座標には、図４に示すブロック１４ｂの位置の画像が写る。つまり、画像ｓ、画像ａ、画像ｂの同一の画像座標における対象物１２の画像は図５Ａ〜図５Ｃのようになる。ここで、画像座標とは、各撮像光学系の光軸と撮像面との交点を原点とした場合の画素の位置を表す座標とする。なお、対象物が無限遠に相当する位置にある場合には、画像ｓ、画像ａ、画像ｂにおいて、対象物の像は同一の画像座標に結像する。

図５Ａは基準撮像光学系ｓで撮影した画像ｓの一部を示す図である。図５Ｂは参照撮像光学系ａで撮影した画像ａの一部を示す図である。図５Ｃは参照撮像光学系ｂで撮影した画像ｂの一部を示す図である。

図５Ａ〜図５Ｃにおいて、各画像中の太線で囲われた４×４画素のブロックが、図４で示したブロック１４ｓ、１４ａ、１４ｂに対応し、同一の画像座標のブロックを表す。以下に、画像ｓと画像ａ又は画像ｂとの相関値として、（式４）により求められるＳＡＤを利用した場合の、相関値算出の方法を示す。

まず、図２のステップＳ１０５〜Ｓ１１０で示すように、相関値算出部６は参照撮像光学系が撮像した画像のうち、画像ａ、つまり、図５Ｂの画像を取得する。そして、相関値算出部６は、既に選択されている基準画像である画像ｓのブロック、つまり、図５Ａの太線で囲われたブロックと画像ａのブロックである参照画像とを対象として、ＳＡＤを算出する。このとき、相関値算出部６は、最小ずらし量である０画素に対応する図５Ｂの太線で囲われたブロックから、最大ずらし量である７画素に対応するブロックまで、視差の生じる方向、つまり図５Ｂに示す矢印の方向である画像水平方向右側へ１画素ずつブロックをずらしなから参照画像とするブロックを選択する。その結果、各ずらし量ごとのＳＡＤが算出される。このようにして算出されたＳＡＤの推移を図６Ａに示す。

次に、相関値算出部６は、まだ相関値が算出されていない画像ｂ、つまり、図５Ｃの画像を選択する。そして、相関値算出部６は、画像ａの場合と同様に、基準画像と参照画像とのＳＡＤを算出する。このとき、相関値算出部６は、最小ずらし量である０画素に対応する図５Ｃの太線で囲われたブロックから、最大ずらし量である７画素に対応するブロックまで視差の生じる方向、つまり図５Ｃに示す矢印の方向である画像水平方向左側へ１画素ずつブロックをずらしながら参照画像とするブロックを選択する。その結果、各ずらし量ごとのＳＡＤが算出される。このようにして算出されたＳＡＤの推移を図６Ｂに示す。

図６Ａ及び図６Ｂは、画像ｓと画像ａ及び画像ｓと画像ｂとのＳＡＤの推移を表す図である。図に示すＳＡＤの推移は、いずれも実際視差を基準として左右非対称になっているため、前述の等角直線フィッティングによってサブピクセル視差を推定した場合、実際視差である３．６画素に対して、画像ａにおいてはマイナス側に約０．４画素の誤差（図６Ａ）、画像ｂにおいてはプラス側に約０．５画素の誤差（図６Ｂ）が発生する。

そこで、図２のステップＳ１１１で示すように、相関値加算部７は、ＳＡＤの推移が実際視差を基準として左右対称となるように、対応するずらし量ごとにＳＡＤを加算することにより合成相関値を算出する。

図７は、図６Ａと図６Ｂに示したＳＡＤを各ずらし量ごとに加算した場合の合成相関値である合成ＳＡＤの推移を示す図である。図に示すように、加算後のＳＡＤの推移は、実際視差を基準として対称となる。ここで、相関値加算部７が算出する合成ＳＡＤの推移Ｓ＿ｓｕｍ（ｉ）は、図６ＡのＳＡＤの推移をＳａ（ｉ）、図６ＢのＳＡＤの推移をＳｂ（ｉ）とすると、（式６）で算出することができる。

このように、合成ＳＡＤの推移は、実際視差を基準として対称となっているので、図２のステップＳ１１２で示すように、対称性を利用した補間式を用いる前述の等角直線フィッティングによってサブピクセル視差を推定した場合、視差算出部８は、図７に示すように０．１画素未満の誤差で視差を算出できる。したがって、ＳＡＤの推移が左右非対称となる場合に比べて大幅にサブピクセル視差推定精度を向上することができる。すなわち、等角直線フィッティングではＳＡＤの推移が実際視差を基準にして対称で、且つＳＡＤの推移が直線的になる場合に誤差なくサブピクセル視差推定を行うことができる。特に図７で示すように、ＳＡＤの推移が直線的でないため視差の推定誤差は発生するが、相関値（ＳＡＤ）の加算によって実際視差を基準としてＳＡＤの推移が対称にすることができるために視差の推定誤差を非常に小さくすることができる。

このように視差算出部８が算出したサブピクセルレベルの視差に基づき、図３のステップＳ１１４に示すように、後処理部９は、出力に応じた形態に視差を変換してデータを出力する。例えば対象物の三次元位置を出力する場合は、画像ｓの２次元画像座標系であるｍ（ｕｓ１、ｖｓ１）から図２の光軸１０ｓと撮像領域３ｓとの交点を原点とする２次元座標系であるｍｓ（ｘｓ１、ｙｓ１）に変換し、従来技術の説明と同様に（式１）、（式２）、（式３）を用いて画像ｓの各ブロックに対する三次元位置を求めることができる。ここで、（式１）の視差Ｐは算出されたサブピクセル視差に画素ピッチを掛けることで求めることができる。また、測距装置から対象物までの距離のみを算出する場合は、従来技術の説明と同様に（式１）を用いて距離を算出することができる。

次に図８、図９Ａ及び図９Ｂを用いて、本実施の形態において、図７に示すように合成相関値（ここでは合成ＳＡＤ）の推移が実際視差に対して対称になる原理を説明する。

図８は対象物１２側から見た、画像ｓに写像された対象物１２の表面上の点１３の周辺のテクスチャを示す図である。また、太線で囲われたブロック１５ｓは、図５Ａで示す太線で囲われたブロックと同一である。

点線で囲われたブロック１５ａは、画像ｓのブロック１５ｓと同一の画像座標に写像される画像ａの画像領域である。また、点線で囲われたブロック１５ｂは、画像ｓのブロック１５ｓと同一の画像座標に写像される画像ｂの画像領域である。ここで、図６Ａに示したＳＡＤの推移は、図８の黒い矢印１６ａ及び白い矢印１７ａの領域について参照画像である画像ａのブロックをずらしなから算出したものに相当する。一方、図６Ｂに示したＳＡＤの推移は、図８の白い矢印１６ｂ及び黒い矢印１７ｂの領域について参照画像である画像ｂのブロックをずらしながら算出したものに相当する。

ところで、演算では離散的な点でしかＳＡＤを算出できない。そこで、仮にＳＡＤを算出する間隔、つまり、サンプル間隔が無限に小さいとした場合のＳＡＤの推移を図９Ａ及び図９Ｂに示す。

図９Ａは、サンプル間隔が無限に小さいとした場合の図６Ａ及び図６Ｂに対応するＳＡＤの推移を示す図である。また、図９Ｂは、サンプル間隔が無限に小さいとした場合の合成ＳＡＤの推移を示す図である。

図９Ａにおいて、実線で示すＳＡＤの推移は、図６Ａに対応する画像ａのＳＡＤの推移を示す。実線で示したＳＡＤの推移のうち、ずらし量０から実際視差のずらし量までのＳＡＤの推移（実線１８ａ）が、図８に示す黒い矢印１６ａの領域でのＳＡＤに相当し、実際視差のずらし量からそれ以上のずらし量でのＳＡＤの推移（実線１９ａ）が、図８に示す白い矢印１７ａの領域でのＳＡＤに相当する。なお、図９Ａの黒点は実際のサンプル点である。

一方、点線で示すＳＡＤの推移は、図６Ｂに対応する画像ｂのＳＡＤの推移を示す。点線で示したＳＡＤの推移のうち、ずらし量０から実際視差のずらし量までのＳＡＤの推移（点線１８ｂ）が、図８に示す白い矢印１６ｂの領域でのＳＡＤに相当し、実際視差のずらし量からそれ以上のずらし量でのＳＡＤの推移（点線１９ｂ）が、図８に示す黒い矢印１７ｂの領域でのＳＡＤに相当する。なお、図９Ａの白丸の点は実際のサンプル点である。

図８において、黒い矢印１６ａでのＳＡＤの推移、つまり、画像ａにおけるずらし量０から実際視差までの推移と、黒い矢印１７ｂでのＳＡＤの推移、つまり、画像ｂにおける実際視差からそれ以上のずらし量での推移とでは、サンプル間隔が無限に小さい場合には、実際視差のずらし量を基準にＳＡＤを算出する基準画像と参照画像の組み合わせが同一になる。そのため、図９Ａの実線１８ａで示されるＳＡＤの推移と点線１９ｂで示されるＳＡＤの推移とは、実際視差のずらし量を基準に対称となる。

同様に、図８において、白い矢印１７ａでのＳＡＤの推移、つまり、画像ａにおける実際視差のずらし量からそれ以上でのずらし量での推移と、白い矢印１６ｂでのＳＡＤの推移、つまり、画像ｂにおけるずらし量０から実際視差のずらし量での推移とでは、サンプル間隔が無限に小さい場合には、実際視差のずらし量を基準にＳＡＤを算出する基準画像と参照画像の組み合わせが同一になる。そのため、図９Ａの実線１６ｂで示されるＳＡＤの推移と点線１７ａで示されるＳＡＤの推移とは実際視差のずらし量を基準に対称となる。

これらの理由から、各ずらし量での画像ｓ及び画像ａのブロック間のＳＡＤと、画像ｓ及び画像ｂのブロック間のＳＡＤとを加算した場合、図９Ｂに示すように合成ＳＡＤの推移が実際視差を基準として対称になる。なお、サンプル間隔が大きくなっても上記の対称性は損なわれないことは言うまでもない。したがって、本実施の形態において、図７に示すように合成相関値（ここでは合成ＳＡＤ）の推移が実際視差を基準として対称となる。

なお、相関値を算出する際にＳＡＤでなく、例えばＳＳＤやＮＣＣなど他の相関値を利用したとしても、上述のように異なる撮像光学系での基準画像と参照画像との組合せの同一性に起因することから、合成相関値が実際視差を基準として対称となる。

また、本実施の形態では画像ｓ中の１ブロックについて説明を行っているが、画像ｓ中の全ブロックについて同様の演算をすることで、画像ｓに映っている対象物のすべての三次元位置を求めることができる。

また、本実施の形態において、後処理部９は、対象物１２の三次元位置や距離を算出していたが、視差算出部８で算出された視差を利用して複数の画像を合成するとしてもよい。

以上のように、本実施の形態によれば、対象物の輝度の分布によらず相関値の推移が実際視差を基準として対称となるため、対象物によらず高精度にサブピクセル視差を推定可能な複眼撮像装置及び測距装置を提供することができる。

（実施の形態２）
次に、本発明の実施の形態２に係る測距装置について説明する。

本実施の形態に係る測距装置６０は、前処理部５に画像の高周波成分を低減させる平滑化フィルタ部を備えることが実施の形態１の測距装置５０と異なっているが、その他の構成部及び機能等は実施の形態１の測距装置５０と同じである。そのため、本実施の形態の測距装置の特徴的な部分を中心に説明する。

図１０は、本実施の形態に係る測距装置６０の構成を示す図である。なお、実施の形態１と同じ構成部に関しては同一符号にて示し、説明を省略する。

図に示すように、本実施の形態に係る測距装置６０が備える前処理部５は、実施の形態１と同様の画像の相関演算を高精度に行うための画像の補正処理に加えて、例えばガウシアンフィルタや平均化フィルタや加重平均化フィルタのような画像の高周波成分を低減させる処理を行う平滑化フィルタ部２３を有する。

このように高周波成分を低減させた画像を用いて、相関値算出部６が、実施の形態１で示した処理と同様の処理により相関値の推移を算出すると、相関値の推移の直線性が若干改善される。

図１１Ａ及び図１１Ｂは、図４で示した画像ｓ、画像ａ、画像ｂに対してσ＝１のガウシアンフィルタを施した場合に得られるＳＡＤの推移を示す図である。

図１１Ａ及び図１１Ｂでは、画像の高周波成分の輝度分布が低減された分、実施の形態１の図６Ａ及び図６Ｂで示したＳＡＤの推移と比べて、ＳＡＤの推移の直線性は若干改善される。しかし、実際視差を基準としたＳＡＤの推移の対称性は殆ど改善されない。よって、図１１Ａ及び図１１Ｂに示したそれぞれのＳＡＤの推移に対して、前述の等角直線フィッティングによるサブピクセル視差推定を行っても、視差推定の大幅な精度改善は期待できない。そこで、実施の形態１と同様に、相関値加算部７がずらし量ごとにＳＡＤを加算することで、ＳＡＤの推移の対称性を向上させる必要がある。

図１２は、図１１Ａ及び図１１Ｂに示したＳＡＤをずらし量ごとに加算した場合の合成ＳＡＤの推移を示す図である。

視差算出部８が合成ＳＡＤの推移に対して等角直線フィッティングによるサブピクセル視差推定を行うと、実施の形態１の場合よりもさらに誤差が低減される。これは、前述のように合成ＳＡＤの推移が実際視差を基準として対称になることに加えて、平滑化フィルタ部２３による輝度分布の高周波成分の低減によりＳＡＤの推移の直線性が向上したためである。すなわち、ＳＡＤの推移が実際視差を基準として対称にならない被写体の場合は、平滑化フィルタ部２３が画像の高周波成分を除去するだけでは、等角直線フィッティングによるサブピクセル視差推定の精度は大きく向上しない。しかし、本実施の形態のように、相関値加算部７がＳＡＤを加算することで合成ＳＡＤの推移が実際視差を基準として対称になる場合には、等角直線フィッティングによるサブピクセル視差推定の精度を被写体によらず大幅に向上させることができる。

以上のように、本実施の形態によれば、平滑化フィルタ部２３が画像の高周波成分を除去することにより、相関値（ここではＳＡＤ）の推移の直線性を向上させる。その結果、低次の補間式を用いて相関値の推移を補間した場合に、測距装置はさらに高精度にサブピクセル視差を推定することが可能となる。

（実施の形態３）
次に、本発明の実施の形態３に係る測距装置について説明する。

図１３は、本実施の形態に係る測距装置７０の構成を示す図である。図１３に示すように参照撮像光学系ｂの光学中心１９ｂは、基準撮像光学系ｓの光学中心１９ｓと参照撮像光学系ａの光学中心１９ａとを結ぶ直線（図１３の点線１８）に対して、点線１８の垂直方向に距離Ｅｒｒｏｒ＿ｖだけかい離している。つまり、測距装置７０は、光学中心位置誤差（以下、基線垂直方向誤差という。）Ｅｒｒｏｒ＿ｖを有する。また、光学中心１９ｓと光学中心１９ａとの距離である基線長Ｂａと、光学中心１９ｓと光学中心１９ｂとの距離である基線長Ｂｂ（点線１８と平行方向の距離）とはＥｒｒｏｒ＿ｈの差異を持つ。つまり、測距装置７０は、基線長誤差（以下、基線方向誤差という。）Ｅｒｒｏｒ＿ｈを有する。その他の構成部及び機能等は図１０の実施の形態２の測距装置６０と同じである。そのため、本実施の形態の測距装置の特徴的な部分を中心に説明する。

図１０の実施の形態２のように参照撮像光学系の光学中心を基準撮像光学系の光学中心に対して点対称に配置することにより、高精度な視差検出精度を持つ測距装置を実現できるが、実際にはカメラの実装誤差やレンズ成型誤差などに起因して、図１３に示すように基線垂直方向誤差Ｅｒｒｏｒ＿ｖや基線方向誤差Ｅｒｒｏｒ＿ｈが発生する場合がある。これらの誤差が大きいほど、実施の形態２の図１２で示した相関値の推移が、実際視差を基準として左右対称にならなくなってくる。したがって、本実施の形態ではこれらの誤差が相関値の推移に及ぼす影響と、その許容範囲について説明する。なおここでは、基準撮像光学系ｓと参照撮像光学系ａ及びｂとの光軸は平行とし、基準撮像光学系の光軸は撮像領域３ｓの領域中心に位置し、かつ参照撮像光学系ａ及びｂの光軸は撮像領域３ａ及び３ｂの領域中心に位置すると仮定する。さらに撮像領域３ｓと撮像領域３ａと撮像領域３ｂにおいて、縦横の画素配列はそれぞれ平行であると仮定する。なお、上記の仮定を満たさない場合でも、前処理部５におけるキャリブレーションによる補正により上記仮定が成立するよう実現してもよい。

まず基線垂直方向誤差Ｅｒｒｏｒ＿ｖがある場合について説明する。ここでは基線方向誤差Ｅｒｒｏｒ＿ｈはないものとする。基線垂直方向誤差Ｅｒｒｏｒ＿ｖがある場合、図１４に示すように、画像ａにおいて、基準画像に類似する参照画像の画像座標を探索する探索方向と視差の発生方向とは一致する。しかし、画像ｂにおいて、基準画像に類似する参照画像の画像座標を探索する探索方向と視差の発生方向とは、基線垂直方向誤差Ｅｒｒｏｒ＿ｖが大きいほど異なってくる。図１４では視差の発生方向を点線、探索方向を実線で示している。図１４では説明を直感的に示すために実際よりも視差の発生方向を大きく探索方向と異ならせて記載している。図１４からわかるように、被写体距離が近いほど視差が大きくなるために視差の発生位置と探索位置との垂直方向のかい離が大きくなり、図１２に示した実際視差を基準として左右対称となる相関値の推移が成り立たなくなってくる。例えば、カメラ１ｓとカメラ１ａとカメラ１ｂが、焦点距離ｆ＝５ｍｍ、基線長Ｂａ＝２０ｍｍ、基線長Ｂｂ＝２０ｍｍ、画素ピッチｐｉｔｃｈ＝０．００２ｍｍとし、基線垂直方向誤差Ｅｒｒｏｒ＿ｖ＝０．５ｍｍとする。被写体距離Ｄ＝２０００ｍｍである場合は、（式１）に基づき視差Ｐを計算すると、図１５に示すように視差が２５画素発生する。このとき画像ａに含まれる被写体像は図１４で説明したように視差の探索方向つまり基線と水平方向に視差２５画素が発生し、一方画像ｂに含まれる被写体像は図１４の点線方向に視差２５画素が発生する。このとき画像ｂに含まれる被写体像は、基線垂直方向誤差Ｅｒｒｏｒ＿ｖの影響により、画像ｓに比べて視差探索方向の垂直方向に約０．６２画素ずれて写像される。視差探索方向と平行方向には約２４．９９画素の視差となり２５画素に対して０．０１画素以下の無視できる差異の視差となる。したがって、画像ｓと画像ａとにおけるＳＡＤの推移と、画像ｓと画像ｂとにおけるＳＡＤの推移とが、視差探索方向と垂直方向にこの場合約０．６２画像がずれることに起因して、実際視差を基準として厳密に左右対称でなくなる。被写体距離が更に近い場合は、画像ｂの視差探索方向の垂直方向への写像のずれが大きくなり、ＳＡＤの推移の左右対称性が更に低下する。

図１６に、図１３に示すように基線垂直方向誤差Ｅｒｒｏｒ＿ｖを有する測距装置を用いてある被写体を撮像した場合の測距精度の低下（視差検出誤差の増加）をシミュレーションにより検証した結果のグラフを示す。測距精度の低下が視差探索方向の垂直方向への写像のずれ量に起因するため、図１６の横軸は視差探索方向の垂直方向への写像のずれ量としている。Ｅｒｒｏｒ＿ｖは、図１６の横軸の画像ずれ量をＰ＿ｖとすると、（式７）で換算することができる。

ここで、Ｄは被写体距離、ｐｉｔｃｈは画素ピッチ、ｆは焦点距離である。図１６では画像ずれＰ＿ｖが大きくなるにしたがって、視差検出誤差が大きくなっているのがわかる。図１６の点線の基準測距精度は、同一の被写体を用いた場合の図４０Ａの従来のステレオカメラ（３眼）の測距精度（視差検出誤差）をシミュレーションで求めた場合の結果である。従来のステレオカメラの焦点距離、画素ピッチ、被写体距離は同一に設定し、図４０Ａの基準撮像光学系ｓと参照撮像光学系ａとの基線長及び基準撮像光学系ｓと参照撮像光学系ｂとの基線長はいずれも図１３の本実施の形態の基線長Ｂａと同一にしている。この従来のステレオカメラ（３眼）のシミュレーション結果には基線垂直方向誤差Ｅｒｒｏｒ＿ｖに相当する実装誤差は与えていない（従来のキャリブレーション手法等により補正可能なため）ため、基準測距精度は一定値となる。図１６より、画像ずれＰ＿ｖが０．１５画素以内であれば、従来のステレオカメラより高精度に測距（視差検出）できることがわかる。したがって、本実施の形態の測距装置７０において、基線垂直方向誤差Ｅｒｒｏｒ＿ｖを、（式７）のＰ＿ｖ＝０．１５として、（式８）となるよう測距装置７０を構成することにより、測距装置７０は従来のステレオカメラより高精度に測距（視差検出）をすることができる。

例えば、（最小）被写体距離Ｄ＝５００ｍｍ、画素ピッチｐｉｔｃｈ＝０．００２ｍｍ、焦点距離５ｍｍの場合、垂直方向誤差Ｅｒｒｏｒ＿ｖを０．０３ｍｍ以内に作成することにより、従来のステレオカメラより高精度に測距（視差検出）をすることができる。したがって、図１３の各カメラの光学中心の相対位置を実装時に（式８）を満たすよう高精度に実装すればよい。例えばレンズ２ｓ、２ａ、２ｂを一体成型により作成することによって比較的容易に実現可能である。また、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）技術等によって実現されるウェーハレベルカメラ（日経ＭＩＣＲＯＤＥＶＩＣＥＳ ２００８年７月号参照）などのカメラ大量生産技術を用いたステレオカメラでも実現可能であることは言うまでもない。また、本実施の形態では３眼についての説明を行っているが、５眼、７眼、９眼など多数の光学系でも適用可能であることは言うまでもない。なお、図１６に示すグラフから得られるＰ＿ｖ＝０．１５は、特定の被写体を撮像した場合にのみに得られる値ではない。被写体を変えても同様の傾向が得られ、Ｐ＿ｖ＝０．１５は、被写体に依存しない値である。

次に、基線方向誤差Ｅｒｒｏｒ＿ｈがある場合について説明する。ここでは基線垂直方向誤差Ｅｒｒｏｒ＿ｖはないものとする。基線方向誤差Ｅｒｒｏｒ＿ｈがある場合、図１３に示すように基線長Ｂａと基線長Ｂｂとが異なるために、図１７に示すように、同一被写体に対する画像ａに生じる視差Ｐａと、画像ｂに生じる視差Ｐｂが異なる。したがって図１８Ａ及び図１８Ｂに示すように、画像ｓと画像ａとのＳＡＤの推移（図１８Ａ）と、画像ｓと画像ｂとのＳＡＤの推移（図１８Ｂの黒丸）との実際視差に対する対称性が悪くなる。ここでの実際視差は画像ｓと画像ａとの実際視差を指している。基線方向誤差Ｅｒｒｏｒ＿ｈが大きいほど、実際視差に対する対称性が悪くなる。これは、例えば基線方向誤差Ｅｒｒｏｒ＿ｈが正の場合は、図１８Ｂに示すように、画像ｓと画像ｂとのＳＡＤの推移がずらし量の大きくなる方向に平行移動するためである。基線方向誤差Ｅｒｒｏｒ＿ｈが大きいほど、上記平行移動の量が多くなり対称性が悪くなる。図１８Ｂにおいて白丸のＳＡＤの推移は、図１０の実施の形態２における画像ｓと画像ｂとのＳＡＤの推移である（つまり、Ｅｒｒｏｒ＿ｈ＝０）。図１９に、図１８Ａと図１８ＢとのＳＡＤをずらし量ごとに加算した合成ＳＡＤの推移を示す。図１９から明らかなように、実際視差を基準としたＳＡＤの推移の対称性が悪くなることにより、推定視差が実際視差からずれているのがわかる。

図２０に、図１３に示すように基線方向誤差Ｅｒｒｏｒ＿ｈを有する測距装置によりある被写体を撮像した場合の測距精度の低下（視差検出誤差の増加）をシミュレーションにより検証した結果のグラフを示す。視差検出誤差が視差探索方向への写像のずれ量に起因するため、図２０の横軸は視差探索方向への写像のずれ量としている。Ｅｒｒｏｒ＿ｈは、図２０の横軸の画像ずれ量をＰ＿ｈとすると、（式９）で換算することができる。

ここで、Ｄは被写体距離、ｐｉｔｃｈは画素ピッチ、ｆは焦点距離である。図２０では画像ずれＰ＿ｈが大きくなるにしたがって、視差検出誤差が大きくなっているのがわかる。図２０の実線の基準測距精度は、同一の被写体を用いた場合の図４０Ａの従来のステレオカメラ（３眼）の測距精度（視差検出誤差）をシミュレーションで求めた場合の結果である。従来のステレオカメラの焦点距離、画素ピッチ、被写体距離は同一に設定し、図４０Ａの基準撮像光学系ｓと参照撮像光学系ａとの基線長及び基準撮像光学系ｓと参照撮像光学系ｂとの基線長はいずれも図１３の本実施の形態の基線長Ｂａと同一にしている。この従来のステレオカメラ（３眼）のシミュレーション結果には基線方向誤差Ｅｒｒｏｒ＿ｈに相当する実装誤差は与えていない（従来のキャリブレーション手法等により補正可能なため）ため、基準測距精度は一定値となる。図２０より、画像ずれＰ＿ｈが０．２画素以内であれば、従来のステレオカメラより高精度に測距（視差検出）できることがわかる。したがって、本実施の形態の測距装置７０において、基線垂直方向誤差Ｅｒｒｏｒ＿ｈを、（式９）のＰ＿ｈ＝０．２として、（式１０）となるように測距装置７０を作成することにより、測距装置７０は従来のステレオカメラより高精度に測距（視差検出）をすることができる。

例えば、（最小）被写体距離Ｄ＝５００ｍｍ、画素ピッチｐｉｔｃｈ＝０．００２ｍｍ、焦点距離５ｍｍの場合、垂直方向誤差Ｅｒｒｏｒ＿ｖを０．０４ｍｍ以内に作成することにより、従来のステレオカメラより高精度に測距（視差検出）をすることができる。したがって、図１３の各カメラの光学中心の相対位置を実装時に（式１０）を満たすよう高精度に実装するとよい。例えばレンズ２ｓ、２ａ、２ｂを一体成型により作成することにより比較的容易に上記を実現可能である。また、ＭＥＭＳ技術等によって実現されるウェーハレベルカメラ（日経ＭＩＣＲＯＤＥＶＩＣＥＳ ２００８年７月号参照）などのカメラ大量生産技術を用いたステレオカメラでも実現可能であることは言うまでもない。また、本実施の形態では３眼についての説明を行っているが、５眼、７眼、９眼など多数の光学系でも適用可能であることは言うまでもない。なお、図２０に示すグラフから得られるＰ＿ｈ＝０．２は、Ｐ＿ｖ＝０．１５と同様に、特定の被写体を撮像した場合にのみに得られる値ではない。被写体を変えても同様の傾向が得られ、Ｐ＿ｈ＝０．２は、被写体に依存しない値である。

以上より、本実施の形態による測距装置７０は、（式８）、（式１０）を満たす構成であれば、従来のステレオカメラより高精度に測距（視差検出）をすることができる。

（実施の形態４）
次に、本発明の実施の形態４に係る測距装置について説明する。

本実施の形態に係る測距装置８０は、参照撮像光学系を８つ備えることと相関値算出部６に参照撮像光学系間の視差の違いを換算する視差換算部を備えることとが、実施の形態２の測距装置６０と異なっているが、その他の構成部及び機能等は実施の形態２の測距装置６０と同じである。そのため、本実施の形態の測距装置の特徴的な部分を中心に説明する。

図２１は、本実施の形態に係る測距装置８０の構成を示す図である。なお、実施の形態２と同じ構成部に関しては同一符号にて示し、説明を省略する。

図２１に示すように、測距装置８０は複眼カメラ２０を備える。複眼カメラ２０は、一体成型された９つのレンズアレイと、９つの異なる撮像領域を有する単一のＣＣＤやＣＭＯＳなどの固体撮像素子で構成される。ここで、光帯域分離フィルタや絞りなどは、本発明の主眼ではないため図示していない。複眼カメラ２０は、レンズ径が通常のカメラより小さいためレンズの焦点距離を短く設計でき、光学系全体の厚さを非常に薄く構成することができる。また、レンズアレイによる一体成型とすることで、アレイに含まれる各光学系の光軸間の相対位置関係を高精度（例えば誤差５μｍ未満）に作成することも可能となる。

なお、本実施の形態では各撮像光学系がレンズアレイである場合について説明するが、本発明が適用される測距装置は、このような測距装置に限定されるものではない。例えば、別個の撮像光学系で測距装置を構成してもよい。撮像素子を複数用いてもよい。

基準撮像光学系ｓは、レンズ２１ｓ及び撮像領域２２ｓを含む構成であり、固体撮像素子の中心付近に配置される。参照撮像光学系ａ〜ｈは、それぞれレンズ２１ａ〜ｈ及び撮像領域２２ａ〜ｈを含む構成である。

ここでは、実施の形態２の測距装置６０と同様に、基準撮像光学系ｓ、参照撮像光学系ａ〜ｈは、以下に示す特徴を有する。まず、各撮像光学系の光軸は平行である。そして、各撮像光学系の光学中心は同一平面上に配置され、かつ、その平面は光軸に垂直である。また、各撮像光学系の撮像領域（２次元平面）と光軸は垂直に配置され、焦点距離（撮像領域から光学中心までの距離）は全ての撮像光学系で同一である。

また、基準撮像光学系ｓと参照撮像光学系ａと参照撮像光学系ｂの光学中心は、同一直線上に配置される。そして、参照撮像光学系ａの光学中心と参照撮像光学系ｂの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。また、基準撮像光学系ｓと参照撮像光学系ｃと参照撮像光学系ｄの光学中心は、同一直線上に配置される。そして、参照撮像光学系ｃの光学中心と参照撮像光学系ｄの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。また、基準撮像光学系ｓと参照撮像光学系ｅと参照撮像光学系ｆの光学中心は、同一直線上に配置されている。そして、参照撮像光学系ｅの光学中心と参照撮像光学系ｆの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。また、基準撮像光学系ｓと参照撮像光学系ｇと参照撮像光学系ｈの光学中心は、同一直線上に配置されている。そして、参照撮像光学系ｇの光学中心と参照撮像光学系ｈの光学中心とは、基準撮像光学系ｓを基準に点対称な位置に配置されている。

また、説明の便宜のため、基準撮像光学系ｓと参照撮像光学系ａと参照撮像光学系ｂの光学中心を結ぶ前述の直線は、撮像領域２２ｓの水平方向画素配列と平行であると仮定する。したがって、基準撮像光学系ｓと参照撮像光学系ａとの間に生じる視差、及び基準撮像光学系ｓと参照撮像光学系ｂとの間に生じる視差は、各撮像領域の画素配列の水平方向に生じる。

以上より、基準撮像光学系ｓと参照撮像光学系ａの基線長Ｂａと、基準撮像光学系ｓと参照撮像光学系ｂの基線長Ｂｂは等しい。また、基準撮像光学系ｓと参照撮像光学系ｃの基線長Ｂｃと、基準撮像光学系ｓと参照撮像光学系ｄの基線長Ｂｄは等しい。また、基準撮像光学系ｓと参照撮像光学系ｅの基線長Ｂｅと、基準撮像光学系ｓと参照撮像光学系ｆの基線長Ｂｆは等しい。また、基準撮像光学系ｓと参照撮像光学系ｇの基線長Ｂｇと、基準撮像光学系ｓと参照撮像光学系ｈの基線長Ｂｈは等しい。

相関値算出部６は、実施の形態１で説明した相関値を算出する処理に加えて、視差の換算処理を行う視差換算部２４を有する。視差換算部２４は、詳細は後述するが、基線長が異なるように配置された参照撮像光学系の相関値を算出する際に、ブロックのずらし量を、相関値加算部７で加算が可能なずらし量に変換する。例えば、視差換算部２４は、参照撮像光学系ａと基線長が異なるように配置された参照撮像光学系ｅの相関値を算出する際に、基線長Ｂｅを基線長Ｂａで除した値Ｌｅと、基線長Ｂａと平行な方向の画素ピッチｐｉｔｃｈ＿ａを基線長Ｂｅと平行な方向の画素ピッチｐｉｔｃｈ＿ｅで除した値Ｍｅとの積であるＬｅ・Ｍｅ（＝Ｋｅ）を、参照撮像光学系ａで生成された参照画像の相関値を算出する際に利用したブロックのずらし量に乗じることで、相関値加算部７で加算が可能なずらし量に変換する。ここで、基線長と平行な方向の画素ピッチとは、撮像光学系で撮像された画像において、基線と平行な同一直線上に画素の中心点と対応する点が出現する最短周期をいう。

なお、本実施の形態において、ずらし量の単位は、基線方向の画素ピッチを表す「画素」である。したがって、基線方向により画素ピッチが異なる撮像光学系間の相関値を加算する際には、視差換算部２４は、単位の変換を行う必要がある。つまり、基線長の比を基準となるずらし量に乗じるだけではなく、さらに画素ピッチの比であるＭｅを乗じて、視差の換算を行う必要がある。しかし、ずらし量の単位が基線方向に依存しない単位である場合には、例えば、ミリメートルなどの単位である場合には、単位の変換は必要ない。すなわち、視差換算部２４は、画素ピッチの比であるＭｅを用いずに、基線長の比であるＬｅに基準となるずらし量を乗じることで、ずらし量を換算することが可能となる。

相関値加算部７は、実施の形態２と同様に、相関値算出部６で光学系の組合せ毎に算出された相関値を、視差換算部２４で変換されたずらし量に基づいて、対応するずらし量ごとの相関値をすべて加算する。その結果、相関値加算部７は、実際視差を基準として対称な推移となる合成相関値を算出する。

図２２は、図２１に示した測距装置８０と対象物１２との位置関係を示す図である。

図に示すように、実施の形態２と同様、基準撮像光学系ｓの光学中心２５ｓを世界座標の原点Ｍｗ（０、０、０）とし、対象物１２の表面上の１点である点１３の世界座標をＭｗ（Ｘｗ１、Ｙｗ１、Ｚｗ１）とする。

ところで、上述のように参照撮像光学系ｃと参照撮像光学系ｄについても、参照撮像光学系ａと参照撮像光学系ｂと同様に、基準撮像光学系ｓの光学中心に対して点対称に撮像光学系の光学中心が配置され、且つ各光学中心は同一直線上に配置されている。そのため、基準撮像光学系ｓと参照撮像光学系ｃ、及び、基準撮像光学系ｓと参照撮像光学系ｄのブロックマッチング演算で得られるずらし量毎のＳＡＤを加算すると、実際視差を基準として対称なＳＡＤの推移が得られる。しかし、基準撮像光学系ｓと参照撮像光学系ａ及び参照撮像光学系ｂの基線長と、基準撮像光学系ｓと参照撮像光学系ｃ及び参照撮像光学系ｄの基線長とが異なる場合は、実際視差が変わる。よって、相関値加算部７が、同一のずらし量ごとにＳＡＤの推移を合成（加算）しても、実際視差を基準として対称なＳＡＤの推移が得られない。そこで、視差換算部２４が、ＳＡＤを算出する際のずらし量を基線長の長さと画素ピッチに合わせて変更する必要がある。

次に、以上のように構成された本実施の形態における測距装置８０の基本的な動作について説明する。

図２３は、測距装置８０による対象物１２の三次元位置又は距離算出に関する処理の流れを示すフローチャートである。

ステップＳ２０１〜Ｓ２０４の処理は、実施の形態１の図３で示したステップＳ１０１〜Ｓ１０４の処理と同様であるので説明を省略する。

ステップＳ２０４の処理が終了すると、相関値算出部６は、まだ以下に記述するステップＳ２０６〜Ｓ２１２の処理が行われていない参照撮像光学系が生成した画像ａ〜ｈのいすれかを取得できれば、ループ１を開始する（Ｓ２０５）。

次に、相関値算出部６が備える視差換算部２４は、例えば基準撮像光学系ｓと参照撮像光学系ａ及び参照撮像光学系ｂを基準とすれば、参照撮像光学系ａと基準撮像光学系ｓとの基線長（基準となる基線長）と、画素ピッチとを取得する（Ｓ２０６）。そして、視差換算部２４は、ステップＳ２０５で選択された画像を生成した参照撮像光学系と基準撮像光学系ｓとの基線長と、画素ピッチとを取得する（Ｓ２０７）。続けて、視差換算部２４は、ステップＳ２０６で取得した基準となる基線長とステップＳ２０７で取得した基線長及び画素ピッチに基づいて、新たなずらし量を算出する（Ｓ２０８）。

そして、相関値算出部６は、上述のように算出された新たなずらし量を取得できればループ２を開始する（Ｓ２０９）。

さらに、相関値算出部６は、ステップＳ２０５で取得した画像ａ〜ｈのいずれかの画像の中から、ステップＳ２０９で取得したずらし量に対応するブロックを参照画像として選択する（Ｓ２１０）。続けて、ステップＳ２０４で選択した画像ｓのブロックである基準画像と、ステップＳ２０９で選択した画像ａ〜ｈのいずれかの画像のブロックである参照画像との類似度を表す相関値、例えばＳＡＤを算出する（Ｓ２１１）。

このようにして、相関値算出部６は、ステップＳ２０８で算出された新たなずらし量ごとの相関値を算出する（Ｓ２１２、Ｓ２０９）。ここで、ずらし量が最大ずらし量に達した場合、相関値算出部６は、ループ２（Ｓ２０９、Ｓ２１２）を終了する。

また、ループ２（Ｓ２０９、Ｓ２１２）、つまり、ずらし量ごとの相関値の算出が終了すると、相関値算出部６は、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像を取得し、ループ２（Ｓ２０９、Ｓ２１２）の処理を繰り返す（Ｓ２１３、Ｓ２０５）。ここで、相関値の算出に係る処理が行われていない参照撮像光学系が生成した画像がない場合、つまり、画像ａ及び画像ｂの両方の処理が終了した場合、相関値算出部６は、ループ１（Ｓ２０５、Ｓ２１３）を終了する。

続いて、相関値加算部７は、上述の処理で算出された基準画像と各参照画像との相関値を、対応するずらし量ごとに加算する（Ｓ２１４）。ここでは、対称に配置された参照撮像光学系の相関値を加算するのみではなく、すべての参照撮像光学系の相関値を加算する。この処理により得られる合成相関値は、実際視差を基準として対称な分布を形成する。ここでいう実際視差とは、基準とした基線長と画素ピッチにおいての視差量となる。

以下のステップＳ２１５〜Ｓ２１７の処理は、実施の形態１の図３で示したステップＳ１１２〜Ｓ１１４の処理と同様であるので説明を省略する。

次に、図２３において説明した処理の詳細な説明を行う。図２３のステップＳ２０８において、視差換算部２４は、基線長及び画素ピッチの比率に基づいて新たなずらし量を算出する。具体的には、相関値算出部６が参照撮像光学系ｃの生成した画像ｃの相関値を算出する場合に、基準となる基線長を参照撮像光学系ａの基線長Ｂａ、基準となる画素ピッチを基線長Ｂａと平行な方向の画素ピッチをｐｉｔｃｈ＿ａとすると、視差換算部２４は（式１１）により基線長の比率からＳＡＤの推移算出時のずらし量の刻み量Ｋｃ（単位：画素）を算出することができる。なお、画像ａの相関値算出におけるずらし量の刻み量は１画素である。

ここでＢｃは基準撮像光学系ｓと参照撮像光学系ｃとの間の基線長であり、ｐｉｔｃｈ＿ｃは基線長Ｂｃと平行な方向の画素ピッチである。なお、上述の通り、基線長Ｂａと基線長Ｂｂは同一であり、基線長Ｂｃと基線長Ｂｄも同一である。したがって、視差換算部２４は、基準撮像光学系ｓと参照撮像光学系ｃ、及び、基準撮像光学系ｓと参照撮像光学系ｄのＳＡＤの推移を算出するときのずらし量を上述の刻み量Ｋｃから算出することができる。つまり、最小ずらし量を０画素とした場合、新たなずらし量は０画素、Ｋｃ画素、２・Ｋｃ画素、３・Ｋｃ画素、・・・となる。仮に、最小ずらし量が−２画素である場合は、−２・Ｋｃ画素、−Ｋｃ画素、０画素、Ｋｃ画素、２・Ｋｃ画素、３・Ｋｃ画素、・・・というずらし量になる。なお、上述の刻み量Ｋｃの値によっては、サブピクセル単位のずらし量となり得る。その場合は、相関値算出部６が参照画像を選択する際に、バイリニア補間などの処理により参照画像を抽出することで、相関値を算出することが可能となる。

同様にして、基準撮像光学系ｓと参照撮像光学系ｅと参照撮像光学系ｆとの組合せの場合も、視差換算部２４が、ＳＡＤを算出する際の新たなずらし量を算出する。視差換算部２４が、新たなずらし量を算出する際に利用する刻み量は、（式１２）により求められる。

ここでＢｅは基準撮像光学系ｓと参照撮像光学系ｅとの間の基線長であり、ｐｉｔｃｈ＿eは基線長Ｂｅと平行な方向の画素ピッチである。なお、上述の通り基線長Ｂｅと基線長Ｂｆは同一である。したがって、視差換算部２４は、基準撮像光学系ｓと参照撮像光学系ｅ、及び、基準撮像光学系ｓと参照撮像光学系ｆのＳＡＤの推移を算出するときのずらし量を上述の刻み量Ｋｅから算出することができる。つまり、最小ずらし量を０画素とした場合、新たなずらし量は０画素、Ｋｅ画素、２・Ｋｅ画素、３・Ｋｅ画素、・・・というずらし量になる。

同様にして、基準撮像光学系ｓと参照撮像光学系ｇと参照撮像光学系ｈとの組合せの場合も、視差換算部２４が、ＳＡＤを算出する際の新たなずらし量を算出する。視差換算部２４が、新たなずらし量を算出する際に利用する刻み量は、（式１３）により求められる。

ここでＢｇは基準撮像光学系ｓと参照撮像光学系ｇとの間の基線長であり、ｐｉｔｃｈ＿ｇは基線長Ｂｇと平行な方向の画素ピッチである。なお、上述の通り基線長Ｂｇと基線長Ｂｈは同一である。したがって、視差換算部２４は、基準撮像光学系ｓと参照撮像光学系ｇ、及び、基準撮像光学系ｓと参照撮像光学系ｈのＳＡＤの推移を算出するときのずらし量を上述の刻み量Ｋｃから算出することができる。つまり、０画素、Ｋｇ画素、２・Ｋｇ画素、３・Ｋｇ画素、・・・というずらし方になる。

ここで、基準撮像光学系ｓと参照撮像光学系ａ〜ｈとのＳＡＤの推移を格納する変数を、それぞれＳａ（ｉ）、Ｓｂ（ｉ）、Ｓｃ（ｉ）、Ｓｄ（ｉ）、Ｓｅ（ｉ）、Ｓｆ（ｉ）、Ｓｇ（ｉ）、Ｓｈ（ｉ）とする。その場合、図２３のステップＳ２１４に示すように、相関値加算部７は、（式１４）によりＳＡＤの推移を合成（加算）する。このＳＡＤの推移の合成において利用するずらし量は、視差換算部２４が算出した新たなずらし量である。

このようにして、相関値加算部７が合成したＳＡＤの推移も、実施の形態１と同様に実際視差を基準として対称となる。また、実施の形態１と比べて、基準撮像光学系ｓに対して対称な２つの参照撮像光学系の組合わせの数が増加するので、平滑化効果によりＳＡＤの推移の変動が小さくなり、さらに、ＳＡＤの推移の直線性が向上する。

このように相関値加算部７が合成した相関値Ｓ＿ｓｕｍから、実施の形態２同様に、視差算出部８は、図２３のステップＳ２１５及びＳ２１６に示すように、サブピクセルレベルの視差を算出する。このとき、ＳＡＤの推移の直線性が向上したことで、低次の補間式を用いた場合に、対象物の輝度分布によらず高精度にサブピクセル視差を推定することが可能となる。

そして、視差算出部８が算出したサブピクセルレベルの視差に基づき、図２３のステップＳ２１７に示すように、後処理部９は出力に応じた形態に視差を変換してデータを出力する。例えば、対象物の三次元位置を出力する場合は、画像ｓの２次元画像座標系であるｍ（ｕｓ１、ｖｓ１）から、図２２の基準撮像光学系ｓの光軸と撮像領域２２ｓとの交点を原点とする２次元座標系であるｍｓ（ｘｓ１、ｙｓ１）に変換し、従来技術の説明と同様に（式１）、（式２）、（式３）を用いて画像ｓの各ブロックに対する三次元位置を求めることができる。このとき用いる基線長のパラメータは、基線長Ｂａ（基準撮像光学系ｓと参照撮像光学系ａとの間の基線長）を用いる。なお、（式１）の視差Ｐは上述の処理により算出されたサブピクセル視差に画素ピッチを掛けることで求めることができる。

以上のように、本実施の形態によれば、対象物の輝度の分布によらず相関値の推移が実際視差を基準に対称となるため、対象物によらず高精度にサブピクセル視差を推定することが可能な測距装置を提供することができる。また、基準撮像光学系ｓに対して光学中心が点対称な２つの参照撮像光学系の組合わせの数を増加することで、平滑化効果により相関値の推移の変動が小さくなり、低次の補間式を用いることで更に高精度なサブピクセル視差を推定可能な測距装置を提供できる。

（実施例）
本実施例では、従来のステレオカメラと本発明による測距装置との測距精度（視差検出精度）の比較シミュレーション結果の例を示す。図２４Ａ〜図２４Ｃは従来のステレオカメラの構成を示す。図２４Ｄ〜図２４Ｆは本発明による測距装置、つまり基準撮像光学系の光学中心に対して２つの参照光学系の光学中心を点対称に配置し、その２つの参照光学系の対が１つ以上構成されることにより、対象物の輝度分布によらず合成相関値が実際視差を基準として左右対称になる測距装置の構成を示す。図２４Ａ〜図２４Ｆにおいては、すべての光学系について焦点距離、水平及び垂直方向画素ピッチ、被写体距離は同一としている。各参照画像の基準撮像光学系に対する基線長は、水平及び垂直方向に基線が生じる場合はすべて同一、斜め方向に基線が生じる場合は水平方向の基線長のｓｑｒｔ（２）倍としている。実施の形態３で説明したような基線垂直方向誤差や基線方向誤差はここでは含んでいない。図２５Ａ〜図２５Ｄは、測距精度の比較に用いた被写体を示す図である。図２５Ａ〜図２５Ｄの各被写体については各光学系に応じて適切に理想的に０．１画素刻みで１０．０〜１１．０画素のずらし画像（視差画像）を作成し、比較シミュレーションに用いている。画像には実際の撮像素子で観測される程度の白色ノイズを加えている。図２６Ａ〜図２６Ｄは、図２５Ａ〜図２５Ｄの各被写体に対応する比較シミュレーション結果を示すグラフである。図２６Ａ〜図２６Ｄの各グラフの横軸は視差演算を行う際の演算ブロックサイズ（正方形演算ブロックの１辺の画素数）を示し、縦軸はそれぞれに対応する視差検出誤差を示している。各演算ブロック毎の視差検出誤差の算出方法は、図２５Ａ〜図２５Ｄの各被写体を該当演算ブロックサイズで領域分割し、各演算ブロック毎の視差検出誤差を被写体全領域で平均した値を示している。また、各演算ブロック毎の視差検出誤差は、０．１画素刻みで作成した１０．０〜１１．０画素のずらし画像（視差画像）のすべてのずらし量（視差画像）に対しての視差検出誤差の平均値を算出している（つまり、小数点以下が０．１画素刻みで０．０〜０．９のすべての視差量について検証している）。

図２６Ａ〜図２６Ｄの比較シミュレーション結果をみると分かるように、いずれの被写体においても、本発明による測距装置が従来のステレオカメラに比較して、大幅に視差検出誤差が低減（視差検出精度が向上）していることがわかる。

（変形例１）
上述の各実施の形態に係る測距装置は、本発明を説明するための一例であり、例えば、図２７Ａに示すような測距装置の構成でもよい。

図２７Ａは、本変形例に係る測距装置の撮像光学系の構成を示す図である。図に示すように、本変形例に係る測距装置は、基準撮像光学系ｓ及び参照撮像光学系ａ〜ｆと、基準撮像光学系ｓと参照撮像光学系ａ〜ｆとから算出された対象物の三次元位置（形状）に高解像度なカラーのテクスチャをマッピングするための２つのテクスチャ撮像光学系を備える。テクスチャ用撮像光学系は、任意の位置及び個数で配置してよい。その他、付加的な機能を追加するために本変形例に係る測距装置に新たな撮像光学系を追加してもよい。

（変形例２）
上述の各実施の形態に係る測距装置は、４つ又は８つの参照撮像光学系を備えていたが、６つの参照撮像光学系を備えてもよいことは言うまでもない。

図２７Ｂは、本変形例に係る測距装置の撮像光学系の構成を示す図である。図に示すように、本変形例に係る測距装置は７つの撮像光学系を備える。また、本変形例に係る測距装置において、参照撮像光学系ａの光学中心と参照撮像光学系ｂの光学中心とが略１直線上に基準撮像光学系ｓの光学中心を基準として点対称に配置され、参照撮像光学系ｃの光学中心と参照撮像光学系ｄの光学中心とが略１直線上に基準撮像光学系ｓの光学中心を基準として点対称に配置され、参照撮像光学系ｅの光学中心と参照撮像光学系ｆの光学中心とが略１直線上に基準撮像光学系ｓの光学中心を基準として点対称に配置されている。

本変形例に係る測距装置のように、本発明に係る測距装置は、略１直線上に基準撮像光学系を基準に光学中心が略対称に配置される２つの参照撮像光学系を複数有する構造であればよい。さらに複数、例えば１０個、１２個などの参照撮像光学系を備える測距装置であっても、本発明の効果を得ることができる。

ところで、上述の実施の形態４並びに変形例１及び２に係る測距装置のように、４以上の参照撮像光学系を備えている場合、参照撮像光学系の配置によっては、ブロックマッチング演算時のずらし量がサブピクセル単位となり、ブロックマッチング演算の時間が増大するときがある。そこで、ブロックマッチング演算時のずらし量がサブピクセル単位とならない、つまり、ブロックマッチング演算の演算時間が短くなる撮像光学系の配置について、図２８Ａ〜図２８Ｃを用いて説明する。

図２８Ａ〜図２８Ｃは撮像光学系の配置を表す図である。図２８Ａ〜図２８Ｃに示す各撮像光学系において、すべての撮像光学系の撮像領域を構成する画素の水平方向の配列は平行であり、かつ、すべての撮像光学系の撮像領域を構成する画素の垂直方向の配列は平行である。ここで、画素の配列方向（水平又は垂直）と平行な略１直線上に、基準撮像光学系を基準として光学中心が略点対称に配置される２つの参照撮像光学系を撮像光学系群１とする。また、画素の配列方向（水平又は垂直）と平行な略１直線上に、基準撮像光学系を基準として光学中心が略点対称に配置される他の２つ参照撮像光学系を撮像光学系群２とする。このとき、撮像光学系群１及び２において、基準撮像光学系ｓと２つの各参照撮像光学系との基線長は、それぞれＢ１及びＢ２である。また、撮像光学系群１及び２のブロックマッチング演算時のブロックのずらし方向つまり各基線長と平行な方向の画素ピッチは、それぞれｐ１及びｐ２である。

ここで、Ｂ１／ｐ１とＢ２／ｐ２とが整数倍の関係である場合、ブロックマッチング演算時のずらし量に対応したブロックを参照画像として選択するときに、ブロックの境界が画素の境界と一致する（参照画像の切出し座標が常に整数となる）。その結果、相関値算出部６が参照画像を選択する際に、バイリニア補間などの補間演算をする必要がなくなるので、演算時間を大幅に削減することが可能となる。

図２８Ａに示す撮像光学系において、撮像光学系群１を参照撮像光学系ａ及び参照撮像光学系ｂ、撮像光学系群２を参照撮像光学系ｃ及び参照撮像光学系ｄとする。ここで、垂直方向の画素ピッチと水平方向の画素ピッチは同一のｐ１（ｐ１＝ｐ２）である。基準撮像光学系ｓと参照撮像光学系ａとの基線長Ｂａと、基準撮像光学系ｓと参照撮像光学系ｃの基線長Ｂｃとの基線長は同一である。したがって、Ｂａ／ｐ１＝Ｂｃ／ｐ２が成立つため、ブロックマッチング演算時のずらし量ごとのブロックの境界が画素の境界と一致する。その結果、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。

図２８Ｂに示す撮像光学系では、図２８Ａの撮像光学系の配置に加え、画素配列に対して４５度の斜め方向に参照撮像光学系ｅ、ｆ、ｇ、ｈがそれぞれｓｑｒｔ（２）倍の基線長の長さの位置に配置されている。このとき、基準撮像光学系ｓと参照撮像光学系ｅ、ｆ、ｇ、ｈとの基線長と平行な方向の画素ピッチｐ２は、いずれも水平（垂直）方向の画素ピッチのｓｑｒｔ（２）倍（ｐ２＝ｓｑｒｔ（２）・ｐ１）となる。したがって、代表して参照撮像光学系ｅを撮像光学系群２と仮定して説明すると、Ｂｅ＝ｓｑｒｔ（２）・Ｂａであることも考慮すると、Ｂａ／ｐ１＝Ｂｅ／ｐ２が成立つ。Ｂｅは基準撮像光学系ｓと参照撮像光学系ｅとの基線長である。この場合も、ブロックマッチング演算時のずらし量に対応したブロックを参照画像として選択するときに、ブロックの境界が画素の境界と一致する（参照画像の切出し座標が常に整数となる）。その結果、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。

図２８Ｃに示す撮像光学系では、図２８Ａ及び図２８Ｂと異なり、水平方向の画素ピッチであるｐ１は、垂直方向の画素ピッチであるｐ２より長い。そこで水平方向及び垂直方向の画素ピッチの比と対応するように、基準撮像光学系ｓと参照撮像光学系ａ及びｂの基線長Ｂａは、基準撮像光学系ｓと参照撮像光学系ｃ及びｄの基線長Ｂｃより長い。つまり、Ｂａ／ｐ１＝Ｂｃ／ｐ２が成立するように各撮像光学系が配置されている。その結果、図２８Ａ及び図２８Ｂと同様に、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。

上述のように、各撮像光学系は、各撮像光学系の撮像装置である撮像領域を、構成する画素の位置関係にあわせて配置することで、ブロックマッチング演算の演算時間を大幅に削減することが可能となる。つまり、各撮像光学系は、各撮像光学系の撮像領域を構成する画素の配列方向及び距離と、各撮像光学系の基線の方向及び長さとが、相似となるように配置されることで、演算時間を大幅に削減することが可能となる。

（変形例３）
上述の各実施の形態に係る測距装置は、図２９Ａ及び図２９Ｂに示すように、各参照画像の光学中心が基準撮像光学系ｓの光学中心に対して略点対称であればよい。図２９Ａ及び図２９Ｂは本発明に係る測距装置を装置の別の例を測距装置の上側から見た図である。レンズ及び撮像素子以外の構成は省略している。図２９Ａに示すように、各光学系の光学中心を結ぶ基線と、各光学系の光軸とは垂直でなくてもよい。この場合は、視差探索時にブロックサイズをずらし量ごとに可変とする従来の視差探索手法を用いて各参照撮像光学系に対する相関値を導出すればよく、合成した相関値の推移の実際視差に対する対称性は損なわれないため本発明の効果を得ることが可能である。もしくはアフィン変換を用いたキャリブレーション（視点変換）により光軸と基線方向を垂直にして演算してもよい。また、図２９Ｂに示すように、各光学系の光軸は必ずしも平行である必要はない。光軸の方向はアフィン変換を用いたキャリブレーション（視点変換）により補正可能であるためである。

以上、本発明の実施の形態及び変形例に係る測距装置について説明したが、本発明の具体的な構成は、上述した各実施の形態及び各変形例に限られるものではない。また、互いに異なる実施の形態及び変形例における構成部を組み合わせてもよい。発明の要旨を逸脱しない範囲で種々の変更及び修正が可能である。

例えば、上述の各実施の形態及び各変形例に係る撮像光学系が、ベイヤー配列などのカラー撮像素子を備える場合であってもよい。この場合、一般的に知られるデモザイク処理等により高解像度化されたカラー画像を用いることで、上述の各実施の形態及び各変形例と同様に、高精度に視差が算出できる。

また、上述の各実施の形態及び各変形例において、基準撮像光学系の光学中心とその他の２つの参照撮像光学系の光学中心が１直線上に、基準撮像光学系の光学中心を基準として点対称に配置されていたが、基準撮像光学系の光学中心とその他の２つの参照撮像光学系の光学中心が略１直線上に、基準撮像光学系の光学中心を基準として略点対称に配置されてもよい。

ここでいう略１直線上及び略点対称とは、実施の形態３で説明した（式８）、（式１０）の条件を満たす範囲をいう。

また、上述の各実施の形態において相関値を算出する関数としてＳＡＤを用いていたが、例えばＺＮＣＣ（相互相関係数）を用いることも可能である。ＺＮＣＣを用いた場合、相関の最も高いときに相関値が１となり、相関が低いときに相関値が１未満となる。このように相関値の推移が最大となるずらし量を視差としてサブピクセルレベルで求める場合も、本発明を適用することができる。その他にも相関値を算出する関数として前述のＳＳＤやＮＣＣなども本発明を適用することができる。つまり、本発明によれば、相関値の推移が実際視差を基準として対称になるので、相関値の推移の極値の最大、最小に関わらず、高精度にサブピクセル視差を求めることが可能である。

また、上述の各実施の形態及び変形例に係る測距装置において、対象物の三次元位置又は距離を算出しなくてもよい。この場合、測距装置は複眼撮像装置と呼ばれることとなる。複眼撮像装置も測距装置と同様に、例えば、図１で示したような構成となる。ただし、測距装置と異なり、複眼撮像装置は対象物の三次元位置や距離を算出する後処理部９を含まない。

また、本発明は、上記のような測距装置として実現することができるだけでなく、上記のような測距装置が備える特徴的な構成部をステップとする測距方法又は視差算出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

また、本発明は、上記のような測距装置の構成部が有する機能の一部を実現する半導体集積回路（ＬＳＩ）として実現することもできる。

本発明は、同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することのできる複眼撮像装置、及び、装置から対象物までの距離又は対象物の三次元位置もしくは形状を求めることのできる測距装置に関するものであり、車載、監視、医療、ロボット、ゲーム、ＣＧ画像作成、立体画像用入力、デジタルカメラやデジタルビデオカメラのオートフォーカス用途などに有用である。

１ｓ、１ａ、１ｂ カメラ
２ｓ、２ａ、２ｂ、２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ、２１ｇ、２１ｈ レンズ
３ｓ、３ａ、３ｂ、２２ａ、２２ｂ、２２ｃ、２２ｄ、２２ｅ、２２ｆ、２２ｇ、２２ｈ 撮像領域
４ Ａ／Ｄ変換部
５ 前処理部
６ 相関値算出部
７ 相関値加算部
８ 視差算出部
９ 後処理部
１０ｓ、１０ａ、１０ｂ 光学中心
１１ｓ、１１ａ、１１ｂ 光軸
１２ 対象物
１３ 対象物の表面上の点
１４ｓ、１４ａ、１４ｂ、１５ｓ、１５ａ、１５ｂ ブロック
１６ａ、１６ｂ、１７ａ、１７ｂ 矢印
２０ 複眼カメラ
２３ 平滑化フィルタ部
２４ 視差換算部
２５ｓ 光学中心
５０、６０、７０、８０ 測距装置

Claims (11)

1. 同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する複眼撮像装置であって、
   前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、
   前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、
   前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、
   前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、
   前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段と
   を少なくとも備えることを特徴とする複眼撮像装置。
2. 前記視差算出手段は、前記相関値加算手段で加算されたずらし量ごとの相関値を、対称性を利用した補間式を用いて補間することにより、サブピクセルレベルの視差を算出する
   ことを特徴とする請求項１に記載の複眼撮像装置。
3. 前記複眼撮像装置は、４以上の参照撮像光学系を備え、
   前記４以上の参照撮像光学系の光学中心は、前記基準撮像光学系の光学中心に対して略点対称に配置された１対の第１の参照撮像光学系に係る基線の方向と、前記基準撮像光学系の光学中心に対して略点対称に配置された第１の参照撮像光学系の光学中心と異なる１対の第２の参照撮像光学系に係る基線の方向とが所定の角度傾くように配置される
   ことを特徴とする請求項１に記載の複眼撮像装置。
4. 前記４以上の参照撮像光学系は、前記第１の参照撮像光学系と前記基準撮像光学系との基線の長さである第１の基線長と、前記第２の参照撮像光学系と前記基準撮像光学系との基線の長さである第２の基線長とが異なるように配置され、
   前記相関値算出手段では、前記第２の参照撮像光学系で生成された参照画像の相関値を算出する際に、前記第２の基線長を前記第１の基線長で除した値に、前記第１の参照撮像光学系で生成された参照画像の相関値を算出する際に利用した第１のずらし量を乗じた値である第２のずらし量ごとに前記相関値を算出する
   ことを特徴とする請求項３に記載の複眼撮像装置。
5. 基準撮像光学系及び前記４以上の参照撮像光学系は、前記基準撮像光学系が有する撮像装置を構成する画素の位置関係と同一となるように配置される
   ことを特徴とする請求項３に記載の複眼撮像装置。
6. 前記基準撮像光学系の光学中心に対して略点対称に配置された対となる参照撮像光学系のそれぞれの対において、対のうち一方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心とを結ぶ直線と、対のうち他方の参照撮像光学系の光学中心との距離である光学中心位置誤差が、Ｄを対象物までの距離、ｐｉｔｃｈを画素ピッチ、ｆを焦点距離としたときに、
   光学中心位置誤差 ≦ Ｄ・ｐｉｔｃｈ・０．１５／ｆ
   を満たすことを特徴とする請求項１に記載の複眼撮像装置。
7. 前記基準撮像光学系の光学中心に対して略点対称に配置された対となる参照撮像光学系のそれぞれの対において、対のうち一方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心との間隔である第１基線長と、対のうち他方の参照撮像光学系の光学中心と前記基準撮像光学系の光学中心との間隔である第２基線長との長さの差である基線長誤差が、Ｄを対象物までの距離、ｐｉｔｃｈを画素ピッチ、ｆを焦点距離としたときに、
   基線長誤差 ≦ Ｄ・ｐｉｔｃｈ・０．２／ｆ
   を満たすことを特徴とする請求項１に記載の複眼撮像装置。
8. 前記複眼撮像装置は、さらに、前記基準画像及び前記参照画像に平滑化フィルタを施す前処理手段を備え、
   前記相関値算出手段では、前記平滑化フィルタを施した基準画像及び参照画像に基づいて前記相関値を算出する
   ことを特徴とする請求項１に記載の複眼撮像装置。
9. 同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することにより、前記対象物までの距離又は前記対象物の三次元位置を算出する測距装置であって、
   前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、
   前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系と、
   前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出手段と、
   前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算手段と、
   前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出手段と
   算出された視差と前記基準撮像光学系の焦点距離と前記基線の長さに基づき、前記測距装置から前記対象物までの距離又は前記対象物の三次元位置を算出する距離算出手段と
   を備えることを特徴とする測距装置。
10. 同一の対象物を撮像する複数の撮像光学系で生じる視差を算出する視差算出方法であって、
    前記複数の撮像光学系は、
    前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、
    前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系とを含み、
    前記視差算出方法は、
    前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出ステップと、
    前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算ステップと、
    前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出ステップと
    を含むことを特徴とする視差算出方法。
11. 同一の対象物を撮像する複数の撮像光学系で生じる視差を算出することにより、前記対象物までの距離又は前記対象物の三次元位置を算出する測距方法であって、
    前記複数の撮像光学系は、
    前記対象物を撮像することによって、基準画像を含む画像を生成する基準撮像光学系と、
    前記基準撮像光学系の光学中心に対してそれぞれの光学中心が略点対称に配置され、前記対象物を撮像することによって、参照画像を含む画像を生成する２以上の偶数の参照撮像光学系とを含み、
    前記測距方法は、
    前記２以上の偶数の参照撮像光学系のそれぞれについて、前記基準画像に類似する前記参照画像の画像位置を探索するために前記参照撮像光学系により生成された画像中の前記参照画像の探索位置を、前記基準撮像光学系の光学中心と前記参照撮像光学系の光学中心とを結ぶ直線である基線と平行な方向に沿ってずらしていった場合のずらし量ごとに、前記基準画像と前記参照画像との類似度を表す相関値を算出する相関値算出ステップと、
    前記２以上の偶数の参照撮像光学系のそれぞれについて算出された相関値を、対応するずらし量ごとに加算することにより合成相関値を算出する相関値加算ステップと、
    前記合成相関値に基づき、前記基準画像と前記参照画像との類似度が最大となるずらし量である視差をサブピクセルのレベルで算出する視差算出ステップと
    算出された視差と前記基準撮像光学系の焦点距離と前記基線の長さに基づき、前記測距装置から前記対象物までの距離又は前記対象物の三次元位置を算出する距離算出ステップと
    を含むことを特徴とする測距方法。

Images