JP5549283B2 - 距離取得装置 - Google Patents

Description

本発明は、複数のステレオ撮像系を用いて撮像される画像から被写体までの距離を検出する距離取得装置に関する。

携帯機機器や車載機器等において、被写体までの距離や被写体の三次元形状などの検出手段として、複数のステレオ撮像系を用いた距離取得装置（ステレオカメラ）が知られている。
ステレオカメラで撮影したステレオ画像から、カメラから被写体までの距離測定において、高い精度が求められるようになってきている。
特許文献１には、４つのレンズを持ったレンズアレイを使用した撮像装置が記載されている。
非特許文献１には、カメラをたくさん一列に並べてSSD（輝度差の２乗和）をとる方式が記載されている。
非特許文献２には、レンズアレイの不規則配置で測距精度を向上させる技術が記載されている。
特許文献２には、画像を補間してマッチングを行い、サブピクセル視差を計算する手法が記載されている。
特許文献３には、遠距離では距離分解能の高いマッチングアルゴ、短距離では距離分解能が低く処理速度が高いマッチングアルゴ、中間の距離ではその中間のマッチングアルゴを使用して処理速度と距離分解能の両立を図る手法が記載されている。
特許文献４には、画素単位での位置ずれを計算した後、画像を補間してマッチングを行い、サブピクセル視差を計算する手法が記載されている。
特許文献５には、マイクロレンズアレイを用いることで画像センサの薄型化と解像度を両立する手法が記載されている。

視差計算でサブピクセルレベルの視差を算出することは衆知の技術である。しかしながら、画素単位で視差を計算した後、視差を算出するための評価関数の評価値が画素単位で算出されるため、その評価値の極値を等角直線あるいは二次関数を使用してサブピクセルレベルの視差を推定している。
その方法は本来のサブピクセルレベルの視差に対して誤差を含むことがわかっており、そのため、特許文献４あるいは６では画素単位での視差を算出した後、画素補間して画像を拡大して、その拡大した画像を用いてサブピクセルレベルの視差を算出して距離測定の精度を向上させようとしてきた。
また、距離が遠くなるほどサブピクセルレベルの視差の誤差が距離測定の精度に悪影響を及ぼすので、特許文献５では、距離の大中小に応じて距離測定精度を均一にしようとして、視差計算のアルゴリズムを変更している。

しかしながら、画像を拡大してサブピクセルレベルの視差を計算したり、遠距離の場合に高精度の距離測定を行うための視差計算方法は演算量が多く、コストや時間がかかる。
ところで、本発明に係る距離取得装置は、一枚の画像センサにレンズアレイを搭載して超小型のステレオカメラを実現しようと言うものである。この場合のステレオカメラの基線長は数ミリメートルであり、自動車に搭載する場合には、その被写体距離は数十センチから２メートルぐらいになる。
この場合の視差はすでに一画素に満たない。従来の技術では、距離を測定する場合の視差は最低でも数画素以上を仮定して開発されてきたため、レンズアレイを用いて一枚の画像センサでステレオカメラを構成する方式にはその視差計算精度、距離測定精度演算速度が十分でない。
さらに、マシンビジョンの分野では、数センチ先の所定の距離に置かれたコインの表面のわずかな段差を測定したいといった何らかの物体を認識するという特定の応用場面である場合が多く、その場合には距離測定精度と共に実時間処理が求められることが多い。

本発明は、このような現状に鑑みてなされたもので、ステレオカメラで撮影したステレオ画像から、精度の高い距離測定を行うことができるとともに処理時間の短い距離取得装置の提供を、その目的とする。

上記目的を達成するために、本発明は、高精度な距離測定が必要な所定の視差範囲（距離範囲）だけに絞って精度の高い距離測定を行い、処理時間の短縮との両立を図ることとした。
具体的には、請求項１に記載の発明は、略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを入力する画像入力手段と、各画像ペアから視差を計算する複数の第一の視差検出手段と、第一の視差検出手段により検出された視差が所定の範囲の場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間し、第一の視差検出手段により検出された視差が所定の範囲でない場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間しない、複数の画像補間手段と、前記画素補間された領域を使用して視差を計算する複数の第二の視差検出手段と、第二の視差検出手段で検出される視差が存在する場合は当該視差を、第二の視差検出手段で検出される視差が存在しない場合は、第一の視差検出手段で検出した視差を、ステレオ撮像系の基線長に基づいて正規化する正規化手段と、正規化された視差を用いて視差類似評価を行う視差類似評価手段と、視差が類似している場合、正規化視差の平均を用いて被写体までの距離を検出する距離検出手段と、を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の距離取得装置において、前記視差類似評価手段は、正規化視差の差分が所定の値より小さい場合に各視差が類似していると評価することを特徴とする。
請求項３に記載の発明は、請求項１に記載の距離取得装置において、第一の視差検出手段および第二の視差検出手段は、画像間の相関値の極値を検出することで視差を検出し、前記視差類似評価手段は、正規化視差の差分が所定の値より大きい場合に各視差が類似していないと判定し、前記極値がより極値に近い方の値を有する視差を正しい正規化視差と判定し、前記距離検出手段はその正規化視差に基づいて被写体までの距離を検出することを特徴とする。
請求項４に記載の発明は、請求項１〜３のいずれか１つに記載の距離取得装置において、前記ステレオ撮像系は、被写体に対向する位置に設けられ、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる2以上のレンズペアから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられ、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像の集合である複眼像を撮像する撮像手段と、から構成され、前記画像入力手段は、前記撮像手段から入力した複眼像から複数の個眼像ペアを抽出することを特徴とする。

請求項５に記載の発明は、被写体に対向する位置に設けられ、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる２以上のレンズペアから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられ、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像の集合である複眼像を撮像する撮像手段と、前記撮像手段から入力した複眼像から複数の個眼像ペアを抽出する手段と、前記複数の個眼像ペアから視差を計算する複数の第一の視差検出手段と、第一の視差検出手段により検出された視差が所定の範囲の場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間し、第一の視差検出手段により検出された視差が所定の範囲でない場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間しない、複数の画像補間手段と、前記画素補間された領域を使用して視差を計算する複数の第二の視差検出手段と、第二の視差検出手段で検出される視差が存在する場合は当該視差を、第二の視差検出手段で検出される視差が存在しない場合は、第一の視差検出手段で検出した視差を、前記レンズアレイと前記撮像手段とを有するステレオ撮像系の基線長に基づいて正規化する正規化手段と、正規化された視差を用いて視差類似評価を行う視差類似評価手段と、視差が類似している場合、正規化視差の平均を用いて被写体までの距離検出する距離検出手段と、を有することを特徴とする。

請求項６に記載の発明は、請求項５に記載の距離取得装置において、前記視差類似評価手段は、正規化視差の差分が所定の値より小さい場合に各視差が類似していると評価することを特徴とする。
請求項７に記載の発明は、請求項５に記載の距離取得装置において、第一の視差検出手段および第二の視差検出手段は、画像間の相関値の極値を検出することで視差を検出し、前記視差類似評価手段は、正規化視差の差分が所定の値より大きい場合に各視差が類似していないと判定し、前記極値がより極値に近い方の値を有する視差を正しい正規化視差と判定し、前記距離検出手段はその正規化視差に基づいて被写体までの距離を検出することを特徴とする。

本発明によれば、誤差を含んだ視差が測定されたときでも安定して精度の高い距離測定が可能になる。
また、超小型の撮像装置を使った精度の高い距離測定が可能になる。

本発明の一実施形態に係る距離取得装置の制御系を含めた概要平面図である。 被写体方向からみた概要側面図である。 被写体距離とMTF特性との関係を示す図である。 撮像手段による複眼像を示す図である。 距離画像の生成工程を示すフローチャートである。 視差評価のフローチャートである。 他の実施例における視差評価のフローチャートである。 さらに別の実施例における視差評価のフローチャートである。 視差計算のフローチャートである。 画素補間のフローチャートである。 画素補間領域の設定を示す図である。 補間画素値算出の説明図である。

以下、本発明の実施形態を図を参照して説明する。
図１、図２に本実施形態に係る距離取得装置の構成の一実施例を示す。図１では、矢印方向に被写体があるものとし、距離取得装置により被写体を撮像する構成の断面模式図を示したものである。図２は、当該距離取得装置を被写体方向から観察したときの模式図であり、図１と共通する部品には共通する番号が付されている。
図１において、符号１はレンズアレイを示す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。
図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。符号１ａは被写体側の面に設けられたレンズを、符号１ｂは像側の面に設けられたレンズを示しており、１ａと１ｂがセットになって被写体の像を像面上で結像させる。

符号２は、レンズアレイ１における隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（遮光壁と呼ぶ）を示し、金属や樹脂等の撮像光線に対して不透明な材料からなる。
遮光壁２は、図２に示すように、レンズアレイ１の各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が隔壁として作用する。レンズアレイ１の像側の面と遮光壁２とが接着されている。
符号３は、板状部材に各レンズセットに対応して円形の孔を設けた開口アレイを示しており、レンズの絞りとして作用する。
レンズアレイ１の被写体側の面の平面部に設けられた突起部１ｃを介して開口アレイ３とレンズアレイ１は接着されている。符号４は、レンズアレイ１における各レンズセットにより撮像される被写体の像を撮像する撮像手段としてのCMOSセンサであり、基板５の上に実装されている。
符号６は筐体を示し、レンズアレイ１の被写体側の面と接着してレンズアレイ１、遮光壁２、開口アレイ３を保持し、基板５に接着されている。

レンズアレイ１の作用について説明する。レンズアレイ１を構成する各レンズセット１１１、１２１、１３１、１４１は、レンズ面が略同一の曲率半径を有しており、所定の距離以遠の被写体に焦点を合わせるように曲率半径が設定されている。
また各レンズセットは、２個のレンズセットのペアで、ステレオカメラレンズとして作用するように構成される。例えば図２において、１１１で示したレンズセットと、１３１で示したレンズセットは、２つでステレオカメラレンズとして作用するレンズセットペアを構成し、両レンズセットに対応した位置にあるCMOSセンサ４の画素領域と併せて、ステレオ撮像系としてのステレオカメラを構成している。
レンズセットペアを構成する光軸と略垂直な面内におけるレンズセットの間隔が、レンズセットペアにより構成されるステレオカメラの基線長となるので、前記ステレオカメラの基線長はＢ２である。レンズセット１２１と１４１、１１１と１４１、１２１と１３１でも同様にCMOSセンサの画素領域と併せて各々基線長がＢ１、Ｂ４、Ｂ３のステレオカメラを構成している。基線長Ｂ１からＢ４はそれぞれ異なる値を有する。

図３に、レンズアレイを構成する各レンズセットによるスルーフォーカスMTFの例を示す。符号７は各レンズセットに対応するスルーフォーカスＭＴＦ（ここでは被写体距離に伴うMTF変化）を表している。
スルーフォーカスMTF７では一定距離（Ｋ）以上は無限遠まで像がぼけないように設計されている。
曲率半径の設定に加えて、各レンズセットの焦点距離は、全てのレンズセットで等しくなるように設計されているので、各レンズセットによる光学倍率は被写体距離のみによっておよそ規定されるため、各レンズセットによる像のサイズは一定となる。したがって取得した複眼像の中から各レンズセットによる像サイズの相違を考慮しないですみ、また取得後の像を用いてなんらかの情報認識をする場合においても像サイズの相違の考慮は不要となる。

図２に示すように、装置を被写体方向から観察すると、各レンズにおいて実線で示された円は開口部（有効径）を表し、その直径は一定である。破線で示された円は、無効領域も含めたレンズ１ａの直径を表し、点線で示された円はレンズ１ｂの直径を表す。
次に、図１で示した装置により取得される画像について説明する。CMOSセンサ４による像は、図４に示したような複眼像になる。この場合は平面の写真を撮影したもので被写体はこの場合は遠くのある一定の距離にある。被写体が近くに存在すると、各個眼像はその位置に応じて上下左右で視差が生じる。
図４のＩ１１からＩ４１は、レンズアレイの各レンズに対応する個眼像であり、レンズセット数が４個で、レンズセットペアが４個であるため、個眼像数は４個、個眼像ペアは４個である。
図４で個眼像の周辺で黒くなっている領域は、遮光壁２で光がさえぎられ、影となっている領域である。各レンズセットで焦点距離は略等しいため各個眼像における像のサイズ、合焦状態は等しい。

図４の複眼像は、画像入力手段としての像キャプチャ部８でキャプチャされ、Ｉ１１からＩ４１の個眼像データに分けられて、画像補正部１０に転送される。画像補正部１０は、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、外部パラメータを利用して画像の歪み補正を行う。
カメラ固有の内部パラメータおよび外部パラメータはZhangの手法(゛A flexible new technique for camera calibration゛。 IEEE Transactions on Pattern Analysis and Machine Intelligence、 22(11):1330-1334、 2000)等を用いて求めることができる。
補正した画像は、それぞれ垂直方向の位置ずれ、レンズに起因する歪み、レンズのセンサへの取り付け歪みに起因する歪みが補正されている。したがって、基線長がＢ３やＢ４を持つステレオペア画像は、実質Ｂ２とＢ１の基線長を持つステレオカメラで撮影された画像として処理されることになる。

次に、ステレオ画像ペアＩ２１とＩ４１とから、視差検出部１１において視差を検出する（以下、この動作を「視差検出１」という）。この場合、視差検出部１１は第一の視差検出手段として機能する。
視差検出部１２、１３、１４における視差検出は、それぞれ視差検出２、視差検出３、視差検出４という。
画像補正を行った画像Ｉ２１とＩ４１とでは、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれていて、そのずれ量を検出する。そのずれ量が視差にあたる。
視差検出１を図９のフローチャートを用いて説明する。まず、ステレオ画像を入力する。この場合はステレオ画像ペアＩ２１とＩ４１である。次に、視差を計算する対象領域を設定する。この対象領域は図４でいえばＩ２１の小領域９である。
次に実際の視差計算１を実行する。視差計算１にはブロックマッチングという手法を利用する。ブロックマッチングでは、視差計算対象領域設定ブロックで設定したＩ２１の小さな領域９に対応する領域を検索するため、Ｉ４１からＩ２１の小領域９に対応する領域の近傍から小領域９'を切り出し、お互いの小領域の一致度を評価する評価値を算出する。

これは相関値の一種である。評価値として、二つの領域の間で輝度差の総和(SAD:Sum of Absolute Difference)や、輝度差の2乗和(SSD:Sum of Squared Difference)、正規化相互相関(NCC:Normarized Cross Correlation)などを求める。この場合、９'の位置を所定の範囲内で移動させてそれぞれの位置でSADやSSDの極小値あるいはNCCの極大値を与える９'の位置を検索することで画像間の位置ずれを画素単位で求めることができる。
画素単位の視差では精度が不足することが多いので、画素未満（サブピクセル）の視差も推定する。等角直線フィッティングやパラボラフィッティングを用いて評価値を補間し、評価値の真の極小値(SADやSSDの場合)や極大値(NCCの場合)を推定するのが一般的である。
また、評価値を計算するために用いるデータは輝度ではなく、輝度を微分(例えばDOG)した値を用いることも可能である。次に、計算した視差が所定の範囲内にあるかどうかを判定する。つまり、所望の距離にある物体のわずかな距離の差を検出したり、遠くにある物体の距離を精度よく検出するため、計算された視差があらかじめ定められた範囲にある場合には、もう一度高精度の視差計算を行う。
この場合、視差検出部１１は第二の視差検出手段として機能する。

そのため、画素補間を行う。この場合、視差検出部１１は画像補間手段として機能する。画素補間を行う理由は、視差計算１で求めたサブピクセルの視差が画素単位の視差の評価値から推定しているため、ある程度の誤差を含むから精度に限界があるためである。
それよりは画素を補間してたとえば画素間を1/10画素単位で補間してやれば視差計算は1/10画素精度で計算され、1/10画素未満の精度を評価値の極値推定という手法で得ることができる。
画素補間には、Sinc関数を用いた手法が理想的だが、Sinc関数を多項式展開して３次の項までを利用するキュービックコンボルーションという方法を使うほうが有効である。線形補間方法も考えられるがキュービックコンボルーションの方が画素を補間する方法としては優れている。

この画素補間について図１０、１１、１２を用いて説明する。図１０のフローチャートで、まず、視差計算１で得られた視差Ｄを取得する。視差Ｄとは、図１１で示すように、ステレオの右画像の基準ブロックと左画像の参照ブロックとがＤだけずれた時に両ブロックの一致度が最大となることを意味する。
そこで、さらにＤの精度を高めるため、画素補間領域を設定する。それが図１１の破線で示された領域である。この領域は左画像の評価値の極値を与えるブロックの領域を少し広げた領域である。たとえば、水平垂直方向それぞれに±０．５画素広げた領域を画素補間領域と設定する。
画素補間領域を設定した後、補間画素値を算出する。図１２に示したように、■で示した画素がもともとの画像の画素、□で示した画素が補間すべき画素を意味している。この例では、水平方向には1/10画素単位で画素を補間し、垂直方向には1/5画素単位で画素を補間することを示している。
画像補正部１０でステレオ画像間の位置ずれは水平方向にしか存在しないようにステレオ画像は補正されるが、それでも補正しきれない場合に備え、垂直方向にも1/5画素で補間した。もちろん、垂直方向に補間せず、水平方向のみに補間することも、演算量を減らすという意味では有効である。また、垂直方向にも1/10画素で補間することも視差検出精度を向上させられる。このようなことは、要求される距離検出精度がどれぐらいかによって決定されるべきである。

次に図９に示すように、視差計算２を実行する。視差計算２も視差計算１と同様にブロックマッチングを使用する。視差計算１では図１２の■単位でブロック位置をずらしてマッチングの評価値計算を行ったが、視差計算２では□単位でブロック位置をずらしてマッチングの評価値を計算する。
この場合、サブピクセル検出精度が高いといわれているPOC(Phase Only Correlation:位相限定相関)を用いることで、より精度の高い視差を計算することが可能になる。しかし、この計算は、フーリエ変換を使用するため、演算量が多い。
したがって、本発明のように、ある程度の精度がある視差を高速安価に計算できる方法を利用して計算した後、必要となる範囲においてのみ、高精度が可能になる演算量の多い視差計算方法を用いることでコストパフォーマンスを大きく向上させることができる。なお、POCを必要としないぐらいの視差検出精度を要求されている場合は、視差計算１で使用したSAD、SSD、NCCなどの方法を用いてもよい。
このようにして領域９に対する高精度な視差が計算された。視差計算の対象となる領域を順次画素単位で移動させて設定して、視差を検出していく。このようにして画像中の必要な領域に対する高精度のサブピクセルレベルの視差が計算され、視差画像として検出される。視差画像の各画素は画像Ｉ２１の各画素と対応している。また、視差が検出できなかった画素については、視差を０とする。

上記は、視差検出部１１について述べたが、視差検出部１２から視差検出部１４まで同様の構成である。
さらに、ステレオ画像ペアＩ１１、Ｉ３１からＩ１１、Ｉ４１までの３組の画像ペアに対しても同様に視差画像を計算する。
視差検出１から視差検出４の出力は視差画像だけでなく、視差を求めるために使用した各画素における評価値も同時に出力する。
このようにして、各ステレオ画像ペアにおける視差画像と各画素における評価値が計算されたので、視差評価部はそれぞれの視差がどれだけ確からしいかを視差類似評価手段としての視差評価部１５で評価し、被写体までの距離算出に適した視差を算出する。
視差評価は、まず視差検出１から視差検出４で検出された視差を、各ステレオ画像ペアを撮像する撮像系の基線長によらない値に正規化する。
この場合、視差評価部１５は正規化手段として機能する。
具体的には視差と被写体距離の関係は、式（１）のとおりであるので、式（１）を変形して式（２）のようにすると撮像系の基線長によらない正規化視差が得られる。つまり、視差検出１から視差検出４で求められた視差を（基線長×焦点距離）で割ればよい。
被写体距離＝基線長×焦点距離／（視差×センサ画素サイズ）・・（１）
正規化視差＝視差／（基線長×焦点距離）＝１／（センサ画素サイズ×被写体距離）・・（２）

視差評価において、視差検出１の結果と視差検出３の結果の二つだけを利用すると視差評価を簡単に行うことができる。
なぜならば、Ｉ２１が共通に使用されており、しかも視差をＩ２１を基準に検出するので、各ステレオ画像ペアの対応する視差の位置ずれがないため、視差の位置を補正する必要がないからである。
すなわち、視差検出１のある画素（ｘ、ｙ）における視差と視差検出３の同じ位置の画素（ｘ、ｙ）の視差とを評価するだけでよい。二つの正規化視差の差分を計算し、その差分の絶対値が所定の閾値より小さい場合は、正規化視差の平均をとり、距離算出のための視差とする。
また、正規化視差の差分の絶対値が所定の閾値より大きい場合は、視差検出の際に使用した評価値の比較を行い、評価値がより極値に近い（ＳＡＤやＳＳＤを利用した場合は小さい値、ＮＣＣやＰＯＣを利用した場合は大きい値）方である視差値を正しい正規化視差として、距離検出手段としての距離算出部１６による距離算出に使用する。

被写体までの距離は（２）の式を変形した式（３）で求められる。
被写体距離＝１／（センサ画素サイズ×正規化視差）・・（３）
図５に、複眼像から個眼像を抽出し、各ステレオ画像ペアを用いて視差検出、視差評価、距離画像を得るまでの処理のフローを示す。また、図６に視差評価のフローの実施例、図７に他の実施例を示す。
図７に示すように視差検出２の結果と視差検出４の結果の二つだけを利用して視差評価を行い、距離算出に使用する視差を算出することもできる。この場合の視差は、視差検出１と視差検出３の結果を利用して算出した視差とは垂直方向に（正規化視差×基線長×焦点距離）画素だけずれている。
つまり、レンズセット１１１とレンズセット１２１の光学中心間の距離を基線長としたレンズセット１１１と１２１のステレオカメラとみなすことができる。
さらに視差検出結果１、３と視差検出結果２、４の正規化視差の比較を行ってより精度の高い距離検出も可能になる。これについては図８を用いて後述する。

図８に視差検出１から視差検出４の全ての視差を用いた視差評価の実施例を示す。これについて述べる。視差評価の前半部分は開始から分岐して図６、図７に示したものを並列に実施する。その後、図６で算出した各画素の正規化視差に基づいて、図７で対応する画素位置を求める。
この場合は垂直方向にどれだけ位置がずれているかを算出することになる。次に、対応するそれぞれの画素位置における正規化視差を取得する。その二つの正規化視差の差分の絶対値が所定の閾値より小さい場合は、正規化誤差の平均を取る。
また、その値が所定の閾値より大きい場合は、視差の評価値のもっとも極値に近い評価値を有する正規化視差を選択し、被写体距離算出に使用する。全画素について処理を実行したら本処理は終了する。

本発明は、光学系と撮像素子を用いる情報の撮像装置分野、距離及び三次元形状を検出する計測装置分野等に適用でき、工業用画像センサ、車載用画像センサ、監視画像センサ等の各種画像センサに応用することができる。

１ レンズアレイ
４ 撮像手段としてのCMOSセンサ
８ 画像入力手段としての画像キャプチャ部
１１、１２、１３、１４ 第一の視差検出手段としての視差検出部
１１、１２、１３、１４ 画像補間手段としての視差検出部
１１、１２、１３、１４ 第二の視差検出手段としての視差検出部
１５ 正規化手段としての視差評価部
１５ 視差類似評価手段としての視差評価部
１６ 距離検出手段としての距離算出部

特開２００３−１４３４５９号公報 特開２００５−２５０９９４号公報 特許第４０５３２８２号公報 特開２００８−３０４２０２号公報 特開２００７−７４７０９号公報

「A Multiple-Baseline Stereo」Takeo Kanade, IEEE PAMI, Vol.15, No.4, April 1993 「単一撮像素子を用いた小型複眼カメラにおける画質と距離精度の向上」 大阪大学，2008年10月21日，映像情報メディア学会技術報告

Claims (7)

1. 略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを入力する画像入力手段と、
   各画像ペアから視差を計算する複数の第一の視差検出手段と、
   第一の視差検出手段により検出された視差が所定の範囲の場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間し、第一の視差検出手段により検出された視差が所定の範囲でない場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間しない、複数の画像補間手段と、
   前記画素補間された領域を使用して視差を計算する複数の第二の視差検出手段と、
   第二の視差検出手段で検出される視差が存在する場合は当該視差を、第二の視差検出手段で検出される視差が存在しない場合は、第一の視差検出手段で検出した視差を、ステレオ撮像系の基線長に基づいて正規化する正規化手段と、
   正規化された視差を用いて視差類似評価を行う視差類似評価手段と、
   視差が類似している場合、正規化視差の平均を用いて被写体までの距離を検出する距離検出手段と、
   を有することを特徴とする距離取得装置。
2. 請求項１に記載の距離取得装置において、
   前記視差類似評価手段は、正規化視差の差分が所定の値より小さい場合に各視差が類似していると評価することを特徴とする距離取得装置。
3. 請求項１に記載の距離取得装置において、
   第一の視差検出手段および第二の視差検出手段は、画像間の相関値の極値を検出することで視差を検出し、
   前記視差類似評価手段は、正規化視差の差分が所定の値より大きい場合に各視差が類似していないと判定し、前記極値がより極値に近い方の値を有する視差を正しい正規化視差と判定し、
   前記距離検出手段はその正規化視差に基づいて被写体までの距離を検出することを特徴とする距離取得装置。
4. 請求項１〜３のいずれか１つに記載の距離取得装置において、
   前記ステレオ撮像系は、被写体に対向する位置に設けられ、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる2以上のレンズペアから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられ、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像の集合である複眼像を撮像する撮像手段と、から構成され、
   前記画像入力手段は、前記撮像手段から入力した複眼像から複数の個眼像ペアを抽出することを特徴とする距離取得装置。
5. 被写体に対向する位置に設けられ、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる２以上のレンズペアから構成されてなるレンズアレイと、
   前記レンズアレイの像面側に設けられ、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像の集合である複眼像を撮像する撮像手段と、
   前記撮像手段から入力した複眼像から複数の個眼像ペアを抽出する手段と、
   前記複数の個眼像ペアから視差を計算する複数の第一の視差検出手段と、
   第一の視差検出手段により検出された視差が所定の範囲の場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間し、第一の視差検出手段により検出された視差が所定の範囲でない場合には、前記視差検出に使用した画素を含む各画像ペアの一方の画像の領域において画素を補間しない、複数の画像補間手段と、
   前記画素補間された領域を使用して視差を計算する複数の第二の視差検出手段と、
   第二の視差検出手段で検出される視差が存在する場合は当該視差を、第二の視差検出手段で検出される視差が存在しない場合は、第一の視差検出手段で検出した視差を、前記レンズアレイと前記撮像手段とを有するステレオ撮像系の基線長に基づいて正規化する正規化手段と、
   正規化された視差を用いて視差類似評価を行う視差類似評価手段と、
   視差が類似している場合、正規化視差の平均を用いて被写体までの距離検出する距離検出手段と、
   を有することを特徴とする距離取得装置。
6. 請求項５に記載の距離取得装置において、
   前記視差類似評価手段は、正規化視差の差分が所定の値より小さい場合に各視差が類似していると評価することを特徴とする距離取得装置。
7. 請求項５に記載の距離取得装置において、
   第一の視差検出手段および第二の視差検出手段は、画像間の相関値の極値を検出することで視差を検出し、
   前記視差類似評価手段は、正規化視差の差分が所定の値より大きい場合に各視差が類似していないと判定し、前記極値がより極値に近い方の値を有する視差を正しい正規化視差と判定し、
   前記距離検出手段はその正規化視差に基づいて被写体までの距離を検出することを特徴とする距離取得装置。

Images