JP5375531B2 - 距離画像取得装置及び距離画像取得処理方法 - Google Patents

Description

本発明は、マイクロレンズアレイと撮像素子を用いて撮像された複眼像から高精度な距離画像を取得する技術に関する。

携帯機器、車載機器、医療機器や産業機器等において、被写体までの距離や被写体の三次元形状などを検出手段として、距離画像取得装置への要求が高くなっている。そして、当該距離画像取得装置の場所を選ばない設置を可能とするために、装置の小型、薄型化も望まれている。また、正確な距離と画像の情報を取得するためには、焦点の合った画像をできるだけ離した位置に設置した二つのカメラから得ることが必要である。

距離画像取得装置において、測定距離の精度を向上を図った従来例には、非特許文献１がある。ここでは、同一のカメラを複数台一列に並べ、各カメラのステレオペアから得られる相関値の値の和をとることで、視差の誤検出を少なくしている。しかしながら、これには、装置が大掛かりになり、大規模になり、コストがかかるなどの欠点がある。

また、特許文献１や非特許文献２にはマイクロレンズアレイを用いた複眼撮像系を使用して、装置の小型化を達成することが記載されている。しかしながら、小型化した場合、二台のカメラの距離（基線長）が小さくなるので距離測定精度は低下する。特許文献１では、複数の光学系ブロックが一体形成された光学ブロックアレイから複数のステレオペアを組み、複数の測定距離の平均をとることで、距離測定の精度向上を実現している。しかしながら、各ステレオペアの基線長の相違について考慮されていないため、精度向上には限界がある。

非特許文献２は、特許文献１と同様にマイクロレンズアレイを使用して距離測定の精度向上を狙ったもので、そのレンズ配置を不規則にしたものである。この不規則配置の狙いは、距離測定精度の向上でひとつの画像センサーで距離測定しようという超短基線長のステレオカメラで距離の測定精度を向上させようと言うものである。しかしながら、この手法は超解像処理を利用するため、高負荷で非リアルタイム処理であるので組み立て製造に使う産業機器、車載機器などのリアルタイム性が必要な分野で使用することができない。

本発明は、超短基線長マイクロレンズアレイを用いた複眼撮像系（ステレオカメラ）を使用し、リアルタイム性があり、距離測定精度の更なる向上を図った距離画像取得装置及び距離画像取得処理方法を提供することを目的としている。

請求項１の発明は、略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ手段と、前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出手段と、前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段とを有する距離画像取得装置であって、
前記視差評価手段は、少なくとも二つの視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差とすることを特徴とする。

請求項２の発明は、請求項１記載の距離画像取得装置において、各ステレオ画像ペアを構成する画像の歪み補正を行う画像補正手段を更に有し、前記視差評価手段は、少なくとも二つの視差画像として、第１の画像と該第１の画像を基準に補正された第２の画像とから検出された第１の視差画像と、前記第１の画像と該第１の画像を基準に補正された第３の画像とから検出された第２の視差画像を用いることを特徴とする。

請求項３の発明は、略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ手段と、前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出手段と、前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段とを有する距離画像取得装置であって、
前記視差評価手段は、複数の視差画像を、少なくとも第１の視差画像と第２の視差画像の組と、第３の視差画像と第４の視差画像の組に分け、前記第１の視差画像と前記第２の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第１正規化視差候補）とし、前記第３の視差画像と前記第４の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第２正規化視差候補）とし、前記第１の視差画像と前記第２の視差画像による第１正規化視差候補と、前記第３の視差画像と前記第４の視差画像による第２正規化視差候補との対応する画素位置を求めて、該対応する画素の第１正規化視差候補と第２正規化視差候補との差分を計算し、前記差分が所定の閾値より小さい場合には、該第１および第２正規化視差候補の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には評価値の小さい方の正規化視差候補を選択して距離算出の正規化視差とすることを特徴とする。

請求項４の発明は、請求項３記載の距離画像取得装置において、各ステレオ画像ペアを構成する画像の歪み補正を行う画像補正手段を更に有し、前記視差評価手段は、第１の画像と該第１の画像を基準に補正された第２の画像とから検出された第１の視差画像と、前記第１の画像と該第１の画像を基準に補正された第３の画像とから検出された第２の視差画像の組、及び、第４の画像と該第４の画像を基準に補正された第３の画像とから検出された第３の視差画像と、前記第４の画像と該第４の画像を基準に補正された第２の画像とから検出された第４の視差画像の組を用いることを特徴とする。

請求項５の発明は、被写体に対向する位置に設けられた、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる２以上のレンズペアから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像手段と、前記複眼像から複数の個眼像ペアを抽出する画像キャプチャ手段と、前記複数の個眼像ペアから複数の視差画像を検出する視差検出手段と、前記複数の視差画像の各視差を、当該個眼像ペアが得られるレンズペアの光学中心の距離に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段とを有する距離画像取得装置であって、前記視差評価手段は、少なくとも二つの視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差とすることを特徴とする。

請求項６の発明は、被写体に対向する位置に設けられた、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる２以上のレンズペアから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像手段と、前記複眼像から複数の個眼像ペアを抽出する画像キャプチャ手段と、前記複数の個眼像ペアから複数の視差画像を検出する視差検出手段と、前記複数の視差画像の各視差を、当該個眼像ペアが得られるレンズペアの光学中心の距離に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段とを有する距離画像取得装置であって、
前記視差評価手段は、複数の視差画像を、少なくとも第１の視差画像と第２の視差画像の組と、第３の視差画像と第４の視差画像の組に分け、前記第１の視差画像と前記第２の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差候補（以下、第１正規化視差候補）とし、前記第３の視差画像と前記第４の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差候補（以下、第２正規化視差候補）とし、前記第１の視差画像と前記第２の視差画像による第１正規化視差候補と、前記第３の視差画像と前記第４の視差画像による第２正規化視差候補との対応する画素位置を求めて、対応する画素の第１正規化視差候補と第２正規化視差候補との差分を計算し、前記差分が所定の閾値より小さい場合には、該第１および第２正規化視差候補の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には評価値の小さい方の正規化視差候補を選択して距離算出の正規化視差とすることを特徴とする。

請求項７の発明は、請求項５又は６のいずれか１項に記載の距離画像取得装置において、前記レンズアレイと前記撮像手段からなる撮像ユニットと、前記画像キャプチャ手段と前記視差検出手段と前記視差評価手段と前記距離算出手段、あるいは更に前記画像補正手段を含む処理ユニットが、同一基板上に形成されていることを特徴とする。

請求項８の発明は、略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ過程と、前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出過程と、前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価過程と、前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出過程とを有する距離画像取得処理方法であって、
前記視差評価過程は、少なくとも二つの視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差とすることを特徴とする。

請求項９の発明は、略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ過程と、前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出過程と、前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価過程と、前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出過程とを有する距離画像取得処理方法であって、
前記視差評価過程は、複数の視差画像を、少なくとも第１の視差画像と第２の視差画像の組と、第３の視差画像と第４の視差画像の組に分け、前記第１の視差画像と前記第２の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第１正規化視差候補）とし、前記第３の視差画像と前記第４の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第２正規化視差候補）とし、前記第１の視差画像と前記第２の視差画像による第１正規化視差候補と、前記第３の視差画像と前記第４の視差画像による第２正規化視差候補との対応する画素位置を求めて、該対応する画素の第１正規化視差候補と第２正規化視差候補との差分を計算し、前記差分が所定の閾値より小さい場合には、該第１および第２正規化視差候補の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には評価値の小さい方の正規化視差候補を選択して距離算出の正規化視差とすることを特徴とする。

本発明の距離画像取得装置及び距離画像取得処理方法によれば、正規化された視差を用いて視差類似評価を行い、その評価結果の正規化視差により被写体までの距離を算出するので、精度の高い距離画像を得ることができる。また、本発明の距離画像取得装置では、マイクロレンズアレイを構成に加えることで、さらにリアルタイム性を実現することができる。

本発明の距離画像取得装置の一実施形態の全体構成図である。 図１のレンズアレイ面を示す図である。 本発明の距離画像取得装置のレイアウト図である。 レンズアレイを構成する各レンズセットのスルーフォーカスＭＴＦ特性を示す図である。 レンズアレイを通して撮像された複眼像の一例を示す図である。 距離画像取得処理の全体フローチャートである。 視差評価処理の一実施例の詳細フローチャートである。 視差評価処理の他の実施例の詳細フローチャートである。 視差評価処理の更に他の実施例の詳細フローチャートである。

以下、本発明の実施の携帯について図面を参照して説明する。

図１、図２に本発明の距離画像取得装置の一実施形態の全体構成図を示す。図１は、矢印方向に被写体があるものとし、該被写体を撮像する撮像ユニットの断面模式図及び撮像ユニットにより撮像された画像により距離画像を演算する演算器を示したものである。図２は、撮像ユニットを被写体方向から観察した時の模式図である。図１と図２で共通する部分には共通の符号が付されている。

図１において、１はレンズアレイを表わしている。レンズアレイ１は被写体側の面と像側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズで、１ｂは像側の面に設けられたレンズであり、１ａと１ｂとがセット（以下、レンズセット）となって被写体の像（単眼像）を像面上に結像させる。図２に示すように、本実施例では、レンズアレイ１は４つのレンズセット１１１，１２１，１３１，１４１から構成されている。

なお、レンズアレイは、被写体側あるいは像側のいずれか一方の面のみにレンズ面が設けられた片面レンズアレイとすることでもよい。

２は、レンズアレイ１における隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（遮光壁）であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁２は、図２に示したように、レンズアレイ１の各レンズセット１１１，１２１，１３１，１４１に対応して矩形の孔があけられており、孔と孔の間の壁が隔壁として作用する。遮光壁２は、レンズアレイ１の像側の面に接着されている。３は、板状部材に、各レンズセット１１１，１２１，１３１，１４１に対応して円形の孔３ａを設けた開口アレイであり、レンズの絞りとして作用する。開口アレイ３は、レンズアレイ１の被写体側の面の平面部に設けられた突起部１ｃを介してレンズアレイ１に接着されている。４は、レンズアレイ１における各レンズセット１１１，１２１，１３１，１４１により撮像される被写体の像を撮像するＣＭＯＳセンサなどの撮像素子であり、基板５の上に実装されている。６は筐体であり、レンズアレイ１の被写体側の面と接着してレンズアレイ１、遮光壁２、開口アレイ３を保持し、また、基板５に接着されている。

１０は、撮像素子４で撮像される画像を入力して距離画像を算出する演算器であり、画像キャプチャ部１１、画像補正部１２、視差検出部１３、視差評価部１４、距離算出部１５からなる。

図３に、本距離画像取得装置のレイアウト図を示す。図３（ａ）は、基板２０上に、光学系２１とイメージセンサ（ＣＭＯＳセンサ）２２からなる撮像ユニット２３、及び、コントローラ２４とメモリ２５からなる処理ユニット２６が形成されていることを示している。図３（ｂ）は、撮像ユニット２３と処理ユニット２６を分解して示したものである。ここで、撮像ユニット２３は、図１、図２に示した構成を有する。処理ユニット２６のコントローラ２４に図１の演算器１０が含まれる。メモリ２５は画像データや処理途中の種々のデータ等を保持するためのものである。なお、図３の基板２０は、図１や図２の基板５と同じものである。基板２０の全体の大きさは、例えば２０mm×１５mm程度であり、撮像ユニット２３の縦横は、例えば１０mm×１０mm程度であり、高さは３mm程度である。

図１、図２に戻り、まず、レンズアレイ１の作用について説明する。レンズアレイ１を構成する各レンズセット１１１、１２１、１３１、１４１は、レンズ面が略同一の曲率半径を有しており、所定の距離以遠の被写体に焦点を合わせるように曲率半径が設定されている。また、各レンズセットは、２個のレンズセットのペアで、ステレオカメラレンズとして作用するように構成される。例えば、図２において、１１１で示したレンズセットと、１３１で示したレンズセットは、２つでステレオカメラレンズとして作用するレンズセットペアを構成し、両レンズセットに対応した位置にある撮像素子４の画素領域と併せてステレオカメラを構成している。レンズセットペアを構成する光軸と略垂直な面内におけるレンズセットの間隔が、レンズセットペアにより構成されるステレオカメラの基線長となるので、前記レンズセット１１１とレンズセット１３１で構成されるステレオカメラの基線長はＢ２である。レンズセット１２１と１４１、１１１と１４１、１２１と１３１のペアでも、同様に撮像素子４の画素領域と併せて各々基線長がＢ１、Ｂ４、Ｂ３のステレオカメラを構成している。基線長Ｂ１からＢ４はそれぞれ異なる値を有する。例えば、基線長Ｂ１は３．０６mm、Ｂ２は２．６７mmの値である。

図４に、レンズアレイ１を構成する各レンズセットによるスルーフォーカスＭＴＦの例を示す。曲線は各レンズセットに対応するスルーフォーカスＭＴＦ（ここでは被写体距離に伴うＭＴＦ変化）を表している。図４に示すように、各レンズセットは、一定距離（Ｋ）以上では無限遠まで像がぼけないように設計されている。

曲率半径の設定に加えて、各レンズセットの焦点距離は、全てのレンズセットで等しくなるように設計されているので、各レンズセットによる光学倍率は被写体距離のみによっておよそ規定されるため、各レンズセットによる像のサイズは一定となる。したがって取得した複眼像の中から各レンズセットによる像サイズの相違を考慮しないですみ、また取得後の像を用いてなんらかの情報認識をする場合においても像サイズの相違の考慮は不要となる。

図２のように、撮像ユニットを被写体方向から観察すると、各レンズセット１１１、１２１、１３１、１４１において実線で示された円は開口部（有効径）を表し、その直径は一定である。破線で示された円は、無効領域も含めたレンズ１ａの直径を表し、点線で示された円はレンズ１ｂの直径を表す。

次に、図１、図２の撮像ユニットにより取得される画像について説明する。本実施例では、撮像素子（ＣＭＯＳセンサ）４による像は、図５に示したような４つの個眼像からなる複眼像８になる。図５の例は、平面の写真を撮影したもので、この場合、被写体は遠くのある一定の距離にある。被写体が近くに存在すると、各個眼像はその位置に応じて上下左右で視差が生じる。図５のＩ１１、Ｉ２１、Ｉ３１、Ｉ４１は、レンズアレイ１の各レンズセット１１１、１２１、１３１、１４１に対応する個眼像を示している。図５で各個眼像の周辺で黒くなっている領域は、遮光壁２で光がさえぎられ、影となっている領域である。各レンズセットで焦点距離は略等しいため各個眼像における像のサイズ、合焦状態は等しい。ここで、レンズセット１１１と１３１、１２１と１４１、１１１と１４１、１２１と１３１のペアに対応して、それぞれＩ１１とＩ３１、Ｉ２１とＩ４１、Ｉ１１とＩ４１、Ｉ２１とＩ３１の４組の個眼像ペア（ステレオ画像ペア）が得られる。

次に、図１の演算器１０の動作を説明する。図６に演算器１０での距離画像取得処理の全体フローチャートを示す。

撮像素子４で得られた図５のような複眼像は、画像キャプチャ部１１でキャプチャされ、Ｉ１１，Ｉ２１，Ｉ３１，Ｉ４１の個眼像データに分けられ、さらに、Ｉ１１とＩ３１、Ｉ２１とＩ４１、Ｉ１１とＩ４１、Ｉ２１とＩ３１の個眼像ペア（ステレオ画像ペア）に分けられる（ステップ１０１）。これら個眼像ペアは画像補正部１２に転送される。

画像補正部１２は、各個眼像ペアについて、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、外部パラメータを利用して画像の歪み補正を行う（ステップ１０２）。カメラ固有の内部パラメータおよび外部パラメータはZhangの手法(“A flexible new technique for camera calibration”．IEEE Transactions on Pattern Analysis and Machine Intelligence，22(11):1330-1334，2000)等を用いることで求めることができる。例えば、各個眼像は周辺に行くほど画像にゆがみが生じているので、個眼像ごとに、歪曲補正を行う。その後、ある個眼像ペアについて、左側の画像を基準にして右側の画像を変形、補正する。補正した画像は、それぞれ垂直方向の位置ずれが補正されている。したがって、基線長がＢ３やＢ４を持つ個眼像ペアは、Ｂ２やＢ１の基線長を持つステレオカメラで撮影された画像と同様の処理を行うことが可能になる。画像補正部１２は、画像補正した各個眼像ペアを視差検出部１３に転送する。

視差検出部１３は、画像補正された各個眼像ペア（ステレオ画像ペア）から視差画像を検出する（ステップ１０３）。視差検出部１３は４つの視差検出部（１）〜（４）からなり、視差検出部（１）では個眼像ペアＩ２１とＩ４１から視差画像１を検出し、視差検出部（２）では個眼像ペアＩ１１とＩ３１から視差画像２を検出し、視差検出部（３）では個眼像ペアＩ２１とＩ３１から視差画像３を検出し、視差検出部（４）では個眼像ペアＩ１１とＩ４１から視差画像４を検出する。ここでは、図５を参照し、視差検出部（１）を例にして視差検出処理について詳述する。

画像補正を行った画像Ｉ２１とＩ４１では、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれている。そのずれている位置を検出する。そのずれ量が視差にあたる。視差計算には、ブロックマッチングという手法を利用する。視差検出部（１）では、画像Ｉ２１から小領域９を切り出し、それに対応する領域を検索するため、画像Ｉ４１から小領域９’を切り出し、評価値を計算する。評価値は、相関値の一種であり、二つの領域の間で輝度差の総和(ＳＡＤ：Sum of Absolute Difference)や、輝度差の２乗和(ＳＳＤ：Sum of Squared Difference)などを利用することができる。ここで、画像Ｉ２１の小領域９の位置を基準に、画像Ｉ４１の小領域９’の位置を所定の範囲内で移動させてそれぞれの位置でＳＡＤやＳＳＤの極小値を与える切り出し位置を検索することで、画像間の位置ずれ（視差）を画素単位で求めることができる。画素単位の視差では精度が不足することが多いので、画素未満（サブピクセル）の視差も推定する。等角直線フィッティングやパラボラフィッティングを用いて評価値を補間し、真の極小値を推定するのが一般的である。視差計算方法は周知・公知技術であるので、詳細は省略する。また、ＳＡＤやＳＳＤを計算するために用いるデータは輝度ではなく、輝度を微分（例えばＤＯＧ）した値を用いることも可能である。このようなブロックマッチングを各画素について繰り返すことで、全画素に対するサブピクセルレベルの視差が計算され、視差画像１として検出される。ここで、視差画像１の各画素は画像Ｉ２１の各画素と対応している。なお、視差が検出できなかった画素については、視差を０とする。

同様にして、視差検出部（２）〜（４）でも、それぞれＩ１１とＩ３１、Ｉ２１とＩ３１、Ｉ１１とＩ４１の個眼像ペア（ステレオ画像ペア）に対して視差画像２〜４を検出する。

視差検出部（１）〜（４）は、視差画像１〜４とともに、当該視差画像の各画素における評価値（ＳＡＤやＳＤＤの値）を出力する。

視差評価部１４は、各個眼像ペアにおける視差画像１〜４とその視差画像の各画素における評価値を入力して、それぞれの視差がどれだけ確からしいか評価し、被写体までの距離算出に適した視差を算出する（ステップ１０４）。

視差評価部１４では、まず、視差検出部（１）から視差検出部（４）で検出された視差画像１〜４を、各個眼像ペア（ステレオ画像ペア）を撮像する撮像系の基線長によらない値に正規化する。具体的には視差と被写体距離の関係は、式（１）のとおりであるので、式（１）を変形して式（２）のようにすると撮像系の基線長によらない正規化視差が得られる。つまり、視差検出部（１）から視差検出部（４）で検出された視差画像１〜４のそれぞれについて、各画素の視差を（基線長×焦点距離）で割ればよい。
被写体距離＝基線長×焦点距離／（視差×センサ画素サイズ） （１）
正規化視差＝視差／（基線長×焦点距離）＝１／（センサ画素サイズ×被写体距離）
（２）

次に、視差画像１〜４について、正規化された視差（正規化視差）を用いて、各画素の視差を評価（視差類似評価）し、被写体までの距離算出に適した視差（正規化視差）を算出する。具体的には、視差画像１と３や２と４、あるいは視差画像１〜４すべてを利用して視差評価を行う。

例えば、視差画像１と視差画像３の二つだけを利用すると視差評価を簡単に行うことができる。なぜならば、視差画像１と視差画像３では、画像Ｉ２１が共通に使用されており、しかも画像補正でＩ２１を基準にＩ４１やＩ３１が補正されているので、対応する視差の位置ずれがないため、視差の位置を補正する必要がないからである。すなわち、視差画像１のある画素（ｘ、ｙ）における視差と視差画像３の同じ位置の画素（ｘ、ｙ）の視差とを評価するだけでよい。ここでは、二つの正規化視差の差分を計算し、その差分の絶対値が所定の閾値より小さい場合は、正規化視差の平均をとり、距離算出のための視差（正規化視差）とする。また、正規化視差の差分の絶対値が所定の閾値より大きい場合は、視差検出の際に使用した評価値の比較を行い、評価値の小さい方を、より確からしい正規化視差として距離算出に使用する。これを視差画像１と３の各画素について繰り返す。

最後に、距離算出部１５は、視差評価部１４で求めた正規化視差を用いて、各画素について被写体までの距離を算出し、距離画像を検出する（ステップ１０５）。ここで、被写体までの距離は、先の（２）の式を変形した式（３）で求められる。
被写体距離＝１／（センサ画素サイズ×正規化視差） （３）

図７、図８及び図９に、視差評価部１４における視差評価処理の各実施例のフローチャートを示す。

図７は、視差検出部（１）で得られた個眼像ペアＩ２１とＩ４１の視差画像１と視差検出部（３）で得られた個眼像ペアＩ２１とＩ３１の視差画像３を利用して視差評価を行う場合の処理フローチャートである。

視差画像１と視差画像３を選択し（ステップ２０１）、該視差画像１，３について、各画素における視差を正規化する（ステップ２０２）。そして、まず、視差画像１と３における対応する１つの画素の正規化視差を取得する（ステップ２０３）。次に、取得した２つの正規化視差の差分を計算し（ステップ２０４）、該差分の絶対値が所定の閾値より小さいか否か判定する（ステップ２０５）。すなわち、視差類似評価を行う。ここで、差分の絶対値が所定の閾値より小さい場合（視差が類似している場合）は、２つの正規化視差の平均値を計算し、それを距離算出のための正規化視差とする（ステップ２０６）。また、差分の絶対値が所定の閾値より大きい場合（視差が類似していない場合）は、視差画像１と３における当該画素の視差検出の際に求められた評価値を比較し、評価値の小さい方（確からしい方）の正規化視差を選択して、距離算出のための正規化視差とする（ステップ２０７）。その後、視差画像１と３のすべての画素について処理したか否か判定し（ステップ４０８）、未処理の画素が残されていれば、ステップ２０３に戻り、未処理の画素がなければ、全画素について得られた距離算出のための正規化視差を距離算出部１５へ送出して、処理終了とする。

先に述べたように、本実施例によれば、視差画像１と視差画像３について画像Ｉ２１が共通に使用されており、しかも、画像補正でＩ２１を基準にＩ４１やＩ３１が補正されているので、視差画像１と視差画像３で対応する視差の位置ずれがないため、視差の位置を補正する必要がなく、視差評価処理が簡単になる。

図８は、視差検出部（２）で得られた個眼像ペアＩ１１とＩ３１の視差画像２と視差検出部（４）で得られた個眼像ペアＩ１１とＩ４１の視差画像４を利用して視差評価を行う場合の処理フローチャートである。図８のフローチャートは、図７の視差画像１と３が視差画像２と４になった以外、図７のフローチャートと全く同じであるので、説明は省略する。

本実施例の場合も、視差画像２と視差画像４について画像Ｉ１１が共通に使用されており、しかも、画像補正でＩ１１を基準にＩ３１やＩ４１が補正されているので、視差画像２と視差画像４で対応する視差の位置ずれがないため、視差の位置を補正する必要がなく、視差評価処理が簡単になる。

図９は、視差検出部（１）から視差検出部（４）で得られた視差画像１から視差画像４のすべてを利用して視差評価を行う場合の処理フローチャートである。

まず、視差画像１と視差画像３を利用して距離算出のための正規化視差（正規化視差候補）を得る（ステップ２０１〜２０８）。これは図７の実施例１と同じである。ただし、ステップ２０６では、２つの評価値の平均値も計算して、得られた正規化視差の評価値として保持しておく。また、ステップ２０７では、選択された正規化視差の評価値も選択して保持しておく。また、視差画像２と視差画像４を利用して距離算出のための正規化視差（正規化視差候補）を得る（ステップ３０１〜３０８）。これは図８の実施例２と同じである。この場合も、ステップ３０６では、２つの評価値の平均値も計算して、得られた正規化視差の評価値として保持しておく。また、ステップ３０７では、選択された正規化視差の評価値も選択して保持しておく。次に、この視差画像１，３から得られた正規化視差（正規化視差候補）と視差画像２，４から得られ正規化視差との比較を行って、最終的に距離算出のための正規化視差を求める（ステップ４０１〜４０７）。以下、ステップ４０１〜４０７について説明する。

なお、ステップ２０１〜２０８の処理とステップ３０１〜３０８の処理は並列に実施しても、シーケンシャルに実施しても、いずれでよい。これは視差評価部４の構成により決まるものである。

視差画像２と視差画像４を利用して得られた正規化視差は、視差画像１と視差画像３を利用して得られた正規化視差とは、垂直方向に、（正規化視差×基線長×焦点距離）画素だけずれている。つまり、レンズセット１１１とレンズセット１２１の光学中心間の距離を基線長としたレンズセット１１１と１２１のステレオカメラとみなすことができる。

そこで、まず、視差画像１と視差画像３から算出された正規化視差（正規化視差候補）の画素位置に基づいて、視差画像２と視差画像４から算出された正規化視差（正規化視差候補）について、対応する画素位置を計算する（ステップ４０１）。具体的には、垂直方向にどれだけ位置がずれているかを算出することになる。次に、対応するそれぞれの画素位置における正規化視差（正規化視差候補）を取得する（ステップ４０２）。次に、取得した２つの正規化視差候補の差分を計算し（ステップ４０３）、該差分の絶対値が所定の閾値より小さいか否か判定する（ステップ４０４）。そして、差分の絶対値が所定の閾値より小さい場合は、２つの正規化視差候補の平均値を計算し、最終的な距離算出のための正規化視差とする（ステップ４０５）。また、差分の絶対値が所定の閾値より大きい場合には、２つの正規化視差候補について保持されている評価値を比較して、評価値の小さい方の正規化視差候補を選択して、最終的な距離算出のための正規化視差とする（ステップ４０６）。その後、全ての画素について処理を実行したか判定し（ステップ４０７）、未処理の画素が残っていればステップ４０１に戻り、未処理の画素がなければ、全画素について得られた最終的な距離算出のための正規化視差を視差算出部１５へ送出して、処理終了とする。

本実施例によれば、視差画像１，３で算出した視差と視差画像２，４で算出した視差の位置ずれを計算して、対応する画素位置を求める必要があるが、視差画像１，３による正規化視差と視差画像２，４による正規化視差を比較して、より好ましい距離算出のための正規化視差を得るため、より精度の高い距離画像を検出することが可能になる。

以上、本発明の一実施形態について説明したが、もちろん、本発明は、これまで説明したものに限定されるものではない。例えば、図１、図２では、レンズアレイは４つのレンズセットで構成されるとしたが、レンズセットの数は４つに限定されるものではない。レンズセットの数が増加すると、視差画像ペアの組み合わせも増加し、より精度の高い距離画像を得ることが可能になる。

１ レンズアレイ
１ａ，１ｂ レンズセット
２ 遮光壁
３ 開口アレイ
４ 撮像素子
５ 基板
６ 筐体
１０ 演算器
１１ 画像キャプチャ部
１２ 画像補正部
１３ 視差検出部
１４ 視差評価部
１５ 距離算出部

特開２００３−１４３４５９号公報

Takeo Kanade他，"A Multiple-Baseline Stereo"，IEEE PAMI，Vol.15，No.4，April 1993 堀崎遼一ほか、"単一撮像素子を用いた小型複眼カメラにおける画質と距離精度の向上"，ITE Techical Report，Vol.32，No.44，pp.25〜28，Oct.2008

Claims (9)

1. 略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ手段と、
   前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出手段と、
   前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、
   前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段と、
   を有する距離画像取得装置であって、
   前記視差評価手段は、少なくとも二つの視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差とする、
   ことを特徴とする距離画像取得装置。
2. 各ステレオ画像ペアを構成する画像の歪み補正を行う画像補正手段を更に有し、
   前記視差評価手段は、少なくとも二つの視差画像として、第１の画像と該第１の画像を基準に補正された第２の画像とから検出された第１の視差画像と、前記第１の画像と該第１の画像を基準に補正された第３の画像とから検出された第２の視差画像を用いることを特徴とする請求項１記載の距離画像取得装置。
3. 略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ手段と、
   前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出手段と、
   前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、
   前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段と、
   を有する距離画像取得装置であって、
   前記視差評価手段は、
   複数の視差画像を、少なくとも第１の視差画像と第２の視差画像の組と、第３の視差画像と第４の視差画像の組に分け、
   前記第１の視差画像と前記第２の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第１正規化視差候補）とし、
   前記第３の視差画像と前記第４の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第２正規化視差候補）とし、
   前記第１の視差画像と前記第２の視差画像による第１正規化視差候補と、前記第３の視差画像と前記第４の視差画像による第２正規化視差候補との対応する画素位置を求めて、該対応する画素の第１正規化視差候補と第２正規化視差候補との差分を計算し、前記差分が所定の閾値より小さい場合には、該第１および第２正規化視差候補の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には評価値の小さい方の正規化視差候補を選択して距離算出の正規化視差とする、
   ことを特徴とする距離画像取得装置。
4. 各ステレオ画像ペアを構成する画像の歪み補正を行う画像補正手段を更に有し、
   前記視差評価手段は、第１の画像と該第１の画像を基準に補正された第２の画像とから検出された第１の視差画像と、前記第１の画像と該第１の画像を基準に補正された第３の画像とから検出された第２の視差画像の組、及び、第４の画像と該第４の画像を基準に補正された第３の画像とから検出された第３の視差画像と、前記第４の画像と該第４の画像を基準に補正された第２の画像とから検出された第４の視差画像の組を用いることを特徴とする請求項３記載の距離画像取得装置。
5. 被写体に対向する位置に設けられた、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる２以上のレンズペアから構成されてなるレンズアレイと、
   前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像手段と、
   前記複眼像から複数の個眼像ペアを抽出する画像キャプチャ手段と、
   前記複数の個眼像ペアから複数の視差画像を検出する視差検出手段と、
   前記複数の視差画像の各視差を、当該個眼像ペアが得られるレンズペアの光学中心の距離に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、
   前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段と、
   を有する距離画像取得装置であって、
   前記視差評価手段は、少なくとも二つの視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差とする、
   ことを特徴とする距離画像取得装置。
6. 被写体に対向する位置に設けられた、複数のレンズが各々略同一の曲率半径を有し、その基線長または基線方向が異なる２以上のレンズペアから構成されてなるレンズアレイと、
   前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像手段と、
   前記複眼像から複数の個眼像ペアを抽出する画像キャプチャ手段と、
   前記複数の個眼像ペアから複数の視差画像を検出する視差検出手段と、
   前記複数の視差画像の各視差を、当該個眼像ペアが得られるレンズペアの光学中心の距離に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価手段と、
   前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出手段と、
   を有する距離画像取得装置であって、
   前記視差評価手段は、
   複数の視差画像を、少なくとも第１の視差画像と第２の視差画像の組と、第３の視差画像と第４の視差画像の組に分け、
   前記第１の視差画像と前記第２の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差候補（以下、第１正規化視差候補）とし、
   前記第３の視差画像と前記第４の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差候補（以下、第２正規化視差候補）とし、
   前記第１の視差画像と前記第２の視差画像による第１正規化視差候補と、前記第３の視差画像と前記第４の視差画像による第２正規化視差候補との対応する画素位置を求めて、対応する画素の第１正規化視差候補と第２正規化視差候補との差分を計算し、前記差分が所定の閾値より小さい場合には、該第１および第２正規化視差候補の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には評価値の小さい方の正規化視差候補を選択して距離算出の正規化視差とする、
   ことを特徴とする距離画像取得装置。
7. 前記レンズアレイと前記撮像手段からなる撮像ユニットと、前記画像キャプチャ手段と前記視差検出手段と前記視差評価手段と前記距離算出手段、あるいは更に前記画像補正手段を含む処理ユニットが、同一基板上に形成されていることを特徴とする請求項５又は６のいずれか１項に記載の距離画像取得装置。
8. 略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ過程と、
   前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出過程と、
   前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価過程と、
   前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出過程と、
   を有する距離画像取得処理方法であって、
   前記視差評価過程は、少なくとも二つの視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して距離算出の正規化視差とする、
   ことを特徴とする距離画像取得処理方法。
9. 略同一の複数のステレオ撮像系を用いて撮像される画像よりなる複数のステレオ画像ペアを抽出する画像キャプチャ過程と、
   前記複数のステレオ画像ペアから複数の視差画像を検出する視差検出過程と、
   前記複数の視差画像の各視差を、ステレオ撮像系の基線長に基づいて正規化し、正規化された視差（以下、正規化視差）により、複数の視差画像の各視差の視差類似評価を行う視差評価過程と、
   前記複数の視差画像の、視差類似評価結果の正規化視差を用いて被写体までの距離を算出して、一つの距離画像を検出する距離検出過程と、
   を有する距離画像取得処理方法であって、
   前記視差評価過程は、
   複数の視差画像を、少なくとも第１の視差画像と第２の視差画像の組と、第３の視差画像と第４の視差画像の組に分け、
   前記第１の視差画像と前記第２の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第１正規化視差候補）とし、
   前記第３の視差画像と前記第４の視差画像について、該二つの視差画像の各正規化視差の差分を計算し、前記差分が所定の閾値より小さい場合には、正規化視差の平均値をとり、前記差分が所定の閾値より大きい場合には、視差画像の検出の際に求めた評価値の小さい視差に対応する正規化視差を選択して、距離算出の正規化視差候補（以下、第２正規化視差候補）とし、
   前記第１の視差画像と前記第２の視差画像による第１正規化視差候補と、前記第３の視差画像と前記第４の視差画像による第２正規化視差候補との対応する画素位置を求めて、該対応する画素の第１正規化視差候補と第２正規化視差候補との差分を計算し、前記差分が所定の閾値より小さい場合には、該第１および第２正規化視差候補の平均値を距離算出の正規化視差とし、前記差分が所定の閾値より大きい場合には評価値の小さい方の正規化視差候補を選択して距離算出の正規化視差とする、
   ことを特徴とする距離画像取得処理方法。