JPWO2015125744A1 - 測距装置および測距方法 - Google Patents

Abstract

測距装置は、一体に配列された複数の第１撮像光学系を備える複眼カメラで少なくとも２つの第１撮像光学系を用いて撮像された画像と、単眼カメラで撮像された画像とに基づいて測定対象までの距離を求める装置であって、前記２つの第１撮像光学系のうちの１つの第１撮像光学系と前記第２撮像光学系との第１基線長と前記２つの第１撮像光学系の間の第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記第１および第２基線長の換算値が非整数倍の関係となるように設定される。

Description

本発明は、測定対象までの距離を測定する測距装置および測距方法に関し、特に、複数の画像に基づいて距離を測定する測距装置および測距方法に関する。

測定対象までの距離を測定する測距技術は、単に測量に用いられるだけでなく、様々な分野に利用されている。例えば、測距技術は、測定対象の三次元形状を測定する三次元形状測定装置や、車両やロボット等の移動体の周辺を監視する周辺監視装置等にも利用されている。このような測距技術の代表例として、例えば、超音波、電磁波およびレーザ光等の波を送信して測定対象で反射した前記波の反射波を受信し、その送信から受信までの時間を計測することによって測定対象までの距離を測定する測距技術がある。この測距技術は、波の送受信によって測距するため、比較的正確に測距できるが、測距範囲が比較的狭いという不都合がある。このため、複数の画像に対し対応点探索を行って、これら複数の画像における視差を求めることによって測定対象までの距離を測定する測距技術がある。この測距技術では、複数の画像を撮像する１対の撮像光学系間の距離（基線長）が長いほど、遠方の測定対象までの距離を精度よく測定することができる。そこで、基線長をできるだけ長くする技術が、例えば特許文献１に開示されている。

この特許文献１に開示された距離画像取得装置は、同じ曲率半径を有するレンズペアを複数備える、いわゆるアレイレンズを用いて被写体を撮像する。このアレイレンズの各レンズペアの曲率半径は互いに異なり、合焦距離が長いレンズペアはレンズ間隔（基線長）が長くなるように配置され、合焦距離が短いレンズペアは基線長が短くなるように配置されている。そして、距離画像取得装置は、レンズペアに対応する個眼像ペアのうち最も焦点があった個眼像ペアを抽出し、抽出した個眼像ペアを用いて被写体までの距離を算出する。

しかし、上述の特許文献１の技術では、測距精度はアレイレンズのサイズに左右されることになるので、より測距精度を上げようとすると測距装置の小型化が図れないこととなり得る。

特開２０１１−１４９９３１号公報

本発明は、上述の事情に鑑みて為された発明であり、装置の小型化を図りながら、測距精度を上げることができる測距装置及び方法を提供することを目的とする。

本発明にかかる測距装置は、一体に配列された複数の第１撮像光学系を備える複眼カメラで少なくとも２つの第１撮像光学系を用いて撮像された画像と、第２撮像光学系を備える単眼カメラで撮像された画像とに基づいて測定対象物までの距離を求める装置であって、前記２つの第１撮像光学系のうちの１つの第１撮像光学系と前記第２撮像光学系との第１基線長と前記２つの第１撮像光学系の間の第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記第１および第２基線長の換算値が非整数倍の関係となるように設定される。そのため、このような測距装置は、装置の小型化を図りながら、測距精度を上げることができる。

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

第１実施形態における測距装置の構成を示すブロック図である。 第１実施形態の前記測距装置における画像取得部の構成を示すブロック図である。 第１実施形態の前記画像取得部におけるアレイカメラおよび単眼カメラの構成を示す図である。 第１実施形態のアレイレンズ部と単眼レンズ部との配置を説明するための図である。 第１実施形態のアレイ撮像部と単眼撮像部とを説明するための図である。 前記アレイカメラの撮像画像と前記単眼カメラの撮像画像との例を示す図である。 第１実施形態の遠距離測距処理部における処理を示すフローチャートである。 第１実施形態の前記測距装置における対応点探索処理を説明するための図である。 ステレオ画像を用いた距離算出方法を説明するための図である。 第１実施形態の近距離測距処理部の対応点探索処理を説明するための図である。 第１実施形態の前記近距離測距処理部における処理を示すフローチャートである。 第１実施形態の前記近距離測距処理部の対応点探索を説明するための図である。 第１実施形態の前記測距装置における、繰り返しパターンの対応点探索処理における基線長（整数倍）を説明するための図である。 第１実施形態の前記測距装置における、繰り返しパターンの対応点探索処理における基線長（非整数倍）を説明するための図である。 第２実施形態のアレイレンズ部と単眼レンズ部との配置を説明するための図である。 第２実施形態のアレイ撮像部と単眼撮像部とを説明するための図である。 第２実施形態の前記アレイ撮像部と前記単眼撮像部とで用いるレンズの特性の一例を示す図である。 画角が異なる２つのレンズによる画像を説明するための図である。 第２実施形態の遠距離測距処理部における処理を示すフローチャートである。 第２実施形態の解像度変換処理を説明するための図である。 第２実施形態の対応点探索処理を説明するための図である。 第２実施形態の繰り返しパターンの対応点探索処理における、基線長と焦点距離を説明するための図である。 遠距離の対象物を撮影する場合のオクルージョンを説明するための図である。 近距離の対象物を撮影する場合のオクルージョンを説明するための図である。 第３実施形態のアレイレンズ部と単眼レンズ部との配置を説明するための図である。 第３実施形態のアレイ撮像部と単眼撮像部とを説明するための図である。 第３実施形態の前記アレイ撮像部と前記単眼撮像部とで用いるレンズの特性の一例を示す図である。 第３実施形態の近距離測距処理部の対応点探索処理を説明するための図である。 第３実施形態の前記近距離測距処理部における処理を示すフローチャートである。 第４実施形態の測距装置における画像取得部の構成を示すブロック図である。 第４実施形態のアレイレンズ部と単眼レンズ部との配置を説明するための図である。 第４実施形態のアレイ撮像部と単眼撮像部とを説明するための図である。 ベイヤーフィルターを説明するための図である。 第４実施形態の対応点探索処理を説明するための図である。 第４実施形態の近距離測距処理部の対応点探索処理を説明するための図である。 第４実施形態の前記近距離測距処理部における処理を示すフローチャートである。 第５実施形態の遠距離測距処理部における処理を示すフローチャートである。 第５実施形態の近距離測距処理部における処理を示すフローチャートである。 ベイヤー画像のモノクロ化を説明するための図である。 ベイヤー画像を画像フィルタを用いてモノクロ画像に変換する方法を説明するための図である。 ベイヤー画像を別の画像フィルタを用いてモノクロ画像に変換する方法を説明するための図である。 第６実施形態のアレイレンズ部と単眼レンズ部との配置を説明するための図である。 第６実施形態の繰り返しパターンの対応点探索処理における、基線長を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

＜第１実施形態＞
図１は、第１実施形態における測距装置の構成を示すブロック図である。図２は、第１実施形態の前記測距装置における画像取得部の構成を示すブロック図である。図３は、前記画像取得部におけるアレイカメラ及び単眼カメラの構成を示す斜視図である。図３Ａは、アレイカメラを示し、図３Ｂは、単眼カメラを示す。図４は、アレイカメラのレンズおよび単眼カメラのレンズの配置を示す図である。図５は、アレイカメラおよび単眼カメラの撮像部（撮像画像）を示す。図６は、アレイカメラ及び単眼カメラの撮像画像の例を示す図である。

実施形態における測距装置は、ステレオ法（立体視法）で得られた複数の画像に対し対応点探索を行って前記複数の画像間における視差を求めることによって測定対象である所定の物体までの距離を測定する装置である。前記複数の画像は、前記測定対象の物体（被写体）を含み、例えば、予め定める基線長間隔だけ離間しかつそれらの各光軸が互いに平行となるように配置されたいわゆるステレオカメラによって得られる。前記対応点探索は、２個の画像に対し、一方を基準画像とし他方を参照画像とした場合に、基準画像上における所定の点に対応する参照画像上における点を探索する処理である。実施形態における測距装置は、所定の基線長間隔だけ離間されたアレイカメラと単眼カメラとにより取得された複数の画像に基づいて測定対象までの距離を求めるものである。

このような測距装置Ｄの各実施形態を以下に説明するが、まず、第１実施形態における測距装置Ｄａは、例えば、図１に示すように、制御処理部１ａと、記憶部２と、画像取得部３ａと、入力部４と、出力部５とを備える。

画像取得部３ａは、制御処理部１ａに接続され、同一の測定対象（物体、被写体）を撮像した複数の画像を取得するものである。このような画像取得部３ａは、例えば、図２に示すように、アレイカメラ３１ａと、単眼カメラ３２ａとを備える。

アレイカメラ３１ａは、複数の個眼レンズ（第１撮像光学系）を有するアレイレンズ部３１１ａと、この複数の個眼レンズそれぞれによって結像された物体の光学像をそれぞれ撮像する複数の個眼撮像部（第１撮像部）を有するアレイ撮像部３１２ａとを備える。

単眼カメラ３２ａは、単眼レンズ部３２１ａ（第２撮像光学系）と、この単眼レンズ部３２１ａによって結像された物体の光学像を撮像する単眼撮像部３２２ａ（第２撮像部）とを備える。

図３Ａに示すように、アレイレンズ部３１１ａは、複数の個眼レンズ３１１１を備える。１個の個眼レンズ３１１１は、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の個眼レンズ３１１１は、図３Ａに示す例では、各光軸が互いに略平行となるように、そして、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列される。図３Ａに示す例では、複数の個眼レンズ３１１１は、３行３列に２次元マトリクス状に配列された９個の個眼レンズ３１１１−１１〜３１１１−３３として示されている。

アレイ撮像部３１２ａは、複数の個眼撮像部３１２１を備える。１個の個眼撮像部３１２１は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、受光した光の光量に応じて変換した電気信号を画像における各画素のデータとして出力する。複数の個眼撮像部３１２１は、アレイレンズ部３１１ａにおける複数の個眼レンズ３１１１に対応し、各撮像面が互いに同一平面となるように配列される。図３Ａに示す例では、複数の個眼撮像部３１２１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３Ａに示す例では、複数の個眼撮像部３１２１は、３行３列に２次元マトリクス状に配列された９個の個眼撮像部３１２１−１１〜３１２１−３３として示されている。これら複数の個眼撮像部３１２１は、同一の基板上に２次元マトリクス状に配列された複数の前記固体撮像素子を備えて構成されて良いが、図３Ａに示す例では、１個の前記固体撮像素子を備えて構成される。この場合、図５の左側の図に示すように、１個の前記固体撮像素子における有効画素領域が、各個眼撮像部３１２１に対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各個眼撮像部３１２１として利用されるものとする。図５の左側の図では、各個眼撮像部３１２１として利用される領域が、グレーの矩形で示されている。例えば、個眼撮像部３１２１−１１に対応する領域は、「１」が記載されている矩形の領域である。

なお、一般に、撮像装置（カメラ）は、イメージセンサから出力される画像信号に対し、ホワイトバランス処理、フィルタ処理、階調変換処理および色空間変換処理等のいわゆる通常の画像処理を施し、最終的な画像信号を生成する。

単眼カメラ３２ａは、図３Ｂに示すように、単眼レンズ部３２１ａ（第２撮像光学系）と、この単眼レンズ部３２１ａによって結像された物体の光学像を撮像する単眼撮像部３２２ａとを備える。単眼レンズ部３２１ａは、その光軸に沿って１または複数の光学レンズを備えて構成される。単眼撮像部３２２ａは、１個の前記固体撮像素子を備えて構成され、この１個の前記固体撮像素子における有効画素領域が、単眼撮像部３２２ａとして利用される。図５の右側の図において、単眼撮像部３２２ａがグレーの矩形として示されている。

個眼撮像部３１２１及び単眼撮像部３２２ａの各光電変換素子は、それぞれ、その受光した光をその光量に応じた電気信号に光電変換し、この電気信号を画像における各画素のデータとして制御処理部１ａへ出力する。複数の個眼撮像部３１２１は、同じ被写体を写した略視差だけずれた画像データを出力する。

アレイカメラ３１ａと単眼カメラ３２ａは、予め定める基線長間隔だけ離間しかつそれらの各光軸が互いに平行となるように配置される。図４に示すように、アレイカメラ３１ａと単眼カメラ３２ａとは、アレイカメラ３１ａのレンズアレイにおける中央の個眼レンズ３１１１−２２と単眼カメラ３２ａの単眼レンズ部３２１ａとが、基線長Ｂｂだけ離間するよう配置される。また、アレイカメラ３１ａの各個眼レンズ３１１１間は、基線長Ｂａだけ離間するように配置されている。なお、アレイカメラ３１ａのレンズアレイにおける中央の個眼レンズ３１１１−２２の光軸位置と、個眼レンズ３１１１−２３の光軸位置と、単眼カメラ３２ａの単眼レンズ部３２１ａの光軸位置とは、同一線上に配置されるものとする。

以下、アレイカメラ３１ａのアレイレンズ部３１１ａを構成する各個眼レンズ３１１１は、図５に示されているアレイ撮像部３１２ａの番号に合わせて、個眼レンズＬ１〜Ｌ９と呼称される。具体的には、個眼レンズ３１１１−１１は個眼レンズＬ１と、個眼レンズ３１１１−１２は個眼レンズＬ２と、個眼レンズ３１１１−１３は個眼レンズＬ３と、個眼レンズ３１１１−２１は個眼レンズＬ４と、個眼レンズ３１１１−２２は個眼レンズＬ５と、個眼レンズ３１１１−２３は個眼レンズＬ６と、個眼レンズ３１１１−３１は個眼レンズＬ７と、個眼レンズ３１１１−３２は個眼レンズＬ８と、個眼レンズ３１１１−３３は個眼レンズＬ９と、それぞれ呼称される。そして、個眼レンズＬ１〜Ｌ９によって結像された物体の光学像が撮像された画像は、撮像画像Ｐ１〜Ｐ９と呼称される。また、単眼カメラ３２ａの単眼レンズ部３２１ａによって結像された物体の光学像が撮像された画像は、撮像画像Ｐ０と呼称される。

図６で示すように、例えば、アレイカメラ３１ａの個眼レンズＬ５で撮像された撮像画像Ｐ５と、単眼カメラ３２ａの単眼レンズ部３２１ａで撮像された撮像画像Ｐ０とが、ステレオ法で得られた画像となる。

第１実施形態では、アレイカメラ３１ａのアレイレンズ部３１１ａの各個眼レンズ３１１１および単眼カメラ３２ａの単眼レンズ部３２１ａは、画角が同じである。各個眼撮像部３１２１と単眼撮像部３２２ａとは、同じ画素数（例えば、８００画素×６００画素）の画像データを出力する。

図１に戻って、入力部４は、制御処理部１ａに接続され、例えば、測距の開始を指示するコマンド等の各種コマンド、および、例えば測定対象の物体を写した画像における識別子（ファイルネーム）の入力等の測距処理を実行する上で必要な各種データを測距装置Ｄａに入力する機器であり、例えば、キーボードやマウス等である。

出力部５は、制御処理部１ａに接続され、入力部４から入力されたコマンドやデータ、および、測距装置Ｄａによって測距された測定対象までの距離や測距の際に用いた画像等を出力する機器であり、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）および有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置やプリンタ等の印刷装置等である。

なお、入力部４および出力部５からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として測距装置Ｄａに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い測距装置Ｄａが提供される。

記憶部２は、制御処理部１ａに接続され、測距処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部２は、例えばハードディスク等の大容量記憶装置を備えても良い。

そして、記憶部２は、画像データを記憶し、この画像データに対し制御処理部１ａによって後述の測距処理を行うための作業領域として用いられる。

制御処理部１ａは、所定の測距処理プログラムに基づき後述の測距処理を実行するべく、測距装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。前記所定の測距処理プログラムは、ステレオ法で得られた複数の画像に対し対応点探索を行って前記複数の画像間における視差を求めることによって測定対象の物体までの距離を測定するためのプログラムである。制御処理部１ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の測距処理プログラムを実行することによって、制御処理部１ａには、機能的に、制御部１１および距離演算部１２ａが構成される。

制御部１１は、所定の測距処理を実行するために、測距装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。

距離演算部１２ａは、アレイカメラ３１ａおよび単眼カメラ３２ａによって得られた複数の画像データに基づいて測定対象の物体までの距離を求めるものである。

距離演算部１２ａは、例えば、図１に示すように、遠距離測距処理部１２１ａ、近距離測距処理部１２２ａおよび距離算出部１２３を備える。

遠距離測距処理部１２１ａは、アレイカメラ３１ａの所定の個眼レンズ（個眼レンズＬ５）による１つの撮像画像と、単眼カメラ３２ａによる撮像画像を用いて、測定対象物までの測距処理を行う。また、近距離測距処理部１２２ａは、アレイカメラ３１ａ内の個眼レンズ３１１１のペアによる撮像画像を用いて、測定対象物までの距離を算出する。アレイカメラ３１ａと単眼カメラ３２ａとを用いる場合は、図４に示すように、基線長Ｂｂが基線長Ｂａに比べて長いので、より遠くにある測定対象物までの距離を求めるのに適している。また、アレイカメラ３１ａの個眼レンズ３１１１同士を用いる場合は、図４に示すように、基線長Ｂａが基線長Ｂｂより短いので、より近くにある測定対象物までの距離を求めるのに適している。従って、距離演算部１２ａは、このような２つの処理を用いて、より正確な測距処理を行う。

ここで、遠距離測距処理部１２１ａの行う処理について説明する。遠距離測距処理部１２１ａが行う処理を示すフローチャートが図７に示されている。

遠距離測距処理部１２１ａは、アレイカメラ３１ａのアレイレンズ部３１１ａの個眼レンズＬ５を用いて作成された撮像画像Ｐ５と、単眼カメラ３２ａの単眼レンズ部３２１ａを用いて作成された撮像画像Ｐ０とを、記憶部２を介して取得する（ステップＳ１１、ステップＳ１２、図８参照）。

次に、遠距離測距処理部１２１ａは、撮像画像Ｐ５を基準画像とし、撮像画像Ｐ０を参照画像として対応点探索を行い（ステップＳ１３）、視差（ずれ画素数）から距離を算出する（ステップＳ１４）。

対応点探索処理では、まず、基準画像上で、対応点を探索したい所定の画素位置を中心に所定の大きさを持つウィンドウ（テンプレートＴ０）が設定される。同様に、参照画像上にも同じ大きさを持つウィンドウＷが、いわゆるエピポーララインＥ０上に複数設定される。図８では、１個のウィンドウＷ０が例示されている。そして、基準画像上におけるテンプレートＴ０に対する、参照画像上における各ウィンドウＷの一致度（相関度）が所定の手法で求められ（テンプレートマッチング）、最も一致度の高いウィンドウＷにおける中心位置の画素が対応点として求められる。テンプレートＴ０の中心位置の画素と、対応点との差がずれ量となる。

実施形態では、図８の上段に示すように、撮像画像Ｐ５および撮像画像Ｐ０は、８００画素×６００画素の画像であり、テンプレートＴ０は、１７画素×１７画素のテンプレートである。

一致度を求める前記所定の手法には、公知の常套手段、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法（絶対誤差法）が用いられる。ＳＡＤ値は、以下の式を用いて算出する。Ｔ（ｉ，ｊ）は、テンプレートＴの画素の輝度値であり、Ｉ（ｉ，ｊ）は、参照画像のウィンドウＷの画素の輝度値である。座標（ｉ，ｊ）は、テンプレートＴの幅をＭ画素、高さをＮ画素としたとき、テンプレートの左上の座標を（０，０）、右下を（Ｍ−１，Ｎ−１）とする場合の座標である。

ＳＡＤ法は、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の絶対値の合計であるので、似ているほど（近いパターンになるほど）、小さい値を示すことになる。

図８の下段の図に、遠距離測距処理部１２１ａが求めたＳＡＤ値のグラフを示す。このグラフの横軸は、測定対象物（被写体）のまでの距離Ｚの逆数を表し、縦軸は、エピポーラライン上の複数のウィンドウＷとテンプレートＴ０との一致度をＳＡＤ法により求めた値を示す。ＳＡＤ法を用いた場合は、似ているほど小さい値を示すことから、「正解」の矢印が示すＳＡＤ値と対応する値が、対象物までの距離Ｚの逆数を示すことになる。

測定対象物までの距離は、視差、すなわち、対応点探索により求めた基準画像と参照画像とのずれ量に比例する。ここで、距離の算出について、図９を用いて説明する。予め定める間隔（基線長）だけ離間して設けられた一対のカメラによって被写体（測定対象物）の各画像が得られ、これら各画像に対し対応点探索がピクセル単位で実行され、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図９において、少なくとも焦点距離（ｆ）、撮像面（個眼撮像部３１２１または単眼撮像部３２２ａ）の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｂ）だけ左右に離間させてそれぞれの光軸を平行に配置され、これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ−１、ＩＰ−２上の視差（ずれ画素数）がｄであるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、
Ｚ：ｆ＝Ｂ：（ｄ×μ）
の関係があり、
Ｚ＝（Ｂ×ｆ）／（ｄ×μ）
で求めることができる。

次に、近距離測距処理部１２２ａの処理について説明する。近距離測距処理部１２２ａは、アレイカメラ３１ａで撮像された画像のみを用いて処理を行う。図１０に示すように、近距離測距処理部１２２ａは、個眼レンズＬ５を用いて撮像された（アレイ撮像部３１２により出力された）撮像画像Ｐ５と、他の個眼レンズＬ１〜Ｌ４、個眼レンズＬ６〜Ｌ９を用いて撮像された８つの撮像画像Ｐそれぞれと対応点探索を行う。この近距離測距処理部１２２ａが行う処理を示すフローチャートが図１１に示されている。

近距離測距処理部１２２ａは、アレイカメラ３１ａのアレイレンズ部３１１ａの個眼レンズＬ５を用いて撮像された撮像画像Ｐ５を参照画像として取得し（ステップＳ２１）、個眼レンズＬ１〜４、個眼レンズＬ６〜９を用いて撮像された撮像画像Ｐ１〜４、撮像画像Ｐ６〜９を取得する（ステップＳ２２）。

次に、近距離測距処理部１２２ａは、撮像画像Ｐ５を基準画像とし、撮像画像Ｐ１〜Ｐ４、撮像画像Ｐ６〜Ｐ９の８つの撮像画像をそれぞれ参照画像として対応点探索を行い、ＳＡＤ値を求める（ステップＳ２３、ステップＳ２４：Ｎｏ）。具体的には、図１２Ａに示すように、対応点探索処理では、まず、基準画像である撮像画像Ｐ５上に、テンプレートＴ０が設定され、参照画像である撮像画像Ｐ１上にも同じ大きさを持つウィンドウＷ１が、いわゆるエピポーララインＥ１上に複数設定される。そして、テンプレートＴ０に対する、撮像画像Ｐ１における各ウィンドウＷの一致度（相関度）がＳＡＤ法で求められる。参照画像を撮像画像Ｐ１とした場合の、ＳＡＤ値のグラフが、図１２Ｂの最上段のグラフとして示されている。同様に、参照画像として撮像画像Ｐ２〜Ｐ４、撮像画像Ｐ６〜Ｐ９を用いて、それぞれのペアのＳＡＤ値のグラフが求められる。なお、エピポーララインとは、基準画像側のカメラの視線を参照画像上に投影した線であるので、撮像画像Ｐ１〜Ｐ４および撮像画像Ｐ６〜Ｐ９の各参照画像内のエピポーララインはそれぞれ異なっている。例えば、基準画像の個眼レンズＬ５の右上の個眼レンズＬ３の撮像画像Ｐ３内のエピポーララインＥ３は、個眼レンズＬ５と個眼レンズＬ３との基線長分ずれた位置から右上がりのラインとなっている。

近距離測距処理部１２２ａは、８つの撮像画像について、参照画像とのペアでＳＡＤ値を求めると（ステップＳ２４：Ｙｅｓ）、求めた８つのＳＡＤ値を加算した加算ＳＡＤ値を求める（ステップＳ２５）。図１２Ｂの最下段に、加算ＳＤＡ値のグラフを示す。

加算ＳＡＤ値を求めた近距離測距処理部１２２ａは、「正解」の矢印が示す最も小さいＳＡＤ値に対応するウィンドウＷの中心位置の画素を対応点とし、テンプレートＴ０の中心位置の画素とのずれ量を求め、測定対象物までの距離を算出する（ステップＳ２６）。近距離測距処理部１２２ａの場合、基準画像と複数の参照画像とのペアを用いて距離を算出できるので、テンプレートＴのサイズは、遠距離測距処理部１２１ａで用いるテンプレートＴよりも小さくできる。例えば、撮像画像Ｐ５内のテンプレートＴ０のサイズは、５画素×５画素である。

図１に戻って、距離算出部１２３は、遠距離測距処理部１２１ａおよび近距離測距処理部１２２ａそれぞれが算出した距離を取得し、取得した距離に基づいて、測定対象物までの距離を算出する。例えば、距離算出部１２３は、それぞれの距離の平均を測定対象物までの距離とする、または、信頼性の高い方の距離を採用するなどである。

＜基線長について＞
ここで、アレイカメラ３１ａと単眼カメラ３２ａの基線長について、図１３、１４を用いて説明する。ここでは、撮像画像Ｐ内の繰り返し模様（パターン）上に、エピポーララインが重なった場合を考える。図１３は、アレイカメラ３１ａの個眼レンズＬ５と、単眼カメラ３２ａの単眼レンズ部３２１ａとの基線長Ｂｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの２倍（整数倍）であった場合を説明するための図である。

図１３の、部分画像６０は、個眼レンズＬ５による撮像画像Ｐ５の一部分を示す部分画像であり、縦縞の模様の画像である。部分画像７０は、個眼レンズＬ６による撮像画像Ｐ６の一部分を示す部分画像であり、エピポーララインＥ６上の画像である。つまり、基線長がＢａの場合である。

部分画像６０上のテンプレートＴ０の中心位置の画素が、縦縞模様の縁部分にあるものとする。テンプレートマッチングにおいて、エピポーララインＥ６上の或る点から所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴ０との一致度（相関値）を算出し、更に、所定数の画素ずらした点（走査点）を内包するウィンドウＷとテンプレートＴ０との一致度を算出することが繰り返えされる（以下、この処理は、「エピポーララインＥを走査する」と呼称される。）。エピポーララインＥ６上を走査する場合、走査点が縦縞模様の縁部分にあるときの一致度が高くなる。このような場合は、例えば、走査点７１、７２の場合である。正しい対応点は、走査点７１であるとする。なお、走査点７３は、１／Ｚ＝０で無限遠を示し、この走査点からの画素のずれ量が、視差と呼称される。

測定対象物までの距離は、図９を用いて説明したように、Ｚ＝（Ｂ×ｆ）／（ｄ×μ）であるので、１／Ｚ＝（ｄ×μ）／（Ｂ×ｆ）である。よって、１／Ｚｏｂｊ＝（ｄｏｂｊ×μ）／（Ｂａ×ｆ）となる。Ｚは、算出した測定対象物までの距離であり、Ｚｏｂｊは、撮影時の測定対象物までの距離（正しい距離）であり、ｄｏｂｊは視差を示す。

走査点７１における算出距離Ｚ_７１は、以下のようになる。
１／Ｚ_７１＝１／Ｚｏｂｊ
Ｚ_７１＝Ｚｏｂｊ

走査点７２における算出距離Ｚ_７２は、視差がｄｏｂｊ×２で２倍あるため、以下のようになる。
１／Ｚ_７２＝（ｄｏｂｊ×２×μ）／（Ｂａ×ｆ）＝２／Ｚｏｂｊ
Ｚ_７２＝Ｚｏｂｊ／２
つまり、走査点７２の場合は、一致度は高いが、正しい対応点とは異なる走査点であり、間違った距離が算出されることになる。

次に、部分画像８０は、単眼カメラ３２ａの単眼レンズ部３２１ａによる撮像画像Ｐ０の一部分を示す部分画像であり、エピポーララインＥ０上の画像である。つまり、基線長がＢｂ＝Ｂａ×２の場合である。この場合、例えば、走査点８１、８２において、一致度は高くなる。正しい対応点は、走査点８１であるとする。

測定対象物までの距離は、図９を用いて説明したように、Ｚ＝（Ｂ×ｆ）／（ｄ×μ）であるので、１／Ｚ＝（ｄ×μ）／（Ｂ×ｆ）である。ただし、Ｂｂ＝Ｂａ×２である。

走査点８１における、算出距離Ｚ_８１は以下のようになる。
１／Ｚ_８１＝（ｄｏｂｊ×２×μ）／（Ｂａ×２×ｆ）＝（ｄｏｂｊ×μ）／（Ｂａ×ｆ）＝１／Ｚｏｂｊ
Ｚ_８１＝Ｚｏｂｊ
すなわち、視差は基線長に比例し、２倍の長さとなることが分かる。

走査点８２における、算出距離Ｚ_８２は以下のようになる。
１／Ｚ_８２＝（ｄｏｂｊ×４×μ）／（Ｂａ×２×ｆ）＝２／Ｚｏｂｊ
Ｚ_８２＝Ｚｏｂｊ／２
つまり、走査点８２の場合は、一致度は高いが、正しい対応点とは異なる走査点であり、間違った距離が算されることになる。なお、走査点８３は、１／Ｚ＝０であり、無限遠を示す。

図１３の下段に、ＳＡＤ値のグラフが示されている。このグラフにおいて、実線のグラフは、参照画像として個眼レンズＬ６による撮像画像Ｐ６（部分画像７０）を用いた場合のＳＡＤ値を表し、破線のグラフは、参照画像として単眼レンズ部３２１ａによる撮像画像Ｐ０（部分画像８０）を用いた場合のＳＡＤ値を表す。このグラフのように、基線長が２倍になると周波数も２倍になり、基線長が整数倍である場合、周期が同期してしまうことがわかる。そこで、正解の距離（１／Ｚｏｂｊ）において（走査点７１、８１）、双方のグラフは小さい値を示すが、間違いの距離（２／Ｚｏｂｊ）においても（走査点７２、８２）、小さい値を示す。つまり、画像内の繰り返しパターンが、上述のような特定のパターン（視差の間隔で模様が繰り返されるパターン）である場合、図１３の下段のグラフが示すように、間違いの距離も正しいかのようなＳＡＤ値が示されることになり、正しい判断が難しくなる。言い換えれば、個眼レンズＬ６による撮影画像でのある視差量（ずれ量）の走査点と、同じ視差量（ずれ量）となる単眼レンズ部３２１ａによる撮像画像での走査点との、両走査点の横軸（１／Ｚ）上での座標値が整数倍になっているためにＳＡＤ値の周期が同期してしまう。例えば、個眼レンズＬ６による撮影画像での走査点７２の横軸（１／Ｚ）上での座標値（２／Ｚｏｂｊ）は、同じ視差量（ずれ量）である単眼レンズ部３２１ａによる撮像画像での走査点８１の横軸（１／Ｚ）上での座標値（１／Ｚｏｂｊ）の整数倍である。

次に、図１４を用いて、アレイカメラ３１ａの個眼レンズＬ５と、単眼カメラ３２ａの単眼レンズ部３２１ａとの基線長Ｂｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの２．１５倍、つまり、整数倍でない場合を説明する。

図１４において、部分画像７０のエピポーララインＥ６上をテンプレートマッチングにより走査する場合は、図１３における場合と同様に、走査点７１、７２において一致度が高くなる。

部分画像８０は、図１３と同様に、単眼カメラ３２ａの単眼レンズ部３２１ａによる撮像画像Ｐ０の一部分を示す部分画像であり、エピポーララインＥ０上の画像である。但し、基線長がＢｂ＝Ｂａ×２．１５の場合である点が異なる。この場合、走査点８４が正しい対応点であるとする。この場合の測定対象物までの距離Ｚは、図９を用いて説明したように、Ｚ＝（Ｂ×ｆ）／（μ×ｄ）であるので、１／Ｚ＝（ｄ×μ）／（Ｂ×ｆ）である。ただし、Ｂｂ＝Ｂａ×２．１５であり、視差は、図１３の場合と同様に、２．１５×ｄｏｂｊと２．１５倍になる。

走査点８４における、算出距離Ｚ_８４は、以下のようになる。
１／Ｚ_８４＝１／Ｚｏｂｊ
Ｚ_８４＝Ｚｏｂｊ

走査点８５における、算出距離Ｚ_８５は以下のようになる。
１／Ｚ_８５＝２／Ｚｏｂｊ
Ｚ_８５＝Ｚｏｂｊ／２
しかし、走査点８５の場合は、一致度は高くならないので、正しい対応点とは判断されない。

図１４の下段に、ＳＡＤ値のグラフが示されている。このグラフにおいて、実線のグラフが、参照画像として個眼レンズＬ６による撮像画像Ｐ６（部分画像７０）を用いた場合のＳＡＤ値を表し、破線のグラフが、参照画像として単眼レンズ部３２１ａによる撮像画像Ｐ０（部分画像８０）を用いた場合のＳＡＤ値を表す。このグラフを参照すると、正解の距離（１／Ｚｏｂｊ）において（走査点７１、８４）、双方のグラフは小さい値を示すが、間違いの距離（２／Ｚｏｂｊ）において、走査点７２のＳＡＤ値は小さい値となるが、走査点８５のＳＡＤ値は大きい値を示す。つまり、基線長が非整数倍の２．１５倍であることで破線の周波数が２．１５倍となり、正解の位置では、２つのグラフでゼロに近いピークが示されるが、それ以外では、２つのグラフのピークはずれることになる。言い換えれば、個眼レンズＬ６による撮影画像でのある視差量（ずれ量）の走査点と、同じ視差量（ずれ量）となる単眼レンズ部３２１ａによる撮像画像での走査点との、両走査点の横軸（１／Ｚ）上での座標値が非整数倍になっているためにＳＡＤ値のピークがずれている。

従って、アレイカメラ３１ａの個眼レンズＬ５と、単眼カメラ３２ａの単眼レンズ部３２１ａとの基線長Ｂｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの整数倍でない場合、言い換えれば、個眼レンズＬ６による撮影画像でのある視差量（ずれ量）の走査点と、同じ視差量（ずれ量）となる単眼レンズ部３２１ａによる撮像画像での走査点との、両走査点の横軸（１／Ｚ）上での座標値が非整数倍になっている場合には、ＳＡＤ値を加算すれば、正しい位置でピークが表れるので、測定対象物までの正しい距離を算出することが可能となる。この場合、距離算出部１２３において、遠距離測距処理部１２１ａが作成したＳＡＤ値と、近距離測距処理部１２２ａが作成したＳＡＤ値とを加算して、加算ＳＡＤ値に基づいて、測定対象物までの距離を算出することにより、より正しい距離が算出可能となる。アレイカメラ３１ａの個眼レンズＬ５と単眼カメラ３２ａの単眼レンズ部３２１ａとの基線長Ｂｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの非整数倍であれば測距精度に効果があるが、この非整数は、整数から１％程度違っていれば効果がある。

＜測距装置Ｄの動作＞
次に、本実施形態における測距装置の動作について説明する。測距装置Ｄａは、例えば、ユーザの操作によって入力部４から起動コマンドを受け付けると、測距処理プログラムを実行する。この画像処理プログラムの実行によって、制御処理部１ａに制御部１１および距離演算部１２ａが機能的に構成され、そして、遠距離測距処理部１２１ａ、近距離測距処理部１２２ａ、および、距離算出部１２３が機能的に構成される。そして、測距装置Ｄａは、例えば、ユーザの操作によって入力部４から測距開始コマンドを受け付けると、測距を実行する。

距離演算部１２ａは、遠距離測距処理部１２１ａおよび近距離測距処理部１２２ａに測距処理を指示する。遠距離測距処理部１２１ａおよび近距離測距処理部１２２ａは、上述のようにそれぞれ測距処理を行い、算出した距離を距離算出部１２３に出力する。

遠距離測距処理部１２１ａおよび近距離測距処理部１２２ａから距離を受信した距離算出部１２３は、上述したように、測定対象物までの距離を算出する。

距離演算部１２ａは、距離算出部１２３が算出した距離を、出力部５に出力する。

＜第２実施形態＞
第１実施形態の測距装置Ｄａでは、画像取得部３ａにおいて、アレイカメラ３１ａの個眼レンズＬと、単眼カメラ３２ａの単眼レンズ部３２１ａとは、同じ特性を持つ。一方、第２実施形態の測距装置Ｄｂでは、画像取得部３ｂにおいて、図１５に示すように、単眼カメラ３２ｂは、アレイカメラ３１ａの個眼レンズＬとは異なる特性を有する単眼レンズ部３２１ｂを備える。なお、画像取得部３ｂは、アレイカメラとして、実施形態１と同じアレイカメラ３１ａを備える。図１６の左側の図には、アレイ撮像部３１２ａにおいて各個眼撮像部３１２１として利用される領域が、グレーの矩形で示されており、右側の図には、単眼撮像部３２２ｂがグレーの矩形として示されている。

単眼レンズ部３２１ｂは、測距したい遠距離の範囲に性能が出ているレンズであれば、どのような特性を有していてもよく、その例が、図１７に示されている。図１７は、レンズの光学性能を表すグラフであり、縦軸にＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を表し、横軸に被写体までの距離を表す。ＭＴＦとは、レンズ性能を評価する指標のひとつであり、レンズの結像性能を知るために、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。アレイカメラ３１ａの個眼レンズＬの特性が破線のグラフで示され、単眼カメラ３２ｂの単眼レンズ部３２１ｂの特性が実線で示されている。個眼レンズＬは、比較的近距離から性能が出ており、単眼レンズ部３２１ｂは比較的遠距離から性能が出ている。レンズ性能がこのグラフのような場合、比較的近距離では、アレイカメラ３１ａのみを用いて測距を行い、遠距離では、アレイカメラ３１ａと単眼カメラ３２ｂとを用いて測距を行うのが良いことがわかる。

第２実施形態では、単眼レンズ部３２１ｂは、個眼レンズＬと、画角（焦点距離）とセンサーサイズ（撮像画像の画素数）が異なる。画角と画素数が異なる場合の、撮像画像の例が、図１８に示されている。

図１８Ａは、アレイカメラ３１ａの個眼レンズＬ５による撮像画像Ｐ５と、単眼カメラ３２ｂの単眼レンズ部３２１ｂによる撮像画像Ｐ１０を示す図である。図１８Ｂは、画角と画素数の関係を示す図である。

図１８Ｂに示すように、単眼レンズ部３２１ｂの画角が、個眼レンズＬ５の画角よりも大きい場合には、撮影範囲が大きく（広く）なる。従って、図１８Ａに示すように、撮像画像Ｐ５は、８００画素×６００画素の画像となり、撮像画像Ｐ１０は、撮像画像Ｐ５よりも大きい１０２４画素×７６８画素の画像となる。但し、画角が、単眼レンズ部３２１ｂの方が個眼レンズＬ５よりも大きいため、同一視野で比較すると、撮像画像Ｐ５は、撮像画像Ｐ１０内の破線の矩形で示す７２０画素×５４０画素の領域を占めることになる。

第２実施形態の遠距離測距処理部１２１ｂが行う処理を示すフローチャートが、図１９に示されている。遠距離測距処理部１２１ｂは、対応点探索を行う前に、基準画像と参照画像における同一視野の領域が、同じ画素数となるように解像度の変換を行うものである。

遠距離測距処理部１２１ｂは、アレイカメラ３１ａのアレイレンズ部３１１ａの個眼レンズＬ５を用いて作成された撮像画像Ｐ５と、単眼カメラ３２ｂの単眼レンズ部３２１ｂを用いて作成された撮像画像Ｐ１０とを、記憶部２を介して取得する（ステップＳ３１、ステップＳ３２、図１８Ａ参照）。

次に、遠距離測距処理部１２１ｂは、撮像画像Ｐ１０の解像度変換を行う（ステップＳ３３）。詳細には、図２０に示すように、遠距離測距処理部１２１ｂは、撮像画像Ｐ１０内における、撮像画像Ｐ５と同一視野の領域（同一画角領域（破線の矩形領域）、７２０画素×５４０画素）を、撮像画像Ｐ５の画素値（８００画素×６００画素）に変換して、画像Ｐ１１を作成する。解像度の変換は、例えば、バイキュービック補間により行う。

次に、遠距離測距処理部１２１ｂは、図２１に示すように、撮像画像Ｐ５を基準画像とし、解像度変換により作成した画像Ｐ１１を参照画像として対応点探索を行い（ステップＳ３４）、ずれ量（画素数）から距離を算出する（ステップＳ３５）。距離を算出する際、遠距離測距処理部１２１ｂは、解像度変換により１画素の大きさが変わっていることを考慮して、距離を算出する。遠距離測距処理部１２１ｂは、例えば、図２１の画像Ｐ１１において、ずれ画素数が８画素である場合には、７．２画素のずれとみなして距離を算出する。

なお、上記説明では、遠距離測距処理部１２１ｂは、単眼カメラ３２ｂによる撮像画像Ｐ１０を解像度変換したが、アレイカメラ３１による撮像画像Ｐ５を解像度変換してもよく、双方を変換してもよい。つまり、遠距離測距処理部１２１ｂは、撮像画像Ｐ１０および撮像画像Ｐ５それぞれの画像内の所定の画角領域の画素数が同じになるように、撮像画像Ｐ１０および撮像画像Ｐ５の少なくとも一方の画素数を変換する。

解像度変換する場合、２つの画像を正確に同じ画素数にするように変換する必要はない。例えば、撮像画像Ｐ１０内における、撮像画像Ｐ５と同一視野の領域（破線の矩形領域、７２０画素×５４０画素）から、撮像画像Ｐ５の画素値（８００画素×６００画素）ピッタリの画像Ｐ１１が作成されなくてもよい。つまり、テンプレートマッチングにおいて所定の精度が出るような画素数の画像が変換されればよい。例えば、撮像画像Ｐ５内のテンプレートＴが１７画素×１７画素である場合、画像Ｐ１１におけるウィンドウが、１６．５画素〜１７．５画素の範囲となるように解像度が変換されていればよい。

＜基線長について＞
第１実施形態の測距装置Ｄａにおいて、図１３、１４を用いて、撮像画像に繰り返し模様（パターン）が現れる場合を考慮して、アレイカメラ３１ａの個眼レンズＬ５と単眼カメラ３２ａの単眼レンズ部３２１ａとの基線長Ｂｂを、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの非整数倍にすることが望ましいことを説明した。第２実施形態においても、同様の不都合が発生しうる。第２実施形態の測距装置Ｄｂは、単眼レンズ部３２１ｂの性能が個眼レンズＬと画角が異なることから、焦点距離の考慮が必要となる。

図２２を用いて、測距装置Ｄｂの基線長について説明する。図２２Ａは、アレイカメラ３１ａ内の個眼レンズＬ５と個眼レンズＬ６とを用いた場合を説明するための図である。この場合の測定対象物までの距離Ｚは、図９を用いて説明したように、Ｚ＝（Ｂ×ｆ）／（ｄ×μ）であるので、１／Ｚ＝（ｄ×μ）／（Ｂ×ｆ）である。よって、１／Ｚｏｂｊ＝（ｄｏｂｊ×μ）／（Ｂａ×ｆ）となる。Ｚは、算出した測定対象物までの距離であり、基線長がＢａ、Ｚｏｂｊは、撮影時の測定対象物までの距離（正しい距離）であり、ｄｏｂｊは視差を示す。

従って、以下の場合に、一致度が高くなる。
１／Ｚ＝１／Ｚｏｂｊ
１／Ｚ＝２／Ｚｏｂｊ
但し、個眼レンズＬ５と個眼レンズＬ６とは、焦点距離（ｆ）、撮像面の画素数（画角、焦点距離）が等しい。

図２２Ｂは、アレイカメラ３１ａの個眼レンズＬ５と単眼カメラ３２ｂの単眼レンズ部３２１ｂを用いて場合を説明するための図である。単眼レンズ部３２１の焦点距離が、個眼レンズＬ５の焦点距離ｆの１．５倍であり、基線長が、図２２Ａの場合の基線長Ｂａの２倍であるとする。

図２２Ｂの場合の測定対象物までの距離Ｚは、図９を用いて説明したように、Ｚ＝（Ｂ×ｆ）／（ｄ×μ）であるので、１／Ｚ＝（ｄ×μ）／（Ｂ×ｆ）である。Ｂｂ＝Ｂａ×２であり、焦点距離がｆ×１．５である。よって、１／Ｚｏｂｊ＝（ｄｏｂｊ×３×μ）／（Ｂａ×２×ｆ×１．５）となる。

従って、以下の場合に、一致度が高くなる。
１／Ｚ＝１／Ｚｏｂｊ
１／Ｚ＝２／Ｚｏｂｊ
つまり、図１３の下段に示すようなＳＡＤ値のグラフを作成すると、ｄｏｂｊの３倍の周期でＳＡＤ値が小さい場合が、画像内の繰り返しパターンと同期して現れることになる。

測距装置Ｄｂのように、個眼レンズＬと単眼レンズ部３２１との焦点距離が異なる場合には、このように焦点距離と基線長との組み合わせによって、上述したような周期性の問題が起こるため、焦点距離と基線長の積が非整数倍となるように、基線長を設定する必要がある。

＜オクルージョンについて＞
ここで、オクルージョンに対する対策ついて説明する。ステレオ画像では、撮影対象の空間のうち、いずれか一方の撮像画像にしか映らない空間が発生する場合がある。いわゆるオクルージョン部分（隠れによる非共通領域）が発生する場合がある。

このオクルージョン領域の大きさは、測定対象物までの距離によって異なる。図２３は、遠距離の測定対象物Ｏｂを撮影する場合を示し、図２４は、近距離の測定対象物Ｏｂを撮影する場合を示す。

図２３には、アレイカメラ３１ａの個眼レンズＬ５による撮像画像Ｐ５と、単眼カメラ３２ｂの単眼撮像部３２２ｂによる撮像画像Ｐ１０とが示されている。撮像画像Ｐ５と撮像画像Ｐ１０とでは、オクルージョン部分は限定的であり、テンプレートマッチングで対応点が見つかる可能性はかなり高い。

また、図２４には、アレイカメラ３１ａの個眼レンズＬ４、個眼レンズＬ５、個眼レンズＬ６による撮像画像Ｐ４、撮像画像Ｐ５、撮像画像Ｐ６が示されている。撮像画像Ｐ４、撮像画像Ｐ５、撮像画像Ｐ６のそれぞれでは、撮像対象の人の頭部分Ｈにより、オクルージョン部分が大きくなっている。

従って、測距装置Ｄｂでは、近距離測距処理部１２２において、アレイカメラ３１ａの個眼レンズＬ同士で対応点探索を行って測距処理を行う場合、多くのペアにおいて対応点探索を行うことで、オクルージョンが発生しても、より正確な距離を算出することが可能となる。これは、撮像画像の中央を基準に、異なる方向を見ると、いずれかの方向にはオクルージョンではない領域が存在するためである。つまり、例えば、個眼レンズＬ５と、周囲のいずれかの個眼レンズＬとのペアでは、対応点探索が成功する可能性が高いことになる。

＜第３実施形態＞
第２実施形態の測距装置Ｄｂでは、画像取得部３ｂにおいて、図１５に示すように、単眼カメラ３２ｂは、アレイカメラ３１ａの個眼レンズＬと異なる特性を有する単眼レンズ部３２１ｂを備え、アレイカメラ３１ａの各個眼レンズＬは同一特性を有する。一方、第３実施形態の測距装置Ｄｃでは、画像取得部３ｃが有するアレイカメラ３１ｃの複数の個眼レンズＬのうちの１つ（個眼レンズＬ１）が、他の個眼レンズＬと異なる特性を有する。この個眼レンズＬ１は、その光学性能のピーク位置を遠くに持つレンズであり、他の８つの個眼レンズＬは、その光学性能のピーク位置を近くに持つ。単眼カメラ３２ｃの単眼レンズ部３２１ｃは、その光学性能のピーク位置を遠くに持つレンズである。なお、個眼レンズＬ１は、単眼カメラ３２ｃの単眼レンズ部３２１ｃと同じ特性を有するものであっても、異なってもよい。尚、実施形態でのレンズの光学性能とは、例えば、前記ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）で表されるレンズ性能である。ピーク位置とは、ＭＴＦが所定の閾値よりも高い距離をいう。

図２５に示すように、測距装置Ｄｃでは、アレイカメラ３１ｃと単眼カメラ３２ｃとは、アレイカメラ３１ｃのアレイレンズ部３１１ｃの左上の個眼レンズ３１１１−１１（Ｌ１）と単眼カメラ３２ｃの単眼レンズ部３２１ｃとが、基線長Ｂｂ２だけ離間するように、配置される。アレイカメラ３１ｃの個眼レンズＬ１以外の各個眼レンズＬ間は、基線長Ｂａだけ離間するように配置されている。つまり、個眼レンズ３１１１−２２（Ｌ５）の光軸位置と個眼レンズ３１１１−２３（Ｌ６）の光軸位置とを結ぶ直線と、個眼レンズ３１１１−１１（Ｌ１）の光軸位置と、単眼レンズ部３２１ｃの光軸位置とを結ぶ直線とが、交わらない位置関係である。図２６の左側の図には、アレイ撮像部３１２ｃにおいて各個眼撮像部３１２１として利用される領域が、グレーの矩形で示されており、右側の図には、単眼撮像部３２２ｃがグレーの矩形として示されている。

なお、単眼レンズ部３２１ｃは、個眼レンズＬ１とペアになっているが、他の１つの個眼レンズＬとペアであってもよい。ペアとなるレンズは、個眼レンズＬ１および単眼レンズ部３２１ｂ共に、測距したい遠距離の範囲に性能が出ているレンズであればよい。

測距装置Ｄｃのように、アレイカメラ３１ｃの単眼レンズ部３２１ｃに、近距離用の個眼レンズＬと遠距離用の個眼レンズＬとを持つ場合には、図２５に示すように、近距離用の個眼レンズＬを多く持つことにより、オクルージョンが発生しても、正確な測距を行える可能性が高くなる。

アレイ撮像部３１２ｃの個眼レンズＬ１、個眼レンズＬ２〜９、単眼レンズ部３２１ｃの各特性の例が、図２７に示されている。図２７は、レンズの光学性能のグラフであり、縦軸にＭＴＦを表し、横軸に被写体までの距離を表す。アレイカメラ３１ｃの個眼レンズＬ２〜９の特性が破線のグラフで示され、個眼レンズＬ１の特性が一点鎖線のグラフで示され、単眼カメラ３２ｃの単眼レンズ部３２１ｃの特性が実線で示されている。個眼レンズＬ２〜９は、近距離にのみ性能が出ており、個眼レンズＬ１は比較的遠距離から性能が出ている。単眼レンズ部３２１ｃは、個眼レンズＬ２〜９と個眼レンズＬ１との間の距離から性能が出ている。レンズ性能がこのグラフのような場合、近距離では、アレイカメラ３１ｃのみを用いて、個眼レンズＬ２〜９同士のペアで測距を行い、遠距離では、アレイカメラ３１ｃの個眼レンズＬ１と単眼カメラ３２ｃとを用いて測距を行うのが良いことがわかる。

次に、近距離測距処理部１２２ｃの処理について説明する。近距離測距処理部１２２ｃは、アレイカメラ３１ｃで撮像された画像のみを用いて処理を行う。図２８に示すように、近距離測距処理部１２２ｃは、個眼レンズＬ５を用いて撮像された撮像画像Ｐ５と、他の個眼レンズＬ２〜Ｌ４、個眼レンズＬ６〜Ｌ９を用いて撮像された７つの撮像画像Ｐそれぞれと対応点探索を行う。この近距離測距処理部１２２ｃが行う処理を示すフローチャートが図２９に示されている。

近距離測距処理部１２２ｃは、アレイカメラ３１ｃのアレイレンズ部３１１ｃの個眼レンズＬ５を用いて撮像された撮像画像Ｐ５を参照画像として取得し（ステップＳ４１）、個眼レンズＬ２〜４、個眼レンズＬ６〜９を用いて撮像された撮像画像Ｐ２〜４、撮像画像Ｐ６〜９を取得する（ステップＳ４２）。

次に、近距離測距処理部１２２ｃは、撮像画像Ｐ５を基準画像とし、撮像画像Ｐ２〜Ｐ４、撮像画像Ｐ６〜Ｐ９の７つの撮像画像をそれぞれ参照画像として対応点探索を行い、ＳＡＤ値を求める（ステップＳ４３、ステップＳ４４：Ｎｏ）。

近距離測距処理部１２２ｃは、７つの撮像画像について、参照画像とのペアでＳＡＤ値を求めると（ステップＳ４４：Ｙｅｓ）、求めた７つのＳＡＤ値を加算した加算ＳＡＤ値を求める（ステップＳ４５）。

加算ＳＡＤ値を求めた近距離測距処理部１２２ｃは、最も小さいＳＡＤ値に対応するウィンドウＷの中心位置の画素を対応点とし、テンプレートＴ０の中心位置の画素とのずれ量を求め、測定対象物までの距離を算出する（ステップＳ４６）。

遠距離測距処理部１２１ｃは、個眼レンズＬ１と単眼レンズ部３２１ｃの特性が同じ場合には、図７を用いて説明した処理を行い、個眼レンズＬ１と単眼レンズ部３２１ｃの特性（画角）が異なる場合には、図１９を用いて説明した処理を行って、測定対象物までの距離を求める。

＜第４実施形態＞
第４実施形態では、画像取得部３ｄのアレイカメラ３１ｄおよび単眼カメラ３２ｄが、それぞれ色フィルタを備える。

図３０は、第４実施形態の測距装置Ｄｄにおける画像取得部３ｄの構成を示すブロック図である。画像取得部３ｄは、アレイカメラ３１ｄと、単眼カメラ３２ｄとを備える。

アレイカメラ３１ｄは、複数の個眼レンズを有するアレイレンズ部３１１ａと、この複数の個眼レンズそれぞれによって結像された物体の光学像をそれぞれ撮像する複数の個眼撮像部を有するアレイ撮像部３１２ａと、アレイ色フィルタ部３１３ａとを備える。

アレイ色フィルタ部３１３ａは、複数の色フィルタ部を備える。複数の色フィルタ部は、アレイレンズ部３１１ａにおける複数の個眼レンズ３１１１に対応し、各受光面が互いに同一平面となるように配列される。本実施形態では、複数の色フィルタ部は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。より具体的には、例えば、複数の色フィルタ部３は、３行３列に２元マトリクス状に配列された９個の色フィルタ部（不図示）を備える。

これら複数の色フィルタ部それぞれは、互いに異なる単色の色フィルタを備えて構成される。図３１は、アレイレンズ部３１１ａの各個眼レンズＬと色フィルタの色の対応関係を示す。図３１に示すように、アレイレンズ部３１１ａの各個眼レンズＬに、互いに異なる単色の色フィルタが対応して配置される。具体的には、個眼レンズＬ１、個眼レンズＬ３、個眼レンズＬ６、個眼レンズＬ７および個眼レンズＬ８には、緑色（Ｇ）のフィルタが配置され、個眼レンズＬ２および個眼レンズＬ８には、赤色（Ｒ）のフィルタが配置され、個眼レンズＬ４および個眼レンズＬ６には、青色（Ｂ）のフィルタが配置される。図３２の左側の図には、アレイ撮像部３１２ａにおいて各個眼撮像部３１２１として利用される領域が、グレーの矩形で示されており、右側の図には、単眼撮像部３２２ａがグレーの矩形として示されている。

なお、アレイレンズ部３１１ａのようなアレイレンズの場合、同じレンズを使って、異なる色フィルタを配置すると、合焦位置が少しずれてしまう場合がある。このような合焦のずれを防止するため、各個眼が異なるレンズ設計であってもよい。

単眼カメラ３２ｄは、単眼レンズ部３２１ａと、この単眼レンズ部３２１ａによって結像された物体の光学像を撮像する単眼撮像部３２２ａと、単眼色フィルタ部３２３とを備える。

単眼色フィルタ部３２３は、単眼レンズ部３２１ａに対応して配置される。この単眼色フィルタ部３２３部は、図３３に示すような、赤色を透過する赤色フィルタ（Ｒ）、緑色を透過する緑色フィルタ（Ｇ）、および、青色を透過する青色フィルタ（Ｂ）を２行２列で２次元マトリックス状に配置した配列の、いわゆるベイヤー配列のフィルタを、さらに２次元アレイ状に配列したフィルタである。従って、単眼撮像部３２２ａから、ベイヤー配列に応じた色の各画素データが出力される。

測距装置Ｄｄの遠距離測距処理部１２１ｄは、個眼レンズＬ５と単眼レンズ部３２１ａの特性が同じ場合には、図７を用いて説明した処理が行われ、個眼レンズＬ５と単眼レンズ部３２１ａの特性（画角）が異なる場合には、図１９を用いて説明した処理が行われ、これによって、測定対象物までの距離が求められる。

ただし、対応点探索（図７のステップＳ１３、図１９のステップＳ３４）では、参照画像として用いる単眼レンズ部３２１ａによる撮像画像Ｐのうちの、緑色（Ｇ）の画素のみを用いて、テンプレートマッチングが行われる。これは、基準画像として個眼レンズＬ５による撮像画像Ｐ５が用いられるが、個眼レンズＬ５には、緑色のフィルタ（Ｇ）が配置されているためである。

具体的には、例えば、１７画素×１７画素のテンプレートＴを用いる場合を考える。図３４は、テンプレートマッチングを行う場合の、参照画像に設けるウィンドウＷ（１７画素×１７画素）を示す。小さい矩形が、１画素を表す。参照画像（ベイヤー配列）のウィンドウＷにおける注目画素Ｑが緑色（Ｇ）である場合には、黒の矩形で示す画素を用いて、テンプレートマッチングが行われる。また、注目画素Ｑが、赤色（Ｒ）または青色（Ｂ）である場合には、白の矩形で示す画素を用いてテンプレートマッチングが行われる。

次に、測距装置Ｄｄの近距離測距処理部１２２ｄの処理について説明する。近距離測距処理部１２２ｄは、アレイカメラ３１ｄで撮像された画像のみを用いて処理を行う。図３５に示すように、近距離測距処理部１２２ｄは、個眼レンズＬ５を用いて撮像された撮像画像Ｐ５と、個眼レンズＬ１、個眼レンズＬ３、個眼レンズＬ７、個眼レンズＬ９を用いて撮像された４つの撮像画像Ｐそれぞれと対応点探索を行う。つまり、近距離測距処理部１２２ｄは、個眼レンズＬ５と同じ緑色（Ｇ）のフィルタが配置された個眼レンズＬによる撮像画像Ｐを用いて、テンプレートマッチングを行う。この近距離測距処理部１２２ｄが行う処理を示すフローチャートが図３６に示されている。

近距離測距処理部１２２ｄは、アレイカメラ３１ｄのアレイレンズ部３１１ａの個眼レンズＬ５を用いて撮像された撮像画像Ｐ５を参照画像として取得し（ステップＳ５１）、個眼レンズＬ１、Ｌ３、Ｌ７、Ｌ９を用いて撮像された撮像画像Ｐ１、Ｐ３、Ｐ７、Ｐ９を取得する（ステップＳ５２）。

次に、近距離測距処理部１２２ｄは、撮像画像Ｐ５を基準画像とし、撮像画像Ｐ１、Ｐ３、Ｐ７、Ｐ９の４つの撮像画像をそれぞれ参照画像として対応点探索を行い、ＳＡＤ値を求める（ステップＳ５３、ステップＳ５４：Ｎｏ）。

近距離測距処理部１２２ｄは、４つの撮像画像について、参照画像とのペアでＳＡＤ値を求めると（ステップＳ５４：Ｙｅｓ）、求めた４つのＳＡＤ値を加算した加算ＳＡＤ値を求める（ステップＳ５５）。

加算ＳＡＤ値を求めた近距離測距処理部１２２ｄは、最も小さいＳＡＤ値に対応するウィンドウＷの中心位置の画素を対応点とし、テンプレートＴの中心位置の画素とのずれ量を求め、測定対象物までの距離を算出する（ステップＳ５６）。

＜第５実施形態＞
第４実施形態では、アレイカメラ３１ｄが、アレイ色フィルタ部３１３ａとして各個眼レンズＬごとに色が異なるフィルタを備え、単眼カメラ３２ｄが、単眼色フィルタ部３２３としてベイヤー型のフィルタを備えていた。第５実施形態の測距装置Ｄｅでは、画像取得部３ｅは、アレイ色フィルタ部３１３ｂとして、各個眼レンズＬごとにベイヤー型フィルタを備える。

測距装置Ｄｅでは、遠距離測距処理部１２１ｅ、および、近距離測距処理部１２２ｅは、対応点探索を行う際に、例えば、基準画像のテンプレートＴのうちの緑色（Ｇ）の画素と、参照画像のウィンドウＷのうちの緑色（Ｇ）の画素とを用いて、テンプレートマッチングを行う。

また、基準画像、参照画像それぞれをモノクロ（単色）画像に変換して、テンプレートマッチングが行われてもよい。互いにモノクロ画像とすることで、全画素を用いたテンプレートマッチングを行うことが可能となる。テンプレートマッチングは、基本的に、同じ色同士でしか行うことができないからである。全画素を用いたテンプレートマッチングを行うことにより、マッチングの精度が上がり、結果として測距処理の精度が上がることになる。

ここで、測距装置Ｄｅの遠距離測距処理部１２１ｅが行う処理を示すフローチャートを、図３７に示す。遠距離測距処理部１２１ｅは、対応点探索を行う前に、ベイヤー画像である基準画像および参照画像を、それぞれモノクロ画像への変換を行うものである。

遠距離測距処理部１２１ｅは、アレイカメラ３１ｄのアレイレンズ部３１１ａの個眼レンズＬ５を用いて作成された撮像画像Ｐ５と、単眼カメラ３２ｅの単眼レンズ部３２１ａを用いて作成された撮像画像Ｐ０とを、記憶部２を介して取得する（ステップＳ６１、ステップＳ６２）。

次に、遠距離測距処理部１２１ｅは、撮像画像Ｐ５および撮像画像Ｐ０のモノクロ化（フィルタリング）を行う（ステップＳ６３）。モノクロ化の処理は、以下の＜モノクロ化（フィルタリング）＞の項で説明する。

次に、遠距離測距処理部１２１ｅは、モノクロ化された撮像画像Ｐ５を基準画像とし、モノクロ化された画像Ｐ０を参照画像として対応点探索を行い（ステップＳ６４）、ずれ量（画素数）から距離を算出する（ステップＳ６５）。

次に、近距離測距処理部１２２ｅの処理について説明する。近距離測距処理部１２２ｅは、アレイカメラ３１ｅで撮像された画像のみを用いて処理を行う。この近距離測距処理部１２２ｅが行う処理を示すフローチャートが図３８に示されている。

近距離測距処理部１２２ｅは、アレイカメラ３１ｅのアレイレンズ部３１１ａの個眼レンズＬ５を用いて撮像された撮像画像Ｐ５を基準画像として取得し（ステップＳ７１）、個眼レンズＬ１〜４、個眼レンズＬ６〜９を用いて撮像された撮像画像Ｐ１〜４、撮像画像Ｐ６〜９を取得する（ステップＳ７２）。

近距離測距処理部１２２ｅは、撮像画像Ｐ１〜９のモノクロ化（フィルタリング）を行う（ステップＳ７３）。

次に、近距離測距処理部１２２ｅは、モノクロ化された撮像画像Ｐ５を基準画像とし、モノクロ化された撮像画像Ｐ１〜Ｐ４、撮像画像Ｐ６〜Ｐ９の８つの撮像画像をそれぞれ参照画像として対応点探索を行い、ＳＡＤ値を求める（ステップＳ７４、ステップＳ７５：Ｎｏ）。

近距離測距処理部１２２ｅは、８つの撮像画像について、参照画像とのペアでＳＡＤ値を求めると（ステップＳ７５：Ｙｅｓ）、求めた８つのＳＡＤ値を加算した加算ＳＡＤ値を求める（ステップＳ７６）。

加算ＳＡＤ値を求めた近距離測距処理部１２２ｅは、最も小さいＳＡＤ値に対応するウィンドウＷの中心位置の画素を対応点とし、テンプレートＴ０の中心位置の画素とのずれ量を求め、測定対象物までの距離を算出する（ステップＳ７７）。

なお、図３７、３８で示した遠距離測距処理部１２１ｅ、および、近距離測距処理部１２２ｅの処理は、アレイカメラ３１ｅ及び単眼カメラ３２ｅのレンズ配置及びレンズ性能が、第１実施形態のレンズ配置および性能と同じである場合の処理である（図４参照）。アレイカメラ３１ｅ及び単眼カメラ３２ｅのレンズ配置および性能が、他の実施形態のレンズ配置および性能と同じである場合は、その実施形態に応じた処理が行われる。

＜モノクロ化処理（フィルタリング）＞
図３９は、ベイヤー型フィルタを用いて作成したベイヤー（多色）画像と、変換処理後のモノクロ画像とを対比した一例を示す図である。図３９Ａに、ベイヤー画像の例を示し、図３９Ｂに、ガウシアンフィルタを用いたフィルタリングによって作成したモノクロ画像を示す。

ベイヤー画像を、モノクロ画像に変換する方法を説明する。図４０は、ベイヤー画像からモノクロ画像への変換処理を説明するための図である。図４０Ａは、画像の各画素と画像フィルタとの関係を示し、図４０Ｂは、画像フィルタを示し、図４０Ｃは、フィルタリング後画像を示す。図４０Ｂに示す画像フィルタＦＬ１ａは、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の２行２列に位置するフィルタ係数は、４／１６であり、１行２列、２行１列、２行３列および３行２列それぞれに位置する各フィルタ係数は、２／１６であり、そして、１行１列、１行３列、３行１列および３行３列それぞれに位置する各フィルタ係数は、１／１６である。このようなフィルタ係数を持つ画像フィルタＦＬ１ａは、ガウシアンフィルタでもある。

ベイヤー画像ＩＳに対応した画像フィルタＦＬ１ａが用いられ、フィルタリングは、ベイヤー画像ＩＳにおける最初の１行１列に位置する画素に対応するデータから最終の最終行最終列に位置する画素に対応するデータまで順次に実行される。

例えば、図４０Ａ上段に示す２行２列に位置するＧ画素に対し画像フィルタＦＬ１ａでフィルタリングすると、２行２列に位置するＧ画素に対応するフィルタリング後の画像ＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となる。

図４０Ａ下段に示す３行２列に位置するＲ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、３行２列に位置するＲ画素に対応するフィルタリング後画像ＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となる。

２行３列に位置するＢ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、２行３列に位置するＢ画素に対応する前処理後画像データＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となる。

そして、３行３列に位置するＧ画素に対し前記画像フィルタＦＬ１ａでフィルタリングすると、３行３列に位置するＧ画素に対応するフィルタリング後画像ＢＩＳのデータは、（１行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬ１ａのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬ１ａのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬ１ａのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬ１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となる。

画像フィルタＦＬ１ａは、ベイヤー画像ＩＳにおける単位配列の色組成比と同じ色組成比のフィルタ係数を備えるから、ベイヤー画像ＩＳに画像フィルタＦＬ１ａを作用させた場合において、ベイヤー画像ＩＳのＲ画素に対応するフィルタ係数の総計と、ベイヤー画像ＩＳのＢ画素に対応するフィルタ係数の総計と、ベイヤー画像ＩＳのＧ画素に対応するフィルタ係数の総計は、ベイヤー画像ＩＳにおける単位配列の色組成比と同じになる。

このようにベイヤー画像ＩＳの単位配列におけるいずれの画素のデータも画像フィルタＦＬ１ａによって同じ色組成比でフィルタリングされる。したがって、ベイヤー画像ＩＳにおける全ての画素のデータが画像フィルタＦＬ１ａによって同じ色組成比でフィルタリングされることになる。この結果、フィルタリング後画像データＢＩＳにおける全ての画素のデータは、図４０Ｃに示すように、（Ｇ／２＋Ｒ／４＋Ｂ／４）で合成された同じ色成分を持つデータとして扱うことが可能となる。よって、対応点探索では、フィルタリング後画像ＢＩＳにおける全ての画素のデータが使用可能となる。

上記では、画像フィルタＦＬ１ａを用いる場合を説明したが、他の画像フィルタを用いてもよく、その例を、図４１に示す。

図４１Ａに示す画像フィルタＦＬ１ｂは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の３行３列に位置するフィルタ係数は、３６／２５６であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、２４／２５６であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、１６／２５６であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、６／２５６であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、４／２５６であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／２５６である。

図４１Ｂに示す画像フィルタＦＬ１ｃは、７行７列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の４行４列に位置するフィルタ係数は、４００／４０９６であり、３行４列、４行３列、４行５列および５行４列それぞれに位置する各フィルタ係数は、３００／４０９６であり、３行３列、３行５列、５行３列および５行５列それぞれに位置する各フィルタ係数は、２２５／４０９６であり、２行４列、４行２列、４行６列および６行４列それぞれに位置する各フィルタ係数は、２００／４０９６であり、２行３列、２行５列、３行２列、３行６列、５行２列、５行５列、６行３列および６行５列それぞれに位置する各フィルタ係数は、９０／４０９６であり、２行２列、２行６列、６行２列および６行６列それぞれに位置する各フィルタ係数は、３６／４０９６であり、１行４列、４行１列、４行７列および７行４列それぞれに位置する各フィルタ係数は、２０／４０９６であり、１行３列、１行５列、３行１列、３行７列、５行１列、５行７列、７行３列および７行５列それぞれに位置する各フィルタ係数は、１５／２５６であり、１行２列、１行６列、２行１列、２行７列、６行１列、６行７列、７行２列および７行６列それぞれに位置する各フィルタ係数は、６／２５６であり、そして、１行１列、１行７列、７行１列および７行７列それぞれに位置する各フィルタ係数は、１／４０９６である。

図４１Ｃに示す画像フィルタＦＬ１ｄは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、中心の３行３列に位置するフィルタ係数は、１６／１４４であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、１２／１４４であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、９／１４４であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、４／１４４であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、３／１４４であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／１４４である。

このような画像フィルタＦＬ１ａ〜ＦＬ１ｄに対し、高周波のモアレ成分が残ると対応点探索が誤判定する虞があるので、画像フィルタＦＬ１は、例えば、原画像データの画像に含まれる高周波成分の割合に応じて適宜に選択されることが好ましい。例えば、原画像データの画像に含まれる高周波成分の割合が多いほど、よりボケさせる画像フィルタＦＬ１が選択される。

＜第６実施形態＞
実施形態１では、アレイカメラ３１ａと単眼カメラ３２ａは、図４に示すように、アレイカメラ３１ａと単眼カメラ３２ａとは、アレイカメラ３１ａのレンズアレイの中央の個眼レンズ３１１１−２２と単眼カメラ３２ａの単眼レンズ部３２１ａとが、基線長Ｂｂだけ離間するよう配置され、アレイカメラ３１ａの各個眼レンズ３１１１間は、基線長Ｂａだけ離間するように配置されており、個眼レンズ３１１１−２２と、個眼レンズ３１１１−２３と、単眼カメラ３２ａの単眼レンズ部３２１ａとは、同一線上に配置されている。第６実施形態では、図４２に示すように、単眼レンズ部３２１ａが、個眼レンズ３１１１−２２と個眼レンズ３１１１−２３とを結ぶ直線上に配置されないものである。言い換えれば、個眼レンズ３１１１−２２の光軸位置と個眼レンズ３１１１−２３の光軸位置とを結ぶ直線と、個眼レンズ３１１１−２２の光軸位置と、単眼レンズ部３２１ａの光軸位置とを結ぶ直線とが、交わるような位置である。

図４２において、個眼レンズ３１１１−２２と単眼カメラ３２ａの単眼レンズ部３２１ａとが、基線長Ｂｃだけ離間するよう配置され、アレイカメラ３１ａの各個眼レンズ３１１１間は、基線長Ｂａだけ離間して配置されている。基線長Ｂｃの個眼レンズ３１１１間の基線長Ｂａへの射影成分をＢｂとする。

この場合の基線長について考える。

図４３は、アレイカメラ３１ａの個眼レンズＬ５と、単眼カメラ３２ａの単眼レンズ部３２１ａとの基線長Ｂｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの２倍（整数倍）であった場合を説明するための図である。

図４３の、部分画像６０は、個眼レンズＬ５による撮像画像Ｐ５の一部分を示す部分画像であり、縦縞の模様の画像である。部分画像７０は、個眼レンズＬ６による撮像画像Ｐ６の一部分を示す部分画像であり、エピポーララインＥ６上の画像である。

部分画像６０上のテンプレートＴ０の中心位置の画素が、縦縞模様の縁部分にあるものとする。テンプレートマッチングにおいて、エピポーララインＥ６上を走査する場合、走査点が縦縞模様の縁部分にあるときの一致度が高くなる。例えば、走査点７１、７２の場合である。正しい対応点は、走査点７１であるとする。

つまり、走査点７２の場合は、一致度は高いが、正しい対応点とは異なる走査点であり、間違った距離が算出されることになる。

次に、部分画像９０は、単眼カメラ３２ａの単眼レンズ部３２１ａによる撮像画像Ｐ０の一部分を示す部分画像であり、エピポーララインＥ９上の画像である。つまり、基線長ＢｃのエピポーララインＥ６方向への射影成分であるＢｂ＝Ｂａ×２の場合である。この場合は、例えば、走査点９１、９２において、一致度は高くなる。正しい対応点は、走査点９１であるとする。

つまり、走査点９２の場合は、一致度は高いが、正しい対応点とは異なる走査点であり、間違った距離が算されることになる。

従って、基線長Ｂｃの射影成分であるＢｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの整数倍である場合、距離が正しく算出されないことになる。つまり、基線長Ｂｃの射影成分であるＢｂが、個眼レンズＬ５と個眼レンズＬ６との基線長Ｂａの非整数倍となるように、基線長Ｂｃが決められる。

＜対応点探索手法＞
上述した第１〜６の実施形態では、近距離測距処理部１２２が行う対応点探索の画像のペア数に比べて、遠距離測距処理部１２１が行うペア数が少ない。つまり、遠距離測距処理部１２１では、測距の精度が落ちる場合がある。そこで、上述のよう、テンプレートサイズが変換されていた。例えば、遠距離測距処理部１２１は、１７画素×１７画素のテンプレートＴを用い、近距離測距処理部１２２は、５画素×５画素のテンプレートＴを用いる等である。

しかし、対応点探索手法として、よりロバストな手法が用いられてもよい。

例えば、近距離測距処理部１２２は、ＳＡＤ法、または、ＳＤＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法を用い、遠距離測距処理部１２１は、処理は重いが精度の出やすいＮＣＣ（正規化相互相関：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）法、ＺＮＣＣ（正規化相互相関：Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）法、または、相関度を求めてサブピクセルレベルで求めるＰＯＣ（位相限定相関：Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ、特開２００８−２１６１２７号公報参照）法を用いてもよい。

ＳＤＤは、以下の式を用いて算出する。Ｔ（ｉ，ｊ）は、テンプレートＴの画素の輝度値であり、Ｉ（ｉ，ｊ）は、参照画像のウィンドウＷの画素の輝度値である。座標（ｉ，ｊ）は、テンプレートＴの幅をＭ画素、高さをＮ画素としたとき、テンプレートの左上の座標を（０，０）、右下を（Ｍ−１，Ｎ−１）とする場合の座標である。

ＳＳＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の２乗の合計であり、値が小さい程、似ていることになる。

ＮＣＣは、以下の式を用いて類似度Ｒ_ＮＣＣを算出する。算出された類似度Ｒ_ＮＣＣが１に近い程、似ていることを示す。

ＺＮＣＣは、以下の式を用いて類似度Ｒ_ＺＮＣＣを算出する。

なお、アレイカメラ３１は、個眼レンズＬのレンズ性能と個眼撮像部３１２１のセンサーピッチに応じて、高周波モアレを出さないように、光学ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を、アレイカメラ３１のアレイ撮像部３１２より物体側の光軸上に配置してもよい。また、超解像処理等を行う場合には、光学ＬＰＦを、アレイカメラ３１のアレイ撮像部３１２より物体側の光軸上に設けないこととしてもよい。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる測距装置は、複数の第１撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する一つまたは複数の第１撮像部を備える複眼カメラと、１つの第２撮像光学系と、前記第２撮像光学系に対応し、前記第２撮像光学系によって結像された前記測定対象物の光学像を撮像する１つの第２撮像部とを備える単眼カメラと、前記複数の第１撮像光学系のうち少なくとも２つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とに基づいて前記測定対象までの距離を求める距離演算部とを備え、前記２つの第１撮像光学系のうちの１つの第１撮像光学系と前記第２撮像光学系との第１基線長と前記２つの第１撮像光学系の間の第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記第１および第２基線長の換算値が非整数倍の関係となる。

他の一態様にかかる測距方法は、複数の第１撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する一つまたは複数の第１撮像部を備える複眼カメラと、１つの第２撮像光学系と、前記第２撮像光学系に対応し、前記第２撮像光学系によって結像された前記測定対象物の光学像を撮像する１つの第２撮像部とを備える単眼カメラとを備える測距装置で用いられる測距方法であって、前記複数の第１撮像光学系のうち少なくとも２つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とに基づいて前記測定対象までの距離を求める距離演算ステップを備え、前記２つの第１撮像光学系のうちの１つの第１撮像光学系と前記第２撮像光学系との第１基線長と前記２つの第１撮像光学系の間の第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記第１及び第２基線長の換算値が非整数倍の関係となる。

このような測距装置及び測距方法は、複眼カメラ以外に、単眼カメラを備えるので、複数の基線長の複数のステレオ画像を得ることができる。従って、測定対象物までの距離に応じて適切な画像により、精度のよい測距処理が可能となる。更に、第１撮像光学系と前記第２撮像光学系との第１基線長を、前記２つの第１撮像光学系間の第２基線長に基づき定める、つまり、第１基線長と第２基線長との関係が、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、第１及び第２基線長の換算値が非整数倍の関係になるように、第１及び第２基線長を設定するので、同じ形状の図を繰り返した繰り返し模様を有する画像を用いた測距処理を、より精度良くできる可能性が高くなる。一方がいわゆるアレイレンズを備えるカメラであり、他方のカメラが単眼であるので、装置の小型化、薄型化を図り、より安価とすることが可能となる。

他の一態様では、上述の測距装置において、前記距離演算部は、前記第１撮像光学系の画角と前記第２撮像光学系の画角とが互いに異なる場合には、前記第１撮像光学系から撮像された第１画像及び前記第２撮像光学系から撮像された第２画像の少なくとも一方を、ほぼ同一画角領域の画像サイズが同じになるように、画素数を変更する前記第１画像及び前記第２画像のうち少なくとも一方の画素数を変更する。

このような測距装置では、同一視野が同一画素の画像を用いて測距処理を行うので、画角が互いに異なるレンズによるステレオ画像を用いても、精度のよい測距処理が可能となる。

他の一態様では、これら上述の測距装置において、前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とを用いて対応点探索を行い、前記第２撮像部で撮像された画像が多色画像である場合、当該多色画像を構成する画素のうち、最も多い色の画素を用いて、対応点探索を行う。

このような測距装置では、一方が多色画像であっても、一色の画素のみで対応点探索を行うので、より精度のよい測距処理が可能となる。

他の一態様では、これら上述の測距装置において、前記第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像された画像は、多色画像であって、前記多色画像を画像フィルタでフィルタリングする画像フィルタ処理部をさらに備え、前記多色画像は、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備え、前記距離演算部は、前記画像フィルタ処理部でフィルタリングされた、第１撮像部で撮像された多色画像と前記第２撮像部で撮像された多色画像とを用いて、対応点探索を行う。

このような測距装置では、対応点探索で用いる画像を、単色の画像に変換して対応点探索を行うので、全画像を用いることができ、精度のよい測距処理が可能となる。

他の一態様では、これら上述の測距装置において、前記複数の第１撮像光学系のうち少なくとも１つの第１撮像光学系、及び、前記第２撮像光学系は、他の第１撮像光学系よりも所定の光学性能のピーク位置が遠方の範囲にある。

このような測距装置では、所定の光学性能のピーク位置が遠方の範囲にあるレンズにより、基線長が長いレンズのペアを作ることができるので、測定対象物が遠くに在る場合に、精度のよい測距処理が可能となる。

他の一態様では、これら上述の測距装置において、前記複数の第１撮像光学系は、所定の光学性能のピーク位置が互いに異なる第１撮像光学系を有し、近距離の範囲で前記ピーク位置をもつ第１撮像光学系の数は、より遠距離の範囲で前記ピーク位置をもつ第１撮像光学系の数よりも多い。

このような測距装置では、近距離の範囲で所定の光学性能のピーク位置をもつレンズにより、基線長が短いレンズのペアを多く作ることができるので、測定対象物が近くに在る場合に、オクルージョンの影響を少なくでき、より精度のよい測距処理が可能となる。

他の一態様では、これら上述の測距装置において、前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像と、前記２撮像部で撮像された画像とを用いて対応点探索を行う場合のテンプレートのサイズは、前記第１撮像部で撮像された画像同士を用いて対応点探索を行う場合のテンプレートのサイズよりも大きい。

このような測距装置では、基線長が長いレンズのペアを用いた対応点探索でのテンプレートの方が、基線長が短いレンズのペアを用いた対応点探索で用いるテンプレートより大きいので、基線長が長いレンズのペアの数がすくなくても、より精度のよい測距処理が可能となる。なお、テンプレートとは、テンプレートマッチングを行う際の、基準画像上の注目点を中心とする矩形画像をいう。

他の一態様では、これら上述の測距装置において、前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像と、前記２撮像部で撮像された画像とを用いて対応点探索を行う場合に用いるテンプレートとウィンドウとの相関値を求める方法は、前記第１撮像部で撮像された画像同士を用いて対応点探索を行う場合に用いる前記相関値を求める方法と異なる。

他の一態様では、これら上述の測距装置において、前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とを用いて対応点探索を行う場合に用いる前記相関値を求める方法として、ＮＣＣ法、ＺＮＣＣ法、及び、ＰＯＣ法のうちのいずれか１つを用いる。

他の一態様では、これら上述の測距装置において、前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像同士を用いて対応点探索を行う場合に用いる前記相関値を求める方法として、ＳＡＤ法及びＳＤＤ法のうちのいずれか１つを用いる。

このような測距装置では、基線長が長いレンズのペアを用いた対応点探索での対応点探索手法の方が、基線長が短いレンズのペアを用いた対応点探索で用いる対応点探索手法より正確な対応点探索が行えるので、基線長が長いレンズのペアの数がすくなくても、より精度のよい測距処理が可能となる。なお、ウィンドウとは、テンプレートマッチングを行う際に、テンプレートと一致度を求める参照画像内の矩形画像をいう。

他の一態様では、これら上述の測距装置において、前記２つの第１撮像光学系のうちの１つの第１撮像光学系の光軸位置と前記第２撮像光学系の光軸位置とを結ぶ直線と、前記２つの第１撮像光学系の光軸位置とを結ぶ直線とが交差する場合は、前記第１基線長の前記第２基線長への射影成分を、新たな第１基線長とし、新たな第１基線長と前記第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記新たな第１基線長及び第２基線長の換算値が非整数倍の関係となる。
このような測距装置では、前記第２撮像光学系の光軸位置と前記２つの第１撮像光学系の光軸位置とが同一直線上に配置されない場合であっても、同じ形状の図を繰り返した繰り返し模様を有する画像を用いた測距処理を、より精度良くできる可能性が高くなる。

本発明にかかる測距装置および測距方法は、装置の小型化を図りながら、測距精度を上げることができる。

この出願は、２０１４年２月１８日に出願された日本国特許出願特願２０１４−０２８７６２を基礎とするものであり、その内容は、本願に含まれるものである。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、測距装置および測距方法を提供することができる。

Claims (12)

1. 複数の第１撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する一つまたは複数の第１撮像部を備える複眼カメラと、
   １つの第２撮像光学系と、前記第２撮像光学系に対応し、前記第２撮像光学系によって結像された前記測定対象物の光学像を撮像する１つの第２撮像部とを備える単眼カメラと、
   前記複数の第１撮像光学系のうち少なくとも２つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とに基づいて前記測定対象までの距離を求める距離演算部とを備え、
   前記２つの第１撮像光学系のうちの１つの第１撮像光学系と前記第２撮像光学系との第１基線長と前記２つの第１撮像光学系の間の第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記第１および第２基線長の換算値が非整数倍の関係となる
   測距装置。
2. 前記距離演算部は、前記第１撮像光学系の画角と前記第２撮像光学系の画角とが互いに異なる場合には、前記第１撮像光学系から撮像された第１画像及び前記第２撮像光学系から撮像された第２画像の少なくとも一方を、ほぼ同一画角領域の画像サイズが同じになるように、画素数を変更する
   請求項１に記載の測距装置。
3. 前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とを用いて対応点探索を行い、前記第２撮像部で撮像された画像が多色画像である場合、当該多色画像を構成する画素のうち、最も多い色の画素を用いて、対応点探索を行う
   請求項１又は２に記載の測距装置。
4. 前記第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像された画像は、多色画像であって、
   前記多色画像を画像フィルタでフィルタリングする画像フィルタ処理部をさらに備え、
   前記多色画像は、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
   前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備え、
   前記距離演算部は、前記画像フィルタ処理部でフィルタリングされた、第１撮像部で撮像された多色画像と前記第２撮像部で撮像された多色画像とを用いて、対応点探索を行う
   請求項１又は２に記載の測距装置。
5. 前記複数の第１撮像光学系のうち少なくとも１つの第１撮像光学系、及び、前記第２撮像光学系は、他の第１撮像光学系よりも所定の光学性能のピーク位置が遠方の範囲にある
   請求項１〜４のいずれか一項に記載の測距装置。
6. 前記複数の第１撮像光学系は、所定の光学性能のピーク位置が互いに異なる第１撮像光学系を有し、近距離の範囲で前記ピーク位置をもつ第１撮像光学系の数は、より遠距離の範囲で前記ピーク位置をもつ第１撮像光学系の数よりも多い
   請求項１〜５のいずれか一項に記載の測距装置。
7. 前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像と、前記２撮像部で撮像された画像とを用いて対応点探索を行う場合のテンプレートのサイズは、前記第１撮像部で撮像された画像同士を用いて対応点探索を行う場合のテンプレートのサイズよりも大きい
   請求項１〜６のいずれか一項に記載の測距装置。
8. 前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像と、前記２撮像部で撮像された画像とを用いて対応点探索を行う場合に用いるテンプレートとウィンドウとの相関値を求める方法は、前記第１撮像部で撮像された画像同士を用いて対応点探索を行う場合に用いる前記相関値を求める方法と異なる
   請求項１〜７のいずれか一項に記載の測距装置。
9. 前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とを用いて対応点探索を行う場合に用いる前記相関値を求める方法として、ＮＣＣ法、ＺＮＣＣ法、及び、ＰＯＣ法のうちのいずれか１つを用いる
   請求項１〜８のいずれか一項に記載の測距装置。
10. 前記距離演算部は、前記第１撮像光学系に対応する第１撮像部で撮像された画像及び前記第２撮像部で撮像された画像を用いて対応点探索を行い、前記第１撮像部で撮像された画像同士を用いて対応点探索を行う場合に用いる前記相関値を求める方法として、ＳＡＤ法及びＳＤＤ法のうちのいずれか１つを用いる
    請求項１〜９のいずれか一項に記載の測距装置。
11. 前記２つの第１撮像光学系のうちの１つの第１撮像光学系の光軸位置と前記第２撮像光学系の光軸位置とを結ぶ直線と、前記２つの第１撮像光学系の光軸位置とを結ぶ直線とが交差する場合は、前記第１基線長の前記第２基線長への射影成分を、新たな第１基線長とし、新たな第１基線長と前記第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記新たな第１基線長及び第２基線長の換算値が非整数倍の関係となる
    請求項１〜１０のいずれか一項に記載の測距装置。
12. 複数の第１撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する一つまたは複数の第１撮像部を備える複眼カメラと、１つの第２撮像光学系と、前記第２撮像光学系に対応し、前記第２撮像光学系によって結像された前記測定対象物の光学像を撮像する１つの第２撮像部とを備える単眼カメラとを備える測距装置で用いられる測距方法であって、
    前記複数の第１撮像光学系のうち少なくとも２つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記第２撮像部で撮像された画像とに基づいて前記測定対象までの距離を求める距離演算ステップを備え、
    前記２つの第１撮像光学系のうちの１つの第１撮像光学系と前記第２撮像光学系との第１基線長と前記２つの第１撮像光学系の間の第２基線長とは、同じ視差量を前記測定対象物までの距離の逆数に換算した際に、前記第１及び第２基線長の換算値が非整数倍の関係となる
    測距方法。

Images