JP7227454B2 - 測距カメラ - Google Patents

Description

本発明は、一般に、被写体までの距離を測定するための測距カメラに関し、より具体的には、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも２つの光学系によって形成された少なくとも２つの被写体像間の像倍比に基づいて、被写体までの距離を測定する測距カメラに関する。

従来より、被写体を撮像することにより、被写体までの距離を測定する測距カメラが提案されている。このような測距カメラとしては、被写体からの光を集光し、被写体像を形成するための光学系と、該光学系によって形成された被写体像を画像に変換するための撮像素子とを少なくとも２対備えるステレオカメラ方式の測距カメラが知られている（例えば、特許文献１参照）。

特許文献１が開示するようなステレオカメラ方式の測距カメラは、光軸方向に対して垂直な方向に互いにシフトして配置された２つの光学系によって形成された２つの被写体像間の並進視差（光軸方向に対して垂直な方向の視差）を算出し、この並進視差の値に基づいて、被写体までの距離を算出することができる。

このようなステレオカメラ方式の測距カメラでは、被写体像間の並進視差が小さいと、被写体までの距離を正確に算出することができない。よって、被写体像間の並進視差を十分に大きくするために、２つの光学系を光軸方向に対して垂直な方向に大きく離間して配置する必要がある。このことは、測距カメラのサイズを小さくすることを困難としている。

また、被写体が近距離に位置していると、得られる画像の視野の関係から、並進視差を算出するための被写体像の特徴点が一方の画像内には写っているが、他方の画像内では写っていないという状況が発生してしまう。この状況を避けるためには、２つの光学系を近接して配置する必要がある。しかしながら、２つの光学系を近接して配置すると被写体像間の並進視差が小さくなってしまい、測距の精度が低下する。そのため、被写体像間の並進視差に基づく測距を用いて、近距離に位置する被写体までの距離を正確に算出することは困難である。

このような問題に対し、本発明者らによって、２つの被写体像間の像倍比（倍率の比）に基づいて、被写体までの距離を算出する像倍比方式の測距カメラが提案されている。像倍比方式の測距カメラでは、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる２つの光学系が用いられ、該２つの光学系によって形成された２つの被写体像間の像倍比（倍率の比）に基づいて、被写体までの距離が算出される（特許文献２参照）。

このような像倍比方式の測距カメラでは、被写体までの距離を算出するために被写体像間の並進視差が利用されないため、２つの光学系を近接して配置しても、被写体までの距離を正確に算出することができる。そのため、測距カメラのサイズを小さくすることができる。また、被写体像間の像倍比は、被写体が近距離に位置する場合であっても正確に取得することが可能なので、像倍比方式の測距カメラは、近距離に位置する被写体までの距離を正確に算出することができる。

被写体像間の像倍比は、２つの被写体像のサイズの比から算出される。被写体像のサイズを取得するためには、被写体像を撮像することによって得られた画像中の被写体像の複数の特徴点（例えば、測距対象の高さ方向または幅方向の両端部）を検出し、画像中の該特徴点間の距離を測定することにより取得される。また、被写体像間の像倍比を取得するためには、２つの被写体像の同じ部分のサイズを取得する必要がある。そのため、一方の被写体像の複数の特徴点を検出した後、検出された一方の被写体像の複数の特徴点にそれぞれ対応する他方の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する必要がある。

このような対応特徴点検出処理は、他方の被写体像を撮像することによって取得された画像の全領域を探索することにより実行されるのが一般的である。しかしながら、画像の全領域の探索は、多くの処理時間を要する作業であり、対応特徴点検出処理に要する処理時間が長くなってしまう。その結果、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間が、長くなってしまうという問題があった。

特開２０１２－２６８４１号公報 特願２０１７－２４１８９６号

本発明は、上記従来の問題点を鑑みたものであり、その目的は、一方の被写体像の複数の特徴点にそれぞれ対応する他方の被写体像の複数の特徴点を検出するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用した特徴点の探索を実行することによって、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮可能な測距カメラを提供することにある。

このような目的は、以下の（１）～（９）の本発明により達成される。
（１）被写体からの光を集光し、第１の被写体像を形成するための第１の光学系と、前記第１の被写体像を撮像することにより、前記第１の被写体像を含む第１の画像を取得するための第１の撮像素子とを有する第１の撮像系と、
前記第１の光学系に対して、前記第１の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第２の被写体像を形成するための第２の光学系と、前記第２の被写体像を撮像することにより、前記第２の被写体像を含む第２の画像を取得するための第２の撮像素子とを有する第２の撮像系と、
前記第１の画像中の前記第１の被写体像の複数の特徴点を検出し、前記第１の被写体像の前記複数の特徴点間の距離を測定することにより、前記第１の被写体像のサイズを取得し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の複数の特徴点を検出し、前記第２の被写体像の前記複数の特徴点間の距離を測定することにより、前記第２の被写体像のサイズを取得するためのサイズ取得部と、
前記サイズ取得部によって取得された前記第１の被写体像の前記サイズと前記第２の被写体像の前記サイズとの比として得られる前記第１の被写体像の倍率と前記第２の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の複数のエピポーラ線上を探索することにより、前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出し、
前記サイズ取得部は、前記第１の撮像系および前記第２の撮像系の特性および配置を考慮したモデルに基づいて、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記複数のエピポーラ線を導出し、
前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記複数のエピポーラ線は、下記式（１）によって表されることを特徴とする測距カメラ。

ここで、ｘ _１ およびｙ _１ は、それぞれ、前記第１の被写体像の前記複数の特徴点の任意の１つの前記第１の画像中におけるｘ座標およびｙ座標、ｘ _２ およびｙ _２ は、それぞれ、前記第１の被写体像の前記複数の特徴点の前記任意の１つに対応する前記第２の画像中における前記第２の被写体像の特徴点のｘ座標およびｙ座標、Ｐ _ｘ およびＰ _ｙ は、それぞれ、前記第１の光学系の前側主点と前記第２の光学系の前側主点との間の並進視差のｘ軸方向の値およびｙ軸方向の値であり、Ｄは前記第１の光学系と前記第２の光学系との間の前記第１の光学系または前記第２の光学系の光軸方向の奥行視差であり、ＰＳ _１ は前記第１の撮像素子の画素サイズであり、ＰＳ _２ は前記第２の撮像素子の画素サイズであり、ｆ _１ は前記第１の光学系の焦点距離、ｆ _２ は前記第２の光学系の焦点距離、ＥＰ _１ は前記第１の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第１の被写体像の結像位置までの距離、ＥＰ _２ は前記第２の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第２の被写体像の結像位置までの距離、ａ _ＦＤ１ は前記第１の撮像素子の撮像面で前記第１の被写体像がベストピントとなる場合の前記第１の光学系の前記前側主点から前記被写体までの距離、ａ _ＦＤ２ は前記第２の撮像素子の撮像面で前記第２の被写体像がベストピントとなる場合の前記第２の光学系の前記前側主点から前記被写体までの距離、ｕ _１ およびｖ _１ は、それぞれ、前記第１の画像中における前記第１の光学系の光軸のｘ座標およびｙ座標、ｕ _２ およびｖ _２ は、それぞれ、前記第２の画像中における前記第２の光学系の光軸のｘ座標およびｙ座標、Ｒ _１１ 、Ｒ _１２ 、Ｒ _１３ 、Ｒ _２１ 、Ｒ _２２ 、Ｒ _２３ 、Ｒ _３１ 、Ｒ _３２ 、およびＲ _３３ は、前記第１の撮像系ＩＳ１に対する前記第２の撮像系ＩＳ２の回転行列の成分である。

（２）前記第１の光学系および前記第２の光学系は、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の変化と異なるように構成されている上記（１）に記載の測距カメラ。

（３）前記第１の光学系および前記第２の光学系は、前記第１の光学系の前記焦点距離と、前記第２の光学系の前記焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている上記（２）に記載の測距カメラ。

（４）前記第１の光学系および前記第２の光学系は、前記第１の光学系の前記射出瞳から、前記被写体が無限遠に存在する場合の前記第１の光学系によって形成される前記第１の被写体像の前記結像位置までの前記距離と、前記第２の光学系の前記射出瞳から、前記被写体が無限遠に存在する場合の前記第２の光学系によって形成される前記第２の被写体像の前記結像位置までの前記距離とが異なるように構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている上記（２）または（３）に記載の測距カメラ。

（５）前記第１の光学系の前記前側主点と前記第２の光学系の前記前側主点との間に、前記第１の光学系または前記第２の光学系の前記光軸方向の前記奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている上記（２）ないし（４）のいずれかに記載の測距カメラ。
（６）被写体からの光を集光し、第１の被写体像を形成するための第１の光学系と、前記第１の被写体像を撮像することにより、前記第１の被写体像を含む第１の画像を取得するための第１の撮像素子とを有する第１の撮像系と、
前記第１の光学系に対して、前記第１の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第２の被写体像を形成するための第２の光学系と、前記第２の被写体像を撮像することにより、前記第２の被写体像を含む第２の画像を取得するための第２の撮像素子とを有する第２の撮像系と、
前記第１の画像中の前記第１の被写体像の複数の特徴点を検出し、前記第１の被写体像の前記複数の特徴点間の距離を測定することにより、前記第１の被写体像のサイズを取得し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の複数の特徴点を検出し、前記第２の被写体像の前記複数の特徴点間の距離を測定することにより、前記第２の被写体像のサイズを取得するためのサイズ取得部と、
前記サイズ取得部によって取得された前記第１の被写体像の前記サイズと前記第２の被写体像の前記サイズとの比として得られる前記第１の被写体像の倍率と前記第２の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の複数のエピポーラ線上を探索することにより、前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出し、
前記第１の光学系および前記第２の光学系は、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の変化と異なるように構成されていることを特徴とする測距カメラ。
（７）前記第１の光学系および前記第２の光学系は、前記第１の光学系の焦点距離と、前記第２の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている上記（６）に記載の測距カメラ。
（８）前記第１の光学系および前記第２の光学系は、前記第１の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第１の光学系によって形成される前記第１の被写体像の結像位置までの距離と、前記第２の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第２の光学系によって形成される前記第２の被写体像の結像位置までの距離とが異なるように構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている上記（６）または（７）に記載の測距カメラ。
（９）前記第１の光学系の前側主点と前記第２の光学系の前側主点との間に、前記第１の光学系または前記第２の光学系の光軸方向の奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている上記（６）ないし（８）のいずれかに記載の測距カメラ。

本発明の測距カメラにおいては、一方の被写体像の複数の特徴点にそれぞれ対応する他方の被写体像の複数の特徴点を検出するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用した特徴点の探索が実行される。そのため、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮することができる。

本発明の測距カメラの測距原理を説明するための図である。 本発明の測距カメラの測距原理を説明するための図である。 図２に示す第１の光学系によって形成される第１の被写体像の倍率と、図２に示す第２の光学系によって形成される第２の被写体像の倍率との像倍比が、被写体までの距離に応じて変化することを説明するためのグラフである。 本発明の測距カメラにおいて用いられるエピポーラ線を導出するためのモデルを示すためのＸ－Ｚ平面図である。 本発明の測距カメラにおいて用いられるエピポーラ線を導出するためのモデルを示すためのＹ－Ｚ平面図である。 図４および図５に示すモデルを用いて導出されたエピポーラ線の一例を示す図である。 本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第２実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第３実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。 図１０に示す測距方法において実行される対応特徴点検出処理の詳細を示すフローチャートである。

最初に、本発明の測距カメラにおいて用いられている、被写体像間の像倍比に基づいて被写体までの距離を算出するための原理について説明する。なお、各図において、同様または類似した機能を発揮するコンポーネントには、同一の参照符号を付す。

光学系により形成される被写体像の倍率ｍ_ＯＤは、光学系の前側主点（前側主面）から被写体までの距離（被写体距離）ａ、光学系の後側主点（後側主面）から被写体像の結像位置までの距離ｂ_ＯＤ、および光学系の焦点距離ｆによって、レンズの公式から下記式（１）のように表すことができる。

また、被写体像のサイズＹ_ＯＤは、被写体像の倍率ｍ_ＯＤと、被写体の実際のサイズｓｚから、下記式（２）のように表すことができる。

センサー等の撮像素子の撮像面が被写体像の結像位置にある場合、すなわち、ベストピントである場合、被写体像のサイズＹ_ＯＤは、上記式（２）で表すことができる。光学系がオートフォーカス機能を有しており、常にベストピントで撮像を行う場合には、上記式（２）を用いて被写体像のサイズＹ_ＯＤを求めることができる。

しかしながら、光学系がオートフォーカス機能を有さない固定焦点系であり、センサー等の撮像素子の撮像面が被写体像の結像位置にない場合、すなわち、デフォーカスが存在する場合、撮像素子の撮像面上に形成される被写体像のサイズＹ_ＦＤを求めるためには、デフォーカス量、すなわち、被写体像の結像位置と撮像素子の撮像面の位置の奥行方向（光軸方向）の差（シフト量）を考慮する必要がある。

図１に示すように、光学系の射出瞳から、被写体が無限遠に存在する場合の被写体像の結像位置までの距離をＥＰとし、光学系の射出瞳から、被写体が任意の距離ａに存在する場合の被写体像の結像位置までの距離をＥＰ_ＯＤとし、光学系の射出瞳から撮像素子の撮像面までの距離（フォーカス距離：Ｆｏｃｕｓ Ｄｉｓｔａｎｃｅ）をＥＰ_ＦＤとする。また、光学系の後側主点から、被写体が任意の距離ａに存在する場合の被写体像の結像位置までの距離をｂ_ＯＤとし、光学系の後側主点から撮像素子の撮像面までの距離をｂ_ＦＤとする。なお、図示の形態では、説明の簡略化のため、光学系は、光学系の後側主点が、光学系の中心位置にあるものとして概略的に示されている。

光学系の後側主点から、任意の距離ａに被写体が存在する場合の被写体像の結像位置までの距離ｂ_ＯＤは、レンズの公式から下記式（３）によって求めることができる。

したがって、焦点距離ｆと距離ｂ_ＯＤとの差Δｂ_ＯＤは、下記式（４）によって求めることができる。

また、光学系の後側主点から撮像素子の撮像面までの距離ｂ_ＦＤは、撮像素子の撮像面で被写体像がベストピントとなる場合の光学系の前側主点から被写体までの距離ａ_ＦＤを用いて、レンズの公式から下記式（５）によって求めることができる。

よって、焦点距離ｆと距離ｂ_ＦＤとの差Δｂ_ＦＤは、下記式（６）によって求めることができる。

また、図１から明らかなように、光軸と光学系の射出瞳との交点を頂点の一つとし、任意の距離ａに被写体が存在する場合の被写体像の結像位置における被写体像のサイズＹ_ＯＤを１つの辺とする直角三角形と、光軸と光学系の射出瞳との交点を頂点の一つとし、撮像素子の撮像面における被写体像のサイズＹ_ＦＤを１つの辺とする直角三角形とは相似関係にある。そのため、相似関係から、ＥＰ_ＯＤ：ＥＰ_ＦＤ＝Ｙ_ＯＤ：Ｙ_ＦＤが成立し、下記式（７）から撮像素子の撮像面における被写体像のサイズＹ_ＦＤを求めることができる。

上記式（７）から明らかなように、撮像素子の撮像面における被写体像のサイズＹ_ＦＤは、被写体の実際のサイズｓｚ、光学系の焦点距離ｆ、光学系の射出瞳から、被写体が無限遠に存在する場合の被写体像の結像位置までの距離ＥＰ、光学系の射出瞳から被写体までの距離（被写体距離）ａ、および撮像素子の撮像面で被写体像がベストピントとなる場合の光学系の前側主点から被写体までの距離（フォーカス距離）ａ_ＦＤの関数として表すことができる。

次に、図２に示すように、同じ被写体１００を、２つの撮像系ＩＳ１、ＩＳ２を用いて撮像した場合を想定する。第１の撮像系ＩＳ１は、被写体１００からの光を集光し、第１の被写体像を形成する第１の光学系ＯＳ１と、第１の光学系ＯＳ１によって形成された第１の被写体像を撮像するための第１の撮像素子Ｓ１とを有している。第２の撮像系ＩＳ２は、被写体１００からの光を集光し、第２の被写体像を形成する第２の光学系ＯＳ２と、第２の光学系ＯＳ２によって形成された第２の被写体像を撮像するための第２の撮像素子Ｓ２とを有している。なお、第１の撮像素子Ｓ１の画素サイズ（画素１つ当たりのサイズ）はＰＳ_１であり、第２の撮像素子Ｓ２の画素サイズはＰＳ_２である。

また、図２から明らかなように、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の光軸と、第２の撮像系ＩＳ２の第２の光学系ＯＳ２の光軸は、平行であるが一致していない。また、第２の光学系ＯＳ２は、第１の光学系ＯＳ１の光軸方向に対して垂直な方向に、距離Ｐだけ離間して配置されている。

なお、図示の構成では、第１の光学系ＯＳ１の光軸と第２の光学系ＯＳ２の光軸は平行であるが、本発明はこれに限られない。例えば、第１の光学系ＯＳ１の光軸の角度（３次元極座標の角度パラメーターθ、φ）および第２の光学系ＯＳ２の光軸の角度が互いに異なるように、第１の光学系ＯＳ１および第２の光学系ＯＳ２が配置されていてもよい。しかしながら、説明の簡略化のため、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、図２に示すように、第１の光学系ＯＳ１の光軸と第２の光学系ＯＳ２の光軸が平行であるが一致せず、互いに距離Ｐだけ離間するよう、配置されているものとする。

第１の光学系ＯＳ１および第２の光学系ＯＳ２は、それぞれ焦点距離ｆ_１、ｆ_２を有する固定焦点の光学系である。第１の撮像系ＩＳ１が構成される際において、第１の光学系ＯＳ１の位置（レンズ位置）、すなわち、第１の光学系ＯＳ１と第１の撮像素子Ｓ１の離間距離は、任意の距離（フォーカス距離）ａ_ＦＤ１にある被写体１００の第１の被写体像が第１の撮像素子Ｓ１の撮像面上に形成される、すなわち、任意の距離ａ_ＦＤ１にある被写体１００がベストピントとなるように調整されている。同様に、第２の撮像系ＩＳ２が構成される際において、第２の光学系ＯＳ２の位置（レンズ位置）、すなわち、第２の光学系ＯＳ２と第２の撮像素子Ｓ２の離間距離は、任意の距離（フォーカス距離）ａ_ＦＤ２にある被写体１００の第２の被写体像が第２の撮像素子Ｓ２の撮像面上に形成される、すなわち、任意の距離ａ_ＦＤ２にある被写体１００がベストピントとなるように調整されている。

また、第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠に存在する場合の第１の被写体像の結像位置までの距離はＥＰ_１であり、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠に存在する場合の第２の被写体像の結像位置までの距離はＥＰ_２である。

第１の光学系ＯＳ１および第２の光学系ＯＳ２は、第１の光学系ＯＳ１の前側主点（前側主面）と、第２の光学系ＯＳ２の前側主点（前側主面）との間に、奥行方向（光軸方向）の差（奥行視差）Ｄが存在するよう構成および配置されている。すなわち、第１の光学系ＯＳ１の前側主点から被写体１００までの距離（被写体距離）をａとすると、第２の光学系ＯＳ２の前側主点から被写体１００までの距離は、ａ＋Ｄとなる。

図１を参照して説明した相似関係を利用することにより、第１の光学系ＯＳ１によって第１の撮像素子Ｓ１の撮像面上に形成される第１の被写体像の倍率ｍ_１は、下記式（８）で表すことができる。

ここで、ＥＰ_ＯＤ１は、第１の光学系ＯＳ１の射出瞳から、距離ａに被写体１００が存在する場合の第１の被写体像の結像位置までの距離であり、ＥＰ_ＦＤ１は、第１の光学系ＯＳ１の射出瞳から、第１の撮像素子Ｓ１の撮像面までの距離である。これら距離ＥＰ_ＯＤ１および距離ＥＰ_ＦＤ１の位置関係は、第１の撮像系ＩＳ１が構成される際において、任意の距離ａ_ＦＤ１にある被写体１００がベストピントとなるように第１の光学系ＯＳ１の位置（レンズ位置）を調整することにより決定される。また、Δｂ_ＯＤ１は、焦点距離ｆ_１と、第１の光学系ＯＳ１の後側主点から、距離ａに被写体１００が存在する場合の第１の被写体像の結像位置までの距離ｂ_ＯＤ１との差であり、Δｂ_ＦＤ１は、焦点距離ｆ_１と、第１の光学系ＯＳ１の後側主点から第１の撮像素子Ｓ１の撮像面までの距離ｂ_ＦＤ１との差であり、ｍ_ＯＤ１は、距離ａに被写体１００が存在する場合の第１の被写体像の結像位置における第１の被写体像の倍率である。

上記式（１）、（４）および（６）が第１の光学系ＯＳ１による結像にも適用できるので、上記式（８）は、下記式（９）で表すことができる。

ここで、ａ_ＦＤ１は、第１の撮像素子Ｓ１の撮像面で第１の被写体像がベストピントとなる場合の第１の光学系ＯＳ１の前側主点から被写体１００までの距離である。

同様に、第２の光学系ＯＳ２によって第２の撮像素子Ｓ２の撮像面上に形成される第２の被写体像の倍率ｍ_２は、下記式（１０）で表すことができる。

ここで、ＥＰ_ＯＤ２は、第２の光学系ＯＳ２の射出瞳から、距離ａ＋Ｄに被写体１００が存在する場合の第２の被写体像の結像位置までの距離であり、ＥＰ_ＦＤ２は、第２の光学系ＯＳ２の射出瞳から第２の撮像素子Ｓ２の撮像面までの距離である。これら距離ＥＰ_ＯＤ２および距離ＥＰ_ＦＤ２の位置関係は、第２の撮像系ＩＳ２が構成される際において、任意の距離ａ_ＦＤ２にある被写体１００がベストピントとなるように第２の光学系ＯＳ２の位置（レンズ位置）を調整することにより決定される。また、Δｂ_ＯＤ２は、焦点距離ｆ_２と、第２の光学系ＯＳ２の後側主点から、距離ａ＋Ｄに被写体１００が存在する場合の第２の被写体像の結像位置までの距離ｂ_ＯＤ２との差であり、Δｂ_ＦＤ２は、焦点距離ｆ_２と、第２の光学系ＯＳ２の後側主点から第２の撮像素子Ｓ２の撮像面までの距離ｂ_ＦＤ２との差であり、ｍ_ＯＤ２は、距離ａ＋Ｄに被写体１００が存在する場合の第２の被写体像の結像位置における第２の被写体像の倍率であり、ａ_ＦＤ２は、第２の撮像素子Ｓ２の撮像面で第２の被写体像がベストピントとなる場合の第２の光学系ＯＳ２の前側主点から被写体１００までの距離である。

したがって、第１の光学系ＯＳ１によって第１の撮像素子Ｓ１の撮像面上に形成される第１の被写体像の倍率ｍ_１と、第２の光学系ＯＳ２によって第２の撮像素子Ｓ２の撮像面上に形成される第２の被写体像の倍率ｍ_２との像倍比ＭＲは、下記式（１１）で表すことができる。

ここで、Ｋは、係数であり、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成により決定される固定値ｆ_１、ｆ_２、ＥＰ_１、ＥＰ_２、ａ_ＦＤ１、およびａ_ＦＤ２から構成される下記式（１２）で表される。

上記式（１１）から明らかなように、第１の光学系ＯＳ１によって第１の撮像素子Ｓ１の撮像面上に形成される第１の被写体像の倍率ｍ_１と、第２の光学系ＯＳ２によって第２の撮像素子Ｓ２の撮像面上に形成される第２の被写体像の倍率ｍ_２との像倍比ＭＲは、被写体１００から第１の光学系ＯＳ１の前側主点までの距離ａに応じて変化することがわかる。

また、上記式（１１）を距離ａについて解くと、被写体１００までの距離ａについての一般式（１３）を得ることができる。

上記式（１３）中において、ｆ_１、ｆ_２、ＥＰ_１、ＥＰ_２、ＤおよびＫは、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置により決定される固定値なので、像倍比ＭＲを得ることができれば、被写体１００から第１の光学系ＯＳ１の前側主点までの距離ａを算出することができる。

図３には、上記式（１３）に基づいて算出された、第１の光学系ＯＳ１によって第１の撮像素子Ｓ１の撮像面上に形成される第１の被写体像の倍率ｍ_１と、第２の光学系ＯＳ２によって第２の撮像素子Ｓ２の撮像面上に形成される第２の被写体像の倍率ｍ_２との像倍比ＭＲと、被写体１００までの距離ａとの関係の一例が示されている。図３から明らかなように、像倍比ＭＲの値と、被写体１００までの距離ａとの間には、一対一関係が成立している。

一方、像倍比ＭＲは、下記式（１４）によって算出することができる。

ここで、ｓｚは、被写体１００の実際のサイズ（高さまたは幅）、Ｙ_ＦＤ１は、第１の光学系ＯＳ１によって第１の撮像素子Ｓ１の撮像面上に形成される第１の被写体像のサイズ（像高または像幅）、Ｙ_ＦＤ２は、第２の光学系ＯＳ２によって第２の撮像素子Ｓ２の撮像面上に形成される第２の被写体像のサイズ（像高または像幅）である。

第１の被写体像のサイズＹ_ＦＤ１は、第１の撮像素子Ｓ１が第１の被写体像を撮像することにより得られる第１の画像から実測することができる。同様に、第２の被写体像のサイズＹ_ＦＤ２は、第２の撮像素子Ｓ２が第２の被写体像を撮像することにより取得される第２の画像から実測することができる。

具体的には、第１の被写体像のサイズＹ_ＦＤ１は、第１の画像内に含まれる第１の被写体像の複数の特徴点（例えば、高さ方向または幅方向の両端部）を検出し、検出された該複数の特徴点間の距離を測定することにより取得される。一方、第２の被写体像のサイズＹ_ＦＤ２は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出し、検出された該特徴点間の距離を測定することにより取得される。なお、以下の説明では、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出するための処理を、対応特徴点検出処理という。本発明の測距カメラでは、対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用することにより、対応特徴点検出処理に必要な処理時間を大幅に短縮している。

図４および図５には、本発明の測距カメラにおいて用いられるエピポーラ線を導出するためのモデルが示されている。図４は、エピポーラ線を導出するためのモデルにおける第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の配置を示すＸ－Ｚ平面図である。図５は、エピポーラ線を導出するためのモデルにおける第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の配置を示すＹ－Ｚ平面図である。

図４および図５に示すように、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２は、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の光軸と第２の撮像系ＩＳ２の第２の光学系ＯＳ２の光軸が一致しないよう、配置されている。そのため、第１の光学系ＯＳ１によって形成される第１の被写体像と、第２の光学系ＯＳ２によって形成される第２の被写体像との間には、並進視差が発生することになる。本発明の測距カメラにおいては、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との比である像倍比ＭＲが被写体１００までの距離ａを算出するために利用され、第１の被写体像と第２の被写体像との間の並進視差は被写体１００までの距離ａを算出するために利用されない。しかしながら、第１の被写体像と第２の被写体像との間に並進視差は存在しているので、ステレオカメラ方式の測距カメラにおいて用いられるような、エピポーラ幾何に基づくエピポーラ線の原理を、本発明の測距カメラにおいて得られる第１の被写体像と第２の被写体像にも適用することができる。

一般に、エピポーラ線を導出するためのモデルとしては、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の配置（視差に関するパラメーターＰ_ｘ、Ｐ_ｙ、Ｄ）のみを考慮し、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性（上述のパラメーターｆ_１、ｆ_２、ＥＰ_１、ＥＰ_２、ａ_ＦＤ１、ａ_ＦＤ２、ＰＳ_１、ＰＳ_２）を考慮しないピンホールモデルが用いられることが多い。しかしながら、実際の撮像系ＩＳ１、ＩＳ２は、光学系ＯＳ１、ＯＳ２や撮像素子Ｓ１、Ｓ２等の撮像に関する多くの要因を有している。そのため、このような要因を無視したピンホールモデルと現実との間に乖離が発生してしまい、正確にエピポーラ線を導出することができない。一方、本発明の測距カメラでは、図４および図５に示す第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置を考慮したモデルを用いて、エピポーラ線を導出することにより、より正確にエピポーラ線を導出することを可能としている。なお、図４および図５に示すモデルにおける第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置は、図２を参照して説明したように、以下の表のとおりである。

図４および図５に示すモデルでは、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の前側主点の座標が原点（０，０，０）となっており、第２の撮像系ＩＳ２の第２の光学系ＯＳ２の前側主点の座標は、（Ｐ_ｘ，Ｐ_ｙ，－Ｄ）となっている。そのため、第１の光学系ＯＳ１または第２の光学系ＯＳ２の光軸方向に対して垂直な方向における第１の光学系ＯＳ１の光軸と第２の光学系ＯＳ２の光軸との間の離間距離Ｐは、Ｐ＝（Ｐ_ｘ ^２＋Ｐ_ｙ ^２）^１／２で表される。なお、第１の光学系ＯＳ１の前側主点と第２の光学系ＯＳ２の前側主点とのｘ軸方向の離間距離Ｐ_ｘをｘ軸方向の並進視差といい、第１の光学系ＯＳ１の前側主点と第２の光学系ＯＳ２の前側主点とのｙ軸方向の離間距離Ｐ_ｙをｙ軸方向の並進視差という。また、上述のように、第１の光学系ＯＳ１の前側主点と第２の光学系ＯＳ２の前側主点とのｚ軸方向の離間距離Ｄを奥行視差という。また、第１の撮像系ＩＳ１に対する第２の撮像系ＩＳ２のｘ軸周り、ｙ軸周り、ｚ軸周りの回転をそれぞれ、θ_ｘ、θ_ｙ、θ_ｚとする。

また、第１の撮像系ＩＳ１において、第１の光学系ＯＳ１の光軸は、理想的には、第１の撮像素子Ｓ１の撮像面の中心に位置している。しかしながら、第１の撮像系ＩＳ１の組み立て時の誤差や精度等の要因により、第１の光学系ＯＳ１の光軸が、第１の撮像素子Ｓ１の撮像面の中心に位置していない場合がある。この場合、第１の撮像系ＩＳ１によって取得される第１の画像において、第１の光学系ＯＳ１の光軸が第１の画像の中心、すなわち、第１の画像の原点（０，０）に位置しない。上記表１に示した第１の撮像系ＩＳ１の特性における光軸位置（ｕ_１，ｖ_１）は、第１の画像における第１の光学系ＯＳ１の光軸の位置のｘ座標およびｙ座標を表す。同様に、上記表１に示した第２の撮像系ＩＳ２の特性における光軸位置（ｕ_２，ｖ_２）は、第２の画像における第２の光学系ＯＳ２の光軸の位置のｘ座標およびｙ座標を表す。エピポーラ線の導出のために用いるモデルにおいて、このような第１の光学系ＯＳ１および第２の光学系ＯＳ２の光軸位置のズレを考慮することにより、エピポーラ線をより正確に導出することが可能となる。

このようなモデルにおいて、座標（Ｘ、Ｙ、ａ）に位置する被写体１００の特徴点Ｓを第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像するものとする。この時、第１の撮像系ＩＳ１によって取得された第１の画像中における特徴点Ｓの座標を（ｘ_１，ｙ_１）とし、第２の撮像系ＩＳ２によって取得された第２の画像中における特徴点Ｓの座標を（ｘ_２，ｙ_２）とする。

なお、以下の説明において、任意の基準点を原点とする座標をワールド座標といい、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の前側主点を原点とする座標を第１の撮像系ＩＳ１のカメラ座標といい、第２の撮像系ＩＳ２の第２の光学系ＯＳ２の前側主点を原点とする座標を第２の撮像系ＩＳ２のカメラ座標といい、第１の画像中の座標（例えば、ｘ_１、ｙ_１）を第１の画像の画像座標といい、第２の画像中の座標（例えば、ｘ_２、ｙ_２）を第２の画像の画像座標という。図４および図５に示すモデルでは、ワールド座標の原点は、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の前側主点である。したがって、図４および図５に示すモデルにおいて、ワールド座標の原点は、第１の撮像系ＩＳ１のカメラ座標の原点に一致している。

ワールド座標は、撮像系の外部行列によりカメラ座標に変換される。さらに、カメラ座標は、撮像系の内部行列により画像座標に変換される。したがって、特徴点Ｓのワールド座標（Ｘ，Ｙ，ａ）は、第１の撮像系ＩＳ１の外部行列および内部行列によって、第１の画像の画像座標（ｘ_１，ｙ_１）に変換される。同様に、特徴点Ｓのワールド座標（Ｘ，Ｙ，ａ）は、第２の撮像系ＩＳ２の外部行列および内部行列によって、第２の画像の画像座標（ｘ_２，ｙ_２）に変換される。

最初に、第１の撮像系ＩＳ１によって取得される第１の画像の画像座標（ｘ_１，ｙ_１）について検討する。特徴点Ｓを第１の撮像系ＩＳ１で撮像した場合、特徴点Ｓのワールド座標（Ｘ，Ｙ，ａ）は、第１の撮像系ＩＳ１の外部行列により、第１の撮像系ＩＳ１のカメラ座標（ｘ’_１，ｙ’_１，ａ’）に変換される。しかしながら、上述のように、図４および図５に示すモデルにおけるワールド座標は、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の前側主点を原点（基準点）としているので、図４および図５に示すモデルにおけるワールド座標と第１の撮像系ＩＳ１のカメラ座標との間には回転や位置シフトは存在しない。この状態は、下記式（１５）で表すことができる。下記式（１５）中の４行４列の行列が第１の撮像系ＩＳ１の外部行列である。図４および図５に示すモデルにおけるワールド座標と第１の撮像系ＩＳ１のカメラ座標との間には回転や位置シフトは存在しないため、第１の撮像系ＩＳ１の外部行列は単位行列となる。

次に、特徴点Ｓの第１の撮像系ＩＳ１のカメラ座標（ｘ’_１，ｙ’_１，ａ’）は、第１の撮像系ＩＳ１の内部行列により、第１の画像の画像座標（ｘ_１，ｙ_１）に変換される。この第１の撮像系ＩＳ１の内部行列は、図２を参照して上述した、上記式（７）で表される被写体１００のサイズｓｚと第１の被写体像のサイズＹ_ＦＤ１との関係と同様に導出することができる。ただし、図４および図５に示すモデルでは、第１の光学系ＯＳ１の光軸位置のズレが考慮されており、第１の光学系ＯＳ１の光軸は、第１の画像の原点（０，０）ではなく、第１の画像の座標（ｕ_１，ｖ_１）に位置している。第１の光学系ＯＳ１の光軸位置のズレを考慮すると、下記式（１６）を得ることができる。なお、上記式（７）では、被写体１００のサイズｓｚおよび第１の被写体像のサイズＹ_ＦＤ１は、ｍｍ単位で表していたが、下記式（１６）は第１の画像の画像座標ｘ_１を表すので、ピクセル単位となる。

同様に、第１の画像の画像座標ｙ_１を求めると、下記式（１７）を得ることができる。

ここで、上記式（１６）および（１７）中のＫ_１およびＬ_１は、第１の撮像系ＩＳ１の構成により決定される固定値ｆ_１、ＥＰ_１、ａ_ＦＤ１、ＰＳ_１によって決定される。そのため、上記式（１６）および（１７）中のＫ_１およびＬ_１は、第１の撮像系ＩＳ１の構成により一意に定まる固定値である。

上記式（１６）および（１７）から、特徴点Ｓの第１の画像の画像座標（ｘ_１，ｙ_１）を表す下記式（１８）を得ることができる。なお、下記式（１８）中の３行４列の行列が、第１の撮像系ＩＳ１の内部行列となる。

上記式（１８）から、第１の撮像系ＩＳ１によって取得される第１の画像中の被写体１００の特徴点Ｓの座標（ｘ_１，ｙ_１）を特定することができる。以下、第１の画像の画像座標（ｘ_１，ｙ_１）において観測される被写体１００の特徴点Ｓを、第１の被写体像の特徴点という。

上記式（１８）中における４行４列の第１の撮像系ＩＳ１の外部行列が、第１の撮像系ＩＳ１の配置（ワールド座標の基準点に対する第１の撮像系ＩＳ１の配置）を反映しており、上記式（１８）中における３行４列の第１の撮像系ＩＳ１の内部行列が、第１の撮像系ＩＳ１の特性（固定値ｆ_１、ＥＰ_１、ａ_ＦＤ１、ＰＳ_１、ｕ_１、ｖ_１）を反映している。

次に、第２の撮像系ＩＳ２によって取得される第２の画像の画像座標（ｘ_２，ｙ_２）について検討する。特徴点Ｓのワールド座標（Ｘ，Ｙ，ａ）は、第２の撮像系ＩＳ２の外部行列により、第２の撮像系ＩＳ２のカメラ座標（ｘ’_２，ｙ’_２，ａ’）に変換される。この際、ワールド座標の原点となっている第１の撮像系ＩＳ１の第１の光学系ＯＳ１の前側主点に対する、第２の撮像系ＩＳ２の回転や位置ズレが存在し得る。

ｘ軸周りの回転についての回転行列Ｒ^ｘ、ｙ軸周りの回転についての回転行列Ｒ^ｙ、およびｚ軸周りの回転についての回転行列Ｒ^ｚは、下記式（１９）によって表される。

第２の撮像系ＩＳ２のｘ軸、ｙ軸、およびｚ軸の全ては、第１の撮像系ＩＳ１に対して、回転する可能性を有するため、回転行列Ｒ^ｘ、回転行列Ｒ^ｙ、および回転行列Ｒ^ｚを掛け合わせたものが第２の撮像系ＩＳ２の回転行列Ｒとなる。したがって、第２の撮像系ＩＳ２の回転行列Ｒは、下記式（２０）で表される。なお、下記式（２０）では、回転行列Ｒは、Ｒ^ｘ・Ｒ^ｙ・Ｒ^ｚで表されているが、回転行列Ｒを得るための回転行列Ｒ^ｘ、回転行列Ｒ^ｙ、および回転行列Ｒ^ｚの掛け合わせの順番はこれに限定されない。例えば、回転行列Ｒは、Ｒ^ｚ・Ｒ^ｙ・Ｒ^ｘやＲ^ｙ・Ｒ^ｘ・Ｒ^ｚ等で表されてもよい。また、下記式（２０）中のＲ_１１、Ｒ_１２、Ｒ_１３、Ｒ_２１、Ｒ_２２、Ｒ_２３、Ｒ_３１、Ｒ_３２、Ｒ_３３は、第１の撮像系ＩＳ１に対する第２の撮像系ＩＳ２の回転行列Ｒの成分である。

また、上述のように、第２の撮像系ＩＳ２は、第１の撮像系ＩＳ１に対して、並進方向の並進視差Ｐ_ｘ、Ｐ_ｙおよび奥行方向の奥行視差Ｄを有している。これらの視差は、下式（２１）の並進行列ｔで表すことができる。

第２の撮像系ＩＳ２の外部行列は、上記式（２０）の回転行列Ｒと上記式（２１）の並進行列の組み合わせで表現され、特徴点Ｓの第２の撮像系ＩＳ２のカメラ座標（ｘ’_２，ｙ’_２，ａ’）は、下記式（２２）で表すことができる。下記式（２２）中の４行４列の行列が第２の撮像系ＩＳ２の外部行列である。

次に、特徴点Ｓの第２の撮像系ＩＳ２のカメラ座標（ｘ’_２，ｙ’_２，ａ’）は、第２の撮像系ＩＳ２の内部行列により、第２の画像の画像座標（ｘ_２，ｙ_２）に変換される。上記式（１６）および（１７）と同様の理由により、特徴点Ｓの第２の画像の画像座標（ｘ_２，ｙ_２）は、下記式（２３）および（２４）によって表される。

ここで、上記式（２３）および（２４）中のＫ_２およびＬ_２は、第２の撮像系ＩＳ２の構成により決定される固定値ｆ_２、ＥＰ_２、ａ_ＦＤ２、ＰＳ_２によって決定される。そのため、上記式（２３）および（２４）中のＫ_２およびＬ_２は、第２の撮像系ＩＳ２の構成により一意に定まる固定値である。

上記式（２３）および（２４）から、特徴点Ｓの第２の画像の画像座標（ｘ_２，ｙ_２）は、下記式（２５）で表すことができる。なお、下記式（２５）中の３行４列の行列が、第２の撮像系ＩＳ２の内部行列となる。

上記式（２５）から、第２の撮像系ＩＳ２によって取得される第２の画像中の被写体１００の特徴点Ｓの座標（ｘ_２，ｙ_２）を特定することができる。以下、第２の画像の画像座標（ｘ_２，ｙ_２）において観測される被写体１００の特徴点Ｓを、第２の被写体像の特徴点という。

上記式（２５）中における４行４列の第２の撮像系ＩＳ２の外部行列が、第２の撮像系ＩＳ２の配置（ワールド座標の基準点に対する第２の撮像系ＩＳ２の配置）を反映しており、上記式（２５）中における３行４列の第２の撮像系ＩＳ２の内部行列が、第２の撮像系ＩＳ２の特性（固定値ｆ_２、ＥＰ_２、ａ_ＦＤ２、ＰＳ_１、ｕ_２、ｖ_２）を反映している。

さらに、上記式（１８）のＸおよび上記式（２５）のＸが同一であるので、上記式（１８）および上記式（２５）から、距離ａについての下記式（２６）が得られる。同様に、上記式（１８）のＹおよび上記式（２５）のＹが同一であるので、上記式（１８）および上記式（２５）から、距離ａについての下記式（２７）が得られる。

上記式（２６）および（２７）は等価であるため、第２の画像中の第２の被写体像の特徴点の座標ｘ_２およびｙ_２についてまとめると、下に示すエピポーラ線についての一般式（２８）を得ることができる。

上記一般式（２８）中のＧ_１、Ｇ_２、Ｇ_３、Ｇ_４、Ｇ_５、Ｇ_６は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置により決定される固定値ｆ_１、ｆ_２、ＥＰ_１、ＥＰ_２、ＰＳ_１、ＰＳ_２、ａ_ＦＤ１、ａ_ＦＤ２、Ｐ_ｘ、Ｐ_ｙ、Ｄ、ｕ_１、ｖ_１、ｕ_２、ｖ_２、θ_ｘ、θ_ｙ、θ_ｚ、Ｒ_１１、Ｒ_１２、Ｒ_１３、Ｒ_２１、Ｒ_２２、Ｒ_２３、Ｒ_３１、Ｒ_３２、Ｒ_３３により決定される。そのため、上記式（２８）中のＧ_１、Ｇ_２、Ｇ_３、Ｇ_４、Ｇ_５、Ｇ_６は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置により一意に定まる固定値である。

上記式（２８）により表される第２の画像中の第２の被写体像の特徴点の座標ｘ_２およびｙ_２に関する１次方程式は、第１の画像中の座標（ｘ_１，ｙ_１）に位置する第１の被写体像の特徴点に対応する第２の画像中のエピポーラ線を表す。すなわち、第１の画像中において第１の被写体像の任意の特徴点が座標（ｘ_１，ｙ_１）で検出された場合、第２の画像中において、第１の被写体像の任意の特徴点に対応する第２の被写体像の特徴点は、上記式（２８）で表されるエピポーラ線上に必ず存在していることになる。

図６には、上述のようにして算出されたエピポーラ線の一例が示されている。図６中に示されている第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置で被写体１００を撮像した場合、図６に示されているような第１の画像および第２の画像が取得される。図６の例では、第１の画像および第２の画像中に含まれる三角形の上側の頂点を被写体１００の任意の特徴点Ｓとしている。各画像中において中心点を原点（座標（０，０））とする座標が各画像の画像座標となる。

第１の画像中において（ｘ_１，ｙ_１）＝（９７２．０，－５４９．０）の位置に第１の被写体像の特徴点（第１の画像中における三角形の上側頂点）が検出された場合、上記式（２８）で表される第２の画像中のエピポーラ線上に、第１の被写体像の特徴点に対応する第２の被写体の特徴点が必ず存在する。図示の例では、第１の被写体像の特徴点に対応する第２の被写体の特徴点は、第２の画像中の座標（ｘ_２，ｙ_２）＝（５６８．７，－２２９．５）に存在している。

このように、上記式（２８）を用いて、第２の画像中のエピポーラ線を導出することにより、第２の画像の全領域を探索せずとも、該エピポーラ線上を探索することにより、第１の被写体像の任意の特徴点に対応する第２の被写体像の特徴点を検出することができる。第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の特徴点を検出するための対応特徴点検出処理において、上述のようなエピポーラ幾何に基づくエピポーラ線を利用した特徴点の探索を実行することによって、対応特徴点検出処理に要する処理時間を大幅に短縮することができる。このような理由により、本発明の測距カメラでは、被写体像間の像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための処理時間の大幅な短縮を実現している。

さらに、上述のようにエピポーラ線を導出するために用いられることが多いピンポールモデルと比較して、図４および図５に示したモデルは、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置の双方が考慮されている点に特徴がある。特に、上記式（１８）中における３行４列の第１の撮像系ＩＳ１の内部行列に第１の撮像系ＩＳ１の特性（固定値ｆ_１、ＥＰ_１、ａ_ＦＤ１、ＰＳ_１、ｕ_１、ｖ_１）が反映されており、上記式（２５）中における３行４列の第２の撮像系ＩＳ２の内部行列に第２の撮像系ＩＳ２の特性（固定値ｆ_２、ＥＰ_２、ａ_ＦＤ２、ＰＳ_２、ｕ_２、ｖ_２）が反映されている。そのため、従来のピンホールモデルを用いる場合と比較して、より正確に第２の画像中の第２の被写体像の複数の特徴点を検出することができる。

本発明の測距カメラは、対応特徴点検出処理において、上述のようなエピポーラ幾何に基づくエピポーラ線を利用し、第１の被写体像のサイズＹ_ＦＤ１を測定するために検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出している。検出された第２の被写体像の複数の特徴点間の距離が測定され、第２の被写体像のサイズＹ_ＦＤ２が取得される。取得された第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲを取得するために用いられ、像倍比ＭＲに基づいて、被写体１００までの距離ａが算出される。

このように、本発明の測距カメラは、実際に被写体１００を第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像することにより得られた第１の被写体像を含む第１の画像および第２の被写体像を含む第２の画像から、第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２を実測し、上記式（１４）ＭＲ＝Ｙ_ＦＤ２／Ｙ_ＦＤ１に基づいて、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲを得ることができる。

なお、上記式（１１）から明らかなように、第１の光学系ＯＳ１の焦点距離ｆ_１が第１の光学系ＯＳ１の焦点距離ｆ_２と等しく（ｆ_１＝ｆ_２）、第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離ＥＰ_１が、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離ＥＰ_２と等しく（ＥＰ_１＝ＥＰ_２）、かつ、第１の光学系ＯＳ１の前側主点と、第２の光学系ＯＳ２の前側主点との間の奥行方向（光軸方向）の奥行視差Ｄが存在しない（Ｄ＝０）場合、像倍比ＭＲが距離ａの関数として成立せず、像倍比ＭＲは定数となる。この場合、被写体１００までの距離ａに応じた第１の被写体像の倍率ｍ_１の変化が、被写体１００までの距離ａに応じた第２の被写体像の倍率ｍ_２の変化と同一になってしまい、像倍比ＭＲに基づいて第１の光学系ＯＳ１から被写体までの距離ａを算出することが不可能となる。

また、特別な条件として、ｆ_１≠ｆ_２、ＥＰ_１≠ＥＰ_２、かつＤ＝０の場合であっても、ｆ_１＝ＥＰ_１かつｆ_２＝ＥＰ_２の場合、像倍比ＭＲが距離ａの関数として成立せず、像倍比ＭＲは定数となる。このような特別な場合にも、像倍比ＭＲに基づいて第１の光学系ＯＳ１から被写体までの距離ａを算出することが不可能となる。

したがって、本発明の測距カメラでは、以下の３つの条件の少なくとも１つが満たされるよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成および配置され、これにより、被写体１００までの距離ａに応じた第１の被写体像の倍率ｍ_１の変化が、被写体１００までの距離ａに応じた第２の被写体像の倍率ｍ_２の変化と異なるようになっている。

（第１の条件）第１の光学系ＯＳ１の焦点距離ｆ_１と、第２の光学系ＯＳ２の焦点距離ｆ_２とが、互いに異なる（ｆ_１≠ｆ_２）
（第２の条件）第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離ＥＰ_１と、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離ＥＰ_２とが、互いに異なる（ＥＰ_１≠ＥＰ_２）
（第３の条件）第１の光学系ＯＳ１の前側主点と、第２の光学系ＯＳ２の前側主点との間に奥行方向（光軸方向）の差Ｄが存在する（Ｄ≠０）

加えて、上記第１～第３の条件の少なくとも１つを満たしていたとしても、上述したような特別な場合（ｆ_１≠ｆ_２、ＥＰ_１≠ＥＰ_２、Ｄ＝０、ｆ_１＝ＥＰ_１かつｆ_２＝ＥＰ_２）には、像倍比ＭＲが距離ａの関数として成立せず、像倍比ＭＲに基づいて、第１の光学系ＯＳ１から被写体１００までの距離ａを算出することが不可能となる。したがって、像倍比ＭＲに基づいて第１の光学系ＯＳ１から被写体１００までの距離ａを算出するために、本発明の測距カメラは、像倍比ＭＲが距離ａの関数として成立しているという第４の条件をさらに満たすよう構成されている。

そのため、本発明の測距カメラを用いて取得された第１の画像および第２の画像から実測される第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２から像倍比ＭＲを算出することにより、第１の光学系ＯＳ１の前側主点から被写体１００までの距離ａを算出することができる。

以下、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて被写体１００までの距離ａを算出する本発明の測距カメラを、添付図面に示す好適な実施形態に基づいて詳述する。

＜第１実施形態＞
最初に、図７を参照して本発明の測距カメラの第１実施形態を説明する。図７は、本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。

図７に示す測距カメラ１は、測距カメラ１の制御を行う制御部２と、被写体１００からの光を集光し、第１の被写体像を形成するための第１の光学系ＯＳ１と、第１の被写体像を撮像し、第１の被写体像を含む第１の画像を取得するための第１の撮像素子Ｓ１とを有する第１の撮像系ＩＳ１と、第１の光学系ＯＳ１に対して、第１の光学系ＯＳ１の光軸方向に対して垂直な方向に距離Ｐだけシフトして配置され、被写体１００からの光を集光し、第２の被写体像を形成するための第２の光学系ＯＳ２と、第２の被写体像を撮像し、第２の被写体像を含む第２の画像を取得するための第２の撮像素子Ｓ２とを有する第２の撮像系ＩＳ２と、第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２を取得するためのサイズ取得部３と、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲと、被写体１００までの距離ａとを関連付ける関連付情報を記憶している関連付情報記憶部４と、サイズ取得部３によって取得された第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２の比として得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００までの距離ａを算出するための距離算出部５と、第１の撮像素子Ｓ１によって取得された第１の画像または第２の撮像素子Ｓ２によって取得された第２の画像と、距離算出部５によって算出された被写体１００までの距離ａとに基づいて、被写体１００の３次元画像を生成するための３次元画像生成部６と、液晶パネル等の任意の情報を表示するための表示部７と、使用者による操作を入力するための操作部８と、外部デバイスとの通信を実行するための通信部９と、測距カメラ１の各コンポーネント間のデータの授受を実行するためのデータバス１０と、を備えている。

本実施形態の測距カメラ１は、像倍比ＭＲに基づいて被写体１００までの距離ａを算出するために要求される上述の３つの条件の内、第１の光学系ＯＳ１の焦点距離ｆ_１と、第２の光学系ＯＳ２の焦点距離ｆ_２とが、互いに異なる（ｆ_１≠ｆ_２）という第１の条件が満たされるよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成されていることを特徴とする。一方、本実施形態では、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、上述の３つの条件の内、その他の２つの条件（ＥＰ_１≠ＥＰ_２およびＤ≠０）を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ１は、像倍比ＭＲが距離ａの関数として成立しているという第４の条件が満たされるよう構成されている。

そのため、像倍比ＭＲを用いて被写体１００までの距離ａを算出するための上記一般式（１３）は、ＥＰ_１＝ＥＰ_２＝ＥＰおよびＤ＝０の条件により単純化され、下記式（２９）で表すことができる。

本実施形態の測距カメラ１は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２によって被写体１００を撮像することにより第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲを算出し、さらに、上記式（２９）を用いて、被写体１００までの距離ａを算出する。

また、本実施形態の測距カメラ１では、サイズ取得部３は、第１の撮像素子Ｓ１によって取得された第１の画像中の第１の被写体像の複数の特徴点（例えば、高さ方向または幅方向の両端部）を検出し、さらに、該複数の特徴点間の距離を測定することにより、第１の被写体像のサイズＹ_ＦＤ１を取得する。さらに、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出し、該複数の特徴点間の距離を測定することにより、第２の被写体像のサイズＹ_ＦＤ２を取得する。

また、本実施形態の測距カメラ１では、第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線が用いられている。エピポーラ線を表す上記一般式（２８）は、ＥＰ_１＝ＥＰ_２＝ＥＰおよびＤ＝０の条件により単純化され、下記式（３０）で表すことができる。

本実施形態の測距カメラ１では、上記式（３０）によって表される第２の画像中のエピポーラ線上を探索することにより、第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出することができる。これにより、第２の画像の全領域を探索せずとも、第２の被写体像の複数の特徴点を検出することができ、対応特徴点検出処理に要する処理時間を大幅に短縮することができる。その結果、被写体像間の像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための処理時間を大幅に短縮することができる。

以下、測距カメラ１の各コンポーネントについて詳述する。制御部２は、データバス１０を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ１の制御を実行する。制御部２は、演算処理を実行するためのプロセッサーと、測距カメラ１の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部２のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ１の制御を実行する。また、制御部２のプロセッサーは、測距カメラ１の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部２のプロセッサーは、距離算出部５を用いることにより、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００までの距離ａを算出するための処理を実行することができる。

制御部２のプロセッサーは、例えば、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントロールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部２のプロセッサーは、制御部２のメモリー内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、演算、信号操作および制御を実行するよう構成されている。

制御部２のメモリーは、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、光ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。

また、制御部２のメモリー内には、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置によって決定される固定値ｆ_１、ｆ_２、ＥＰ_１、ＥＰ_２、ａ_ＦＤ１、ａ_ＦＤ２、ＰＳ_１、ＰＳ_２、Ｐ_ｘ、Ｐ_ｙ、Ｄ、ｕ_１、ｖ_１、ｕ_２、ｖ_２、θ_ｘ、θ_ｙ、θ_ｚ、Ｒ_１１、Ｒ_１２、Ｒ_１３、Ｒ_２１、Ｒ_２２、Ｒ_２３、Ｒ_３１、Ｒ_３２、Ｒ_３３、並びに、これら固定値から導出され、被写体１００までの距離ａを算出するための上記一般式（１３）（または、簡略化された上記式（２９））および第２の画像中のエピポーラ線についての上記一般式（２８）（または、簡略化された上記式（３０））で使用される固定値Ｌ_１、Ｌ_２、Ｋ、Ｋ_１、Ｋ_２、Ｇ_１、Ｇ_２、Ｇ_３、Ｇ_４、Ｇ_５、Ｇ_６が事前に保存されている。

第１の撮像系ＩＳ１は、第１の光学系ＯＳ１と、第１の撮像素子Ｓ１と有している。第１の光学系ＯＳ１は、被写体１００からの光を集光し、第１の撮像素子Ｓ１の撮像面上に第１の被写体像を形成する機能を有する。第１の撮像素子Ｓ１は、撮像面上に形成された第１の被写体像を撮像し、第１の被写体像を含む第１の画像を取得する機能を有している。第２の撮像系ＩＳ２は、第２の光学系ＯＳ２と、第２の撮像素子Ｓ２とを有している。第２の光学系ＯＳ２は、被写体１００からの光を集光し、第２の撮像素子Ｓ２の撮像面上に第２の被写体像を形成する機能を有する。第２の撮像素子Ｓ２は、撮像面上に形成された第２の被写体像を撮像し、第２の被写体像を含む第２の画像を取得する機能を有している。

なお、図示の形態では、第１の撮像系ＩＳ１を構成する第１の撮像素子Ｓ１および第１の光学系ＯＳ１が、同一の筐体内に設けられており、第２の撮像系ＩＳ２を構成する第２の撮像素子Ｓ２および第２の光学系ＯＳ２が、別の同一の筐体内に設けられているが、本発明はこれに限られない。第１の光学系ＯＳ１、第２の光学系ＯＳ２、第１の撮像素子Ｓ１、および第２の撮像素子Ｓ２がすべて同一の筐体内に設けられているような様態も、本発明の範囲内である。

第１の光学系ＯＳ１および第２の光学系ＯＳ２は、１つ以上のレンズと絞り等の光学素子から構成されている。上述のように、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、第１の光学系ＯＳ１の焦点距離ｆ_１と第２の光学系ＯＳ２の焦点距離ｆ_２とが、互いに異なるよう（ｆ_１≠ｆ_２）、構成されている。これにより、第１の光学系ＯＳ１によって形成される第１の被写体像の倍率ｍ_１の被写体１００までの距離ａに応じた変化が、第２の光学系ＯＳ２によって形成される第２の被写体像の倍率ｍ_２の被写体１００までの距離に応じた変化と異なるようになっている。このような第１の光学系ＯＳ１および第２の光学系ＯＳ２の構成によって得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との比である像倍比ＭＲは、被写体１００までの距離ａを算出するために用いられる。

また、図示のように、第１の光学系ＯＳ１の光軸と、第２の光学系ＯＳ２の光軸は、平行であるが、一致していない。さらに、第２の光学系ＯＳ２は、第１の光学系ＯＳ１の光軸方向に対して垂直な方向に距離Ｐだけシフトして配置されている。

第１の撮像素子Ｓ１および第２の撮像素子Ｓ２のそれぞれは、ベイヤー配列等の任意のパターンで配列されたＲＧＢ原色系カラーフィルターやＣＭＹ補色系カラーフィルターのようなカラーフィルターを有するＣＭＯＳ画像センサーやＣＣＤ画像センサー等のカラー撮像素子であってもよいし、そのようなカラーフィルターを有さない白黒撮像素子であってもよい。この場合、第１の撮像素子Ｓ１によって得られる第１の画像および第２の撮像素子Ｓ２によって得られる第２の画像は、被写体１００のカラーまたは白黒の輝度情報である。

また、第１の撮像素子Ｓ１および第２の撮像素子Ｓ２のそれぞれは、被写体１００の位相情報を取得する位相センサーであってもよい。この場合、第１の撮像素子Ｓ１によって得られる第１の画像および第２の撮像素子Ｓ２によって得られる第２の画像は、被写体１００の位相情報である。

第１の光学系ＯＳ１によって、第１の撮像素子Ｓ１の撮像面上に第１の被写体像が形成され、第１の撮像素子Ｓ１によって第１の被写体像を含む第１の画像が取得される。取得された第１の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。同様に、第２の光学系ＯＳ２によって、第２の撮像素子Ｓ２の撮像面上に第２の被写体像が形成され、第２の撮像素子Ｓ２によって第２の被写体像を含む第２の画像が取得される。取得された第２の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。

サイズ取得部３に送られた第１の画像および第２の画像は、第１の被写体のサイズＹ_ＦＤ１および第２の被写体のサイズＹ_ＦＤ２を取得するために用いられる。一方、制御部２に送られた第１の画像および第２の画像は、表示部７による画像表示や通信部９による画像信号の通信のために用いられる。

サイズ取得部３は、第１の被写体像を含む第１の画像および第２の被写体像を含む第２の画像から、第１の被写体のサイズＹ_ＦＤ１および第２の被写体のサイズＹ_ＦＤ２を取得する機能を有している。具体的には、サイズ取得部３は、第１の画像中の第１の被写体像の複数の特徴点を検出し、検出された第１の被写体像の複数の特徴点間の距離を測定することにより、第１の被写体像のサイズＹ_ＦＤ１を取得する。さらに、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出し、検出された第２の被写体像の複数の特徴点間の距離を測定することにより、第２の被写体像のサイズＹ_ＦＤ２を取得する。

具体的には、サイズ取得部３は、第１の撮像素子Ｓ１から第１の画像を受信し、さらに、第２の撮像素子Ｓ２から第２の画像を受信する。その後、サイズ取得部３は、第１の画像中における第１の被写体像の任意の複数の特徴点を検出する。サイズ取得部３が第１の画像中における第１の被写体像の任意の複数の特徴点を検出する方法は特に限定されず、サイズ取得部３は、本分野において既知の種々の方法を用いて、第１の画像中における第１の被写体像の任意の複数の特徴点を検出することができる。サイズ取得部３によって検出された複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）は、制御部２のメモリー内に一時保存される。

１つの例において、サイズ取得部３は、第１の画像に対し、Ｃａｎｎｙのようなフィルター処理を施し、第１の画像内における第１の被写体像のエッジ部を抽出する。その後、サイズ取得部３は、抽出した第１の被写体像のエッジ部の任意のいくつかを第１の被写体像の複数の特徴点として検出し、該複数の特徴点間の離間距離を測定することにより第１の被写体像のサイズＹ_ＦＤ１を取得する。この場合、サイズ取得部３は、第１の被写体像の高さ方向の両端部に相当するエッジ部を第１の被写体像の複数の特徴点として検出し、該特徴点間の離間距離を第１の被写体像のサイズ（像高）Ｙ_ＦＤ１としてもよいし、第１の被写体像の幅方向の両端部に相当するエッジ部を第１の被写体像の複数の特徴点として検出し、該特徴点間の離間距離を第１の被写体像のサイズ（像幅）Ｙ_ＦＤ２としてもよい。

第１の被写体像のサイズＹ_ＦＤ１を取得した後、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する。

具体的には、サイズ取得部３は、最初に、制御部２のメモリー内に保存されている第１の被写体像の複数の特徴点の座標（ｘ_１，ｙ_１）を参照し、検出された第１の被写体像の複数の特徴点のいずれか１つを選択する。その後、サイズ取得部３は、第１の画像中の選択された特徴点を中心とする所定のサイズの領域（例えば、選択された特徴点を中心とする５×５ピクセルの領域、７×７ピクセルの領域等）を切り出し、選択された特徴点用の探索ブロックを取得する。この探索ブロックは、選択された第１の被写体の特徴点に対応する第２の画像中の第２の被写体像の特徴点を探索するために用いられる。取得された探索ブロックは、制御部２のメモリー内に一時保存される。

その後、サイズ取得部３は、制御部２のメモリー内に保存されている固定値を用いて、選択された第１の被写体像の特徴点に対応するエピポーラ線を、上記式（３０）（または、一般式（２８））に基づいて導出する。その後、サイズ取得部３は、導出されたエピポーラ線上を探索することにより、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点を検出する。

具体的には、サイズ取得部３は、制御部２のメモリー内に保存されている選択された第１の被写体像の特徴点用の探索ブロックと、第２の画像中のエピポーラ線上の画素を中心とし、探索ブロックと同じサイズを有するエピポーラ線周辺領域との間のコンボリューション演算（畳み込み積分）を実行し、探索ブロックとエピポーラ線周辺領域との間の相関値を算出する。この相関値の算出は、第２の画像中の導出されたエピポーラ線に沿って実行される。サイズ取得部３は、相関値が最も高かったエピポーラ線周辺領域の中心画素（すなわち、エピポーラ線上の画素）を、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点として検出する。算出された第２の被写体像の特徴点の座標（ｘ_２，ｙ_２）は、制御部２のメモリー内に一時保存される。

なお、探索ブロックとエピポーラ線周辺領域とのコンボリューション演算を実行する際に、探索ブロックまたは第２の画像に対する画素の補間が実行されてもよい。このような２つの領域間の相関値を正確に取得するために本分野において既知の任意の手法が、対応特徴点検出処理において用いられてもよい。

このような処理は、検出された第１の被写体像の特徴点の全てに対応する第２の画像中の第２の被写体像の特徴点が検出されるまで、選択された第１の被写体像の特徴点を変更して、繰り返し実行される。したがって、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する複数のエピポーラ線を上記式（３０）（または、一般式（２８））に基づいて導出し、該複数のエピポーラ線のそれぞれ上を上述のように探索することにより、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出する。検出された第１の被写体像の特徴点の全てに対応する第２の画像中の第２の被写体像の特徴点が検出されると、サイズ取得部３による対応特徴点検出処理が終了する。

対応特徴点検出処理を実行した後、サイズ取得部３は、制御部２のメモリー内に一時保存されている第２の被写体像の複数の特徴点の座標（ｘ_２，ｙ_２）から、検出された第２の被写体像の複数の特徴点間の離間距離を測定することにより、第２の被写体像のサイズＹ_ＦＤ２を取得する。

なお、上述したように、上記式（３０）（または、一般式（２８））で表されるエピポーラ線は、従来技術において一般に用いられている第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性を考慮しないピンホールモデルではなく、図４および図５に示すような第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置を考慮したモデルを用いて導出されている。

そのため、サイズ取得部３は、従来のピンホールモデルを用いて第２の画像中の複数のエピポーラ線を導出し、第２の画像中の第２の被写体像の複数の特徴点を検出する場合と比較して、より正確に第２の画像中の第２の被写体像の複数の特徴点を検出することができる。これにより、被写体１００までの距離ａをより正確に測定することができる。

関連付情報記憶部４は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）と、第１の光学系ＯＳ１の前側主点から被写体１００までの距離（被写体距離）ａとを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体（例えば、ハードディスク、フラッシュメモリー）である。関連付情報記憶部４に保存されている関連付情報は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）から、被写体１００までの距離ａを算出するための情報である。

典型的には、関連付情報記憶部４に保存されている関連付情報は、像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための上記式（２９）（または、一般式（１３））である。代替的に、関連付情報記憶部４に保存されている関連付情報は、像倍比ＭＲと被写体１００までの距離ａとを一意に対応づけたルックアップテーブルであってもよい。関連付情報記憶部４に保存されているこのような関連付情報を参照することにより、像倍比ＭＲに基づいて被写体１００までの距離ａを算出することが可能となる。なお、関連付情報が被写体１００までの距離ａを算出するための前述の式である場合には、関連付情報に加え、制御部２のメモリー内に保存されている固定値も参照され、被写体１００までの距離ａが算出される。

距離算出部５は、サイズ取得部３によって取得された第１の被写体像のサイズＹ_ＦＤ１と第２の被写体像のサイズＹ_ＦＤ２との比として得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００までの距離ａを算出する機能を有している。具体的には、距離算出部５は、サイズ取得部３によって取得された第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２に基づき、上記式（１４）ＭＲ＝Ｙ_ＦＤ２／Ｙ_ＦＤ１によって、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲを算出する。その後、距離算出部５は、関連付情報記憶部４に保存されている関連付情報を参照し（関連付情報が被写体１００までの距離ａを算出するための前述の式である場合には、制御部２のメモリー内に保存されている固定値も参照される）、像倍比ＭＲに基づいて、被写体１００までの距離ａを算出（特定）する。

３次元画像生成部６は、距離算出部５によって算出された被写体１００までの距離ａおよび第１の撮像系ＩＳ１または第２の撮像系ＩＳ２が取得した被写体１００のカラーまたは白黒の輝度情報（第１の画像または第２の画像）に基づいて、被写体１００の３次元画像を生成する機能を有している。ここで言う「被写体１００の３次元画像」とは、通常の被写体１００のカラーまたは白黒の輝度情報を表す２次元画像の各ピクセルに対して、算出された被写体１００までの距離ａが関連付けられているデータを意味する。なお、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１および第２の撮像系ＩＳ２の第２の撮像素子Ｓ２が、被写体１００の位相情報を取得する位相センサーである場合には、３次元画像生成部６は省略される。

表示部７は、液晶表示部等のパネル型表示部であり、制御部２のプロセッサーからの信号に応じて、第１の撮像系ＩＳ１または第２の撮像系ＩＳ２によって取得された被写体１００のカラーまたは白黒の輝度情報または被写体１００の位相情報（第１の画像または第２の画像）、距離算出部５によって算出された被写体１００までの距離ａ、３次元画像生成部６によって生成された被写体１００の３次元画像、測距カメラ１を操作するための情報等が文字または画像の形態で表示部７に表示される。

操作部８は、測距カメラ１の使用者が操作を実行するために用いられる。操作部８は、測距カメラ１の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部８として用いることができる。操作部８は、測距カメラ１の使用者による操作に応じた信号を制御部２のプロセッサーに送信する。

通信部９は、測距カメラ１に対するデータの入力または測距カメラ１から外部デバイスへのデータの出力を行う機能を有している。通信部９は、インターネットのようなネットワークに接続可能に構成されていてもよい。この場合、測距カメラ１は、通信部９を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。

このように、本実施形態の測距カメラ１では、第１の光学系ＯＳ１および第２の光学系ＯＳ２が、第１の光学系ＯＳ１の焦点距離ｆ_１と第２の光学系ＯＳ２の焦点距離ｆ_２とが、互いに異なるよう（ｆ_１≠ｆ_２）、構成されており、これにより、被写体１００までの距離ａに対する第１の被写体像の倍率ｍ_１の変化と、被写体１００までの距離ａに対する第２の被写体像の倍率ｍ_２の変化とが、互いに異なるようになっている。そのため、本発明の測距カメラ１は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）に基づいて、被写体１００までの距離ａを一意に算出することができる。

また、本実施形態の測距カメラ１では、サイズ取得部３によって実行される対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線が利用されている。そのため、対応特徴点検出処理に必要な処理時間を大幅に短縮することができ、被写体１００までの距離ａを算出するために必要な処理時間を大幅に短縮することができる。

さらに、上記式（３０）（または、一般式（２８））で表されるエピポーラ線は、従来技術において一般に用いられている第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性を考慮しないピンホールモデルではなく、図４および図５に示す第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置の双方を考慮したモデルを用いて導出されている。そのため、従来のピンホールモデルを用いて第２の画像中の複数のエピポーラ線を導出し、第２の画像中の第２の被写体像の複数の特徴点を検出する場合と比較して、より正確に第２の画像中の第２の被写体像の複数の特徴点を検出することができる。これにより、測距カメラ１による被写体１００までの距離ａの測定の精度を高めることができる。

＜第２実施形態＞
次に、図８を参照して、本発明の第２実施形態に係る測距カメラ１について詳述する。図８は、本発明の第２実施形態に係る測距カメラを概略的に示すブロック図である。

以下、第２実施形態の測距カメラ１について、第１実施形態の測距カメラ１との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ１は、第１の光学系ＯＳ１および第２の光学系ＯＳ２の構成が変更されている点を除き、第１実施形態の測距カメラ１と同様である。

本実施形態の測距カメラ１は、像倍比ＭＲに基づいて被写体１００までの距離ａを算出するために要求される上述の３つの条件の内、第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離ＥＰ_１と、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離ＥＰ_２とが、互いに異なる（ＥＰ_１≠ＥＰ_２）という第２の条件が満たされるよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成されていることを特徴とする。一方、本実施形態では、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、上述の３つの条件の内、その他の２つの条件（ｆ_１≠ｆ_２およびＤ≠０）を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ１は、像倍比ＭＲが距離ａの関数として成立しているという第４の条件が満たされるよう構成されている。

像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための上記一般式（１３）は、ｆ_１＝ｆ_２＝ｆおよびＤ＝０の条件により単純化され、下記式（３１）で表すことができる。

また、エピポーラ線を表す上記一般式（２８）は、ｆ_１＝ｆ_２＝ｆおよびＤ＝０の条件により単純化され、下記式（３２）で表すことができる。

このように、本実施形態の測距カメラ１では、第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離ＥＰ_１と、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離ＥＰ_２とが、互いに異なるよう（ＥＰ_１≠ＥＰ_２）、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成されており、これにより、被写体１００までの距離ａに対する第１の被写体像の倍率ｍ_１の変化と、被写体１００までの距離ａに対する第２の被写体像の倍率ｍ_２の変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ１は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）に基づいて、被写体１００までの距離ａを一意に算出することができる。

さらに、本実施形態の測距カメラ１では、上記式（３２）によって表される第２の画像中のエピポーラ線上を探索することにより、第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出することができる。これにより、第２の画像の全領域を探索せずとも、第２の被写体像の複数の特徴点を検出することができ、対応特徴点検出処理に要する処理時間を大幅に短縮することができる。その結果、被写体像間の像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための処理時間を大幅に短縮することができる。このように、本実施形態によっても、上述の第１の実施形態と同様の効果を発揮することができる。

＜第３実施形態＞
次に、図９を参照して、本発明の第３実施形態に係る測距カメラ１について詳述する。図９は、本発明の第３実施形態に係る測距カメラを概略的に示すブロック図である。

以下、第３実施形態の測距カメラ１について、第１実施形態の測距カメラ１との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ１は、第１の光学系ＯＳ１および第２の光学系ＯＳ２の構成が変更されている点を除き、第１実施形態の測距カメラ１と同様である。

本実施形態の測距カメラ１は、像倍比ＭＲに基づいて被写体１００までの距離ａを算出するために要求される上述の３つの条件の内、第１の光学系ＯＳ１の前側主点と、第２の光学系ＯＳ２の前側主点との間に奥行方向（光軸方向）の差Ｄが存在する（Ｄ≠０）という第３の条件が満たされるよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成および配置されていることを特徴とする。一方、本実施形態では、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、上述の３つの条件の内、その他の２つの条件（ｆ_１≠ｆ_２およびＥＰ_１≠ＥＰ_２）を満たすように構成されていない。さらに、本実施形態の測距カメラ１は、像倍比ＭＲが距離ａの関数として成立しているという第４の条件が満たされるよう構成されている。

像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための上記一般式（１３）は、ｆ_１＝ｆ_２＝ｆおよびＥＰ_１＝ＥＰ_２＝ＥＰの条件により単純化され、下記式（３３）で表すことができる。

また、エピポーラ線を表す上記一般式（２８）は、ｆ_１＝ｆ_２＝ｆおよびＥＰ_１＝ＥＰ_２＝ＥＰの条件により単純化され、下記式（３４）で表すことができる。

このように、本実施形態の測距カメラ１では、第１の光学系ＯＳ１の前側主点と、第２の光学系ＯＳ２の前側主点との間に奥行方向（光軸方向）の差Ｄが存在するよう（Ｄ≠０）、構成および配置されており、これにより、被写体１００までの距離ａに対する第１の被写体像の倍率ｍ_１の変化と、被写体１００までの距離ａに対する第２の被写体像の倍率ｍ_２の変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ１は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）に基づいて、被写体１００までの距離ａを一意に算出することができる。

さらに、本実施形態の測距カメラ１では、上記式（３４）によって表される第２の画像中のエピポーラ線上を探索することにより、第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出することができる。これにより、第２の画像の全領域を探索せずとも、第２の被写体像の複数の特徴点を検出することができ、対応特徴点検出処理に要する処理時間を大幅に短縮することができる。その結果、被写体像間の像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための処理時間を大幅に短縮することができる。このように、本実施形態によっても、上述の第１の実施形態と同様の効果を発揮することができる。

ここまで各実施形態を参照して詳述したように、本発明の測距カメラ１は、第１の撮像系ＩＳ１を用いて取得された第１の画像および第２の撮像系ＩＳ２を用いて取得された第２の画像から実測される第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２から像倍比ＭＲを算出することにより、第１の光学系ＯＳ１の前側主点から被写体１００までの距離ａを算出することができる。

また、第２の被写体像のサイズＹ_ＦＤ２を測定するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線が用いられている。そのため、第２の画像の全領域を探索せずとも、第２の被写体像の複数の特徴点を検出することができ、対応特徴点検出処理に要する処理時間を大幅に短縮することができる。その結果、被写体像間の像倍比ＭＲに基づいて被写体１００までの距離ａを算出するための処理時間を大幅に短縮することができる。

また、上記各実施形態では、第１の光学系ＯＳ１および第２の光学系ＯＳ２の２つの光学系が用いられているが、用いられる光学系の数はこれに限られない。例えば、第１の光学系ＯＳ１および第２の光学系ＯＳ２に加え、追加的な光学系をさらに備えるような態様もまた本発明の範囲内である。この場合、追加的な光学系は、追加的な光学系によって形成される被写体像の倍率の被写体１００までの距離ａに対する変化が、第１の被写体像の倍率ｍ_１の被写体までの距離ａに対する変化および第２の被写体像の倍率ｍ_２の被写体までの距離ａに対する変化と異なるように構成および配置されている。

なお、上述した第１～第３実施形態は、像倍比ＭＲに基づいて被写体１００までの距離ａを算出するために要求される上述の３つの条件の内のいずれか１つを満たすよう第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成および配置されているが、上述の３つの条件の内の少なくとも１つが満たされるよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成および配置されていれば、本発明はこれに限られない。例えば、上述の３つの条件の内の全てまたは任意の組み合わせが満たされるよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２が構成および配置されている態様も、本発明の範囲内である。

＜測距方法＞
次に図１０および図１１を参照して、本発明の測距カメラ１によって実行される測距方法について説明する。図１０は、本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。図１１は、図１０に示す測距方法において実行される対応特徴点検出処理の詳細を示すフローチャートである。

なお、以下に詳述する測距方法は、上述した本発明の第１～第３実施形態に係る測距カメラ１および測距カメラ１と同等の機能を有する任意の装置を用いて実行することができるが、第１実施形態に係る測距カメラ１を用いて実行されるものとして説明する。

図１０に示す測距方法Ｓ１００は、測距カメラ１の使用者が操作部８を用いて、被写体１００までの距離ａを測定するための操作を実行することにより開始される。工程Ｓ１１０において、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１によって、第１の光学系ＯＳ１によって形成された第１の被写体像が撮像され、第１の被写体像を含む第１の画像が取得される。第１の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。同様に、工程Ｓ１２０において、第２の撮像系ＩＳ２の第２の撮像素子Ｓ２によって、第２の光学系ＯＳ２によって形成された第２の被写体像が撮像され、第２の被写体像を含む第２の画像が取得される。第２の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。Ｓ１１０における第１の画像の取得と、Ｓ１２０における第２の画像の取得は、同時に実行されてもよいし、別々に実行されてもよい。

工程Ｓ１１０における第１の画像の取得および工程Ｓ１２０における第２の画像の取得の後、測距方法Ｓ１００は、工程Ｓ１３０に移行する。工程Ｓ１３０において、サイズ取得部３は、第１の画像中の第１の被写体像の任意の複数の特徴点を検出する。工程Ｓ１３０においてサイズ取得部３によって検出される第１の被写体像の任意の複数の特徴点は、例えば、第１の被写体像の高さ方向の両端部または第１の被写体像の幅方向の両端部である。サイズ取得部３によって検出された第１の被写体像の複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）は、制御部２のメモリー内に一時保存される。

工程Ｓ１４０において、サイズ取得部３は、制御部２のメモリー内に一時保存されている第１の被写体像の複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）を参照し、検出された第１の被写体像の複数の特徴点間の距離を測定することにより、第１の被写体像のサイズＹ_ＦＤ１を取得する。工程Ｓ１４０において取得された第１の被写体像のサイズＹ_ＦＤ１は、制御部２のメモリー内に一時保存される。

その後、工程Ｓ１５０において、サイズ取得部３は、工程Ｓ１３０において検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する。図１１には、工程Ｓ１５０において実行される対応特徴点検出処理の詳細を示すフローチャートが示されている。

工程Ｓ１５１において、サイズ取得部３は、制御部２のメモリー内に保存されている第１の被写体像の複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）を参照し、検出された第１の被写体像の複数の特徴点のいずれか１つを選択する。次に、工程Ｓ１５２において、サイズ取得部３は、第１の画像中の選択された第１の被写体像の特徴点を中心とする所定のサイズの領域（例えば、特徴点を中心とする５×５ピクセルの領域、７×７ピクセルの領域等）を切り出し、選択された特徴点用の探索ブロックを取得する。取得された探索ブロックは、制御部２のメモリー内に一時保存される。

次に、工程Ｓ１５３において、サイズ取得部３は、制御部２のメモリー内に保存されている固定値を用いて、工程Ｓ１５１において選択された第１の被写体像の特徴点に対応する第２の画像中のエピポーラ線を、上述の一般式（２８）（または、各実施形態における簡略化されたエピポーラ線を表す式）に基づいて導出する。その後、工程Ｓ１５４において、サイズ取得部３は、制御部２のメモリー内に保存されている選択された第１の被写体像の特徴点用の探索ブロックと、第２の画像中の導出されたエピポーラ線上の画素を中心とし、探索ブロックと同じサイズを有するエピポーラ線周辺領域との間のコンボリューション演算（畳み込み積分）を実行し、探索ブロックとエピポーラ線周辺領域との間の相関値を算出する。算出された相関値は、制御部２のメモリー内に一時保存される。この相関値の算出は、ブロックマッチングとも称され、第２の画像中の導出されたエピポーラ線に沿って実行される。

第２の画像中のエピポーラ線に沿った相関値の算出が終了すると、工程Ｓ１５０の処理は、工程Ｓ１５５に移行する。工程Ｓ１５５において、サイズ取得部３は、相関値が最も高かったエピポーラ線周辺領域の中心画素（すなわち、エピポーラ線上の画素）を、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点として検出する。算出された第２の被写体像の特徴点の座標（ｘ_２，ｙ_２）は、制御部２のメモリー内に一時保存される。

その後、工程Ｓ１５６において、工程Ｓ１３０において検出された第１の被写体像の複数の特徴点の全てが、工程Ｓ１５１において選択済みか否かが判別される。工程Ｓ１３０において検出された第１の被写体像の複数の特徴点の全てが、工程Ｓ１５１において選択済みではない場合（工程Ｓ１５６＝Ｎｏ）、工程Ｓ１５０の処理は、工程Ｓ１５１に戻る。工程Ｓ１５１において、第１の被写体像の複数の特徴点のうち、未選択の１つが新たに選択され、選択された第１の被写体像の特徴点が変更される。工程Ｓ１５１～工程Ｓ１５５の処理は、検出された第１の被写体像の特徴点の全てに対応する第２の画像中の第２の被写体像の特徴点が検出されるまで、選択された第１の被写体像の特徴点を変更して、繰り返し実行される。

工程Ｓ１３０において検出された第１の被写体像の複数の特徴点の全てが、工程Ｓ１５１において選択済みである場合（工程Ｓ１５６＝Ｙｅｓ）、工程Ｓ１５０の処理は終了する。工程Ｓ１５０の処理が終了すると、測距方法Ｓ１００は、工程Ｓ１６０に移行する。

図１０に戻り、工程Ｓ１６０において、サイズ取得部３は、検出された第２の被写体像の複数の特徴点間の距離を測定することにより、第２の被写体像のサイズＹ_ＦＤ２を取得する。工程Ｓ１６０において取得された第２の被写体像のサイズＹ_ＦＤ２は、制御部２のメモリー内に一時保存される。

サイズ取得部３によって第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２が取得されると、測距方法Ｓ１００は、工程Ｓ１７０に移行する。工程Ｓ１７０において、距離算出部５は、制御部２のメモリー内に一時保存されている第１の被写体像のサイズＹ_ＦＤ１および第２の被写体像のサイズＹ_ＦＤ２から、上記式（１４）ＭＲ＝Ｙ_ＦＤ２／Ｙ_ＦＤ１に基づいて、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲを算出する。次に、工程Ｓ１８０において、距離算出部５は、関連付情報記憶部４に保存されている関連付情報を参照し、算出した像倍比ＭＲに基づいて、被写体１００までの距離ａを算出する。なお、関連付情報が被写体１００までの距離ａを算出するための前述の式である場合には、距離算出部５は、関連付情報に加え、制御部２のメモリー内に保存されている固定値も参照し、被写体１００までの距離ａを算出する。

工程Ｓ１８０において、距離算出部５が、被写体１００までの距離ａを算出すると、測距方法Ｓ１００は、工程Ｓ１９０に移行する。工程Ｓ１９０において、３次元画像生成部６が、距離算出部５によって算出された被写体１００までの距離ａおよび第１の撮像系ＩＳ１または第２の撮像系ＩＳ２が取得した被写体１００のカラーまたは白黒の輝度情報（第１の画像または第２の画像）に基づいて、被写体１００の３次元画像を生成する。なお、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１および第２の撮像系ＩＳ２の第２の撮像素子Ｓ２が、被写体１００の位相情報を取得する位相センサーである場合には、工程Ｓ１９０は省略される。

その後、ここまでの工程において取得された被写体１００のカラー若しくは白黒の輝度情報または位相情報（第１の画像および／または第２の画像）、被写体１００までの距離ａ、および／または被写体１００の３次元画像が、表示部７に表示され、または通信部９によって外部デバイスに送信され、測距方法Ｓ１００は終了する。

以上、本発明の測距カメラを図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。

本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の測距カメラの構成の変更を実行可能であろうし、変更された構成を有する測距カメラもまた、本発明の範囲内である。例えば、第１実施形態から第４実施形態の測距カメラを任意に組み合わせた態様も、本発明の範囲内である。

また、図７～図９に示された測距カメラのコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、測距カメラの各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。

また、図１０および図１１に示された測距方法Ｓ１００の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される態様も、本発明の範囲内である。

１…測距カメラ ２…制御部 ３…サイズ取得部 ４…関連付情報記憶部 ５…距離算出部 ６…３次元画像生成部 ７…表示部 ８…操作部 ９…通信部 １０…データバス １００…被写体 Ｄ…第１の光学系と第２の光学系との間の光軸方向の奥行視差 ＥＰ、ＥＰ_１、ＥＰ_２…光学系の射出瞳から、被写体が無限遠にある場合の被写体像の結像位置までの距離 ＥＰ_ＯＤ…光学系の射出瞳から、任意の距離に被写体が存在する場合の被写体像の結像位置までの距離 ＥＰ_ＦＤ…光学系の射出瞳から、撮像素子の撮像面までの距離 ＩＳ１…第１の撮像系 ＩＳ２…第２の撮像系 ＯＳ１…第１の光学系 ＯＳ２…第２の光学系 Ｓ１…第１の撮像素子 Ｓ２…第２の撮像素子 Ｐ…第１の光学系と第２の光学系との間の第１の光学系の光軸方向に対して垂直な方向の離間距離 Ｐ_ｘ…第１の光学系と第２の光学系との間のｘ軸方向の並進視差 Ｐ_ｙ…第１の光学系と第２の光学系との間のｙ軸方向の並進視差 Ｓ…特徴点 （Ｘ，Ｙ，ａ）…被写体の特徴点のワールド座標 Ｓ１００…測距方法 Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ１８０、Ｓ１９０…工程 Ｓ１５１～Ｓ１５６…工程 ａ…被写体までの距離 ｂ_ＦＤ…光学系の後側主点から撮像素子の撮像面までの距離 ｂ_ＯＤ…光学系の後側主点から、任意の距離に被写体が存在する場合の被写体像の結像位置までの距離 ｆ…焦点距離 ｆ_１…第１の光学系の焦点距離 ｆ_２…第２の光学系の焦点距離 Ｙ_ＦＤ…撮像素子の撮像面における被写体像のサイズ Ｙ_ＯＤ…被写体像の結像位置における被写体像のサイズ Δｂ_ＯＤ…焦点距離ｆと距離ｂ_ＯＤとの差 Δｂ_ＦＤ…焦点距離ｆと距離ｂ_ＦＤとの差

Claims (9)

1. 被写体からの光を集光し、第１の被写体像を形成するための第１の光学系と、前記第１の被写体像を撮像することにより、前記第１の被写体像を含む第１の画像を取得するための第１の撮像素子とを有する第１の撮像系と、
   前記第１の光学系に対して、前記第１の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第２の被写体像を形成するための第２の光学系と、前記第２の被写体像を撮像することにより、前記第２の被写体像を含む第２の画像を取得するための第２の撮像素子とを有する第２の撮像系と、
   前記第１の画像中の前記第１の被写体像の複数の特徴点を検出し、前記第１の被写体像の前記複数の特徴点間の距離を測定することにより、前記第１の被写体像のサイズを取得し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の複数の特徴点を検出し、前記第２の被写体像の前記複数の特徴点間の距離を測定することにより、前記第２の被写体像のサイズを取得するためのサイズ取得部と、
   前記サイズ取得部によって取得された前記第１の被写体像の前記サイズと前記第２の被写体像の前記サイズとの比として得られる前記第１の被写体像の倍率と前記第２の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
   前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の複数のエピポーラ線上を探索することにより、前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出し、
   前記サイズ取得部は、前記第１の撮像系および前記第２の撮像系の特性および配置を考慮したモデルに基づいて、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記複数のエピポーラ線を導出し、
   前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記複数のエピポーラ線は、下記式（１）によって表されることを特徴とする測距カメラ。
   

   

   ここで、ｘ _１ およびｙ _１ は、それぞれ、前記第１の被写体像の前記複数の特徴点の任意の１つの前記第１の画像中におけるｘ座標およびｙ座標、ｘ _２ およびｙ _２ は、それぞれ、前記第１の被写体像の前記複数の特徴点の前記任意の１つに対応する前記第２の画像中における前記第２の被写体像の特徴点のｘ座標およびｙ座標、Ｐ _ｘ およびＰ _ｙ は、それぞれ、前記第１の光学系の前側主点と前記第２の光学系の前側主点との間の並進視差のｘ軸方向の値およびｙ軸方向の値であり、Ｄは前記第１の光学系と前記第２の光学系との間の前記第１の光学系または前記第２の光学系の光軸方向の奥行視差であり、ＰＳ _１ は前記第１の撮像素子の画素サイズであり、ＰＳ _２ は前記第２の撮像素子の画素サイズであり、ｆ _１ は前記第１の光学系の焦点距離、ｆ _２ は前記第２の光学系の焦点距離、ＥＰ _１ は前記第１の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第１の被写体像の結像位置までの距離、ＥＰ _２ は前記第２の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第２の被写体像の結像位置までの距離、ａ _ＦＤ１ は前記第１の撮像素子の撮像面で前記第１の被写体像がベストピントとなる場合の前記第１の光学系の前記前側主点から前記被写体までの距離、ａ _ＦＤ２ は前記第２の撮像素子の撮像面で前記第２の被写体像がベストピントとなる場合の前記第２の光学系の前記前側主点から前記被写体までの距離、ｕ _１ およびｖ _１ は、それぞれ、前記第１の画像中における前記第１の光学系の光軸のｘ座標およびｙ座標、ｕ _２ およびｖ _２ は、それぞれ、前記第２の画像中における前記第２の光学系の光軸のｘ座標およびｙ座標、Ｒ _１１ 、Ｒ _１２ 、Ｒ _１３ 、Ｒ _２１ 、Ｒ _２２ 、Ｒ _２３ 、Ｒ _３１ 、Ｒ _３２ 、およびＲ _３３ は、前記第１の撮像系ＩＳ１に対する前記第２の撮像系ＩＳ２の回転行列の成分である。
2. 前記第１の光学系および前記第２の光学系は、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の変化と異なるように構成されている請求項１に記載の測距カメラ。
3. 前記第１の光学系および前記第２の光学系は、前記第１の光学系の前記焦点距離と、前記第２の光学系の前記焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている請求項２に記載の測距カメラ。
4. 前記第１の光学系および前記第２の光学系は、前記第１の光学系の前記射出瞳から、前記被写体が無限遠に存在する場合の前記第１の光学系によって形成される前記第１の被写体像の前記結像位置までの前記距離と、前記第２の光学系の前記射出瞳から、前記被写体が無限遠に存在する場合の前記第２の光学系によって形成される前記第２の被写体像の前記結像位置までの前記距離とが異なるように構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている請求項２または３に記載の測距カメラ。
5. 前記第１の光学系の前記前側主点と前記第２の光学系の前記前側主点との間に、前記第１の光学系または前記第２の光学系の前記光軸方向の前記奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている請求項２ないし４のいずれかに記載の測距カメラ。
6. 被写体からの光を集光し、第１の被写体像を形成するための第１の光学系と、前記第１の被写体像を撮像することにより、前記第１の被写体像を含む第１の画像を取得するための第１の撮像素子とを有する第１の撮像系と、
   前記第１の光学系に対して、前記第１の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第２の被写体像を形成するための第２の光学系と、前記第２の被写体像を撮像することにより、前記第２の被写体像を含む第２の画像を取得するための第２の撮像素子とを有する第２の撮像系と、
   前記第１の画像中の前記第１の被写体像の複数の特徴点を検出し、前記第１の被写体像の前記複数の特徴点間の距離を測定することにより、前記第１の被写体像のサイズを取得し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の複数の特徴点を検出し、前記第２の被写体像の前記複数の特徴点間の距離を測定することにより、前記第２の被写体像のサイズを取得するためのサイズ取得部と、
   前記サイズ取得部によって取得された前記第１の被写体像の前記サイズと前記第２の被写体像の前記サイズとの比として得られる前記第１の被写体像の倍率と前記第２の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
   前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の複数のエピポーラ線上を探索することにより、前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出し、
   前記第１の光学系および前記第２の光学系は、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の変化と異なるように構成されていることを特徴とする測距カメラ。
7. 前記第１の光学系および前記第２の光学系は、前記第１の光学系の焦点距離と、前記第２の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている請求項６に記載の測距カメラ。
8. 前記第１の光学系および前記第２の光学系は、前記第１の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第１の光学系によって形成される前記第１の被写体像の結像位置までの距離と、前記第２の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第２の光学系によって形成される前記第２の被写体像の結像位置までの距離とが異なるように構成されており、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている請求項６または７に記載の測距カメラ。
9. 前記第１の光学系の前側主点と前記第２の光学系の前側主点との間に、前記第１の光学系または前記第２の光学系の光軸方向の奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第１の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第２の被写体像の前記倍率の前記変化と異なるようになっている請求項６ないし８のいずれかに記載の測距カメラ。

Images