JP5833546B2 - 距離計測装置および距離計測方法 - Google Patents

Description

本発明は単一の視点から撮影された複数枚の画像を元に、シーンの奥行きを計測する距離計測装置に関する。

ある３次元シーンの奥行き、すなわち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらを大別すると、能動的手法と受動的手法とがある。能動的手法は、赤外線、超音波、またはレーザー光などを被写体に照射し、反射波が戻ってくるまでの時間または反射波の角度などをもとに距離を算出する手法である。受動的手法は、被写体の像に基づいて距離を算出する手法である。特にカメラを用いて距離を算出する場合には、赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

受動的手法にも多くの手法が提案されているが、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下ＤＦＤと表記）と呼ばれる手法がある。ＤＦＤは、複数のカメラを必要とせずに距離計測が可能である、少数の画像から距離計測が可能である、などの特徴を有する。

以下、ＤＦＤの原理について簡単に説明する。

撮影画像をＩ（ｘ，ｙ）、レンズによるぼけのない状態を表す原画像をＳ（ｘ，ｙ）とすると、両者の間には式１のような関係が成立する。

ここで、ｈは光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下ＰＳＦと表記）、ｄは撮影画像上または原画像上の位置（ｘ，ｙ）における被写体距離を表す。ｈは、上記位置（ｘ，ｙ）と被写体距離ｄとに依存する関数である。また、式中の＊は畳み込み演算を表す。

式１はＳとｄを未知数として含んでいる。ここで、フォーカス位置を変えた同一のシーンの画像Ｉ_２を撮影する。フォーカス位置を変えることは同一の被写体距離に対するＰＳＦが変化することに相当する。即ち、式２が成立する。

ここで、ｈ’はｈとは異なるフォーカス位置におけるＰＳＦを表す。これらの式を解くことで、シーンの原画像Ｓと被写体距離ｄを求めることができる。特許文献１をはじめとして、原画像Ｓと被写体距離ｄの様々な解法が提案されている。

特許第２９６３９９０号公報 特開昭６２−２２２１１７号公報 特開２００６−３２９８９７号公報

式１および式２より、異なるフォーカス位置におけるＰＳＦの変化が小さいほど撮影画像ＩとＩ_２の差が小さくなるため、被写体距離ｄを求めることは困難であることが分かる。即ち、被写界深度が深いほどＤＦＤによる距離計測は困難になる。特にレンズの焦点距離が短い場合は絞りを最大限に開放したとしても被写界深度が十分に浅くならず、ＤＦＤの適用が本質的に困難であるといえる。

本発明は上記課題を解決するためになされたものであり、焦点距離が短いなど被写界深度が深い条件下でも高い距離計測精度を有する距離計測装置および距離計測方法を提供することを目的とする。

本発明のある局面に係る距離計測装置は、画像を撮像する撮像素子と、被写体像を回折させる回折光学素子と、前記撮像素子に前記回折光学素子で回折された前記被写体像を結像させる光学系と、前記撮像素子が撮像した画像から被写体までの距離を計測する距離計測部とを備え、前記距離計測部は、前記撮像素子が撮像した画像上での、前記回折光学素子によって生じる前記被写体像の回折像の間隔に基づいて前記被写体までの距離を計測する。

この構成によれば、ぼけの大きさだけではなく回折によって生じる回折像の間隔に基づいて被写体距離を求める。回折像の間隔は、被写界深度には影響されず、被写体距離が短いほど狭く、被写体距離が長いほど広い性質を有する。このため、被写界深度が深くぼけが生じない条件であっても単一の視点で撮影された画像から精度よく被写体距離を求めることができる。

また、上述の距離計測装置は、さらに、特定の波長帯域の光線をそれぞれ透過させる光学フィルタを備えていても良い。

回折の影響は波長によって異なるため、光学フィルタを用いない場合には、一点からからの光が様々な回折の影響を受け、画像上では一点に集まらず、ぼけた画像になる。よって、ぼけを除去するための処理が必要となる。この構成によれば、特定の波長のみを利用することで、ぼけのない画像を得ることができるため、ぼけを除去するための処理が不要であり、被写体距離の算出処理を簡略化することができる。

また、前記回折光学素子は、曲面形状を有するとしてもよい。好ましくは、前記曲面は球面であり、前記曲面の曲率半径は前記光学系の絞りと前記回折光学素子との間の前記光軸上での距離に略等しい。

この構成によれば、画角が変わっても回折の次数の正負による回折像の位置の偏りが生じないため、被写体距離の算出の際に画角を考慮する必要がなくなり、処理を簡略化することができる。

また、前記曲面は非球面であるとしてもよい。

この構成によれば、画角が変わっても回折の次数の正負による回折像の位置の偏りが生じず、かつ回折像の間隔も画角に対して一定にすることができるため、被写体距離の算出処理を簡略化することができる。

また、上述の距離計測装置は、さらに、特定の波長帯域の光を前記被写体に投射する照明装置を備えていても良い。

特定の波長帯域の光を被写体に投射することにより、光学フィルタを用いる場合と同様に、特定の波長帯域の画像を撮像することができる。このため、ぼけのない画像を得ることができ、被写体距離の算出処理を簡略化することができる。

なお、本発明は、このような特徴的な処理部を備える距離計測装置として実現することができるだけでなく、距離計測装置に含まれる特徴的な処理部が実行する処理をステップとする距離計測方法として実現することができる。また、距離計測装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは距離計測方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明に係る距離計測装置および距離計測方法によれば、ぼけの大きさではなく回折によって生じる回折像の間隔に基づいて被写体距離を求めるため、被写界深度が深くぼけが生じない条件であっても単一の視点で撮影された画像から精度よく被写体距離を求めることができる。

図１は、本発明の実施の形態１に係る距離計測装置の機能的な構成を示すブロック図である。 図２は、回折光学素子を通して光線が入射する様子を模式的に示す図である。 図３は、回折光学素子を通して光線が入射する際の幾何学的関係を示す図である。 図４は、被写体距離を算出する処理の流れの一例を示すフローチャートである。 図５は、回折画像を撮像するための、アクチュエータによる回折光学素子の移動を説明するための図である。 図６は、参照画像を撮像するための、アクチュエータによる回折光学素子の移動を説明するための図である。 図７Ａは、短い被写体距離のＰＳＦ形状（カーネル形状）を模式的に示す図である。 図７Ｂは、長い被写体距離のＰＳＦ形状（カーネル形状）を模式的に示す図である。 図８は、光軸外の点から回折光学素子を通して光線が入射する様子を模式的に示す図である。 図９Ａは、光軸上におけるＰＳＦ形状（カーネル形状）を模式的に示す図である。 図９Ｂは、光軸外におけるＰＳＦ形状（カーネル形状）を模式的に示す図である。 図１０は、光軸外の点から球面で構成される回折光学素子を通して光線が入射する様子を模式的に示す図である。 図１１は、光学フィルタを用いずに白色の点光源を撮像することにより得られる回折画像の一例を示す図である。 図１２Ａは、青色波長帯域の光学フィルタを用いて白色の点光源を撮像することにより得られる回折画像の一例を示す図である。 図１２Ｂは、緑色波長帯域の光学フィルタを用いて白色の点光源を撮像することにより得られる回折画像の一例を示す図である。 図１２Ｃは、赤色波長帯域の光学フィルタを用いて白色の点光源を撮像することにより得られる回折画像の一例を示す図である。 図１３は、本発明に必須の構成要素を含む距離計測装置の機能的な構成を示すブロック図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は本発明の実施の形態１に係る距離計測装置の機能的な構成を示すブロック図である。

距離計測装置１０は、撮像部１２、フレームメモリ１４、距離計測部１６、および制御部１８を備える。

撮像部１２は、撮像素子２０、回折光学素子２４、光学系２２、光学フィルタ２６、およびアクチュエータ２８を含み、被写体像を撮像して画像を出力する。

撮像素子２０は、画像を撮像し、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などにより構成される。

回折光学素子２４は、被写体像を回折させる。回折光学素子２４の材質は特に限定されるものではないが、光を遮蔽しない透明なガラス等の材質が好ましい。光を遮光しないことにより、光量の低下を防止することが可能である。例えば、回折光学素子２４としては、ガラスに平行な溝を刻み凹凸をつけたもの、屈折率の異なる透明材質を交互に並べたもの等が好ましい。また、回折光学素子２４は、光を遮光する部分と遮光しない部分を交互に並べても作成できるが、この場合には光量が減少してしまう。

光学系２２は、撮像素子２０に回折光学素子２４で回折された被写体像を結像させる。

光学フィルタ２６は、特定の波長帯域の光線を透過させる。

アクチュエータ２８は、回折光学素子２４を光学系２２の光路に対して挿入および退避させる。

回折光学素子２４はアクチュエータ２８によって光路に対して進退可能であり、回折が起きていない状態の画像と回折が起きている状態の画像を切り替えて撮像することが可能となっている。回折光学素子２４は、光学系２２の光軸上であって、かつ光学系２２の絞りよりも被写体に近い位置に配置される。

フレームメモリ１４は、画像をフレーム単位で記憶するためのメモリであり、撮像部１２が出力した画像などを記憶する。

距離計測部１６は、撮像部１２によって撮影された画像に基づいて、被写体距離を算出する処理を行う。つまり、距離計測部１６は、撮像素子２０が撮像した画像上での、回折光学素子２４によって生じる被写体像の回折像の間隔に基づいて被写体までの距離を計測する。

制御部１８は、ＣＰＵ、並びに制御プログラムを格納するＲＯＭおよびＲＡＭなどを含んで構成され、各機能ブロックを制御する。

以下、回折像の間隔に基づいて被写体距離を算出する原理について説明する。

図２は、回折光学素子を通して光線が入射する様子を模式的に示す図である。図２に示す回折光学素子Ｇは、回折光学素子２４に対応し、撮像面Ｉは、撮像素子２０に対応する。図２において、被写体ｏとピンホールＰの間に回折光学素子Ｇがあるとする。被写体ｏから発せられる光線は回折光学素子Ｇに入射し、回折光学素子Ｇの特性に応じた回折角で屈曲する。屈曲した光線のうち、特定の角度の光線のみがピンホールＰを通過することができ、撮像面Ｉに到達する。回折角は回折の次数によって定義されるため、撮像面Ｉには非回折光である０次光（Ｌ０）、＋１次の回折光（Ｌ１）、および−１次の回折光（Ｌ−１）など、複数の光線が到達する。２次以上の回折光も撮像面Ｉに到達しうるが、図２では簡略化のため図示を省略している。なお、ピンホールＰの位置は、光学系２２における絞りの位置に相当する。

図３は、回折光学素子２４（Ｇ）を通して光線が入射する際の幾何学的関係を示す図である。図３より、撮像面Ｉ上で回折像ができる位置と光軸中心との距離ｄは以下の式３で表される。

ここで、ｆはピンホールから撮像面までの距離、即ち焦点距離を表す。図３より角度βは回折光学素子Ｇからの出射角度に等しいため、被写体ｏから回折光学素子Ｇへの光線の入射角をαとしたとき、回折の公式より以下の式４が成り立つ。

ただし、ｎは回折の次数、λは入射光の波長、Ｄは回折光学素子Ｇの格子間隔を表す。これに加えて、被写体ｏと回折光学素子Ｇとの光軸上での距離ｖ、回折光学素子ＧとピンホールＰとの光軸上での距離ｕとの間に以下の式５が成り立つ。

式４および式５から回折の次数ｎに応じた角度βを求め、求めた角度βから式３より距離ｄを求めることができる。また、式５より角度βは被写体までの距離ｖに応じて決まることから、回折像ができる位置ｄ（撮像面Ｉ上での光軸中心からの距離ｄで定められる回折像ができる位置を位置ｄと記述する）も被写体距離に応じて変化することが分かる。

なお、本発明と同じように回折光学素子を用いた測距の手法が特許文献１に開示されている。また、特許文献２には、レーザー光を透過型回折光学素子に投射し、回折によって分光した光線が被写体に到達したときの光点の間隔に基づいて距離を算出する手法が開示されており、三角測量の原理で被写体距離を算出している。

次に、被写体距離を算出する処理の流れについて説明する。図４は、距離計測装置１０が被写体距離を算出する処理の流れの一例を示すフローチャートである。この処理はあらかじめ定められたｎ段階の被写体距離Ｖ（１）、Ｖ（２）、…、Ｖ（ｎ）のうちから、被写体距離として最も適切なものを算出する処理である。

撮像素子２０は、回折画像Ｉと参照画像Ｉ’を撮影する（ステップＳ１０１、Ｓ１０２）。ここで、回折画像とは光路上に回折光学素子２４を置いた状態の画像を、参照画像とは光路上に回折光学素子２４を置いていない状態の画像を表す。回折画像Ｉを撮像する場合には、図５に示すようにアクチュエータ２８が回折光学素子２４を光路上に移動させる。一方、参照画像Ｉ’を撮像する場合には、図６に示すようにアクチュエータ２８が回折光学素子２４を光路上から退避させる。なお、ステップＳ１０１とＳ１０２は順序が逆であっても構わない。

ここで、回折画像Ｉと参照画像Ｉ’の間には以下の式６で示す関係が成り立つ。

なお、＊は畳み込み演算を表す。ここで、ｈは図７Ａまたは図７Ｂで模式的に示されるような形状のカーネルであり、式３から式５で示す関係から、被写体距離Ｖ（ｉ）（ｉ＝１〜ｎ）が短い場合は図７Ａのように回折光の間隔が狭く、被写体距離Ｖ（ｉ）が長い場合は図７Ｂのように回折光の間隔が広くなる。なお、図７Ａおよび図７Ｂは回折光として０次光と±１次光の３つが存在する場合のカーネルの例を示しているが、実際には撮像面に到達する回折光の次数に応じて点（回折光）の数、および間隔は変化しうる。また、図７Ａおよび図７Ｂは、光学系として、距離によってほとんどぼけの大きさの変化しない光学系を用いた場合を示す。カーネルはシミュレーションにより求められ、例えば、被写体の位置に点光源が存在するとした仮定した場合の理想的な回折画像Ｉに相当する。

制御部１８は、カウンタｉに初期値１を代入し（ステップＳ１０３）、距離計測部１６は、画像（回折画像Ｉまたは参照画像Ｉ’）の画素（ｘ，ｙ）ごとにｉ段階目の被写体距離Ｖ（ｉ）に対する誤差関数Ｃ（ｘ，ｙ，ｉ）の値を算出する（ステップＳ１０４）。誤差関数Ｃ（ｘ，ｙ，ｉ）は以下の式７で表される。

誤差関数Ｃ（ｘ，ｙ，ｉ）の値は、回折がない状態の参照画像Ｉ’（ｘ，ｙ）にｉ段階目の距離Ｖ（ｉ）に対応するカーネルｈ（ｘ，ｙ，ｉ）を畳み込んだものと、実際の回折画像Ｉ（ｘ，ｙ）との差に相当する。被写体ｏが実際にｉ段階目の距離Ｖ（ｉ）に存在する場合にこの差は最小となる。

なお、式７において誤差関数Ｃ（ｘ，ｙ，ｉ）は画素間の差の絶対値を示しているが、Ｌ２ノルムなど距離を表現する任意の形式に基づいて誤差関数Ｃ（ｘ，ｙ，ｉ）を定めることができる。

誤差関数Ｃ（ｘ，ｙ，ｉ）の値を算出した後、制御部１８は、カウンタｉの値がｎに達しているかを判定し（ステップＳ１０５）する。カウンタｉの値がｎに達していない場合には（ステップＳ１０５でＮＯ）、制御部１８は、カウンタｉの値を１つインクリメントする（ステップＳ１０６）。距離計測部１６は、カウンタｉの値がｎに達するまで、誤差関数Ｃ（ｘ，ｙ，ｉ）の値の算出処理（ステップＳ１０４）を繰り返す。

ｎ段階の誤差関数Ｃ（ｘ，ｙ，ｉ）の値をすべて算出した後（ステップＳ１０５でＹＥＳ）、距離計測部１６は、被写体距離を算出する（ステップＳ１０７）。位置（ｘ，ｙ）における被写体距離ｖ（ｘ，ｙ）は以下の式８で表される。

ここで、式９は、関数ｆ（ｉ）の値が最小となるときのｉの値を示す。

即ち、式８によると、誤差関数Ｃ（ｘ，ｙ，ｉ）の値が最小となる段階ｉに対応する距離Ｖ（ｉ）が各位置（ｘ，ｙ）における被写体距離として算出される。

なお、被写体距離Ｖ（ｉ）は、式３から式５に基づいて定められる。例えばｉ段階目の距離Ｖ（ｉ）を、回折像の位置ｄ（ｉ）がｄ（ｉ）＝ｉａ（ａ：任意の定数）で表される値となるときのｖの値とするなどの方法を用いる。定数ａの値は各段階ｉの位置ｄ（ｉ）の回折像が、撮影された画像上で識別可能となる大きさ（例えば撮像素子の画素の大きさ程度）とするのが望ましい。無論これ以外の関係によって被写体距離Ｖ（ｉ）を定めてもよい。例えば、式３から式５は屈折などの回折光学素子２４の厚みや材質による影響を考慮していないため、光学シミュレーションによってこれらを考慮した回折像の位置ｄ（ｉ）を算出し、対応する被写体距離Ｖ（ｉ）を定めてもよい。

なお、式６が式１および式２と同じ形式で表されることから、回折像とＤＦＤにおけるぼけは同じ枠組みで表すことができる。このため、図７Ａまたは図７Ｂで示すようなカーネルをＰＳＦとみなしてＤＦＤの処理を適用することで被写体距離を求めることができる。この場合は既存のＤＦＤ処理アルゴリズムを用いて、被写体距離を求めることができる。

なお、上記の例のようにＤＦＤと同様の枠組みを用いる代わりに、回折画像Ｉから、回折像の間隔を自己相関などから直接算出し、式３から式５を用いて被写体距離を算出してもよい。例えば特許文献３において、透明板に写る二重像の間隔を、二重像間の変位拘束に沿って自己相関が極大値を取る位置を探索することで求める手法が開示されており、このような手法を用いて被写体距離を算出してもよい。

本発明の実施の形態１によると、従来のＤＦＤがぼけの大きさの変化に基づいて被写体距離を算出していたのに対して、回折像の間隔に基づいて被写体距離を算出することができる。ここで、被写体距離がある一定量変化した際のぼけの大きさの変化量を考えると、この変化量はおよそ光学系の開口の大きさに比例するため、焦点距離が短くなるほど変化量は小さくなる。これに対して、式３から式５より、入射光の波長λが一定の場合、回折像の間隔ｄは焦点距離ｆ（ピンホールから撮像面までの距離）、ひいては開口の大きさによらず、回折光学素子ＧとピンホールＰとの間の距離ｕ、格子間隔Ｄ、および回折の次数ｎによって決まる。したがって、焦点距離が短くなっても回折像の間隔ｄの変化量を大きくすることが可能であり、その結果として被写体距離の計測精度を高めることができる。

（実施の形態２）
本発明の実施の形態２に係る距離計測装置は、回折像の間隔を回折方向に対して均等に保つことができる構成を有する。具体的には回折光学素子２４が曲面形状を有する。その他の構成要素は実施の形態１と同じである。このような構成を取る理由について、以下に説明する。

図２および図３においては、被写体ｏが光軸上にある場合を考えている。これに対して、図８のように被写体ｏが画角θの位置にある場合を考える。図２および図３の場合と同様に、被写体ｏから発せされた光線のうち、特定の角度で回折光学素子Ｇ（２４）に入射する光線が回折によって屈曲した後ピンホールＰを通って撮像面Ｉに入射する。このとき撮像面Ｉ上で回折像ができる位置と光軸中心との距離ｄ’は以下の式１０で表される。

また、回折光の入射角βと、画角θと、被写体ｏから回折光学素子Ｇへの光線の入射角αとの間に以下の式１１が成り立つ。

式１０、式１１、および回折の公式である式４からｄ’を求めることができる。

ここで、＋１次光、０次光、−１次光の撮像面上の位置をそれぞれｄ’（＋１）、ｄ’（０）、ｄ’（−１）とすると、画角θが０でない場合にはｄ’（０）からｄ’（＋１）までの距離と、ｄ’（０）からｄ’（−１）までの距離が異なることが式４および式１１から分かる。これを光学シミュレーションによって実際の数値を挙げて示す。なお、以下において、光学シミュレーションはＺＥＭＡＸ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｒｐｏｒａｔｉｏｎ社製の光学シミュレーションソフト“ＺＥＭＡＸ（商品名）”を用いている。

光学系の構成を表１に示す。なお、Ｒ、ｄ、ｎｄ、νｄは順に各面の曲率半径（単位：ｍｍ）、面間隔（単位：ｍｍ）、ｄ線の屈折率、アッベ数を表す。ただし、面番号０は被写体の位置を示している。

なお、表１において面タイプが“ｄｉｆｆｒａｃｔｉｏｎ”の面は回折面を表し、“ｐａｒａｘｉａｌ”の面は収差を持たない理想レンズを表す。面タイプが空欄の面は球面を表す。

ここで、回折面の格子間隔を２μｍ、理想レンズの焦点距離を５ｍｍ、光線の波長を５５０ｎｍとする。以上の条件において、画角θを０°、１０°、２０°とした時のｄ’（＋１）、ｄ’（０）、ｄ’（−１）の値をそれぞれ求めると、以下の表２のようになる。なお、ｄ’の単位はすべてｍｍである。また、ｘｅｙはｘ×１０^ｙを示す。

画角が０°の場合は図９Ａで模式的に示すように０次光を中心に＋１次光と−１次光が等間隔に位置するが、画角が大きくなるにつれて図９Ｂに示すように回折光の間隔が不均一になる。このため、被写体距離の算出において、式７で誤差関数Ｃ（ｘ，ｙ，ｉ）の値を求める際に畳み込むカーネルｈ（ｘ，ｙ，ｉ）として、同じｉ番目の距離であっても画像の位置（ｘ，ｙ）ごとに異なるカーネルを用意する必要がある。処理を単純化するためにはカーネルは画像全体で均一であることが望ましい。

このような不均一性は回折光学素子が平面であり、画角によって回折光学素子への光線の入射角が異なることに起因する。図１０のように回折光学素子Ｇを曲面にし、かつその曲率半径を光軸上での回折面から絞り面までの距離と略等しくする。これにより、ピンホールＰの中心へ向かう光線が常に回折光学素子Ｇに対してほぼ垂直に入射する。このため、入射角を略一定に保つことができるようになる。回折面が曲面である場合の回折像の位置は以下のようにして求める。

図１０より、角度α、β、θの間には以下の式１２で示す関係が成り立つ。

さらに、回折面の曲率半径が回折面から絞り面までの距離に等しいので、回折後の出射角は回折面に垂直となるため、回折の公式より式１３が成り立つ。

ただし、ｎは回折の次数、λは入射光の波長、Ｄは回折光学素子Ｇの格子間隔を表す。式１２および式１３からαを消去することで、画角θに応じた角度βを求めることができ、式３より回折像の位置ｄが求められる。

回折光学素子Ｇを曲面にする効果を表３のような光学系２２を例に説明する。ただし、格子間隔や理想レンズの焦点距離などのパラメータは表１の例と同一とする。ここで、第１面および第２面の曲率半径は回折面から絞り面までの距離と同一としている。画角θを０°、１０°、２０°とした時のｄ’（＋１）、ｄ’（０）、ｄ’（−１）の値をそれぞれ求めると、以下の表４のようになる。

表４より、いずれの画角においてもｄ’（＋１）−ｄ’（０）の値とｄ’（０）−ｄ’（−１）の値がほぼ等しくなっており、画角による偏りが解消されている。

回折面が曲面の場合に被写体距離を算出する処理の流れは実施の形態１で例示したものとほぼ同様である。違いは画像の各画素に対してあらかじめ定められたｎ段階の被写体距離Ｖ（ｘ，ｙ，１）、Ｖ（ｘ，ｙ，２）、…、Ｖ（ｘ，ｙ，ｎ）から、式８の代わりに以下の式１４に従って被写体距離を算出する点である。

式８ではＶは画像全体で１つの系列を利用していたが、式１４ではＶが各画素で異なる系列が設定されている。

回折面が平面である場合は画角に応じて回折像の間隔が回折の次数の正負によって異なっていた。しかし、本発明の実施の形態２によると、回折面を曲面にすることで回折面に対して光線が垂直に入射するため、回折像の間隔の不均一性が解消される。このため、被写体距離算出処理を単純化することができる。

（変形例）
本変形例においては、回折光学素子２４が非球面の曲面形状を有する。非球面形状を用いることで光線の到達位置を細かく制御することが可能となり、回折像の間隔を回折の次数の正負に対して均等に保ち、かつ画角に対して一定にすることができる。具体的な非球面の形状は、任意の画角および波長において、回折像の間隔が回折の次数の正負に対して均等となり、かつ画角に対して一定となるように、光学シミュレーションによる最適化を行うことで決定する。

このような光学系の例を表５に示す。なお、回折面の格子間隔を２μｍ、理想レンズの焦点距離を５ｍｍ、光線の波長を５５０ｎｍとし、最適化は画角θを０°、１０°、２０°の３点を評価した。

面タイプが“ａｓｐｈｅｒｉｃａｌ”の面は非球面を表す。非球面形状は以下の式１５で表される。

ここで、ｃ＝１／Ｒであり、ｋは円錐係数、Ａ４、Ａ６、Ａ８、Ａ１０、Ａ１２はそれぞれ４次、６次、８次、１０次、１２次の非球面係数である。表５において、第２面の円錐係数および非球面係数を表６に示す。また、ｒは非球面形状の曲率であり、Ｚは、絞り面から非球面形状までの光軸方向の距離である。

表５および表６の光学系において、画角θを０°、１０°、２０°とした時のｄ’（＋１）、ｄ’（０）、ｄ’（−１）の値をそれぞれ求めると、表７のようになる。

同じ光学系で被写体距離を１０００ｍｍにした場合の回折像の位置を表８に示す。

いずれの被写体距離においても回折像の間隔は回折の次数の正負に対してほぼ均一であり、かつ画角に対してほぼ一定の間隔となっている。

以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的およびそれに付随する目的を達成するための各種形態においても実施可能であり、例えば以下であってもよい。

例えば、実施の形態１、２において、回折像の位置を算出する際の光学系はピンホールとしているが、単一のレンズまたは複数のレンズ群からなる結像光学系であってもよい。この場合はレンズの屈折による影響を受けるため回折像の位置はピンホールの場合とは異なるが、やはり被写体距離に応じて回折像の位置が変化するため、ピンホールの場合と同じように被写体距離を算出することができる。つまり、光学系の絞りの位置がピンホールの位置であると考えることにより、同じように被写体距離を算出することができる。

例えば、実施の形態１、２において、光学フィルタ２６が複数の波長帯域の光線をそれぞれ通過させる特性を有し、各通過波長帯域の画像から被写体距離を算出する処理を行ってもよい。

図１１は、上述の光学フィルタ２６を用いずに白色の点光源を撮像することにより得られる回折画像の一例を示す図である。式４より回折光の出射角は波長帯域ごとに異なることが分かる。このため、図１１では、回折像がぼけた画像となっていることが分かる。図１２Ａ〜図１２Ｃは、上述の光学フィルタ２６を用いて図１１と同じ白色の点光源を波長帯域ごとに撮像した画像を示しており、図１２Ａ、図１２Ｂおよび図１２Ｃは、それぞれ、青色波長帯域、緑色波長帯域および赤色波長帯域の回折画像を示している。各波長帯域の回折画像では回折像のぼけは生じていない。上記複数の回折画像からそれぞれ得られる距離計測結果を統合することで、画像のノイズによる被写体距離算出の誤差が低減され、より精度の高い距離の測定が可能となる。例えば、複数の回折画像を用いて計測された同一画素位置における複数の距離の平均を、被写体距離としても良い。

光学フィルタ２６としては、光学系の前面に配置されるカラーフィルタを用いることができる。カラーフィルタを用いることにより、特定の波長の光を透過させることができる。例えば、赤色波長帯域、青色波長帯域および緑色波長帯域の光をそれぞれ透過させる３枚のカラーフィルタを切り替えて使用することにより、３波長帯域の光をそれぞれ用いて距離を測定することができる。この方法によると同一の被写体について３つの距離が求められるため、３つの距離から演算により１つの距離を求めてもよい。例えば、３つの距離の平均値を被写体の距離としてもよい。

なお、カラーフィルタの代わりに特定の波長帯域の光を出射する照明装置を用いても良い。このような照明装置が特定の波長帯域の照明光を被写体に投射することにより、特定の波長帯域の回折画像を撮像するようにしても良い。複数の波長帯域の回折画像を撮像するためには、波長を切替ながら照明光を被写体に投影して回折画像を撮像するようにすれば良い。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置を構成する構成要素の一部または全部は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成することができる。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

なお、図１３に本発明に必須の構成要素を備える距離計測装置のブロック図を示す。距離計測装置１０Ａは、撮像部１２Ａと、距離計測部１６とを備える。撮像部１２Ａは、撮像素子２０と、光学系２２と、回折光学素子２４とを備える。つまり、上述した光学フィルタ２６、アクチュエータ２８、フレームメモリ１４、制御部１８は必ずしも必須の構成要素ではないが、距離計測装置に備えられれているのが望ましい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明に係る距離計測装置は単一の視点から撮影された画像を元に距離計測を行うことができるため，撮像機器全般に適用可能である。特にぼけの代わりに回折像の位置を利用して距離を計測する原理上、焦点距離を短くする必要がある小型の撮像素子を用いる撮像機器に最適である。

１０ 距離計測装置
１２ 撮像部
１４ フレームメモリ
１６ 距離計測部
１８ 制御部
２０ 撮像素子
２２ 光学系
２４ 回折光学素子
２６ 光学フィルタ
２８ アクチュエータ

Claims (12)

1. 画像を撮像する撮像素子と、
   被写体像を回折させ、曲面形状を有する回折光学素子と、
   前記撮像素子に前記回折光学素子で回折された前記被写体像を結像させる光学系と、
   前記撮像素子が撮像した画像から被写体までの距離を計測する距離計測部とを備え、
   前記距離計測部は、所定の色に対応する波長帯域の光線を用いることにより、前記撮像素子が撮像した画像上での、前記回折光学素子によって生じる前記被写体像の回折像の間隔に基づいて前記被写体までの距離を計測する
   距離計測装置。
2. 前記回折光学素子は、前記光学系の光軸上であって、かつ前記光学系の絞りよりも被写体に近い位置に配置される
   請求項１に記載の距離計測装置。
3. 前記回折光学素子は前記光学系における光路に対して進退可能となる構造を有し、
   前記距離計測部は、前記回折光学素子が前記光路上にない状態で前記撮像素子が撮像した参照画像と、前記回折光学素子が前記光路上にある状態で前記撮像素子が撮像した回折画像とを用いて、前記被写体までの距離を計測する
   請求項１または２に記載の距離計測装置。
4. 前記距離計測部は、前記被写体までの距離の各候補について予め定められたカーネルを前記参照画像に畳み込んだ結果の画像と前記回折画像との差が最小となるときの候補を、前記被写体までの距離と決定する
   請求項３に記載の距離計測装置。
5. さらに、
   前記所定の色に対応する波長帯域の光線をそれぞれ透過させる光学フィルタを備える
   請求項１〜４のいずれか１項に記載の距離計測装置。
6. 前記光学フィルタは、複数の前記所定の色に対応する波長帯域の光線を透過させる特性を有し、
   前記距離計測部は、前記複数の所定の色に対応する波長帯域に対応する複数の画像を用いて前記被写体までの距離を計測する
   請求項５に記載の距離計測装置。
7. 前記曲面は球面であり、前記曲面の曲率半径は前記光学系の絞りと前記回折光学素子との間の前記光軸上での距離に略等しい
   請求項２に記載の距離計測装置。
8. 前記曲面は非球面である
   請求項１に記載の距離計測装置。
9. さらに、
   前記所定の色に対応する波長帯域の光を前記被写体に投射する照明装置を備える
   請求項１〜４のいずれか１項に記載の距離計測装置。
10. 画像を撮像する撮像素子と、
    被写体像を回折させ、曲面形状を有する回折光学素子と、
    前記撮像素子に前記回折光学素子で回折された前記被写体像を結像させる光学系とを備える距離計測装置を用いた距離計測方法であって、
    所定の色に対応する波長帯域の光線を用いることにより、
    前記撮像素子が撮像した画像上での、前記回折光学素子によって生じる前記被写体像の回折像の間隔に基づいて被写体までの距離を計測する
    距離計測方法。
11. 請求項１０に記載の距離計測方法をコンピュータに実行させるためのプログラム。
12. 画像を撮像する撮像素子と、
    被写体像を回折させ、曲面形状を有する回折光学素子と、
    前記撮像素子に前記回折光学素子で回折された前記被写体像を結像させる光学系とを備える距離計測装置を用いて距離を計測する集積回路であって、
    所定の色に対応する波長帯域の光線を用いることにより、前記撮像素子が撮像した画像上での、前記回折光学素子によって生じる前記被写体像の回折像の間隔に基づいて被写体までの距離を計測する距離計測部を備える
    集積回路。

Images