JP5873430B2 - 撮像装置、撮像方法、プログラムおよび集積回路 - Google Patents

Description

本発明は単一の視点から撮像された複数枚の画像を用いて、シーンの奥行きを計測する撮像装置に関する。

従来、３次元シーンの奥行き、即ち撮像装置から各被写体までの距離（以下、「被写体距離」とする。）を、非接触で計測するための様々な方法が提案されている。それらを大別すると、赤外線、超音波、レーザーなどを照射し、その反射波が戻ってくるまでの時間、反射波の角度などをもとに被写体距離を算出する能動的手法と、被写体の像に基づいて被写体距離を算出する受動的手法とがある。特にカメラなどの撮像装置においては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

受動的手法は、多くの手法が提案されており、受動的手法の一つとしてＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下、「ＤＦＤ」とする。）と呼ばれる手法がある。ＤＦＤでは、被写体距離によって大きさや形状が変化するぼけに基づいて被写体距離を計測する。ＤＦＤには、複数のカメラを必要としない、少数の画像から距離計測が可能である、などの特徴がある。

以下、ＤＦＤの原理について簡単に説明する。

ぼけを含んだ撮像画像（以下、「ぼけ画像」とする。）は、レンズによるぼけのない状態を表す全焦点画像に対して、被写体距離の関数である点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を畳み込んだ画像であると言える。点像分布関数は被写体距離の関数であるため、ＤＦＤでは、ぼけ画像からぼけを検出することによって、被写体距離を求めることができる。ただし、このとき、全焦点画像と被写体距離とは、未知数となる。ぼけ画像一枚に対して、ぼけ画像、全焦点画像、および被写体距離に関する式が一つ成立するため、フォーカス位置の異なるぼけ画像を新たに撮像し、新たな式を得る。つまり、フォーカス位置の異なる複数のぼけ画像に関する上記式を複数得る。このようにして得られた複数の式を解くことによって、被写体距離が算出される。式の獲得の方法や式を解く方法等に関しては、特許文献１、非特許文献１をはじめとして、ＤＦＤに対する様々な提案が存在する。

ＤＦＤは、ぼけ画像に含まれるぼけに対して点像分布関数を利用することにより被写体距離を求める手法である。しかしながら、ＤＦＤでは、被写体距離に対応する像点前後における点像分布関数の形状が類似してしまうため、像点を通過した後の点像分布関数であるのか、像点を通過する前の点像分布関数であるのかが、画像中に含まれるノイズの影響によって曖昧となり、その判別が困難になるという課題が存在する。

この課題に対して、例えばフォーカス位置の異なる画像の枚数をさらに増やすことにより、被写体距離推定の正解率を向上させることができる。また非特許文献１のように、全体が点対称でない形状をした開口を使用することにより、被写体の被写体距離に対応する像点前後における点像分布関数の形状の判別が曖昧になることを解消することができる。

特許第２９６３９９０号公報

Ｃ．Ｚｈｏｕ，Ｓ．Ｌｉｎ ａｎｄ Ｓ．Ｎａｙａｒ， "Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ" Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００９ "Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ"，Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ，Ｓ．Ｋ．Ｎａｙｅｒ，Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００８

被写体の被写体距離に対応する像点前後における点像分布関数の形状の判定の曖昧さに関する課題に対する解決法として、フォーカス位置の異なる画像の枚数を増やす方法、および、全体が点対称でない形状をした開口を使用する方法を挙げた。しかし、前者は画像枚数を増やした分、撮像時間が増加するという課題がある。また、後者は開口の一部を遮光してしまうために、光量が減少し、被写体距離の推定精度が低下するという課題がある。

そこで、本発明は、このような状況に鑑みて為されたものであり、露出する光量を低下させることなく、被写体の被写体距離に対応する像点前後における点像分布関数の判別の曖昧さを解消し、少ない枚数の撮像画像から被写体距離を推定する撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の一形態にかかる撮像装置は、画像を撮像する撮像素子と、前記撮像素子に被写体像を結像させるための光学系と、複屈折の効果を有する光学素子と、撮像された前記画像と、被写体の被写体距離に対応する像点の前後において前記光学素子により形状が変化された点像分布関数であって、前記光学素子を透過した異常光線を含む光線の点像分布関数とによって、前記撮像素子から前記被写体までの距離を計測する距離計測部と、を備え、前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測する。

本構成によると、複屈折の効果を有する光学素子が作用することにより被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にすることができる。これにより、被写体の被写体距離に対応する像点前後における点像分布関数の判別の曖昧さを解消した上で、少ない枚数の撮像画像から被写体距離の推定を行うことができる。また複屈折物質は、点対称でない開口を用いる方法と比較して、光を遮蔽する必要がないため、光量の低下を抑えることができる。

また、複屈折の効果を有する光学素子は、（特に複屈折物質が平行板で、光学系がテレセントリック光学系であれば、）他の光学素子とは異なり主に非点収差だけに影響を与えるため、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にしても、他の収差に与える影響は小さい。したがって光学系の設計を改めて行う必要がない。つまり、現状の装置に挿入することと、点像分布関数の処理を行う装置を追加するのみで実現できる。

ここで、前記光学素子の光学軸の方向が前記光学系の光軸と非平行であるとすることが好ましい。

ここで、前記光学素子は、前記光学系の光軸上において、前記撮像素子と前記光学系との間に配置され、前記光学系の光軸と交わる前記光学素子の平面は前記光学系の光軸に対して垂直となるとすることが好ましい。

ここで、さらに、前記光学素子を、前記光学系の光軸に対して挿入または退避させることにより、前記光学系の光軸上において前記複屈折の効果をオンオフする光学素子移動部を、備え、前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測するとすることが好ましい。

ここで、前記光学素子は、電気的または磁気的に複屈折の効果をオンオフでき、前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて前記被写体までの距離を計測するとすることが好ましい。

ここで、さらに、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、参照画像を生成する参照画像生成部を備え、前記距離計測部は、前記光学素子を通して撮像した画像と、前記参照画像を用いて、前記点像分布関数を推定し、前記被写体までの距離を計測するとすることが好ましい。

ここで、前記参照画像生成部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、全焦点画像を前記参照画像として生成するとすることが好ましい。

ここで、前記光学系は、像側テレセントリック性の光学特性を有するとすることが好ましい。

ここで、さらに、光線を複数の光路に分離する光線分離部を、備え、前記撮像素子は、複数あり、それぞれが前記光線分離部によって分離される複数の光路に対応して前記撮像対象を撮像し、前記光学素子は、前記光線分離部によって分離される複数の光路の内の少なくとも一つの光路上に配置されるとすることもできる。

なお、本発明は、このような撮像装置として実現することができるだけでなく、撮像装置が備える特徴的な構成要素の動作をステップとする撮像方法として実現することができる。また、撮像方法をコンピュータに実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、各処理部の処理を行う集積回路として実現することもできる。

本発明の撮像装置によれば、少なくとも二枚の画像から、画像中に含まれる点像分布関数の形状を算出することにより、安定かつ高精度に被写体距離を求めることができる。

図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。 図２は、複屈折物質を透過する光線の様子を示す図である。 図３は、本発明の実施の形態１における撮像装置の構成要素の配置を示す図である。 図４は、複屈折物質によって被写体の被写体距離に対応する像点前後における点像分布関数の形状が変化する様子を示す図である。 図５は、（ａ−１）は複屈折物質を使用した場合の、図４中の位置（ａ）における異常光線の点像分布関数の形状を示す図、（ｂ−１）は複屈折物質を使用した場合の、図４中の位置（ｂ）における異常光線の点像分布関数を示す図、（ａ−２）は複屈折物質を使用しない場合の、図４中の位置（ａ）における点像分布関数を示す図、（ｂ−２）は複屈折物質を使用しない場合の、図４中の位置（ｂ）における点像分布関数、を示す図である。 図６は、複屈折物質を用いた場合の異なる被写体位置に対応する点像分布関数を示す図である。 図７は、複屈折物質を用いない場合の異なる被写体位置に対応する点像分布関数を示す図である。 図８は、３次位相版の形状を示す図である。 図９は、本発明の実施の形態１における撮像装置の動作の流れを示す図である。 図１０は、本発明の実施の形態２における撮像装置の構成を示すブロック図である。 図１１は、本発明の実施の形態２における撮像装置の構成要素の配置を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置および接続形態、動作の順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。

撮像装置１０は、光学系１１、複屈折物質１２、アクチュエータ１３、合焦範囲制御部１４、撮像素子１５、画像取得部１６、参照画像生成部１７、および距離計測部１８を備える。

図１において、光学系１１は、被写体像を撮像素子１５に結像させる。撮像素子１５と、光学系１１との間の光路上には、複屈折の効果を有する光学素子である複屈折物質１２が設置される。複屈折物質１２を透過した光線中の特に異常光線の点像分布関数の形状を変化させ、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にする。アクチュエータ１３は、複屈折物質１２を光路に対して挿入および退避させる。アクチュエータ１３が複屈折物質１２を光路に対しての挿入および退避を行うため、撮像装置１０は、複屈折物質１２を透過した被写体像の画像、複屈折物質１２を透過していない被写体像の画像を得ることができる。合焦範囲制御部１４は、光学系１１および撮像素子１５の少なくとも一方を移動させ、合焦位置および被写界深度を制御する。具体的には、光学系１１を特定のパターンで動作させる、あるいは特定の光学素子を切り替える等によって制御を行う。撮像素子１５は、ＣＣＤ、ＣＭＯＳ等から成り、撮像面で受光した光を画素毎に電気信号に変換して出力する。画像取得部１６は、撮像素子１５から複数の画像を取得し、各画像を保持する。参照画像生成部１７は、合焦範囲制御部１４の効果によって得られる、異なる合焦位置および被写界深度を有する複数枚の画像から、光学系によるぼけがない状態を推定した参照画像（全焦点画像）を生成する。距離計測部１８は、任意の距離に合焦したぼけ画像および参照画像生成部１７より得られる参照画像を用い、ＤＦＤの手法に基づいて距離計測を行う。

次に複屈折物質１２により被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にする方法について説明する。

複屈折物質１２は、光学異方性を有する物質で、物質に進入した光線の偏光方向によって、光線を常光線と異常光線に分離する性質をもつ。常光線と異常光線とは、複屈折物質１２に特有の光学軸の方向によって決定される。常光線は、光学軸と入射光線で作る平面に垂直に振動する電場を有する光線であり、異常光線は、当該平面内で振動する電場を有する光線である。なお、光学軸の方向や軸の本数は物質の種類によって異なり、光学軸を一本有する場合、一軸性、二本有する場合を二軸性と表現する。実施の形態１では、複屈折物質１２として一軸性結晶である方解石（Ｃａｌｃｉｔｅ）を用いている。

常光線と異常光線との違いは、複屈折物質１２中を通過する際、常光線は、光の速度が光の伝播方向によらず一定である一方で、異常光線は、光の速度が伝播方向によって異なる、ということである。さらに常光線に対する屈折率ｎｏと、異常光線に対する屈折率ｎｅとは、異なる。この常光線に対する屈折率ｎｏと異常光線に対する屈折率ｎｅとの違い、及び異常光線の光の速度が伝播方向によって異なるという性質から、図２のように、光線が複屈折物質１２に入射すると、常光線と異常光線とで進行方向に差が生じる。このため、複屈折物質１２に入射した光線が複屈折物質１２中で常光線と異常光線とに分裂するという現象が起こる。図２では、光は複屈折物質１２の左側から複屈折物質１２の平面に対して垂直に入射している。

本発明では、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にするために、特に異常光線を利用する。

光学系１１、複屈折物質１２、および撮像素子１５の位置関係は、図３に示す通り光学系１１（レンズ）と撮像素子１５との間に複屈折物質１２が配置される関係となる。つまり、三者は、光学系１１、複屈折物質１２、撮像素子１５の順に光軸上に並んで配置される。複屈折物質１２は、光軸と交わる複屈折物質の平面は全て光軸に対して垂直になるような形状、配置をした平行な板である。なお、この場合の「垂直」とは厳密に垂直でなくともよい。また複屈折物質１２は一軸性であり、光学軸の方向は図３においてｙ方向である。なお、常光線と異常光線とに対する屈折率の関係は、ｎｏ＞ｎｅである。ここで、光学系１１、複屈折物質１２、および撮像素子１５の位置関係を説明したが、上記の位置関係にて効果を奏するためにも、複屈折物質１２は平行板であることが望ましい。平行板であれば主に非点収差への影響しか与えない性質を持たせることができる。ここで述べた平行板とは、光が入射する側である第一の面と光が出射する側である第二の面とが互いに平行である物質である。すなわち、第一の面および第二の面以外の面の角度や形状に関しては限定するものではない。

図３の構成を用いると、被写体の被写体距離に対応する像点前後における異常光線の点像分布関数の形状に差が生じ、被写体の被写体距離に対応する像点の前側ではｙ方向に長い形状となり、被写体の被写体距離に対応する像点の後ろ側ではｘ方向に長い形状となる。図４は、図３の構成における、ｙ−ｚ平面、ｘ−ｚ平面での常光線および異常光線の振る舞いを示した図である。光学軸の方向と、異常光線の伝播方向によって光の速度が異なるという性質から、異常光線はｙ−ｚ平面では常光線よりも強く屈折し、常光線よりも被写体の被写体距離に対応する像点の位置が遠くなる。一方、ｘ−ｚ平面では、異常光線は常光線よりも屈折角が小さくなり、常光線よりも被写体の被写体距離に対応する像点の位置が近くなる。異常光線のみ考えると、ｘ−ｚ平面の光線とｙ−ｚ平面の光線とでは、被写体の被写体距離に対応する像点の位置が異なる。よって、異常光線の点像分布関数の形状は、図４の被写体の被写体距離に対応する像点の前側の（ａ）の位置では、ｙ方向のぼけ方がｘ方向のぼけ方よりも大きいため、図５（ａ−１）に示すようにｙ方向に長い形状になる。一方で、異常光線の点像分布関数の形状は、被写体の被写体距離に対応する像点の後ろ側の（ｂ）の位置では、ｘ方向のぼけ方がｙ方向のぼけ方よりも大きいため、図５（ｂ−１）に示すようにｘ方向に長い形状になる。また図５（ａ−２）、（ｂ−２）は、それぞれ図４の（ａ）、（ｂ）の位置における常光線の点像分布関数である。これらは、複屈折物質１２がない場合の光線の点像分布関数であると言うこともできる。つまり、複屈折物質１２がない場合、被写体の被写体距離に対応する像点の前後で類似した形状（例えばこの場合は円形）をしていることが確認できる。

被写体の被写体距離に対応する像点前後において点像分布関数の形状が異なることによって、距離判別の曖昧さが解消され、被写体距離を一意に推定することが可能となる。以下、図６および図７に基づいて被写体距離の推定を、複屈折物質を用いた場合に有効であることを説明する。なお、図６は、複屈折物質１２を用いた場合の異なる被写体位置に対応する点像分布関数を示す図である。図７は、複屈折物質１２を用いない場合の異なる被写体位置に対応する点像分布関数を示す図である。また、ここで言う「被写体距離」は、上述では撮像装置から被写体までの距離と定義しているが、光学系１１から被写体までの距離であってもよいし、撮像素子１５から被写体までの距離であってもよい。

図６のように複屈折物質１２がある場合に被写体位置（ａ）、被写体位置（ｂ）に対する点像分布関数を考慮したとき、被写体の被写体距離に対応する像点前後において点像分布関数の形状が異なるため、撮像素子１５において結像される、位置（ａ）に対応する点像分布関数の形状と、位置（ｂ）に対応する点像分布関数の形状が互いに異なる。つまり、撮像素子１５において得られた点像分布関数から一意に被写体距離を推定することが可能となる。これに対して、図７においては、複屈折物質１２がないため、位置（ａ）、（ｂ）に対応する点像分布関数が類似した形状をしてしまうため、得られた点像分布関数が位置（ａ）に対応するのか位置（ｂ）に対応するのか、ノイズによって曖昧となり、一意に被写体距離を推定することが難くなる。つまり、図６のように複屈折物質１２がある場合の方が、図７のような複屈折物質１２がない場合よりも、撮像素子１５によって取得される点像分布関数が被写体の被写体距離に対応する像点の前後のいずれかであることが明確になるため、一意に被写体距離を推定することが容易となり、この点で有効である。なお図５〜図７の点像分布関数の計算には、ＺＥＭＡＸ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｒｐｏｒａｔｉｏｎ社製の光学シミュレーションソフト“ＺＥＭＡＸ（商品名）”を用いている。

実際には、図３の構成では、常光線と異常光線が同時に検出される。ただし、異常光線を含んでいるため、被写体の被写体距離に対応する像点前後における点像分布関数の形状が異なる、ということに変わりはない。

次に参照画像取得方法について説明する。

実施の形態１の撮像装置１０では、光学系１１によるぼけがない参照画像（全焦点画像）を用いる。光学系１１によるぼけがない画像は、被写界深度の深い画像ともいうことができる。被写界深度を深くするには、光学系の絞りを絞ることによって容易に実現できる。ただしこの方法では、撮像素子１５が受光する光量が低下してしまうため、これに対して、絞りを絞ることなく被写界深度を深くする手法が複数提案されている。この手法の一つに、被写界深度拡張（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ、以下ＥＤｏＦと表記）と称される手法がある。以下、ＥＤｏＦの具体的な手法について説明する。

最も単純なＥＤｏＦの手法は、合焦位置を少しずつずらしながら複数の画像を撮像し、それらの画像から合焦している部分を抜き出して合成する手法である。

これに対して、露光中に合焦位置を変化させて、ぼけの含まれない画像を生成する手法が、非特許文献２に開示されている。

具体的には、露光中に撮像素子またはレンズを光軸方向に動かすと、点像分布関数が被写体距離によらずほぼ一定となり、均一にぼけた画像を得ることができる。得られたぼけ画像に対して、被写体距離に影響されない不変な点像分布関数を用いてデコンボリューションを行うと、画像全体でぼけのない画像を得ることができる。

一方、特殊な光学素子を用いたＥＤｏＦの手法も提案されている。例えば３次位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｍａｓｋ）と呼ばれる光学素子を使用する方法である。３次元位相板の一例として、その形状を図８に示す。このような形状の光学素子を光学系の絞り付近に組み込むと、被写体距離によらずほぼ一定のぼけを有する画像が得られる。非特許文献１と同様に、被写体距離に影響されない不変な点像分布関数を用いてデコンボリューションを行うと、画像全体でぼけのない画像を得ることができる。この他にも、多焦点レンズを用いる方法などが挙げられる。

なお以下では被写界深度を拡張して参照画像を得る手法として、露光時間中に合焦位置を変化させる方法を用いるものとして説明を行う。

次に、被写体距離を算出する処理の流れについて説明する。図９は、被写体距離を算出する処理の流れの一例を示すフローチャートである。この処理は、あらかじめ決められたｎ段階の被写体距離ｄ１、ｄ２、…、ｄｎのうち、対象となる被写体が撮像された画像から被写体距離がどの距離に一番近いかを算出する処理である。

まず、複屈折物質を透過して得られる被写体の画像Ｉと参照画像Ｉ’とを撮像して、取得する（ステップＳ１０１、Ｓ１０２）。なお、ステップＳ１０１およびＳ１０２は順序が逆であっても構わない。ただし、ここで取得される参照画像は、複屈折物質１２を透過していない被写体像を撮像した画像である。

ここで、画像Ｉと参照画像Ｉ’との間には以下の数１で示す関係が成り立つ。

ここで、ｈは画像中の位置（ｘ，ｙ）における点像分布関数を、ｄ（ｘ，ｙ）は位置（ｘ，ｙ）における被写体距離を表す。また、式中の＊は畳み込み演算を表す。点像分布関数は被写体距離によって異なるため、異なる複数の被写体距離に被写体が存在する場合、画像の位置ごとに被写体距離が異なる点像分布関数がぼけのない画像に畳み込まれた画像が画像Ｉとして得られる。

次に、カウンタｉに初期値１を代入し（ステップ１０３）、画像の画素ごとにｉ段階目の被写体距離に対する誤差関数Ｃ（ｘ，ｙ，ｄｉ）を算出する（ステップＳ１０４）。誤差関数は以下の数２で表される。

ここでｈ（ｘ、ｙ、ｄｉ）は被写体距離ｄｉに対応する点像分布関数を表す。被写体距離ｄｉ（ｉ＝１〜ｎ：ｎは２以上の自然数）に対応する点像分布関数は、撮像装置１０の例えばメモリなどに予め記憶されている。式２は、ぼけのない参照画像Ｉ’にｉ段階目の被写体距離ｄｉに対応する点像分布関数ｈ（ｘ，ｙ，ｄｉ）を畳み込んだものと、実際の撮像画像Ｉとの差を取ることに相当する。撮像された被写体が実際にｉ段階目の被写体距離に存在する場合に、この差である誤差関数Ｃ（ｘ，ｙ，ｄｉ）は最小となる。

なお、式２において誤差関数Ｃ（ｘ，ｙ，ｄｉ）は、各画素間のｉ段階目の被写体距離ｄｉに対応する点像分布関数ｈ（ｘ，ｙ，ｄｉ）をぼけのない画像に畳み込んだものと、実際の撮像画像Ｉとの差の絶対値であるが、Ｌ２ノルム等距離を表現する任意の形式に基づいて誤差関数を定めることもできる。

誤差関数を算出した後、カウンタｉの値がｎに達しているのかを判定し（ステップＳ１０５）、達していない場合はカウンタｉの値を１大きくし(ステップＳ１０６)、カウンタｉの値がｎに達するまで繰り返す。

１段階からｎ段階までの誤差関数を全て算出した後、被写体距離を算出する（ステップＳ１０７）。位置（ｘ、ｙ）における被写体距離ｄ（ｘ、ｙ）は以下の式３で表される。

実際には撮像画像Ｉに含まれるノイズの影響を低減するため、画像を複数のブロックに区切ってブロック内での誤差関数の総和を求め、誤差関数が最小となる被写体距離をそのブロック全体において撮像された被写体の被写体距離とするなどの処理を行うことによって、より安定に距離計測を行うことができる。

かかる構成によれば、被写体の被写体距離に対応する像点前後における点像分布関数の形状が異なるために、被写体距離の推定を一意に行うことが可能となる。

本実施の形態において、複屈折物質１２の光学軸の方向を図３において上向きとしたが、光学軸の向きは、上向きとは限らず任意の向きでよく、任意の向きであっても被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なる形状とすることができる。光学軸の方向を変化させると、得られる点像分布関数の形状も変化する。光学軸がどの方向を向いていても、常光線の被写体の被写体距離に対応する像点と異常光線の被写体の被写体距離に対応する像点との位置は異なるが、光学軸と光軸とが平行である場合のみ、被写体の被写体距離に対応する像点前後における点像分布関数の形状の違いが小さくなる。よって、複屈折物質１２の光学軸の方向と光軸とが非平行となるように、複屈折物質１２を設置することが望ましい。

また、本実施の形態では、複屈折物質１２として、一軸性結晶である方解石（Ｃａｌｃｉｔｅ）を用いていると記載したが、その他の複屈折の効果を有する物質を用いてもよい。光学軸に関しては、方向だけでなく、軸の数も点状分布関数の形状を制御する要素とすることができ、一軸性の複屈折物質だけでなく、二軸性のものでも効果が得られる。一軸性、二軸性、もしくはその両方の複屈折物質を複数並べて、変化の幅を広げることもできる。さらに、複屈折物質の厚み、種類によっても、得られる点像分布関数の形状を被写体の被写体距離に対応する像点前後において変化させることができる。

なお、本実施の形態において、複屈折物質１２を透過した被写体像と透過していない被写体像の画像の取得は、アクチュエータによる複屈折物質の移動によって実現するとしたが、他にも方法は存在し、総じて物理的駆動による複屈折物質自体の移動で光路上に出し入れする方法や、複屈折の効果を制御できるような光学素子を使用する方法によって実現できる。

前者では、アクチュエータによる直線移動や複屈折物質の板を光軸と垂直にさせたまま回転させ、光路上に複屈折物質がある場合とない場合を作り出す方法などが挙げられる。後者では、例えば電気光学効果のような電気により制御を行うことができる素子や、磁気によって制御を行うことができる素子等が挙げられる。これらの場合、電圧や磁界の印加の有無の切り替えにより、複屈折の効果の有無を制御することができる。また、複屈折物質ではなくて、複屈折物質の効果を電気的および磁気的に制御できる例えば液晶などを採用しても良い。

複屈折物質の位置も図３のものだけでなく、任意の位置で、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状とする効果が得られる。ただし、図３のように撮像素子の直前に配置すると、得られる効果は大きくなるため好ましい。

なお、光学系１１は、全ての像高で点像分布関数の形状が同一となる光学系が望ましく、特に、像側テレセントリックの光学系であることが望ましい。像側テレセントリックの光学系とは、像側で、全画角において主光線と光軸とが平行となる光学系である。図３の構成において、光学系１１が像側テレセントリック光学系であれば、複屈折物質１２を光路上に配置しても、全ての像高において点像分布関数の形状が同一となる。つまり、全ての像高において点状分布関数の形状が同一となるという性質を光学系がもっていれば、複屈折物質１２を光路上に配置してもその性質を保存することができる。このため、その場合の複屈折物質を含めた光学系の再設計は不要となる。全ての像高において点像分布関数の形状が同一となる性質をもつならば、測距の演算に用いる点像分布関数は一つでよく、演算にかかるコストを抑えることができる。

（実施の形態２）
本発明の実施の形態２にかかる撮像装置１９は、常光線と異常光線とを分離して、それぞれの光線のみの画像を取得する構成を有する。図１０は、本発明の実施の形態２における撮像装置１９の構成を示すブロック図である。図１０において、図１の撮像装置１０と同じ構成要素については同じ符号を用い、一部説明を省略する。撮像装置１９は、光学系１１、光線分離部２０、複屈折物質１２、合焦範囲制御部１４、撮像素子Ａ２１、撮像素子Ｂ２２、画像取得部Ａ２３、画像取得部Ｂ２４、参照画像生成部１７、および距離計測部１８を備える。

図１０において、光学系１１は、被写体像を撮像素子Ａ２１と撮像素子Ｂ２２に結像させる。光線分離部２０は、任意の光量比で光線を空間的に分離する。撮像素子Ａ２１、および撮像素子Ｂ２２は、ＣＣＤ、ＣＭＯＳ等から成り、撮像面で受光した光を画素毎に電気信号に変換して出力する。また、光線分離部２０で分離された光線の一方の光線は、複屈折物質１２によって、点像分布関数の形状が変化し、撮像素子Ａ２１によって受光される。撮像素子Ｂ２２は、複屈折物質１２を透過しておらず、複屈折物質１２による効果を受けていない、光線分離部２０で分離された他方の光線を受光する。画像取得部Ａ２３および画像取得部Ｂ２４は、それぞれ撮像素子Ａ２１および撮像素子Ｂ２２から画像を取得し、取得した画像を保存する。

具体的には図１１のような構成をとり、複屈折物質１２によって、被写体の被写体距離に対応する像点前後における点像分布関数の形状が異なるぼけ画像は撮像素子Ａ２１より得られる。一方で、複屈折物質１２を通過しない光線は、実施の形態１と同様に合焦位置および被写界深度が合焦範囲制御部１４によって制御されつつ撮像素子Ｂ２２により撮像される。そして、参照画像生成部１７は、撮像素子Ｂ２２により取得された画像に基づいて参照画像を生成する。撮像素子Ａ２１によって得られたぼけ画像と、撮像素子Ｂ２２が撮像した画像から生成された参照画像とは、図９と同様の処理が行われることにより、被写体距離の算出に利用される。実施の形態２において、撮像素子Ａ２１より得られるぼけ画像、参照画像生成部１７より得られる参照画像は、それぞれ図９における画像Ｉ、参照画像Ｉ’に対応する。さらに、式１〜式３と同じ演算によって被写体距離を算出することができる。

光線の分離に使用される光線分離部２０としては、無偏光ビームスプリッターや偏光ビームスプリッター等が挙げられる。無偏光ビームスプリッターの場合、得られる画像Ｉは実施の形態１と同様に異常光線と常光線との両方を含む画像となる。偏光ビームスプリッターを用いた場合、複屈折物質の光学軸と分離する偏光の方向を制御して、画像Ｉに含まれる光線を異常光線のみにすることも可能となる。なお、画像Ｉに含まれる光線を異常光線のみにすることにより常光線によるノイズを含まない画像を撮像することができるため、被写体距離を導出するためのより精度良高い画像を得ることができる。また偏光ビームスプリッターを用いる場合は、複屈折物質を偏光ビームスプリッターと光学系の間に配置することも可能となる。その場合、撮像素子Ｂ２２に常光線のみが到達するように偏光方向を選択する必要がある。

なお、異常光線のみ含まれる画像に関しては、光量は低下してしまうが、偏光子等の特定の偏光のみを通す光学素子を用いて、異常光線のみを透過させることによっても得ることができる。

かかる構成によれば、同一時刻に画像Ｉおよび参照画像Ｉ’を取得することができるため、両画像においてぼけ以外の差が生じず、より正確に被写体距離を求めることができる。実施の形態１では、画像Ｉおよび参照画像Ｉ’を同時に取得する構成ではないため、被写体や撮像装置自体の動きによって、撮像装置に対する被写体の相対的な位置が変化し、両画像にぼけ以外の差が生じ、距離計測の精度が低下しやすい。ただし、画像一枚に対する撮像時間が同じであれば、光線を分離しない実施の形態１の方が一枚の撮像素子に入射する光量は多くなるため、より信号ノイズ比（Ｓ／Ｎ比）が高くなる。

実施の形態１では時間で分割して画像Ｉと参照画像Ｉ’を取得するのに対して、実施の形態２では、空間的に分割して画像Ｉと参照画像Ｉ’を取得している、と言える。実施の形態２では光線を分割している分、画像Ｉおよび参照画像Ｉ’それぞれに対する光量は低下するが、両画像の光量を合わせると光量は低下しておらず、無駄にはしていない。また両画像の取得に要する時間を同一とすると、実施の形態１と実施の形態２では、総光量は同一となる。

なお、上記実施の形態１および実施の形態２では、被写体の被写体距離を得るために、参照画像として全焦点画像を利用しているがこれに限らずに、ぼけが一様な画像を参照画像として利用することにより被写体の被写体距離を導出してもよい。

なお、上記実施の形態１および実施の形態２のブロック図（図１、図１０など）の各機能ブロックの内の複屈折効果付与部としてのアクチュエータ１３の制御部、撮像部としての画像取得部１６、および距離計測部１８は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、処理の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明にかかる撮像装置は、単一の視点から撮像された画像を元に距離計測を行うことができるため、撮像機器全般に適用可能である。

１０ 撮像装置
１１ 光学系
１２ 複屈折物質
１３ アクチュエータ
１４ 合焦範囲制御部
１５ 撮像素子
１６ 画像取得部
１７ 参照画像生成部
１８ 距離計測部
１９ 撮像装置
２０ 光線分離部
２１ 撮像素子Ａ
２２ 撮像素子Ｂ
２３ 画像取得部Ａ
２４ 画像取得部Ｂ

Claims (13)

1. 画像を撮像する撮像素子と、
   前記撮像素子に被写体像を結像させるための光学系と、
   複屈折の効果を有する光学素子と、
   撮像された前記画像と、被写体の被写体距離に対応する像点の前後において前記光学素子により形状が変化された点像分布関数であって、前記光学素子を透過した異常光線を含む光線の点像分布関数とによって、前記撮像素子から前記被写体までの距離を計測する距離計測部と、を備え、
   前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測する
   撮像装置。
2. 前記光学素子の光学軸の方向が前記光学系の光軸と非平行である
   請求項１に記載の撮像装置。
3. 前記光学素子は、前記光学系の光軸上において、前記撮像素子と前記光学系との間に配置され、前記光学系の光軸と交わる前記光学素子の平面は前記光学系の光軸に対して垂直となる
   請求項１または２に記載の撮像装置。
4. さらに、
   前記光学素子を、前記光学系の光軸に対して挿入または退避させることにより、前記光学系の光軸上において前記複屈折の効果をオンオフする光学素子移動部を、備える
   請求項１に記載の撮像装置。
5. 前記光学素子は、電気的または磁気的に複屈折の効果をオンオフできる素子である
   請求項１に記載の撮像装置。
6. さらに、
   前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、参照画像を生成する参照画像生成部を備え、
   前記距離計測部は、前記光学素子を通して撮像した画像と、前記参照画像を用いて、前記点像分布関数を推定し、前記被写体までの距離を計測する
   請求項１から５のいずれか１項に記載の撮像装置。
7. 前記参照画像生成部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、全焦点画像を前記参照画像として生成する
   請求項６に記載の撮像装置。
8. 前記光学系は、像側テレセントリック性の光学特性を有する
   請求項１から７のいずれか１項に記載の撮像装置。
9. さらに、
   光線を複数の光路に分離する光線分離部を、備え、
   前記撮像素子は、複数あり、それぞれが前記光線分離部によって分離される複数の光路に対応して前記被写体を撮像し、
   前記光学素子は、前記光線分離部によって分離される複数の光路の内の少なくとも一つの光路上に配置される
   請求項１から８のいずれか１項に記載の撮像装置。
10. 前記光学素子は、複数ある
    請求項１から９のいずれか１項に記載の撮像装置。
11. 画像を撮像する撮像素子と、前記撮像素子に被写体像を結像させるための光学系と、を有する撮像装置の撮像方法であって、
    複屈折の効果を光学素子により前記光学系の光軸上に与える複屈折効果付与ステップと、
    前記光学系の光軸上に前記複屈折の効果が与えられた状態で前記撮像素子により画像を撮像する撮像ステップと、
    前記撮像素子によって撮像された画像と、被写体の被写体距離に対応する像点前後の位置において形状が変化された点像分布関数であって、前記光学素子を透過した異常光線を含む光線の点像分布関数とによって、前記被写体までの距離を計測する距離計測ステップと、を含む
    前記距離計測ステップでは、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測する
    撮像方法。
12. 請求項１１の撮像方法をコンピュータに実行させるためのプログラム。
13. 画像を撮像する撮像素子と、前記撮像素子に被写体像を結像させるための光学系と、を有する撮像装置の集積回路であって、
    複屈折の効果を光学素子により前記光学系の光軸上に与える複屈折効果付与部と、
    前記光学系の光軸上に前記複屈折の効果が与えられた状態で前記撮像素子により画像を撮像させる撮像部と、
    前記撮像素子によって撮像された画像と、被写体の被写体距離に対応する像点前後の位置において形状が変化された点像分布関数であって、前記光学素子を透過した異常光線を含む光線の点像分布関数とによって、前記被写体までの距離を計測する距離計測部と、を備え、
    前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測する
    集積回路。

Images