JPWO2011158507A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置（１０）は、画像を撮像する撮像素子（２０）と、撮像素子（２０）に被写体像を結像させるための光学系（２２）と、画像に生じるぼけの大きさに基づいて被写体距離を計測する距離計測部（１６）とを備え、光学系（２２）の特性は、距離計測部（１６）において計測する被写体距離の範囲のうち、光学系（２２）に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、光学系（２２）の像高による点広がり関数の違いが距離計測部（１６）による被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす。

Description

本発明は、単一の視点から撮影された複数枚の画像に基づいて、シーンの奥行きを計測する画像処理装置に関する。

ある３次元シーンの奥行き、すなわち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらを大別すると、能動的手法と受動的手法とがある。能動的手法は、赤外線、超音波またはレーザーなどを被写体に照射し、反射波が戻ってくるまでの時間または反射波の角度などをもとに被写体までの距離を算出する手法である。受動的手法は、被写体の像に基づいて距離を算出する手法である。特にカメラを用いて被写体までの距離を計測する場合においては、赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

受動的手法にも多くの手法が提案されており、その一つとしてフォーカスの変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下ＤＦＤと表記）と呼ばれる手法が提案されている。ＤＦＤには、複数のカメラを必要としない、少数の画像から距離計測が可能である、などの特徴がある。

以下、ＤＦＤの原理について簡単に説明する。

撮影画像をＩ（ｘ，ｙ）、レンズによるぼけのない状態を表す原画像をＳ（ｘ，ｙ）とすると、両者の間には式（１）のような関係が成立する。

ここで、ｈは光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下ＰＳＦと表記）を表し、ｄ（ｘ，ｙ）は位置（ｘ，ｙ）におけるレンズの主点から被写体までの距離（以下、「被写体距離」と言う。）を表す。また、式中の「＊」は畳み込み演算を表す。

式（１）は、Ｓ（ｘ，ｙ）とｄ（ｘ，ｙ）を未知数として含んでいる。ここで、同一のシーンでフォーカス位置を変えた画像Ｉ₂（ｘ，ｙ）を撮影する。フォーカス位置を変えることは同一の被写体距離に対するＰＳＦが変化することに相当する。即ち、式（２）が成立する。

ここで、ｈ’はｈとは異なるフォーカス位置におけるＰＳＦを表す。これらの式を解くことで、シーンの原画像Ｓ（ｘ，ｙ）と被写体距離ｄ（ｘ，ｙ）を求めることができ、非特許文献１をはじめとして様々な解法が提案されている。

ここで問題になるのが、通常の光学系はフォーカス位置を変化させるとそれに伴い像倍率が変化する点である。像倍率が変化すると撮影画像Ｉ（ｘ，ｙ）と撮影画像Ｉ₂（ｘ，ｙ）との間で対応する原画像Ｓ（ｘ，ｙ）の位置が変わるため、正しい距離計測が行えなくなる。これに対して、特許文献１および特許文献２において、像倍率の変化が生じないようテレセントリック光学系を用いる手法が開示されている。

特許第２９６３９９０号公報 特許第３４８１６３１号公報

"Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ：ａ ｓｐａｔｉａｌ ｄｏｍａｉｎ ａｐｐｒｏａｃｈ"，Ｍ．Ｓｕｂｂａｒａｏ，Ｇ．Ｓｕｒｙａ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．１３，Ｎｏ．３，ｐｐ．２７１−２９４，１９９４

しかし、特許文献１および特許文献２に記載の手法には大きく２つの課題が残っている。

まず一つ目の課題として、テレセントリック光学系を用いる必要があるということは光学的に大きな制約となり、レンズ設計の自由度が大きく低下する。

二つ目の課題はぼけの均一性についてである。撮影画像のうち、光軸上の画像と光軸外の画像とでぼけ方、即ちＰＳＦが大きく異なる場合、ＤＦＤの各アルゴリズムにおいて画像全体に一律のＰＳＦを用いて処理を適用することができなくなる。このため、距離算出処理が複雑になる。したがって、画像全体でぼけ方が均一であることが望ましい。しかし、テレセントリック光学系を用いる場合にはぼけ方が均一であることを必ずしも保証するものではない。

本発明は上記事由を鑑みてなされたものであり、像倍率の変化量が十分小さく、かつ画像全体で均一なぼけを有する画像を撮像することができる光学系を備える画像処理装置および画像処理方法を提供することを目的とする。

本発明のある局面にかかる画像処理装置は、画像を撮像する撮像素子と、前記撮像素子に被写体の像を結像させるための光学系と、前記画像に生じるぼけの大きさに基づいて、前記被写体までの距離である被写体距離を計測する距離計測部とを備え、前記光学系の特性は、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、前記光学系の像高による点広がり関数の違いが前記距離計測部による前記被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす。

このような構成によると、光学系の特性が距離計測処理に実質的な影響を与えない範囲に制限されるため、距離計測処理の中で画像中の位置ごとに処理を変えるなどの手段をとることなしに、画像全体で均一な精度を保証することができる。

また、前記光学系におけるフォーカス位置の変化を前記撮像素子を移動させることにより行った場合、前記光学系は、前記撮像素子への主光線の入射角θが以下の式（３）を満たすことを特徴としてもよい。

ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、Ｂは前記距離計測部において計測する前記被写体距離の段階数、ｕ_minは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側の距離である。

このような構成によると、フォーカスの変化によって生じる像倍率の変化量が距離計測処理において弁別可能な大きさを下回ることが保証される。つまり、フォーカス位置を変えた複数の撮影画像上での同一の座標は、原画像Ｓ（ｘ，ｙ）の単一の座標と対応付けられる。

また、前記光学系におけるフォーカス位置の変化を前記光学系に含まれるレンズを移動させることにより行った場合、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさと前記光学系から最も遠い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさの差δｙが以下の式（４）を満たす。

ただし、ｄは前記撮像素子の画素の大きさである。このような構成によると、フォーカスの変化によって生じる像倍率の変化量が距離計測処理において弁別可能な大きさを下回ることが保証される。つまり、フォーカス位置を変えた複数の撮影画像上での同一の座標は、原画像Ｓ（ｘ，ｙ）の単一の座標と対応付けられる。

また、前記光学系は、各像高における像面湾曲量δｑが以下の式（５）を満たすことを特徴としてもよい。

ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕ_maxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである。

このような構成によると、像面湾曲によって生じる軸外のぼけの量が距離計測処理において弁別可能な大きさを下回ることが保証される。これによって、同じ被写体距離に対しては同程度のぼけの大きさとなり、距離計測処理の誤差を低減することができる。

また、前記光学系は、各像高におけるサジタル像面湾曲量δｑｓおよびタンジェンシャル像面湾曲量δｑｔが、それぞれ以下の式（６）および式（７）を満たすことを特徴としてもよい。

ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕ_maxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである

このような構成によると、非点較差によって生じる軸外のぼけの量が距離計測処理において弁別可能な大きさを下回ることが保証される。これによって、画像全体でぼけの形がより均一なものとなり、画像全体に一律なＰＳＦを適用して距離計測処理を行う際の誤差を低減することができる。

また、前記光学系は、さらに各像高におけるコマ収差量δｃが以下の式（８）を満たすことを特徴としてもよい。

ただし、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｄは前記撮像素子の画素の大きさである。

このような構成によると、コマ収差によって生じる軸外のぼけの量が距離計測処理において弁別可能な大きさを下回ることが保証される。これによって、画像全体でぼけの形がより均一なものとなり、画像全体に一律なＰＳＦを適用して距離計測処理を行う際の誤差を低減することができる。

本発明にかかる画像処理装置によれば、像倍率の変化量、および軸上と軸外でのぼけの不均一さが距離計測の画像処理に影響しない範囲に保たれる。このため、画像処理の際に像倍率の調整などを考慮せず、かつ画像全体に均一な処理を適用してもレンズの性能に起因する誤差が生じることがない。

図１は、本発明の実施の形態１における画像処理装置の構成を示す図である。 図２Ａは、レンズの結像関係を模式的に示す図である。 図２Ｂは、像面の位置に伴い像倍率が変化する様子を模式的に示す図である。 図３は、像面の移動量と像倍率の変化量の関係を模式的に示す図である。 図４は、像面の位置と錯乱円の大きさの関係を模式的に示す図である。 図５Ａは、像面湾曲を模式的に示す図である。 図５Ｂは、非点収差を模式的に示す図である。 図５Ｃは、コマ収差を模式的に示す図である。 図６は、像面湾曲量と錯乱円の大きさの関係を模式的に示す図である。 図７は、コマ収差の大きさを模式的に示す図である。 図８は、実施の形態１における光学系のレンズ形状を示す図である。 図９は、本発明を実現するための画像処理装置の最小構成を示す図である。

（実施の形態１）
以下本発明の実施の形態について、図面を参照しながら説明する。図１は本発明の実施の形態１にかかる画像処理装置の機能的な構成を示すブロック図である。

画像処理装置１０は、撮像部１２、フレームメモリ１４、距離計測部１６、制御部１８を備える。

撮像部１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサといった撮像素子２０と、撮像素子２０に被写体像を結像させるための光学系２２とを含んで構成され、被写体像を撮像して画像を出力する。

フレームメモリ１４は、画像をフレーム単位で記憶するためのメモリであり、撮像部１２が出力した画像などを記憶する。

距離計測部１６は、撮像部１２によって撮影された画像に基づいて、被写体距離を計測する。距離計測の手法として、非特許文献１に記載の手法をはじめ、一般的に利用される周知のＤＦＤアルゴリズムを用いることができる。

制御部１８は、ＣＰＵと、制御プログラムを格納するＲＯＭおよびＲＡＭなどとを含んで構成され、画像処理装置１０が備える各機能ブロックを制御する。

次に、光学系２２が満たすべき性能の条件について順に説明する。

（像倍率変化）
図２Ａはレンズの結像関係を模式的に示す図である。レンズの公式より、レンズ３２の主点（以下、単に「主点」という。）から被写体面までの距離ｕと主点から像面までの距離ｖとの間には、以下の式（９）で示す関係が成立する。

ただし、ｆはレンズ３２の焦点距離である。このとき、被写体の大きさをｙ、被写体像の大きさをｙ’とする。式（９）より、焦点距離ｆが一定の条件において、主点から被写体面までの距離ｕが変化すると、主点から像面までの距離ｖもあわせて変化する。距離ｖが変化すると、図２Ｂのように像の大きさｙ’’もあわせて変化する。これは開口の中心を通過する主光線３４が光軸３６に対して傾いて像面に入射していることに起因する。主光線３４の入射角と像の大きさの変化量の関係についてさらに詳しく説明する。

図３のように、距離計測部１６において計測する被写体距離の範囲のうち、フォーカス位置を光学系２２に最も近い位置と最も遠い位置とに合わせたときの、主点から像面までの距離ｖの変化量をδｖ、主光線３４の入射角をθとすると、上記基準位置における像の大きさｙからの変化量δｙは以下の式（１０）で求めることができる。

ここで、δｙの絶対値が撮像素子の１画素の大きさｄより小さければ、実質的に像の大きさは変化していないと考えることができる。つまり、主点から像面までの距離ｖが変化しても像の大きさが変化しないためには以下の式（１１）を満たす必要がある。

式（１１）を満たすためには、δｖかθの少なくとも一方が小さい必要がある。しかし、ＤＦＤによる距離計測を行うためにはフォーカスの変化に伴ってぼけが変化する必要があるため、δｖをあまり小さくすることはできない。以下、δｖとぼけの大きさの関係について図４に基づいて説明する。

今、レンズ３２の焦点距離をｆ、主点から被写体面までの距離ｕとし、合焦位置からδｖだけ離れた位置に像面があるとする。回折による影響を無視した場合、このときに生じるぼけの大きさを表す錯乱円の直径Ｄは以下の式（１２）で表される。

ただし、Ｆは光学系２２のＦナンバーである。この直径ＤがＤＦＤによる距離計測に十分な大きさとなるようδｖの値を決定する。ＤＦＤのアルゴリズムにおいて弁別可能なぼけの大きさの単位をｍｉｎＤ画素とし、Ｂ段階の距離計測（距離を段階数Ｂで表したときの距離計測）ができればよいとすると、Ｄは以下の式（１３）を満たせばよいことが分かる。

式（１２）および式（１３）より、ＤＦＤにとって十分なぼけの大きさを得るためには、δｖは式（１４）を満たす必要がある。

式（１１）および式（１４）より、像の大きさの変化の小ささと、ＤＦＤにとって十分なぼけの大きさとを得るため、主光線３４の入射角θが満たすべき条件は以下の式（１５）で表される。したがって、式（１５）を満たすように、光学系２２を設計すればよい。

式（１５）より、ｕが小さいほど右辺の値は小さくなる。したがって、ＤＦＤで距離計測を行う被写体距離の範囲のうち、最も光学系２２に近い側の距離をｕ_minとすると、式（１５）においてｕ＝ｕ_minを満たすときの左辺の値がθの大きさの実質的な上限となる。

本実施の形態において、光学系２２におけるフォーカス位置の変化を撮像素子２０を移動させることにより行った場合を仮定しているが、フォーカス位置の変化には光学系２２に含まれるレンズを移動させることにより行ってもよい。

フォーカス位置の変化前（距離計測部１６において計測する被写体距離の範囲のうち、光学系２２に最も近い側にフォーカス位置を合わせた場合）の撮像素子２０における像の大きさをｙ’とし、フォーカス位置の変化後（距離計測部１６において計測する被写体距離の範囲のうち、光学系２２から最も遠い側にフォーカス位置を合わせた場合）の撮像素子２０における像の大きさをｙ’’としたとき、それらの差δｙの絶対値が撮像素子の１画素の大きさｄより小さければ、実質的に像の大きさは変化していないと考えることができるため、以下の式（１６）を満たす必要がある。

ただし、前記光学系に含まれるレンズの移動によって、先程と同様にＤＦＤにとって十分なぼけの量を得る必要がある。そのため、フォーカス変化前に被写体距離ｕの位置の被写体に焦点が合っていた場合、フォーカス変化後の同じ被写体からの光のぼけの大きさＤが式（１３）を満たす必要がある。

（軸外収差：像面湾曲）
先述のとおり、ＤＦＤにおいてはぼけが画像全体で均一であることが望ましい。いわゆるザイデルの５収差のうち、ぼけの均一性に影響するのは図５Ａ、図５Ｂおよび図５Ｃにそれぞれ示す像面湾曲、非点収差およびコマ収差の３つである。以下ではこれらの収差の許容量について説明する。

まず、図５Ａに示す像面湾曲について説明する。像面湾曲は軸外光の合焦点が、軸上光線の合焦点を含み光軸に対して垂直な面上に存在せず、光軸方向に前後する現象である。画像全体でぼけが均一であると仮定してＤＦＤによる距離計測を行った場合、実際には等距離にある被写体のぼけが画角によって異なる大きさになってしまうため、被写体が異なる距離にあるものとして計測されてしまう。像面湾曲の許容量について、以下で説明する。

図６のように、ある画角の光線６１による像面湾曲量がδｑであるとする。ただし、δｑは被写体面から像面６２に向かう方向を正とする。レンズ３２の焦点距離をｆ、主点から被写体面までの距離ｕとし、回折による影響を無視した場合、この画角に対する錯乱円の直径Ｄ_qは、以下の式（１７）で表される。

ただし、Ｆは光学系２２のＦナンバーである。Ｄ_qがＤＦＤのアルゴリズムにおいて弁別可能な最小のぼけの大きさｄ＊ｍｉｎＤより小さければ、実質的にその影響は無視できる。この条件を満たすためには、各像高における像面湾曲量δｑは以下の式（１８）を満たす必要がある。したがって、式（１８）を満たすように、光学系２２を設計すればよい。

式（１８）より、ｕが大きいほど右辺の値は小さくなる。したがって、ＤＦＤで距離計測を行う距離範囲のうち、最も光学系２２から遠い側の距離をｕ_maxとすると、式（１８）においてｕ＝ｕ_maxを満たすときのδｑの値がδｑの大きさの実質的な上限となる。

（軸外収差：非点収差）
次に、図５Ｂに示す非点収差について説明する。非点収差は光軸に対して同心円方向（サジタル方向）の光束と放射方向（タンジェンシャル方向）の光束で合焦位置が異なる現象である。非点収差が存在すると軸外ではぼけが均等な円形に広がらず、縦長や横長の楕円形になるなどの現象が生じ、画像全体でぼけの形状の均一性が損なわれる。

非点収差量はサジタル方向およびタンジェンシャル方向の各方向における合焦点を含み光軸に対して垂直な面と、軸上光線の合焦点を含み光軸に対して垂直な面との距離、すなわち像面湾曲として定義される。したがって、各像高におけるサジタル方向の像面湾曲量をδｑｓ、タンジェンシャル方向の像面湾曲量をδｑｔとしたとき、これらがδｑにかわって式（１８）を満たすように光学系２２を設計することで、非点収差の影響を実質的に無視することができる。つまり、式（１９）および式（２０）を満たすように、光学系２２を設計すればよい。

式（１９）より、ｕが大きいほど右辺の値は小さくなる。したがって、ＤＦＤで距離計測を行う距離範囲のうち、最も光学系２２から遠い側の距離をｕ_maxとすると、式（１９）においてｕ＝ｕ_maxを満たすときのδｑｓの値がδｑｓの大きさの実質的な上限となる。同様に、式（２０）において、ｕ＝ｕ_maxを満たすときのδｑｔの値がδｑｔの大きさの実質的な上限となる。

（軸外収差：コマ収差）
最後に、図５Ｃに示すコマ収差について説明する。コマ収差は軸外光の主光線と外側の光線によってできる像の大きさが異なる現象である。コマ収差が存在すると軸外ではぼけが均等に広がらず、尾を引いたような形状になり、やはり画像全体でぼけの形状の均一性が損なわれる。コマ収差の許容量について、以下で説明する。

いま、被写体位置が無限遠にあるとする。このとき、図７のように、コマ収差量δｃは、開口の中心を通る主光線７１によってできる像と、開口の最も外側を通る光線７２によってできる像の大きさの差として定義される。ただし、δｃは像が大きくなる方を正とする。したがって、各像高におけるδｃの大きさがＤＦＤのアルゴリズムにおいて弁別可能な最小のぼけの大きさｄｍｉｎＤより小さければ、実質的にその影響は無視できる。そのためには、以下の式（２１）を満たす必要がある。したがって、式（２１）を満たすように光学系２２を設計すればよい。

なお、ここまでの各条件の説明は単レンズを用いたときの条件についてのものであるが、本発明の実施の形態における光学系２２の構成は単レンズに限定されるものではない。この場合、焦点距離やＦナンバーとして光学系２２全体の合成焦点距離やＦナンバーによって各条件は決定される。

なお、像倍率変化および像面湾曲について、有限の被写体距離に基づいて上限を定めているが、計算を簡略化するため、被写体距離を無限遠としてこれらの計算を行ってもよい。

（具体的な数値実施例）
本実施の形態にかかる光学系２２の具体的な数値実施例を表１に、形状を図８に記す。なお、Ｒ、ｄ、ｎｄ、νｄはそれぞれ各面の曲率半径（単位：ｍｍ）、面間隔（単位：ｍｍ）、ｄ線の屈折率、アッベ数を表す。また、面番号の＊は非球面を表す。図８には面番号を数字で示している。非球面形状は以下の式（２２）で表される。

ここで、ｃ＝１／Ｒであり、ｋは円錐係数、Ａ₄、Ａ₆、Ａ₈、Ａ₁₀、Ａ₁₂はそれぞれ４次、６次、８次、１０次、１２次の非球面係数である。

また、各非球面の円錐係数ｋおよび非球面係数Ａ₄、Ａ₆、Ａ₈、Ａ₁₀、Ａ₁₂は表２に示される。表２の面番号は表１の面番号と同じである。

なお、焦点距離は１５．７８ｍｍであり、Ｆナンバーは２．８、半画角は１４．９７°とする。また、ＤＦＤに関するパラメータは、撮像素子の画素の大きさｄを２．４μｍ、ＤＦＤのアルゴリズムにおいて弁別可能なぼけの大きさの単位ｍｉｎＤを２画素、奥行き検出の段階数Ｂを１６階調、距離計測を行う被写体距離は１ｍから１０ｍの範囲とする。すなわち、ｕ_min＝１ｍ、ｕ_max＝１０ｍである。このとき、式（１５）、式（１８）、式（２１）より、主光線の入射角θは｜θ｜＜０．６２９°を、像面湾曲量δｑは｜δｑ｜＜１３．４６μｍを、コマ収差量δｃは｜δｃ｜＜４．８０μｍをそれぞれ満たす必要がある。

表１の光学系２２の、Ｆ線、ｄ線、Ｃ線に対する各像高における主光線の入射角θＦ、θｄ、θＣ（単位：度）を表３に示す。

表１の光学系２２の、Ｆ線、ｄ線、Ｃ線に対するサジタル像面湾曲量δｑｓＦ、δｑｓｄ、δｑｓＣ、タンジェンシャル像面湾曲量δｑｔＦ、δｑｔｄ、δｑｔＣを表４に記す。なお、ここで示す像面湾曲量は各波長における軸上像面位置からの変位量を示し、単位はμｍである。

表１の光学系２２のＦ線、ｄ線、Ｃ線に対するコマ収差量δｃＦ、δｃｄ、δｃＣ（単位：μｍ）を表５に記す。

いずれの像高、いずれの波長に対しても指定した条件を満たしている。このため、像倍率の変化量、および軸上と軸外でのぼけの不均一さが距離計測の画像処理に影響しない範囲に保たれるため、画像処理の際に像倍率の調整などを考慮せず、かつ画像全体に均一な処理を適用してもレンズの性能に起因する誤差が生じることがない。

なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

なお、図９は、本発明を実現するための画像処理装置の最小構成を示す図であり、画像処理装置１０は、撮像部１２と、距離計測部１６とを備えていればよい。

また、本発明は、上記画像処理装置が備える距離計測部が実行する処理をステップとして含む方法として実現することもできる。

また、本発明は、上記画像処理装置が備える距離計測部を集積化した集積回路として実現することもできる。

また、本発明は、上記画像処理装置が備える距離計測部が実行する処理をコンピュータに実行させるためのプログラムとして実現することもできる。

本発明は単一の視点から撮影された画像を元に距離計測を行うことができるため、撮像機器全般に適用可能である。特に画像全体で均一なぼけの特性を有し、画像の場所ごとに処理を切り替える必要がないため、高い距離計測精度を要求される用途や、処理量を少なく抑える必要のある用途に最適である。

１０ 画像処理装置
１２ 撮像部
１４ フレームメモリ
１６ 距離計測部
１８ 制御部
２０ 撮像素子
２２ 光学系

Claims (6)

1. 画像を撮像する撮像素子と、
   前記撮像素子に被写体の像を結像させるための光学系と、
   前記画像に生じるぼけの大きさに基づいて、前記被写体までの距離である被写体距離を計測する距離計測部とを備え、
   前記光学系の特性は、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、前記光学系の像高による点広がり関数の違いが前記距離計測部による前記被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす
   画像処理装置。
2. 前記光学系におけるフォーカス位置を変化させた場合、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさと前記光学系から最も遠い側にフォーカス位置を合わせた場合の前記撮像素子における像の大きさとの差δｙが以下の式（１）を満たす
   

   

   ただし、ｄは前記撮像素子の１画素の大きさである
   請求項１に記載の画像処理装置。
3. 前記光学系は、各像高における像面湾曲量δｑが以下の式（２）を満たす
   

   

   ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕ_maxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである
   請求項１に記載の画像処理装置。
4. 前記光学系は、各像高におけるサジタル像面湾曲量δｑｓおよびタンジェンシャル像面湾曲量δｑｔが、それぞれ以下の式（３）および式（４）を満たす
   

   

   ただし、Ｆは前記光学系のＦナンバー、ｆは前記光学系の焦点距離、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｕ_maxは前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系から最も遠い側の距離、ｄは前記撮像素子の画素の大きさである
   請求項１に記載の画像処理装置。
5. 前記光学系は、各像高におけるコマ収差量δｃが以下の式（５）を満たす
   

   

   ただし、ｍｉｎＤは前記距離計測部において検出可能なぼけの最小の大きさを示す画素数、ｄは前記撮像素子の画素の大きさである
   請求項１に記載の画像処理装置。
6. 画像を撮像する撮像素子と、
   前記撮像素子に被写体の像を結像させるための光学系と、
   前記画像に生じるぼけの大きさに基づいて、前記被写体までの距離である被写体距離を計測する距離計測部とを備える画像処理装置による画像処理方法であって、
   前記距離計測部が、前記画像に生じるぼけの大きさに基づいて、前記被写体距離を計測するステップを含み、
   前記光学系の特性は、前記距離計測部において計測する前記被写体距離の範囲のうち、前記光学系に最も近い側と最も遠い側にフォーカス位置を合わせた場合の、像倍率の変化が所定の画素数以下になると同時に、前記光学系の像高による点広がり関数の違いが前記距離計測部による前記被写体距離の計測に影響を及ぼさないための所定の大きさ以下になるという条件を満たす
   画像処理方法。

Images