JP4403477B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4403477B2 JP4403477B2 JP2000021814A JP2000021814A JP4403477B2 JP 4403477 B2 JP4403477 B2 JP 4403477B2 JP 2000021814 A JP2000021814 A JP 2000021814A JP 2000021814 A JP2000021814 A JP 2000021814A JP 4403477 B2 JP4403477 B2 JP 4403477B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- distance
- confusion
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び画像処理方法に関し、例えば撮影した画像から被写体領域を抽出する画像処理装置及び画像処理方法に適用して好適なものである。
【０００２】
【従来の技術】
従来、撮影した画像から被写体領域を抽出する領域分割方法として、いくつかの方法が提案されており、それらは大分して２つの方法に分類される。
【０００３】
第１の方法は、１枚の画像を用いて領域分割を行う方法であり、例えば近傍の画素値の類似度に基づいて領域を分割する方法や、画像の色空間をクラスタリングして領域を分割する方法等がある。
【０００４】
第２の方法は、複数の画像から被写体の距離情報を算出し、当該距離情報に基づいて領域分割を行う方法である。
【０００５】
例えば、２つの撮像系で撮像した２枚の画像を用い、両眼視差に基づいて画像の奥行き情報を得て、当該奥行き情報に基づいて領域を分割する方法がある。この方法の場合、比較的精度の高い領域分割を行うことができるが、２つの撮像系が必要であり、また２枚の画像間での対応点を検出するために多くの演算が必要となる。
【０００６】
これに対して、１つの撮像系から得た複数の画像から画像の奥行き情報を得る方法として、ＤＦＤ（Depth From Defocus）と呼ばれる方法が一般に知られている。ＤＦＤは、画像のぼけ情報から被写体の距離を推定する方法であり、複数の撮像系を必要としないことや、複雑な演算を必要としないといった利点を有している。
【０００７】
このＤＦＤの原理を図５を用いて説明する。図５において、対象物体Ａまでの距離ａ０は、当該対象物体Ａが合焦する位置ｂ０が既知であれば、レンズＲの焦点距離ｆから、（１）式を用いて算出することができる。
【０００８】
【数１】
【０００９】
ＤＦＤにおいては、撮像面位置と対象物体Ａの合焦位置とが異なることを前提として、撮像面上に投影された像のぼけの程度から合焦位置ｂ０を求め、これを（１）式に代入することにより、対象物体Ａまでの距離ａ０を算出する。
【００１０】
いま、撮像面がｂ１にある場合、距離ａ０の物体表面上の点は撮像面上において錯乱円と呼ばれる円形に拡散し、（２）式で表される像ｉ１を形成する。
【００１１】
【数２】
【００１２】
ここで、＊は畳込演算を示す。またｈｄ１は拡散の状態を示す関数ＰＳＦ（Point Spread Function ：点広がり関数）であり、撮像面と合焦位置との距離ｂ０−ｂ１に比例する錯乱円直径ｄ１に依存する。そこで、錯乱円直径ｄ１をパラメータとするＰＳＦのモデルを仮定し、観測画像ｉ１から錯乱円直径ｄ１を推定する。但し（２）式からも分かるように、観測画像ｉ１は対象物体の像ｉ０に依存しているため、このままでは錯乱円直径ｄ１を求めることができない。
【００１３】
そこで、異なる撮像面位置ｂ２における観測画像ｉ２を撮像し、画像の周波数領域上における観測画像ｉ１と観測画像ｉ２との比を取ることにより、（３）式のように観測画像とＰＳＦの関係を導くことができる。
【００１４】
【数３】
【００１５】
ここで、Ｉ１、Ｉ２、Ｉ０、Ｈｄ１、Ｈｄ２はそれぞれ観測画像ｉ１及びｉ２、合焦画像ｉ０、ＰＳＦｈｄ１及びｈｄ２のフーリエ変換である。この（３）式と図５の幾何学的関係により、対象物体Ａに依存することなく錯乱円直径ｄ１及びｄ２を算出することができる。
【００１６】
【発明が解決しようとする課題】
このようにＤＦＤは、原理的に簡単な装置及び演算によって被写体までの距離を算出することが可能であるが、その一方で、ＰＳＦのモデル化や周波数分析の方法によって推定精度が制約されるという問題がある。
【００１７】
例えば、（３）式を用いて距離を推定するためには、ＰＳＦに具体的な関数を与える必要があるが、実際のＰＳＦはカメラのアイリス（絞り）形状に依存するため、一般に単純な関数で表すことは困難であり、またアイリス形状の精密なモデル化は、演算量の増大を招くことになるという問題がある。
【００１８】
また、（３）式における錯乱円直径と周波数成分の関係は周波数毎に変化するため、距離の推定精度を向上するためには高い周波数分解能で周波数成分を抽出する必要があるが、このことは演算量の増大を伴うとともに、空間分解能を犠牲にするという問題がある。
【００１９】
本発明は以上の点を考慮してなされたもので、簡易な構成で画像の領域分割を行い得る画像処理装置及び画像処理方法を提案しようとするものである。
【００２０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像を領域分割して所望の被写体領域を抽出する画像処理装置において、同一の被写体に対して、互いに異なる２つのフォーカスを用いて撮像することによって焦点が円形に拡散した錯乱円を有する第１の画像及び第２の画像を撮像する撮像手段と、第２の画像に対してそれぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第２の画像に対するそれぞれ異なる複数の第２の周波数成分を抽出し、第１の画像を遅延させた後それぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第１の画像に対するそれぞれ異なる複数の第１の周波数成分を抽出する周波数成分抽出手段と、同一中心周波数を有するバンドパスフィルタによって抽出された複数の第１の周波数成分及び複数の第２の周波数成分に対して第１の演算式を用いて演算することによって第１の画像に対応する複数の第１の錯乱円の直径及び第２の画像に対応する複数の第２の錯乱円の直径を算出する錯乱円直径算出手段と、複数の第１の錯乱円の直径及び複数の第２の錯乱円の直径に対して第２の演算式を両方用いて演算することによってレンズから被写体が合焦する撮像面位置までの合焦距離を複数算出し、当該合焦距離に対して第３の演算式を用いて演算することによってレンズから被写体までの複数の被写体距離を算出する被写体距離算出手段と、複数の被写体距離に対して予め設定された複数の閾値を用いることにより被写体領域を複数の領域に分割した複数のラベル画像を生成する領域分割手段とを設けた。
【００２２】
この結果、第１の画像及び第２の画像に対して複数の錯乱円直径が求められるので、複数の被写体距離を簡易な構成及び簡易な演算で精度よく算出でき、被写体距離に対応した被写体領域分割処理を行なうことができる。
【００２３】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２４】
（１）第１の実施の形態
（１−１）第１の実施の形態の構成
図１において、１は全体として本発明の第１の実施の形態による画像処理装置を示し、撮像手段としての撮像装置１０は、まず第１の撮像面位置で撮像対象を撮像し、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１に供給する。続いて撮像装置１０は第２の撮像面位置で撮像対象を撮像し、第２の画像信号ｉ２（ｘ，ｙ）を周波数分析器１２Ａ〜１２Ｃに供給する。
【００２５】
ここで、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）は輝度信号でなり、（ｘ，ｙ）は画像上の位置を表す座標である。また、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）はそれぞれ撮像面位置が異なるため、焦点ずれによるぼけの程度がそれぞれ異なる。
【００２６】
メモリ１１は第１の画像信号ｉ１（ｘ，ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）に同期して周波数分析器１２Ｄ〜１２Ｆに供給する。
【００２７】
周波数成分抽出手段としての周波数分析器１２Ａ、１２Ｂ及び１２Ｃは、それぞれ入力した第２の画像信号ｉ２（ｘ，ｙ）に対して固有の中心周波数でバンドパスフィルタ処理を施し、それぞれ画像上の各位置（ｘ，ｙ）に対応する周波数成分Ｉ２（ｘ，ｙ，ｗ０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２（ｘ，ｙ，ｗ２）を生成し、それぞれ対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００２８】
同様に周波数成分抽出手段としての周波数分析器１２Ｄ、１２Ｅ及び１２Ｆは、それぞれ入力した第１の画像信号ｉ１（ｘ，ｙ）に対して固有の中心周波数でバンドパスフィルタ処理を施し、それぞれ画像上の各位置（ｘ，ｙ）に対応する周波数成分Ｉ１（ｘ，ｙ，ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ２）を生成し、それぞれ対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００２９】
図２は周波数分析器１２Ａの構成を示し、他の周波数分析器１２Ｂ〜１２Ｆも同一の構成を有している。周波数分析器１２Ａにおいては、撮像装置１０から供給された第１の画像信号ｉ１（ｘ，ｙ）をハイパスフィルタ２１に入力する。ハイパスフィルタ２１は、第１の画像信号ｉ１（ｘ，ｙ）の直流成分を除去し、ガボアフィルタ２２Ａ〜２２Ｃに供給する。
【００３０】
ガボアフィルタ２２Ａ〜２２Ｃは、（４）式に示す２次元複素数正弦波関数と２次元ガウス関数の積によって構成される。
【００３１】
【数４】
【００３２】
このガボアフィルタ２２Ａ〜２２Ｃは、ガウス関数の標準偏差ｓで制限された局所領域内において、それぞれ異なる方向ｔａｎ-1（ｗｙ／ｗｘ）に沿って中心周波数ｗ＝（ｗｘ2 ＋ｗｙ2 ）1/2 で変化する周波数成分を第１の画像信号ｉ１（ｘ，ｙ）から抽出し、それぞれ対応する絶対値算出器２３Ａ〜２３Ｃに供給する。一般に、低い空間周波数成分を抽出するためには画像上においてより広い範囲の情報を用いる必要があるため、（４）式の標準偏差ｓは中心周波数ｗに応じて、（５）式のように与えられる。
【００３３】
【数５】
【００３４】
絶対値算出器２３Ａ〜２３Ｃは、それぞれ入力した周波数成分を絶対値化し、加算器２４に供給する。加算器２４は、絶対値算出器２３Ａ〜２３Ｃから入力した、それぞれ方向性の異なる周波数成分を加算し、かくして周波数分析器１２Ａは角周波数ｗの周波数成分Ｉ２（ｘ，ｙ，ｗ０）を生成して距離算出器１３Ａ（図１）に供給する。
【００３５】
図１において、周波数成分比較手段としての距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ入力した撮像面位置の異なる２つの周波数成分Ｉ１（ｘ，ｙ，ｗ０）及びＩ２（ｘ，ｙ，ｗ０）から、（６）式に基づいて、第１の撮像面位置に対応する第１の錯乱円直径ｄ１（ｘ，ｙ）及び第２の撮像面位置に対応する第２の錯乱円直径ｄ２（ｘ，ｙ）を算出する。
【００３６】
【数６】
【００３７】
ここで、ｍはｎ＝１のときｍ＝２、ｎ＝２のときｍ＝１となる整数である。またｂｎはレンズから撮像面までの距離、Ｄはアイリスの直径であり、これらは予め既知な値である。
【００３８】
また、ｒ（ｘ，ｙ）は各画像の周波数成分Ｉ１（ｘ，ｙ，ｗ０），Ｉ２（ｘ，ｙ，ｗ０）に依存した値であり、焦点ずれによるぼけのＰＳＦを（７）式のガウス関数で近似し、またガウス関数の標準偏差ｓのｐ倍を錯乱円の半径と定義することにより、（８）式で与えられる。
【００３９】
【数７】
【００４０】
【数８】
【００４１】
そして距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ（６）式で得られた錯乱円直径を図５から求まる（９）式に代入することにより画像上の位置（ｘ，ｙ）に投影された被写体が合焦する撮像面位置ｂ０を算出する。
【００４２】
【数９】
【００４３】
さらに距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ撮像面位置ｂ０を（１）式に代入することにより被写体距離ａ０（ｘ，ｙ）を算出し、それぞれ対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給する。
【００４４】
領域分割手段としてのラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離ａ０（ｘ，ｙ）に対して予め設定された閾値を用いて閾値処理し、その結果に基づいて、画像上の各点（ｘ，ｙ）に対して領域を表すラベルを貼り付けてラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を生成し、ラベル補正器１５に供給する。
【００４５】
例えば、閾値としてＴ０、Ｔ１、Ｔ２、……（Ｔ０＜Ｔ１＜Ｔ２……）が与えられている場合、ラベル画像Ｌ（ｘ，ｙ，ｗｋ）は次式で与えられる。
【００４６】
【数１０】
【００４７】
領域分割手段としてのラベル補正器１５は、それぞれ異なる中心周波数に基づいて得られたラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ，）を生成する。
【００４８】
図３はラベル補正器１５を示し、ラベル修正器１５Ａ及び１５Ｂで構成される。ラベル修正器１５Ａ及び１５Ｂは、ある中心周波数ｗｋに対応したラベル画像Ｌ（ｘ，ｙ，ｗｋ）の各位置におけるラベルを（１１）式を用いて修正し、修正ラベル画像Ｌ’（ｘ，ｙ，ｗｋ）を生成する。
【００４９】
【数１１】
【００５０】
ラベル修正器１５Ａ及び１５Ｂは、ある中心周波数ｗｋに対応したラベル画像Ｌ（ｘ，ｙ，ｗｋ）に対して、中心周波数が一段階低い修正済みのラベル画像Ｌ’（ｘ，ｙ，ｗｋ＋１）を調べ、局所領域Ｒ内の単一のラベルのみが存在する位置（ｘ’，ｙ’）を検出してＬ（ｘ’，ｙ’，ｗｋ）の値をＬ’（ｘ’，ｙ’，ｗｋ＋１）で置き換える。ラベル補正器１５は、ラベル修正器１５Ａ及び１５Ｂによってこの修正を中心周波数の低いラベル画像から順次繰り返し、最終的に得られた修正ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を、領域分割の結果としてのラベル画像Ｌ（ｘ，ｙ）として出力する。なお、最低中心周波数ｗＮ（本実施例の場合はｗＮ＝ｗ２）に対する修正ラベル画像は、Ｌ’（ｘ，ｙ，ｗＮ）＝Ｌ（ｘ，ｙ，ｗＮ）として与えられる。
【００５１】
すなわちラベル修正器１５Ａはラベル画像Ｌ（ｘ，ｙ，ｗ１）に対して、修正ラベル画像Ｌ’（ｘ，ｙ，ｗ２）を調べて局所領域Ｒ内の単一のラベルのみが存在する位置（ｘ’，ｙ’）を検出し、Ｌ（ｘ’，ｙ’，ｗ１）の値をＬ’（ｘ’，ｙ’，ｗ２）で置き換えて修正ラベル画像Ｌ’（ｘ，ｙ，ｗ１）を生成し、これをラベル修正器１５Ｂに供給する。
【００５２】
ラベル修正器１５Ｂはラベル画像Ｌ（ｘ，ｙ，ｗ０）に対して、修正ラベル画像Ｌ’（ｘ，ｙ，ｗ１）を調べて局所領域Ｒ内の単一のラベルのみが存在する位置（ｘ’，ｙ’）を検出し、Ｌ（ｘ’，ｙ’，ｗ０）の値をＬ’（ｘ’，ｙ’，ｗ０）で置き換えて修正ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を生成し、これをラベル画像Ｌ（ｘ，ｙ）として出力する。
【００５３】
かくして画像処理装置１は、撮像装置１０で撮像して得られた第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）について、被写体までの距離に基づいて画像の領域を分割してラベル画像Ｌ（ｘ，ｙ）を生成する。
【００５４】
（１−２）第１の実施の形態の動作及び効果
以上の構成において、画像処理装置１は、撮像装置１０によって撮像対象を２つの異なる撮像面位置で撮像し、焦点ずれによるぼけの程度が異なる第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生成する。
【００５５】
周波数分析器１２Ａ、１２Ｂ及び１２Ｃは、第２の画像信号ｉ２（ｘ，ｙ）に対して、ハイパスフィルタ２１及びガボアフィルタ２２Ａ〜２２Ｃを用いてそれぞれ異なる中心周波数でバンドパスフィルタ処理を施して周波数成分を抽出し、それぞれ周波数成分Ｉ２（ｘ，ｙ，ｗ０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２（ｘ，ｙ，ｗ２）を生成して対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００５６】
また周波数分析器１２Ｄ、１２Ｅ及び１２Ｆは、第１の画像信号ｉ１（ｘ，ｙ）に対してそれぞれ異なる中心周波数でバンドパスフィルタ処理を施して周波数成分を抽出し、それぞれ周波数成分Ｉ１（ｘ，ｙ，ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ２）を生成して対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００５７】
距離算出器１３Ａ、１３Ｂ及び１３Ｃは、撮像面位置が異なる２つの画像信号から同一の中心周波数で抽出された２つの周波数成分を用いて画像上の各位置におけるぼけの錯乱円直径を算出し、当該錯乱円直径に基づいて画像上の各位置の被写体距離ａ０（ｘ，ｙ）を算出し、それぞれ対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給する。
【００５８】
ラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ被写体距離ａ０（ｘ，ｙ）に対して予め設定された閾値を用いて閾値処理し、画像上の各点に対して領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を生成し、ラベル補正器１５に供給する。
【００５９】
ラベル補正器１５は、それぞれ異なる中心周波数に基づいて得られたラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成する。
【００６０】
以上の構成によれば、異なる撮像面位置で撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に対してバンドパスフィルタ処理を施して周波数成分を抽出し、当該周波数成分を用いて画像上の各位置における被写体距離を算出した後当該被写体距離を閾値処理することにより、簡易な構成及び簡易な演算で被写体領域分割処理を行うことができる。
【００６１】
（２）第２の実施の形態
（２−１）第２の実施の形態の構成
図１において、２は全体として本発明の第２の実施の形態による画像処理装置を示し、ローパスフィルタ１６Ａ〜１６Ｄ及びダウンサンプル器１７Ａ〜１７Ｄを有していること、及び周波数分析器１８Ａ〜１８Ｆ内のガボアフィルタが全て同一の中心周波数ｗを有していること以外は、第１の実施の形態による画像処理装置１と同一である。
【００６２】
撮像手段としての撮像装置１０は、まず第１の撮像面位置で撮像対象を撮像し、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１に供給する。続いて撮像装置１０は第２の撮像面位置で撮像対象を撮像し、第２の画像信号ｉ２（ｘ，ｙ）を周波数分析器１８Ａ及びローパスフィルタ１６Ａに供給する。
【００６３】
ローパスフィルタ１６Ａは、第２の画像信号ｉ２（ｘ，ｙ）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ａに出力する。ダウンサンプル器１７Ａは、第２の画像信号ｉ２（ｘ，ｙ）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ２（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｂ及びローパスフィルタ１６Ｂに供給する。ここでローパスフィルタ１６Ａは、第２の画像信号ｉ２（ｘ，ｙ）の高周波成分を削減することにより、ダウンサンプル器１７Ａにおける間引き処理によるエリアシングの発生を回避する。
【００６４】
同様にローパスフィルタ１６Ｂは、間引き画像信号ｉ２（ｘ／２，ｙ／２）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ｂに出力する。ダウンサンプル器１７Ｂは、間引き画像信号ｉ２（ｘ／２，ｙ／２）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ２（ｘ／４，ｙ／４）を生成し、周波数分析器１８Ｃに供給する。
【００６５】
周波数成分抽出手段としての周波数分析器１８Ａ、１８Ｂ及び１８Ｃは、それぞれ入力した第２の画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ２（ｘ／２，ｙ／２）及び間引き画像信号ｉ２（ｘ／４，ｙ／４）に対して同一の中心周波数ｗでバンドパスフィルタ処理を施し、それぞれ周波数成分Ｉ２（ｘ，ｙ，ｗ）、Ｉ２（ｘ／２，ｙ／２，ｗ）及びＩ２（ｘ／４，ｙ／４，ｗ）を生成して対応する距離算出器１３Ａ、１３Ｂ及び１３に供給する。
【００６６】
ここで、周波数分析器１８Ｂに供給される間引き画像信号ｉ２（ｘ／２，ｙ／２）は、周波数分析器１８Ａに供給される第２の画像信号ｉ２（ｘ，ｙ）に比べて、垂直及び水平方向について１／２の画素数となっている。このため周波数分析器１８Ｂは、等価的にｗ／２の周波数成分を抽出することになる。同様に、周波数分析器１８Ｃに供給される間引き画像信号ｉ２（ｘ／４，ｙ／４）は、周波数分析器１８Ａに供給される第２の画像信号ｉ２（ｘ，ｙ）に比べて、垂直及び水平方向について１／４の画素数となっている。このため周波数分析器１８Ｃは、等価的にｗ／４の周波数成分を抽出することになる。
【００６７】
すなわち、周波数分析器１８Ａを０段目とし、周波数分析器１８Ｂを１段目とすると、ｋ段目の周波数分析器はｗｋ＝ｗ／２k の周波数成分を抽出する。
【００６８】
ここで、間引き画像信号ｉ２（ｘ／２，ｙ／２）は第２の画像信号ｉ２（ｘ，ｙ）に比べて垂直及び水平方向に１／２の画素数であるから、周波数分析器１８Ｂは周波数分析器１８Ａに比べて周波数成分の算出における演算量が少なくなり、同様に周波数分析器１８Ｃは周波数分析器１８Ｂに比べて周波数成分の算出における演算量が少なくなる。このため画像処理装置２は、第１の実施の形態の画像処理装置１に比べて少ない演算量で同一の処理を行うことができる。
【００６９】
一方、メモリ１１は、第１の画像信号ｉ１（ｘ，ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）に同期して周波数分析器１８Ｄ及びローパスフィルタ１６Ｃに供給する。
【００７０】
ローパスフィルタ１６Ｃは、第１の画像信号ｉ１（ｘ，ｙ）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ｃに出力する。ダウンサンプル器１７Ｃは、第１の画像信号ｉ１（ｘ，ｙ）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ１（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｅ及びローパスフィルタ１６Ｄに供給する。
【００７１】
同様にローパスフィルタ１６Ｄは、間引き画像信号ｉ１（ｘ／２，ｙ／２）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ｄに出力する。ダウンサンプル器１７Ｄは、間引き画像信号ｉ１（ｘ／２，ｙ／２）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ１（ｘ／４，ｙ／４）を生成し、周波数分析器１８Ｆに供給する。
【００７２】
周波数成分抽出手段としての周波数分析器１８Ｄ、１８Ｅ及び１８Ｆは、それぞれ入力した第１の画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ１（ｘ／２，ｙ／２）及び間引き画像信号ｉ１（ｘ／４，ｙ／４）に対して同一の中心周波数ｗでバンドパスフィルタ処理を施し、それぞれ周波数成分Ｉ１（ｘ，ｙ，ｗ）、Ｉ１（ｘ／２，ｙ／２，ｗ）及びＩ１（ｘ／４，ｙ／４，ｗ）を生成し、対応する周波数成分比較手段としての距離算出器１３Ａ、１３Ｂ及び１３に供給する。
【００７３】
距離算出器１３Ａは、周波数成分Ｉ１（ｘ，ｙ，ｗ）及びＩ２（ｘ，ｙ，ｗ）に基づいて被写体距離ａ０（ｘ，ｙ）を算出し、ラベル算出器１４Ａに供給する。
【００７４】
また距離算出器１３Ｂは、周波数成分Ｉ１（ｘ／２，ｙ／２，ｗ）及び周波数成分Ｉ２（ｘ／２，ｙ／２，ｗ）に基づいて被写体距離ａ０（ｘ／２，ｙ／２）を算出し、ラベル算出器１４Ｂに供給する。
【００７５】
同様に距離算出器１３Ｃは、周波数成分Ｉ１（ｘ／４，ｙ／４，ｗ）及び周波数成分Ｉ２（ｘ／４，ｙ／４，ｗ）に基づいて被写体距離ａ０（ｘ／４，ｙ／４）を算出し、ラベル算出器１４Ｃに供給する。
【００７６】
領域分割手段としてのラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／４）に対して予め設定された閾値を用いて閾値処理し、その結果に基づいて、画像上の各点に対して領域を表すラベルを貼り付けてラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を生成し、ラベル補正器１５に供給する。
【００７７】
領域分割手段としてのラベル補正器１５は、ラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成する。
【００７８】
ここでラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）は、ダウンサンプル器１６Ａ〜１６Ｄによる間引き処理によって、それぞれ画素数が異なる。このためラベル補正器１５は各ラベル画像の画素数の違いを考慮して、（１２）式を用いてラベルの修正を行いラベル画像Ｌ（ｘ，ｙ）を生成する。
【００７９】
【数１２】
【００８０】
（２−２）第２の実施の形態の動作及び効果
以上の構成において、画像処理装置２は、撮像装置１０によって撮像対象を２つの異なる撮像面位置で撮像し、焦点ずれによるぼけの程度が異なる第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生成する。
【００８１】
そして画像処理装置２は、第２の画像信号ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそれぞれ対応する周波数分析器１８Ａ及び１８Ｄに供給するとともに、第２の画像信号ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／２に間引き処理して対応する周波数分析器１８Ｂ及び１８Ｅに供給し、さらに第２の画像信号ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／４に間引き処理して対応する周波数分析器１８Ｃ及び１８Ｆに供給する。
【００８２】
周波数分析器１８Ａ〜１８Ｆは、それぞれ画像信号に対して同一の中心周波数でバンドパスフィルタ処理を施して周波数成分を抽出し、対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００８３】
距離算出器１３Ａ、１３Ｂ及び１３Ｃは、撮像面位置が異なる２つの画像信号から同一の中心周波数で抽出された２つの周波数成分を用いて画像上の各位置におけるぼけの錯乱円直径を算出し、当該錯乱円直径に基づいて画像上の各位置の被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／４）を算出し、それぞれ対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給する。
【００８４】
ラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／４）に対して予め設定された閾値を用いて閾値処理し、画像上の各点に対して領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を生成し、ラベル補正器１５に供給する。
【００８５】
ラベル補正器１５は、それぞれ異なる画素数のラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）をを統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成する。
【００８６】
以上の構成によれば、異なる撮像面位置で撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）をそれぞれ縦横１／２及び１／４に間引き処理して周波数成分を抽出し、当該周波数成分を用いて画像上の各位置における被写体距離を算出した後当該被写体距離を閾値処理することにより、周波数成分抽出処理の演算量を削減し、簡易な構成及び簡易な演算で被写体領域分割処理を行うことができる。
【００８７】
（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、輝度信号でなる第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に基づいて被写体領域分割を行うようにしたが、本発明はこれに限らず、カラー信号に基づいて被写体領域分割を行うようにしても良い。
【００８８】
また上述の第１及び第２の実施の形態においては、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１で遅延し、第２の画像信号ｉ２（ｘ，ｙ）に同期して後段の周波数分析器に供給するようにしたが、本発明はこれに限らず、ブロックマッチング方法等による画像の位置ずれ補正手段をメモリ１１と後段の周波数分析器の間に設け、撮像時における手ぶれ等による、第１の画像信号ｉ１（ｘ，ｙ）と第２の画像信号ｉ２（ｘ，ｙ）との位置ずれを補正するようにしても良い。
【００８９】
また上述の第１及び第２の実施の形態においては、距離算出器で算出した被写体距離について複数の閾値で閾値処理し、画像を複数の領域に分割したが、本発明はこれに限らず、距離算出器で算出した被写体距離について、一つの閾値で閾値処理し、画像を背景領域及び被写体領域に分割するようにしても良い。
【００９０】
さらに上述の第１及び第２の実施の形態においては、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に対して、それぞれ３つの周波数分析器で周波数成分を抽出するようにしたが、本発明はこれに限らず、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に対してそれぞれ２つの周波数分析器で周波数成分を抽出したり、あるいはそれぞれ３つ以上の周波数分析器で周波数成分を抽出するようにしても良い。
【００９１】
さらに上述の第１及び第２の実施の形態においては、撮像面位置の異なる２つの画像信号を用いて被写体領域を抽出するようにしたが、本発明はこれに限らず、撮像面位置の異なる２つ以上の画像信号を用いて被写体領域を抽出するようにしてもよい。
【００９２】
【発明の効果】
上述のように本願発明によれば、画像を領域分割して所望の被写体領域を抽出する画像処理装置において、同一の被写体に対して、互いに異なる２つのフォーカスを用いて撮像することによって焦点が円形に拡散した錯乱円を有する第１の画像及び第２の画像を撮像する撮像手段と、第２の画像に対してそれぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第２の画像に対するそれぞれ異なる複数の第２の周波数成分を抽出し、第１の画像を遅延させた後それぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第１の画像に対するそれぞれ異なる複数の第１の周波数成分を抽出する周波数成分抽出手段と、同一中心周波数を有するバンドパスフィルタによって抽出された複数の第１の周波数成分及び複数の第２の周波数成分に対して第１の演算式を用いて演算することによって第１の画像に対応する複数の第１の錯乱円の直径及び第２の画像に対応する複数の第２の錯乱円の直径を算出する錯乱円直径算出手段と、複数の第１の錯乱円の直径及び複数の第２の錯乱円の直径に対して第２の演算式を両方用いて演算することによってレンズから被写体が合焦する撮像面位置までの合焦距離を複数算出し、当該合焦距離に対して第３の演算式を用いて演算することによってレンズから被写体までの複数の被写体距離を算出する被写体距離算出手段と、複数の被写体距離に対して予め設定された複数の閾値を用いることにより被写体領域を複数の領域に分割した複数のラベル画像を生成する領域分割手段とを設けるようにしたことにより、異なるフォーカスで撮像した第１の画像及び第２の画像に対してそれぞれ中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより得られた複数の錯乱円直径を用いて被写体距離が求められるので、複数の被写体距離を簡易な構成及び簡易な演算で精度よく算出でき、かくして簡易な演算で被写体領域分割処理をし得る画像処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像処理装置の全体構成を示すブロック図である。
【図２】周波数分析器の構成を示すブロック図である。
【図３】ラベル補正器の構成を示すブロック図である。
【図４】本発明の第２の実施の形態による画像処理装置の全体構成を示すブロック図である。
【図５】ＤＦＤの原理を示す略線図である。
【符号の説明】
１、２……画像処理装置、１０……撮像装置、１１……メモリ、１２Ａ〜１２Ｆ、１８Ａ〜１８Ｆ……周波数分析器、１３Ａ〜１３Ｃ……距離算出器、１４Ａ〜１４Ｃ……ラベル算出器、１５……ラベル補正器、１６Ａ〜１６Ｄ……ローパスフィルタ、１７Ａ〜１７Ｄ……ダウンサンプル器、２１……ハイパスフィルタ、２２Ａ〜２２Ｃ……ガボアフィルタ、２３Ａ〜２３Ｃ……絶対値算出器、２４……加算器。
【発明の属する技術分野】
本発明は画像処理装置及び画像処理方法に関し、例えば撮影した画像から被写体領域を抽出する画像処理装置及び画像処理方法に適用して好適なものである。
【０００２】
【従来の技術】
従来、撮影した画像から被写体領域を抽出する領域分割方法として、いくつかの方法が提案されており、それらは大分して２つの方法に分類される。
【０００３】
第１の方法は、１枚の画像を用いて領域分割を行う方法であり、例えば近傍の画素値の類似度に基づいて領域を分割する方法や、画像の色空間をクラスタリングして領域を分割する方法等がある。
【０００４】
第２の方法は、複数の画像から被写体の距離情報を算出し、当該距離情報に基づいて領域分割を行う方法である。
【０００５】
例えば、２つの撮像系で撮像した２枚の画像を用い、両眼視差に基づいて画像の奥行き情報を得て、当該奥行き情報に基づいて領域を分割する方法がある。この方法の場合、比較的精度の高い領域分割を行うことができるが、２つの撮像系が必要であり、また２枚の画像間での対応点を検出するために多くの演算が必要となる。
【０００６】
これに対して、１つの撮像系から得た複数の画像から画像の奥行き情報を得る方法として、ＤＦＤ（Depth From Defocus）と呼ばれる方法が一般に知られている。ＤＦＤは、画像のぼけ情報から被写体の距離を推定する方法であり、複数の撮像系を必要としないことや、複雑な演算を必要としないといった利点を有している。
【０００７】
このＤＦＤの原理を図５を用いて説明する。図５において、対象物体Ａまでの距離ａ０は、当該対象物体Ａが合焦する位置ｂ０が既知であれば、レンズＲの焦点距離ｆから、（１）式を用いて算出することができる。
【０００８】
【数１】
ＤＦＤにおいては、撮像面位置と対象物体Ａの合焦位置とが異なることを前提として、撮像面上に投影された像のぼけの程度から合焦位置ｂ０を求め、これを（１）式に代入することにより、対象物体Ａまでの距離ａ０を算出する。
【００１０】
いま、撮像面がｂ１にある場合、距離ａ０の物体表面上の点は撮像面上において錯乱円と呼ばれる円形に拡散し、（２）式で表される像ｉ１を形成する。
【００１１】
【数２】
ここで、＊は畳込演算を示す。またｈｄ１は拡散の状態を示す関数ＰＳＦ（Point Spread Function ：点広がり関数）であり、撮像面と合焦位置との距離ｂ０−ｂ１に比例する錯乱円直径ｄ１に依存する。そこで、錯乱円直径ｄ１をパラメータとするＰＳＦのモデルを仮定し、観測画像ｉ１から錯乱円直径ｄ１を推定する。但し（２）式からも分かるように、観測画像ｉ１は対象物体の像ｉ０に依存しているため、このままでは錯乱円直径ｄ１を求めることができない。
【００１３】
そこで、異なる撮像面位置ｂ２における観測画像ｉ２を撮像し、画像の周波数領域上における観測画像ｉ１と観測画像ｉ２との比を取ることにより、（３）式のように観測画像とＰＳＦの関係を導くことができる。
【００１４】
【数３】
ここで、Ｉ１、Ｉ２、Ｉ０、Ｈｄ１、Ｈｄ２はそれぞれ観測画像ｉ１及びｉ２、合焦画像ｉ０、ＰＳＦｈｄ１及びｈｄ２のフーリエ変換である。この（３）式と図５の幾何学的関係により、対象物体Ａに依存することなく錯乱円直径ｄ１及びｄ２を算出することができる。
【００１６】
【発明が解決しようとする課題】
このようにＤＦＤは、原理的に簡単な装置及び演算によって被写体までの距離を算出することが可能であるが、その一方で、ＰＳＦのモデル化や周波数分析の方法によって推定精度が制約されるという問題がある。
【００１７】
例えば、（３）式を用いて距離を推定するためには、ＰＳＦに具体的な関数を与える必要があるが、実際のＰＳＦはカメラのアイリス（絞り）形状に依存するため、一般に単純な関数で表すことは困難であり、またアイリス形状の精密なモデル化は、演算量の増大を招くことになるという問題がある。
【００１８】
また、（３）式における錯乱円直径と周波数成分の関係は周波数毎に変化するため、距離の推定精度を向上するためには高い周波数分解能で周波数成分を抽出する必要があるが、このことは演算量の増大を伴うとともに、空間分解能を犠牲にするという問題がある。
【００１９】
本発明は以上の点を考慮してなされたもので、簡易な構成で画像の領域分割を行い得る画像処理装置及び画像処理方法を提案しようとするものである。
【００２０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像を領域分割して所望の被写体領域を抽出する画像処理装置において、同一の被写体に対して、互いに異なる２つのフォーカスを用いて撮像することによって焦点が円形に拡散した錯乱円を有する第１の画像及び第２の画像を撮像する撮像手段と、第２の画像に対してそれぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第２の画像に対するそれぞれ異なる複数の第２の周波数成分を抽出し、第１の画像を遅延させた後それぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第１の画像に対するそれぞれ異なる複数の第１の周波数成分を抽出する周波数成分抽出手段と、同一中心周波数を有するバンドパスフィルタによって抽出された複数の第１の周波数成分及び複数の第２の周波数成分に対して第１の演算式を用いて演算することによって第１の画像に対応する複数の第１の錯乱円の直径及び第２の画像に対応する複数の第２の錯乱円の直径を算出する錯乱円直径算出手段と、複数の第１の錯乱円の直径及び複数の第２の錯乱円の直径に対して第２の演算式を両方用いて演算することによってレンズから被写体が合焦する撮像面位置までの合焦距離を複数算出し、当該合焦距離に対して第３の演算式を用いて演算することによってレンズから被写体までの複数の被写体距離を算出する被写体距離算出手段と、複数の被写体距離に対して予め設定された複数の閾値を用いることにより被写体領域を複数の領域に分割した複数のラベル画像を生成する領域分割手段とを設けた。
【００２２】
この結果、第１の画像及び第２の画像に対して複数の錯乱円直径が求められるので、複数の被写体距離を簡易な構成及び簡易な演算で精度よく算出でき、被写体距離に対応した被写体領域分割処理を行なうことができる。
【００２３】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２４】
（１）第１の実施の形態
（１−１）第１の実施の形態の構成
図１において、１は全体として本発明の第１の実施の形態による画像処理装置を示し、撮像手段としての撮像装置１０は、まず第１の撮像面位置で撮像対象を撮像し、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１に供給する。続いて撮像装置１０は第２の撮像面位置で撮像対象を撮像し、第２の画像信号ｉ２（ｘ，ｙ）を周波数分析器１２Ａ〜１２Ｃに供給する。
【００２５】
ここで、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）は輝度信号でなり、（ｘ，ｙ）は画像上の位置を表す座標である。また、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）はそれぞれ撮像面位置が異なるため、焦点ずれによるぼけの程度がそれぞれ異なる。
【００２６】
メモリ１１は第１の画像信号ｉ１（ｘ，ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）に同期して周波数分析器１２Ｄ〜１２Ｆに供給する。
【００２７】
周波数成分抽出手段としての周波数分析器１２Ａ、１２Ｂ及び１２Ｃは、それぞれ入力した第２の画像信号ｉ２（ｘ，ｙ）に対して固有の中心周波数でバンドパスフィルタ処理を施し、それぞれ画像上の各位置（ｘ，ｙ）に対応する周波数成分Ｉ２（ｘ，ｙ，ｗ０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２（ｘ，ｙ，ｗ２）を生成し、それぞれ対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００２８】
同様に周波数成分抽出手段としての周波数分析器１２Ｄ、１２Ｅ及び１２Ｆは、それぞれ入力した第１の画像信号ｉ１（ｘ，ｙ）に対して固有の中心周波数でバンドパスフィルタ処理を施し、それぞれ画像上の各位置（ｘ，ｙ）に対応する周波数成分Ｉ１（ｘ，ｙ，ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ２）を生成し、それぞれ対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００２９】
図２は周波数分析器１２Ａの構成を示し、他の周波数分析器１２Ｂ〜１２Ｆも同一の構成を有している。周波数分析器１２Ａにおいては、撮像装置１０から供給された第１の画像信号ｉ１（ｘ，ｙ）をハイパスフィルタ２１に入力する。ハイパスフィルタ２１は、第１の画像信号ｉ１（ｘ，ｙ）の直流成分を除去し、ガボアフィルタ２２Ａ〜２２Ｃに供給する。
【００３０】
ガボアフィルタ２２Ａ〜２２Ｃは、（４）式に示す２次元複素数正弦波関数と２次元ガウス関数の積によって構成される。
【００３１】
【数４】
このガボアフィルタ２２Ａ〜２２Ｃは、ガウス関数の標準偏差ｓで制限された局所領域内において、それぞれ異なる方向ｔａｎ-1（ｗｙ／ｗｘ）に沿って中心周波数ｗ＝（ｗｘ2 ＋ｗｙ2 ）1/2 で変化する周波数成分を第１の画像信号ｉ１（ｘ，ｙ）から抽出し、それぞれ対応する絶対値算出器２３Ａ〜２３Ｃに供給する。一般に、低い空間周波数成分を抽出するためには画像上においてより広い範囲の情報を用いる必要があるため、（４）式の標準偏差ｓは中心周波数ｗに応じて、（５）式のように与えられる。
【００３３】
【数５】
絶対値算出器２３Ａ〜２３Ｃは、それぞれ入力した周波数成分を絶対値化し、加算器２４に供給する。加算器２４は、絶対値算出器２３Ａ〜２３Ｃから入力した、それぞれ方向性の異なる周波数成分を加算し、かくして周波数分析器１２Ａは角周波数ｗの周波数成分Ｉ２（ｘ，ｙ，ｗ０）を生成して距離算出器１３Ａ（図１）に供給する。
【００３５】
図１において、周波数成分比較手段としての距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ入力した撮像面位置の異なる２つの周波数成分Ｉ１（ｘ，ｙ，ｗ０）及びＩ２（ｘ，ｙ，ｗ０）から、（６）式に基づいて、第１の撮像面位置に対応する第１の錯乱円直径ｄ１（ｘ，ｙ）及び第２の撮像面位置に対応する第２の錯乱円直径ｄ２（ｘ，ｙ）を算出する。
【００３６】
【数６】
ここで、ｍはｎ＝１のときｍ＝２、ｎ＝２のときｍ＝１となる整数である。またｂｎはレンズから撮像面までの距離、Ｄはアイリスの直径であり、これらは予め既知な値である。
【００３８】
また、ｒ（ｘ，ｙ）は各画像の周波数成分Ｉ１（ｘ，ｙ，ｗ０），Ｉ２（ｘ，ｙ，ｗ０）に依存した値であり、焦点ずれによるぼけのＰＳＦを（７）式のガウス関数で近似し、またガウス関数の標準偏差ｓのｐ倍を錯乱円の半径と定義することにより、（８）式で与えられる。
【００３９】
【数７】
【数８】
そして距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ（６）式で得られた錯乱円直径を図５から求まる（９）式に代入することにより画像上の位置（ｘ，ｙ）に投影された被写体が合焦する撮像面位置ｂ０を算出する。
【００４２】
【数９】
さらに距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ撮像面位置ｂ０を（１）式に代入することにより被写体距離ａ０（ｘ，ｙ）を算出し、それぞれ対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給する。
【００４４】
領域分割手段としてのラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離ａ０（ｘ，ｙ）に対して予め設定された閾値を用いて閾値処理し、その結果に基づいて、画像上の各点（ｘ，ｙ）に対して領域を表すラベルを貼り付けてラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を生成し、ラベル補正器１５に供給する。
【００４５】
例えば、閾値としてＴ０、Ｔ１、Ｔ２、……（Ｔ０＜Ｔ１＜Ｔ２……）が与えられている場合、ラベル画像Ｌ（ｘ，ｙ，ｗｋ）は次式で与えられる。
【００４６】
【数１０】
領域分割手段としてのラベル補正器１５は、それぞれ異なる中心周波数に基づいて得られたラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ，）を生成する。
【００４８】
図３はラベル補正器１５を示し、ラベル修正器１５Ａ及び１５Ｂで構成される。ラベル修正器１５Ａ及び１５Ｂは、ある中心周波数ｗｋに対応したラベル画像Ｌ（ｘ，ｙ，ｗｋ）の各位置におけるラベルを（１１）式を用いて修正し、修正ラベル画像Ｌ’（ｘ，ｙ，ｗｋ）を生成する。
【００４９】
【数１１】
ラベル修正器１５Ａ及び１５Ｂは、ある中心周波数ｗｋに対応したラベル画像Ｌ（ｘ，ｙ，ｗｋ）に対して、中心周波数が一段階低い修正済みのラベル画像Ｌ’（ｘ，ｙ，ｗｋ＋１）を調べ、局所領域Ｒ内の単一のラベルのみが存在する位置（ｘ’，ｙ’）を検出してＬ（ｘ’，ｙ’，ｗｋ）の値をＬ’（ｘ’，ｙ’，ｗｋ＋１）で置き換える。ラベル補正器１５は、ラベル修正器１５Ａ及び１５Ｂによってこの修正を中心周波数の低いラベル画像から順次繰り返し、最終的に得られた修正ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を、領域分割の結果としてのラベル画像Ｌ（ｘ，ｙ）として出力する。なお、最低中心周波数ｗＮ（本実施例の場合はｗＮ＝ｗ２）に対する修正ラベル画像は、Ｌ’（ｘ，ｙ，ｗＮ）＝Ｌ（ｘ，ｙ，ｗＮ）として与えられる。
【００５１】
すなわちラベル修正器１５Ａはラベル画像Ｌ（ｘ，ｙ，ｗ１）に対して、修正ラベル画像Ｌ’（ｘ，ｙ，ｗ２）を調べて局所領域Ｒ内の単一のラベルのみが存在する位置（ｘ’，ｙ’）を検出し、Ｌ（ｘ’，ｙ’，ｗ１）の値をＬ’（ｘ’，ｙ’，ｗ２）で置き換えて修正ラベル画像Ｌ’（ｘ，ｙ，ｗ１）を生成し、これをラベル修正器１５Ｂに供給する。
【００５２】
ラベル修正器１５Ｂはラベル画像Ｌ（ｘ，ｙ，ｗ０）に対して、修正ラベル画像Ｌ’（ｘ，ｙ，ｗ１）を調べて局所領域Ｒ内の単一のラベルのみが存在する位置（ｘ’，ｙ’）を検出し、Ｌ（ｘ’，ｙ’，ｗ０）の値をＬ’（ｘ’，ｙ’，ｗ０）で置き換えて修正ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を生成し、これをラベル画像Ｌ（ｘ，ｙ）として出力する。
【００５３】
かくして画像処理装置１は、撮像装置１０で撮像して得られた第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）について、被写体までの距離に基づいて画像の領域を分割してラベル画像Ｌ（ｘ，ｙ）を生成する。
【００５４】
（１−２）第１の実施の形態の動作及び効果
以上の構成において、画像処理装置１は、撮像装置１０によって撮像対象を２つの異なる撮像面位置で撮像し、焦点ずれによるぼけの程度が異なる第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生成する。
【００５５】
周波数分析器１２Ａ、１２Ｂ及び１２Ｃは、第２の画像信号ｉ２（ｘ，ｙ）に対して、ハイパスフィルタ２１及びガボアフィルタ２２Ａ〜２２Ｃを用いてそれぞれ異なる中心周波数でバンドパスフィルタ処理を施して周波数成分を抽出し、それぞれ周波数成分Ｉ２（ｘ，ｙ，ｗ０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２（ｘ，ｙ，ｗ２）を生成して対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００５６】
また周波数分析器１２Ｄ、１２Ｅ及び１２Ｆは、第１の画像信号ｉ１（ｘ，ｙ）に対してそれぞれ異なる中心周波数でバンドパスフィルタ処理を施して周波数成分を抽出し、それぞれ周波数成分Ｉ１（ｘ，ｙ，ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ２）を生成して対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００５７】
距離算出器１３Ａ、１３Ｂ及び１３Ｃは、撮像面位置が異なる２つの画像信号から同一の中心周波数で抽出された２つの周波数成分を用いて画像上の各位置におけるぼけの錯乱円直径を算出し、当該錯乱円直径に基づいて画像上の各位置の被写体距離ａ０（ｘ，ｙ）を算出し、それぞれ対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給する。
【００５８】
ラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ被写体距離ａ０（ｘ，ｙ）に対して予め設定された閾値を用いて閾値処理し、画像上の各点に対して領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を生成し、ラベル補正器１５に供給する。
【００５９】
ラベル補正器１５は、それぞれ異なる中心周波数に基づいて得られたラベル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成する。
【００６０】
以上の構成によれば、異なる撮像面位置で撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に対してバンドパスフィルタ処理を施して周波数成分を抽出し、当該周波数成分を用いて画像上の各位置における被写体距離を算出した後当該被写体距離を閾値処理することにより、簡易な構成及び簡易な演算で被写体領域分割処理を行うことができる。
【００６１】
（２）第２の実施の形態
（２−１）第２の実施の形態の構成
図１において、２は全体として本発明の第２の実施の形態による画像処理装置を示し、ローパスフィルタ１６Ａ〜１６Ｄ及びダウンサンプル器１７Ａ〜１７Ｄを有していること、及び周波数分析器１８Ａ〜１８Ｆ内のガボアフィルタが全て同一の中心周波数ｗを有していること以外は、第１の実施の形態による画像処理装置１と同一である。
【００６２】
撮像手段としての撮像装置１０は、まず第１の撮像面位置で撮像対象を撮像し、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１に供給する。続いて撮像装置１０は第２の撮像面位置で撮像対象を撮像し、第２の画像信号ｉ２（ｘ，ｙ）を周波数分析器１８Ａ及びローパスフィルタ１６Ａに供給する。
【００６３】
ローパスフィルタ１６Ａは、第２の画像信号ｉ２（ｘ，ｙ）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ａに出力する。ダウンサンプル器１７Ａは、第２の画像信号ｉ２（ｘ，ｙ）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ２（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｂ及びローパスフィルタ１６Ｂに供給する。ここでローパスフィルタ１６Ａは、第２の画像信号ｉ２（ｘ，ｙ）の高周波成分を削減することにより、ダウンサンプル器１７Ａにおける間引き処理によるエリアシングの発生を回避する。
【００６４】
同様にローパスフィルタ１６Ｂは、間引き画像信号ｉ２（ｘ／２，ｙ／２）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ｂに出力する。ダウンサンプル器１７Ｂは、間引き画像信号ｉ２（ｘ／２，ｙ／２）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ２（ｘ／４，ｙ／４）を生成し、周波数分析器１８Ｃに供給する。
【００６５】
周波数成分抽出手段としての周波数分析器１８Ａ、１８Ｂ及び１８Ｃは、それぞれ入力した第２の画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ２（ｘ／２，ｙ／２）及び間引き画像信号ｉ２（ｘ／４，ｙ／４）に対して同一の中心周波数ｗでバンドパスフィルタ処理を施し、それぞれ周波数成分Ｉ２（ｘ，ｙ，ｗ）、Ｉ２（ｘ／２，ｙ／２，ｗ）及びＩ２（ｘ／４，ｙ／４，ｗ）を生成して対応する距離算出器１３Ａ、１３Ｂ及び１３に供給する。
【００６６】
ここで、周波数分析器１８Ｂに供給される間引き画像信号ｉ２（ｘ／２，ｙ／２）は、周波数分析器１８Ａに供給される第２の画像信号ｉ２（ｘ，ｙ）に比べて、垂直及び水平方向について１／２の画素数となっている。このため周波数分析器１８Ｂは、等価的にｗ／２の周波数成分を抽出することになる。同様に、周波数分析器１８Ｃに供給される間引き画像信号ｉ２（ｘ／４，ｙ／４）は、周波数分析器１８Ａに供給される第２の画像信号ｉ２（ｘ，ｙ）に比べて、垂直及び水平方向について１／４の画素数となっている。このため周波数分析器１８Ｃは、等価的にｗ／４の周波数成分を抽出することになる。
【００６７】
すなわち、周波数分析器１８Ａを０段目とし、周波数分析器１８Ｂを１段目とすると、ｋ段目の周波数分析器はｗｋ＝ｗ／２k の周波数成分を抽出する。
【００６８】
ここで、間引き画像信号ｉ２（ｘ／２，ｙ／２）は第２の画像信号ｉ２（ｘ，ｙ）に比べて垂直及び水平方向に１／２の画素数であるから、周波数分析器１８Ｂは周波数分析器１８Ａに比べて周波数成分の算出における演算量が少なくなり、同様に周波数分析器１８Ｃは周波数分析器１８Ｂに比べて周波数成分の算出における演算量が少なくなる。このため画像処理装置２は、第１の実施の形態の画像処理装置１に比べて少ない演算量で同一の処理を行うことができる。
【００６９】
一方、メモリ１１は、第１の画像信号ｉ１（ｘ，ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）に同期して周波数分析器１８Ｄ及びローパスフィルタ１６Ｃに供給する。
【００７０】
ローパスフィルタ１６Ｃは、第１の画像信号ｉ１（ｘ，ｙ）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ｃに出力する。ダウンサンプル器１７Ｃは、第１の画像信号ｉ１（ｘ，ｙ）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ１（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｅ及びローパスフィルタ１６Ｄに供給する。
【００７１】
同様にローパスフィルタ１６Ｄは、間引き画像信号ｉ１（ｘ／２，ｙ／２）に対して固有の周波数でローパスフィルタ処理を施して高周波成分を削減し、ダウンサンプル器１７Ｄに出力する。ダウンサンプル器１７Ｄは、間引き画像信号ｉ１（ｘ／２，ｙ／２）に対して垂直及び水平方向について１画素おきの間引き処理を行って間引き画像信号ｉ１（ｘ／４，ｙ／４）を生成し、周波数分析器１８Ｆに供給する。
【００７２】
周波数成分抽出手段としての周波数分析器１８Ｄ、１８Ｅ及び１８Ｆは、それぞれ入力した第１の画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ１（ｘ／２，ｙ／２）及び間引き画像信号ｉ１（ｘ／４，ｙ／４）に対して同一の中心周波数ｗでバンドパスフィルタ処理を施し、それぞれ周波数成分Ｉ１（ｘ，ｙ，ｗ）、Ｉ１（ｘ／２，ｙ／２，ｗ）及びＩ１（ｘ／４，ｙ／４，ｗ）を生成し、対応する周波数成分比較手段としての距離算出器１３Ａ、１３Ｂ及び１３に供給する。
【００７３】
距離算出器１３Ａは、周波数成分Ｉ１（ｘ，ｙ，ｗ）及びＩ２（ｘ，ｙ，ｗ）に基づいて被写体距離ａ０（ｘ，ｙ）を算出し、ラベル算出器１４Ａに供給する。
【００７４】
また距離算出器１３Ｂは、周波数成分Ｉ１（ｘ／２，ｙ／２，ｗ）及び周波数成分Ｉ２（ｘ／２，ｙ／２，ｗ）に基づいて被写体距離ａ０（ｘ／２，ｙ／２）を算出し、ラベル算出器１４Ｂに供給する。
【００７５】
同様に距離算出器１３Ｃは、周波数成分Ｉ１（ｘ／４，ｙ／４，ｗ）及び周波数成分Ｉ２（ｘ／４，ｙ／４，ｗ）に基づいて被写体距離ａ０（ｘ／４，ｙ／４）を算出し、ラベル算出器１４Ｃに供給する。
【００７６】
領域分割手段としてのラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／４）に対して予め設定された閾値を用いて閾値処理し、その結果に基づいて、画像上の各点に対して領域を表すラベルを貼り付けてラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を生成し、ラベル補正器１５に供給する。
【００７７】
領域分割手段としてのラベル補正器１５は、ラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成する。
【００７８】
ここでラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）は、ダウンサンプル器１６Ａ〜１６Ｄによる間引き処理によって、それぞれ画素数が異なる。このためラベル補正器１５は各ラベル画像の画素数の違いを考慮して、（１２）式を用いてラベルの修正を行いラベル画像Ｌ（ｘ，ｙ）を生成する。
【００７９】
【数１２】
（２−２）第２の実施の形態の動作及び効果
以上の構成において、画像処理装置２は、撮像装置１０によって撮像対象を２つの異なる撮像面位置で撮像し、焦点ずれによるぼけの程度が異なる第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生成する。
【００８１】
そして画像処理装置２は、第２の画像信号ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそれぞれ対応する周波数分析器１８Ａ及び１８Ｄに供給するとともに、第２の画像信号ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／２に間引き処理して対応する周波数分析器１８Ｂ及び１８Ｅに供給し、さらに第２の画像信号ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／４に間引き処理して対応する周波数分析器１８Ｃ及び１８Ｆに供給する。
【００８２】
周波数分析器１８Ａ〜１８Ｆは、それぞれ画像信号に対して同一の中心周波数でバンドパスフィルタ処理を施して周波数成分を抽出し、対応する距離算出器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００８３】
距離算出器１３Ａ、１３Ｂ及び１３Ｃは、撮像面位置が異なる２つの画像信号から同一の中心周波数で抽出された２つの周波数成分を用いて画像上の各位置におけるぼけの錯乱円直径を算出し、当該錯乱円直径に基づいて画像上の各位置の被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／４）を算出し、それぞれ対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給する。
【００８４】
ラベル算出器１４Ａ、１４Ｂ及び１４Ｃは、それぞれ被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／４）に対して予め設定された閾値を用いて閾値処理し、画像上の各点に対して領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を生成し、ラベル補正器１５に供給する。
【００８５】
ラベル補正器１５は、それぞれ異なる画素数のラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）をを統合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成する。
【００８６】
以上の構成によれば、異なる撮像面位置で撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）をそれぞれ縦横１／２及び１／４に間引き処理して周波数成分を抽出し、当該周波数成分を用いて画像上の各位置における被写体距離を算出した後当該被写体距離を閾値処理することにより、周波数成分抽出処理の演算量を削減し、簡易な構成及び簡易な演算で被写体領域分割処理を行うことができる。
【００８７】
（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、輝度信号でなる第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に基づいて被写体領域分割を行うようにしたが、本発明はこれに限らず、カラー信号に基づいて被写体領域分割を行うようにしても良い。
【００８８】
また上述の第１及び第２の実施の形態においては、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１で遅延し、第２の画像信号ｉ２（ｘ，ｙ）に同期して後段の周波数分析器に供給するようにしたが、本発明はこれに限らず、ブロックマッチング方法等による画像の位置ずれ補正手段をメモリ１１と後段の周波数分析器の間に設け、撮像時における手ぶれ等による、第１の画像信号ｉ１（ｘ，ｙ）と第２の画像信号ｉ２（ｘ，ｙ）との位置ずれを補正するようにしても良い。
【００８９】
また上述の第１及び第２の実施の形態においては、距離算出器で算出した被写体距離について複数の閾値で閾値処理し、画像を複数の領域に分割したが、本発明はこれに限らず、距離算出器で算出した被写体距離について、一つの閾値で閾値処理し、画像を背景領域及び被写体領域に分割するようにしても良い。
【００９０】
さらに上述の第１及び第２の実施の形態においては、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に対して、それぞれ３つの周波数分析器で周波数成分を抽出するようにしたが、本発明はこれに限らず、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）に対してそれぞれ２つの周波数分析器で周波数成分を抽出したり、あるいはそれぞれ３つ以上の周波数分析器で周波数成分を抽出するようにしても良い。
【００９１】
さらに上述の第１及び第２の実施の形態においては、撮像面位置の異なる２つの画像信号を用いて被写体領域を抽出するようにしたが、本発明はこれに限らず、撮像面位置の異なる２つ以上の画像信号を用いて被写体領域を抽出するようにしてもよい。
【００９２】
【発明の効果】
上述のように本願発明によれば、画像を領域分割して所望の被写体領域を抽出する画像処理装置において、同一の被写体に対して、互いに異なる２つのフォーカスを用いて撮像することによって焦点が円形に拡散した錯乱円を有する第１の画像及び第２の画像を撮像する撮像手段と、第２の画像に対してそれぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第２の画像に対するそれぞれ異なる複数の第２の周波数成分を抽出し、第１の画像を遅延させた後それぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより第１の画像に対するそれぞれ異なる複数の第１の周波数成分を抽出する周波数成分抽出手段と、同一中心周波数を有するバンドパスフィルタによって抽出された複数の第１の周波数成分及び複数の第２の周波数成分に対して第１の演算式を用いて演算することによって第１の画像に対応する複数の第１の錯乱円の直径及び第２の画像に対応する複数の第２の錯乱円の直径を算出する錯乱円直径算出手段と、複数の第１の錯乱円の直径及び複数の第２の錯乱円の直径に対して第２の演算式を両方用いて演算することによってレンズから被写体が合焦する撮像面位置までの合焦距離を複数算出し、当該合焦距離に対して第３の演算式を用いて演算することによってレンズから被写体までの複数の被写体距離を算出する被写体距離算出手段と、複数の被写体距離に対して予め設定された複数の閾値を用いることにより被写体領域を複数の領域に分割した複数のラベル画像を生成する領域分割手段とを設けるようにしたことにより、異なるフォーカスで撮像した第１の画像及び第２の画像に対してそれぞれ中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより得られた複数の錯乱円直径を用いて被写体距離が求められるので、複数の被写体距離を簡易な構成及び簡易な演算で精度よく算出でき、かくして簡易な演算で被写体領域分割処理をし得る画像処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像処理装置の全体構成を示すブロック図である。
【図２】周波数分析器の構成を示すブロック図である。
【図３】ラベル補正器の構成を示すブロック図である。
【図４】本発明の第２の実施の形態による画像処理装置の全体構成を示すブロック図である。
【図５】ＤＦＤの原理を示す略線図である。
【符号の説明】
１、２……画像処理装置、１０……撮像装置、１１……メモリ、１２Ａ〜１２Ｆ、１８Ａ〜１８Ｆ……周波数分析器、１３Ａ〜１３Ｃ……距離算出器、１４Ａ〜１４Ｃ……ラベル算出器、１５……ラベル補正器、１６Ａ〜１６Ｄ……ローパスフィルタ、１７Ａ〜１７Ｄ……ダウンサンプル器、２１……ハイパスフィルタ、２２Ａ〜２２Ｃ……ガボアフィルタ、２３Ａ〜２３Ｃ……絶対値算出器、２４……加算器。
Claims (3)
- 画像を領域分割して所望の被写体領域を抽出する画像処理装置において、
同一の被写体に対して、互いに異なる２つのフォーカスを用いて撮像することによって焦点が円形に拡散した錯乱円を有する第１の画像及び第２の画像を撮像する撮像手段と、
上記第２の画像に対してそれぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより上記第２の画像に対するそれぞれ異なる複数の第２の周波数成分を抽出し、上記第１の画像を遅延させた後それぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより上記第１の画像に対するそれぞれ異なる複数の第１の周波数成分を抽出する周波数成分抽出手段と、
同一中心周波数を有する上記バンドパスフィルタによって抽出された上記複数の第１の周波数成分及び上記複数の第２の周波数成分に対して第１の演算式（１）を用いて演算することによって上記第１の画像に対応する複数の第１の錯乱円の直径ｄ１及び上記第２の画像に対応する複数の第２の錯乱円の直径ｄ２を算出する錯乱円直径算出手段と、
ｍはｎ=１のときｍ=２,ｎ=２のときｍ=１となる整数
ｂnはレンズから撮像面までの距離
ｕ=ｂ２−ｂ１、ｖ=ｂ２＋ｂ１
Ｄ：レンズの絞り直径
r:第１の周波数成分及び第２の周波数成分に依存する値
上記複数の第１の錯乱円の直径及び上記複数の第２の錯乱円の直径に対して第２の演算式（２）を両方用いて演算することによってレンズから上記被写体が合焦する撮像面位置までの合焦距離（ｂ０）を複数算出し、当該合焦距離に対して第３の演算式（３）を用いて演算することによって上記レンズから上記被写体までの複数の被写体距離（a０）を算出する被写体距離算出手段と、
ｂ１、ｂ２：レンズから撮像面までの距離
ｂ０：合焦距離
Ｄ：レンズの絞り直径
ａ０：レンズから被写体までの距離
ｂ０：合焦距離
上記複数の被写体距離に対して予め設定された複数の閾値を用いることにより被写体領域を複数の領域に分割した複数のラベル画像を生成する領域分割手段と
を具える画像処理装置。 - 上記領域分割手段は、上記被写体距離算出手段によって算出された上記被写体距離に対し所定の１つの閾値を用いて上記ラベル画像を生成することにより、上記被写体領域と背景領域とに分割する
請求項１に記載の画像処理装置。 - 画像を領域分割して所望の被写体領域を抽出する画像処理方法において、
同一の被写体に対して、互いに異なる２つのフォーカスを用いて撮像することによって焦点が円形に拡散した錯乱円を有する第１の画像及び第２の画像を撮像する撮像ステップと、
上記第２の画像に対してそれぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより上記第２の画像に対するそれぞれ異なる複数の第２の周波数成分を抽出し、上記第１の画像を遅延させた後それぞれ互いに中心周波数の異なる複数のバンドパスフィルタによるフィルタリングを施すことにより上記第１の画像に対するそれぞれ異なる複数の第１の周波数成分を抽出する周波数成分抽出ステップと、
同一中心周波数を有する上記バンドパスフィルタによって抽出された上記複数の第１の周波数成分及び上記複数の第２の周波数成分に対して第１の演算式（１）を用いて演算することによって上記第１の画像に対応する複数の第１の錯乱円の直径ｄ１及び上記第２の画像に対応する複数の第２の錯乱円の直径ｄ２を算出する錯乱円直径算出ステップと、
ｍはｎ=１のときｍ=２,ｎ=２のときｍ=１となる整数
ｂnはレンズから撮像面までの距離
ｕ=ｂ２−ｂ１、ｖ=ｂ２＋ｂ１
Ｄ:レンズの絞り直径
r:第１の周波数成分及び第２の周波数成分に依存する値
上記複数の第１の錯乱円の直径及び上記複数の第２の錯乱円の直径に対して第２の演算式（２）を両方用いて演算することによってレンズから上記被写体が合焦する撮像面位置までの合焦距離（ｂ０）を複数算出し、当該合焦距離に対して第３の演算式（３）を用いて演算することによって上記レンズから上記被写体までの複数の被写体距離（a０）を算出する被写体距離算出ステップと、
ｂ１、ｂ２：レンズから撮像面までの距離
ｂ０：合焦距離
Ｄ：レンズの絞り直径
ａ０：レンズから被写体までの距離
ｂ０：合焦距離
上記複数の被写体距離に対して予め設定された複数の閾値を用いることにより被写体領域を複数の領域に分割した複数のラベル画像を生成する領域分割ステップと
を有する画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000021814A JP4403477B2 (ja) | 2000-01-26 | 2000-01-26 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000021814A JP4403477B2 (ja) | 2000-01-26 | 2000-01-26 | 画像処理装置及び画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001208524A JP2001208524A (ja) | 2001-08-03 |
| JP2001208524A5 JP2001208524A5 (ja) | 2006-12-14 |
| JP4403477B2 true JP4403477B2 (ja) | 2010-01-27 |
Family
ID=18548177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000021814A Expired - Fee Related JP4403477B2 (ja) | 2000-01-26 | 2000-01-26 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4403477B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014021238A1 (en) | 2012-07-31 | 2014-02-06 | Canon Kabushiki Kaisha | Image pickup apparatus, depth information acquisition method and program |
| US9451216B2 (en) | 2012-08-31 | 2016-09-20 | Canon Kabushiki Kaisha | Distance calculating apparatus, image pick-up apparatus using the same, distance calculating method, program for realizing distance calculation, and storage medium having the program stored thereon |
| US9710913B2 (en) | 2014-04-18 | 2017-07-18 | Canon Kabushiki Kaisha | Image processing apparatus that forms distance image and control method thereof, as well as storage medium |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69812591T2 (de) * | 1998-05-20 | 2004-03-25 | Texas Instruments France | Autostereoskopische Anzeigevorrichtung |
| US7369686B2 (en) | 2001-08-23 | 2008-05-06 | Sony Corporation | Robot apparatus, face recognition method, and face recognition apparatus |
| JP2009080076A (ja) * | 2007-09-27 | 2009-04-16 | Nippon Steel Corp | 成形品の形状評価方法及び装置 |
| US8149319B2 (en) * | 2007-12-03 | 2012-04-03 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems for color-correlated objects |
| US8229172B2 (en) * | 2009-12-16 | 2012-07-24 | Sony Corporation | Algorithms for estimating precise and relative object distances in a scene |
| US9117277B2 (en) | 2012-04-04 | 2015-08-25 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| JP6214183B2 (ja) | 2012-05-11 | 2017-10-18 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
| JP5932476B2 (ja) * | 2012-05-17 | 2016-06-08 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム |
| JP6075835B2 (ja) * | 2012-08-27 | 2017-02-08 | キヤノン株式会社 | 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム |
| JP2015036632A (ja) * | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法 |
| JP6429444B2 (ja) * | 2013-10-02 | 2018-11-28 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| KR101600183B1 (ko) * | 2014-07-08 | 2016-03-04 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 깊이 정보를 추출하는 방법 및 장치 |
| JP6399517B2 (ja) * | 2014-12-16 | 2018-10-03 | 東洋ゴム工業株式会社 | 流体計測方法、流体計測装置、流体計測用データ生成方法、流体計測用データ生成装置、及びコンピュータプログラム |
-
2000
- 2000-01-26 JP JP2000021814A patent/JP4403477B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014021238A1 (en) | 2012-07-31 | 2014-02-06 | Canon Kabushiki Kaisha | Image pickup apparatus, depth information acquisition method and program |
| US9762788B2 (en) | 2012-07-31 | 2017-09-12 | Canon Kabushiki Kaisha | Image pickup apparatus, depth information acquisition method and program |
| US9451216B2 (en) | 2012-08-31 | 2016-09-20 | Canon Kabushiki Kaisha | Distance calculating apparatus, image pick-up apparatus using the same, distance calculating method, program for realizing distance calculation, and storage medium having the program stored thereon |
| US9710913B2 (en) | 2014-04-18 | 2017-07-18 | Canon Kabushiki Kaisha | Image processing apparatus that forms distance image and control method thereof, as well as storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001208524A (ja) | 2001-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403477B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| EP2711891B1 (en) | Stereo image processing device and stereo image processing method | |
| JP5810314B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| KR100938195B1 (ko) | 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법 | |
| US20110043691A1 (en) | Method for synchronizing video streams | |
| US20160224866A1 (en) | Imaging device and phase difference detection method | |
| US10009594B2 (en) | Stereo image processing device and stereo image processing method | |
| TWI672675B (zh) | 深度處理裝置 | |
| JP6091318B2 (ja) | 測距装置およびその制御方法 | |
| CA3206206A1 (en) | Device and method for correspondence analysis in images | |
| KR20190033037A (ko) | 이미징 시스템의 점 확산 함수를 결정하는 방법 | |
| JP2007074079A (ja) | 画像入力装置 | |
| WO2012060093A1 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
| EP2657901A1 (en) | Stereo image processing apparatus and stereo image processing method | |
| US20160301855A1 (en) | Imaging device and phase difference detection method | |
| EP3208773B1 (en) | Disparity-to-depth calibration for plenoptic imaging systems | |
| JP2015186170A (ja) | 画像処理装置および画像処理方法 | |
| US9329272B2 (en) | 3D camera and method of image processing 3D images | |
| JP2022159253A (ja) | フレームカメラへのイベントカメラの画素ごとの登録の方法 | |
| JP2000283753A (ja) | ステレオ画像による測距装置 | |
| JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
| Chen et al. | Recovering depth from a single image using spectral energy of the defocused step edge gradient | |
| JP2016156702A (ja) | 撮像装置および撮像方法 | |
| JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081002 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090625 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091008 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091021 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |