JP5281972B2 - 撮像装置 - Google Patents

Description

本発明は、被写界の距離情報を用いて画素領域を抽出する撮像装置に関する。

従来より、被写界を撮像して得られた画像の中から主要被写体を抽出する技術は、種々のものが提案されている。

このような技術の第１の従来例としてとしては、画像において主要被写体が占める大まかな画素領域をユーザー自らが指定することにより抽出し、次に、抽出された画素領域の中から指定された背景色を例えば自動処理で取り除くことにより、残った領域を主要被写体の領域とする技術が挙げられる。

また、第２の従来例として、画像のエッジ強度を算出して被写体の輪郭を推定し、推定した輪郭の内部を主要被写体とし、輪郭の外部を主要被写体以外として、主要被写体のみを抽出する技術が挙げられる。

一方、上述したような技術に代わる他の技術として、例えば特許第３８９７０８７号には、撮像対象となる被写界全体の距離情報（奥行き分布情報）を取得して、撮像データ中の特定の距離領域に相当する被写体領域を主要被写体として認識する技術が提案されている。

ところで、デジタルカメラなどの撮像装置において、撮影シーンの距離情報取得を安価に実現することができるシステムとして、ＤＦＤ（Depth from Defocus）方式のシステムが提案されている。このＤＦＤ方式について詳しく記載した文献としては、例えば、「M. Subbarao and G. Surya, "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994.」が挙げられる。
特許第３８９７０８７号 「M. Subbarao and G. Surya, "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994.」

上記第１の従来例は、主要被写体以外の領域を正確に取り除くためには、主要被写体以外の領域がほぼ均一な背景色に対応する画素値をとる必要がある。従って、この技術は、画像に主要被写体以外の各種の形状や色や模様を備える被写体が写っていると、主要被写体のみを正確に抽出することが困難であった。すなわち、色に依拠した主要被写体の抽出は、必ずしも正確な抽出を行うことができない場合があった。

また、上記第２の従来例は、主要被写体とそれ以外の領域とのコントラストが低いと、主要被写体の輪郭を正確に取得することが困難であった。さらに、この第２の従来例では、主要被写体以外の領域に輪郭成分を持つ別の被写体が存在していると、やはり主要被写体の輪郭のみを正確に取得することは困難であった。したがって、これらのような場合には、主要被写体のみを正確に抽出することは困難となっていた。

一方、上記特許第３８９７０８７号に記載されたような技術は、上記第１の従来例や第２の従来例の課題を解決したものであって汎用的な条件の下で利用できると紹介されているが、特定距離領域を指定して主要被写体を抽出することを、ユーザーがいかに直感的に簡易な操作で行うか、という点に関しては考慮されていなかった。

本発明は上記事情に鑑みてなされたものであり、直感的に簡単な操作で特定距離領域を指定して所望の被写体を抽出することができる撮像装置を提供することを目的としている。

上記の目的を達成するために、本発明の第１の態様による撮像装置は、被写界の撮像データを取得する撮像部と、前記被写界の距離情報を、前記撮像データを構成する画素と関連付けて取得し、距離に対する画素の出現頻度を示す距離分布図を作成する距離情報取得部と、前記撮像データを表示する撮像データ表示部と、前記距離分布図を表示する距離分布図表示部と、を互いに近傍に配置した比較表示部と、前記距離情報として取得された距離の内の最短距離以上最遠距離以下の範囲の全距離領域に含まれるある距離を基点距離として設定する基点距離設定部と、前記基点距離を含む対象距離領域を、前記全距離領域の範囲内において、該基点距離を含んだまま拡大または縮小可能に設定するための対象距離領域設定部と、前記対象距離領域を前記距離分布図表示部に表示させるように制御するものであり、該表示制御を前記対象距離領域設定部により前記対象距離領域が変更されるのに同期して行う対象距離領域表示制御部と、前記関連付けられた距離が前記対象距離領域に含まれる画素である対象画素を、該対象距離領域に含まれない画素とは区別可能に、前記撮像データ表示部に対象画素領域として表示させるように制御するものであり、該表示制御を前記対象距離領域設定部により前記対象距離領域が変更されるのに同期して行う対象画素領域表示制御部と、前記撮像データから前記対象画素領域を抽出する対象画素領域抽出部と、を具備したものである。

第１の態様による撮像装置によれば、距離分布図表示部上において基点距離を含む対象距離領域を変更することができ、さらに対象距離領域の変更に同期して対象画素領域を撮像データ表示部に表示するようにしたために、直感的に簡単な操作で特定距離領域を指定して所望の被写体を抽出することが可能となる。

また、本発明の第２の態様による撮像装置は、上記第１の態様による撮像装置において、前記比較表示部は、カラー表示可能であって、前記対象画素領域表示制御部は、前記対象画素領域の画素値を所定の色に置き換えて表示することにより、該対象画素領域を該対象画素領域以外と区別可能に表示するものである。

第２の態様による撮像装置によれば、さらに、対象画素領域を所定の色で表示するようにしたために、抽出されようとしている領域を一目で認識することが可能となる。

さらに、本発明の第３の態様による撮像装置は、上記第１の態様による撮像装置において、前記対象画素領域を、空間的に連続する対象画素のみを全て含む区分領域であって、他の区分領域とは空間的に独立した区分領域に区分するための対象画素領域区分部と、前記区分領域の一つ以上を前記撮像データ上において指定するための区分領域指定部と、をさらに備え、前記対象画素領域抽出部は、指定された前記区分領域を前記撮像データから抽出するものである。

第３の態様による撮像装置によれば、さらに、略同一の距離に複数の被写体が存在する場合であっても、所望の被写体のみを抽出対象として容易に選択することが可能となる。

本発明の第４の態様による撮像装置は、上記第１の態様による撮像装置において、前記比較表示部は、抽出された前記対象画素領域のみを表示する抽出画像表示部を、前記撮像データ表示部および前記距離分布図表示部の近傍にさらに配置したものである。

第４の態様による撮像装置によれば、さらに、比較表示部が距離分布図と撮像データと抽出画像とを同時に表示するために、より直感的で精度の高い所望被写体の抽出が可能となる。

本発明の第５の態様による撮像装置は、上記第１から第４の態様による撮像装置において、前記撮像部は、光学系と、前記光学系により結像された光学像を光電変換する撮像素子と、前記光学系をフォーカシング調整するための光学系制御部と、を備えたものであり、前記基点距離設定部は、前記被写界の撮像データを取得したときに前記光学系制御部から出力された被写体距離に基づいて、前記基点距離を設定するものである。

第５の態様による撮像装置によれば、さらに、撮像データ取得時のフォーカシングに係る被写体距離に基づき基点距離を設定するようにしたために、より簡易な操作で撮影時の所望の被写体を抽出することが可能となる。

本発明の第６の態様による撮像装置は、上記第１から第４の態様による撮像装置において、前記撮像データのエッジ強度を算出するエッジ強度算出部をさらに備え、前記基点距離設定部は、前記エッジ強度の値が所定の閾値以上となる領域に対応する距離を前記基点距離として設定するものである。

第６の態様による撮像装置によれば、さらに、撮像データ中のエッジ強度の値が高い領域に対応する距離を基点距離として設定するようにしたために、より簡易な操作で合焦度の高い被写体を所望の被写体として抽出することが可能となる。

本発明の第７の態様による撮像装置は、上記第１から第４の態様による撮像装置において、前記距離分布図上において基点距離情報を入力するための基点距離入力部をさらに備え、前記基点距離設定部は、前記基点距離入力部により入力された基点距離情報を前記基点距離として設定するものである。

第７の態様による撮像装置によれば、さらに、表示した距離分布図上において基点距離情報を入力することができるために、より直感的に分かり易く所望の被写体の抽出を開始することが可能となる。

本発明の第８の態様による撮像装置は、上記第１から第４の態様による撮像装置において、前記撮像データ表示部において一以上の画素を含む領域を指定するための撮像データ画素領域入力部をさらに備え、前記基点距離設定部は、前記指定された領域に対応する距離を前記基点距離として設定するものである。

第８の態様による撮像装置によれば、さらに、表示した撮像データにおいて基点距離に対応する画素領域を指定することができるために、より直感的に分かり易く所望の被写体の抽出を開始することが可能となる。

本発明の撮像装置によれば、直感的に簡単な操作で特定距離領域を指定して所望の被写体を抽出することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図、図２は撮像装置において撮像を行い対象画素領域を抽出する処理を示すフローチャート、図３はＤＦＤ方式による被写界の距離情報取得の流れの概要を示す図、図４はぼけパラメータσと合焦フォーカスレンズ群位置との対応関係の一例を示す線図、図５は比較表示部に距離分布図と撮像データとが同時に表示されている様子を示す図、図６は対象距離領域を拡大したときに距離分布図と撮像データと対象画素領域とが同時に表示されている様子を示す図、図７は対象距離領域をさらに拡大したときに距離分布図と撮像データと対象画素領域とが同時に表示されている様子を示す図である。

本実施形態の撮像装置は、図１に示すように、光学系１００と、光学系制御部１０１と、撮像素子１０２と、撮像データ記憶部１０３と、距離情報取得部１０４と、フォーカス情報記憶部１０５と、ユーザーインターフェース１０６と、基点距離設定部１０７と、対象距離領域表示制御部１０８と、対象距離領域設定部１０９と、対象画素領域表示制御部１１０と、距離分布図表示部１１１と、撮像データ表示部１１２と、抽出画像表示部１１３と、対象画素領域抽出部１１４と、を備えている。ここに、光学系１００、光学系制御部１０１、および撮像素子１０２は、撮像部１２０を構成するものである。また、距離分布図表示部１１１、撮像データ表示部１１２、および抽出画像表示部１１３は、比較表示部１２１を構成するものであり、比較しながら観察することができるように互いに近傍に配設されている。この比較表示部１２１は、具体例としては、液晶モニタや有機ＥＬモニタ等の画像表示可能なカラー表示装置（ただし、白黒表示装置の採用を妨げるものではない）が挙げられる。

まず、ユーザーインターフェース１０６は、ユーザからの入力操作、例えば、フォーカシング操作、後述する対象距離領域の拡大／縮小操作などを受けて、各部へ必要な信号を出力するものである。

光学系１００は、撮像素子１０２上に被写界の光学像を結像するためのものである。この光学系１００は、例えば複数のレンズ群を含んで構成されていて、これら複数のレンズ群の中にはフォーカスレンズ群も含まれている。すなわち、光学系１００は、フォーカシング調整可能に構成されたものとなっている。なお、以下の説明においては、光学系１００により撮像素子１０２上に結像される被撮影範囲を被写界ということにし、この被写界内に存在する対象物を被写体と呼ぶことにする。

光学系１００のフォーカスレンズ群は、光学系制御部１０１により駆動されるようになっている。すなわち、光学系制御部１０１は、ユーザーインターフェース１０６から入力されたユーザの指示に基づき、光学系１００のフォーカシングを行うようになっている。なお、光学系制御部１０１によるフォーカシングは、ユーザーインターフェース１０６からの入力に基づき行うに限るものではない。例えば、距離情報取得部１０４により後述するように取得される距離情報に基づいて行ってももちろん構わない。あるいは、別途の測距素子等を設けて、この測距素子による測距結果に基づいてフォーカシングを行っても構わない。

この光学系制御部１０１により撮影時（撮像データ取得時）に光学系１００の駆動に用いられたパラメータは、フォーカス情報としてフォーカス情報記憶部１０５に記憶されるようになっている。ここに、フォーカス情報の例としては、撮影レンズ位置、フォーカスされた被写体までの距離（以下、フォーカス被写体距離という）、フォーカスエリアが複数ある場合には合焦に用いられたフォーカスエリアの位置、などが挙げられるが、本実施形態においては、フォーカス情報としてフォーカス被写体距離のみを用いるものとする。

撮像素子１０２は、光学系１００により結像された被写界の光学像を光電変換して撮像信号として出力するものであり、例えばＣＣＤやＣＭＯＳなどにより構成されている。

撮像素子１０２から出力された撮像信号は、図示しないＡ／Ｄ変換器等によりデジタルデータに変換されて、撮像データとして撮像データ記憶部１０３に記憶される。

この撮像データ記憶部１０３に記憶された被写界の撮像データは、比較表示部１２１の撮像データ表示部１１２へ転送されて表示される。

距離情報取得部１０４は、撮像データ記憶部１０３に記憶された撮像データを読み出して、該撮像データに基づき、被写界の距離情報を算出するものである。ここに、被写界の距離情報は、実質的に、撮像データ上の各画素に対応して取得される（ここでいう「実質的」とは、例えば距離情報を複数画素に１画素の割合で算出したり、あるいは３×３画素の画素ブロック毎に算出したりしても構わないが、前者の場合には補間等を行うことにより全画素に距離情報を関連付けることができ、また後者の場合には同一画素ブロック内の各画素に同一の距離情報を関連付ける等を行うことができるために、実質的に全ての画素について距離情報が関連付けられることを意味している）。距離情報取得部１０４は、距離情報の関連付けを画像データ中の例えば全画素について行った後に、さらに、距離に対する画素の出現頻度を示す距離分布図を作成する。

この距離情報取得部１０４により作成された距離分布図は、比較表示部１２１の距離分布図表示部１１１へ転送されて表示される。

一方、基点距離設定部１０７は、フォーカス情報記憶部１０５に記憶されたフォーカス被写体距離を読み出して、基点距離として設定し、対象距離領域設定部１０９へ出力する。ただし、基点距離設定部１０７が設定する基点距離は、フォーカス被写体距離そのままであるに限るものではなく、フォーカス被写体距離に所定の補正係数を乗算する等の、補正されたフォーカス被写体距離であっても構わない。また、基点距離設定部１０７により設定されようとする基点距離は、基本的に被写界内の何れかの被写体までの距離であるために、距離情報取得部１０４により取得された全距離領域（取得された各画素の距離の内の、最短距離以上最遠距離以下の範囲の領域）内に含まれるはずである。従って、設定しようとする基点距離が、距離情報取得部１０４により取得された全距離領域内に含まれていない場合には、再度、距離情報取得部１０４により距離情報を取得するか、または再度光学系制御部１０１によりフォーカシングを行うか、等をすることになる。

対象距離領域設定部１０９は、距離情報取得部１０４から入力された全距離領域の範囲内において、基点距離設定部１０７から入力された基点距離を含む所定範囲の距離領域を、その距離領域に存在する被写体を抽出するための対象距離領域として設定するものである。この対象距離領域設定部１０９は、さらに、ユーザーインターフェース１０６から対象距離領域を拡大または縮小する操作が入力されたときには、その入力に応じて、距離情報取得部１０４から入力された全距離領域の範囲内において、基点距離を含んだまま、対象距離領域の大きさを拡大または縮小して設定する。なお、ユーザからの設定入力がまだないときの初期設定としての対象距離領域は、基点距離を中心とした距離幅０の距離領域でも良いし、あるいは基点距離を中心とした所定幅（この所定幅も所望に設定可能としても良い）の距離領域であっても構わない。

対象距離領域表示制御部１０８は、基点距離設定部１０７により設定された基点距離と、対象距離領域設定部１０９により設定された対象距離領域とを、距離分布図表示部１１１の距離分布図上に強調表示させる（図６参照）。ここに、対象距離領域表示制御部１０８は、上述した対象距離領域設定部１０９により対象距離領域の大きさが変更されたときには、この変更に同期して、距離分布図表示部１１１の距離分布図上の対象距離領域の強調表示を変更するようになっている。

対象画素領域表示制御部１１０は、対象距離領域設定部１０９から対象距離領域の情報が入力されると、距離情報取得部１０４により関連付けられた距離がこの対象距離領域に含まれる画素（対象画素）を、対象距離領域に含まれない画素とは区別可能に、撮像データ表示部１１２の撮像データ上に対象画素領域として表示させる。これにより、対象距離領域内に存在する被写体が、撮像データ表示部１１２において撮像データと対応付けて強調表示される。この強調表示の例としては、対象画素領域の画素値を所定の色（例えば、赤などの目立つ色）に置き換えて（すなわち、所定の色で塗りつぶして）表示することが挙げられる。さらに、対象画素領域表示制御部１１０は、上述した対象距離領域設定部１０９により対象距離領域の大きさが変更されたときには、この変更に同期して、撮像データ表示部１１２上の対象画素領域の強調表示を変更するようになっている。

対象画素領域抽出部１１４は、撮像データ記憶部１０３に記憶されている撮像データから、対象画素領域表示制御部１１０によって選択された対象画素領域の元画像部分を抽出する。なお、この対象画素領域抽出部１１４は、抽出した対象画素領域の元画像部分をさらに記憶しておく構成であっても良い。

この対象画素領域抽出部１１４により抽出された対象画素領域の元画像部分は、抽出画像表示部１１３に表示される。従って、撮像データ表示部１１２において強調表示されている部分の元画像が、抽出画像表示部１１３において表示されることになる。

次に図２を参照して、撮像装置において、撮像を行い対象画素領域を抽出する処理について説明する。

この処理を開始すると、まず、後述するＤＦＤ（Depth from Defocus）方式により被写体距離情報を取得するために、光学系制御部１０１により光学系１００を駆動して複数種類のぼけが得られるようにフォーカス制御を行いながら撮像素子１０２によりぼけの大きさが異なる複数の画像を取得して、距離情報取得部１０４へ出力する。次に、光学系制御部１０１により光学系１００を駆動して、撮影時の狙いの被写体に合焦されるようにフォーカシングを行う（ステップＳ２０１）。

続いて、距離情報取得部１０４が、ぼけの大きさが異なる複数の画像に基づいて、被写体距離を、被写界内の各画素位置に関連付けて算出する。さらに、狙いの被写体へ合焦が行われたときの距離情報を、光学系制御部１０１からフォーカス情報記憶部１０５へ出力する（ステップＳ２０２）。

フォーカス情報記憶部１０５は、光学系制御部１０１から入力した距離情報を記憶する（ステップＳ２０３）。

次に、上述したようなフォーカシングを行うことにより狙いの被写体に合焦した状態で撮像素子１０２上に結像されている光学像を、撮像素子１０２により光電変換して撮像信号を取得し、取得した撮像信号をデジタルの撮像データに変換して、撮像データ記憶部１０３に記憶する（ステップＳ２０４）。

続いて、基点距離設定部１０７が、フォーカス情報記憶部１０５に記憶されたフォーカス被写体距離に基づいて、距離情報取得部１０４により取得された全距離領域内におけるある距離を基点距離として設定する（ステップＳ２０５）。

対象距離領域設定部１０９は、全距離領域内において、基点距離を含んだ前後の所定範囲の距離領域を対象距離領域として設定する（ステップＳ２０６）。

また、ステップＳ２０５やステップＳ２０６の処理を行う一方で、比較表示部１２１が、撮像データ表示部１１２に撮像データを表示すると共に、距離分布図表示部１１１に距離分布図を表示する（ステップＳ２０５−２）。

ステップＳ２０６の処理が行われたら、次に、対象画素領域表示制御部１１０が、対象距離領域に含まれる対象画素を選択して対象画素領域を設定し、対象画素領域抽出部１１４が、撮像データから対象画素領域を抽出する（ステップＳ２０７）。

このステップＳ２０７の処理を行う一方で、対象距離領域表示制御部１０８が、距離分布図表示部１１１上に基点距離を示す線とともに対象距離領域を強調表示し、対象画素領域表示制御部１１０が、撮像データ表示部１１２の撮像データ上に対象画素領域を強調表示し、対象画素領域抽出部１１４が、撮像データから抽出した対象画素領域を抽出画像表示部１１３に表示する（図６参照）（ステップＳ２０７−２）。この対象距離領域の強調表示、対象画素領域の強調表示、抽出された対象画素領域の表示は、上述したように、対象距離領域が拡大または縮小された場合には、同期して表示変更される。

すなわち、対象距離領域は、ユーザーインターフェース１０６から拡大／縮小操作をすることができるようになっている。そして、ユーザーインターフェース１０６からの入力に基づき、対象距離領域設定部１０９が対象距離領域を拡大または縮小する（ステップＳ２０８）。このような対象距離領域の変更操作入力が行われると、対象距離領域の強調表示、対象画素領域の強調表示、抽出された対象画素領域の表示が同期して変更され、変更の結果がその都度比較表示部１２１に反映される。

そして、撮像データから抽出する対象画素領域が確定されたか否かを判定し（ステップＳ２０９）、確定していない場合にはステップＳ２０７へ戻って、対象距離領域がさらに変更操作されるのを待機する。

一方、対象画素領域が抽出領域として確定されたと判定された場合には、対象画素領域抽出部１１４が撮像データから対象画素領域を抽出して、例えば記憶等を行い（ステップＳ２１０）、この処理を終了する。

ここで、本実施形態において用いられている被写界の距離情報の取得には、例えば、上述したＤＦＤ方式が用いられる。このＤＦＤ方式における距離情報の取得は、次のようにして行われる。

まず、撮像部１２０を制御して、ぼけの大きさが異なる複数の画像を撮像素子１０２により取得する。

次に、各画像間の点像分布関数（ＰＳＦ）の分散の比に基づくパラメータをぼけパラメータとして所定の画素毎に算出する。ここに、点像分布関数（ＰＳＦ）は、理想的な点像が光学系を通過した場合の光線の広がりを表した関数である。

ぼけパラメータは、被写体距離と対応関係があるために、予め撮像系の設計値より求めたぼけパラメータと被写体距離の対応関数をテーブル情報として保持し、画素毎のぼけパラメータを鍵として前記テーブルから被写体距離を参照することにより被写体距離を画素毎に求めることが可能である。

このＤＦＤ方式については、上述した文献「M. Subbarao and G. Surya, "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994.」などに詳しく記載されている。

なお、本実施形態（および以後の実施形態）においては、説明を簡単にするために、距離情報を取得する技術としてＤＦＤ方式を例に挙げているが、もちろんこれに限定されるものではなく、被写界の面内の各点までの距離情報を取得することができる技術であれば広く採用することができる。

このＤＦＤ方式は、測距方式としては、撮影条件の異なる複数の撮像データから距離を求めるパッシブ測距方式に分類されるが、ＤＦＤ方式以外の他のパッシブ測距方式を用いてももちろん構わない。

さらに、測距方式として、撮像装置から赤外線や超音波等を被写体に射出して、被写体から反射された赤外線や超音波等をセンサで受信することにより、被写体までの距離を求めるアクティブ測距方式を用いることも可能である。

続いて、図３を参照して、ＤＦＤ方式による被写界の距離情報取得の流れの概要について説明する。

このＤＦＤ方式を適用するに当たっては、同一の撮影方向から、同一の被写界（具体例としては、同一被写体かつ同一部位）の画像を、撮像画像のぼけ状態に影響を与える撮影パラメータを少なくとも１つ変更しながら、２枚以上（ＤＦＤ方式では２枚あれば足りるとされているが、２枚より多くても構わない）撮像して取得する。ここに、取得する画像は、カラー画像である必要はなく、測距用の輝度情報を含む画像であれば足りる。

また、撮像画像のぼけ状態に影響を与える撮影パラメータとしては、フォーカスレンズ群位置、絞り値、焦点距離などが例として挙げられるが、ここでは説明を簡単にするために、フォーカスレンズ群位置のみを変更する場合について説明する。

この図３に示す処理を開始すると、撮像素子１０２の撮像面上に結像される光学像のぼけの大きさが異なるような撮影パラメータセットを少なくとも２種類、例えば第１の撮影パラメータセットを規定するとともに（ステップＳ３０１）、第２の撮影パラメータセットを規定する（ステップＳ３０４）。

ここでは、第１の撮影パラメータセットと第２の撮影パラメータセットとは、上述したように、例えばフォーカスレンズ群の位置のみが異なり、その他の撮影パラメータ、つまり絞り値やシャッタ速度、ゲイン等は同一であるものとする。

従って、ステップＳ３０１においては、第１の撮影パラメータセットに基づいて、光学系１００のフォーカスレンズ群が第１の位置へ移動され、ステップＳ３０４においては、第２の撮影パラメータセットに基づいて、フォーカスレンズ群が第２の位置へ移動されることになる。

そして、第１の撮影パラメータセットに基づいて第１の撮像データを取得するとともに（ステップＳ３０２）、第２の撮影パラメータセットに基づいて第２の撮像データを取得する（ステップＳ３０５）。

次に、取得した第１の撮像データに正規化処理を行うとともに（ステップＳ３０３）、取得した第２の撮像データに正規化処理を行う（ステップＳ３０６）。ここに、正規化処理は、取得した画像がカラー画像である場合にはカラー画像を輝度情報の画像に変換する処理（輝度信号Ｙの画像を算出するに限るものではなく、例えばＲＧＢカラー画像中におけるＧ信号画像を輝度情報の画像として代用とする等を行っても構わない）、画像信号から電気的なノイズを除去するためのローパスフィルタ処理、フォーカスレンズ群の移動に伴って光学系１００のレンズ焦点距離が微小にずれた場合の第１の画像と第２の画像との間で異なる倍率を補正する像倍率補正処理、第１の画像と第２の画像とで輝度平均値がずれている場合の補正を含む輝度分布の正規化処理、などを含んでいる。このような正規化処理を行うことにより、第１の画像と第２の画像とを同一条件で比較することが可能となる。

続いて、正規化された第１の画像と正規化された第２の画像とに関して、同一画素位置の画素同士の差分を、距離情報取得の処理対象となっている全画素についてそれぞれ算出する（ステップＳ３０７）。

また、正規化された第１の画像内における２次微分を処理対象となっている全画素についてそれぞれ算出するとともに（ステップＳ３０８）、正規化された第２の画像内における２次微分を処理対象となっている全画素についてそれぞれ算出する（ステップＳ３０９）。そして、第１の画像の２次微分と第２の画像の２次微分との平均値を、処理対象となっている全画素について、画素毎に算出する（ステップＳ３１０）。

次に、ステップＳ３０７において算出された差分を、ステップＳ３１０において算出された２次微分の平均値（算出した差分と同一画素位置の平均値）で除算することにより、ＰＳＦの分散の比に基づくぼけ相関量を示すぼけパラメータσを算出する（ステップＳ３１１）。ここに、このステップＳ３１１の処理も、処理対象となっている全画素についてそれぞれ行う。

このようにして算出されたぼけパラメータσは、被写体距離の逆数に対して線形な関係を有している。また、ある被写体距離に合焦するフォーカスレンズ群位置は１つであり、つまり被写体距離と合焦フォーカスレンズ群位置とは一対一対応である。従って、ぼけパラメータσと合焦フォーカスレンズ群位置とも一対一対応の関係となる（図４参照）。

この図４に示すような、ぼけパラメータσと合焦フォーカスレンズ群位置との対応関係が、ルックアップテーブル（ＬＵＴ）として距離情報取得部１０４の内部に記憶されている。そして、被写界内の任意の点（任意の被写体部分）に対して算出したぼけパラメータσに対応する合焦フォーカスレンズ群位置は、このＬＵＴを参照して求められる（ステップＳ３１２）。ただし、ＬＵＴは、適宜の離散値のぼけパラメータσに対応する要素のみが記載されている（例えば、図４において黒丸で示した要素のみが記載されている）ために、算出して得られたぼけパラメータσに対応するＬＵＴの要素が存在しない場合もあり得る。この場合には、ぼけパラメータσの値の近傍の要素を複数参照して、補間演算を行うことにより合焦フォーカスレンズ群位置を求めれば良い。ここに図４は、線形補間により合焦フォーカスレンズ群位置を求める例を示している。すなわち、図４においては、算出されたぼけパラメータσの近傍の２つの要素を破線で示す直線で結び、ぼけパラメータσに対応する合焦フォーカスレンズ群位置ＤＦＤ＿ＬＦを取得している。

以上説明したような手順に従って処理を行うことにより、２枚の画像から被写界全体の距離情報を取得することが可能となる。

次に、上述したような動作を行ったときの比較表示部１２１における表示例について、図５〜図７を参照して説明する。

まず、図５は、比較表示部１２１に距離分布図と撮像データとが同時に表示されている初期状態の様子を示している。

すなわち、距離分布図表示部１１１には距離分布図１１１ａが表示され、撮像データ表示部１１２には撮像データが表示されている。なお、図５に示す状態においては、基点距離は設定されているものの、対象距離領域がまだ設定されていないために、抽出画像表示部１１３には対象画素領域がまだ表示されておらず、基点距離に対応する１つ、もしくは複数の画素（基点距離対応画素）１１２ａのみが表示されている。

ここで、距離分布図表示部１１１の距離分布図１１１ａ上には、基点距離が、例えば赤い直線１１１ａ１として強調表示により描かれている。また、撮像データ表示部１１２の撮像データ上には、基点距離対応画素１１２ａが、例えば赤いポイントとして強調表示により描かれている（ただし、基点距離に対応する画素が複数ある場合には、複数の赤いポイントが描かれることになる）。

さらに、距離分布図表示部１１１には、対象距離領域表示制御部１０８により、対象距離領域を拡大／縮小制御するための距離領域制御バー１１１ｂが表示されている。この図５に示す例においては、対象距離領域の大きさを表すつまみ１１１ｂ１がＷ１の位置（対象距離領域を最も縮めて距離幅０にした位置）となっていて、距離分布図表示部１１１上の対象距離領域は基点距離Ａを表す直線１１１ａ１に収束し、撮像データ表示部１１２上の対象画素領域は基点距離Ａに対応する基点距離対応画素１１２ａに収束していると考えることもできる。

この距離領域制御バー１１１ｂを操作するユーザーインターフェース１０６としては、撮像装置に配設されている図示しないボタン類を採用しても構わないし、比較表示部１２１の画面上にタッチパネルを実装して距離領域制御バー１１１ｂの表示に直接触れて拡大／縮小のパラメータを制御する構成を採用しても良いし、両方を同時に用いても構わない（もちろん、その他の構成を採用しても構わない）。

また、対象距離領域表示制御部１０８により表示されるのは、距離領域制御バー１１１ｂに限定されるものではもちろんなく、拡大／縮小率の値を直接入力するようなものであっても構わないし、その他のものであっても良い。

次に図６は、図５に示した状態から対象距離領域を拡大したときに、距離分布図と撮像データと対象画素領域とが同時に表示されている様子を示している。

対象距離領域を、図５に示したようなＷ１から、この図６に示すようなＷ２へ拡大すると、拡大された対象距離領域１１１ａ２が距離分布図表示部１１１に重畳して例えば薄い赤色により強調表示される（図６に示す例においては、対象距離領域１１１ａ２は透過型の強調表示が行われ、対象距離領域１１１ａ２と重なっている距離分布図１１１ａを見ることもできるようになっている）。また、対象距離領域１１１ａ２の変更に同期して、撮像データ表示部１１２の撮像データ中の対象画素領域１１２ｂが特定色（例えば赤色）で塗りつぶされて強調表示される。さらに、対象距離領域１１１ａ２が設定されて対象画素領域１１２ｂが発生したことにより、抽出画像表示部１１３に撮像データから抽出された対象画素領域の元画像部分１１３ａが表示される。

なお、本実施形態においては、抽出画像表示部１１３が設けられているために、撮像データ表示部１１２の対象画素領域１１２ｂについては強調表示を塗りつぶしにより行っているが、これに限るものではない。例えば、撮像データ表示部１１２の対象画素領域１１２ｂの強調表示を透過型としても良い。この場合には、撮像データ表示部１１２において透過状態の対象画素領域１１２ｂを確認することができるために、抽出画像表示部１１３を設けないようにすることも可能となる。

続いて図７は、図６に示した状態から対象距離領域をさらに拡大したときに、距離分布図と撮像データと対象画素領域とが同時に表示されている様子を示している。

対象距離領域１１１ａ２を、図６に示したようなＷ２から、この図７に示すようなＷ３へさらに拡大すると、特定の被写体（図５〜図７に示す例では人物）に係る距離分布図１１１ａ上のピークＰＫが対象距離領域１１１ａ２内にほぼ収まる。

このときには、撮像データ表示部１１２の撮像データ中の特定の被写体である人物のほぼ全体が特定色で強調表示される。さらに、抽出画像表示部１１３に表示される対象画素領域の元画像部分１１３ａは、特定の被写体である人物のほぼ全体の元画像部分となる。

このような実施形態１によれば、撮影時のフォーカス被写体距離に基づいて基点距離を設定し、この基点距離を含むように対象距離領域の大きさを変更操作することにより、抽出しようとする対象画素領域を決定するようにしたために、簡易な操作で精度の高い被写体抽出処理を行うことが可能となる。

さらに、撮像データと比較し得るように距離分布図を表示し、この距離分布図上で対象距離領域を拡大／縮小操作することができ、対象距離領域の拡大／縮小操作と同期して撮像データ上に抽出画素領域を表示するようにしたために、より直感的な操作で被写体抽出処理を行うことができる。

加えて、距離分布図と撮像データとに比較し得るように、抽出画素領域の元画像部分をさらに同期して表示するようにしたために、抽出されようとする画像部分がどのような画像であるのかを簡単に確認することが可能となる。

こうして、優れた表示インターフェースの下で、簡易かつ直感的な操作で精度の高い被写体抽出処理を行うことが可能となる。

［実施形態２］
図８から図１３は本発明の実施形態２を示したものであり、図８は撮像装置の構成を示すブロック図、図９は撮像装置において撮像を行い対象画素領域を抽出する処理を示すフローチャート、図１０はぼけの大きさが異なる２つの被写体が存在する撮像データの一例を示す図、図１１は図１０の撮像データからエッジ強度を算出した結果の様子を示す図、図１２は第１の被写体に基点距離が設定されているときの比較表示部の様子を示す図、図１３は第２の被写体に基点距離が設定されているときの比較表示部の様子を示す図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像装置は、図８に示すように、上述した実施形態１のフォーカス情報記憶部１０５に代えて、基点モード選択部１２２を備えたものとなっている。この基点モード選択部１２２は、基点距離設定部１０７において使用する基点距離情報を出力するものであり、エッジ強度算出部１１５と、基点距離入力部１１６と、を備えている。

エッジ強度算出部１１５は、撮像部１２０から得られた撮像データからエッジ強度を算出して、画像上における最もエッジ強度の値が高い画素領域を求め、この画素領域（ただし、画素領域が１画素で構成される場合もあり得る）に対応する距離情報を距離情報取得部１０４から取得して、取得した距離に基づき基点距離情報を定めるものである。

また、基点距離入力部１１６は、ユーザーインターフェース１０６を介した入力操作により、ユーザが基点距離情報を手動で入力するものである（図１２、図１３の基点距離設定バー１１１ｃを参照）。

ここに、基点モード選択部１２２から基点距離設定部１０７へ出力される基点距離情報は、エッジ強度算出部１１５と基点距離入力部１１６とから択一的に選択された方からのものとなる。

本実施形態においては、基点モード選択部１２２からの出力値として、エッジ強度算出部１１５の出力値がデフォルトで選択されるものとし、ユーザーインターフェース１０６からの入力があった場合にのみ基点距離入力部１１６の出力値がエッジ強度算出部１１５の出力値よりも優先して選択されるものとする。

次に、図９を参照しながら、撮像装置において、撮像を行い対象画素領域を抽出する処理について説明する。

上述したステップＳ２０１の処理を行って、上述したステップＳ２０２と同様に被写界の距離情報を取得するが、ステップＳ２０２とは異なり光学系制御部１０１からフォーカス情報記憶部１０５への被写体距離情報の出力は行われない（ステップＳ２０２Ａ）。

その後、図２の処理とは異なり、ステップＳ２０３の処理を行うことなく、ステップＳ２０４の処理へ進む。

ステップＳ２０４の処理を行ったら、エッジ強度算出部１１５と基点距離入力部１１６との何れか一方を選択して、選択した方から基点距離情報を基点距離設定部１０７へ出力する（ステップＳ９０１）。

その後は、基点モード選択部１２２から出力された基点距離情報に基づいて、ステップＳ２０５の処理を行い、以降の処理は図２に示したものと同様である。

次に、基点モード選択部１２２における基点距離情報の算出について、図１０〜図１３を参照して説明する。

図１０はぼけの大きさが異なる第１の被写体ＯＢＪ１と第２の被写体ＯＢＪ２とが存在するときの撮像データの例を示している。この図１０に示す例においては、第１の被写体ＯＢＪ１の方が第２の被写体ＯＢＪ２よりもぼけの大きさが小さい（つまり、よりピントの合った）画像となっている。一般に、撮影を行うときには狙いの被写体に合焦するように焦点調節を行ってから画像を取得するために、狙いの被写体が最もぼけの大きさが小さい（最もピントが合っている）と考えられる。そして、画像から抽出したい被写体は、撮影時の狙いの被写体であることが多いために、通常は、撮像データから抽出する被写体として、最もピントの合った被写体を選択する傾向が強い。

そこで、被写体のピントが合っている度合いを求めるために、エッジ強度算出部１１５は、まず、エッジ強度算出用の一般的な線形微分フィルタを撮像データに作用させて、画像のエッジ強度を算出する。図１１は、図１０の撮像データからエッジ強度を算出した結果の様子を示している。図示のように、第１の被写体ＯＢＪ１に対応するエッジ強度ＥＯＢＪ１と、第２の被写体ＯＢＪ２に対応するエッジ強度ＥＯＢＪ２と、が算出結果に含まれていることが分かる。

次に、エッジ強度算出部１１５は、画像上において最もエッジ強度の値が高い画素を全て求める。具体的には、各画素のエッジ強度の値が、所定値以上である画素を全て求めることになる。ここに、所定値は、エッジ強度の値が最も高いか否かを識別するための閾値として予め定められた値である。ただし、エッジ強度は被写体と背景との組み合わせなどによっても異なるために、予め定められた値とするには適さない場合もあると考えられる。そこで、画像毎に、画像内のエッジ強度の統計をとって、エッジ強度の値が高い方からｘ％（例えば、ｘ＝５％など）の画素のエッジ強度の値を所定値として設定するようにしても良い（すなわち、所定値を適応的に設定しても良い）。そして、最もエッジ強度の値が高いとして求められた画素が複数である場合には、その画素群により、最もエッジ強度の値が高い画素領域が構成される。

エッジ強度算出部１１５は、こうして求められた画素または画素領域に対応する距離情報（距離情報取得部１０４から得られた距離情報）を参照することによって、基点距離情報を決定し、基点距離設定部１０７へ出力する。なお、画素領域に対応する距離情報として複数の値が得られる場合には、これら複数の値の平均値や中央値などを基点距離情報として決定すれば良い。

図１２は、エッジ強度算出部１１５から出力された基点距離情報に基づいて基点距離設定部１０７により設定された基点距離を、比較表示部１２１に表示したときの様子を示している。

この図１２に示す比較表示部１２１は、距離分布図表示部１１１に、距離分布図１１１ａと距離領域制御バー１１１ｂとが表示されると共に、さらに、基点距離設定バー１１１ｃが表示されたものとなっている。

すなわち、本実施形態においては、基点距離入力部１１６に対応する表示部として、基点距離を変更するための基点距離設定バー１１１ｃが設けられている。この基点距離設定バー１１１ｃは、距離分布図１１１ａにおける距離を示す軸（図１２に示す例では水平方向の軸。以下、距離軸という）と平行となるように、かつ距離軸と同一の操作幅を確保することができるように、設けられている。そして、基点距離設定バー１１１ｃのつまみ１１１ｃ１は、距離分布図１１１ａ上に表示される基点距離を示す直線１１１ａ１と、距離軸方向の位置が同一となるように構成されている。このような構成により、基点距離設定バー１１１ｃのつまみ１１１ｃ１と、距離分布図１１１ａ上に直線１１１ａ１として表示される基点距離とが、一対一に対応して操作可能であることを、より直感的に把握し易くなる。また、この一対一の対応関係をさらに把握し易くするために、基点距離設定バー１１１ｃは、距離領域制御バー１１１ｂよりも距離分布図１１１ａに近接した位置に表示されている。

この基点距離設定バー１１１ｃを操作するユーザーインターフェース１０６としては、上述した距離領域制御バー１１１ｂと同様に、撮像装置に配設されている図示しないボタン類を採用しても構わないし、比較表示部１２１の画面上にタッチパネルを実装して基点距離設定バー１１１ｃの表示に直接触れて基点距離情報を設定する構成を採用しても良いし、両方を同時に用いても構わない（もちろん、その他の構成を採用しても構わない）。

また、基点距離入力部１１６に対応する表示部としては、基点距離設定バー１１１ｃに限定されるものではもちろんなく、基点距離情報の値を直接入力するものであっても構わないし、その他のものであっても良い。

さらに、基点距離を設定する手段として他の手段を採用することも可能である。例えば、撮像データ表示部１１２の撮像データ上において一以上の画素を含む領域を（例えばポインタやカーソルキー等を用いて）指定する手段（撮像データ画素領域入力部）を設けることが考えられる。この場合には、基点距離設定部１０７は、指定された領域に対応する距離（複数の距離が得られる場合には、平均値や中央値など）を基点距離として設定する処理を行う。

図１３は、上述したような基点距離設定バー１１１ｃのつまみ１１１ｃ１の位置を変更することにより、基点距離を第２の被写体ＯＢＪ２を示す位置へ変更した場合の、比較表示部１２１の表示の様子を示している。ここに、距離分布図１１１ａ上には、第１の被写体ＯＢＪ１に該当するピークＰＫ１や第２の被写体ＯＢＪ２に該当するピークＰＫ２などが表示されるために、このような操作を直感的に容易に行うことができる。そして、基点距離を変更したことにより、この変更に同期して、撮像データ表示部１１２における撮像データ上の基点距離対応画素１１２ａも、図１２に示す第１の被写体ＯＢＪ１上の位置から、図１３に示す第２の被写体ＯＢＪ２上の位置へ変更される。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、被写体のピントが合っている度合いに基づいて、基点距離を設定することが可能となる。従って、撮影時に光学系制御部１０１から被写体距離情報が得られない場合にも適用可能となる利点がある。上述した実施形態１は、例えば測距素子（ＡＦ素子）を備える構成に良好に適用されるのに対して、この実施形態２は、例えば撮像データに基づいて山登りＡＦ等を行うような構成に良好に適用される（ただし、実施形態１が山登りＡＦ等を行うような構成に適用されるのを妨げるものではなく、実施形態２が測距素子を備える構成に適用されるのを妨げるものでもない）。

さらに、ユーザーによる入力操作によっても距離基点を設定することができるように構成したために、ピントが合っていない被写体に対しても、基点距離を所望に設定することが可能となる。

［実施形態３］
図１４から図１８は本発明の実施形態３を示したものであり、図１４は撮像装置の構成を示すブロック図、図１５は撮像装置において撮像を行い対象画素領域を抽出する処理を示すフローチャート、図１６は撮像データ内に略同一距離の被写体が２つ存在し、さらに区分領域指定ポインタが表示されている様子を示す図、図１７は対象距離領域を拡大することにより撮像データ内の２つの被写体が対象画素領域として表示され、さらに区分領域指定ポインタにより一方の被写体のみを指定しようとしている様子を示す図、図１８は抽出画像表示部に区分領域指定ポインタにより指定された一方の被写体の元画像部分のみが表示されている様子を示す図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像装置は、同一被写体距離に複数の被写体が存在するときに、所望の被写体のみを抽出対象として選択することができるようにしたものとなっていて、図１４に示すように、上述した実施形態１の構成に加えてさらに、対象画素領域区分部１１７と、区分領域指定部１１８と、を備えている。

対象画素領域表示制御部１１０は、対象画素領域区分部１１７と区分領域指定部１１８とを順に介して、対象画素領域抽出部１１４へ接続されている。また、ユーザーインターフェース１０６は、区分領域指定部１１８へ接続されている。

対象画素領域区分部１１７は、対象画素領域表示制御部１１０から出力された対象画素領域を、空間的に連続する対象画素のみを全て含む（すなわち、対象画素でない画素は含まない）区分領域であって、他の区分領域とは空間的に独立した区分領域に区分するものである。従って、区分領域は、対象画素領域の部分集合、つまり対象画素領域の一部もしくは全部である。

区分領域指定部１１８は、ユーザーインターフェース１０６からの指示に従って、対象画素領域区分部１１７により区分された区分領域の１つ以上を撮像データ上において指定するものである。

そして、対象画素領域抽出部１１４は、区分領域指定部１１８により指定された区分領域を撮像データから抽出するものである。

次に、図１５を参照しながら、撮像装置において、撮像を行い対象画素領域を抽出する処理について説明する。

ステップＳ２０９の処理を行った後に、対象画素領域区分部１１７により、ステップＳ２０９において決定された対象画素領域の区分処理を行う（ステップＳ１５０１）。

この区分処理を行うための具体的な技術としては、次のような例が挙げられる。まず、対象画素領域に含まれる対象画素を１つピックアップして、その対象画素に例えばラベル「１」を付す。次に、ラベル「１」を付した対象画素に隣接する対象画素が存在する場合には、その対象画素にも同一のラベル「１」を付す。同様にして、ラベル「１」が付された対象画素に隣接する対象画素には、全て同一のラベルを付していく。そして、ラベル「１」が付された対象画素に隣接する全ての対象画素についての処理が行われた後に、ラベルがまだ付されていない対象画素が存在する場合には、その１つをピックアップしてラベル「２」を付し、ラベル「１」に対して行ったのと同様の処理を行う。こうして、ラベル「２」の処理を全て行った後に、ラベルがまだ付されていない対象画素が存在する場合には、ラベル「３」を付し、同様の処理を行う。このような処理を順次行って、ラベルが付されていない対象画素が存在しなくなったら、対象画素領域を区分領域へ区分する処理が終了する。このときには、各ラベルが区分領域を示す指標となり、各ラベルの中の最も大きな値が区分領域の総数を示している。

なお、対象画素領域の区分処理を行った後に、撮像データ表示部１１２に表示している対象画素領域の強調表示を、区分領域毎に異ならせても良い。例えば、対象画素領域が２つの区分領域に区分された場合には、一方を赤色で強調表示し、他方を青色で強調表示するなどである。またこのときさらに、抽出画像表示部１１３に表示する対象画素領域の元画像部分にも、撮像データ表示部１１２における区分領域毎の強調表示と対応するような強調表示を行うようにしても構わない。例えば、撮像データ表示部１１２において赤色で強調表示した区分領域に対応する撮像データ表示部１１２の元画像部分を赤色の線で囲み、撮像データ表示部１１２において青色で強調表示した区分領域に対応する撮像データ表示部１１２の元画像部分を青色の線で囲むなどである。

このようなステップＳ１５０１の処理を行ったら、続いて、各区分領域の中から、抽出したい区分領域を１つ以上指定する（ステップＳ１５０２）。

この抽出しようとする区分領域の指定は、図１６〜図１８に示す例においては、ユーザーインターフェース１０６により区分領域指定ポインタＰＴを移動して指定しようとする区分領域に重ね、そこで確定ボタン（確定機能が割り当てられたボタン）を押したりクリック（マウス等を用いる場合）したりタップ（タッチパネル等を用いる場合）したりすることにより、その区分領域を確定するものとなっている。なお、確定ボタンを押す前に区分領域指定ポインタＰＴを重ねる区分領域としては、撮像データ表示部１１２に強調表示されている区分領域を想定しているが、これに加えて、抽出画像表示部１１３に表示されている区分領域を用いることができるようにしても構わない。

また、区分領域の指定方法は、ポインタを用いる方法に限るものではなく、特定キー（キーボード上の例えばＴａｂキーに相当するような機能を割り振られたキーなど）を１回操作する毎に、着目する区分領域が順次移動して行き、所望の区分領域が着目状態となったところで確定ボタン等を押す方法をとっても構わない。この方法は、区分領域の数が少ないときに操作性が比較的高いという利点がある方法である。さらにこれらに限らず、その他の区分領域の指定方法を採用してももちろん構わない。

そして、上述では区分領域を手動で指定する方法を説明したが、これに限らず、自動で指定する方法を採用しても構わないし、初期状態では自動で指定しその後に手動で変更するような方法を採用しても良い。ここに、区分領域を自動で指定する方法としては、次の例が挙げられる。抽出対象となる可能性の高い被写体（例えば主要被写体など）は、比較的画像の中心に位置することが多いと考えられる。そこで、複数の区分領域が検出された場合には、これらの内の最も画像中心に近い区分領域を自動で指定する方法が考えられる。さらに他の例としては、画像の構図を分析して、分析結果に基づき１つ以上の区分領域を自動で指定するようにしても構わない。具体的には、画像の中心を挟んで左右略対象に区分領域が２つ検出されたときには、人物が２人並んでいる構図であると分析して、これら２つの区分領域の両方ともを自動的に指定するなどである。これらの例に限らず、区分領域を自動で指定する方法としては、予め設定した条件に対して評価値を算出し、その評価値に基づいて適切であると考えられる区分領域を指定する方法を広く採用することができる。

図１６〜図１８は、撮像装置からの距離がほぼ等しい位置に２つの被写体が存在している被写界を撮像した場合の、比較表示部１２１の様子を示している。なお、本実施形態においては、上述した実施形態２と同様に、基点距離設定バー１１１ｃと距離領域制御バー１１１ｂとの両方が表示されている例を示している。

まず、図１６は、図１５のステップＳ２０５−０２において、基点距離を設定するときの比較表示部１２１の様子を示している。撮像データ表示部１１２には、第１の被写体ＯＢＪ１と第２の被写体ＯＢＪ２とが表示されていて、これらの内の第１の被写体ＯＢＪ１の上には基点距離対応画素１１２ａが表示され、さらに、例えば十文字状をなす区分領域指定ポインタＰＴが表示されている。

次に、図１７は、２つの被写体の両方を含むように対象距離領域が指定されることにより、撮像データ表示部１１２の撮像データ上における第１の被写体ＯＢＪ１に対応する対象画素領域１１２ｂ１が強調表示され、かつ第２の被写体ＯＢＪ２に対応する対象画素領域１１２ｂ２が強調表示されている様子を示している。このときには、抽出画像表示部１１３にも、第１の被写体ＯＢＪ１の元画像部分１１３ａ１と、第２の被写体ＯＢＪ２の元画像部分１１３ａ２と、が表示されている。そして、区分領域指定ポインタＰＴが撮像データ表示部１１２においてハイライト表示されている区分領域の一方（対象画素領域１１２ｂ２）の上に重ねられている。この状態で確定ボタン等を押すことにより、区分領域指定ポインタＰＴが重ねられた区分領域が確定される。なお、このときには、上述したように２つ以上の区分領域を同時に選択することができるようにしても構わない。

そして区分領域が確定されると、図１８に示すように、確定された区分領域に対応する元画像部分（図示の例では、第２の被写体ＯＢＪ２の元画像部分１１３ａ２）のみが抽出画像表示部１１３に表示されると共に、この確定された区分領域の元画像部分が対象画素領域抽出部１１４により抽出データとして出力される。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、対象画素領域が空間的に独立した複数の区分領域に区分されるときには、所望の区分領域のみを選択することができるようにしたために、直感的な操作で所望の被写体のみを簡単に抽出することが可能となる。

なお、上述した各実施形態は、本発明を撮像装置に適用した実施形態であったが、本発明はこれに限定されるものではない。例えば、撮像装置において、撮像部により撮像データを取得し、距離情報取得部により被写界に対する２次元的な距離情報を取得して、これらを例えば記録媒体に記録しておく（あるいは、ＡＦ情報についてもさらに記録媒体に記録しておく）。そして、この記録媒体に記録された情報を別途のコンピュータにより読み取って、このコンピュータに上述したような処理の流れで対象画素領域を抽出するための画像処理プログラムを実行させることにより、上述と同様の処理を行うことも可能である。従って、本発明は、必要なデータが存在するという前提の下で、画像処理プログラムにも適用することが可能であり、さらには、同様の処理を行う画像処理装置、画像処理方法などにも適用することができる。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置において撮像を行い対象画素領域を抽出する処理を示すフローチャート。 上記実施形態１において、ＤＦＤ方式による被写界の距離情報取得の流れの概要を示す図。 上記実施形態１において、ぼけパラメータσと合焦フォーカスレンズ群位置との対応関係の一例を示す線図。 上記実施形態１において、比較表示部に距離分布図と撮像データとが同時に表示されている様子を示す図。 上記実施形態１において、対象距離領域を拡大したときに距離分布図と撮像データと対象画素領域とが同時に表示されている様子を示す図。 上記実施形態１において、対象距離領域をさらに拡大したときに距離分布図と撮像データと対象画素領域とが同時に表示されている様子を示す図。 本発明の実施形態２における撮像装置の構成を示すブロック図。 上記実施形態２の撮像装置において撮像を行い対象画素領域を抽出する処理を示すフローチャート。 上記実施形態２において、ぼけの大きさが異なる２つの被写体が存在する撮像データの一例を示す図。 上記実施形態２において、図１０の撮像データからエッジ強度を算出した結果の様子を示す図。 上記実施形態２において、第１の被写体に基点距離が設定されているときの比較表示部の様子を示す図。 上記実施形態２において、第２の被写体に基点距離が設定されているときの比較表示部の様子を示す図。 本発明の実施形態３における撮像装置の構成を示すブロック図。 上記実施形態３の撮像装置において撮像を行い対象画素領域を抽出する処理を示すフローチャート。 上記実施形態３において、撮像データ内に略同一距離の被写体が２つ存在し、さらに区分領域指定ポインタが表示されている様子を示す図。 上記実施形態３において、対象距離領域を拡大することにより撮像データ内の２つの被写体が対象画素領域として表示され、さらに区分領域指定ポインタにより一方の被写体のみを指定しようとしている様子を示す図。 上記実施形態３において、抽出画像表示部に区分領域指定ポインタにより指定された一方の被写体の元画像部分のみが表示されている様子を示す図。

１００…光学系
１０１…光学系制御部
１０２…撮像素子
１０３…撮像データ記憶部
１０４…距離情報取得部
１０５…フォーカス情報記憶部
１０６…ユーザーインターフェース
１０７…基点距離設定部
１０８…対象距離領域表示制御部
１０９…対象距離領域設定部
１１０…対象画素領域表示制御部
１１１…距離分布図表示部
１１１ａ…距離分布図
１１１ａ１…基点距離を示す直線
１１１ａ２…対象距離領域
１１１ｂ…距離領域制御バー
１１１ｃ…基点距離設定バー
１１２…撮像データ表示部
１１２ａ…基点距離対応画素
１１２ｂ，１１２ｂ１，１１２ｂ２…対象画素領域
１１３…抽出画像表示部
１１３ａ，１１３ａ１，１１３ａ２…元画像部分
１１４…対象画素領域抽出部
１１５…エッジ強度算出部
１１６…基点距離入力部
１１７…対象画素領域区分部
１１８…区分領域指定部
１２０…撮像部
１２１…比較表示部
１２２…基点モード選択部
ＥＯＢＪ１，ＥＯＢＪ２…エッジ強度
ＯＢＪ１，ＯＢＪ２…被写体
ＰＫ，ＰＫ１，ＰＫ２…ピーク
ＰＴ…区分領域指定ポインタ

Claims (8)

1. 被写界の撮像データを取得する撮像部と、
   前記被写界の距離情報を、前記撮像データを構成する画素と関連付けて取得し、距離に対する画素の出現頻度を示す距離分布図を作成する距離情報取得部と、
   前記撮像データを表示する撮像データ表示部と、前記距離分布図を表示する距離分布図表示部と、を互いに近傍に配置した比較表示部と、
   前記距離情報として取得された距離の内の最短距離以上最遠距離以下の範囲の全距離領域に含まれるある距離を基点距離として設定する基点距離設定部と、
   前記基点距離を含む対象距離領域を、前記全距離領域の範囲内において、該基点距離を含んだまま拡大または縮小可能に設定するための対象距離領域設定部と、
   前記対象距離領域を前記距離分布図表示部に表示させるように制御するものであり、該表示制御を前記対象距離領域設定部により前記対象距離領域が変更されるのに同期して行う対象距離領域表示制御部と、
   前記関連付けられた距離が前記対象距離領域に含まれる画素である対象画素を、該対象距離領域に含まれない画素とは区別可能に、前記撮像データ表示部に対象画素領域として表示させるように制御するものであり、該表示制御を前記対象距離領域設定部により前記対象距離領域が変更されるのに同期して行う対象画素領域表示制御部と、
   前記撮像データから前記対象画素領域を抽出する対象画素領域抽出部と、
   を具備したことを特徴とする撮像装置。
2. 前記比較表示部は、カラー表示可能であって、
   前記対象画素領域表示制御部は、前記対象画素領域の画素値を所定の色に置き換えて表示することにより、該対象画素領域を該対象画素領域以外と区別可能に表示するものであることを特徴とする請求項１に記載の撮像装置。
3. 前記対象画素領域を、空間的に連続する対象画素のみを全て含む区分領域であって、他の区分領域とは空間的に独立した区分領域に区分するための対象画素領域区分部と、
   前記区分領域の一つ以上を前記撮像データ上において指定するための区分領域指定部と、
   をさらに備え、
   前記対象画素領域抽出部は、指定された前記区分領域を前記撮像データから抽出するものであることを特徴とする請求項１に記載の撮像装置。
4. 前記比較表示部は、抽出された前記対象画素領域のみを表示する抽出画像表示部を、前記撮像データ表示部および前記距離分布図表示部の近傍にさらに配置したものであることを特徴とする請求項１に記載の撮像装置。
5. 前記撮像部は、
   光学系と、
   前記光学系により結像された光学像を光電変換する撮像素子と、
   前記光学系をフォーカシング調整するための光学系制御部と、
   を備えたものであり、
   前記基点距離設定部は、前記被写界の撮像データを取得したときに前記光学系制御部から出力された被写体距離に基づいて、前記基点距離を設定するものであることを特徴とする請求項１から請求項４の何れか一項に記載の撮像装置。
6. 前記撮像データのエッジ強度を算出するエッジ強度算出部をさらに備え、
   前記基点距離設定部は、前記エッジ強度の値が所定の閾値以上となる領域に対応する距離を前記基点距離として設定するものであることを特徴とする請求項１から請求項４の何れか一項に記載の撮像装置。
7. 前記距離分布図上において基点距離情報を入力するための基点距離入力部をさらに備え、
   前記基点距離設定部は、前記基点距離入力部により入力された基点距離情報を前記基点距離として設定するものであることを特徴とする請求項１から請求項４の何れか一項に記載の撮像装置。
8. 前記撮像データ表示部において一以上の画素を含む領域を指定するための撮像データ画素領域入力部をさらに備え、
   前記基点距離設定部は、前記指定された領域に対応する距離を前記基点距離として設定するものであることを特徴とする請求項１から請求項４の何れか一項に記載の撮像装置。

Images