JP6294703B2

JP6294703B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP6294703B2
Application number: JP2014035560A
Authority: JP
Inventors: 良典林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2018-03-14
Anticipated expiration: 2034-02-26
Also published as: JP2015162730A

Description

本発明は、画像処理装置に関し、特にリフォーカス画像の検索を可能とする画像処理装置および画像処理方法に関する。

デジタルスチルカメラなどの撮像装置は、メモリカードなどの記録媒体に画像を記録するようになっている。記録媒体は大量の画像を記録することができるため、所望の画像を検索することが困難になってしまう。

特許文献１では、画像の被写界深度の深い・浅いや顔認識情報の有り・無し等に基づいた画像分類方法を提案している。この方法を用いることで、大量の画像の検索性を向上できるとしている。

また近年では、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。

このように取得された画素信号（光線情報）を用いると、通常の撮影画像の生成だけでなく、「ＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の像面にピントを合わせた画像（以下、リフォーカス画像）の再構成ができる。再構成により複数のリフォーカス画像を生成できるため、様々な被写界深度を持ったリフォーカス画像を生成できる。

特開２０１０−２６８１４１号公報

Ｒｅｎ．Ｎｇ、他７名，「ＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙｗｉｔｈａＨａｎｄ−ＨｅｌｄＰｌｅｎｏｐｔｉｃＣａｍｅｒａ」，ＳｔａｎｆｏｒｄＴｅｃｈＲｅｐｏｒｔＣＴＳＲ２００５−０２

上述の特許文献１では、ライトフィールドカメラで取得された画素データから再構成された、被写界深度と焦点位置が異なる複数枚のリフォーカス画像に対してユーザーが所望する画像を検索および抽出を行う技術については言及されていない。

そこで、本発明の目的は、被写界深度と焦点位置が異なる複数枚のリフォーカス画像からユーザーが所望する画像を検索して提供することを可能にする画像処理装置を提供することである。

本発明によれば、画像処理装置は、画像データと、該画像データにおける、被写体の被写体情報と当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報とを取得する取得手段と、被写体を指示する指示手段と、取得された画像データの被写体の被写体情報、当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報に基づいて、指示手段により指示された被写体が画像データの被写界深度内にあるか否かを判定する判定手段と、判定手段による判定の結果に従って、取得手段から取得される画像データを出力する出力手段とを備える。

本発明によれば、被写界深度と焦点位置が異なる複数のリフォーカス画像からユーザーが所望する画像を検索して提供することをできる画像処理装置の提供が可能となる。特に、検索した結果ユーザーが所望する被写界深度と焦点位置のリフォーカス画像がない場合には、再構成によりリフォーカス画像を提供できる画像処理装置の提供が可能となる。

本発明の第１の実施例に係わる画像処理装置の腰部のブロック図である。本発明の第１の実施例に係わる画像処理装置の画像処理動作のフローチャートを示す図である。リフォーカス画像の有する距離分布情報を説明するための図である。リフォーカス画像の有する被写界深度の範囲情報を説明するための図である。本発明の第１の実施例に係わる画像処理装置の入力画像データの例を示す図である。図５の入力画像データにおける被写体と被写体距離および被写界深度との関係を示す図である。本発明の第１の実施例に係わる画像処理装置おける被写体指示の指定を説明するための図である。本発明の第１の実施例に係わる画像処理装置の画像処理動作の結果を説明するための図である。本発明の第２の実施例に係わる画像処理装置の腰部のブロック図である。本発明の第２の実施例に係わる画像処理装置の画像処理動作のフローチャートを示す図である。本発明の第２の実施例に係わる画像処理装置の入力画像データの例を、被写体距離と被写界深度の関係で示す図である。本発明の第２の実施例に係わる画像処理装置の画像処理動作の結果を説明するための図である。本発明の第３の実施例に係わる画像処理装置の腰部のブロック図である。本発明の第３の実施例に係わる画像処理装置の画像生成処理動作のフローチャートを示す図である。本発明の第３の実施例に係わる画像処理装置の入力画像データの例を被写体と被写体距離および被写界深度との関係で示す図である。本発明の第３の実施例に係わる画像処理装置の画像生成処理動作の結果を説明するための図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１を参照して、本発明の第１の実施例に係わる画像処理装置について説明する。同図は、本実施例に係わる画像処理装置の要部のブロック図である。なお、後の説明から分かるように、図１に示す各手段は制御手段（ＣＰＵ１１０、メモリ１０９を含む）によって制御される。この場合、制御手段は、本画像処理装置が有するものであってもよいし、本画像処理装置が適用される装置、例えばＰＣ等の情報処理装置の制御部であってもよい。

図１において、１０１は入力画像データ、１０２は被写体情報取得手段、１０３は距離分布情報取得手段である。また、１０４は深度情報取得手段、１０５はユーザー等による外部からの指示、１０６は指定手段である。さらに、１０７は判定手段、１０８は抽出手段である。

次に、図１に示す各手段の構成について詳述する。

入力画像データ１０１は、少なくとも一つの被写体の被写体情報と被写体までの距離の分布情報と被写界深度の範囲情報を含んだリフォーカス画像データである。例えば一つのリフォーカス可能な画像データから再構成された異なる被写界深度の範囲を有する複数のリフォーカス画像データである。しかし、同様の情報を有する画像データであれば、本実施例の画像処理装置による画像処理の対象とすることが可能である。例えば、撮影条件を変えて順次撮影された複数の画像データを本実施例の処理対象とすることが可能である。

被写体情報は、画像データ上の所定の特徴を持った物体を分類するための物体の個別情報である。本実施例では、被写体情報として入力画像データ１０１内の人物の顔を検出した情報とする。

被写体までの距離の分布情報は、画像データ上の特定の特徴を持った物体までの距離の分布情報である。本実施例では、入力画像データ１０１におけるカメラから被写体情報である人物の顔までの距離情報とする。

被写界深度の範囲情報は、焦点位置と前側被写界深度と後側被写界深度を含んだ情報である。本実施例では、入力画像データ１０１の焦点位置と前側被写界深度と後側被写界深度を含んだ情報とする。これらの情報は、リフォーカス画像の再構成に係わる情報である。

被写体情報取得手段１０２は、入力画像データ１０１が入力されると、入力画像データから被写体の被写体情報を取得する。本実施例の入力画像データの例では、図３（ａ）に示すように、人物Ａ３０１、人物Ｂ３０２の被写体情報を取得する。

距離分布情報取得手段１０３は、入力された入力画像データ１０１から被写体までの距離の分布情報を取得する。本実施例では、図３（ａ）に示すように、入力画像データ１０１をあらかじめ決められた距離情報取得エリア３０３に分割する例を示す。ここで、距離情報取得エリア３０３の分割数は、画像処理装置１００の演算能力やフレームレート等の制限に応じて適宜決めても良い。

距離分布情報取得手段１０３は、距離情報取得エリア３０３に分割された入力画像データ１０１に対して、各距離情報取得エリア３０３を代表する被写体までの距離を取得して、その分布情報を得る。ここで、取得する距離については、距離情報取得エリア３０３の中心の被写体の距離を距離情報取得エリア３０３の被写体の距離としてもよいし、距離情報取得エリア３０３内の被写体の距離の平均値を距離情報取得エリア３０３の被写体の距離としてもよい。図３（ｂ）に、図３（ａ）の入力画像データ１０１から得られた、特定の特徴を持った物体である人物Ａ３０１、人物Ｂ３０２の距離分布情報を示す。

深度情報取得手段１０４は、入力画像データ１０１から被写界深度の範囲情報を取得する。本実施例の入力画像データ１０１の例では、図４に示すように、被写界深度の範囲情報を、被写体距離を横軸で表した場合の、焦点位置の人物Ａ３０１を中心にした前側被写界深度４０１と後側被写界深度４０２の情報とする。

指定手段１０６は、入力画像データ１０１に対して、外部からの指示１０５に従って、例えば被写体情報に従って識別される画像データ内の少なくとも１つの位置における被写体を指定する。この場合、外部からの指示は、例えば画像データ内の位置情報であり、この位置情報と被写体情報から被写体が特定される。

判定手段１０７は、被写体の被写体情報と被写体までの距離の分布情報と被写界深度の範囲情報に基づいて、指定手段１０６により指定された被写体が入力画像データ１０１の被写界深度内に存在するかどうかを判定し、その結果を示す判定情報を出力する。

抽出手段１０８は、判定手段１０７からの判定情報に従って、指定手段１０６により指定された被写体が入力画像データ１０１の被写界深度内に存在する場合のみ入力画像データ１０１を抽出して出力する。

次に、本実施例に係わる画像処理装置の処理動作について、図２のフローチャートを参照して説明する。本処理動作は、上述した図示しない制御手段によって制御される。

ステップＳ２００では、画像処理装置１００が入力画像データ１０１を取得する。なお入力画像データ１０１は、上述したように、被写体の被写体情報と被写体までの被写体距離の分布情報と被写界深度の範囲情報が関連付けられて記録されたデータである。ここで、本実施形態では、被写体距離の分布情報として少なくとも被写体情報がある被写体に対応する領域の被写体距離の情報を有していればよい。

ステップＳ２０１では、被写体情報取得手段１０２が、入力画像データ１０１に対応する被写体の被写体情報を取得する。

ステップＳ２０２では、距離分布情報取得手段１０３が、入力画像データ１０１に対応する被写体までの被写体距離の分布情報を取得する。

ステップＳ２０３では、深度情報取得手段１０４が、入力画像データ１０１に対応する被写界深度の範囲情報を取得する。

ステップＳ２０４では、指定手段１０６が、ユーザー等の外部からの指示１０５に従い、入力画像データ１０１に対して少なくとも任意の一つの位置を指定する処理動作があったかどうかを判定する。任意の一つの位置を指定する処理動作があった場合は、ＣＰＵ１１０が、指定された位置あるいは指定された位置から所定の距離内の位置に対応する被写体情報から指示する被写体を決定する。対応する被写体情報がない場合は、その旨を表示媒体１１２に表示するなどして報知する。位置を指定する処理動作がない場合はステップＳ２０４に戻り、指定を待つ。

ステップＳ２０５では、ステップＳ２０４で指定された被写体が、入力される他の入力画像データ１０１の被写界深度内に存在するかどうかを、被写体情報、被写体距離の分布情報および被写界深度の範囲情報に基づいて判定する。指定された被写体が入力画像データ１０１の被写界深度内に存在する場合は、ステップＳ２０６に進み、存在しない場合は処理を終了する。

ステップＳ２０６では、抽出手段１０８が、ステップＳ２０５での判定の結果を示す情報に従って、指定された被写体が入力画像データ１０１の被写界深度内に存在する場合のみ入力画像データ１０１を表示部１１１、記録部１１３または外部装置に出力する。その結果、出力された画像データはまとめて、あるいは順次表示部１１１によって表示媒体１１２に表示されたり、記録部１１３によって記録媒体１１４に記録されたり、送信先の外部装置で使用されたりする。

次に、実施例に係わる画像処理装置の画像処理動作について、図５〜図８を参照して具体的な入力画像データを用いて説明する。

図５は、入力画像データ１０１の具体例を示す。図５（ａ）に示す入力画像データの例である画像データ５００は、人物Ｃ５０３と人物Ｄ５０４の被写体情報を含んだ画像である。図５（ｂ）に示す入力画像データの例である画像データ５０１は、人物Ｃ５０３と人物Ｄ５０４の被写体情報を含んだ画像である。図５（ｃ）に示す入力画像データの例である画像データ５０２は、人物Ｃ５０３と人物Ｅ５０５の被写体情報を含んだ画像である。

図６（ａ）〜（ｃ）は、図５（ａ）〜（ｃ）に示す画像データについて、被写体距離を表わす横軸上に、被写体情報、被写体距離の分布情報および被写界深度の範囲情報を示す図である。

図６（ａ）は、画像データ５００が、人物Ｃ５０３と人物Ｄ５０４までの距離の分布情報と焦点位置の人物Ｃ５０３を中心にして前側被写界深度６０１と後側被写界深度６０２を有していることを示す。

図６（ｂ）は、画像データ５０１が、人物Ｃ５０３と人物Ｄ５０４までの距離の分布情報と焦点位置の人物Ｃ５０３を中心にして前側被写界深度６０３と後側被写界深度６０４を有していることを示す。

図６（ｃ）は、画像データ５０２が、人物Ｃ５０３と人物Ｅ５０５までの距離の分布情報と焦点位置の人物Ｅ５０５を中心にして前側被写界深度６０５と後側被写界深度６０６を有していることを示す。

図７は、外部からの指示１０５により画像データ５００内の任意の領域７００、つまり人物Ｃ５０３が指定された例を示す。

ここで、本実施例に係わる画像処理装置が、図５および図６に示す入力画像データ５００から５０２に対して、外部からの指示１０５により領域７００の選択（図７）に従って、図２に示すフローチャートに従った画像処理動作を実行する。即ち、指定された人物Ｃ５０３が、画像データ５００、５０１、５０２の前側被写界深度６０１と後側被写界深度６０２、前側被写界深度６０３と後側被写界深度６０４、前側被写界深度６０５と後側被写界深度６０６内に存在するかどうかが判定される。

図８は、外部からの指示１０５に従って入力画像データ５００上の一つの位置での被写体８００、つまり指定された人物Ｃ５０３の被写体距離と被写界深度の範囲とを被写体距離の軸上で示す。指定された人物Ｃ５０３が、画像データ５００の前側被写界深度６０１と後側被写界深度６０２、及び画像データ５０１の前側被写界深度６０３と後側被写界深度６０４内に存在することが示されている。図８に示されていない画像データ５０２においては、人物Ｃ５０３の被写体情報はあるが、人物Ｃ５０３が前側被写界深度６０５と後側被写界深度６０６内に存在していない。従って、図２のフローチャートに従った画像処理動作のステップＳ２０６において、画像データ５００と５０１が抽出手段１０８から出力される。

上述した第１の実施例によれば、画像内の所望の被写体を指定することで、指定された被写体が被写界深度の範囲内に存在している画像を抽出することが可能となる。これにより、被写界深度と焦点位置が異なる複数のリフォーカス画像に対して、ユーザーが所望する被写体の近傍に焦点が合った画像を容易に検索して提供することが可能となる。

なお、本実施例の画像処理装置においては、抽出手段１０８で出力されなかった入力画像データ１０１を削除する手段を設けてもよいし、抽出された入力画像データ１０１を表示する手段を含めてもよい。表示手段については、本画像処理手段が適用される装置が有する表示手段により抽出した入力画像データを表示するようにしてもよい。

また、指定手段１０６を介して指定される被写体は、例えば図８の被写体Ｃ５０３の一つだけに限らず、被写体Ｄ５０４も指定してもよい。その場合は、指定された各被写体５０３および５０４が、同じ被写界深度の範囲に存在する場合のみ、入力画像データが抽出手段１０８から出力される。

次に、図９を参照して、本発明の第２の実施例に係わる画像処理装置９００について説明する。なお、図９において、図１と同じ動作内容の構成要素は同じ符号を付して示し、その説明は省略する。

同図において、９０１は入力画像データ、９０２は判定手段である。

本実施例の画像処理装置では、入力画像内で指定された位置での被写体距離が被写界深度の範囲であるかどうかによって、入力画像データを抽出するかどうかを決定する。従って、第１の実施例において、入力画像データと共に提供される情報としての被写体情報はなくてもよく、本実施例における入力画像データ９０１は、少なくとも被写体までの距離の分布情報と被写界深度の範囲情報を含んだ画像データであればよい。なお、画像内の位置の指定は、例えば図３（ａ）に示す距離情報取得エリア３０３単位で行う。このエリアのサイズは、上述したように、画像処理装置の処理能力等に従って設定できるので、可能な範囲で画像の分割数を大きく取ることで指定の精度を上げることが可能である。

本実施例の判定手段９０２は、被写体までの距離の分布情報と被写界深度の範囲情報を用いて、指定手段１０６により指定された位置での距離が入力画像データ９０１の被写界深度内に存在するかどうかを判定し、その結果を示す判定情報を出力する。

次に、本実施例に係わる画像処理装置９００の画像処理動作について、図１０のフローチャートを参照して説明する。図１０における処理ステップにおいて図２と同じ処理内容のステップには同じ符号を付して示し、ここでの説明は省略する。以下、図２と異なる処理構成部分について説明する。

ステップＳ１０００では、画像処理装置９００に入力画像データ９０１を入力する。なお入力画像データ９０１は、上述のように、被写体までの距離の分布情報と被写界深度の範囲情報も含んだリフォーカス画像などの画像データである。

ステップＳ１００１では、ステップＳ２０４で指定された画像内の位置が入力画像データ９０１の被写界深度内に存在するかどうかを判定する。指定された位置が入力画像データ９０１の被写界深度内に存在する場合はステップＳ２０６に進み、存在しない場合は処理を終了する。

次に、図１０に示すフローチャートに従った本実施例における画像処理動作について、図１１および図１２に示す入力画像データの例を用いて説明する。

図１１（ａ）〜（ｃ）は入力画像データ９０１の具体例を示し、被写体距離を表わす横軸上において被写界深度の範囲を示す図である。

図１１（ａ）は、被写体距離情報と被写界深度１１００の情報を含んだ画像データの例を示す。

図１１（ｂ）は、被写体距離情報と被写界深度１１０１の情報を含んだ他の画像データの例を示す。

図１１（ｃ）は、被写体距離情報と被写界深度１１０２の情報を含んだ他の画像データの例を示す。

図１２は、外部からの指示１０５に従って画像データ内の任意の位置１２００が指定されたときの、図１１に示す画像データにおける被写界深度の範囲と位置１２００での被写体距離との関係を示す。

本実施例の画像処理装置９００は、指定された位置１２００での被写体距離が、図１１の各画像データの被写界深度１１００、１１０１、１１０２内に存在するかどうかを、判定手段９０２が判定する。指定された位置１２００での被写体距離は、図１２（ａ）と図１２（ｂ）に示されるように、被写界深度１１００、１１０１内に存在する。また、指定された位置１２００での被写体距離は、図１２（ｃ）に示されるように、被写界深度１１０２内に存在していない。このため、判定手段９０２による判定の結果、図１１に示す３つの入力画像データのうち、図１１（ａ）と１１（ｂ）の画像データが抽出手段１０８から出力される。

上述した本実施例によっても、画像内の所望の位置を指定することで、指定された位置での被写体距離が被写界深度の範囲内にある画像データを抽出することが可能となる。これにより、被写界深度と焦点位置が異なる複数のリフォーカス画像に対して、ユーザーが画像内で所望する位置の近傍に焦点が合った画像を容易に検索して提供することが可能となる。

なお、本実施例においても、第１の実施例と同様に、画像データ内の複数の位置を指定してもよい。その場合は、判定手段９０２は、各位置での被写体距離が画像データの被写界深度内にあるかどうかを判定する。

次に、図１３を参照して、本発明の第３の実施例に係わる画像処理装置１３００について説明する。なお、図１３においても、図１と同じ動作内容の構成要素は同じ符号を付して示し、ここでの説明は省略する。以下、図１と相違する構成部分について説明する。

本実施例は、第１の実施例において指定された被写体の被写体距離が被写界深度の範囲内にないときは、範囲内となるリフォーカス画像を抽出生成手段１３０２において生成して出力する構成を有する。そのため、抽出生成手段１３０２には、入力画像データ１０１とは異なる被写界深度のリフォーカス画像を再構成可能な画像データ１３０１が入力される。

図１３において、１３０１は被写界深度の異なる複数枚の画像データを生成可能な一つのデータ、１３０２は抽出生成手段である。

入力画像データ１０１は、被写界深度の異なる複数枚の画像データを生成可能な一つのデータ１３０１から生成された任意の被写界深度を有するリフォーカス画像データであり、第１の実施例と同様に、被写体等の情報を有する。

抽出生成手段１３０２は、入力画像データ１０１と被写界深度の異なる複数の画像データを生成可能な一つのリフォーカス可能な画像データ１３０１を入力する。さらに判定手段１０７からの判定情報を用いて、指定手段１０６で指定された被写体が入力画像データ１０１の被写界深度内に存在すると判定された場合に入力画像データ１０１を出力する。

指定手段１０６で指定された被写体が入力画像データ１０１の被写界深度内に存在しないと判定された場合は、リフォーカス可能な一つの画像データ１３０１から、指定された被写体が被写界深度内に存在する画像データ（リフォーカス画像データ）を生成する。

次に、本実施例に係わる画像処理装置１３００の画像処理動作について、図１４のフローチャートを参照して説明する。なお、図１４においても、図２と同じ処理内容のステップは同じ符号を付して示し、ここでの説明は省略する。以下、図２と異なる処理部分について説明する。

ステップＳ１４００では、指定手段１０６で指定された被写体が入力画像データ１０１の被写界深度内に存在しないとステップＳ２０５で判定された場合に、指定された被写体が被写界深度内に存在するリフォーカス画像データを画像データ１３０１から生成する。なお、この場合、ユーザーに対し、新たなリフォーカス画像データの生成をするかどうかについて問い合わせの表示を行ってもよい。表示は、表示部１１１によって表示媒体１１２に行われる。

次に、本実施例における画像処理動作について、図１５、図１６に示す画像データの具体例を用いて説明する。

図１５（ａ）は被写界深度の異なる複数枚の画像データを生成可能な一つの画像データ１３０１の例である。図１５（ｂ）、図１５（ｃ）、図１５（ｄ）の画像データは、図１５（ａ）の画像データから再構成された任意の被写界深度を有するリフォーカス画像データの例である。なお、図１５（ａ）〜図１５（ｄ）での横軸は被写体距離を表し、被写体１５００、被写体１５０１、被写体１５０２までの距離の分布情報、リフォーカス可能範囲１５０３、および被写界深度の範囲情報１５０４、１５０５、１５０６を示す。

外部からの指示１０５により被写体１５０２が指定されたとすると、指定された被写体１５０２は、図１５（ｂ）〜図１５（ｄ）の画像データの被写界深度内に存在しない。そのため、抽出生成手段１３０２は、被写界深度の異なる複数の画像データを生成可能な一つのデータである図１５（ａ）から、図１６に示す被写界深度１６００を持った画像データを生成する。

上述した本実施例によっても、画像内の所望の被写体を指定することで、指定された被写体の被写体距離が被写界深度の範囲内に存在している画像データを抽出することが可能となる。これにより、被写界深度と焦点位置が異なる複数のリフォーカス画像に対して、ユーザーが画像内で所望する位置の近傍に焦点が合った画像を容易に検索して提供することが可能となる。また、該当するリフォーカス画像が検索されなかったときは、指定した被写体が被写界深度内に存在するリフォーカス画像が生成され、いずれにしても所望のリフォーカス画像を得ることが可能となる。

なお、上記第３の実施例は、第１の実施例において指定された被写体が画像データの被写界深度内にない場合にリフォーカス画像を再構成して出力する構成であるが、第２の実施例を同様の構成としてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims

画像データと、該画像データにおける、被写体の被写体情報と当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報とを取得する取得手段と、
被写体を指示する指示手段と、
前記取得された画像データの被写体の被写体情報、当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報に基づいて、前記指示手段により指示された被写体が前記画像データの被写界深度内にあるか否かを判定する判定手段と、
前記判定手段による判定の結果に従って、前記取得手段から取得される画像データを出力する出力手段と
を備えることを特徴とする画像処理装置。
前記取得手段により取得される画像データ内の位置を指定する指定手段を有し、
前記指示手段は、前記取得手段により取得される画像データ内の前記指定手段によって指定された位置に対応づけられた被写体の被写体情報に基づいて被写体を指示することを特徴とする請求項１に記載の画像処理装置。
前記出力手段は、前記判定手段が前記指示された被写体が前記画像データの被写界深度内にあると判定した場合は、前記画像データを出力し、前記指示された被写体が前記画像データの被写界深度内にないと判定した場合は、前記画像データを出力しないことを特徴とする請求項１又は２に記載の画像処理装置。
前記指示手段により複数の被写体が指示された場合は、前記判定手段は、前記指示された複数の被写体が前記画像データの被写界深度内にあるかどうかを判定することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
前記被写体情報は、前記画像データに含まれる所定の特徴を有する物体を分類するための物体の個別情報であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記被写体距離の情報は、前記画像データに含まれる前記所定の特徴を有する物体までの被写体距離の情報であることを特徴とする請求項５に記載の画像処理装置。
前記被写界深度の範囲情報は、前記画像データの焦点位置と前側被写界深度と後側被写界深度を含む情報であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記取得手段が取得する画像データは、被写界深度と焦点位置が異なる複数の画像データを再構成可能な画像データから再構成された画像データであることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
前記出力手段は、前記指示された被写体が前記画像データの被写界深度内にある画像データを前記再構成可能な画像データから再構成して生成する生成手段を有することを特徴とする請求項８に記載の画像処理装置。
前記出力手段は、前記判定手段が前記指示された被写体が前記画像データの被写界深度内にないと判定した場合は、前記生成された画像データを出力することを特徴とする請求項９に記載の画像処理装置。
前記出力手段により出力される画像データを表示媒体に表示する表示手段を有することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
前記出力手段により出力される画像データは外部装置に出力されることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
画像データと、該画像データにおける被写界深度の範囲情報とを取得する取得手段と、
被写体距離を指示する指示手段と、
前記取得された画像データの被写界深度の範囲情報に基づいて、前記指示手段により指示された被写体距離が前記画像データの被写界深度内にあるか否かを判定する判定手段と、
前記判定手段による判定の結果に従って、前記画像データを出力するかどうかを決定する出力手段と
を備えることを特徴とする画像処理装置。
前記取得手段により取得される画像データは被写体距離の分布情報を有し、
前記取得手段により取得される画像データ内の位置を指定する指定手段を有し、
前記指示手段は、前記被写体距離の分布情報に基づいて、前記取得手段により取得される画像データ内の前記指定手段によって指定された位置に対応づけられた被写体距離を指示することを特徴とする請求項１３に記載の画像処理装置。
前記出力手段は、前記判定手段が前記指示された被写体距離が前記画像データの被写界深度内にあると判定した場合は、前記画像データを出力し、前記指示された被写体距離が前記画像データの被写界深度内にないと判定した場合は、前記画像データを出力しないことを特徴とする請求項１３又は１４に記載の画像処理装置。
前記指定手段により、前記取得した画像データ内の複数の位置が指定された場合は、前記判定手段は、前記指定された複数の位置での被写体距離が全て前記画像データの被写界深度内にあるかどうかを判定することを特徴とする請求項１４に記載の画像処理装置。
前記取得手段が取得する画像データは、被写界深度と焦点位置が異なる複数の画像データを再構成可能な画像データから再構成された画像データであることを特徴とする請求項１３から１６のいずれか１項に記載の画像処理装置。
前記出力手段は、前記指示された被写体距離が前記画像データの被写界深度内にある画像データを前記再構成可能な画像データから再構成して生成する生成手段を有することを特徴とする請求項１７に記載の画像処理装置。
前記出力手段は、前記判定手段が前記指示された被写体距離が前記画像データの被写界深度内にないと判定した場合は、前記生成された画像データを出力することを特徴とする請求項１８に記載の画像処理装置。
前記被写界深度の範囲情報は、前記画像データの焦点位置と前側被写界深度と後側被写界深度を含む情報であることを特徴とする請求項１３から１９のいずれか１項に記載の画像処理装置。
取得手段が、画像データと、該画像データにおける、被写体の被写体情報と当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報とを取得する取得ステップと、
指示手段が、被写体を指示する指示ステップと、
判定手段が、前記取得された画像データの被写体の被写体情報、当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報に基づいて、前記指示手段により指示された被写体が前記画像データの被写界深度内にあるか否かを判定する判定ステップと、
前記判定手段による判定の結果に従って、前記取得手段により取得される画像データを出力する出力ステップと
を備えることを特徴とする画像処理装置の制御方法。
画像処理装置を制御するためのプログラムであり、
コンピュータを、
画像データと、該画像データにおける、被写体の被写体情報と当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報とを取得する取得手段と、
被写体を指示する指示手段と、
前記取得された画像データの被写体の被写体情報、当該被写体に対応する被写体距離の情報及び被写界深度の範囲情報に基づいて、前記指示手段により指示された被写体が前記画像データの被写界深度内にあるか否かを判定する判定手段と、
前記判定手段による判定の結果に従って、前記取得手段から取得される画像データを出力する出力手段と
として機能させることを特徴とするプログラム。
取得手段が、画像データと、該画像データにおける被写界深度の範囲情報とを取得する取得ステップと、
指示手段が、被写体距離を指示する指示ステップと、
判定手段が、前記取得された画像データの被写界深度の範囲情報に基づいて、前記指示手段により指示された被写体距離が前記画像データの被写界深度内にあるか否かを判定する判定ステップと、
出力手段が、前記判定手段による判定の結果に従って、前記画像データを出力するかどうかを決定する出力ステップと
を備えることを特徴とする画像処理装置の制御方法。
画像処理装置を制御するためのプログラムであり、
コンピュータを、
画像データと、該画像データにおける被写界深度の範囲情報とを取得する取得手段と、
被写体距離を指示する指示手段と、
前記取得された画像データの被写界深度の範囲情報に基づいて、前記指示手段により指示された被写体距離が前記画像データの被写界深度内にあるか否かを判定する判定手段と、
前記判定手段による判定の結果に従って、前記画像データを出力するかどうかを決定する出力手段と
として機能させることを特徴とするプログラム。
請求項２３または２４のプログラムを記録したコンピュータが読み取り可能な記憶媒体。