JP6185819B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特にリフォーカス画像を再構成する機能を有する画像処理装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光を複数の画素によって入射方向別に取得している。

このように取得された画素信号（光線情報）に対して、通常の撮影画像を生成するほかに、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用して、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。従来のカメラであれば所望の被写体にピントが合っていない場合は撮り直す必要があったが、ライトフィールドカメラで撮影した画像信号を用いてリフォーカス面を再構成することで撮り直すことなく所望の画像が得られる。

加えて特許文献１では、マイクロレンズアレイを動かすことにより、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」技術に基づく撮影方法と通常の高解像度の撮影方法とを切り替えることが可能な撮像装置が提案されている。

特開２００８−３１２０８０号公報

Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

しかしながら、上述の非特許文献１に開示された従来技術では、一つの画素データを生成するために複数の光線情報を用いる必要があるため、撮像素子の配列密度に応じた解像度の画像を生成することは困難である。また、上述の特許文献１に開示された従来技術では、解像度の高い画像の撮影はできるが、解像度の高い画像でリフォーカス処理することはできない。

そこで、本発明の目的は、撮像素子の配列密度に応じた解像度の画像をリフォーカス処理で生成可能にした画像処理装置を提供することである。

上記目的を達成するために、本発明によれば、画像データを処理する画像処理装置は、リフォーカス画像を生成可能な第一の画像データを取得する第一の画像データ取得手段と、第一の画像データに対応し、通常の撮影画像を表わす第二の画像データを取得する第二の画像データ取得手段と、第一の画像データからリフォーカス画像を生成するリフォーカス手段と、リフォーカス画像の画像データを周波数領域の情報である第一の周波数特性に変換する第一の変換手段と、第二の画像データを周波数領域の情報である第二の周波数特性に変換する第二の変換手段と、第二の周波数特性の高周波数成分を抽出する抽出手段と、高周波数成分と第一の周波数特性を合成して一つの画像の周波数領域の情報を生成するする合成手段と、合成された周波数領域の情報を空間領域の情報に変換して第三の画像データを生成する第三の変換手段とを備える。

本発明によれば、撮像素子の配列密度に応じた解像度の画像でのリフォーカス処理を可能にする画像処理装置を提供することができる。

本発明の第１の実施例に係る画像処理装置の構成を示す図 リフォーカス画像とそのボケ量の例を示す図 通常画像データの座標変換の結果の例を示す図 座標変換の例を示す図 本発明の第１の実施例に係る画像処理装置における合成の例を示す図 本発明の実施例２に係る画像処理装置の構成を示す図 本発明の第２の実施例における通常画像データとその座標変換結果の例を示す図 本発明の第３の実施例に係る画像処理装置の構成を示す図 本発明の第３の実施例に係る画像処理装置の撮影動作のフローチャートを示す図 本発明の第３の実施例におけるリフォーカス可能範囲と被写界深度との関係を示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１〜図５を用いて本発明の第１の実施例について説明する。

図１に、本発明の第１の実施例に係る画像処理装置の一構成例を示す。なお、本実施例に係る画像処理装置の動作は、図示しない制御部のＣＰＵが、制御部のメモリに記憶されたプログラムを実行することによって制御される。制御部は、画像処理装置に固有に設けられたものでも、例えば撮像装置に当該画像処理装置が適用された場合の撮像装置の制御部であってもよい。

図１において、１００は画像データを処理する画像処理装置、１０１は光線情報データ(第一の画像データ)、１０２は通常の撮影画像を表わす通常画像データ(第二の画像データ)、１０３は出力画像データ(第三の画像データ)である。光線情報データ１０１は、特定の像面に焦点を合わせた画像（以下、リフォーカス画像）を生成可能な画像データである。通常画像データ１０２は、光線情報データ１０１と同一の画角で撮影された画像データである。出力画像データ１０３は画像処理装置１００から出力される画像データである。

１１０は第一のリフォーカス処理部であり、取得した光線情報データ１０１（第一の画像データ取得）に対してリフォーカス処理を行い、リフォーカス画像を出力する。リフォーカス処理する際の焦点位置（リフォーカス位置）は、ボタン等で構成される操作部を通じてユーザーの所望する位置を入力しても良いし、予め決められた位置としても良い。

１１１は第一の座標変換部であり、取得した通常画像データ１０２(第二の画像データ取得)を周波数領域のデータ（以下、第二の周波数特性）へと変換する(第二の変換手段)。

１１２は第二の座標変換部であり、リフォーカス画像を周波数領域のデータ（以下、第一の周波数特性）へと変換する(第一の変換手段)。第二の座標変換部１１２は、第一の座標変換部１１１と同じ変換方法を用いる。そのため、図示するように第一の座標変換部１１１と第二の座標変換部１１２を分けて構成しても良いし、第一の座標変換部１１１と第二の座標変換部１１２を一つの構成とし、時分割で処理をしても良い。

１１３はボケ量算出部であり、リフォーカス画像のボケ量を算出する。なお、ボケ量算出は、リフォーカス画像を複数のブロックに分割し、ブロック毎にボケ量を算出することで行う。ここで、ボケ量とは焦点のズレ量（デフォーカス量）のことであり、例えば光線情報データ１０１と第一のリフォーカス処理部１１０でリフォーカス処理した焦点位置を用いて算出可能である（デフォーカス量算出手段）。ただし、本実施例は、このボケ量の算出方法に限定されるものではない。

１１４は第一の高周波成分抽出部であり、第二の周波数特性とリフォーカス画像のボケ量とから通常画像データの特定の空間領域における高周波数成分（以下、通常高周波成分）を抽出する。

１１５は合成部であり、リフォーカス周波数特性と通常高周波成分とを合成する。１１６は第三の座標変換部であり、合成部１１５の処理結果を空間領域のデータへと変換する(第三の変換手段)。第三の座標変換部１１６の変換方法は、第一の座標変換部１１１および第二の座標変換部１１２の変換方法の逆変換である。第三の座標変換部１１６の出力が出力画像データ１０３である。

次に、本実施例に係る画像処理装置の動作の詳細を図２〜図５を用いて説明する。なお、以下の説明では、第一の座標変換部１１１および第二の座標変換部１１２は座標変換方法として離散ウェーブレット変換を用い、また第三の座標変換部１１６は座標変換方法として逆離散ウェーブレット変換を用いるものとして説明する。

第一のリフォーカス処理部１１０の出力結果の例を図２（ａ）に、その場合のボケ量算出部１１３の出力結果の例を図２（ｂ）に示す。

図２（ａ）は第一のリフォーカス処理部１１０で生成されたリフォーカス画像の例である。図において、２１０、２１１、２１２はリフォーカス画像の画角内にいる被写体であり、当該リフォーカス画像は被写体２１０に焦点を合わせて生成した画像である。なお、本実施例では光線情報データを、撮影した撮像装置からの距離が、被写体２１０ ＜ 被写体２１１ ＜ 被写体２１２の関係になっているとする。

図２（ｂ）は、図２（ａ）のリフォーカス画像に対して、ボケ量算出部１１３がボケ量を算出した結果の例を示す図である。図２（ｂ）に示す例は、図２（ａ）のリフォーカス画像を３ｘ４のブロック（以下、Ｂブロック）に分割し、ブロック毎にボケ量を算出した場合の例である。なお、リフォーカス画像の分割数は画像処理装置１００の演算能力やフレームレート等の制限に応じて適宜決めて良い。

図２（ｂ）において、２２１は分割された１つのＢブロックであり、２３０、２３１，２３２は、被写体２１０、２１１、２１２を含むＢブロックにおけるボケ量を示す。図２（ａ）のリフォーカス画像は被写体２１０に焦点を合わせた画像であるので、ボケ量は、ボケ量２３０ ＜ ボケ量２３１ ＜ボケ量２３２の関係を有する。ここで、ボケ量２３０、２３１、２３２に含まれないＢブロックのボケ量はボケ量２３２よりも大きい。

図３（ａ）は、第一の座標変換部１１１の出力結果の一例を、図３（ｂ）は第一の高周波成分抽出部１１４の出力結果の一例を示す。

図において、３００は通常画像データ１０２を離散ウェーブレット変換で２ステージ分割した例である。任意の画像に対する離散ウェーブレット変換のｎステージ目（ｎは自然数）の分割結果をＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎと表現する。ＬＬｎは水平方向の低周波成分と垂直方向の低周波成分、ＬＨｎは水平方向の低周波成分と垂直方向の高周波成分、ＨＬｎは水平方向の高周波成分と垂直方向の低周波成分、ＨＨｎは水平方向の高周波成分と垂直方向の高周波成分をそれぞれ抽出した結果を示す。ｎ＋１ステージ目の分割はＬＬｎにのみ実施し、ｎステージ目と同様に、ＬＬ（ｎ＋１）、ＬＨ（ｎ＋１）、ＨＬ（ｎ＋１）、ＨＨ（ｎ＋１）を生成する。

図３に示す出力結果での各成分の配置は、図４に示す各成分の配置に従っている。図４における４１１、４１２、４１３は、１ステージでの分割結果を示し、４２０、４２１、４２２、４２３は２ステージでの分割結果を示す。また、３１０は図２（ｂ）で示したボケ量に基づいて、出力結果３００の一部の高周波数成分のみを抽出した結果である。ボケ量のより小さいＢブロックに対応する箇所の高周波数成分を抽出対象とする。本実施例では、領域４２０以外の領域を高周波数成分とし、ボケ量２３０、２３１、２３２に基づいて、領域４２０以外の領域からさらに一部の高周波数成分を抽出した。具体的には、ある閾値ｍ（ｍは自然数）よりもボケ量が大きい領域はｍステージ目以下の分割結果から削除する、という処理を行う。図３（ｂ）に示す高周波成分の抽出結果は、ボケ量２３０ ＜ 閾値１（１ステージ目） ＜ ボケ量２３１ ＜ 閾値２（２ステージ目） ＜ ボケ量２３２ であるとして抽出処理を行った例である。図３（ｂ）に示すように、ボケ量２３１に該当する領域は１ステージ目の分割結果から情報を削除し、ボケ量２３２に該当する領域は1ステージ目、および２ステージ目の分割結果から情報を削除した。

合成部１１５の出力結果の一例を図５に示す。図において、５００は第二の座標変換部１１２で、リフォーカス画像に対して０ステージ分割した結果である。リフォーカス画像の解像度は出力結果３００の領域４２０の解像度と同一となるように、出力結果５００に対してアップサンプリング、ダウンサンプリング等の処理を施しても良い。合成部１１５では、図５に示すように第一の高周波成分抽出部１１４の出力結果３１０の低周波成分を第二の座標変換部１１２の出力結果５００に置き換える処理を行う。

以上のように、本実施例では、光線情報データ１０１からリフォーカス画像を生成する際に、同一の画角で撮影された通常画像データ１０２からリフォーカス画像のデフォーカス量に応じて高周波数成分を抽出してリフォーカス画像と合成している。これにより、特定の位置に焦点を合わせることが可能で、かつ通常画像データ１０２と同一の解像度を持ったリフォーカス画像を生成すること可能となる。

以上で説明した第１の実施例では、第一の座標変換部１１１は本実施例では離散ウェーブレット変換を用いて説明したが、これに限定するものではない。例えば、離散フーリエ変換を用いる等、その他の座標変換手段であっても良い。離散フーリエ変換のような変換後に空間の情報が残らない座標変換をする際は、光線情報データ１０１および通常画像データ１０２を複数のブロックに分割し、ブロック単位で処理を行ってもよい。光線情報データ１０１を複数のブロックに分割する際に、光線情報データ１０１を通常画像データ１０２のサイズにまでアップサンプリングしてもよい。

次に、図６および７を参照して本発明の第２の実施例について説明する。第１の実施例ではリフォーカス画像のボケ量に応じて通常画像データの高周波成分の抽出領域を決めていたが、本実施例では、高周波成分を抽出した領域に応じて、光線情報データからリフォーカス画像を生成する時のリフォーカス位置を設定する構成とする。この場合、抽出領域はユーザーの設定などで指定する。

図６は、本発明の第２の実施例に係る画像処理装置の構成の一例を示す図である。図の６００が本実施例に係る画像処理装置である。なお、同図において、第１の実施例と同様の部分は、同じ符号を付し、特に必要がない限りここでの説明を省略する。

図６において、６１４は本実施例における第二の高周波成分抽出部であり、通常画像データの特定の空間領域における高周波数成分を抽出し、抽出した領域の情報を後述する第二のリフォーカス処理部６１０に与える。高周波数成分を抽出する領域は、ボタン等で構成される操作部を通じてユーザーの所望値を入力しても良いし、予め決められた位置を用いても良い。ユーザーの所望値は、例えば通常画像データ１０２に対してフォーカスを合わせたい場所を選択してもらうことで得ることができる。

６１０は本実施例における第二のリフォーカス処理部であり、光線情報データ１０１に対してリフォーカス処理を行い、リフォーカス画像を出力する。リフォーカス処理する際の焦点位置は、第二の高周波成分抽出部６１４の高周波成分の抽出結果から決定することができる。具体的には、高周波成分が抽出されている空間領域に対してフォーカスが合うようにリフォーカス位置を選択する。なお、リフォーカス位置の決定方法はこれに限るものではない。例えば、高周波数成分を抽出する際に、ユーザーがフォーカスを合わせたい場所を入力している場合は、その場所をリフォーカス位置として用いても良い。

図６の画像処理装置の動作を、図７を用いてさらに詳しく説明する。なお、以下の説明では第一の座標変換部１１１および第二の座標変換部１１２は、座標変換方法として離散ウェーブレット変換を用いているものとして説明する。

図７（ａ）は通常画像データの例を、図７（ｂ）は、それに対する第二の高周波数成分抽出部６１４の出力結果の例を示す。

図７（ａ）の通常画像データの画角内には、図２（ａ）と同様に被写体２１０、２１１、２１２が撮影されている。本実施例では、被写体２１０にフォーカスを合わせるように処理を行うものとする。したがって、第二のリフォーカス処理部６１０でリフォーカス処理する際の焦点位置も被写体２１０に合わせる。

図７（ｂ）は、図７（ａ）を離散ウェーブレット変換で２ステージ分割した後、フォーカスを合わせる被写体２１０についての高周波数成分の情報のみを抽出した結果を示す。図７（ｂ）に示すように、フォーカスを合わせる被写体以外の情報については全て削除している。なお、高周波数成分の抽出方法はこの方法に限定するものではない。例えば、通常画像データを撮影した撮像装置から被写体２１０、２１１、２１２の距離を考慮して処理をしても良い。また、例えば、ボケの強度を更に入力してもらい、第１の実施例と同様にして高周波数成分の抽出結果に反映しても良い。ボケ強度を高くする場合には、ピントを合わせたい場所以外の領域の高周波数成分を抽出しないといった処理をしても良い。

具体的には、周波数帯域毎に距離情報と関連付けられた所定の閾値を設定し、被写体距離情報と抽出領域の座標情報における深度方向の距離との差を距離差分として算出するとともに、距離差分と閾値とを比較する。そして、距離差分が閾値以上の領域に対しては、閾値が示す周波数帯域以上の高周波成分の情報を削除する。

以上のように、本実施例においても、光線情報データ１０１からリフォーカス画像を生成する際に、同一の画角で撮影された通常画像データ１０２から所望のピンと位置に応じて高周波数成分を抽出してリフォーカス画像と合成している。これにより、特定の位置に焦点を合わせることが可能で、かつ通常画像データ１０２と同一の解像度を持ったリフォーカス画像を生成すること可能となる。

以下、本発明の第３の実施例について説明する。本実施例は、例えば第１の実施例の構成が取得する通常画像データの撮影をリフォーカス可能範囲に従って制御する構成を備えることを特徴する。リフォーカス画像と合成する高周波成分を抽出するに際しては、通常画像データがリフォーカス可能範囲の全ての領域でピントが合っていることが望ましい。本実施例は、これを実現するために、撮影レンズの絞りをリフォーカス可能範囲に従って制御する構成を提供する。なお、本実施例は、画像処理装置の構成例としてレンズユニットおよび撮影部を含んだ構成を提示しているが、これらを画像処理装置が適用される装置、例えば撮像装置の構成としてもよい。本実施例の要旨は、撮影条件（撮影レンズの絞り）をリフォーカス可能範囲に従って制御するための制御情報を生成することにある。

図８は、本実施例に係る画像処理装置の構成の一例を示す図である。なお、同図において第１の実施例と同様の部分は同じ符号を付して示し、必要のない限りその説明を省略する。

図において、８００は本実施例における画像処理装置である。８１０は撮影光学系を構成するレンズユニット部、８１１は光線制御部であり、レンズユニット部８１０のフォーカスを合わせる距離（以下、フォーカス点）を変更すると共に、レンズユニット部８１０に入力される光量を絞りにより制限する。

８２０は光線情報撮影部、８２２は通常画像撮影部である。光線情報撮影部８２０は、レンズ部８１０から出力される光を受けて、光線情報データ１０１を生成、出力する。通常画像撮影部８２２は、光線制御部８１１を制御すると共に、レンズ部８１０から出力される光を受けて、通常画像データ１０２を生成、出力する。

８２１は、リフォーカス可能範囲算出部であり、光線情報データ１０１から光線情報データ１０１でリフォーカスすることができる深度方向の範囲を算出し、出力する。８２３は被写界深度算出部であり、通常画像撮影部８２２で撮影される画像の被写界深度を算出、出力する。

８３０は第一のリフォーカス処理部であり、光線情報データ１０１に対してリフォーカス処理を行い、リフォーカス処理した画像を出力する。第一のリフォーカス処理部８３０でのリフォーカスを可能とする範囲（以下、リフォーカス許容範囲）は、リフォーカス可能範囲算出部８２１および被写界深度算出部８２３の出力を受けて決定する。リフォーカス処理する際の焦点位置は、ボタン等で構成される操作部を通じてユーザーの所望する位置を入力しても良いし、予め決められた位置としても良い。

次に、画像処理装置８００における撮影動作を図９のフローチャートを用いて説明する。

ステップＳ９０１は、光線情報撮影部８２０が光線情報データ１０１を生成して出力するステップである。ステップＳ９０２は、リフォーカス可能範囲撮影部８２１が光線情報データ１０１のリフォーカス可能範囲を算出するステップである。

ステップＳ９０３は、通常画像撮影部８２２が、リフォーカス可能範囲と光線制御部８１１より得られるフォーカス距離とから絞り値（以下、Ｆ値）を算出するステップである。ステップＳ９０４は、通常画像撮影部８２２がステップＳ９０３で算出されたＦ値で通常画像データ１０２の撮影を行うステップである。

ここで、第一のリフォーカス処理部８３０でリフォーカス許容範囲を設定する方法について図１０を用いて説明する。

図１０は、画像処理装置８００からの距離を横軸にとった場合のリフォーカス可能範囲および通常画像データ１０２の被写界深度、リフォーカス許容範囲の関係を表した図である。横軸の０の点は画像処理装置８００の位置である。

図１０（ａ）はリフォーカス可能範囲よりも通常画像データ１０２の被写界深度が浅い場合の関係を示す図である。図８（ｂ）は、リフォーカス可能範囲よりも通常画像データ１０２の被写界深度が深い場合の関係を示す図である。図において、１０１０、１０３０はレンズユニット部８１０のフォーカス点である。１００１、１０２１はリフォーカス可能範囲である。１００２、１０２２は通常画像データ１０２の被写界深度である。１００３、１０２３はリフォーカス許容範囲である。

図に示しているように、リフォーカス許容範囲１００３、１０２３は“（リフォーカス可能範囲１００１、１０２１） ＡＮＤ （被写界深度１００２、１０２２）”の範囲となる。

ここで、光線情報撮影部８２０で撮影した時のフォーカス点と、通常画像撮影部８２２で撮影した時のフォーカス点は同じとして説明しているが、この限りではない。それぞれのフォーカス点は異なっていても良い。ただしこの場合は、リフォーカス可能範囲１００１、１０２１と、被写界深度１００２、１０２２は少なくとも一部で互いに重なるように制御する必要がある。

また、リフォーカス後の被写界深度については上記説明では考慮していないが、これを考慮して出力画像１０３として生成可能なリフォーカス可能範囲を設定しても良い。

以上説明した本実施例では、光線情報データ１０１のリフォーカス可能範囲の結果を受けて、通常画像データ１０２の撮影時の光線を光線制御部８１１で制御したが、この限りではない。例えば、通常画像データ１０２の被写界深度を被写界深度算出部８２３で算出した後、この結果を受けて、光線情報撮影部８２０が光線制御部８１１を通じて撮影時の光線を制御しても良い。

また、本実施例では、被写界深度を得る方法として、通常画像撮影部８２２で撮影される画像を基に算出したが、この限りではない。通常画像撮影部８２２で撮影した際の光線制御部８１１の状態を用いて算出しても良い。

なお、本実施例は、第１の実施例の画像処理装置の構成に基づいたリフォーカス画像の生成構成を有しているが、第２の実施例の画像処理装置のリフォーカス画像の生成構成を有していてもよい。

以上のように、本実施例においても、光線情報データ１０１からリフォーカス画像を生成する際に、同一の画角で撮影された通常画像データ１０２から高周波数成分を抽出してリフォーカス画像と合成している。これにより、特定の位置に焦点を合わせることが可能で、かつ通常画像データ１０２と同一の解像度を持ったリフォーカス画像を生成すること可能となる。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (20)

1. 画像データを処理する画像処理装置において、
   リフォーカス画像を生成可能な第一の画像データを取得する第一の画像データ取得手段と、
   前記第一の画像データに対応し、通常の撮影画像を表わす第二の画像データを取得する第二の画像データ取得手段と、
   前記第一の画像データからリフォーカス画像を生成するリフォーカス手段と、
   前記リフォーカス画像の画像データを周波数領域の情報である第一の周波数特性に変換する第一の変換手段と、
   前記第二の画像データを周波数領域の情報である第二の周波数特性に変換する第二の変換手段と、
   前記第二の周波数特性の高周波数成分を抽出する抽出手段と、
   前記高周波数成分と前記第一の周波数特性を合成して一つの画像の周波数領域の情報を生成する合成手段と、
   前記合成された周波数領域の情報を空間領域の情報に変換して第三の画像データを生成する第三の変換手段と
   を備えることを特徴とする画像処理装置。
2. 前記抽出手段は、前記第一の周波数特性で示される周波数帯域以上の高周波数成分を前記第二の周波数特性から抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記リフォーカス画像のデフォーカス量を算出するデフォーカス量算出手段をさらに備え、前記抽出手段は、前記デフォーカス量に従って高周波成分を前記第二の周波数特性から抽出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記抽出手段は、周波数帯域毎にデフォーカス量と関連付けられた所定の閾値とデフォーカス量とを比較し、前記デフォーカス量が前記閾値以上の場合は、前記閾値が示す周波数帯域以上の高周波数成分を、前記デフォーカス量に対応する領域から削除することを特徴とする請求項３に記載の画像処理装置。
5. 前記デフォーカス量算出手段は、前記リフォーカス画像を複数のブロックに分割して前記ブロック毎にデフォーカス量を算出し、前記抽出手段は、ブロック単位で前記高周波成分を削除することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記抽出手段は、前記高周波成分を抽出した空間領域の情報を出力し、前記リフォーカス手段は、前記情報に従って前記空間領域に焦点が合うように前記第一の画像データからリフォーカス画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記空間領域の座標情報を入力する入力手段をさらに備え、前記抽出手段は、前記座標情報に従って前記高周波成分を抽出することを特徴とする請求項６に記載の画像処理装置。
8. 前記抽出手段は、前記第二の画像データの被写体の距離情報である被写体距離情報を取得し、前記座標情報と前記被写体距離情報とに基づいて高周波成分を抽出することを特徴とする請求項７に記載の画像処理装置。
9. 前記抽出手段は、前記被写体距離情報と前記座標情報における深度方向の距離との差を算出し、前記差と周波数帯域毎に距離情報と関連付けられた閾値とを比較し、前記差が前記閾値以上の領域に対して、前記閾値が示す周波数帯域以上の高周波成分の情報を削除することを特徴とする請求項８に記載の画像処理装置。
10. 前記第二の画像データの被写界深度を算出する被写界深度算出手段と、
    前記第一の画像データを用いてリフォーカス可能範囲を算出するリフォーカス可能範囲算出手段と、
    前記リフォーカス可能範囲と前記第二の画像データのフォーカス距離とに基づいて、前記に第二の画像データの撮影条件の制御情報を生成する制御手段と
    をさらに備えることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記制御手段は、前記被写界深度が前記リフォーカス可能範囲の少なくとも一部を含むように前記撮影条件を制御する制御情報を生成することを特徴とする請求項１０に記載の画像処理装置。
12. 前記制御手段は、前記リフォーカス可能範囲が前記被写界深度の少なくとも一部を含むように前記撮影条件を制御する制御情報を生成することを特徴とする請求項１０に記載の画像処理装置。
13. 前記リフォーカス手段は、前記リフォーカス可能範囲と前記被写界深度とに基づいて、前記リフォーカス可能範囲と前記被写界深度のいずれにも含まれる領域をリフォーカス許容範囲として設定することを特徴とする請求項１０乃至１２のいずれか一項に記載の画像処理装置。
14. 前記撮影条件は、撮影光学系の絞り値であることを特徴とする請求項１０乃至１３のいずれか一項に記載の画像処理装置。
15. 前記第一の画像データと前記第二の画像データは同一の画角の画像であることを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 画像データを処理するための画像処理方法において、
    リフォーカス画像を生成可能な第一の画像データを取得する第一の画像データ取得ステップと、
    前記第一の画像データに対応し、通常の撮影画像を表わす第二の画像データを取得する第二の画像データ取得ステップと、
    前記第一の画像データからリフォーカス画像を生成するリフォーカスステップと、
    前記リフォーカス画像の画像データを周波数領域の情報である第一の周波数特性に変換する第一の変換ステップと、
    前記第二の画像データを周波数領域の情報である第二の周波数特性に変換する第二の変換ステップと、
    前記第二の周波数特性の高周波数成分を抽出する抽出ステップと、
    前記高周波数成分と前記第一の周波数特性を合成して一つの画像の周波数領域の情報を生成する合成ステップと、
    前記合成された周波数領域の情報を空間領域の情報に変換して第三の画像データを生成する第三の変換ステップと
    を備えることを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法をコンピュータに実行させるプログラム。
18. 請求項１７に記載の画像処理方法をコンピュータに実行させるプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
19. コンピュータを、請求項１乃至１５のいずれか一項に記載した画像処理装置の各手段として機能させるプログラム。
20. コンピュータを、請求項１乃至１５のいずれか一項に記載した画像処理装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images