JP6210717B2 - 画像再生装置及び方法 - Google Patents

Description

本発明は、画像再生装置及び方法に関し、特にリフォーカス画像を再構成する手段を有する画像再生装置及び方法に関するものである。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。

このように取得された画素信号（光線情報）に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。

ユーザがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認したときに所望の被写体にピントが合っていなかった場合が考えられる。従来のカメラであれば所望の被写体にピントが合っていない場合は撮り直す必要があったが、ライトフィールドカメラで撮影した画像信号を用いてリフォーカス面を再構成することで撮り直すことなく所望の被写体にピントが合った画像を得ることができる。

また、被写界深度を変更することも可能である。例えば、フォーカス距離が異なるリフォーカス画像を複数枚生成し、それらを合成することでパンフォーカス画像を生成したり、リフォーカスの際に使用する光線情報を間引くことで、被写界深度の異なる画像を生成したりすることが可能である。

ただし、リフォーカス面の再構成には相応の演算が必要であるため、リアルタイムにリフォーカス画像を生成することは困難である。

特許文献１では、上記問題を解決する手法として、リフォーカス画像に類似する画像をローパスフィルター処理等により簡易的に生成する方法が提案されている。

さらに特許文献２においては、被写界深度の深い撮影装置を使用したときに、撮影画像に対してぼかし効果のあるフィルター処理を施すことにより、ボケ味のある画像を生成する方法が提案されている。

特開２０１２−４４５６４号公報 特開２００５−２２９１９８号公報

Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

しかしながら、上述の非特許文献１に開示された従来技術では、光線情報を用いて被写界深度の深い画像のボケを生成することは可能であるが、被写界深度の浅いボケを生成することはできなかった。

一方、上述の特許文献１、２に開示された従来技術では、被写界深度の深い画像から被写界深度の浅い画像のボケを生成することは可能である。しかしながら、ボケの生成にローパスフィルター等を用いているため、光学系により得られるボケを精度高く再現することはできなかった。

本発明は上記問題点を鑑みてなされたものであり、ライトフィールドカメラで撮影した画像に対して、被写界深度を柔軟にコントロールすることを可能にすることを目的とする。

上記目的を達成するために、光の強度分布及び光の入射方向を示す光線情報から、任意の焦点位置に合焦した画像を生成可能な本発明の画像再生装置は、前記光線情報を取得した際の被写界深度に関する情報を撮影深度として取得する撮影深度取得手段と、特定の被写界深度を表す情報を指定深度として設定する指定深度設定手段と、前記光線情報から前記指定深度の画像を特定の被写体に合焦させて生成する第１の処理手段と、前記光線情報からボケ効果を付与した前記指定深度の画像を特定の被写体に合焦させて生成する第２の処理手段と、を有し、前記指定深度が前記撮影深度と同じか、または前記撮影深度よりも深い場合に、前記第１の処理手段を用いて前記指定深度の画像を生成し、前記指定深度が前記撮影深度よりも浅い場合に、前記第１の処理手段を用いて、前記光線情報から、前記撮影深度と同じか、または前記撮影深度よりも深い、予め決められた中間深度の画像を生成し、前記第２の処理手段を用いて前記指定深度と前記中間深度との間の深度にある、前記中間深度の画像の被写体をぼかすことにより、前記指定深度の画像を生成する。

本発明によれば、ライトフィールドカメラで撮影した画像に対して、被写界深度を柔軟にコントロールすることが可能となる。

本発明の実施の形態に係る画像再生装置の概略構成を示すブロック図。 実施の形態に係る画像処理部の構成を示すブロック図。 第１の実施形態に係る画像データの生成手順を示すフローチャート。 第１及び第３の実施形態に係る被写界深度設定方法の例を説明する図。 第１及び第２の実施形態に係る擬似ボケ生成ルーチンのフローチャート。 第１〜３の実施形態に係る距離マップの一例を示す図。 第１〜３の実施形態に係るボケ効果を付与する方法を説明するための図。 第２の実施形態に係る画像データの生成手順を示すフローチャート。 第２の実施形態に係る被写界深度設定方法及び中間深度設定方法の例を説明する図。。 第３の実施形態に係る擬似ボケ生成ルーチンのフローチャート。 第３の実施形態に係るレンズ特性表の一例を示す図である。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の代表的な実施形態を適用した画像再生装置の概略構成を示している。画像再生装置１００は、光の強度分布及び光の入射方向を示す情報を有する、リフォーカス可能な画像信号（以下、「光線情報」と呼ぶ。）から、任意の焦点位置に合焦した画像を生成可能である。図１において、画像再生装置１００は、画像処理部１０６、メモリ部１０７、記録部１０８、制御部１０９、操作部１１０、表示部１１１を有する。記録部１０８は、光線情報等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。画像処理部１０６は、記録部１０８に記録される光線情報を読み出し、本発明の特徴である被写界深度変更演算や所定の画像処理を施す。メモリ部１０７は、画像処理部１０６から出力された光線情報を一時的に保持したり、演算用データを格納したりする揮発性メモリである。

制御部１０９は画像処理部１０６をはじめ、画像再生装置全体を統括的に駆動・制御する。操作部１１０は画像再生装置１００に備え付けられた操作部材からの信号を受け付け、制御部１０９に対してユーザの命令を送る。表示部１１１は画像や各種設定画面等を表示する。

本発明は画像処理部１０６に特徴を有している。画像処理部１０６は「Light Field Phography」と呼ばれる手法（以下、「リフォーカス処理」と呼ぶ。）を用いた演算処理を行うことにより、光線情報から任意の焦点位置に合焦した画像を再構成したり、任意の被写界深度の画像を再構成したりするようになっている。

図２は、本発明の特徴を有する画像処理部１０６の構成を示すブロック図である。図２において、光線情報２１１は記録部１０８に記録される情報である。画像データ２１２は、光線情報２１１から任意の焦点位置、任意の被写界深度にリフォーカスした画像データである。ユーザ入力値２１３は操作部１１０を通してユーザが入力した値である。ここでの入力値はユーザが指定した特定の被写界深度を表す値（以下、「指定深度」と呼ぶ。）である。

撮影深度取得部２０１は光線情報２１１を取得した際の撮影深度を取得する。なお、撮影深度は例えばＦナンバーで表現される値であり、光線情報２１１のファイル内に記録されていてもよいし、記録部１０８内に光線情報２１１とは別ファイルとして保存してあってもよい。また、例えば本発明における再生装置を含む撮像装置であれば、光学系から絞り値を撮影深度として取得してもよい。指定深度設定部２０２はユーザの入力した指定深度を設定する。指定深度は、例えばＦナンバーで表現される値である。

光学ボケ画像生成部２０３（第１の処理手段）は、光線情報２１１から指定深度の画像データをリフォーカス処理により再構成する。以下、再構成された画像を「光学ボケ画像」と呼ぶ。擬似ボケ画像生成部２０４（第２の処理手段）は、光線情報２１１を指定深度の画像データにする。より具体的には、光線情報２１１から光学ボケ画像を再構成し、再構成した光学ボケ画像に対して更にボケ効果を付与した画像データを生成する。以下、生成された画像を「擬似ボケ画像」と呼ぶ。なお、擬似ボケ画像生成部２０４ににおいて光線情報２１１から光学ボケ画像を再構成する処理は、光学ボケ画像生成部２０３と同様の処理であっても良い。

処理選択部２０５は、撮影深度及び指定深度に基づいて、画像データ２１２を光学ボケ画像生成部２０３と擬似ボケ画像生成部２０４のいずれを用いて生成するかを選択する。

次に、図２に示す画像処理部１０６における指定深度の画像データの生成手順を、図３のフローチャートを用いて説明する。

Ｓ１０１では、記録部１０８に記録された光線情報２１１を取得し、Ｓ１０２では、Ｓ１０１で取得した光線情報２１１から、撮影深度取得部２０１が撮影深度を取得する。Ｓ１０３では、指定深度を指定深度設定部２０２が取得する。この際、画像再生装置１００に備え付けられた画像や各種設定画面等を表示する表示部１１１を用いて被写界深度を設定できる画面を表示し、操作部１１０を用いてユーザに所望する被写界深度の入力を促してもよい。

図４に表示部１１１に表示する設定画面の一例を示す。図４では、被写界深度をＦナンバーを用いて表現している。Ｆナンバーの数値が小さいほど被写界深度が浅くなり、Ｆナンバーの数値が大きいほど被写界深度が深くなる。設定画面は、被写界深度を選択するためのスライドバー４００と、指定深度を指定するためのつまみ４０１によって構成される。つまみ４０１を動かすことでＦナンバーを変えることができ、ユーザが操作部１１０を用いて操作することができる。つまみ４０１が指し示すＦナンバーの値がユーザが指定した被写界深度となる。つまみ４０１を左方向に動かすと被写界深度の値、すなわちＦナンバーの数値が小さくなり被写界深度は浅くなる。また、つまみ４０１を右方向に動かすと被写界深度の値、すなわちＦナンバーの数値が大きくなり被写界深度は深くなる。

境界４０４は、Ｓ１０２で取得した撮影深度を表す箇所で被写界深度を領域４０２と領域４０３とに分離する。領域４０２は撮影深度よりも指定深度のＦナンバーが大きいことを示す領域であり、領域４０３は撮影深度よりも指定深度のＦナンバーが小さいことを示す領域である。

Ｓ１０４では、Ｓ１０２で取得した撮影深度とＳ１０３で取得した指定深度とを比較する。指定深度が撮影深度よりも深い場合、即ち、撮影深度のＦナンバーと指定深度のＦナンバーが同じか、または指定深度のＦナンバーの方が大きい場合はＳ１０５に進む。また、指定深度の方が撮影深度よりも浅い場合、即ち、撮影深度のＦナンバーよりも指定深度のＦナンバーの方が小さい場合はＳ１０６に進む。図４に示す設定画面の一例に基づいて説明すると、つまみ４０１が境界４０４上または境界４０４の右側の領域４０２にあるときは、Ｓ１０５に進んで光線情報２１１に対してリフォーカス処理を行い、指定深度の画像データを生成する。一方、つまみ４０１が境界４０４の左側の領域４０３にあるときは、Ｓ１０６に進んで疑似ボケ生成ルーチンを実行する。なお、Ｓ１０６で行われる疑似ボケ生成ルーチンの詳細については後述する。

Ｓ１０７では、Ｓ１０５またはＳ１０６の処理結果を表示部１１１に表示する。Ｓ１０８では、画像再生の終了を検知する。例えば操作部１１０に画像再生の終了がユーザから入力されると、図３のフローを終了する。終了を検知していない場合は、Ｓ１０９に進んで、指定深度が変更されたかどうかを検知する。指定深度の変更を検知するとＳ１０３に戻り、指定深度の変更を検知していない場合は、Ｓ１０８に戻る。ここで図４に示す設定画面の一例に基づいて説明すると、つまみ４０１が指し示すＦナンバーが変更されたことを指定深度の変更として検知する。

なお、Ｓ１０７にて指定深度の画像を再生した際に、指定深度の画像を不揮発性メモリからなる記録部１０８に記録するか否かを選択できるようにしてもよい。また、Ｓ１０８にて画像再生の終了を検知した際に、指定深度の画像を記録部１０８に記録するか否かを選択できるようにしてもよい。

図５は、Ｓ１０６で行われる擬似ボケ生成ルーチンのフローチャートである。Ｓ２０１では、擬似的なボケを付与するための基礎となる画像を生成するための被写界深度（以下、「中間深度」と呼ぶ。）を取得する。中間深度は画像再生装置１００に予め設定してあっても良いし、例えば撮影深度と同じ値を中間深度としてもよい。Ｓ２０２では、光線情報２１１から中間データをリフォーカス処理することにより、中間深度の画像データを生成する。

Ｓ２０５及びＳ２０６は、光線情報２１１から距離マップを生成するステップである。Ｓ２０５では、Ｓ１０１で取得した光線情報２１１を予め決められた距離情報取得エリアに分割する。以下、各分割領域を「Ｄエリア」と呼ぶ。図６（ａ）は、Ｄエリアの一例を示し、６０１は１つのＤエリアを示す。ここで、Ｄエリア６０１の分割数は画像再生装置１００の演算能力やフレームレート等の制限に応じて適宜決めてもよい。

Ｓ２０６では、Ｄエリア６０１に分割された光線情報２１１を用いて、各Ｄエリア６０１を代表する被写体までの距離を算出する。ここで、Ｄエリア６０１の中心にある被写体までの距離をＤエリア６０１の被写体距離としてもよいし、Ｄエリア６０１内の被写体までの距離の平均値をＤエリア６０１の被写体距離としてもよい。このようにして得られたＤエリア６０１毎の被写体距離情報を距離マップとする。図６（ｂ）は被写体距離情報をコントラスト図として表現した模式図である。

Ｓ２０７及びＳ２０８は、距離マップを基にボケ効果を付与するステップである。Ｓ２０７では、Ｓ２０２で生成した中間深度の画像データと、Ｓ２０６の距離マップとから、ボケ効果を付与するＤエリアを選定する。ボケ効果を付与するＤエリアはフォーカス位置、指定深度、中間深度、各Ｄエリアの被写体距離とから選定される。

図７は横軸に被写体距離をとり、フォーカス位置、指定深度、中間深度の関係を示した図である。図７において、７０１はフォーカス位置、７０２は指定深度の範囲、７０３は中間深度の範囲、７０４は中間深度の範囲７０３の内、指定深度の範囲７０２以外の範囲を示す。範囲７０４内の被写体距離を持つＤエリアがボケ効果を付与するＤエリアである。

Ｓ２０８では、Ｓ２０７で選定したＤエリアに対してローパスフィルターを適用する。選定したＤエリア全てに同じローパスフィルターを適用しても良いし、フォーカス位置と選定した各Ｄエリアの被写体距離を考慮して、適用するローパスフィルターを変えてもよい。例えば、フォーカス位置に近いＤエリアほどカットオフ周波数の高いローパスフィルターを適用し、フォーカス位置から遠いＤエリアほどカットオフ周波数の低いローパスフィルターを適用するようにしてもよい。

ここで、上記したボケ効果を付与する方法は一例であり、この方法に限定するものではない。例えば、焦点の合っている被写体以外に対して、ローパスフィルターをかけても良い。この場合、距離マップを取得する必要はないため、演算量を低減することができる。

以上のように、ユーザは撮影時の被写体深度よりも深度を浅くした画像、または深くした画像を画像再生装置１００の操作部１１０を操作することで得ることができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。本第２の実施形態における撮像装置の構成は第１の実施形態で図１及び図２を参照して説明したものと同様であるので、ここでは説明を省略する。

図８は第２の実施形態における画像処理部１０６で行われる指定深度の画像データの生成手順を示すフローチャートである。なお、図３を参照して第１の実施形態において上述した処理とは、Ｓ３１０、Ｓ３１１の処理が追加された点、及び、Ｓ１０６の疑似ボケ生成ルーチンで行われる処理が異なる。以下、相違点について説明する。

Ｓ３１０では、中間深度をユーザが選択可能なように、表示部１１１に設定画面を表示する。ユーザは操作部１１０を用いて中間深度を選択することができる。図９に表示部１１１に表示する設定画面の一例を示す。図９は、図４に示す設定画面と比較して、中間深度を設定するためのスライドバー９００が更に表示される点が異なる。なお、スライドバー９００の範囲は、Ｓ１０２で取得した撮影深度を表す境界４０４よりも深度が深い範囲である。図９においても、図４を参照して説明した設定画面と同様に、被写界深度を表現するのにＦナンバーを用いている。この場合、Ｆナンバーの数値が小さいほど被写界深度が浅くなり、Ｆナンバーの数値が大きいほど被写界深度が深くなる。中間深度を設定するスライドバー９００は常時表示しておいてもよいし、Ｓ１０４でＮｏとなった場合にのみ表示してもよい。

図９において、９０５は中間深度を設定する為のつまみであり、ユーザは操作部１１０を用いてつまみ９０５を操作することができる。つまみ９０５が指し示すＦナンバーの値が中間深度の選択値となる。

本第２の実施形態では、Ｓ１０９において指定深度が変更されたかを検知すると共に、Ｓ３１１において、中間深度の変更を検知する。操作部１１０により中間深度の変更が入力されるとＳ１０６に戻り、中間深度の変更を検知していない場合は、Ｓ１０８に戻る。

なお、本第２の実施形態における疑似ボケ生成ルーチン（Ｓ１０６）は、第１の実施形態において図５のフローチャートに示す処理と基本的に同様であるが、Ｓ２０１における処理が異なる。即ち、中間データを生成するために、図８のＳ３１０で表示した中間深度の設定スライドバー９００において、ユーザにより操作されたつまみ９０５が指し示す値を中間深度として取得する。

以上のように、ユーザ自身が中間深度を選択可能にすることにより、光線情報から所望の画像データをより柔軟に得ることができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態における撮像装置の構成は第１の実施形態で図１及び図２を参照して説明したものと同様であるので、ここでは説明を省略する。

第３の実施形態で行われる画像処理部１０６における指定深度の画像データの生成手順は、基本的に第１の実施形態において図３を参照して説明した処理と同様であるが、Ｓ１０６において行う疑似ボケ生成ルーチンが図５を参照して説明したものと異なる。以下、第３の実施形態で行われる疑似ボケ生成ルーチンについて説明する。

図１０は、第３の実施形態で行われる疑似ボケ生成ルーチンを示すフローチャートである。Ｓ４０１では、図３のＳ１０１で取得した光線情報から、撮影時のレンズ情報を取得する。Ｓ４０２では、Ｓ４０１で取得した撮影レンズの種類がレンズテーブル内に存在するか検索する。ここで、レンズテーブルの一例を図１１に示す。図１１に示す例では、レンズテーブルは撮影レンズの種類と後述するＳ４０８で使用するローパスフィルターの特性データとが対応付けられたテーブルである。撮影レンズの種類がレンズテーブル内にある場合はＳ４０３を実行し、撮影レンズの種類がレンズテーブル内に無い場合はＳ４０４を実行する。

Ｓ４０３では、中間深度を浅く設定する。望ましくは撮影深度を中間深度とする。これは、Ｓ４０８にてローパスフィルターを適用する際に使用するフィルター特性を、レンズテーブルから取得できるためである。

一方、Ｓ４０４では、中間深度を深く設定する。望ましくは全焦点の画像となるように中間深度を設定する。これは、Ｓ４０８にてローパスフィルターを適用する際に使用するフィルター特性をレンズテーブルから取得できないため、Ｓ２０２で付与するボケ具合と、Ｓ４０８で付与するボケ具合とが合致しない可能性があるためである。なお、Ｓ２０２〜Ｓ２０７で行われる処理は、図５を参照して上述した処理と同様であるため、説明を省略する。

Ｓ４０８では、Ｓ２０７で決定したボケ度合いに応じて中間データに対してローパスフィルターを適用する。この際使用するローパスフィルターは、Ｓ４０２でＹＥＳとなった場合は、レンズテーブルから取得した値を使用し、Ｓ４０２でＮＯとなった場合は、第１の実施形態で説明したような、任意のローパスフィルターを適用する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 光の強度分布及び光の入射方向を示す光線情報から、任意の焦点位置に合焦した画像を生成可能な画像再生装置であって、
   前記光線情報を取得した際の被写界深度に関する情報を撮影深度として取得する撮影深度取得手段と、
   特定の被写界深度を表す情報を指定深度として設定する指定深度設定手段と、
   前記光線情報から前記指定深度の画像を特定の被写体に合焦させて生成する第１の処理手段と、
   前記光線情報からボケ効果を付与した前記指定深度の画像を特定の被写体に合焦させて生成する第２の処理手段と、を有し、
   前記指定深度が前記撮影深度と同じか、または前記撮影深度よりも深い場合に、前記第１の処理手段を用いて前記指定深度の画像を生成し、
   前記指定深度が前記撮影深度よりも浅い場合に、前記第１の処理手段を用いて、前記光線情報から、前記撮影深度と同じか、または前記撮影深度よりも深い、予め決められた中間深度の画像を生成し、前記第２の処理手段を用いて前記指定深度と前記中間深度との間の深度にある、前記中間深度の画像の被写体をぼかすことにより、前記指定深度の画像を生成することを特徴とする画像再生装置。
2. ユーザに、前記中間深度を指定させるための指定手段を更に有することを特徴とする請求項１に記載の画像再生装置。
3. 前記光線情報を取得した際に用いられた撮影レンズの情報を取得する取得手段と、
   撮影レンズの種類と、ローパスフィルタの特性とを対応付けたテーブルを保持した記憶手段とを更に有し、
   前記第２の処理手段は、前記取得手段により取得された前記撮影レンズの種類が前記テーブルに存在する場合、存在しない場合よりも浅い深度を前記中間深度とし、前記撮影レンズの種類が前記テーブルに存在する場合に、対応する特性のローパスフィルタを用いて被写体をぼかすことを特徴とする請求項１または２に記載の画像再生装置。
4. 前記第２の処理手段は、ローパスフィルタを用いてボケ効果を付与することを特徴とする請求項１乃至３のいずれか１項に記載の画像再生装置。
5. 前記第２の処理手段は、前記焦点位置に近い程、カットオフ周波数の高いローパスフィルタを用いることを特徴とする請求項４に記載の画像再生装置。
6. 前記被写界深度に関する情報はＦナンバーであることを特徴とする請求項１乃至５のいずれか１項に記載の画像再生装置。
7. 光の強度分布及び光の入射方向を示す光線情報から、任意の焦点位置に合焦した画像を生成可能な画像再生方法であって、
   撮影深度取得手段が、前記光線情報を取得した際の被写界深度に関する情報を撮影深度として取得する撮影深度取得工程と、
   指定深度設定手段が、特定の被写界深度を表す情報を指定深度として設定する指定深度設定工程と、
   前記指定深度が前記撮影深度と同じか、または前記撮影深度よりも深い場合に、第１の処理手段を用いて、前記光線情報に基づいて前記指定深度にある被写体に合焦させて前記指定深度の画像を生成する第１の処理工程と、
   前記指定深度が前記撮影深度よりも浅い場合に、第２の処理手段を用いて、前記光線情報にボケ効果を付与して前記指定深度の画像を生成する第２の処理工程と
   を有し、
   前記第２の処理工程は、
   前記第１の処理手段を用いて、前記光線情報から、前記撮影深度と同じか、または前記撮影深度よりも深い、予め決められた中間深度の画像を生成する工程と、
   前記指定深度と前記中間深度との間の深度にある、前記中間深度の画像の被写体を、前記第２の処理手段を用いてぼかす工程と
   を有することを特徴とする画像再生方法。
8. 指定手段を用いて、ユーザに前記中間深度を指定させるための指定工程を更に有することを特徴とする請求項７に記載の画像再生方法。
9. 取得手段が、前記光線情報を取得した際に用いられた撮影レンズの情報を取得する取得工程と、
   前記取得工程で取得された撮影レンズの情報に基づいて、撮影レンズの種類と、ローパスフィルタの特性とを対応付けたテーブルを保持した記憶手段から、前記ローパスフィルタの特性を読み出す工程とを更に有し、
   前記第２の処理工程では、前記取得工程で取得された前記撮影レンズの種類が前記テーブルに存在する場合、存在しない場合よりも浅い深度を前記中間深度とし、前記撮影レンズの種類が前記テーブルに存在する場合に、対応する特性のローパスフィルタを用いて被写体をぼかすことを特徴とする請求項７または８に記載の画像再生方法。
10. 前記第２の処理工程では、ローパスフィルタを用いてボケ効果を付与することを特徴とする請求項７または８に記載の画像再生方法。
11. 前記第２の処理工程では、前記焦点位置に近い程、カットオフ周波数の高いローパスフィルタを用いることを特徴とする請求項１０に記載の画像再生方法。
12. 前記被写界深度に関する情報はＦナンバーであることを特徴とする請求項７乃至１１のいずれか１項に記載の画像再生方法。
13. コンピュータに、請求項７乃至１２のいずれか１項に記載の画像再生方法の各工程を実行させるためのプログラム。
14. 請求項１３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images