JP6120535B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。具体的には、本発明は、ライトフィールドデータを用いた情報処理を伴う画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、光学系に新たな光学素子を追加することで、光線の向きと強度の情報（ライトフィールドデータ）を取得し、後で画像処理によってピント位置の調節（リフォーカス）又は被写界深度の調節を行う技術が知られている（例えば、特許文献１を参照）。

特許文献１に記載される技術を用いれば、撮影後に撮影条件を変更できる。従って、撮影時の失敗を画像処理で補い、撮影後にユーザの好みのピント位置や被写界深度に調節することができる。

特許第4752031号公報

しかしながら、特許文献１に記載される手法では、撮像装置からの距離が異なる２つの着目被写体がある場合、着目被写体以外をボカして、２つの着目被写体のボケを同時に無くすことはできない。

即ち、特許文献１に記載される手法では、画像全体の被写界深度を調節するため、ユーザが画像中のある領域を選択し、その領域のみの被写界深度（ボケ味）を変更することができないという課題がある。

本発明は、上記の課題を鑑みてなされたものであり、ユーザが画像中のある領域を選択し、その領域のみの被写界深度（ボケ味）を変更することが可能な情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

本発明は、光線の向きと強度とを示すライトフィールドデータを取得して画像を生成する情報処理装置であって、画像中の領域を指定する領域指定手段と、指定された領域におけるピント位置を指定するピント位置指定手段と、指定された領域における被写界深度を指定する被写界深度指定手段と、前記ライトフィールドデータと、前記ピント位置と、前記被写界深度とに基づいて、前記領域指定手段で指定された領域における被写界深度が、前記被写界深度指定手段で指定された被写界深度に変更された、当該領域に対応する部分画像を生成する部分画像生成手段とを備え、背景はボケたままで、被写体と撮像手段との間の距離である撮影距離が異なる複数の被写体のボケを無くすように前記画像を生成することを特徴とする。

本発明により、画像中の領域ごとに被写界深度を調節することが可能になる。

本発明の実施例１に係る情報処理装置の主要な構成要素を示すブロック図である。 本発明の実施例１に係る撮像部１０１の内部構成の一例を示す図である。 本発明の実施例１で用いるライトフィールドの考え方を説明するための図である。 本発明の実施例１に係る領域ごとに被写界深度を指定するためのユーザインタフェースの画面の一例を示す図である。 本発明の実施例１に係るライトフィールドから画像を生成する手法の概念図である。 本発明の実施例１に係る動作原理を示す図である。 本発明の実施例１に係る処理の流れを示すフローチャートである。 本発明の実施例１の効果を示す図である。 本発明の実施例２に係る情報処理装置の主要な構成要素を示すブロック図である。 本発明の実施例２に係る入力可能値算出部の動作原理を示す図である。 本発明の実施例２に係る領域ごとに被写界深度を指定するためのユーザインタフェースの画面の一例を示す図である。

［実施例１］
（情報処理装置の主要な構成）
図１(a)は、本実施例に係る情報処理装置の主要な構成要素を示すブロック図である。

撮像部１０１は、複数のレンズと、CMOSやCCD等の撮像素子とから構成され、被写体から発した光線の向きと強度（ライトフィールド）を取得する。なお、本実施例では、撮像部１０１として、メインレンズと、撮像素子との間にマイクロレンズアレイを配置したカメラ（Plenopticカメラ）を想定している。Plenopticカメラの構成は、後述する（図２を参照）。

情報処理部１００は、撮像部１０１からライトフィールドデータを受け取り、ユーザが領域ごとに指定した被写界深度を有する画像を生成する。情報処理部１００は、取得部１０２と、距離推定部１０７と、画像生成部１０６とから構成される。

取得部１０２は、撮像部１０１からライトフィールドデータを取得する。

領域指定部１０３は、ユーザからの指示に基づいて被写界深度を変更する画像中の領域を指定する。

被写界深度指定部１０４は、ユーザからの指示に基づいて領域指定部１０３で指定された領域における被写界深度を設定する。

ピント位置指定部１０５は、ユーザからの指示に基づいてピントを合わせる位置を指定する。

画像生成部１０６は、指定された領域、被写界深度、ピント位置を元に撮像部１０１が取得したライトフィールドデータから、指定された被写界深度、ピント位置の画像を生成する。

距離推定部１０７は、取得部１０２が取得したライトフィールドデータを用いて、ピント位置指定部１０５が指定した被写体までの距離を推定する。

表示部１０８は、生成された画像を表示する。表示部１０８の例として、液晶ディスプレイが挙げられる。

図１(b)は、情報処理部１００の内部構成をより詳細に記したブロック図である。

中央処理装置（ＣＰＵ）１１１は、以下に述べる各部を統括的に制御する。

ＲＡＭ１１２は、ＣＰＵ１１１の主メモリ、ワークエリア等として機能する。

ＲＯＭ１１３は、ＣＰＵ１１１で実行される制御プログラム等を格納する。

バス１１４は各種データの転送経路である。例えば、図２に示すＡ／Ｄ変換部２１１によってデジタルデータに変換された撮像データは、バス１１４を介して所定の処理部に送られる。

表示制御部１１５は、表示部１１０に表示される撮像画像や文字の表示制御を行う。

デジタル信号処理部１１６は、バス１１４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行う。

エンコーダ部１１７は、デジタルデータをＪＰＥＧやＭＰＥＧ等のファイルフォーマットに変換する処理を行う。

外部メモリ制御部１１８は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、又はＵＳＢメモリ）に繋ぐためのインタフェースである。

入力部１１９は、キーボードやマウス等の入力デバイス１２０を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。

なお、図１(a)に示した例では、情報処理部１００は、撮像部１０１の外部にあるが、情報処理部１００は、撮像部１０１の内部にあってもよい。

図２(a)は、撮像部１０１の内部構成の一例を示す図である。

撮像部１０１は、撮像レンズ２０１〜２０３、開口絞り２０４、シャッター２０５、マイクロレンズアレイ２０６、光学ローパスフィルタ２０７、ｉＲカットフィルタ２０８、カラーフィルタ２０９、撮像素子２１０、及びＡ／Ｄ変換部２１１から成る。開口絞り２０４は、以下、単に「絞り」と呼ぶことにする。

撮像レンズ２０１〜２０３は夫々、ズームレンズ２０１、フォーカスレンズ２０２、ぶれ補正レンズ２０３である。絞り２０４を調整することにより、入射光量を調整することができる。撮像素子２１０は、光電変換を行う。なお、本明細書では、各レンズのサイズがマイクロメートル単位あるいはミリメートル単位であっても、各レンズのサイズにかかわらず「マイクロレンズ」と呼ぶことにする。

図２(b)は、図２(a)をより概念的に表した図である。

メインレンズ２１２は、ズームレンズ２０１と、フォーカスレンズ２０２と、ぶれ補正レンズ２０３とをまとめて１枚で表したものである。メインレンズ２１２から入射した光線２１３がマイクロレンズアレイ２０６を通過して撮像素子２１０に到達する。Plenopticカメラではマイクロレンズアレイ２０６をメインレンズ２１２と、撮像素子２１０との間に挿入することで、光線２１３がメインレンズ２１２のどちらの方向から来たのかを弁別し、ライトフィールドを取得することができる。例えば、図２(b)に示す例では、メインレンズ２１２の上半分を通過した光と、下半分を通過した光を弁別可能である。

撮像部１０１の構成としては、図２に示したPlenopticカメラのみではなく、小型カメラを複数並べた多眼カメラでもよく、ライトフィールドを取得できるカメラであればよい。ただし、ライトフィールドは、十分な角度・空間分解能で取得できているものとする。

（ライトフィールドの考え方）
以下、画像生成部１０６の詳細を説明する前に、ライトフィールドの考え方について簡単に説明する。

図３(a)には、被写体の位置を示す点３０５と、被写体を通る光線３０３、３０４とが表されている。図３(b)は、図３(a)の光線３０３、３０４をライトフィールド座標にプロットしたグラフである。

平面３０１と、平面３０２とは、仮想的に設置された互いに平行な平面である。平面３０１をu平面、平面３０２をx平面と呼ぶことにする。本来、u平面３０１、x平面３０２は２次元平面であるが、ここでは図示の都合上１次元で表現することにする。また、本実施例では、u平面３０１をメインレンズ２１２の主平面上に配置しているが、u平面３０１はx平面３０２と異なる位置であればどこに配置しても構わない。図３(a)中のz軸は、u平面３０１と、x平面３０２との両方に対して垂直であり、x平面３０２からu平面３０１に向かう方向に取るものとする。

光線３０３、３０４は、被写体から出てメインレンズ２１２で屈折した光線である。光線がu平面３０１、ｘ平面３０２を通った位置を(x,u)のようにペアで表すと、図３(a)より、光線３０３は(x₁,u₁)を通過し、光線３０４は(x₂,u₂)を通過する。この(x₁,u₁)、(x₂,u₂)を、xを横軸に、uを縦軸にとったライトフィールド座標上にプロットすると、それぞれ、点３０７、３０８にプロットされる（図３(b)を参照）。即ち、撮影シーンの空間中の一本の光線はライトフィールド座標上では一点に対応する。

同様にして、撮影シーンにおけるある点を通過するすべての光線を考えると、それらの光線に対応するライトフィールド座標上の点の集合は直線になるという性質が知られている。

例えば、被写体のある一点３０５から出た光線に対応する点は全て直線３０９上に乗り、直線３０９の傾きはu平面３０１から点３０５までの距離によって変化する。具体的には、点３０５と共役な点３０６の座標を(x_img,z_img)とし、u平面のz座標をz_uとすると、点３０６を通る全ての光線は以下の式(1)を満たす。

ここでαは、

である。

点３０６を通る全ての光線が式(1)を満たす理由は、点３０６がu平面と、x平面とをα：(1-α)に外分する点であるからである。ライトフィールド座標(x,u)上では、式(1)は、直線３０９を表す方程式である。従って、この性質を用いると、ライトフィールド座標上における直線の傾きを求めることで、u平面３０１と、点３０５（被写体）との間の距離を推定することができる。

具体的に説明すると、ライトフィールド座標上でエッジ抽出を行い、その方向を判定することで、式(1)におけるαを求める。u平面のz座標z_uは既知なので、αの値を用いると、点３０６のz座標z_imgを求めることができる。更に、レンズの公式を用いることで、u平面３０１と、点３０５との間の距離を推定することができる。距離推定部１０７は、以上のようにして、ピントを合わせる被写体までの距離を推定する。以上がライトフィールドの考え方の簡単な説明である。

（情報処理装置のユーザインタフェース）
図４に、本実施例に係る領域ごとに被写界深度を指定するためのユーザインタフェースの画面の一例を示す。図４は、領域指定部１０３、被写界深度指定部１０４、及びピント位置指定部１０５のユーザインタフェースの概念図である。

図４において、画像４０１は、画像生成部１０６によって生成され、表示部１０８に表示された画像である。表示部１０８内に、画像４０１に対する操作を表すアイコンが並んだウィンドウ４０２が表示される。ウィンドウ４０２内に、画像４０１に対する操作を表すアイコン４０３、４０４、４０５が表示される。

入力デバイス１２０（例えばマウス）によりアイコン４０３がクリックされると、枠４０６が表示部１０８に表示され、マウスをドラッグすることにより、枠４０６の位置や大きさを任意に指定することができる。

マウスによりアイコン４０５が選択されると、マウスのカーソルが矢印４０８のように変化する。マウスのカーソルが矢印４０８の状態で、画像４０１をクリックすると、矢印カーソル４０８が指し示す被写体にピントが合う。

マウスによりアイコン４０４が選択されると、マウスのカーソルが斜め矩形４０７のように変化する。マウスのカーソルが斜め矩形４０７の状態で、画像４０１をクリックすると、枠４０６で囲まれた領域が指定された被写界深度に変更される。

ウィンドウ４０９は被写界深度を指定するウィンドウであり、ユーザが任意にF値を設定することができる。

図４を用いて説明したユーザインタフェースを介して、領域指定部１０３及びピント位置指定部１０５は、画像のピント位置を指定し、領域指定部１０３及び被写界深度指定部１０４は、領域ごとに任意の被写界深度を指定することができる。

（画像生成部１０６の動作）
以下、ユーザが指定した領域・被写界深度と、取得部１０２が取得したライトフィールドデータから画像生成部１０６がどのように画像を生成するかを説明する。

まず、ライトフィールドから画像を生成する一般的な手法について説明する。図５は、ライトフィールドから画像を生成する手法の概念図である。なお、本来ライトフィールド空間は４次元空間であるが、図５(b)では図示の都合上２次元でライトフィールド空間を表現している。

図５(a)は、被写体５０１からの光線３０３が、メインレンズ２１２を通過し、仮想的に設置した仮想撮像素子５０２上の点５０３に至ることを示す。

図５(b)は、被写体５０１からの光線群をライトフィールド空間上にマッピングした結果を示す。図５(b)を参照すると、ライトフィールド空間（(x,u)空間）上に被写体５０１から発せられた光線群が領域５０４として表されている。

ライトフィールドから画像を生成する際は、仮想撮像素子５０２上にどのような画像が形成されるのかを計算する。

仮想撮像素子５０２上の点５０３の座標を(x_img,z_img)とすると、x_imgを通る光線は式(1)より、

と表される。αは、仮想撮像素子５０２の位置を表している。

メインレンズ２１２の絞りの直径を2Dとすると、点５０３の画素値I(x_img)は以下の式(4)で計算することができる。

式（4）において、L(x,u)はu平面３０１、x平面３０２を(x,u)の座標で通過する光線の強度であり、式(4)は、レンズの開口を通過して、点５０３に集まる光線の強度を計算する式である。式(4)において、αは仮想撮像素子の位置を表しているので、αを変化させることにより、仮想撮像素子５０２の位置を変えることができる。従って、撮影後にピントの位置を変えることができる。

また、式(4)では、積分範囲を[-D,D]としているが、積分範囲を変えることで仮想的にメインレンズ２１２の絞りの大きさを変えることができる。従って、撮影後に被写界深度を変えることも可能である。

例えば、メインレンズ２１２の焦点距離をf、実現したい被写界深度のF値をFとすると、積分範囲を[-f/(2F),f/(2F)]にすれば良い。ただし、この積分範囲の導出の際、絞りの直径2D、焦点距離f、F値の間にF=f/(2D)の関係が成り立つことを用いた。

式(4)を図５(b)を用いて図形的に解釈すると、式(4)は、x_imgを固定した場合、式(3)より矢印５０５の方向に、積分範囲５０６と重なる範囲で積分を行うことを意味している。生成する画像の被写界深度を変えることは、積分範囲５０６の幅をu軸方向に変化させることを意味している。矢印５０５とx軸の交点は、x_img/αであり、x_imgを変化させながら、画素値I(x_img)を計算することは、矢印５０５をx軸の右方向に移動させながら、積分を行うことを意味している。

以上のように、ピント位置（仮想撮像素子の位置）α、F値Fを決めることにより、ライトフィールドデータから所望のピント位置、被写界深度の画像を計算し、生成することができる。

次に、画像生成部１０６がどのように画像を生成するかを説明する。

図６(a)は、ユーザが画素ごとに被写界深度を指定した場合の、ライトフィールド空間における積分範囲の例を示した図である。

図６(a)において、破線で表す領域６０１のu軸方向の幅が積分範囲を表しており、x軸の場所によって積分範囲が変化していることが分かる。

ユーザが画素位置x_imgのF値をF(x_img)に指定した場合を考えると、F値と、積分範囲[-D(x_img),D(x_img)]との関係は、メインレンズ２１２の焦点距離fを用いて、

となる。ここで、被写界深度の定義式F≡f/(2D)を用いた。

画像生成部１０６は、式(4)、(5)を用いて、以下の式(6)

を計算することにより、画素位置x_imgにおいて被写界深度F(x_img)を有する画像を生成する。すなわち、画素ごとに積分範囲を変更することにより、画素ごとに被写界深度を変更することができる。

以上、画素ごとに被写界深度を変更する例に関して説明したが、領域ごとに被写界深度を変更する場合も同様である。領域ごとに被写界深度を変更する場合の積分範囲の例を図６(b)に示す。図６(b)において、破線で表す領域６０２はx軸の場所によりu軸方向の幅が変化しており、u軸方向の幅が積分範囲を表している。

画像生成部１０６は、ユーザが指定した領域に番号を1から順に割り振る。i番目の領域の被写界深度をF_iとすると、画像生成部１０６は、以下の式(7)に基づいて積分範囲６０２内でライトフィールドの積分を行って、i番目の領域において被写界深度F_iを有する画像を生成する。

ここで、D_iは式(5)と同様にして、被写界深度の定義式F≡f/(2D)から、D_i=f/(2F_i)と決められる。

なお、ここでは、画像中のピント位置を同一であると仮定し、αを固定して計算したが、領域（もしくは画素）ごとにピント位置を変えても良い。その時は、領域（もしくは画素）ごとに矢印５０５の傾きを変えて画素値を計算する。例えば、式(7)は次のように変更される。

ここで、α_iはi番目の領域における仮想撮像素子の位置を表しているため、領域ごとにピント位置を変える場合は、仮想撮像素子は平面ではなく、曲面になる。以上が画像生成部１０６の動作である。

（本実施例に係る処理の流れ）
以下、本実施例に係る処理の流れについて説明する。

図７は、本実施例に係る処理の流れを示すフローチャートである。

ステップ７０１において、取得部１０２は、ライトフィールドデータを取得する。

ステップ７０２において、画像生成部１０６は、式(4)に基づいてライトフィールドデータから被写界深度の深い画像（例えばF=16）を生成する。生成した画像を表示部１０８は、表示する。ここで、表示部１０８に被写界深度の深い画像を表示させる理由は、画像中にボケが存在すると、被写体の境界があいまいになり、ユーザが枠４０６を指定しにくくなるからである。

ステップ７０３において、距離推定部１０７は、ユーザが表示部１０８上で指定することにより、ピント位置指定部１０５から被写体のピント位置を取得する。本実施例では画像中のピント位置を一つであるとしているが、領域ごとにピント位置を変えても良い。

ステップ７０４において、距離推定部１０７は、ユーザが指定したピント位置にある被写体までの距離を算出する。

ステップ７０５において、画像生成部１０６は、枠４０６を用いてユーザが被写界深度を変更したい領域を選択し、領域の位置情報を入力することにより、領域指定部１０３から被写界深度を変更する領域を取得する。

ステップ７０６において、画像生成部１０６は、ユーザがウィンドウ４０９を用いて被写界深度を入力することにより、被写界深度指定部１０４から被写界深度を取得する。

ステップ７０７において、画像生成部１０６は、ユーザが被写界深度を変更したい全ての領域の指定が終了したかどうかを判定する。領域の指定が終了している場合は、処理はステップ７０８に進み、領域の指定が終了していない場合は、処理はステップ７０５に戻る。

ステップ７０８において、画像生成部１０６は、ライトフィールドデータから指定された領域において指定された被写界深度の画像を生成する。

ステップ７０９において、画像生成部１０６は、生成した画像を表示部１０８に出力し、表示部１０８は、生成した画像を表示する。

（実施例１の効果）
以下、本実施例に係る効果について説明する。図８は、本実施例に係る画像処理を施した効果を説明するための図である。

図８(a)、(b)において、被写体８０１〜８０３が表されている。被写体８０１は撮像部１０１から1000mm離れた場所にあり、被写体８０２は撮像部１０１から2000mm離れた場所にあり、被写体８０３は無限遠にあるものとする。図８(a)、(b)は、被写体８０２にピントを合わせた画像であり、図８(a)は、従来手法によって生成した画像であり、図８(b)は、本実施例によって生成した画像である。

図８(a)を参照すると、ピント位置にある被写体８０２にはボケが発生しておらず、被写体８０１、８０３には同程度のボケが発生していることが分かる。

図８(b)は、被写体８０１、８０３を選択し、本実施例を適用して被写界深度を変更した画像である。図８(b)と、図８(a)とを比べると、図８(b)では、被写体８０３のボケが大きくなっており、被写体８０１のボケは無くなっていることが分かる。

従来手法によって被写界深度を調節する場合は、画面全体の被写界深度しか調節できないため、被写体８０１、８０３のボケの度合いを独立に調節することはできない。一方、本実施例の場合はユーザが選んだ領域ごとに、独立してボケの強度を調節することができる。

以上のように、本実施例によれば、選択した領域（もしくは画素）ごとにユーザが好みの被写界深度に調節することが可能になる。

［実施例２］
実施例１ではユーザは任意の被写界深度を指定することができたが、本実施例では、指定された被写界深度の画像を生成できないときにユーザに通知する場合について説明する。

撮像部１０１で取得したライトフィールドデータをライトフィールド座標上にプロットするとき、データがプロットされる範囲は、メインレンズ２１２の絞りの開口幅と、撮像部１０１の撮像素子幅とによって規定される。

図９は、本実施例に係る情報処理装置の主要な構成要素を示すブロック図である。

本実施例に係る情報処理装置の構成は、実施例１と概ね同一であるため（図１を参照）、実施例１との差異のみ説明する。

入力可能値算出部９０１は、撮像部１０１におけるメインレンズ２１２の絞りの開口幅と、撮像部１０１の撮像素子幅とから被写界深度指定部１０４が指定可能な被写界深度値の範囲を決定し、決定した被写界深度値の範囲を表示部１０８に表示する。

なお、入力可能値算出部９０１は、被写界深度指定部１０４を介して入力可能値算出部９０１が算出した被写界深度より小さいF値が入力された場合、表示部１０８にエラーメッセージを表示してもよい。

図１０は、入力可能値算出部９０１が入力可能なF値を算出する動作原理の概念図である。

図１０(a)において、範囲１００１は、撮像部１０１が取得可能な光線のu座標の範囲を表している。メインレンズ２１２の絞りの範囲を[-D,D]とすると、範囲１００１は絞りの範囲と一致し、[-D,D]となる。範囲１００２は、撮像部１０１が取得可能な光線のx座標の範囲を表している。撮像部１０１の撮像素子の幅を[-s,s]とすると、範囲１００２は撮像素子の幅とほぼ一致し、[-s,s]となる。

図１０(b)は、撮像部１０１が取得可能なライトフィールドをライトフィールド座標上にプロットした結果を示す図である。図１０(b)中の領域１００３は、撮像部１０１が取得可能なライトフィールドの範囲を表している。入力可能値算出部９０１は、ユーザが入力したF値に基づいて積分範囲を計算した場合に、図６で例示した積分範囲６０１や６０２等が領域１００３の内側に収まるようなF値を算出する。

図１１に、本実施例に係る領域ごとに被写界深度を指定するためのユーザインタフェースの画面の一例を示す。図１１は、領域指定部１０３、被写界深度指定部１０４、及びピント位置指定部１０５のユーザインタフェースの概念図である。

ウィンドウ１１０１において、入力可能値算出部９０１が算出した被写界深度値をウィンドウ内の不等号の右側に表示しており、あとはウィンドウ４０９と同様である。ユーザが入力可能値算出部９０１が算出した被写界深度の範囲外の値（図１１に閉める例では、1.2）をウィンドウ１１０１に入力した場合には、エラーメッセージウィンドウ１１０２が表示される。

（実施例２の効果）
本実施例に係る情報処理装置は、画像を生成することが不可能な被写界深度を通知し、画像を生成することが不可能な被写界深度が入力された場合にエラーメッセージを表示する。これにより、ユーザが分かりやすく情報処理装置を操作することが可能になる。

［その他の実施例］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (6)

1. 光線の向きと強度とを示すライトフィールドデータを取得して画像を生成する情報処理装置であって、
   画像中の領域を指定する領域指定手段と、
   指定された領域におけるピント位置を指定するピント位置指定手段と、
   指定された領域における被写界深度を指定する被写界深度指定手段と、
   前記ライトフィールドデータと、前記ピント位置と、前記被写界深度とに基づいて、前記領域指定手段で指定された領域における被写界深度が、前記被写界深度指定手段で指定された被写界深度に変更された、当該領域に対応する部分画像を生成する部分画像生成手段と
   を備え、
   背景はボケたままで、被写体と撮像手段との間の距離である撮影距離が異なる複数の被写体のボケを無くすように前記画像を生成することを特徴とする情報処理装置。
2. 前記部分画像生成手段は、前記被写界深度に基づいて決められた積分範囲において、前記ライトフィールドデータを積分して前記部分画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記被写界深度指定手段が指定する被写界深度値の入力可能な範囲を決定する入力可能値算出手段を更に備えたことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記入力可能値算出手段により決定された範囲外の被写界深度値が入力されたとき、エラーを通知することを特徴とする請求項３に記載の情報処理装置。
5. 光線の向きと強度とを示すライトフィールドデータを取得して画像を生成する情報処理方法であって、
   領域指定手段が、画像中の領域を指定するステップと、
   ピント位置指定手段が、指定された領域におけるピント位置を指定するステップと、
   被写界深度指定手段が、指定された領域における被写界深度を指定するステップと、
   部分画像生成手段が、前記ライトフィールドデータと、前記ピント位置と、前記被写界深度とに基づいて、前記領域指定手段で指定された領域における被写界深度が、前記被写界深度指定手段で指定された被写界深度に変更された、当該領域に対応する部分画像を生成するステップと
   を備え、
   背景はボケたままで、被写体と撮像手段との間の距離である撮影距離が異なる複数の被写体のボケを無くすように前記画像を生成することを特徴とする情報処理方法。
6. コンピュータを請求項１乃至４の何れか１項に記載の情報処理装置として機能させるためのプログラム。

Images