JP6491442B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関し、特に撮影後に出力データから再構成画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に例えば該出力データから任意の被写体距離に合焦した再構成画像を生成する技術が提案されている。

非特許文献１では、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。

ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の被写体距離を設定し、該被写体距離からの光束が収束する焦点面における各点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

しかしながら、上述したようなＬＦデータからは様々な被写体距離に合焦した再構成画像や、深度の深い様々な視点の再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。

本発明は、上述の問題点に鑑みてなされたものであり、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、ライトフィールドデータを取得するデータ取得手段と、被写体を選択する選択手段と、選択手段により選択された被写体に合焦させないための制限情報であり、ライトフィールドデータを再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を出力する出力手段と、を有することを特徴とする。

このような構成により本発明によれば、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される制限情報付加処理を例示したフローチャート 本発明の実施形態に係る距離情報マップを説明するための図 本発明の実施形態に係る制限情報付加処理において検出された顔領域を示した図 本発明の実施形態に係る相対距離テーブルを例示した図 本発明の実施形態に係る制限情報を例示した図 本発明の実施形態に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート 本発明の実施形態に係るデジタルカメラ１００において生成される再構成画像の一例を示した図 本発明の変形例に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の変形例に係るデジタルカメラ１００の機能構成を示したブロック図示したフローチャート

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号のように、３次元の被写体空間を記述した光線空間情報のことを示す。本実施形態では、画像信号の画素（画素信号）の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。

・「再構成画像」
LFデータを構成する画素を所望の組み合わせで合成するなどして新たに生成する画像であり、本実施形態では、ＬＦデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応する焦点ｊ面（再構成面、リフォーカス面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素（単位画素）に対応するLFデータの複数の画素（副画素）の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向（入射角度）に基づいて決定される。該画素配置において１つのマイクロレンズに対応する複数の画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。再構成画像としては他にも、マイクロレンズごとに存在する、マイクロレンズからの入射方向が同じ副画素（同じ視点の副画素）から生成される各視点の画像なども含む。この視点画像の生成の際には、他の視点（マイクロレンズからの入射方向）からの画像を視差分の移動量を踏まえて位置合わせをして加算するなどしてもよい。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ_１乃至ａ_５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ（アナログフロントエンド）１０７及びＤＦＥ（デジタルフロントエンド）１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、ホワイトバランス、色変換処理等の各種画像処理、形成後の画像を圧縮する圧縮処理、複数の画像を合成する合成処理等を行う。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

〈再構成画像の生成方法〉
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。

まず、撮影範囲に含まれる特定の被写体に合焦する被写体距離については、以下の方法で取得可能である。まず画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した２つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異（デフォーカス量）を検出する。このように検出されたデフォーカス量に基づき、制御部１０１は特定の被写体までの被写体距離を算出可能である。

図４（ｂ）の例では各マイクロレンズについて、対応する画素のうち第１列及び第２列の画素の画素値を加算することにより生成される、射出瞳３０１の左半分の分割瞳領域に対応するＡ像を生成することができる。また対応する画素のうち第４列及び第５列の画素の画素値を加算することにより生成される、射出瞳３０１の右半分の分割瞳領域に対応するＢ像を生成することができる。即ち、これを式で表すと
のようになる。このように得られた２種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を擬似的に光軸とした画像である。

つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量に対して撮像光学系１０４の焦点位置と光学系から決まる変換係数を乗じることで、ＬＦデータの撮影範囲に含まれる各被写体についての被写体距離を解析することができ、得られた被写体距離に基づき例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。

次に、特定の被写体距離に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、マイクロレンズアレイ上の対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する被写体距離から入射した光束が収束する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、デジタルカメラ１００のユーザインタフェース画面の表示や、電子ビューファインダとしての使用、あるいは撮影した画像の表示に用いられる。また表示部１１０は、画像処理部１０９により生成され出力された、任意の被写体距離に合焦した再構成画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する再構成画像が記録される。あるいは生成された画像等は、通信部１１６を介して、パーソナルコンピュータ等の外部装置（図示せず）に送信（出力）される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。例えば操作入力部１１２は、撮影モードの設定など、撮影に関わる様々な情報を制御部１０１へ出力する。またレリーズスイッチが出力する信号は、ＡＥやＡＦの動作開始トリガや、撮影の開始トリガとして利用される。制御部１０１はこれらの開始トリガを受けて、撮像部１０６、表示部１１０をはじめとする、撮像装置の各部の制御を行う。

なお、本実施形態では撮影処理によりＬＦデータを取得して再構成画像を生成する処理をおこなうものとして説明するが、生成に使用するＬＦデータは、記録媒体１１１から、あるいは通信部１１６を介して取得されるものであってもよい。

《制限情報付加処理》
ここで、本実施形態の特徴的な処理であるリフォーカスの制限に関する処理について説明する。上述したようなＬＦデータからは様々な被写体距離に合焦した再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。即ち、例えば通常は撮影やコピーを許可していない文書等が撮影範囲に含まれていた場合、該文書を読み取り可能な再構成画像が生成される可能性があった。また、近年では撮影により得られた画像がオンラインの画像共有サービス等に公開されることも多くなっており、ＬＦデータが任意に再構成可能な状態で公開されることも考えられる。例えば意図せず撮影範囲に写り込んでしまった人物はＬＦデータからの再構成画像の生成条件によっては、該人物の意思に反して肖像権が侵害される可能性がある。そこで、本実施形態では、斯様な保護対象となる被写体が存在すること、該被写体が合焦されてしまうリフォーカス範囲を判定し、そのリフォーカス範囲へのリフォーカスを制限する為の情報をＬＦデータ等に付加する。また、リフォーカスのための再構成画像に限らず、視点変更やパース変更など、何らかの目的で再構成画像が生成される場合に、保護対象に合焦させない、あるいは視認しにくくするための制限情報をＬＦデータに付加する。

このような構成をもつ本実施形態のデジタルカメラ１００で実行される制限情報付加処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本制限情報付加処理は、例えばデジタルカメラ１００を用いて撮影が行われた際に開始されるものとして説明する。

Ｓ６０１で、制御部１０１は、撮像により生成されたＬＦデータについて、被写体までの距離の情報を各々取得する距離情報取得エリア（以下、Ｄエリア）を設定する。Ｄエリアは、マイクロレンズ２０１に割り当てられた画素群（光電変換素子２０２）を単位として規定される、対象ＬＦデータを構成する画素配列における２次元の領域を示す。即ち、Ｄエリアの大きさは、ＬＦデータから生成可能な再構成画像の最小分解能に応じて規定される。例えば図２の例では、１つのマイクロレンズ２０１に割り当てられた５×５の画素が再構成画像の最小分解能にあたるため、Ｄエリアは、水平方向に５の倍数の画素、垂直方向に５の倍数の画素を有する領域として規定される。

なお、Ｄエリアは、対象ＬＦデータから生成可能な最小分解能にあたる画素群を単位として、被写体までの距離について要求する精度や、機器の演算能力、計算量、要求フレームレート等の制限に応じて適切な大きさに設定されてよい。

Ｓ６０２で、制御部１０１は、Ｓ６０１において設定されたＤエリアの各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には制御部１０１は、対象ＬＦデータの各Ｄエリアについて、異なる２つの分割瞳領域を通過した光束に対応する、デフォーカス量検出用の２種類の再構成画像（検出用画像）を画像処理部１０９に生成させる。本ステップで生成される検出用画像は、上述したように射出瞳３０１の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、本発明の実施はこれに限らず、検出用画像は射出瞳３０１を通過したうち、光軸が異なる２種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られるものではない。ここで、複数のマイクロレンズに対応する画素群を含めて１つのＤエリアを構成した場合は、中心のマイクロレンズに対応する画素群のみの結果で代用してもよいし、各マイクロレンズに対応する画素群について得られた距離の平均値を用いてもよい。

そして制御部１０１は、得られたデフォーカス量の解析結果に従って、各Ｄエリアの代表距離を算出する。なお、代表距離は、例えば各Ｄエリアの中央に位置する被写体についての距離であってもよいし、エリア内の被写体について得られた距離の平均値であってもよい。

そして本実施形態では制御部１０１は、このようにして得られたＤエリアごとの代表距離の情報を用いて、ＬＦデータの撮影範囲に対応する距離情報マップを生成する。例えば被写界深度が深くなるように、ＬＦデータの各マイクロレンズ２０１に対応付けられた画素のうちの中央分割瞳領域に対応する画素を用いて生成した再構成画像が図７（ａ）のようである場合、距離情報マップは図７（ｂ）のようになる。図７（ａ）の例では、撮影範囲内に被写体７０１、７０２及び７０３が存在する例を示しており、図７（ｂ）の距離情報マップでは、撮影時にデジタルカメラ１００に近い被写体ほどコントラストが高く（ハッチング濃度が濃く）示されている。

Ｓ６０３で、制御部１０１は、図７（ａ）のような被写界深度の深い再構成画像を画像処理部１０９に生成させ、該再構成画像について人物の顔領域を検出する。以下、本実施形態では、撮影された被写体のうち、人物の顔を特定の被写体として検出し、顔領域を基準にＬＦデータからの再構成画像の生成条件の制限を決定するものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、例えば検出する被写体は建物や動物、文字等、画像内の特定の特徴を有する領域を検出し、該検出結果に従って生成条件の制限が決定されるものであってよい。

図７（ａ）の検出用画像において図８に示されるように顔領域Ａ、Ｂ、及びＣがそれぞれ検出された場合、制御部１０１はそれぞれに識別するための顔ＩＤを割り当てる。さらに制御部１０１は、各顔領域について距離情報マップを参照して被写体距離を特定し、図９に示すようなテーブル（相対距離テーブル）を用いて検出された顔領域を管理する。

Ｓ６０４で、制御部１０１は、Ｓ６０３において顔領域を検出したか否かを判断する。本実施形態の制限情報付加処理では、人物の顔領域が検出される場合のみ、ＬＦデータは再構成画像の生成条件についての制限である制限情報を付して記録されるものとする。即ち、本ステップにおける判断は、制限情報が関連付けられるか否かの判断条件であるが、上述したように本発明の実施は顔領域の検出に限られるものではないため、判断条件は検出されるプライバシー情報の種類に応じて適宜変更されてよい。制御部１０１は、顔領域を検出したと判断した場合は処理をＳ６０５に移し、検出していないと判断した場合は処理をＳ６１０に移す。

Ｓ６０５で、制御部１０１は、検出した顔領域のうちのプライバシー保護対象の被写体であるか否かの判定を行っていない１つの顔領域を判定対象（対象顔領域）として選択する。即ち、本ステップで制御部１０１は、再構成画像において合焦を許可しない被写体であるか否かの判定を実行していない、１つの顔領域を対象顔領域として選択する。

Ｓ６０６で、制御部１０１は、対象顔領域がプライバシー保護対象であるか否かを判定する。プライバシー保護対象であるか否かの判定は、例えば次のような基準で行われてよい。

〈プライバシー保護対象の判定基準〉
（１）顔領域の大きさ基準
例えば、検出された顔領域のうち、サイズが最も大きい顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、最も顔領域が大きくなるように撮影されている顔領域については、撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。

（２）顔領域の位置基準
例えば、検出された顔領域のうち、検出用画像における配置位置が最も中央に近い顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、顔領域が中央に捉えられるように撮影されている顔領域については撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。

（３）認識対象の顔領域基準
例えば、検出された顔領域のうち、認識対象として予め登録されていた人物の顔領域が検出され、それ以外の顔領域が、プライバシー保護対象として判定されてもよい。即ち、予め人物の顔が認識対象として設定される場合、撮影者と該人物との関係性が保証されるものと考えられるため、認識ができなかった顔領域はプライバシー保護対象に設定されてもよい。

（４）主被写体カテゴリ基準
例えば、撮影モード等の設定により主被写体として選択される対象が風景等である場合は、人物の顔領域は全てプライバシー保護対象として判定されてもよい。即ち、人物の顔に限らず、主被写体として選択される対象のカテゴリ（人物、風景、建物等）が予め定められている場合は、それ以外のカテゴリに属する像はプライバシー保護対象に設定されてもよい。

（５）ユーザ選択
上述のように、制御部１０１は予め定められた基準を参照してプライバシー保護対象を判定するだけでなく、例えばデジタルカメラ１００に設けられた不図示の操作ボタン等により選択された被写体をプライバシー保護対象として判定してもよい。あるいは選択された被写体以外の被写体がプライバシー保護対象として判定されてもよい。

（６）文字列基準
例えば車のナンバープレートや住所等、再構成画像を生成した場合に画像内に視認可能な状態の文字列が含まれる場合は、このような文字列の領域が全てプライバシー保護対象として判定されてもよい。文字列の判定には公知のＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術などを用いることができる。

このような判定基準に基づき、制御部１０１は本ステップで対象顔領域の判定を行う。制御部１０１は、対象顔領域がプライバシー保護対象であると判定した場合は処理をＳ６０７に移し、保護対象ではないと判定した場合は処理をＳ６０８に移す。

Ｓ６０７で、制御部１０１は、対象顔領域に対して例えば相対距離テーブルにプライバシー保護対象であることを示す情報を関連付け、処理をＳ６０８に移す。

Ｓ６０８で、制御部１０１は、対象顔領域としてまだ選択されていない顔領域が存在するか否かを判断する。制御部１０１は、対象顔領域としてまだ選択されていない顔領域が存在すると判断した場合は処理をＳ６０５に戻し、存在しないと判断した場合は処理をＳ６０９に移す。

Ｓ６０９で、制御部１０１は、プライバシー保護対象であることを示す情報が関連付けられた顔領域（保護顔領域）の被写体距離を参照し、該保護顔領域に合焦する再構成画像の生成条件を制限情報としてＬＦデータに関連付ける。例えば図８の例において顔領域８０２及び８０３が保護顔領域として判定された場合、制御部１０１は該顔領域の被写体距離である１０ｍを被写界深度内に含む再構成画像生成の条件を、設定を抑止する生成条件として制限情報に含める。被写界深度は再構成画像における疑似的な絞り値、即ち再構成画像の生成に用いる画素に対応する分割瞳領域の限定度合いにより異なる。このため、再構成画像の生成において設定可能な疑似的な絞り値に対応付けて、保護顔領域が被写界深度内に含まれうる生成条件の範囲を図１０に示すようなテーブルとして生成し、該テーブルを制限情報としてＬＦデータに関連付ける。

図１０に示されるように、絞り開口が大きい（絞り値が小さい）、即ち広い範囲の瞳領域を通過した光束に対応する画素を再構成画像の生成に使用する場合は、被写界深度が浅いため、設定を制限する被写体距離の範囲は狭くなる。また反対に絞り開口が小さい（絞り値が大きい）、即ちより狭い範囲の瞳領域を通過した光束に対応する画素を再構成画像の生成に使用する場合は、被写界深度が深いため、設定を制限する被写体距離の範囲は広くなる。

なお、本実施形態ではＬＦデータから生成可能な再構成画像の生成条件のそれぞれについて被写界深度を予め把握しておき、保護顔領域の被写体距離に従って制限情報生成をするものとして説明するが、本発明の実施はこれに限られるものではない。例えば制限情報である被写体距離の範囲は、被写界深度において合焦可能な範囲に含まれるか否かに基づくものではなく、被写界深度内において保護顔領域が顔領域として検出されるか否かに基づいて設定されるものであってもよい。つまり、再構成画像においてピントがずれ、所謂「ボケ」た状態であっても、保護顔領域が認識されうるものとして該生成条件の設定を制限するようにしてもよい。

Ｓ６１０で、制御部１０１は、ＬＦデータを記録媒体１１１に記録し、本制限情報付加処理を完了する。

このようにすることで、本実施形態のデジタルカメラ１００では、プライバシー保護対象である被写体を識別可能な再構成画像の生成条件を、制限情報としてＬＦデータに関連付けることができる。

《再生処理》
次に、このように制限情報が付加され記録されたＬＦデータを、再構成画像を生成しながら再生する再生処理について、図１１のフローチャートを用いて詳細を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再生処理は、例えばユーザによりＬＦデータ（対象ＬＦデータ）の閲覧指示がなされた際に開始されるものとして説明する。

Ｓ１１０１で、制御部１０１は、対象ＬＦデータの生成について予め設定されている、再構成画像の生成条件の初期値（焦点位置または合焦させる被写体距離、及び疑似的な絞り値）の情報を読み出し、生成条件に設定する。生成条件の初期値は、例えばＲＯＭ１０２に記憶されるＬＦデータによらず定められた固定値であってもよいし、各ＬＦデータに関連付けられて記録されている撮影時の条件等によって決定されるＬＦデータ固有の値であってもよい。また、本実施例では再構成画像として特定の被写体距離（再構成面）にリフォーカスした再構成画像を例示するが、これに限らず、前述したような特定の視点からの画像を生成して再構成画像とするなど、再構成の方法は複数考えられる。

Ｓ１１０２で、制御部１０１は、Ｓ１１０１において設定した生成条件が対象ＬＦデータについて制限される生成条件であるか否かを判断する。具体的には制御部１０１は、対象ＬＦデータに制限情報が関連付けられているか否かを判断し、関連付けられている場合に該制限情報により制限される生成条件に、設定された生成条件が含まれるか否かを判断する。制御部１０１は、設定した生成条件が対象ＬＦデータについて制限される生成条件であると判断した場合は処理をＳ１１０３に移し、制限されない生成条件であると判断した場合は処理をＳ１１０４に移す。

Ｓ１１０３で、制御部１０１は、制限情報により制限されない生成条件を、再構成画像の新たな生成条件として設定する。具体的には制御部１０１は、現在設定されている生成条件の絞り値に対応付けられた再構成を制限する被写体距離の範囲の情報を参照する。そして該範囲の境界値であり、かつ現在設定されている生成条件の被写体距離に最も近い被写体距離を、新たな生成条件の被写体距離として設定する。例えば制限情報が図１０のようであり、現在設定されている生成条件が疑似的な絞り値が５．６、被写体距離が８ｍである場合、最も近い境界値の被写体距離として３．５ｍが設定される。

なお、再構成を制限する被写体距離の範囲が、生成条件として設定可能な被写体距離の範囲の全域に渡る場合は、疑似的な絞り値についても現在の絞り値の次に小さい絞り値が選択されてよい。

Ｓ１１０４で、画像処理部１０９は制御部１０１の制御の下、設定した生成条件に従って対象ＬＦデータから再構成画像を生成する。

Ｓ１１０５で、制御部１０１は、画像処理部１０９により生成された再構成画像を表示部１１０に表示させる。

Ｓ１１０６で、制御部１０１は、対象ＬＦデータの再生状態、即ち対象ＬＦデータから再構成画像を生成して再生する状態が継続しているか否かを判断する。つまり、制御部１０１は、ユーザにより対象ＬＦデータの閲覧に係る状態からの離脱指示がなされていないかどうかを判断する。制御部１０１は、対象ＬＦデータの再生状態が継続していると判断した場合は処理をＳ１１０７に移し、継続していないと判断した場合は本再生処理を完了する。

Ｓ１１０７で、制御部１０１は、再構成画像の生成条件の変更がなされた場合に、生成条件を変更して処理をＳ１１０２に戻す。

このようにすることで、ＬＦデータの再生において、制限情報を参照することでプライバシー情報が識別可能に再構成画像として生成されることを回避することができる。

なお、本実施形態では再構成画像の生成条件が制限される生成条件に合致する場合に、制限される被写体距離の境界値に生成条件を変更するものとして説明したが、本発明の実施はこれに限られるものではない。例えば変更後の生成条件は境界値ではなく、該範囲外であって、可能な限り変更前の設定値に近い値が選択されるものであってもよい。またプライバシー保護対象の被写体が、撮影において主被写体として設定されることが所望される被写体と所定の被写体距離の範囲内に存在する場合等は、図１２に示すようにプライバシー保護対象の被写体を除外した領域を再構成画像として生成してもよい。つまり、再構成画像において合焦することが好ましい被写体とプライバシー情報の合焦状態を異ならせることができない場合は、プライバシー情報が再構成画像に含まれぬように再構成を行う撮影範囲（画像領域）を限定してもよく、そのような撮影範囲の情報も制限情報として成立しうる。また単純に、再構成画像の生成条件が制限される生成条件に合致する場合には禁止されている旨を報知し、再構成処理を行わないようにしてもよい。

また、本実施形態では制限情報付加処理及び再生処理を例示して、ＬＦデータへの制限情報の付加、及び制限情報が付加されたＬＦデータの再生を説明したが、本発明の実施はこのように撮影時にＬＦデータに制限情報が付加されていなくとも実現可能である。即ち、例えばＬＦデータに制限情報が付加されていなくとも、ＬＦデータの再生時にプライバシー情報の有無を判断して生成条件を制限する構成であってもよい。また、制限する生成条件の判定は、撮影により生成されたＬＦデータを記録する際に限らず、デジタルカメラ１００で撮影したＬＦデータをＰＣ等の情報処理装置に登録する際に、ハードウェアあるいはアプリケーション等のソフトウェアにより行われてもよい。また該判定は、ＳＮＳ等の写真共有サーバへのアップロード時に、アップロード用アプリケーションあるいはサーバ上の任意の構成により行われてもよい。

以上説明したように、本実施形態の画像処理装置は、特定の被写体距離に合焦した再構成画像を生成可能な画像信号について好適に再構成可能な範囲を設定することができる。

［変形例］
上述した実施形態では、図３に示した撮像光学系１０４、マイクロレンズアレイ１０５、及び撮像部１０６の構成により取得されたＬＦデータを対象としたが、本発明は図１３に示すような構成により得られたＬＦデータが使用されてもよい。図１３の構成は、文献「Todor Georgiev and Andrew Lumsdaine, "Superresolution with Plenoptic 2.0 Camera", Signal Recovery and Synthesis, Optical Society of America, 2009"に記載されるプレノプティックカメラに対応する。図１３の構成では、撮像光学系１０４の焦点がマイクロレンズアレイ１０５の面上ではなく、より撮像光学系１０４の射出瞳に近い位置に設けられている点が異なる。

また、上述した実施形態では１つの撮像光学系１０４を通過した光束を、各マイクロレンズ２０１により分割し、分割瞳領域の各々に対応する画素出力を得るものとして説明した。しかしながら、本発明の実施は図１４に示されるように複数の光学系を有する、所謂多眼カメラにより得られた複数の撮像データを本実施形態におけるＬＦデータと同等に取り扱うことにより実現されてもよい。つまり、複数の光学系の各々により光学像結像される複数の撮像素子の出力が、異なる分割瞳領域を通過した光束に対応する画像、即ち異なる方向から被写体を撮影した画像となるため、多眼カメラの出力は本実施形態におけるＬＦデータと等価である。なお、このような多眼カメラから再構成画像を生成する方法については、特開２０１１−０２２７９６号公報等に記載されている方法を用いればよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：撮像光学系、１０５：マイクロレンズアレイ、１０６：撮像部、１０７：ＡＦＥ、１０８：ＤＦＥ、１０９：画像処理部、１１０：表示部、１１１：記録媒体、１１２：操作入力部、１１６：通信部、１１８：ＧＰＳ、１１９：電子コンパス、２０１：マイクロレンズ、２０２：光電変換素子、３０１：射出瞳

Claims (26)

1. ライトフィールドデータを取得するデータ取得手段と、
   被写体を選択する選択手段と、
   前記選択手段により選択された被写体に合焦させないための制限情報であり、前記ライトフィールドデータの再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を出力する出力手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記出力手段により出力された前記制限情報を前記ライトフィールドデータに関連付けて記録する記録手段をさらに有する請求項１に記載の画像処理装置。
3. 前記選択手段は、前記ライトフィールドデータから生成可能な再構成画像について所定の被写体を検出する検出手段を有し、
   前記選択手段は、前記検出手段により検出された前記所定の被写体のうちの少なくとも一部の被写体を選択する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記所定の被写体は、人物の顔、文字列、及び建造物の少なくともいずれかを含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記選択手段により選択された被写体の被写体距離に対応する距離情報を取得する距離取得手段をさらに有し、
   前記出力手段は、前記選択手段により選択された被写体について前記距離取得手段により得られた距離情報に基づいて、前記制限情報を生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制限情報は、前記ライトフィールドデータから再構成画像を生成するための生成条件を含み、
   前記出力手段は、前記選択手段により選択された被写体について得られた被写体距離が、再構成画像を生成した場合の被写界深度に含まれる生成条件を、前記制限情報に含める
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記制限情報に含められる生成条件は、前記ライトフィールドデータから再構成画像を生成する際に除外される条件であることを特徴とする請求項６に記載の画像処理装置。
8. 前記再構成画像を生成するための生成条件は、再構成画像における疑似的な絞り状態、及び合焦させる被写体距離の少なくともいずれかの情報を含むことを特徴とする請求項６または７に記載の画像処理装置。
9. ライトフィールドデータを取得するデータ取得手段と、
   被写体を選択する選択手段と、
   前記選択手段により選択された被写体の被写体距離に対応する距離情報を取得する距離取得手段と、
   前記選択手段により選択された被写体に合焦させないための情報であり、前記ライトフィールドデータの再構成を制限する情報である制限情報を出力する出力手段と、を有し、
   前記出力手段は、前記選択手段により選択された被写体について前記距離取得手段により得られた距離情報に基づいて、前記制限情報を生成する
   ことを特徴とする画像処理装置。
10. ライトフィールドデータを取得するデータ取得手段と、
    特定の被写体に合焦させないための制限情報であり、前記ライトフィールドデータの再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を取得する情報取得手段と、
    前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定手段と、
    前記設定手段により設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定手段と、を有する
    ことを特徴とする画像処理装置。
11. 前記決定手段により決定された生成条件に基づいて、前記ライトフィールドデータから再構成画像を生成する生成手段をさらに有することを特徴とする請求項１０に記載の画像処理装置。
12. 前記制限情報は、前記ライトフィールドデータから再構成画像を生成するための生成条件を含み、
    前記決定手段は、前記設定手段により設定された生成条件が前記制限情報に含まれる生成条件である場合に、前記設定手段により設定された生成条件と異なる生成条件を決定する
    ことを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記制限情報に含まれる生成条件は、前記ライトフィールドデータから再構成画像を生成する際に除外される条件であることを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
14. 前記決定手段は、前記設定手段により設定された生成条件が前記除外される条件である場合に、前記制限情報に含まれない生成条件を新たな生成条件として決定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記除外される条件は、少なくとも合焦させる被写体距離の範囲の情報を定めるものであり、
    前記決定手段は、前記設定手段により設定された生成条件が前記除外される条件である場合に、前記除外される条件により定められた合焦させる被写体距離の範囲外の被写体距離を前記新たな生成条件に含める
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記除外される条件は、複数の疑似的な絞り状態の各々について合焦させる被写体距離の範囲の情報を定めるものであり、
    前記決定手段は、前記設定手段により設定された生成条件が前記除外される条件である場合に、前記設定手段により設定された生成条件の絞り状態及び合焦させる被写体距離の少なくともいずれかを変更することにより前記除外される条件に該当しない前記新たな生成条件を決定する
    ことを特徴とする請求項１４または１５に記載の画像処理装置。
17. ライトフィールドデータを取得するデータ取得手段と、
    前記ライトフィールドデータの再構成についての、特定の被写体に合焦させないための制限情報を取得する情報取得手段と、
    前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定手段と、
    前記設定手段により設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定手段と、を有し、
    前記制限情報は、前記ライトフィールドデータから再構成画像を生成するための生成条件を含み、
    前記決定手段は、前記設定手段により設定された生成条件が前記制限情報に含まれる生成条件である場合に、前記設定手段により設定された生成条件と異なる生成条件を決定する
    ことを特徴とする画像処理装置。
18. 前記ライトフィールドデータは、画素信号の各々が、前記ライトフィールドデータを撮像した際の撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を有することを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理装置。
19. 前記ライトフィールドデータは、被写体の３次元空間を記述する光線空間情報であり、データを再構成することにより、任意の被写体距離に合焦する再構成画像を生成可能であることを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
20. 前記再構成画像の生成は、被写体距離に対応する再構成面上において、前記再構成画像の各画素位置に対応するデータを合成することにより行われることを特徴とする請求項１９に記載の画像処理装置。
21. ライトフィールドデータを取得するデータ取得工程と、
    被写体を選択する選択工程と、
    前記選択工程において選択された被写体に合焦させないための制限情報であり、前記ライトフィールドデータの再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を出力する出力制限情報を出力する出力工程と、を有する
    ことを特徴とする画像処理方法。
22. ライトフィールドデータを取得するデータ取得工程と、
    被写体を選択する選択工程と、
    前記選択工程において選択された被写体の被写体距離に対応する距離情報を取得する距離取得工程と、
    前記選択工程において選択された被写体に合焦させないための情報であり、前記ライトフィールドデータの再構成を制限する情報である制限情報を出力する出力工程と、を有し、
    前記出力工程において、前記選択された被写体について取得された距離情報に基づいて、前記制限情報が生成される
    ことを特徴とする画像処理方法。
23. ライトフィールドデータを取得するデータ取得工程と、
    特定の被写体に合焦させないための制限情報であり、前記ライトフィールドデータの再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を取得する情報取得工程と、
    前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定工程と、
    前記設定工程において設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定工程と、を有する
    ことを特徴とする画像処理方法。
24. ライトフィールドデータを取得するデータ取得工程と、
    前記ライトフィールドデータの再構成についての、特定の被写体に合焦させないための制限情報を取得する情報取得工程と、
    前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定工程と、
    前記設定工程において設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定工程と、を有し、
    前記制限情報は、前記ライトフィールドデータから再構成画像を生成するための生成条件を含み、
    前記決定工程において、前記設定工程において設定された生成条件が前記制限情報に含まれる生成条件である場合に、前記設定工程において設定された生成条件と異なる生成条件が決定される
    ことを特徴とする画像処理方法。
25. コンピュータに請求項１乃至２０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
26. 請求項２５に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。