JP6502640B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関し、特に撮影後に出力データから再構成画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に該出力データから例えば任意の被写体距離に合焦した再構成画像を生成する技術が提案されている。

非特許文献１では、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。

ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の被写体距離を設定し、該被写体距離からの光束が収束する焦点面における各点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

しかしながら、上述したようなＬＦデータからは様々な被写体距離に合焦した再構成画像や、深度の深い様々な視点の再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。

本発明は、上述の問題点に鑑みてなされたものであり、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、ライトフィールドデータを取得するデータ取得手段と、被写体を選択する選択手段と、選択手段により選択された被写体を再構成時に生成条件にかかわらず視認しにくくするための情報であり、ライトフィールドデータを再構成して生成される再構成画像に係る情報である制限情報を出力する出力手段と、を有し、制限情報は、ライトフィールドデータを再構成して生成される再構成画像の生成条件ごとに、選択手段により選択された被写体を視認しにくくするための処理を適用することを規定する情報であることを特徴とする。

このような構成により本発明によれば、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される制限情報付加処理を例示したフローチャート 本発明の実施形態に係る距離情報マップを説明するための図 本発明の実施形態に係る制限情報付加処理において検出された顔領域を示した図 本発明の実施形態に係る相対距離テーブルを例示した図 本発明の実施形態に係るプライバシー情報保護領域を説明する図 本発明の実施形態に係る制限情報テーブルを説明する図 本発明の実施形態１に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート 本発明の変形例に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の変形例に係るデジタルカメラ１００の機能構成を示したブロック図示したフローチャート 本発明の実施形態に係るリフォーカス初期設定値を説明する図 本発明の実施形態に係る画像処理後の再構成画像を説明する図 本発明の実施形態２に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号のように、３次元の被写体空間を記述した光線空間情報のことを示す。本実施形態では、画像信号の画素（画素信号）の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。

・「再構成画像」
LFデータを構成する画素を所望の組み合わせで合成するなどして新たに生成する画像であり、本実施形態では、ＬＦデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応する焦点ｊ面（再構成面、リフォーカス面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素（単位画素）に対応するLFデータの複数の画素（副画素）の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向（入射角度）に基づいて決定される。該画素配置において１つのマイクロレンズに対応する複数の画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。再構成画像としては他にも、マイクロレンズごとに存在する、マイクロレンズからの入射方向が同じ副画素（同じ視点の副画素）から生成される各視点の画像なども含む。この視点画像の生成の際には、他の視点（マイクロレンズからの入射方向）からの画像を視差分の移動量を踏まえて位置合わせをして加算するなどしてもよい。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ_１乃至ａ_５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ（アナログフロントエンド）１０７及びＤＦＥ（デジタルフロントエンド）１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、ホワイトバランス、色変換処理等の各種画像処理、形成後の画像を圧縮する圧縮処理、複数の画像を合成する合成処理等を行う。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

〈再構成画像の生成方法〉
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。

まず、撮影範囲に含まれる特定の被写体に合焦する被写体距離については、以下の方法で取得可能である。まず画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した２つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異（デフォーカス量）を検出する。このように検出されたデフォーカス量に基づき、制御部１０１は特定の被写体までの被写体距離を算出可能である。

図４（ｂ）の例では各マイクロレンズについて、対応する画素のうち第１列及び第２列の画素の画素値を加算することにより生成される、射出瞳３０１の左半分の分割瞳領域に対応するＡ像を生成することができる。また対応する画素のうち第４列及び第５列の画素の画素値を加算することにより生成される、射出瞳３０１の右半分の分割瞳領域に対応するＢ像を生成することができる。即ち、これを式で表すと
のようになる。このように得られた２種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を擬似的に光軸とした画像である。

つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量に対して撮像光学系１０４の焦点位置と光学系から決まる変換係数を乗じることで、ＬＦデータの撮影範囲に含まれる各被写体についての被写体距離を解析することができ、得られた被写体距離に基づき例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。

次に、特定の被写体距離に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、マイクロレンズアレイ上の対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する被写体距離から入射した光束が収束する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、デジタルカメラ１００のユーザインタフェース画面の表示や、電子ビューファインダとしての使用、あるいは撮影した画像の表示に用いられる。また表示部１１０は、画像処理部１０９により生成され出力された、任意の被写体距離に合焦した再構成画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する再構成画像が記録される。あるいは生成された画像等は、通信部１１６を介して、パーソナルコンピュータ等の外部装置（図示せず）に送信（出力）される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。例えば操作入力部１１２は、撮影モードの設定など、撮影に関わる様々な情報を制御部１０１へ出力する。またレリーズスイッチが出力する信号は、ＡＥやＡＦの動作開始トリガや、撮影の開始トリガとして利用される。制御部１０１はこれらの開始トリガを受けて、撮像部１０６、表示部１１０をはじめとする、撮像装置の各部の制御を行う。

なお、本実施形態では撮影処理によりＬＦデータを取得して再構成画像を生成する処理をおこなうものとして説明するが、生成に使用するＬＦデータは、記録媒体１１１から、あるいは通信部１１６を介して取得されるものであってもよい。

《制限情報付加処理》
ここで、本実施形態の特徴的な処理であるリフォーカスの制限に関する処理について説明する。上述したようなＬＦデータからは様々な被写体距離に合焦した再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。即ち、例えば通常は撮影やコピーを許可していない文書等が撮影範囲に含まれていた場合、該文書を読み取り可能な再構成画像が生成される可能性があった。また、近年では撮影により得られた画像がオンラインの画像共有サービス等に公開されることも多くなっており、ＬＦデータが任意に再構成可能な状態で公開されることも考えられる。例えば意図せず撮影範囲に写り込んでしまった人物はＬＦデータからの再構成画像の生成条件によっては、該人物の意思に反して肖像権が侵害される可能性がある。そこで、本実施形態では、斯様な保護対象となる被写体が存在すること、該被写体が合焦されてしまうあるいは視認可能であるリフォーカス範囲を判定し、そのリフォーカス範囲（複数の生成条件）における再構成画像において、当該保護対象の被写体を視認しにくくするための制限情報を生成し、出力する。出力される制限情報は、ＬＦデータ等に付加したり、デジタルカメラ１００内での再構成画像生成時に利用されたりする。また、リフォーカスのための再構成画像に限らず、視点変更やパース変更など、何らかの目的で再構成画像が生成される場合に、保護対象の被写体を視認しにくくするための制限情報を生成し、ＬＦデータに付加する。

このような構成をもつ本実施形態のデジタルカメラ１００で実行される制限情報付加処理について、図６のフローチャートを用いて具体的な処理を説明する。各フローの処理は制御部１０１あるいは制御部１０１の指示により図１の各部で行われる。また、本処理は、通常の撮影処理を実施時に常に行われても良いし、例えば外部装置に撮像したＬＦデータを送信する場合に行われても良い。外部装置に撮像したＬＦデータを送信する際に制限情報を付加する場合には、外部装置にＬＦデータを送信する要求が行われた後に、既に撮像されメモリに記憶されているＬＦデータを読み出してステップＳ１５０２以降の処理を行っても良い。

まず、ステップＳ１５０１において、操作入力部１１２の操作により撮像指示が出されると、撮像処理を行い、撮像データ（ＬＦデータ）を取得する。このとき、予め撮像光学系１０４に含まれるフォーカシングレンズを駆動させることによるフォーカシングによって所望の被写体に合焦した状態で撮像が行われても良い。また、撮像指示の前から撮像部１０６は撮像信号を取得しておき、画像を解析することによる露出制御や被写体（顔）検出、ホワイトバランス等の制御を行っていても良い。

Ｓ１５０２で、制御部１０１は、撮像により生成されたＬＦデータについて、被写体までの距離の情報を各々取得する距離情報取得エリア（以下、Ｄエリア）を設定する。Ｄエリアは、マイクロレンズ２０１に割り当てられた画素群（光電変換素子２０２）を単位として規定される、対象ＬＦデータを構成する画素配列における２次元の領域を示す。即ち、Ｄエリアの大きさは、ＬＦデータから生成可能な再構成画像の最小分解能に応じて規定される。例えば図２の例では、１つのマイクロレンズ２０１に割り当てられた５×５の画素が再構成画像の最小分解能にあたるため、Ｄエリアは、水平方向に５の倍数の画素、垂直方向に５の倍数の画素を有する領域として規定される。

なお、Ｄエリアは、対象ＬＦデータから生成可能な最小分解能にあたる画素群を単位として、被写体までの距離について要求する精度や、機器の演算能力、計算量、要求フレームレート等の制限に応じて適切な大きさに設定されてよい。

Ｓ１５０３で、制御部１０１は、Ｓ１５０２において設定されたＤエリアの各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には制御部１０１は、対象ＬＦデータの各Ｄエリアについて、異なる２つの分割瞳領域を通過した光束に対応する、デフォーカス量検出用の２種類の再構成画像（検出用画像）を画像処理部１０９に生成させる。本ステップで生成される検出用画像は、上述したように射出瞳３０１の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、本発明の実施はこれに限らず、検出用画像は射出瞳３０１を通過したうち、光軸が異なる２種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られるものではない。ここで、複数のマイクロレンズに対応する画素群を含めて１つのＤエリアを構成した場合は、中心のマイクロレンズに対応する画素群のみの結果で代用してもよいし、各マイクロレンズに対応する画素群について得られた距離の平均値を用いてもよい。

そして制御部１０１は、得られたデフォーカス量の解析結果に従って、各Ｄエリアの代表距離を算出する。なお、代表距離は、例えば各Ｄエリアの中央に位置する被写体についての距離であってもよいし、エリア内の被写体について得られた距離の平均値であってもよい。

そして本実施形態では制御部１０１は、このようにして得られたＤエリアごとの代表距離の情報を用いて、ＬＦデータの撮影範囲に対応する距離情報マップを生成する。例えば被写界深度が深くなるように、ＬＦデータの各マイクロレンズ２０１に対応付けられた画素のうちの中央分割瞳領域に対応する画素を用いて生成した再構成画像が図７（ａ）のようである場合、距離情報マップは図７（ｂ）のようになる。図７（ａ）の例では、撮影範囲内に被写体７０１、７０２及び７０３が存在する例を示しており、図７（ｂ）の距離情報マップでは、撮影時にデジタルカメラ１００に近い被写体ほどコントラストが高く（ハッチング濃度が濃く）示されている。

Ｓ１５０４で、制御部１０１は、図７（ａ）のような被写界深度の深い再構成画像を画像処理部１０９に生成させ、該再構成画像について人物の顔領域を検出と顔認識を行う。以下、本実施形態では、撮影された被写体のうち、人物の顔を特定の被写体として検出し、顔領域を基準にＬＦデータからの再構成画像の生成条件の制限を決定するものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、例えば検出する被写体は建物や動物、文字等、画像内の特定の特徴を有する領域を検出し、該検出結果に従って生成条件の制限が決定されるものであってよい。

図７（ａ）の検出用画像において図８のように３つの顔が検出できた場合、それぞれについて顔認識を行い、顔ＩＤとデジタルカメラ１００からの距離（被写体距離）を取得する。被写体距離は図７（ｂ）の距離マップを用いて取得する。以上のようにして取得した顔ＩＤと被写体距離は図９のように、ナンバリングして検出顔の相対距離テーブルとして記録しておく。

次に、ステップＳ１５０５では、ステップＳ１５０４で顔が１つ以上検出できたかどうかを判定する。１つ以上の顔が検出できた場合は、ステップＳ１５０６へ進む。顔が１つも検出できなかった場合は、ステップＳ１５０９へ進み、画像を保存して処理を終了する。

次に、ステップＳ１５０６では、ステップＳ１５０４で検出した各顔の内の少なくとも１つについて、プライバシー保護対象か否かを判定する。プライバシー保護対象と判定された場合は、Ｓ１５０７に進み、判定されなかった場合はＳ１５０８に進む。プライバシー保護対象であるか否かの判定は、例えば次のような基準で行われてよい。

〈プライバシー保護対象の判定基準〉
（１）顔領域の大きさ基準
例えば、検出された顔領域のうち、サイズが最も大きい顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、最も顔領域が大きくなるように撮影されている顔領域については、撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。

（２）顔領域の位置基準
例えば、検出された顔領域のうち、検出用画像における配置位置が最も中央に近い顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、顔領域が中央に捉えられるように撮影されている顔領域については撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。

（３）認識対象の顔領域基準
例えば、検出された顔領域のうち、認識対象として予め登録されていた人物の顔領域が検出され、それ以外の顔領域が、プライバシー保護対象として判定されてもよい。即ち、予め人物の顔が認識対象として設定される場合、撮影者と該人物との関係性が保証されるものと考えられるため、認識ができなかった顔領域はプライバシー保護対象に設定されてもよい。

（４）主被写体カテゴリ基準
例えば、撮影モード等の設定により主被写体として選択される対象が風景等である場合は、人物の顔領域は全てプライバシー保護対象として判定されてもよい。即ち、人物の顔に限らず、主被写体として選択される対象のカテゴリ（人物、風景、建物等）が予め定められている場合は、それ以外のカテゴリに属する像はプライバシー保護対象に設定されてもよい。

（５）ユーザ選択
上述のように、制御部１０１は予め定められた基準を参照してプライバシー保護対象を判定するだけでなく、例えばデジタルカメラ１００に設けられた不図示の操作ボタン等により選択された被写体をプライバシー保護対象として判定してもよい。あるいは選択された被写体以外の被写体がプライバシー保護対象として判定されてもよい。

（６）文字列基準
例えば車のナンバープレートや住所等、再構成画像を生成した場合に画像内に視認可能な状態の文字列が含まれる場合は、このような文字列の領域が全てプライバシー保護対象として判定されてもよい。文字列の判定には公知のＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術などを用いることができる。

ステップＳ１５０７では、画像処理部１０９が、撮像データに制限情報を付加する。具体的には、図８のＢ、Ｃがプライバシー保護対象であると判定された場合、図８のＢ、Ｃが顔検出されなくなるぼかし量を算出し付加する。詳細な算出方法は後述するが、図１０に示すプライバシー保護領域の位置情報と図１１に示す制限情報テーブルが撮像データに付加される。例えば、プライバシー保護領域にあたる被写体の位置情報として、図８のＢ、Ｃの顔枠の座標の始点（ｘ１、ｙ１）（ｘ２、ｙ２）と終点（ｘ１’、ｙ１’）（ｘ２’、ｙ２’）（図１１）を記録する。図１１の制限情報テーブルでは、絞り値（被写界深度）と焦点位置（被写体距離）毎にプライバシー保護領域にかけるぼかし量を保持する。例えば、図８のＢ、Ｃは図７（ｂ）の距離マップにて被写体距離（合焦位置）が１０ｍと判定され、絞り値２の場合は、６ｍ〜１４ｍの被写体距離ではＢ、Ｃの顔が識別できてしまうとする。プライバシー保護のため、その範囲に画像処理でぼかしをかけることを考えると、ぼかし量は対象が識別できなくなるまでかけるため、その大きさは被写体距離により異なる。たとえば図１１の上側のようにプライバシー保護対象の存在する被写体距離１０ｍでは、対象を大きくぼかさないと識別できてしまうため、ぼかし量を大きくする。一方、被写体距離６ｍ、１４ｍでは、対象の被写体距離から外れており、ぼかしを小さくしても対象を認識できないため、ぼかし量を小さくする。このようにして、プライバシー保護対象が良好に認識できると想定される被写体距離範囲について、ぼかし量を求め、制限情報テーブルに保持しておく。一方、絞り値５．６の場合は、被写界深度が深くなりさらに広い３．５ｍ〜１６．５ｍの被写体距離でＢ、Ｃの顔が認識できてしまうため、その範囲にぼかしをかける。その場合のぼかし量は、図１１の下側のように被写体距離１０ｍではぼかし量は大きく、被写体距離３．５ｍ、１６．５ｍではぼかし量は小さく、被写体距離６ｍ、１４ｍではぼかし量は中程度になる。

また、上述した例では制限情報を付与する対象の再構成画像の再構成処理としてリフォーカス処理を挙げたが、これに限らない。視点変更など、一部の入射方向（瞳領域）に対応する副画素を主に用いて生成される再構成画像では、被写界深度が深くなるので、ぼかし量の大きいぼかし処理をかけるような情報を設定しておくと良い。尚、ぼかし量を変える方法は、例えばガウスフィルタの特性を変えることで実現できる。具体的には、画像の空間周波数のカットオフ周波数を３種類設定して、それぞれに対応するフィルタ係数をメモリに記憶しておけばよい。そして、ぼかし量が小の場合はカットオフ周波数が一番高い特性のフィルタ係数を用いてぼかし処理を行う。ぼかし量が大の場合はカットオフ周波数が一番低い特性のフィルタ係数を用いてぼかし処理を行う。同様にぼかし量が中の場合はカットオフ周波数が中間の帯域をとる特性のフィルタ係数を用いてぼかし処理を行う。このようにして、ぼかし量の調整が可能になる。また、本実施形態では、プライバシー保護対象の領域に掛ける処理としてぼかし処理を挙げて説明している。しかし、これに限らず、所定の画像で置換するマスク処理や、輝度信号や色信号の値を変化させて対象を認識できなくするなど、プライバシー保護のための画像処理としては種々の方法が考えられる。

次に、ステップＳ１５０８では、図９の顔情報テーブルで管理されている顔が、全てプライバシー保護対象かの判定をされたかどうかを判断する。まだ判定されていない顔があればステップＳ１５０６に戻り処理を繰り返す。すべての顔が判定されている場合はステップＳ１５０９に進む。

最後に、ステップＳ１５０９において、撮像データ（ＬＦデータ）と図１０のプライバシー保護情報と図１１の制限情報テーブルとを撮関連付けて記録媒体１１１に記録する。このときさらに、必要に応じて、プライバシー保護の保護情報を用いて撮像データのプライバシー保護領域に対して保護処理を行うことを規定するフラグ情報などを付加しておき、撮像データの再生時にフラグを読み出させるようにしても良い。

＜再生処理＞
次に、制限情報を利用して、画像再生時にプライバシー情報を保護する処理を行う手順について、図１２のフローチャートを参照して説明する。なお、ここでは、制限情報付加手順で説明した、図１０のプライバシー保護領域と図１１の制限情報テーブルが付加されている撮像データを、再生する手順を例に、説明を行う。

まず、ステップＳ１８０１において、操作入力部１１２の操作により画像再生指示が出されると、撮像データ（ＬＦデータ）を記録媒体１１１から読み込み、ＲＡＭ１０３へ一時的に保持する。

次に、ステップＳ１８０２において、撮像データの被写体距離と絞り値の初期設定値をＲＡＭ１０３から読み込む。ＬＦデータは、リフォーカス可能な範囲内で任意の被写体距離に画像を再構成することが可能である。そのため、画像を表示する際に、被写体距離と絞り値の初期値を設定する必要がある。本実施形態では、撮像データと関連付けられているヘッダ情報より、特定の条件を満たす被写体が検出されているか否かと、検出されている被写体が撮像データ内のどの領域に存在するかの情報を読み出す。また、ＬＦデータ取得時に代表的な被写体を検出して、前記被写体が存在する位置に被写体距離を設定することも考えられる。あるいは、撮影時のフォーカスレンズの位置はあらかじめ分かっているため、その位置を被写体距離に設定してもよいが、本アイデアにおいては限定されない。

次に、ステップＳ１８０３において、ステップＳ１８０２で読み込んだ初期設定値の絞り値における、被写体距離が制限情報テーブルに記載された、画像内の所定範囲にプライバシー保護処理を付与すべき被写体距離の範囲内かどうかを判定する。制限情報テーブルの範囲内でない場合は、ステップＳ７０４へ進み、設定値にて再構成画像を生成する。制限情報テーブルの範囲内の場合は、ステップＳ１８０５へ進む。本実施例では、図１５の初期設定値である被写体距離６ｍが、図１１の制限情報テーブルが定めるぼかし対象範囲である「絞り値５．６、被写体距離３．５ｍ〜１６．５ｍ」の範囲内であるため、ステップＳ１８０５へ進む。

次に、ステップＳ１８０５では、画像処理部１０９（保護画像生成手段）が、制限情報テーブルに含まれる被写体距離の範囲に該当したプライバシー保護対象の顔について、制限情報テーブルに記載のぼかし量にてぼかした画像（保護画像）を生成する。本実施例では、顔Ｂ、Ｃについては図１１の制限情報テーブルの範囲内である。そのため、図１０に示す顔Ｂ、Ｃの各プライバシー保護領域を、図１１の制限情報に記録されているぼかし量に設定にしてぼかし画像を生成する。初期設定値の場合は、絞り値５．６、被写体距離６ｍのため、図１１よりぼかし量「中」のぼかし画像が生成される。

以上の処理により図１６に示す再構成画像が生成されたとする。なお、図１６において、点線で囲まれた領域は上記ぼかしがかけられた画像で置換される。

以上の処理を行うことで、図１６のように、プライバシー保護領域のみを適切なぼかし量にてぼかし、プライバシーが保護された画像を作成することができる。

そして、ステップＳ１８０６において、上記ステップＳ１８０４またはＳ１８０５にて作成した画像を表示部１１０に表示する。

最後に、ステップＳ１８０７では、再生モード継続の有無が判断され、継続の場合は、ステップＳ１８０８においてリフォーカス指示を待ち、終了の場合は、画像再生モードの動作が終了する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本実施形態では、図１１に例示するデータベースに基づいてステップＳ１８０３にて、被写体距離が画像内の所定範囲にぼかし処理を付与すべき被写体距離の範囲内かどうかを判定して、必要に応じてぼかし処理等にてプライバシー領域に保護処理が掛けられている。しかし、これに限らず、プライバシー保護の対象であると判定された画像内の領域（図１０のＢ、Ｃの領域）には、被写体距離にかかわらず常にプライバシー保護処理としてぼかし処理やマスク処理を行っても良い。

例えば、実施例では被写体として主に顔について説明したが、顔に限定されず、インターネット上に合焦禁止物のデータベース等を作り、そこに登録されている物にはぼかし処理を行うといった実施系も考えられ、様々な変形が可能である。この場合、画像処理部１０９は、登録されている合焦禁止物を検出するデータベースを有し、予めＬＦデータを用いて登録されている合焦禁止物が検出される必要がある。

また、主要被写体以外の全範囲に制限情報（ぼかし処理）を付加することで、主要被写体のみを目立たせることができるということは容易に想像でき、その要旨の範囲内で種々の変形及び変更が可能である。

［実施形態２］
本発明の実施形態２では、プライバシー保護領域に対し、制限情報が付加されていない、あるいは、ぼかし処理されていない撮像データ（ＬＦデータ）に対して、画像再生時にプライバシー保護処理を施して画像表示を行う。図１７は本実施形態における画像再生時のプライバシー保護処理の手順を示すフローチャート図である。

まず、ステップＳ２１０１において、記録媒体１１１に記録されている撮像データを読み込む。ここで、通信部１１６を用いて、ライトフィールド画像を外部デバイスから取得してもよく、撮像データの読み込み方法は限定されない。ステップＳ２１０１のときに撮像部１０６により撮像がなされ、ＬＦデータが出力されることも考えられる。

次に、ステップＳ２１０２は、実施形態１のステップＳ１８０２と同様の処理のため説明を省略する。

次に、ステップＳ２１０３は、Ｓ２１０２にて読み込んだ被写体距離、絞り値を元に再構成画像を作成する。

次に、ステップＳ２１０４〜ステップＳ２１０６までの、距離情報マップを作成して顔検出を行う処理は、実施形態１のステップＳ１５０２〜ステップＳ１５０４と同様なため説明を省略する。

次に、ステップＳ２１０７において、ステップＳ２１０６で顔が１つ以上検出できたかどうかを判定する。１つ以上の顔が検出できた場合は、ステップＳ２１０８へ進む。顔が１つも検出できなかった場合は、ステップＳ２１１３へ進み、再構成画像を表示部１１０に表示する。

次に、ステップＳ２１０８は、実施形態１のステップＳ１５０６と同様の処理のため説明を省略する。

次に、ステップＳ２１０９は、プライバシー保護領域に対し、プライバシー保護のための画像処理（ぼかし処理）を施し、プライバシー保護対象が良好に認識できなくなった画像を作成し、再構成画像の該当領域に上書きする。

次に、ステップＳ２１１０は、実施形態１のステップＳ１５０８と同様の処理のため説明を省略する。

そして、ステップＳ２１１１において、再構成画像を表示部１１０に表示する。あるいは、ステップＳ２１１１において、ユーザーの操作や外部装置からの要求に応じて通信部１１６を介して再構成画像を送信する。例えば、ユーザーがＬＦデータを用いてＳＮＳなどに画像をアップロードする際に、プライバシー保護処理を施した再構成画像を生成して、外部装置であるサーバに送信することが考えられる。また、外部装置からデジタルカメラ１００内のＬＦデータから得られる再構成画像データの送信要求を受けて、デジタルカメラ１００が本フローチャートの処理を開始することも考えられる。

最後に、ステップＳ２１１２では、再生モード継続の有無が判断され、継続の場合は、ステップＳ２１１３においてリフォーカス指示を待ち、終了の場合は、画像再生モードの動作が終了する。ステップＳ２１１３にてリフォーカス指示がなされた場合は、ステップＳ２１１４において、指示された設定値で再構成画像を作成し、ステップＳ２１０６に進み、処理を繰り返す。

また、本実施形態では、デジタルカメラ１００によって撮像データに対してプライバシー保護情報を関連付けて記憶し、再生時もデジタルカメラ１００によってプライバシー保護情報に基づいて保護処理を行っている。しかし、これに限らず、記録された撮像データ及び保護情報を別の画像処理装置が読み取り、撮像データに保護処理を行って再生するような画像処理システムを構築しても良い。

また、本実施形態では撮像データとしていわゆるＬＦデータを撮像するなどして取得し、その再構成画像の生成時に保護処理を施す実施例を示した。しかし、ＬＦデータでない通常の撮像素子で得られた（例えば本実施形態の撮像素子でいうところの同一マイクロレンズ下の画素を加算して単位画素とした）画像データを撮像する撮像装置から得られる画像データに対しても、本発明は適用可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、プライバシー保護情報の内、再生装置側にてすでに登録されている情報（たとえば、再生装置の保有者の顔や、住所等）については、プライバシー保護対象から外し、ぼかし処理を行わないで表示してもよい。

［変形例］
上述した実施形態では、図３に示した撮像光学系１０４、マイクロレンズアレイ１０５、及び撮像部１０６の構成により取得されたＬＦデータを対象としたが、本発明は図１３に示すような構成により得られたＬＦデータが使用されてもよい。図１３の構成は、文献「Todor Georgiev and Andrew Lumsdaine, "Superresolution with Plenoptic 2.0 Camera", Signal Recovery and Synthesis, Optical Society of America, 2009"に記載されるプレノプティックカメラに対応する。図１３の構成では、撮像光学系１０４の焦点がマイクロレンズアレイ１０５の面上ではなく、より撮像光学系１０４の射出瞳に近い位置に設けられている点が異なる。

また、上述した実施形態では１つの撮像光学系１０４を通過した光束を、各マイクロレンズ２０１により分割し、分割瞳領域の各々に対応する画素出力を得るものとして説明した。しかしながら、本発明の実施は図１４に示されるように複数の光学系を有する、所謂多眼カメラにより得られた複数の撮像データを本実施形態におけるＬＦデータと同等に取り扱うことにより実現されてもよい。つまり、複数の光学系の各々により光学像結像される複数の撮像素子の出力が、異なる分割瞳領域を通過した光束に対応する画像、即ち異なる方向から被写体を撮影した画像となるため、多眼カメラの出力は本実施形態におけるＬＦデータと等価である。なお、このような多眼カメラから再構成画像を生成する方法については、特開２０１１−０２２７９６号公報等に記載されている方法を用いればよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：撮像光学系、１０５：マイクロレンズアレイ、１０６：撮像部、１０７：ＡＦＥ、１０８：ＤＦＥ、１０９：画像処理部、１１０：表示部、１１１：記録媒体、１１２：操作入力部、１１６：通信部、１１８：ＧＰＳ、１１９：電子コンパス、２０１：マイクロレンズ、２０２：光電変換素子、３０１：射出瞳

Claims (22)

1. ライトフィールドデータを取得するデータ取得手段と、
   被写体を選択する選択手段と、
   前記ライトフィールドデータを再構成して生成される再構成画像に係る情報であり、前記選択手段により選択された被写体を、複数の生成条件で再構成される再構成画像にわたって視認しにくくするための情報である制限情報を出力する出力手段と、を有し、
   前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像の生成条件ごとに、前記選択手段により選択された被写体を視認しにくくするための処理を適用することを規定する情報である
   ことを特徴とする画像処理装置。
2. 前記出力手段により出力された前記制限情報を前記ライトフィールドデータに関連付けて記録する記録手段をさらに有する請求項１に記載の画像処理装置。
3. 前記選択手段は、前記ライトフィールドデータから生成される再構成画像について所定の被写体を検出する検出手段を有し、
   前記選択手段は、前記検出手段により検出された前記所定の被写体のうちの少なくとも一部の被写体を選択する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記視認しにくくするための処理を適用することを規定する情報は、生成される再構成画像の被写界深度に応じて該処理を適用する被写体距離の範囲を規定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記視認しにくくするための処理は、画像内の領域に対するぼかし処理であり、
   前記制限情報は、前記選択手段により選択された被写体に合焦する被写体距離に近い被写体距離に合焦させた再構成画像ほど、ぼかし処理の強度を強めるように規定されていることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記視認しにくくするための処理は、画像内の領域に対するマスク処理であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記視認しにくくするための処理は、前記選択手段により選択された被写体に対応する領域の輝度信号あるいは色信号を当該被写体が視認しにくくなるように変換する処理であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. ライトフィールドデータを取得するデータ取得手段と、
   前記ライトフィールドデータから生成可能な再構成画像についての、被写体を再構成画像の複数の生成条件にわたって視認しにくくするための制限情報を取得する情報取得手段と、
   前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定手段と、
   前記設定手段により設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定手段と、
   前記決定手段により決定された生成条件に基づいて、前記ライトフィールドデータから再構成画像を生成する生成手段と、を有し、
   前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像の生成条件ごとに、前記被写体を視認しにくくするための処理を適用することを規定する情報である
   ことを特徴とする画像処理装置。
9. 前記決定手段により決定された生成条件に基づいて、前記ライトフィールドデータから再構成画像を生成する生成手段をさらに有することを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記制限情報に基づいて、再構成画像内の前記被写体に対応する領域に、該被写体を視認しにくくするための処理を適用することを特徴とする請求項９に記載の画像処理装置。
11. 前記視認しにくくするための処理を適用することを規定する情報は、生成される再構成画像の被写界深度に応じて該処理を適用する被写体距離の範囲を規定することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
12. 前記視認しにくくするための処理は、画像内の領域に対するぼかし処理であり、
    前記制限情報は、前記被写体に合焦する被写体距離に近い被写体距離に合焦させた再構成画像ほど、ぼかし処理の強度を強めるように規定されていることを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置。
13. 前記視認しにくくするための処理は、画像内の領域に対するマスク処理であることを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理装置。
14. 前記視認しにくくするための処理は、前記被写体に対応する領域の輝度信号あるいは色信号を当該被写体が視認しにくくなるように変換する処理であることを特徴とする請求項８乃至１３のいずれか１項に記載の画像処理装置。
15. 前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像における主被写体以外の領域の被写体を視認しにくくするための情報であることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記ライトフィールドデータは、画素信号の各々が、前記ライトフィールドデータを撮像した際の撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記ライトフィールドデータは、被写体の３次元空間を記述する光線空間情報であり、データを再構成することにより、任意の被写体距離に合焦する再構成画像を生成可能であることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記再構成画像の生成は、被写体距離に対応する再構成面上において、前記再構成画像の各画素位置に対応するデータを合成することにより行われることを特徴とする請求項１７に記載の画像処理装置。
19. ライトフィールドデータを取得するデータ取得工程と、
    被写体を選択する選択工程と、
    前記ライトフィールドデータを再構成して生成される再構成画像に係る情報であり、前記選択工程において選択された被写体を、複数の生成条件で再構成される再構成画像にわたって視認しにくくするための情報である制限情報を出力する出力工程と、を有し、
    前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像の生成条件ごとに、前記選択工程において選択された被写体を視認しにくくするための処理を適用することを規定する情報である
    ことを特徴とする画像処理方法。
20. ライトフィールドデータを取得するデータ取得工程と、
    前記ライトフィールドデータから生成可能な再構成画像についての、被写体を複数の再構成画像の生成条件にわたって視認しにくくするための制限情報を取得する情報取得工程と、
    前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定工程と、
    前記設定工程において設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定工程と、
    前記決定工程において決定された生成条件に基づいて、前記ライトフィールドデータから再構成画像を生成する生成工程と、を有し、
    前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像の生成条件ごとに、前記被写体を視認しにくくするための処理を適用することを規定する情報である
    ことを特徴とする画像処理方法。
21. コンピュータに請求項１乃至１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
22. 請求項２１に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。