JP6470530B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関し、特に撮影後に出力データから再構成画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に例えば該出力データから任意の被写体距離に合焦した再構成画像を生成する技術が提案されている。

非特許文献１では、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。

ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の被写体距離を設定し、該被写体距離からの光束が収束する焦点面における各点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

しかしながら、上述したようなＬＦデータからは様々な被写体距離に合焦した再構成画像や、深度の深い様々な視点の再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。

本発明は、上述の問題点に鑑みてなされたものであり、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、ライトフィールドデータを取得するデータ取得手段と、被写体を選択する選択手段と、選択手段により選択された被写体に合焦させないための制限情報であり、ライトフィールドデータにあたり、合焦可能な深度方向の範囲を制限する制限情報を出力する出力手段と、を有し、選択手段は、ライトフィールドデータを撮影した撮像装置の地理的位置を特定し、外部装置から受信される地理的位置の位置情報に関連付けられた情報に基づいて、被写体を選択することを特徴とする。

このような構成により本発明によれば、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号について好適な再構成画像の生成条件を設定することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態１に係るデジタルカメラ１００で実行される制限情報付加処理を例示したフローチャート 被写体と被写体距離情報を説明する図 検出された被写体と撮像装置の位置情報に基づく被写体の地理的位置を説明する図 被写体の相対位置と地理的位置の算出方法を説明する図 リフォーカス制限情報を保持するテーブルの一例 本発明の実施形態１に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート 各リフォーカス面における再構成画像を示す図 本発明の変形例に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の変形例に係るデジタルカメラ１００の機能構成を示したブロック図示したフローチャート 本発明の実施形態２に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号のように、３次元の被写体空間を記述した光線空間情報のことを示す。本実施形態では、画像信号の画素（画素信号）の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。

・「再構成画像」
LFデータを構成する画素を所望の組み合わせで合成するなどして新たに生成する画像であり、本実施形態では、ＬＦデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応する焦点ｊ面（再構成面、リフォーカス面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素（単位画素）に対応するLFデータの複数の画素（副画素）の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向（入射角度）に基づいて決定される。該画素配置において１つのマイクロレンズに対応する複数の画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。再構成画像としては他にも、マイクロレンズごとに存在する、マイクロレンズからの入射方向が同じ副画素（同じ視点の副画素）から生成される各視点の画像なども含む。この視点画像の生成の際には、他の視点（マイクロレンズからの入射方向）からの画像を視差分の移動量を踏まえて位置合わせをして加算するなどしてもよい。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ_１乃至ａ_５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ（アナログフロントエンド）１０７及びＤＦＥ（デジタルフロントエンド）１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、ホワイトバランス、色変換処理等の各種画像処理、形成後の画像を圧縮する圧縮処理、複数の画像を合成する合成処理等を行う。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

〈再構成画像の生成方法〉
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。

まず、撮影範囲に含まれる特定の被写体に合焦する被写体距離については、以下の方法で取得可能である。まず画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した２つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異（デフォーカス量）を検出する。このように検出されたデフォーカス量に基づき、制御部１０１は特定の被写体までの被写体距離を算出可能である。

図４（ｂ）の例では各マイクロレンズについて、対応する画素のうち第１列及び第２列の画素の画素値を加算することにより生成される、射出瞳３０１の左半分の分割瞳領域に対応するＡ像を生成することができる。また対応する画素のうち第４列及び第５列の画素の画素値を加算することにより生成される、射出瞳３０１の右半分の分割瞳領域に対応するＢ像を生成することができる。即ち、これを式で表すと
のようになる。このように得られた２種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を擬似的に光軸とした画像である。

つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量に対して撮像光学系１０４の焦点位置と光学系から決まる変換係数を乗じることで、ＬＦデータの撮影範囲に含まれる各被写体についての被写体距離を解析することができ、得られた被写体距離に基づき例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。

次に、特定の被写体距離に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、マイクロレンズアレイ上の対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する被写体距離から入射した光束が収束する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、デジタルカメラ１００のユーザインタフェース画面の表示や、電子ビューファインダとしての使用、あるいは撮影した画像の表示に用いられる。また表示部１１０は、画像処理部１０９により生成され出力された、任意の被写体距離に合焦した再構成画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する再構成画像が記録される。あるいは生成された画像等は、通信部１１６を介して、パーソナルコンピュータ等の外部装置（図示せず）に送信（出力）される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。例えば操作入力部１１２は、撮影モードの設定など、撮影に関わる様々な情報を制御部１０１へ出力する。またレリーズスイッチが出力する信号は、ＡＥやＡＦの動作開始トリガや、撮影の開始トリガとして利用される。制御部１０１はこれらの開始トリガを受けて、撮像部１０６、表示部１１０をはじめとする、撮像装置の各部の制御を行う。

なお、本実施形態では撮影処理によりＬＦデータを取得して再構成画像を生成する処理をおこなうものとして説明するが、生成に使用するＬＦデータは、記録媒体１１１から、あるいは通信部１１６を介して取得されるものであってもよい。

ＧＰＳ１１８は、ＧＰＳ衛星から連続的に送られてくる情報を受信し、現在地の経緯度を割り出す。電子コンパス１１９は、地磁気を検出して、撮影時にデジタルカメラ１００の向いている方向を算出する。

《制限情報付加処理》
ここで、本実施形態の特徴的な処理であるリフォーカスの制限に関する処理について説明する。上述したようなＬＦデータからは様々な被写体距離に合焦した再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。即ち、例えば通常は撮影やコピーを許可していない文書等が撮影範囲に含まれていた場合、該文書を読み取り可能な再構成画像が生成される可能性があった。また、近年では撮影により得られた画像がオンラインの画像共有サービス等に公開されることも多くなっており、ＬＦデータが任意に再構成可能な状態で公開されることも考えられる。例えば背景の建物内部等、意図せず撮影範囲に写り込んでしまった人物はＬＦデータからの再構成画像の生成条件によっては、該人物の意思に反して肖像権が侵害される可能性がある。そこで、本実施形態では、斯様な保護対象となる被写体が存在すること、該被写体が合焦されてしまうリフォーカス範囲を判定し、そのリフォーカス範囲へのリフォーカスを制限する為の情報をＬＦデータ等に付加する。また、リフォーカスのための再構成画像に限らず、視点変更やパース変更など、何らかの目的で再構成画像が生成される場合に、保護対象に合焦させない、あるいは視認しにくくするための制限情報をＬＦデータに付加する。

このような構成をもつ本実施形態のデジタルカメラ１００で実行される制限情報付加処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本制限情報付加処理は、例えばデジタルカメラ１００を用いて撮影が行われた際に開始されるものとして説明する。ステップＳ２２０１において、操作入力部１１２の操作により撮像指示が出されると、撮像処理を行い、撮像データを取得する。

Ｓ２２０２で、制御部１０１は、撮像により生成されたＬＦデータについて、被写体までの距離の情報を各々取得する距離情報取得エリア（以下、Ｄエリア）を設定する。Ｄエリアは、マイクロレンズ２０１に割り当てられた画素群（光電変換素子２０２）を単位として規定される、対象ＬＦデータを構成する画素配列における２次元の領域を示す。即ち、Ｄエリアの大きさは、ＬＦデータから生成可能な再構成画像の最小分解能に応じて規定される。例えば図２の例では、１つのマイクロレンズ２０１に割り当てられた５×５の画素が再構成画像の最小分解能にあたるため、Ｄエリアは、水平方向に５の倍数の画素、垂直方向に５の倍数の画素を有する領域として規定される。

なお、Ｄエリアは、対象ＬＦデータから生成可能な最小分解能にあたる画素群を単位として、被写体までの距離について要求する精度や、機器の演算能力、計算量、要求フレームレート等の制限に応じて適切な大きさに設定されてよい。

Ｓ２２０３で、制御部１０１は、Ｓ２２０２において設定されたＤエリアの各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には制御部１０１は、対象ＬＦデータの各Ｄエリアについて、異なる２つの分割瞳領域を通過した光束に対応する、デフォーカス量検出用の２種類の再構成画像（検出用画像）を画像処理部１０９に生成させる。本ステップで生成される検出用画像は、上述したように射出瞳３０１の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、本発明の実施はこれに限らず、検出用画像は射出瞳３０１を通過したうち、光軸が異なる２種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られるものではない。ここで、複数のマイクロレンズに対応する画素群を含めて１つのＤエリアを構成した場合は、中心のマイクロレンズに対応する画素群のみの結果で代用してもよいし、各マイクロレンズに対応する画素群について得られた距離の平均値を用いてもよい。また、このようにして得られたＤエリアごとの被写体距離情報を距離情報マップとする。

そして制御部１０１は、得られたデフォーカス量の解析結果に従って、各Ｄエリアの代表距離を算出する。なお、代表距離は、例えば各Ｄエリアの中央に位置する被写体についての距離であってもよいし、エリア内の被写体について得られた距離の平均値であってもよい。

そして本実施形態では制御部１０１は、このようにして得られたＤエリアごとの代表距離の情報を用いて、ＬＦデータの撮影範囲に対応する距離情報マップを生成する。ここでは、図７（ａ）に示す画像が撮像され、図７（ｂ）に示す距離情報マップが得られたとする。距離情報マップは、被写体距離の違いを、コントラストで表現している。

次に、ステップＳ２２０４では、図７（ａ）の画像から被写体検出を行う。具体的には、図７（ｂ）の距離情報マップから、被写体距離の急変している境界線を抽出することで、被写体を検出する。このとき、境界付近のエッジ情報や色情報等も参照して境界線を設定してもよい。被写体が検出できた場合は、図８（ａ）のように、被写体をナンバリングして記録しておく。

次に、ステップＳ４２２０５では、ステップＳ２２０４で被写体が１つ以上検出できたかどうかを判定する。１つ以上の被写体が検出できた場合は、ステップＳ２２０６へ進む。被写体が１つも検出できなかった場合は、ステップＳ２２１２へ進み、画像を保存して処理を終了する。

次に、ステップＳ２２０６では、ステップＳ２２０５で検出した各被写体までの距離と角度を算出する。具体的には、まず各被写体の代表点を決定する。ここで、代表点は、各被写体の中心付近でもいいし、各被写体の範囲の中で最も距離が近い点でもよく、限定されない。被写体の代表点までの距離に関しては、ステップＳ２２０３で被写体距離を算出しており、代表点が含まれるＤエリアの距離を参照する。各被写体の角度に関しては、図９（ａ）を参照して説明する。図９（ａ）は、デジタルカメラ１００の水平画角を表しており、光軸方向を０度とし、右側を正、左側を負の角度で表す。詳細な算出方法は後述するが、この場合、角度θは正の値を取ることになる。ここで、算出された代表点までの距離ｄと角度θは、図８（ｂ）に示す被写体の相対位置テーブルで、ナンバリングした被写体情報と関連付けて記録する。

次に、ステップＳ２２０７では、各被写体の地理的位置である経緯度を計算する。具体的には、まず、ＧＰＳ１１８から撮影場所の経緯度を取得する。ここでは、図８（ｃ）に示す経度、緯度が得られたとする。次に、デジタルカメラ１００が向いている方向を電子コンパス１１９から取得する。その結果、図９（ｂ）の角度θ’が取得される。ここで、ステップＳ２２０６において、デジタルカメラ１００の光軸方向から角度θの方角に被写体が存在することが分かっているため、デジタルカメラ１００から方位角（θ’＋θ）の方角で、距離ｄの位置に被写体が存在することが分かる。以上の情報から、被写体の経緯度は計算で求めることができる。具体的な算出方法に関しては、平面直角座標系に変換して算出するなど、様々な方法が提案されているため、ここでは既知の技術として、説明は省略する。ここで、算出された被写体の経緯度は、図８（ｄ）に示す被写体の経緯度テーブルで、ナンバリングされた被写体情報と関連付けて記録する。この経緯度情報は一時的に保存され、本フローが終わると破棄されても良いし、撮像データと共に被写体情報と関連付けてそのまま記録されても良い。

次に、ステップＳ２２０８では、通信部１１６を介してインターネット上の地図データベースに、被写体の経緯度テーブルに記録されている緯度・経度を、〈１〉から順番に送信する。なお、地図データベースとは、建物などの被写体情報とその経緯度を表す位置情報を関連付けて保持しているデータベースを表している。昨今のカーナビゲーションシステム等は、どこにどのような種類の建物が建っているかを保持しているため、地図を３Ｄ表示することも可能である。このような地図データベースを利用することで、前記経緯度に建物が存在するか判定することができる。デジタルカメラ１００は、通信部１１６を介して、地図データベースから、前記経緯度に建物が存在するかどうかを受信する。

次に、ステップＳ２２０９では、前記経緯度に建物が存在した場合は、Ｓ２２１０へ進む。建物が存在しなかった場合は、Ｓ２２１１へ進む。

ステップＳ２２１０では、制御部１０１が撮像データにリフォーカス制限情報を付加する。具体的には、図８（ａ）の〈１〉が建物であると判定された場合、図８（ａ）の〈１〉が被写界深度に含まれない設定値を算出し付加する。詳細な算出方法は後述するが、図１０（ａ）及び２６（ｂ）に示すリフォーカス制限領域とリフォーカス制限テーブルが撮像データに付加される。例えば、リフォーカス制限領域には、図８（ａ）の〈１〉の代表点の座標（ｘ、ｙ）を記録する。図１０（ｂ）のリフォーカス制限テーブルでは、絞り値毎に設定できる被写体距離を記録する。例えば、絞り値２の場合は、被写界深度が浅くなり、被写体距離が８ｍより大きくなると、〈１〉が被写界深度に含まれてしまうため、その被写体距離を超えて再構成できないように制限をかける。一方、絞り値５．６の場合は、被写界深度が深くなり、被写体距離が３．５ｍより大きくなると、〈１〉が被写界深度に含まれてしまうため、その被写体距離を超えて再構成できないように制限をかける。

次に、ステップＳ２２１１では、図８（ｄ）の被写体の経緯度テーブルで管理されている被写体が、全て建物判定されたかどうかを判断する。まだ建物判定されていない被写体があればステップＳ２２０８に戻り処理を繰り返す。すべての被写体が建物判定されている場合はステップＳ２２１２に進む。

最後に、ステップＳ２２１２において、撮像データと図１０（ａ）及び２６（ｂ）のリフォーカス制限領域とリフォーカス制限テーブルを撮像データに関連付けて記録媒体１１１に記録する。

以上で、一連のリフォーカス制限情報付加手順の説明を終了する。

次に、ステップＳ２２０６で述べた、被写体までの角度の算出方法について、図９（ａ）を参照して説明する。

デジタルカメラ１００の水平画角をψとし、撮像データ内での被写体の位置を示す代表点の画素位置の座標を（ｐ，ｑ）とする。画素位置の座標とは、生成される再構成画像の最小位置分解能にあたるマイクロレンズアレイ１０５上のマイクロレンズ２０１の位置を定義するものである。デジタルカメラ１００の水平画角ψは撮像時に決まる。ここで、撮像装置の画素配列２０の総数を（Ｐ，Ｑ）とすると、被写体の角度θは、以下の式（５）で求めることができる。
θ＝−ψ／２＋（ψ／Ｐ）・ｐ （５）

以上の結果を被写体毎にまとめたテーブルが、図８（ｂ）の被写体の相対位置テーブルとなる。

なお上記算出方法は、デジタルカメラ１００を所謂横位置に構えて撮影を行った場合の説明であり、デジタルカメラ１００を所謂縦位置に構えて撮影を行う場合は、デジタルカメラ１００の垂直画角と、座標ｑ、画素配列の総数Ｑを用いて、計算を行うことは容易に想像できる。

次に、ステップＳ２２１０で述べた、図８（ａ）の建物〈１〉を被写界深度に含まない設定値の算出方法について、詳細に説明する。

被写界深度は一般的に以下の式（６）、式（７）で算出できる。
Ｄ１＝（δ・Ｆ１・ａ２）／（ｆ２−δ・Ｆ１・ａ） （６）
Ｄ２＝（δ・Ｆ２・ａ２）／（ｆ２＋δ・Ｆ２・ａ） （７）

なお、式中の記号は「Ｄ１」は後方被写界深度、「Ｄ２」は前方被写界深度、「δ」は光学像の広がりが許される範囲を示す許容錯乱円の直径、「Ｆ１」「Ｆ２」は絞り値、「ｆ」はレンズの焦点距離、「ａ」は被写体距離を示している。

前記のように被写界深度には、前方被写界深度と後方被写界深度があることは既知であり、被写界深度から外れた被写体は合焦しないため、ボケて見える。本アイデアでは、意図せずに写り込んでしまったプライバシー情報に、合焦させないことが目的であるが、意図していない情報は、後方に写っていることが多い。そのため、後方被写界深度を浅くし、プライバシー情報に合焦させないことが自然である。よって、後方被写界深度に関して説明を行う。

後方被写界深度は式（６）で表されるが、レンズの焦点距離ｆは撮像時に決まる。また、許容錯乱円の直径δは設計者が決める値で、一般的に撮像部１０６の対角線長の１／１０００程度の値が用いられる。ここで、図８（ａ）の建物〈１〉までの距離をＡとすると、建物〈１〉が後方被写界深度に含まれないようにするためには、以下の式（８）を満たせばよい（本実施形態中では、被写体の相対位置テーブルからＡ＝２０となる）。

Ｄ１＋ａ＜Ａ （８）
以上から、式（６）と式（８）を解くことで、絞り値Ｆ１毎の、建物〈１〉を被写界深度に含まない被写体距離ａを算出することができる。この結果をまとめたものが、図１０Ａ及び２６（ｂ）のリフォーカス制限テーブルとなる。

＜再生処理＞
次に、リフォーカス制限情報を利用して、画像再生時にリフォーカス範囲を制限して再構成する手順について、図１１のフローチャートを参照して説明する。なお、ここでは、制限情報付加処理で説明した、図１０（ａ）のリフォーカス制限領域と図１０（ｂ）のリフォーカス制限テーブルが付加されている撮像データ（ＬＦデータ）を、再生する手順を例に、説明を行う。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再生処理は、例えばユーザによりＬＦデータ（対象ＬＦデータ）の閲覧指示がなされた際に開始されるものとして説明する。

まず、ステップＳ２７０１において、操作入力部１１２の操作により画像再生指示が出されると、ＬＦデータを記録媒体１１１から読み込み、ＲＡＭ１０３へ一時的に記録する。

次に、ステップＳ２７０２において、ＬＦデータと関連付けられた、ＬＦデータの被写体距離と疑似的な絞り値の初期設定値と制限情報をＲＡＭ１０３から読み込む。本実施形態では、画像再生時にユーザが制限情報を付与することも可能であり、この場合、例えば、表示された再構成画像などを用いて、ユーザから操作入力部１１２を介して被写体を指定することで設定される。すなわち、再生時に設定される制限情報があれば、ステップＳ２７０２にて取得する。ＬＦデータは、通常そのままでは表示用のデータの形態になっておらず、再構成して表示用の画像の形態にすることが必要である。ここでは所定の被写体距離に合焦する再構成画像を生成するため、被写体距離と絞り値の初期値を設定する必要がある。初期値がＲＡＭ１０３に記憶されていない場合、代表的な被写体を検出して、前記被写体が存在する位置に被写体距離を設定してもよいし、撮影時のフォーカスレンズの位置に対応する被写体距離に設定してもよいが、本実施例においては限定されない。また初期画像として記録時にＬＦデータと関連付けて既に再構成されている画像があればそちらを用いてもよい。

次に、ステップＳ２７０３において、ステップＳ２７０２で読み込んだ初期設定値が絞り情報、被写体距離の情報を含むリフォーカス制限情報に抵触するかどうかを判定する。リフォーカス制限情報に抵触しない場合は、ステップＳ２７０４へ進み、画像処理部１０９が初期設定値による再構成画像を生成し、表示部１１０に表示させる。ここで生成される再構成画像を図１２（ａ）とする。リフォーカス制限テーブルの範囲内の場合は、ステップＳ２７０５へ進む。本実施例では、図１０（ｃ）の初期設定値が、図１０（ｂ）のリフォーカス制限テーブルが定める「絞り値５．６、被写体距離３．５ｍまで」の範囲内であるため、ステップＳ２７０５へ進む。

次に、ステップＳ２７０５では、初期設定値の被写体距離と、図１０（ｂ）のリフォーカス制限テーブルの開放端の被写体距離を比較する。もし初期設定値の被写体距離の方が大きければ、疑似的な絞り値を開放端にしても、リフォーカス制限テーブルの範囲内から外れないことを意味しているため、ステップＳ２７０６へ進み、被写体距離と絞り値の調整を行う。初期設定値の被写体距離の方が小さければ、絞り値を小さくすれば、リフォーカス制限テーブルの範囲内から外れることを意味しているため、ステップＳ２７０７へ進み、疑似的な絞り値の調整を行う。例えば、図１０（ｃ）の初期設定値は、図１０（ｂ）のリフォーカス制限テーブル「絞り値２．８、被写体距離６ｍまで」と比べて、被写体距離の値が小さいため、ステップＳ２７０７へ進む。

ステップＳ２７０６では、画像処理回路７が、被写体距離と絞り値をリフォーカス制限情報の制限するリフォーカス範囲内の設定可能な被写体距離と絞り値に変更し、再構成画像の作成を行う。例えば、図１０（ｂ）のリフォーカス制限テーブルに記録されている、「絞り値２、被写体距離８ｍ」の設定にして再構成画像を作成する。

ステップＳ２７０７では、絞り値を変更し、再構成画像の作成を行う。例えば、図１０（ｃ）の初期設定値の被写体距離は、絞り値を２．８に設定すれば、リフォーカス制限テーブルの範囲内ではなくなる。そのため、「絞り値２．８、被写体距離５ｍ」にして再構成画像の作成を行う。ここでは、図１２（ｂ）に示す再構成画像が作成されたとする。なお、図１２（ｂ）において、実線は合焦している被写体、破線は合焦していない被写体を示している。

次に、ステップＳ２７０８では、画像合成処理を行う。具体的には、まず距離情報マップから図１０（ｃ）のリフォーカス制限領域（ｘ、ｙ）が含まれる被写体を検出する。そして、図１２（ｂ）の再構成画像から、前記検出した被写体の領域を抽出し、図１２（ａ）の再構成画像に合成する。以上の処理を行うことで、図１２（ｃ）に示す、リフォーカス制限領域のみを被写界深度に含まない画像を作成することができる。

そして、ステップＳ２７０９において、再構成画像を表示部１１０に表示する。

最後に、ステップＳ２７１０では、再生モード継続の有無が判断され、継続の場合は、ステップＳ２７１１においてリフォーカス指示を待ち、終了の場合は、画像再生モードの動作が終了する。

以上で、一連の再生手順の説明を終了する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、ステップＳ２２０４の被写体検出において、前述の方法に限定されず、画像の色が急変している境界を抽出することで被写体を検出してもよいし、組み合わせることで精度を高めてもよい。また、顔検出部を有し、人物の顔を認識したら、建物かどうかの検索対象から外すことで効率化するなど、様々な変形が可能であり、限定されない。

また、ステップＳ２７０６、ステップＳ２７０７の再構成画像作成処理に関しては、処理工数を減らすために、合成に使われる領域のみを再構成するなど、種々の工夫が考えられ、上記に限定されるものではない。

また、ステップＳ２２１０において、リフォーカス制限情報を付加した際に、警告を発し、ユーザに知らせるといった機能も考えられ、様々な変形が可能である。

また、実施例では建物について説明したが、建物に限定されず、インターネット上に文字や人物の顔を含む合焦禁止物データベース等を作り、そこに登録されている物にはリフォーカス制限情報を付加するといった実施系も考えられ、様々な変形が可能である。

また、実施例では、プライバシー情報が被写界深度に含まれないようにリフォーカス制限情報を付加したが、被写界深度に含まれないようにするだけでは、視認でき、読み取れられる可能性もある。そこで、式（８）を修正して、被写界深度の２倍の範囲に含まれないようにすることで画像からプライバシー情報である被写体を視認しにくくするなどの工夫も考えられる。すなわち、制限情報は対象となる被写体を生成条件にかかわらず視認しにくくするための情報として撮像データに関連付けられ、リフォーカスを初めとする再構成を制限する。さらに、建物によって、被写界深度の何倍の範囲に含まれないようにするかを可変にすることも考えられ、様々な変形が可能である。

また、ＧＰＳ１１８の情報から、被写体の種類に応じてリフォーカス制限情報を付加しない判断を行ってもよい。例えば、建物内部で撮影されていたり、観光名所、ランドマーク等で撮影されていたりすると判断したら、リフォーカス制限情報は付加しなくてもよい。

また、主要被写体以外の範囲にリフォーカス制限情報を付加することで、主要被写体のみを目立たせることができるということは容易に想像でき、その要旨の範囲内で種々の変形及び変更が可能である。

［実施形態２］
本発明の実施形態２について説明する。

本発明の実施形態２では、リフォーカス制限情報が付加されていない撮像データに対して、画像再生時にリフォーカス制限範囲を算出して画像表示を行う手順について、図１５を参照して説明する。

まず、ステップＳ２９０１において、記録媒体１１１に記録されている撮像データを読み込む。ここで、通信部１１６を用いて、ライトフィールド画像を外部デバイスから取得してもよく、限定されない。なお、撮像データには、撮影場所と撮影方向の情報が関連付けて記録されているものとする。

次に、ステップＳ２９０２〜ステップＳ２９０３までは、実施形態１のステップＳ２７０２〜ステップＳ２７０３と同様の処理のため説明を省略する。

次に、ステップＳ２９０４〜ステップＳ２９０６までの、距離情報マップを作成して被写体検出を行う処理は、実施形態１のステップＳ２２０２〜ステップＳ２２０４と同様なため説明を省略する。

次に、ステップＳ２９０７において、ステップＳ２９０６で被写体が１つ以上検出できたかどうかを判定する。１つ以上の被写体が検出できた場合は、ステップＳ２９０８へ進む。被写体が１つも検出できなかった場合は、ステップＳ２９１８へ進み、再構成画像を表示部１１０に表示する。

次に、ステップＳ２９０８〜ステップＳ２９１０までは、実施形態１のステップＳ２２０６〜ステップＳ２２０８と同様の処理のため説明を省略する。なお、第２の実施形態では、ステップＳ２９１０において、検出できたすべての被写体の建物判定を行っている。

次に、ステップＳ２９１１において、撮像画像中に建物が１つ以上存在していた場合は、ステップＳ２９１２に進む。建物が存在していなかった場合は、ステップＳ２９１８に進み、再構成画像を表示部１１０に表示する。

次に、ステップＳ２９１２において、前記建物が１つ以上被写界深度に含まれるかどうかを判定する。前記建物が被写界深度に含まれている場合は、ステップＳ２９１３へ進み、被写界深度に含まれていない場合は、ステップＳ２９１８で再構成画像を表示部１１０に表示する。被写界深度の算出方法は、実施形態１で説明しているため省略する。

次に、ステップＳ２９１３において、疑似的な絞り値を開放端に設定する。ここで、絞り値の開放端は撮像装置毎に決まっているため、設定できうる開放端の絞り値に変更する。

次に、ステップＳ２９１４において、疑似的な絞り値開放端の設定値で被写界深度を計算し、前記建物が１つ以上被写界深度に含まれるかどうかを判定する。前記建物が被写界深度に含まれる場合、ステップＳ２９１５に進み、被写界深度に含まれない場合は、ステップＳ２９１６に進む。

ステップＳ２９１５では、絞り値開放端の設定で、再構成画像の作成を行う。

ステップＳ２９１６では、絞り値開放端の設定で、被写体距離を変更して、再構成画像の作成を行う。例えば、図１０（ｃ）を初期設定値とすると、絞り値は開放端の設定に変更し、被写体距離も４ｍに変更し、被写界深度を計算する。まだ、建物が被写界深度に含まれている場合は、被写体距離を３ｍに変更し、被写界深度を計算するなど、建物が被写界深度に含まれなくなるまで、被写体距離を変更する。そして、算出された設定値を使って、再構成画像を作成する。

次に、ステップＳ２９１７では、画像合成処理を行う。画像合成処理に関しては、第１の実施形態のステップＳ２７０８と同様の処理なため、説明は省略する。

そして、ステップＳ２９１８において、再構成画像を表示部１１０に表示する。

最後に、ステップＳ２９１９では、再生モード継続の有無が判断され、継続の場合は、ステップＳ２９２０においてリフォーカス指示を待ち、終了の場合は、画像再生モードの動作が終了する。リフォーカス指示がなされた場合は、ステップＳ２９２１において、指示された設定値で再構成画像を作成し、ステップＳ２９１２に進み、処理を繰り返す。

以上で、画像再生時にリフォーカス制限範囲を算出して画像表示を行う手順の説明を終了する。

［変形例］
上述した実施形態では、図３に示した撮像光学系１０４、マイクロレンズアレイ１０５、及び撮像部１０６の構成により取得されたＬＦデータを対象としたが、本発明は図１３に示すような構成により得られたＬＦデータが使用されてもよい。図１３の構成は、文献「Todor Georgiev and Andrew Lumsdaine, "Superresolution with Plenoptic 2.0 Camera", Signal Recovery and Synthesis, Optical Society of America, 2009"に記載されるプレノプティックカメラに対応する。図１３の構成では、撮像光学系１０４の焦点がマイクロレンズアレイ１０５の面上ではなく、より撮像光学系１０４の射出瞳に近い位置に設けられている点が異なる。

また、上述した実施形態では１つの撮像光学系１０４を通過した光束を、各マイクロレンズ２０１により分割し、分割瞳領域の各々に対応する画素出力を得るものとして説明した。しかしながら、本発明の実施は図１４に示されるように複数の光学系を有する、所謂多眼カメラにより得られた複数の撮像データを本実施形態におけるＬＦデータと同等に取り扱うことにより実現されてもよい。つまり、複数の光学系の各々により光学像結像される複数の撮像素子の出力が、異なる分割瞳領域を通過した光束に対応する画像、即ち異なる方向から被写体を撮影した画像となるため、多眼カメラの出力は本実施形態におけるＬＦデータと等価である。なお、このような多眼カメラから再構成画像を生成する方法については、特開２０１１−０２２７９６号公報等に記載されている方法を用いればよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：撮像光学系、１０５：マイクロレンズアレイ、１０６：撮像部、１０７：ＡＦＥ、１０８：ＤＦＥ、１０９：画像処理部、１１０：表示部、１１１：記録媒体、１１２：操作入力部、１１６：通信部、１１８：ＧＰＳ、１１９：電子コンパス、２０１：マイクロレンズ、２０２：光電変換素子、３０１：射出瞳

Claims (17)

1. ライトフィールドデータを取得するデータ取得手段と、
   被写体を選択する選択手段と、
   前記選択手段により選択された被写体に合焦させないための制限情報であり、前記ライトフィールドデータの再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を出力する出力手段と、を有し、
   前記選択手段は、前記ライトフィールドデータを撮影した撮像装置の地理的位置を特定し、外部装置から受信される地理的位置の位置情報に関連付けられた情報に基づいて、被写体を選択する
   ことを特徴とする画像処理装置。
2. 前記出力手段により出力された前記制限情報を前記ライトフィールドデータに関連付けて記録する記録手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記ライトフィールドデータを再構成して再構成画像を生成する再構成手段と、
   前記制限情報に基づいて前記特定の被写体に合焦した再構成画像を生成させないように、前記再構成手段を制御する制御手段と、
   をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記制限情報に基づいて前記選択手段により選択された被写体に合焦する被写体距離あるいは該被写体が被写界深度に含まれる生成条件が設定されないように前記再構成手段を制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、生成される再構成画像の各領域のうち、合焦した再構成画像の生成が制限される被写体に対応する領域については前記制限情報に基づいて再構成画像を生成し、それ以外の領域については任意の被写体距離の再構成画像を生成するように前記再構成手段を制御することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記出力手段は、再構成画像の被写体距離及び絞り値に応じて決定される被写界深度の情報に基づき、前記制限情報を決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記選択手段は、前記ライトフィールドデータを撮影した撮像装置の位置、方向、及び被写体との距離の情報に基づいて、被写体を選択することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記制限情報は、生成される再構成画像における前記選択手段により選択された被写体の位置、該再構成画像の絞り状態、及び該再構成画像において合焦する被写体距離の少なくともいずれかを含む情報であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記位置情報に関連付けられた情報は、建物、ランドマーク、観光名所の少なくともいずれかであることを示す情報を含む、被写体の種類を特定する情報であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記位置情報に関連付けられた情報は、合焦を禁止する被写体であるか否かを示す情報を含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記出力手段は、前記選択手段により選択された被写体毎に、前記制限情報を異ならせて構成することが可能であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記ライトフィールドデータは、画素信号の各々が、前記ライトフィールドデータを撮像した際の撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記ライトフィールドデータは、被写体の３次元空間を記述する光線空間情報であり、データを再構成することにより、任意の被写体距離に合焦する再構成画像を生成可能であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記再構成画像の生成は、被写体距離に対応する再構成面上において、前記再構成画像の各画素位置に対応するデータを合成することにより行われることを特徴とする請求項１３に記載の画像処理装置。
15. ライトフィールドデータを取得するデータ取得工程と、
    被写体を選択する選択工程と、
    前記選択工程において選択された被写体に合焦させないための制限情報であり、前記ライトフィールドデータの再構成にあたり、合焦可能な深度方向の範囲を制限する制限情報を出力する出力工程と、を有し、
    前記選択工程において、前記ライトフィールドデータを撮影した撮像装置の地理的位置を特定され、外部装置から受信される地理的位置の位置情報に関連付けられた情報に基づいて、被写体が選択される
    ことを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。