JP6162971B2

JP6162971B2 - 画像処理装置、画像処理方法、撮像装置及びその制御方法

Info

Publication number: JP6162971B2
Application number: JP2013021800A
Authority: JP
Inventors: 桂一齊藤; 直隆村上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-02-06
Filing date: 2013-02-06
Publication date: 2017-07-12
Anticipated expiration: 2033-02-06
Also published as: JP2014154981A

Description

本発明は、リフォーカス可能な画像データからリフォーカス可能範囲の判定と表示を行う撮像装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に取得される。このように取得された画素信号（光線情報）に対して、通常の撮影画像を生成するほかに、「ＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。

ユーザーがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認すると所望の被写体にピントが合っていなかった場合が考えられる。従来のカメラであれば所望の被写体にピントが合っていない場合は撮り直す必要があったが、ライトフィールドカメラで撮影した画像信号を用いてリフォーカス面を再構成することで撮り直すことなく所望の被写体にピントが合った画像が得られる。

また特許文献１に記載の技術は、ライトフィールドカメラではないが、複数のピント位置で撮影した複数の画像を合成することで任意のリフォーカス面にピントを合わせた画像を生成することが可能である。

特開２０１０−２６８０５２号公報

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、従来のライトフィールドカメラでは撮影前にリフォーカス可能な画像データからリフォーカスできる範囲をユーザーが確認することができないという問題がある。そしてリフォーカス可能範囲にない被写体はリフォーカス可能な画像データからその被写体にフォーカスを合わせたリフォーカス画像を生成することができない。そのためユーザーが撮影後に所望の被写体にフォーカスを合わせようしても、撮影時においてリフォーカス範囲にその被写体を収めずに撮影してしまったために、リフォーカスできない可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減することである。

本発明に係わる画像処理装置は、撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、を備えることを特徴とする。
また、本発明に係わる撮像装置は、１つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段と、前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段と、前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理手段と、を備えることを特徴とする。

本発明によれば、撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。第１の実施形態に係る撮像装置の動作を示すフローチャート。リフォーカス画像とその距離情報を示す図。最大リフォーカス量を説明する図。リフォーカス可能範囲と被写体の距離情報を説明する図。表示画像生成のフローチャート。リフォーカス判定情報から表示画像を生成するための画像処理領域を示す図。ユーザー指定モードの表示画像生成を示す図。表示画像の表示動作のフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は本発明の一実施形態に係わる撮像装置の構成を示すブロック図である。図１において、１００は撮像装置、１０１は撮像部、１０２はリフォーカス画像生成部である。

１０３は距離取得部、１０４はリフォーカス可能範囲算出部、１０５はリフォーカス判定部、１０６は画像処理部、１０７は表示部、１０８は操作部、１０９は人物検出部である。

撮像部１０１は光学系と撮像素子とピントの位置や絞りを制御する制御系で構成され、リフォーカス可能な画像データを生成して出力する。また撮像部１０１はリフォーカス可能な画像データ取得時の光学系の特性情報（フォーカス位置や撮像素子の仕様など）を出力する。

リフォーカス画像生成部１０２は撮像部１０１が出力するリフォーカス可能な画像データと光学系の特性情報から光学系の目的とする焦点位置にフォーカスを合わせたリフォーカス画像を生成する。

距離取得部１０３はリフォーカス可能な画像データを複数の領域に分け、それぞれの領域で撮像装置１００からその領域内の被写体までの距離情報を出力する。リフォーカス可能範囲算出部１０４は撮像部１０１が出力する特性情報を元にリフォーカス画像が生成可能な画像データ取得時のリフォーカス可能範囲情報を出力する（リフォーカス範囲算出）。リフォーカス判定部１０５は距離情報とリフォーカス範囲情報からリフォーカス判定情報を出力する。

操作部１０８はユーザーからの指示を撮像装置１００に入力するためのボタン、タッチパネル、モードダイヤルなどで構成される。人物検出部１０９はリフォーカス画像内から人物が存在する領域を検出して人物検出情報を出力する。

画像処理部１０６はリフォーカス判定情報からリフォーカス画像に画像処理を行い、表示画像を生成して出力する。オプションとして指示情報や人物検出情報に基づいて画像処理の方法を変更して表示画像を生成して出力することもできる。表示部１０７は液晶画面などで構成され、画像処理部１０６が出力する表示画像を出力する。

次に本実施形態の撮像装置の動作について図２のフローチャートを用いて説明する。Ｓ２００〜Ｓ２０４について図３を参照しながら説明する。図３はリフォーカス画像データとその距離情報を示す図である。図３（ａ）はリフォーカス画像と被写体を示す図、図３（ｂ）は距離マップを示す図である。３００はリフォーカス画像、３０１は被写体ａ、３０２は被写体ｂ、３０３は被写体ｃである。

３０４は距離情報マップ、３０５は被写体ａの距離情報、３０６は被写体ｂの距離情報、３０７は被写体ｃの距離情報、３０８は距離マップを構成する領域である。

Ｓ２００では撮像部１０１がリフォーカス可能な画像データを取得して出力する。リフォーカス可能な画像データを取得するための、光学系、撮像素子、制御系の詳細については非特許文献１に記載されているのでここでは説明を省略する。

Ｓ２０１ではリフォーカス画像生成部１０２がリフォーカス可能な画像データと光学系の特性情報から光学系の焦点位置のリフォーカス画像３００を生成して出力する。リフォーカス画像の生成についても非特許文献１に記載されているのでここでは説明を省略する。

Ｓ２０２では距離取得部１０３がリフォーカス可能な画像データを複数の距離マップを構成する領域３０８に分ける。距離マップを構成する領域３０８は後述する図４の一つのマイクロレンズ９００を通過して撮像された画素の集合毎に設定すると良いが、複数のマイクロレンズ９００を通過して撮像された画素の集合体としても良い。

Ｓ２０３では距離取得部１０３が距離マップを構成する領域３０８毎に被写体までの距離を算出して距離マップを作成する。距離の算出方法はリフォーカス可能な画像データから視差のある画像を作成して、距離マップを構成する領域３０８毎に位相差を利用して求めても良い。ここでは特に限定しない。

本実施形態では、説明を分かりやすくするために、撮像装置１００から各被写体までの距離を近距離、中距離、遠距離とグルーピングしているが、特にグルーピングするための距離や個数は限定しない。

Ｓ２０４では距離取得部１０３が距離マップを距離情報として出力する。Ｓ２０５で、リフォーカス可能範囲算出部１０４は撮像部１０１が出力する特性情報からリフォーカス可能範囲を算出して出力する。リフォーカス可能範囲の算出はフォーカスされている距離に最大リフォーカス量を加えることで算出できる。

最大リフォーカス量の算出について図４を用いて説明する。図４は最大リフォーカス量を説明する図である。９００はマイクロレンズ、９０１は撮像素子である。マイクロレンズ９００を通して撮像素子９０１に光が入射される様子を示している。

図９に示すように角度分解能Δθ、角度分割数Ｎθ、画素ピッチΔｘとすると、最大リフォーカス量ｄｍａｘは、次の式（１）で計算される。

ｄｍａｘ＝Ｎθ ・Δｘ／ｔａｎ（Δθ） …（１）
つまりリフォーカス可能な画像データを撮影した時のフォーカスした距離を中心とし光軸に沿って前後にそれぞれ距離ｄｍａｘの範囲内に存在する被写体はリフォーカスが可能である。

Ｓ２０６ではリフォーカス判定部１０５が距離情報とリフォーカス範囲情報からリフォーカス判定情報を作成して出力する。

リフォーカス判定情報の作成方法について図３、図５を用いて説明する。図５はリフォーカス可能範囲と被写体の距離情報を説明する図である。６００はリフォーカス可能範囲、６０１は被写体ａ３０１とリフォーカス可能範囲の境界までの距離ｄａ、６０２は被写体ｂ３０２とリフォーカス可能範囲の境界までの距離ｄｂ、６０３は被写体ｃ３０３とリフォーカス可能範囲の境界までの距離ｄｃである。

本来は距離マップを構成する領域３０８の全てについて判定を行うが、説明を分かりやすくするため被写体ａ３０1と被写体ｂ３０２と被写体ｃ３０３に絞って説明を行う。リフォーカス判定情報は距離マップを構成する領域３０８がリフォーカス可能範囲に存在する場合は１、存在しない場合（リフォーカス可能範囲外）は０のフラグ情報である。オプションとしてリフォーカス可能範囲の境界からの差分距離（距離の程度）を付加させても良い。本実施形態では、リフォーカス判定情報がフラグ情報のみかフラグ情報と差分距離の２つの場合について説明する。

被写体ａの距離情報３０５にある距離マップを構成する領域３０８はリフォーカス可能範囲６００に存在しないのでフラグ情報は０、差分距離も付け加える設定ならば差分距離ｄａ６０１を判定情報に加える。

被写体ｂの距離情報３０６にある距離マップを構成する領域３０８はリフォーカス可能範囲６００に存在するのでフラグ情報は１、差分距離も付け加える設定ならば差分距離ｄｂ６０２を判定情報に加える。差分距離はリフォーカス可能範囲の２つの境界の近い方を選択しているが逆でも良い。

被写体ｃの距離情報３０７にある距離マップを構成する領域３０８はリフォーカス可能範囲６００に存在しないのでフラグ情報は０、差分距離も付け加える設定ならば差分距離ｄｃ６０３を判定情報に加える。

Ｓ２０７では画像処理部１０６が表示画像を生成する。表示画像の生成方法については図６の表示画像生成のフローチャートを用いて説明する。

Ｓ４００では、撮像装置の動作モードがポートレイトモードであるか確認する。モードの選択は操作部１０８から行う。ポートレイトモードはＳ４０５で説明を行う。ポートレイトモードである際はＳ４０５に進み、ポートレイトモードでない際はＳ４０１に進む。

Ｓ４０１ではユーザー指定モードであるか確認する。ユーザー指定モードについてはＳ４０３で説明する。ユーザー指定モードである時はＳ４０３に進み、ユーザー指定モードでない時はＳ４０２に進む。

Ｓ４０２では画像処理部１０６がリフォーカス判定情報から表示画像を生成する。表示画像の生成について図７を用いて説明する。図７はリフォーカス判定情報から表示画像を生成するための画像処理領域を示す図である。

５００は被写体ａの距離情報３０５に施す画像処理領域、５０１は被写体ｂの距離情報３０６に施す画像処理領域、５０２は被写体ｃの距離情報３０７に施す画像処理領域である。それぞれを被写体ａ画像処理領域５００、被写体ｂ画像処理領域５０１、被写体ｃ画像処理領域５０２と呼ぶ。

画像処理について説明する。リフォーカス判定情報がフラグ情報のみの場合はフラグ情報が１の箇所と０の箇所で処理を分ける。フラグ情報が１の箇所は被写体ｂ画像処理領域５０１、フラグ情報が０の箇所は被写体ａ画像処理領域５００と被写体ｃ画像処理領域５０２になる。

フラグ情報が１の箇所のみある色で塗りつぶしたり、透過性がある色で塗りつぶしたりする。またはフラグ情報が０の箇所のみ白黒にしても良い（第１の画像処理）。または目視でフラグ情報が１の箇所と０の箇所が分かるように少なくてもどちらかにぼかし等の画像処理を入れても良い。上記の画像処理はフラグ情報の０と１の箇所で画像処理を逆にしても良い。

リフォーカス判定情報にフラグ情報だけではなく差分距離がある場合は、差分距離に応じて画像処理の強弱をつけても良い。例えば被写体ａ画像処理領域５００と被写体ｃ画像処理領域５０２では差分距離が違う。そのため、フラグ情報が０の箇所に色をつける場合、差分距離ｄａ６０１は差分距離ｄｃ６０３よりも値が小さいので、色の濃さや明るさを被写体ｃ画像処理領域５０２よりも小さくしても良い。差分距離に応じて画像処理を変えていれば、具体的な内容については限定しない。

Ｓ４０３はユーザーが操作部１０８で指定する領域を出力する。ここでユーザー指定モードについて図８を用いて説明をする。図８はユーザー指定モードの表示画像生成を示す図である。図８（ａ）はリフォーカス画像３００と選択領域７００を示す。図８（ｂ）はリフォーカス画像３００に選択された領域を示した図である。７０１は選択された領域である。図８（ｃ）は選択された領域の判定情報から表示画像を生成した一例である。７０２はコメントである。

ユーザー指定モードはユーザーが画面内の被写体を操作部１０８で選択して、選択した被写体がリフォーカス可能かどうか確認できる表示画像を生成するモードである。ユーザーが操作部１０８を用いてリフォーカス可能か確認したい被写体が含まれる選択領域７００を選択する。ここでは、例えばユーザーが被写体ａ３０１を選択したとして説明する。

Ｓ４０４では選択された領域７０１と同じ位置のリフォーカス判定情報を元に、選択された領域７０１がリフォーカス可能かどうかが分かるように表示画像を生成する。リフォーカス判定情報からの表示画像の生成はＳ４０２と同じ方法で良いが、画像処理を行う領域は選択された領域７０１のみとする（第２の画像処理）。更にはリフォーカス判定情報からリフォーカス画像３００内にコメント７０２を任意の位置に合成して表示画像を生成しても良い。その際コメント７０２には判定情報に差分距離があれば、差分距離を文字に埋め込んだりしてユーザーにリフォーカス範囲までの距離を表示しても良い（第４の画像処理）。

Ｓ４０５では人物検出部１０９がリフォーカス画像３００から人物が存在する領域を検出して人物検出情報を出力する。Ｓ４０６ではリフォーカス判定情報から人物検出情報の領域の表示画像をその領域がリフォーカス可能かどうかが分かるように生成する。リフォーカス判定情報からの表示画像の生成はＳ４０２と同じで良いが、画像処理を行う領域を人物検出領域のみとする。

Ｓ４０７では人物検出領域以外の領域の表示画像を生成する。人物検出領域以外の領域は画像処理で明るさを一律で下げたり、白黒にしたりする（第３の画像処理）。もし撮像装置１００に操作部１０８と人物検出部１０９が無い構成であればＳ４００，Ｓ４０１を飛ばしてＳ４０２から始める。また撮像装置１００に人物検出部１０９が無い構成であればＳ４００を飛ばしてＳ４０１から始める。

Ｓ２０８では表示部１０７が表示画像を表示する。表示方法については図９を用いて説明する。図９は表示画像の表示動作のフローチャートである。

Ｓ８００では画像処理部１０６が操作部１０８の表示ボタンが押された時に表示する設定であるか確認する。表示する設定であればＳ８０２に進む。表示する設定でなければＳ８０１へ進む。

Ｓ８０１では画像処理部１０６は生成した表示画像を表示部１０７に出力する。表示部１０７は入力された表示画像を次の入力があるまで表示する。画像処理部１０６は所定の時間がたったらリフォーカス画像３００に画像処理をすることなく表示画像として出力してもよい。

Ｓ８０２では表示ボタンが押下されたか確認する。押下された場合はＳ８０１へ進み、押下されない場合はＳ８０３へ進む。ここでは所定の時間入力を待っても良い。

Ｓ８０３では画像処理部１０６はリフォーカス画像３００に画像処理を施すことなく、リフォーカス画像を表示画像として出力する。表示部１０７は入力された表示画像を次の入力があるまで表示する。

Ｓ２０９では撮影がされたか確認をする。撮影されていいない場合はＳ２００へ戻る。撮影された場合はフローチャートを終了する。

以上のように、ユーザーが撮影前にリフォーカス可能な画像データのリフォーカス可能範囲を表示部１０７で確認することができる。また特定の被写体や人物のみといった限定した被写体のみのリフォーカス可能範囲を表示部１０７で表示することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

Claims

撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、
を備えることを特徴とする画像処理装置。
前記特性情報とは、前記リフォーカス可能な画像データの撮像された撮像光学系のフォーカス位置、あるいは撮像素子の仕様に関する情報であることを特徴とする請求項１に記載の画像処理装置。
前記画像処理手段は、前記画像処理によってリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能にすることを特徴とする請求項１または２に記載の画像処理装置。
前記画像処理とは、リフォーカスにより合焦した画像が得られる領域、あるいはそれ以外の領域のいずれかの色を変更する処理であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記リフォーカス可能な画像データの画像の領域を指定するユーザーからの指示を受け付ける操作手段をさらに備え、
前記画像処理手段は、前記指示に基づいて、前記指定された領域がリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られるか否かを区別可能な表示画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記リフォーカス可能な画像データに対応する画像から特定の被写体を検出する被写体検出手段をさらに備え、
前記画像処理手段は、前記被写体検出手段により特定の被写体が検出された領域がリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られるか否かを区別可能な表示画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記画像処理手段は、前記リフォーカス可能な画像データの複数の領域ごとに該領域の奥行き方向の距離が前記リフォーカス可能な距離範囲内か前記リフォーカス可能な距離範囲外かを示す情報、および前記リフォーカス可能な距離範囲外の場合は範囲外の程度を示す情報を含み、前記画像処理手段は、前記範囲外の程度の情報に基づいて画像処理を変えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記画像処理手段は、リフォーカス可能な距離範囲外に位置する被写体の、リフォーカス可能な距離範囲内から外れた距離の大きさが認識可能となるように前記表示画像を生成することを特徴とする請求項４に記載の画像処理装置。
前記画像処理手段は、前記リフォーカス可能な画像データの各領域の前記距離情報と、前記リフォーカス可能な距離範囲の情報とを比較することで、各領域に合焦した画像が得られるか否かを判定し、該判定結果を反映させた表示画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
前記撮像手段と、
を備えることを特徴とする撮像装置。
前記撮像手段は、複数のマイクロレンズを有し且つ１つのマイクロレンズに対して複数の画素が配置された撮像素子を有することを特徴とする請求項１１に記載の撮像装置。
１つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段と、
前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段と、
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理手段と、
を備えることを特徴とする撮像装置。
撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得工程と、
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得工程と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出工程と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理工程と、
を備えることを特徴とする画像処理方法。
１つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段を有する撮像装置を制御する制御方法であって、
前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得工程と、
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成工程と、
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得工程と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出工程と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理工程と、
を有することを特徴とする撮像装置の制御方法。
撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、
前記リフォーカス可能な画像データ内の複数の被写体の奥行き方向の位置を示す位置情報を取得する情報取得手段と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な奥行き方向の範囲の情報を算出するリフォーカス範囲算出手段と、
前記位置情報と前記リフォーカス可能な奥行き方向の範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、
を備えることを特徴とする画像処理装置。
前記特性情報とは、前記リフォーカス可能な画像データの撮像された撮像光学系のフォーカス位置、あるいは撮像素子の仕様に関する情報であることを特徴とする請求項１６に記載の画像処理装置。
前記画像処理手段は、前記画像処理によってリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能にすることを特徴とする請求項１６または１７に記載の画像処理装置。
前記画像処理とは、リフォーカスにより合焦した画像が得られる領域、あるいはそれ以外の領域のいずれかの色を変更する処理であることを特徴とする請求項１６乃至１８のいずれか１項に記載の画像処理装置。
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段をさらに備えることを特徴とする請求項１６乃至１９のいずれか１項に記載の画像処理装置。
前記撮像手段は、１つのマイクロレンズに対して複数の画素が配置された撮像素子を有することを特徴とする請求項１６乃至２０のいずれか１項に記載の画像処理装置。
撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得工程と、
前記リフォーカス可能な画像データ内の複数の被写体の奥行き方向の位置を示す位置情報を取得する情報取得工程と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な奥行き方向の範囲の情報を算出するリフォーカス範囲算出工程と、
前記位置情報と前記リフォーカス可能な奥行き方向の範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理工程と、
を有することを特徴とする画像処理方法。