JP6611531B2 - 画像処理装置、画像処理装置の制御方法、およびプログラム - Google Patents

Description

本発明は、プレノプティック方式の撮像装置における合焦領域の表示制御に関する。

近年、撮像光学系に新たな光学素子を追加し、複数視点からの画像を取得し、取得した画像に対して画像処理を施すことにより、撮像後にピント位置を調節するライトフィールドフォトグラフィ（非特許文献１）という技術が発展している。

ライトフィールドフォトグラフィは、リフォーカスと呼ばれる機能を備える。ライトフィールドフォトグラフィは、リフォーカスによる撮像後のピント調整が可能なので、撮像時のピント調整の失敗を、撮像後の画像処理で補うことができる利点がある。さらに、１枚の撮像画像から、撮像装置が捕捉したさまざまな被写体にピントを合わせた画像を撮像後に取得することができるため、撮像回数を減らす事ができるという利点もある。

ライトフィールドフォトグラフィで用いられる撮像装置として、メインレンズの後ろにマイクロレンズアレイを配置したプレノプティックカメラ(Plenoptic Camera)が知られている。プレノプティックカメラでは、通常の撮像装置において撮像素子（センサ）が配置される位置に、マイクロレンズアレイが配置される。このような光学素子の配置により、メインレンズの右部を通過してきた光は撮像素子の左側に、メインレンズの左部を通過してきた光は撮像素子の右側に当たることになる。すなわち、通常の撮像装置ではメインレンズを通過してきた光は撮像素子に１点で集光されるが、プレノプティックカメラではメインレンズを通過してきた光を、マイクロレンズで右側からの光と左側からの光とに分離する。その結果、上記のプレノプティックカメラは、被写体を左側から見た画像と、被写体を右側から見た画像のように、多視点画像を取得することができる。

ところで、プレノプティックカメラのような、リフォーカス機能を備えるライトフィールドフォトグラフィにおいても、撮像時に被写体にピントを合わせることは依然として重要である。これは、リフォーカスが、複数視点で撮像された複数画像における画素値を積算して行われることに起因する。撮像レンズの被写界深度外の被写体はボケて撮像されるので、ボケて撮像された画像の画素値を積算しても、リフォーカスした画像を撮像後に取得することが困難になるためである。

プレノプティックカメラにおけるピント確認方法が、特許文献１に開示されている。特許文献１の手法によれば、プレノプティック方式の撮像装置によって撮像された複数の画像から、１つの画像が選択される。選択された画像はカメラ背面液晶などに表示され、ユーザは目視によりピントが合った被写体を確認することができる。

特開２０１２−１４２９１８号公報

Ren.Ng、他７名，"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02

プレノプティック方式の撮像装置に限らず、撮像装置におけるピント位置の確認は、図１に示されるようにファインダー中央部に表示される焦点検出枠を目視することにより行われるものがある。例えば、図１に示されるファインダー表示画像において、ユーザは、太枠などで強調表示されている焦点検出枠を目視することにより、被写体のピント位置を確認することができる。

しかしながら、焦点検出枠の合焦状態を確認しても、焦点検出枠群でカバーされない領域の合焦状態は、直感的に分かり難いという課題がある。例えば、図１のファインダー表示画像の例では、人物の顔位置に対応する焦点検出枠が強調表示されているため、「顔にピントが合っているならばだいたい人物にピントが合っているだろう」などの解釈を行う必要があり、ユーザの負担となっていた。

また、焦点検出枠群をファインダー表示画像全体に拡張し、合焦状態にある被写体と重畳する焦点検出枠を強調表示することにより、ユーザに被写体のピント位置を提示する方法も考えられる。

しかしながら、撮像画像のコントラスト情報を解析し、コントラストが高い被写体の領域に対応する焦点検出枠を強調表示する撮像装置では、コントラストを解析する対象となる画像領域が拡大されてしまい、合焦状態の被写体検出の精度が低下してしまう。

本発明に係る画像処理装置は、視点の異なる多視点画像を取得可能な撮像手段から得られた画像を表示手段に表示する画像処理装置であって、前記多視点画像に基づいて、画素ごとに視差量を示す視差マップを導出する導出手段と、前記導出された視差マップに基づいて、前記前多視点画像において合焦している被写体の領域を合焦領域として、前記合焦領域と当該合焦領域以外の領域とが区別可能な表示画像を生成し、前記表示手段に前記表示画像を表示させる表示制御手段と、を有する。

本発明の撮像装置によれば、被写体の合焦領域を直感的に分かりやすく確認することができる。

従来技術におけるファインダー表示画像の一例を示す図である。 実施形態における撮像装置の構成の一例を示す図である。 実施形態における撮像光学系の構成の一例を示す図である。 実施形態における光線分離の一例を示す図である。 実施形態における画像処理部の機能ブロックの一例を示す図である。 実施形態における表示画像生成処理フローの一例を示す図である。 実施形態における多視点の画像の一例を示す図である。 実施形態における画像の組み合わせを定義した情報の概念図である。 実施形態における視差マップの一例を示す図である。 実施形態における領域画像の一例を示す図である。 実施形態における境界線画像の一例を示す図である。 実施形態における表示画像の一例を示す図である。 実施形態における表示画像の一例を示す図である。 別実施形態における表示画像の一例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

図２は、本実施形態に係るプレノプティック方式の撮像装置（カメラ）１の主要な構成要素を示す図である。

撮像部１０１は、ズームレンズ、マイクロレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ＩＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤといったセンサなどから構成され、被写体の光量を検知する。撮像部１０１では視点の異なる多視点画像を得ることができるが、詳細は後述する。なお、光学ローパスフィルタはカラーフィルタを採用する撮像系において偽色の原因である高周波パターンを低減するために配設されており、偽色の原因となる周波数付近の入力パターンの振幅を低減する。

Ａ／Ｄ変換部１０２は、検知された被写体の光量をデジタル値に変換する。

画像処理部１０３は、変換されたデジタル値に対し各種の画像処理を行って、デジタル画像を生成する。画像処理部１０３の詳細については後述する。

Ｄ／Ａ変換部１０４は、生成されたデジタル画像に対しアナログ変換を行う。

エンコーダ部１０５は、生成されたデジタル画像をｊｐｅｇやｍｐｅｇなどのファイルフォーマットに変換する。

メディアＩ／Ｆ１０６は、ＰＣその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。

ＣＰＵ１０７は、各部を統括的に制御するプロセッサである。なお、本実施形態のＣＰＵ１０７は、画像処理部１０３から出力される表示画像を、表示部１１３に表示させる表示制御手段として機能する。また、本実施形態のＣＰＵ１０７は、画像処理部１０３から出力され、表示手段１１３において表示される画像、および当該画像の生成に用いられる各種データを、記録メディアに記録させる記録手段として機能する。

ＲＯＭ１０８は、ＣＰＵ１０７で実行される制御プラグラム等を格納している。

ＲＡＭ１０９は、ＣＰＵ１０７の主メモリ、ワーク領域等として機能する。

撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、ＣＰＵ１０７からの指示に基づいた撮像系の制御を行う。

操作部１１１は、ボタンやモードダイヤルなどが該当し、これらを介してユーザ指示が入力される。

キャラクタジェネレーション部１１２は、文字やグラフィックなどを生成する。

表示部１１３は、キャラクタジェネレーション部１１２やＤ／Ａ変換部１０４から受信した撮像画像や文字の表示を行う。表示部１１３には一般的に液晶ディスプレイが広く用いられる。また、表示部１１３は、タッチスクリーン機能を有していても良く、該タッチスクリーンを用いたユーザ指示を操作部１１１の入力として扱うことも可能である。

次に、本実施形態における撮像部１０１の詳細について図３を参照して説明する。図３に示される撮像部１０１の模式図は、撮像部１０１を上部から見た模式図である。撮像部１０１は、メインレンズ２０１と、マイクロレンズアレイ２０２と、センサ２０３をと含むプレノプティック方式の撮像光学系により構成される。合焦被写体２０４から出射した光は、メインレンズ２０１により結像面２０６に結像する。図３に示される通り、合焦被写体２０４の左右から出射しメインレンズ２０１を通過する光線２０７と、光線２０８とが、結像面２０６において一点に結像している事が分かる。通常のカメラでは、センサ２０３を結像面２０６の位置に配置して被写体像を記録する。その場合、合焦被写体２０４の像は光線２０７の光量と、光線２０８の光量との和により表される。

一方、本実施形態における撮像部１０１の構成では、結像面２０６にセンサ２０３ではなくマイクロレンズアレイ２０２を配置する。１つのマイクロレンズは結像面２０６に結像した光線を２方向に分離する機能を有する。つまりマイクロレンズアレイ２０２は視点分離素子と言える。分離された光線は、マイクロレンズアレイ２０２の後部に配置されるセンサ２０３により記録される。図３に示される通り、光線２０７は画素２０９に、光線２０８は画素２１０にそれぞれ受光される。センサ２０３における画素２０９、２１０以外の画素においても、同様に被写体から出射した光はマイクロレンズの働きにより左右に分離して受光される。

合焦被写体２０４から照射された左側からの光線を受光する画素群２１１、及び合焦被写体２０４から照射された右側からの光線を受光する画素群２１２から別々に画像を生成すると、合焦被写体２０４を左右から見た２つの多視点画像が得られる。このとき、左側から見た画像および右側から見た画像に対応する視点は、それぞれ点２１３および点２１４となる。実際にはセンサ２０３と、マイクロレンズアレイ２０２とは、縦方向および横方向に二次元に配列されているため、図４に示されるように、被写体からの光線は例えば４方向に分離して記録される。従って１度の撮像で被写体を右上、左上、右下、左下の４方向から見た多視点画像を記録することができる。以上が、視点の異なる多視点画像を取得可能なプレノプティック方式の撮像部１０１の構成と、これら構成によってもたらされる機能である。

次に、本実施形態における画像処理部１０３の詳細について図５を参照して説明する。図５は、画像処理部１０３の内部構成のうち、表示画像の生成に関する構成を示す図である。本実施形態の画像処理部１０３は、画像取得部３０１と、視差量導出部３０２と、合焦領域特定部３０３と、表示画像生成部３０４とで構成される。その他画像処理部１０３における不図示の構成要素として、ノイズ低減部、エッジ強調部、色変換部、ガンマ変換部などが存在するが、本実施形態では簡略化のために説明を省略する。本実施形態の画像処理部１０３は、図５に示される各部によって、Ａ／Ｄ変換部１０２からの入力信号（デジタル画像データ）に対して所定の処理を施し、表示部１１３で表示される表示画像データ（スルー画像データ）を生成する。生成された表示画像データはまた、メディアＩ／Ｆ１０６を介して各種メディアに記録される。

また、本実施形態においては、画像処理部１０３が、撮像装置１内の一構成要素となる実施例を説明しているが、別実施例ではこの画像処理部１０３の機能をＰＣやマイクロチップ等の外部装置で実現してもよい。すなわち、本実施形態における画像処理部１０３は、撮像装置の一機能としても、又は独立した画像処理装置としても実現し得るものである。

次に、画像処理部１０３によって実行される、表示画像の生成処理フローを、図６を参照して説明する。このフローはＲＯＭ１０８に記憶されるプログラムコードが、ＲＡＭ１０９に展開されＣＰＵ１０７によって実行される。

Ｓ４０１において、画像取得部３０１は、撮像部１０１からＡ／Ｄ変換部１０２を介して多視点画像を取得する。本実施形態において、画像取得部３０１が取得する多視点画像の一例を図７に示す。図７に示される多視点画像例では、被写体を右上、左上、右下、左下の４方向から見た複数の画像が示される。

Ｓ４０２において、視差量導出部３０２は、Ｓ４０１で取得した視点の異なる多視点画像から、多視点画像における被写体についての視差量を導出する。なお、本実施形態において、視差量とは、多視点画像における被写体についてのシフト量に相当する。図７に示される４つの画像に対応する画像データを、それぞれI1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)と表す。ここでIi(x,y)は、i番目の画像データにおける、２次元座標の画素位置x,yの画素値を示す。視差量導出部３０２は、多視点画像における画素ごとの標準偏差を求めることにより、視差量Id(x,y)を導出する。

式（１）で導出される視差量Id(x,y)において、視差量Id(x,y)の値が小さい場合は、当該画素位置(x,y)に映っている被写体は合焦状態にあることを意味する。

この事は以下の説明により理解される。図３に示される通り、合焦被写体２０４からの光は結像面２０６に位置するマイクロレンズアレイ２０２により、画素２０９と、画素２１０とに分離して記録される。画素２０９と、画素２１０とから読み出される値は同一の画素位置(x,y)に対応し、それら画素値は同一の被写体から出射した光を記録したものであるため、それぞれの画素値は同じになるか、差異が小さくなる。この特徴は画素２０９、２１０以外の画素についても同様である。従って合焦状態にある被写体において、視差量Id(x,y)はゼロになるか、小さな値となる。

なお、視差量は少なくとも２つの視点の画像データ間の画素値の差異を示せばよく、標準偏差により視差量Id(x,y)を導出する態様に必ずしも限定されない。例えば、多視点画像の中から２以上の異なる画像を有する組み合わせを選択し、選択された２つの画像データに対して公知のブロックマッチング手法により画素値を比較し、当該比較結果から視差量Id(x,y)を導出してもよい。あるいはまた、表示画像の生成を高速化するため、４つの異なる多視点画像の中から２以上の異なる画像を有する組み合わせを選択し、選択された２つの画像データにおける画素値の差分を算出して演算量を低減してもよい。その他、４つの異なる多視点画像のうち、左上画像および右上画像の差分と、左下画像および右下画像の差分とを平均することにより視差量Id(x,y)を導出してもよい。

あるいはまた、撮像部１０１の光学特性に応じて、視差画像生成の演算方法を以下のように変更してもよい。図３に示される撮像部１０１は、合焦被写体２０４から出射した光がメインレンズ２０１により屈折され結像面２０６で一点に集光されている。図３に示される撮像部１０１は、いわば理想的なレンズの光学特性を想定しているものといえる。しかしながら、メインレンズ２０１の光学特性は、実際には理想的なレンズの光学特性とは異なり、例えば左側からの光線の光量と、右側からの光線の光量との間で若干の差異が発生し、撮像素子を介して取得される画像にも若干の差異が発生する場合がある。そのような差異があるにも関わらず、式（１）により視差量Id(x,y)を生成すると、合焦状態にある被写体でも視差量Id(x,y)は大きな値となってしまう可能性がある。そのため、視差量Id(x,y)生成の際、視差量導出に用いるべき２以上の異なる画像の組み合わせを定義した情報を予めＲＯＭ１０８に保持させ、視差量導出部３０２は、当該情報を参照して視差量を導出してもよい。

図８は、ＲＯＭ１０８に保持される、視差量導出に用いる２以上の画像を有する組み合わせを定義した情報の概念図である。図８の定義情報において、２以上の画像を有する組み合わせは、それぞれの分割領域ごとの画像の撮像特性（明るさ、色など）に基づいて定義されている。例えば、本実施例におけるメインレンズ２０１の光学特性は、下側からの光線の光量と、上側からの光線の光量とで若干の差異を発生させてしまうものとする。この場合、画像処理部１０３が取得する多視点画像において、左上画像と右上画像との撮像特性は類似するものの、左上画像と左下画像との撮像特性は類似しない現象が発生する可能性がある。そのため、上記のような光学特性を備える撮像部１０１から得られる多視点画像については、多視点画像における中央上部の分割領域が、左上画像と右上画像の２つの画像の組み合わせに基づいて視差量が導出されることが望ましい。多視点画像におけるそれぞれの撮像特性は、撮像部１０１の設計データに基づいて好適に導出することができる。また、図８に示される定義情報はあくまでも一例であり、適宜設定され得る。

次に、図９に本実施形態における視差マップ５００の一例を示す。図９に示される視差マップ５００は、Ｓ４０２で導出された視差量に基づくものであり、多視点画像間における視差の大きさを明度で表現した画像である。本実施形態の視差マップ５００において、暗く表示されている領域５０１は、式（１）の演算結果が小さい値であること、すなわち多視点画像間の差異が小さい事を示す。一方、明るく表示されている領域５０２は、式（１）の演算結果が大きい値であること、すなわち多視点画像間の差異が大きい事を示す。図９に示される視差マップ５００の例では、人物が合焦状態にあるため、人物の領域における差分値が小さい。そのため、撮像装置１が捕捉している人物の領域は、視差マップ５００において暗く表示される。

再び図６のフローチャートに戻り、Ｓ４０３において、合焦領域特定部３０３は、Ｓ４０２で導出された視差量から合焦状態の被写体の領域である合焦領域を特定する。具体的には、合焦領域特定部３０３は、合焦状態にある被写体の領域を示す合焦領域データを生成する。合焦領域データは、視差量Id(x,y)に対して所定の閾値処理が行われることにより得られ、具体的には次式の閾値処理が視差量Id(x,y)に対して施されることにより得ることができる。

式２に示される通り、視差量が閾値(threshold)以下の値に対しては「１」が、それ以外の値に対しては「０」が割り当てられる。本実施形態の閾値thresholdは、多視点画像が撮像部１０１によって撮像される際に、画像に混入が予測されるノイズ量に基づき設定されることが好適である。これは撮像装置１への入力画像にはノイズが混入するため、たとえ被写体の合焦領域であっても式１により導出される値はゼロにならない。そのため、視差量を導出する場合、予め測定などにより取得したノイズの標準偏差をthresholdに設定し、式１により導出される値と比較する事が好適である。さらに、入力画像に混入するショットノイズ量は、入力画像の輝度が大きいほど多くなる傾向がある。そのため、多視点画像（図７）の画素値が大きい領域ではthresholdは大きく、画素値が小さい領域ではthresholdは小さく設定されることが好適である。

図１０は、Ｓ４０３で生成された合焦領域データに基づいて生成された領域画像６００である。図１０に示される領域画像６００において、白く示されている領域は、Ia(x,y)=1となる合焦領域６０１を示す。一方、黒く示されている領域は、Ia(x,y)=0となる非合焦領域６０２を示す。なお、上記式２において、視差量が閾値以下の値に対しては「２５５」を、それ以外の値に対しては「０」などのように、８ｂｉｔ階調に量子化された画素値に対応する値を割り当ててもよい。このように構成することにより、合焦領域データから容易に領域画像６００を生成することができる。

再び図６のフローチャートに戻り、Ｓ４０４において、表示画像生成部３０４は、撮像部１０１から得られた入力画像と、Ｓ４０３で生成された合焦領域データとから、表示部１１３において表示される表示画像を生成する。本実施形態において、表示画像生成部３０４は、例えば領域画像６００から合焦領域６０１と非合焦領域との境界を示す境界線画像を生成し、生成した境界線画像を入力画像にオーバーレイすることにより表示画像データを生成する。領域画像６００から境界線画像を生成する方法として、Ｓ４０３で生成された領域画像６００に対して、ラプラシアンフィルタなどのエッジ検出フィルタを適用することにより、図１１に示される境界線画像７００を得る方法が例示される。図１１に示される境界線画像７００は、合焦領域６０１と非合焦領域との境界を示す境界線７０１を含み、境界線７０１は人物輪郭を示す境界線となっている。

次いで、ＣＰＵ１０７は、境界線画像７００を入力画像にオーバーレイして、表示部１１３に表示させる。ＣＰＵ１０７は、Ｓ４０３で特定された合焦領域を、当該合焦領域とは異なる態様で、表示部１１３に表示させる。図１２は、本実施形態における、表示部１１３に表示される表示画像８００の一例を示す図である。撮像部１０１に捕捉されている被写体のうち、ピントの合っている合焦状態の被写体が境界線で囲われて強調表示される。本実施形態では、Ｓ４０４で生成される表示画像８００は、表示部１１３にライブビュー表示される他、不図示のファインダーに表示され、ユーザは各被写体の合焦状態を確認することができる。ユーザは、図１２の表示画像８００を視認することにより、被写体の合焦領域は人物を捕捉している部分であることを直感的に分かりやすく確認することができる。

このような表示画像８００は、例えば、撮像装置１の不図示のシャッターが半押しされることに応じて、焦点検出枠と同時にファインダーに表示されてもよい。あるいはまた、ユーザによるタッチスクリーン（表示部１１３）への操作が検出されることに応じて、表示画像８００が表示部１１３に表示される構成であってもよい。

図１３は、中心に捕捉される被写体が人物から建物にシフトされた後、シャッターへの半押しまたはタッチスクリーン（表示部１１３）への操作がされた場合に、表示部１１３に表示される表示画像の一例を示したものである。このとき、建物を捕捉する合焦検出枠が強調表示されるだけでなく、ＣＰＵ１０７は、建物全体が合焦状態であることを示すために、建物の輪郭を表示する境界線画像をオーバーレイして、表示部１１３に表示する。さらに、合焦検出枠群と重複していなくとも、多視点画像間で視差量が所定の閾値以下の合焦領域であれば、当該合焦領域以外の領域とは異なる態様で表示される。例えば、表示画像９００のように、合焦検出枠群と重複しない建物の全部または一部も、境界線で囲われた強調表示がされ得る。

また、変形例においては、シャッターへの半押しなどのトリガ操作を必要とすることなく、表示画像生成部３０４によって表示画像が生成され、ＣＰＵ１０７が表示画像をファインダーなどの表示部１１３に表示させる態様でもよい。このように構成することにより、ユーザは、例えば人物にピントを合わせて撮像したい場合、表示画像９００（図１３）を視認することにより、現在合焦状態にある被写体は人物ではなく建物であることを直感的に確認することができる。そのため、ユーザは人物にピントを合わせて撮像するために、必要な指示を迅速に撮像装置１に入力することができる。

さらに、別実施形態において、ＣＰＵ１０７は、Ｓ４０３で生成された合焦領域データに基づいて、合焦領域と合焦領域以外とで輝度を異ならせて、表示部１１３に表示画像を表示させてもよい。例えば、表示画像生成部３０４は、撮像部１０１から得られた入力画像と、領域画像６００との、それぞれ対応する画素位置の画素値を平均することにより、合焦状態の被写体が明るく表示される表示画像を生成することができる。

このとき、撮像部１０１から得られる入力画像は、Ｓ４０１で取得される多視点画像（図７）のうち任意の視点の画像であればよい。あるいはまた、入力画像は、Ｓ４０１で取得される多視点画像からそれぞれの画素値を平均することにより取得するなど、多視点画像を合成して得られた合成画像であってもよい。

さらに、表示手段１１３において表示される表示画像、および当該画像の生成に用いられる各種データ（多視点画像データ、視差マップ画像データ、領域画像データ、境界線画像データなど）を、記録メディアに記録することができる。かかる構成により、視差マップ画像データや領域画像データなどを、撮像後の画像編集に容易に活用することができる。

以上説明した通り、本実施形態におけるプレノプティック方式の撮像装置１は、被写体の合焦領域を、当該合焦領域とは異なる態様で、表示部１１３において表示することができる。表示部１１３などに表示される表示画像から、ユーザは撮像装置１が捕捉している被写体の合焦領域を直感的に分かりやすく確認することができる。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１・・・・撮像装置
１０１・・撮像部
１０３・・画像処理部
３０１・・画像取得部
３０２・・視差量導出部
３０３・・合焦領域特定部
３０４・・表示画像生成部

Claims (19)

1. 視点の異なる多視点画像を取得可能な撮像手段から得られた画像を表示手段に表示する画像処理装置であって、
   前記多視点画像に基づいて、画素ごとに視差量を示す視差マップを導出する導出手段と、
   前記導出された視差マップに基づいて、前記多視点画像において合焦している被写体の領域を合焦領域として、前記合焦領域と当該合焦領域以外の領域とが区別可能な表示画像を生成し、前記表示手段に前記表示画像を表示させる表示制御手段と、
   を有する画像処理装置。
2. 前記表示制御手段は、前記視差マップのうち前記視差量が閾値以下である被写体の領域を前記合焦領域として、前記視差量が閾値より大きい前記合焦領域以外の領域と区別可能なように、前記表示画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記視差マップに基づいて、前記合焦領域と前記合焦領域以外の領域との境界がわかるように前記表示画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示手段で表示される画像は、前記多視点画像のうち任意の視点の画像である
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記表示手段で表示される画像は、前記多視点画像を合成して得られた合成画像である
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記導出手段は、
   前記多視点画像における画素ごとの標準偏差を求めることにより前記視差量を示す前記視差マップを導出する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記導出手段は、
   前記多視点画像の中から２以上の異なる画像を有する組み合わせを選択し、前記選択された２以上の画像における被写体についての前記視差量を示す前記視差マップを導出する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記２以上の画像を有する組み合わせは、前記多視点画像における分割領域ごとの撮像特性に応じて選択される
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記閾値は、前記多視点画像が前記撮像手段によって画像処理される際に、混入が予測されるノイズ量に基づいて設定される
   ことを特徴とする請求項２に記載の画像処理装置。
10. 前記表示制御手段は、
    前記生成された合焦領域を、前記合焦領域の境界を示す境界線画像をオーバーレイして、前記表示手段において表示する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記表示制御手段は、
    前記生成された合焦領域を、当該合焦領域以外の領域とは輝度を異ならせて、前記表示手段において表示する
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は、
    前記視差マップに対して閾値以下か否かにより、前記合焦領域か否かを示す合焦領域データを生成し、
    前記合焦領域データに対してエッジ検出フィルタを適用し、
    前記エッジ検出フィルタを適用した結果から前記表示画像を生成する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示手段において表示される画像、および当該画像の生成に用いられるデータを、記録メディアに記録する記録手段をさらに備える
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記視差量は、前記多視点画像における領域に含まれる複数の画素の画素値に基づいて算出されることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記視差マップは、前記多視点画像と同じ画素数であることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
16. 前記表示制御手段は、前記撮像手段のシャッターが半押しされることに応じて、前記表示手段に前記表示画像を表示させる
    ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記表示手段は、ユーザによるタッチ操作を検知可能であり、
    前記表示制御手段は、前記表示手段に対するタッチ操作に応じて、前記表示画像を前記表示手段に表示させる
    ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
18. 視点の異なる多視点画像を取得可能な撮像手段から得られた画像を表示手段に表示する画像処理装置の制御方法であって、
    前記多視点画像に基づいて、画素ごとに視差量を示す視差マップを導出する導出ステップと、
    前記導出された視差マップに基づいて、前記多視点画像において合焦している被写体の領域を合焦領域として、前記合焦領域と当該合焦領域以外の領域とが区別可能な表示画像を生成し、前記表示手段に前記表示画像を表示させる表示ステップと、
    を有する画像処理装置の制御方法。
19. コンピュータを、請求項１から１７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。