JP7422843B2

JP7422843B2 - 画像処理装置およびその制御方法ならびにプログラム

Info

Publication number: JP7422843B2
Application number: JP2022177361A
Authority: JP
Inventors: 慎吾森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-11-14
Filing date: 2022-11-04
Publication date: 2024-01-26
Anticipated expiration: 2038-11-14
Also published as: JP7173841B2; JP2023010751A; JP2020088403A; US10979620B2; US20200154056A1

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。

従来、デジタルカメラ等の撮像装置では、ユーザが被写体の合焦状態を確認しながら撮影を行うことができるように、液晶ディスプレイ（ＬＣＤ）などの表示素子を用いた電子ビューファインダー（ＥＶＦ）に、現在の合焦状態を表示する技術が知られている。

特許文献１には、ユーザが合焦位置を調整している間に、レンズの絞りを開放側に制御したり、画像の一部分を拡大して表示したりする技術が開示されている。特許文献１によれば、合焦位置を調整する際に拡大表示した画面を確認することにより、精度良く合焦位置の調整を行うことが可能になる。

特開２００６－５４５３６号公報

しかしながら、特許文献１に開示される技術では、拡大画面内に合焦領域が含まれていない場合、被写体が前ボケなのか後ボケなのかユーザには判断が付きづらいため、ピント位置を調整するのは容易ではない。

本発明は、上記課題に鑑みてなされ、その目的は、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能な技術を提供することにある。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像を逐次取得する取得手段と、前記取得された画像と、前記画像内のデフォーカス情報とを重畳して、表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在する場合、合焦する被写体のデフォーカス範囲の少なくとも一部を含む第１のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳し、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在しない場合は、前記合焦する被写体が存在しない変倍する領域に係るデフォーカス範囲の少なくとも一部を含む第２のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳する、ことを特徴とする。

本発明によれば、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能になる。

実施形態１における画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図実施形態１における撮像部の構成の一例を模式的に示す図実施形態１における画像処理部の機能構成例を示すブロック図実施形態１におけるデフォーカス情報重畳処理に係る一連の動作を示すフローチャート実施形態１における入力画像、エッジ信号、およびデフォーカスマップの一例を示す図実施形態１における入力画像および拡大画像のデフォーカス量のヒストグラムを説明する図実施形態１における拡大前の画像と拡大後の加工画像の一例を説明する図実施形態２におけるデフォーカスマップの一例を示す図実施形態２における入力画像および拡大画像のデフォーカス量のヒストグラムを説明する図実施形態２における拡大前の画像と拡大後の加工画像の一例を説明する図デフォーカス情報の一例としてアイコンを表示する際の一例を説明する図実施形態２におけるデフォーカス情報重畳処理に係る一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、デジタルカメラなどの撮影装置を用いて、ユーザがＥＶＦを見ながら画像を変倍（例えば拡大）表示してフォーカス調整を行い、人物を撮影するようなユースケースを例に説明する。しかし、本実施形態は、撮影された画像を取得して表示し、ユーザがフォーカス調整を行うための情報を画像とともに表示可能な画像処理装置にも適用可能である。また、画像処理装置は、例えば、デジタルカメラを遠隔制御可能であり、デジタルカメラで撮影される画像を取得して画像処理装置に表示させ、ユーザが当該装置を操作してデジタルカメラのフォーカス調整を行う場合にも適用可能である。画像処理装置には、デジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

また、以下の説明では、フォーカス調整用の操作部材を操作する（例えばレンズのフォーカス調整用リングを動かす）ことでフォーカス調整を行うＭＦ（マニュアルフォーカス）で撮影を行う場合を例に説明する。しかし、本実施形態は、ＡＦ（オートフォーカス）撮影時に表示画面の一部を拡大してピントを確認するような他のユースケースにも適用可能である。

（デジタルカメラの構成）
図１は、本実施形態の画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、ズームレンズやフォーカスレンズを含むレンズ群、光量を調整する絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、レンズ群を光軸方向に進退させることにより、撮像部１０２に到達する被写体像の倍率やピント位置を調整する。

撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤ或いはＣＭＯＳセンサ等の光電変換素子を含み、所定の時間間隔で電気信号に変換されたアナログ画像信号を出力する。本実施形態に係る撮像部１０２は、図２（Ａ）に示すような画素配列を有し、この画素配列では、個々の画素２０２が二次元状に規則的に配列されている。画素配列を構成する画素２０２は、図２（Ｂ）に示すように、マイクロレンズ２０１と一対の光電変換部２０３、２０４から構成される。一対の光電変換部２０３、２０４とは、それぞれ、光学系１０１の射出瞳の異なる領域を通過した光束を受光して光電変換を行う。このため、光電変換部２０３側に基づく画像信号（例えばＡ像という）と光電変換部２０４側に基づく画像信号（例えばＢ像という）とは被写体像に位相差を有する。撮像部１０２は、例えばＡ像とＢ像のアナログ画像信号を出力する。

Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ画像信号をデジタル画像信号に変換する。画像処理部１０４は、撮像部１０２からのデジタル画像信号に通常の信号処理、および後述するデフォーカス情報の重畳処理を行う。ここで通常の処理信号は、例えば、ノイズ低減処理や現像処理、ガンマ変換による階調圧縮処理によって所定の出力レンジに階調圧縮する処理などを含む。なお、制御部１０５が画像処理部１０４を包含し、画像処理部１０４の機能を兼ね備えてもよい。

制御部１０５は、例えばＣＰＵやＭＰＵなどのプロセッサを含み、不揮発性メモリ１０８に記録されたプログラムを揮発性メモリ１０９に展開し、実行することにより、デジタルカメラ１００が備える各ブロックの動作を制御する。例えば、制御部１０５は、適正な明るさを持つ入力画像を得る為の撮影時の露光量を算出し、算出した露光量を実現するために光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサのアナログゲインを制御する。また、制御部１０５は、後述するデフォーカス情報重畳処理の一部（画像処理部１０４を兼ねる場合には全部）を実行する。

表示部１０６は、画像処理部１０４から出力される画像信号をＬＣＤなどの表示用部材に逐次表示する。記録部１０７は、例えば、半導体メモリ等の記録媒体を含み、撮像部１０２で撮像され、画像処理部１０４等で所定の処理が施された画像を記録する。半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた着脱可能な情報記録媒体を含んでもよい。

（画像処理部の構成）
次に、図３を参照して、本実施形態に係る画像処理部１０４の構成について説明する。なお、画像処理部１０４の各ブロックは、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。また、複数の機能ブロックが統合され又は１つの機能ブロックが分離されてもよい。

信号処理部３０１は、ノイズ低減処理や現像処理など、上述の通常の信号処理を行う。なお、信号処理部３０１は、Ａ像とＢ像の信号を合成して１つの画像信号を扱ってよい。撮影情報取得部３０２は、撮影時にユーザが設定した撮影モードや、焦点距離、絞り値、露光時間などの各種情報を、例えば制御部１０５を介して不揮発性メモリ１０８又は揮発性メモリ１０９から取得して、デフォーカス演算部３０４に提供する。

エッジ生成部３０３は、信号処理部３０１から出力された画像信号から、エッジ信号を生成する。デフォーカス演算部３０４は、Ａ像とＢ像の画像信号を取得する。デフォーカス演算部３０４は、光学系１０１の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて、撮像された画像におけるデフォーカスの分布（すなわち焦点のずれ量とそのずれの方向）を示すデフォーカスマップを生成する。

領域情報取得部３０５は、ユーザが設定した拡大表示における領域の位置の情報を取得する。表示制御部３０６は、信号処理部３０１、エッジ生成部３０３、デフォーカス演算部３０４、領域情報取得部３０５の出力を用いて、画像に関するデフォーカス情報を当該画像に重畳した加工画像を生成して表示部１０６に表示するように表示制御を行う。

（デフォーカス情報重畳処理に係る一連の動作）
次に、図４を参照して、本実施形態に係るデフォーカス情報重畳処理の一連の動作について説明する。このデフォーカス情報重畳処理は、例えば、静止画撮影時に、ＥＶＦに画像を拡大表示して（ピント調整のための）ピント状態を把握する際に実行される。なお、図４に示す処理は、特に説明する場合を除き画像処理部１０４の各部によって実行される例を説明するが、制御部１０５が画像処理部１０４を包含して不揮発性メモリ１０８のプログラムを揮発性メモリ１０９に展開、実行することにより実現されてもよい。また、本処理は、取得した画像１フレームに対する処理であり、取得した画像が図５（Ａ）に示す入力画像５０１である場合を例に説明する。入力画像５０１は、例えば、中央に人物５０３が立っており、その手前右側には木５０２があるシーンを撮影した画像である。

Ｓ４０１では、エッジ生成部３０３は、入力画像５０１に対してＢｐｆ（バンドパスフィルタ）を適用することにより、エッジ信号を生成する。具体的には、エッジ生成部３０３は、水平方向および垂直方向それぞれに［－１０２０－１］のフィルタを適用した信号を加算する。なお、エッジ信号の生成方法としてはこれに限らず、Ｌｐｆ（ローパスフィルタ）を適用した画像と元の画像との差分をとることでエッジ成分を抽出するなど、他の方法であっても良い。図５（Ｂ）に示す画像５０４は、エッジ生成部３０３によって得られるエッジ信号を示している。

Ｓ４０２では、デフォーカス演算部３０４は、入力画像５０１に対するデフォーカスマップを生成する。デフォーカス演算部３０４は、例えば特開２０１６－９０６２号公報に開示される公知の手法を用いることができ、画素毎にデフォーカス量（すなわち焦点のずれ量とそのずれの方向を示す）を算出しデフォーカスマップとして扱う。図５（Ｃ）に示す画像５１１は、デフォーカス演算部３０４によって生成されるデフォーカスマップの一例を示している。デフォーカスマップの画像５１１において、手前右の木５１２の領域が合焦を示す範囲の値を取っており、中央の人物５１３は後ボケの非合焦を示す範囲の値を有する。ガイド５１４は、デフォーカス量（すなわち焦点のずれ量とそのずれの方向）のうち、デフォーカスマップの各画素値がどのような焦点のずれ量及びその方向に対応するかを示す。

Ｓ４０３では、デフォーカス演算部３０４は、第１の表示デフォーカス範囲を算出する。第１の表示デフォーカス範囲は、例えば静止画撮影時に被写界深度に含まれると判断されるデフォーカスの値域である。この範囲は、入力画像５０１に対して撮影情報取得部３０２が取得した絞り値をF、撮像部１０２の画素数および大きさに依存する許容錯乱円径の値をδとし、範囲の上限値および下限値をそれぞれ＋Ｆδ、－Ｆδとすると、図６（Ａ）に示すようになる。図６（Ａ）は、デフォーカスマップの画像５１１に示したデフォーカスのヒストグラムを示したものであり、縦軸は頻度（画素の数）、横軸はデフォーカス量を表す。図中破線で示すデフォーカス量はデフォーカスの値が０であることを示す。デフォーカス量が０である場合、ピントが最も合っており、＋の値は前ボケの方向に合焦度合が変化し、所定以上の値になると非合焦となる。一方、－の値は後ボケの方向に合焦度合が変化し、所定以上の値になると非合焦となる。すなわち、デフォーカスの値が－Ｆδ～＋Ｆδの範囲に含まれる領域を被写界深度内（すなわち第１の表示デフォーカス範囲）に含まれると判定することができる。

Ｓ４０４では、制御部１０５は、ユーザにより表示画像を変倍する指示（ここでは拡大表示の指示）がなされているかを判定する。制御部１０５は、拡大表示の指示を受け付けた場合にはＳ４０７に進み、指示されていない場合にはＳ４０５へ進む。

Ｓ４０５では、表示制御部３０６は、入力画像５０１に対してピーキングを重畳した加工画像を生成する。例えば、表示制御部３０６は、Ｓ４０１で生成したエッジ信号が所定の値以上であり、かつＳ４０２で生成したデフォーカス量が第１の表示デフォーカス範囲に含まれる領域に、入力画像５０１にピーキング（合焦範囲を表す色、例えば緑色の信号）を重畳する。図７の加工画像７０１は、ピーキングを重畳した結果得られる加工画像の一例を示したものであり、手前右の木７０２のエッジ領域のみ緑色の信号を重畳させて目立たせている（太線）。逆に中央の人物７０３には緑色が重畳されておらず（細線）、この領域は被写界深度外であることを示す。

Ｓ４０６では、表示制御部３０６は、生成した加工画像７０１を表示部１０６に表示させるように制御する。これにより、ユーザは緑色のエッジを確認することで、現在のピント状態では、手前右の木７０２が深度内であること（及び人物７０３が深度外であること）を容易に把握することができる。

Ｓ４０７では、デフォーカス演算部３０４は、領域情報取得部３０５から拡大領域の情報を取得し、取得した領域におけるデフォーカスマップをもとに、第２の表示デフォーカス範囲を算出する。ここで、第２の表示デフォーカス範囲は、例えば、変倍画像（ここでは拡大領域）の被写体の全体あるいは一部に合焦するためにユーザに表示するデフォーカスの値域である。今回の拡大領域は、例えば、人物のいる図７（Ａ）の一点鎖線の枠７０４の内部とする。この領域のデフォーカス量は第１の表示デフォーカス範囲に含まれていないため、デフォーカス演算部３０４は、第２の表示デフォーカス範囲を広くする。第２のデフォーカス範囲を広くすることで、拡大領域の被写体を第２の表示デフォーカス範囲に含めることができる。この範囲は、拡大領域におけるデフォーカス量の絶対値の最大値をＦｖとしたとき、－Ｆｖ以上＋Ｆｖ以下を第２の表示デフォーカス範囲とすることにより算出することができる。このようにすれば、拡大領域の被写体を必ず第２の表示デフォーカス範囲に含めることができる。この第２の表示デフォーカスの領域は、図６（Ｂ）に示すようになる。なお、第２の表示デフォーカス範囲の算出方法はこの限りではなく、例えば拡大領域の半分が第２の表示デフォーカス範囲になるようにＦｖを決めても良い。

Ｓ４０８では、表示制御部３０６は、変倍画像（すなわち拡大領域）に対してピーキングを重畳した表示用の加工画像を生成する。具体的には、拡大領域のうちのＳ４０１で生成したエッジ信号が所定の値以上であり、かつ第２デフォーカス範囲である部分に対して、ピーキング（ここではデフォーカス値に対応する色、例えば多色の信号）を重畳する。図７（Ｂ）に示す画像７１１は、拡大領域に対してピーキングを重畳した結果の画像を示したものである。すなわち、拡大前はピーキングされていなかった中央の人物７１２に、後ボケを示す青色のピーキング（太線）が重畳されている。そのため、ユーザは拡大領域のボケが前ボケか後ボケか（すなわちボケの方向）を区別することができる。

このとき、表示制御部３０６は、表示する色とデフォーカス量（焦点のずれ量および方向）の対応関係を容易に把握できるように、拡大領域にガイド７１３を重畳させる。ガイド７１３の形状は、図７（Ｂ）の画像７１１に示した縦長の長方形に限らず、横長の長方形や円形、扇形でも良く、色とデフォーカス量の対応関係が示されていれば良い。また、ガイド７１３の位置は被写体と重ならないように、被写体の表示されていない部分に配置しても良い。

Ｓ４０９では、表示制御部３０６が生成した加工画像（加工済み拡大領域７１１）を表示部１０６に表示するように制御する。加工済み拡大領域７１１には、後ボケを示す青色のピーキングが人物７１２に重畳されており、拡大画像における被写体のピント情報をユーザに表示することができる。ここでピント情報とは、ユーザが現在のフォーカス状態を容易に把握可能であり、拡大画像の一部あるいは全体に合焦することをアシストする情報である。

なお、本実施形態では、エッジの加工方法の一例として表示制御部３０６が画像に色信号を重畳する場合を例に説明した。しかし、エッジの輝度や彩度をデフォーカス量に応じて変化させるなど、他の加工方法を用いても良い。このとき、拡大前後で同一のエッジ加工方法を使用しても良い。そうすることで、ユーザの理解し易いピント情報を表示することができる。

また、本実施形態では、エッジを加工してピント情報を重畳したが、表示制御部３０６は、他の表示態様でピント情報を重畳しても良い。例えば、拡大領域の大部分が前ボケであるときは、前ボケ領域の平均デフォーカス量に対応する赤色を拡大領域の外枠に重畳しても良い。こうすることで、被写体が見づらくならないようにピント情報を重畳できる。

更に、表示制御部３０６は、前ボケを示すアイコンを画面に重畳しても良い。アイコンの形状例としては、図１１の拡大領域１１０１のように、例えば、より合焦した画像にフォーカス調整するための、フォーカス調整用リングを動かす方向を示す回転矢印１１０２としても良い。回転矢印１１０２を重畳することで、ユーザはデフォーカス調整用リングの直感的な操作が可能となる。換言すれば、このようなアイコンは、ユーザが行うフォーカス調整用の操作に対する提案を表す表示であり、より適切なフォーカス調整を行うようにユーザを誘導することもできる。

また、表示制御部３０６は、ピント情報を、画像の所定方向における位置とデフォーカス量の関係を表す波形として重畳しても良い。

更に、拡大表示してから所定時間経過したことに応じて、表示制御部３０６は、拡大領域に対するピント情報を重畳しないようにしてもよい。また、上述の、拡大表示においてピント情報を複数の色で区別可能に表示する多色ピーキング表示を行った場合に、拡大表示してから所定時間経過したことに応じて、多色ではなく色の数を減らして（例えば１色のみ）を重畳するようにしてもよい。また、第２の表示デフォーカス範囲を狭くして重畳領域を少なくするなど、重畳する情報量を低下させても良い。こうすることで、ピント情報の重畳による被写体の見づらさやユーザの認知的負荷を軽減することができる。

また、表示制御部３０６は、フォーカス調整用の操作部材に対する指示が停止しているとき（例えばフォーカス調整用リングやフォーカス調整用のＵＩの操作の停止時）に、被写体のピント情報を重畳しても良い。被写体が前ボケか後ボケかユーザにとって不明であるとき、フォーカス調整の指示（例えばフォーカス調整用リング）は停止すると考えられる。表示制御部３０６は、フォーカス調整の指示（例えばフォーカス調整用リング）の停止している場合にピント情報を重畳することで、ユーザに必要な情報を、必要なタイミングで表示することができる。このようにすれば、フォーカス調整中に被写体が見づらくなることを防ぐ効果もある。

更に、本実施形態では、ある瞬間の静止画撮影シーンに対する処理を例として説明した。しかし、実際には被写体が移動したり、ユーザがピント調整したりするため、撮影中の被写体のデフォーカス量は変化する。したがって、表示制御部３０６は、ピント情報の表示中に被写体のデフォーカス量が変化したと判定した場合は、拡大領域のデフォーカス量に基づいて第２の表示デフォーカス範囲を変更しても良い。こうすることで、継続的に拡大領域のピント情報を表示できる。

また、本実施形態では、拡大領域のデフォーカス範囲に基づいて第２の表示デフォーカス範囲を決定した。しかし、第２の表示デフォーカスを調整するダイアルやスイッチといった操作部材によりユーザが調整できるようにしても良い。

更に、本実施形態では、距離情報を取得する構成として図２（Ａ）に示したような、撮影光学系の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて生成する構成について説明した。しかし、他の構成を代用あるいは併用しても良い。例えば複数のレンズおよび撮像素子を有する複眼カメラの構成とすることで、異なる複数の視点または異なる複数の合焦位置を有する複数の画像に基づき、より精度の良い像ずれ量を検出できるようにしても良い。また、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）カメラや超音波により距離が計測可能な構成とすることでデフォーカス情報を取得し、模様の変化が乏しい被写体に対する測距性能を向上することが可能となる。

以上説明したように、本実施形態によれば、画面拡大時に、被写体のデフォーカス量に応じたピント情報を変倍した画像に重畳して表示する。このようにすることで、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能になる。また、ユーザがピント状態を容易に把握できることで撮影時のユーザのピント調整負荷を抑えることができる。

（実施形態２）
次に、実施形態２について説明する。実施形態２では、第２の表示デフォーカス範囲を第１の表示デフォーカス範囲より狭くすることで、拡大画面の特にピントの合っている被写体を確認し易くする例を示す。本実施形態では、デフォーカス情報重畳処理の一部が実施形態１と異なるが、本実施形態のデジタルカメラ１００の構成は、実施形態１と実質的に同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。以下、本実施形態に係るデフォーカス情報重畳処理について説明する。

（デフォーカス情報重畳処理に係る一連の動作）
このデフォーカス情報重畳処理は、実施形態１と同様、例えば、静止画撮影時に、ＥＶＦに画像を拡大表示して、（ピント調整のための）ピント状態を把握する際に実行される。なお、本処理は、特に説明する場合を除き画像処理部１０４の各部によって実行される例を説明するが、制御部１０５が画像処理部１０４を包含して不揮発性メモリ１０８のプログラムを揮発性メモリ１０９に展開、実行することにより実現されてもよい。また、本処理は、取得した画像１フレームに対する処理であり、取得した画像が図５（Ａ）に示す入力画像５０１である場合を例に説明する。但し、実施形態１で示した例と異なり、中央の人物に合焦しているものとする。

実施形態１と同様に、画像処理部１０４に係る各部や制御部１０５がＳ４０１～Ｓ４０６の処理を行う。なお、本実施形態の入力画像では中央の人物にピントが合っているため、Ｓ４０２において生成されるデフォーカスマップは実施形態１で示したものと異なる。図８に示す画像８０１は、本実施形態で得られるデフォーカスマップを示している。中央の人物８０３は合焦を示す値を取っており、手前右の木８０２は前ボケの非合焦を示している。ガイド８０４は表示する色とデフォーカス量の対応関係を示している。

また、Ｓ４０３の処理で用いられる、図８に示したデフォーカスマップに対するヒストグラムは、例えば、図９（Ａ）に示すようになる。更に、Ｓ４０５の処理では、その処理の結果として、図１０に示す画像１００１が得られる。Ｓ４０５の処理では、表示制御部３０６は、中央の人物１００３のエッジ領域を目立たせる（太線）ことで、ユーザは中央の人物が被写界深度内にいることを確認することができる。Ｓ４０４の処理において、制御部１０５は、拡大表示がＯＮであると判定した場合、Ｓ１２０１に処理を進める。

以降のＳ１２０１～１２０４の処理において、実施形態１のＳ４０７に相当するように、第２の表示デフォーカス範囲を算出する。但し、上述のように、本実施形態で算出する第２の表示デフォーカス範囲は実施形態１と異なる。そして、実施形態１の算出方法と、本実施形態の算出方法のどちらを利用するかを、第１の表示デフォーカス範囲と拡大領域のデフォーカスマップの値に基づいて決定する。

具体的には、Ｓ１２０１では、デフォーカス演算部３０４は、第１の表示デフォーカス範囲にある拡大領域の画素数を算出する。Ｓ１２０２にて、デフォーカス演算部３０４は、算出した画素数が所定の数より大きいか否か判定し、大きいと判定した場合はＳ１２０３に進み、小さいと判定した場合はＳ１２０４へ進む。換言すれば、Ｓ１２０１～１２０２の処理により、拡大領域に、所定サイズの合焦している領域が含まれるかを判定し、拡大領域に合焦している領域が含まれる場合、Ｓ１２０３の処理を通して、（より詳細に）特に合焦しているデフォーカス範囲をユーザに示す。一方、拡大領域に合焦している領域が含まれない場合、Ｓ１２０４の処理を通じて（より広範囲な）デフォーカス範囲を設定して拡大領域に表示される被写体を含むようにデフォーカス範囲を変更する。

Ｓ１２０３では、デフォーカス演算部３０４は、第２の表示デフォーカス範囲を第１の表示デフォーカス範囲より狭くするように算出する。Ｓ１２０４では、デフォーカス演算部３０４は、第２の表示デフォーカス範囲が第１の表示デフォーカスより広くなるように算出する。このように算出方法を動的に決定することで、拡大領域のデフォーカス量に応じて第２の表示デフォーカス範囲を適切に決定することができる。

例えばＳ１２０３で処理する拡大領域は、図１０の一点鎖線の枠１００４の内部であり、拡大領域のデフォーカスマップは図９（Ｂ）のようになる。第１の表示デフォーカス範囲内にある拡大領域の画素数は０より多いため、第２の表示デフォーカス範囲は、第１の表示デフォーカス範囲より狭くなるように算出される。具体的な算出方法としては、デフォーカス演算部３０４は、例えば、Ｆδを基準として、－１／５Ｆδ以上であって＋１／５Ｆδ以下の範囲を第２の表示デフォーカス範囲とする。

Ｓ４０８では、表示制御部３０６は、拡大領域に対しピーキングを重畳する。具体的には、Ｓ４０１で生成したエッジ信号が所定の値以上であり、かつＳ４０２で生成したデフォーカス量が第２の表示デフォーカス範囲に含まれる領域に対して、拡大領域に緑色の信号を重畳する。図１０（Ｂ）の拡大領域１０１１は、表示制御部３０６の加工処理の結果として得られる画像を示している。拡大前よりもピーキングされる領域が小さくなるため、人物全体１０１２には緑色が重畳されず（細線）、人物の瞳付近１０１３に緑色が重畳され目立つ（太線）ことが分かる。その後、表示制御部３０６が実施形態１と同様にＳ４０９の処理を行い、その後、本一連の処理を終了する。

なお、上述の処理では、表示される画像を拡大した際の拡大領域が第１の表示デフォーカス範囲を含むか否かに応じて、第２の表示デフォーカスの範囲を第１の表示デフォーカス範囲より狭くしたり広くしたりするようにした。更に、一旦拡大表示した拡大領域から（入力画像の画角に近づくように）拡大率を縮小する場合に表示デフォーカス範囲を変更してもよい。すなわち、図７に示す拡大領域７１１から加工画像７０１に戻す方向に拡大率を縮小し、画像内に第１の表示デフォーカス範囲を含んだことに応じて、拡大されていた第２の表示デフォーカス範囲を、より狭い第１の表示デフォーカス範囲に変更してもよい。

以上説明したように、本実施形態によれば、拡大領域が合焦状態のデフォーカス範囲に含まれる場合に、被写体のより狭い範囲がピーキングされて、拡大時の被写体における、特にピントが合っている部分をユーザに表示することができる。すなわち、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能になる。また、ユーザがピント状態を容易に把握できることで撮影時のユーザのピント調整負荷を抑えることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４…画像処理部、１０５…画像処理部、３０３…エッジ生成部、３０４…デフォーカス演算部、３０５…領域情報取得部、３０６…表示制御部

Claims

画像を逐次取得する取得手段と、
前記取得された画像と、前記画像内のデフォーカス情報とを重畳して、表示手段に表示する表示制御手段と、を有し、
前記表示制御手段は、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在する場合、合焦する被写体のデフォーカス範囲の少なくとも一部を含む第１のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳し、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在しない場合は、前記合焦する被写体が存在しない変倍する領域に係るデフォーカス範囲の少なくとも一部を含む第２のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳する、ことを特徴とする画像処理装置。
前記表示制御手段は、前記合焦する被写体が前記変倍する領域内に存在しない場合、前記第１のデフォーカス範囲より広い前記第２のデフォーカス範囲のデフォーカス情報を前記変倍した画像に重畳する、ことを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、前記合焦する被写体が前記変倍する領域内に存在する場合、前記第２のデフォーカス範囲より狭い前記第１のデフォーカス範囲のデフォーカス情報を前記変倍した画像に重畳する、ことを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、前記変倍した画像を表示中に前記変倍した画像の領域のデフォーカス範囲が変化したことに応じて、前記第２のデフォーカス範囲を変更する、ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記取得された画像におけるエッジ信号を用いて、前記デフォーカス情報を重畳する、ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報を重畳して前記表示手段に表示してから所定時間経過したことに応じて、該デフォーカス情報の情報量を低下させる、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報を重畳して前記表示手段に表示してから所定時間経過したことに応じて、該デフォーカス情報を重畳しないようにする、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報を複数の色で区別可能に表示する多色ピーキング表示を行い、該デフォーカス情報を前記変倍した画像に重畳して前記表示手段に表示してから前記所定時間経過したことに応じて、該デフォーカス情報の前記複数の色の数を減らす、ことを特徴とする請求項６に記載の画像処理装置。
前記表示制御手段は、前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報を複数の色で区別可能に表示する多色ピーキング表示を行い、該デフォーカス情報を前記変倍した画像に重畳して前記表示手段に表示してから前記所定時間経過したことに応じて、デフォーカス範囲を狭くしたデフォーカス情報を表示する、ことを特徴とする請求項６に記載の画像処理装置。
前記表示制御手段は、表示する前記デフォーカス情報の色とデフォーカス量の対応関係を示すガイドを前記画像に重畳する、ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
前記表示制御手段は、フォーカス調整用の操作部材に対する指示が停止している場合、前記第２のデフォーカス範囲のデフォーカス情報を前記変倍した画像に重畳して表示し、フォーカス調整用の操作部材に対する指示が行われている場合、該デフォーカス情報を前記変倍した画像に重畳して表示しない、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記表示制御手段は、ユーザが行うフォーカス調整用の操作に対する提案を表すアイコンを、前記変倍した画像に重畳する、ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記提案を表すアイコンは、フォーカス調整用リングを動かす方向を表すアイコンである、ことを特徴とする請求項１２に記載の画像処理装置。
前記表示制御手段は、前記変倍した画像の枠に、前記デフォーカス情報を重畳して表示する、ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報は、撮影光学系の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて得られる、ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報は、異なる複数の視点または異なる複数の合焦位置を有する複数の画像に基づいて得られる、ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
前記第１のデフォーカス範囲又は前記第２のデフォーカス範囲のデフォーカス情報は、光または音波の信号に基づいて得られる、ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
前記デフォーカス情報は焦点のずれ量およびずれの方向を含む、ことを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理装置。
取得手段が、画像を逐次取得する取得工程と、
表示制御手段が、前記取得された画像と、画像内のデフォーカス情報とを重畳して、表示手段に表示する表示制御工程と、を有し、
前記表示制御工程では、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在する場合、合焦する被写体のデフォーカス範囲の少なくとも一部を含む第１のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳し、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在しない場合は、前記合焦する被写体が存在しない変倍する領域に係るデフォーカス範囲の少なくとも一部を含む第２のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳する、ことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。