JP7422843B2 - 画像処理装置およびその制御方法ならびにプログラム - Google Patents

画像処理装置およびその制御方法ならびにプログラム Download PDF

Info

Publication number
JP7422843B2
JP7422843B2 JP2022177361A JP2022177361A JP7422843B2 JP 7422843 B2 JP7422843 B2 JP 7422843B2 JP 2022177361 A JP2022177361 A JP 2022177361A JP 2022177361 A JP2022177361 A JP 2022177361A JP 7422843 B2 JP7422843 B2 JP 7422843B2
Authority
JP
Japan
Prior art keywords
defocus
image
range
information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022177361A
Other languages
English (en)
Other versions
JP2023010751A (ja
Inventor
慎吾 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022177361A priority Critical patent/JP7422843B2/ja
Publication of JP2023010751A publication Critical patent/JP2023010751A/ja
Application granted granted Critical
Publication of JP7422843B2 publication Critical patent/JP7422843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。
従来、デジタルカメラ等の撮像装置では、ユーザが被写体の合焦状態を確認しながら撮影を行うことができるように、液晶ディスプレイ(LCD)などの表示素子を用いた電子ビューファインダー(EVF)に、現在の合焦状態を表示する技術が知られている。
特許文献1には、ユーザが合焦位置を調整している間に、レンズの絞りを開放側に制御したり、画像の一部分を拡大して表示したりする技術が開示されている。特許文献1によれば、合焦位置を調整する際に拡大表示した画面を確認することにより、精度良く合焦位置の調整を行うことが可能になる。
特開2006-54536号公報
しかしながら、特許文献1に開示される技術では、拡大画面内に合焦領域が含まれていない場合、被写体が前ボケなのか後ボケなのかユーザには判断が付きづらいため、ピント位置を調整するのは容易ではない。
本発明は、上記課題に鑑みてなされ、その目的は、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能な技術を提供することにある。
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像を逐次取得する取得手段と、前記取得された画像と、前記画像内のデフォーカス情報とを重畳して、表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在する場合、合焦する被写体のデフォーカス範囲の少なくとも一部を含む第1のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳し、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在しない場合は、前記合焦する被写体が存在しない変倍する領域に係るデフォーカス範囲の少なくとも一部を含む第2のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳する、ことを特徴とする。
本発明によれば、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能になる。
実施形態1における画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態1における撮像部の構成の一例を模式的に示す図 実施形態1における画像処理部の機能構成例を示すブロック図 実施形態1におけるデフォーカス情報重畳処理に係る一連の動作を示すフローチャート 実施形態1における入力画像、エッジ信号、およびデフォーカスマップの一例を示す図 実施形態1における入力画像および拡大画像のデフォーカス量のヒストグラムを説明する図 実施形態1における拡大前の画像と拡大後の加工画像の一例を説明する図 実施形態2におけるデフォーカスマップの一例を示す図 実施形態2における入力画像および拡大画像のデフォーカス量のヒストグラムを説明する図 実施形態2における拡大前の画像と拡大後の加工画像の一例を説明する図 デフォーカス情報の一例としてアイコンを表示する際の一例を説明する図 実施形態2におけるデフォーカス情報重畳処理に係る一連の動作を示すフローチャート
(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、デジタルカメラなどの撮影装置を用いて、ユーザがEVFを見ながら画像を変倍(例えば拡大)表示してフォーカス調整を行い、人物を撮影するようなユースケースを例に説明する。しかし、本実施形態は、撮影された画像を取得して表示し、ユーザがフォーカス調整を行うための情報を画像とともに表示可能な画像処理装置にも適用可能である。また、画像処理装置は、例えば、デジタルカメラを遠隔制御可能であり、デジタルカメラで撮影される画像を取得して画像処理装置に表示させ、ユーザが当該装置を操作してデジタルカメラのフォーカス調整を行う場合にも適用可能である。画像処理装置には、デジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。
また、以下の説明では、フォーカス調整用の操作部材を操作する(例えばレンズのフォーカス調整用リングを動かす)ことでフォーカス調整を行うMF(マニュアルフォーカス)で撮影を行う場合を例に説明する。しかし、本実施形態は、AF(オートフォーカス)撮影時に表示画面の一部を拡大してピントを確認するような他のユースケースにも適用可能である。
(デジタルカメラの構成)
図1は、本実施形態の画像処理装置の一例としてのデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
光学系101は、ズームレンズやフォーカスレンズを含むレンズ群、光量を調整する絞り調整装置、および、シャッター装置を備えている。この光学系101は、レンズ群を光軸方向に進退させることにより、撮像部102に到達する被写体像の倍率やピント位置を調整する。
撮像部102は、光学系101を通過した被写体の光束を光電変換し電気信号に変換するCCD或いはCMOSセンサ等の光電変換素子を含み、所定の時間間隔で電気信号に変換されたアナログ画像信号を出力する。本実施形態に係る撮像部102は、図2(A)に示すような画素配列を有し、この画素配列では、個々の画素202が二次元状に規則的に配列されている。画素配列を構成する画素202は、図2(B)に示すように、マイクロレンズ201と一対の光電変換部203、204から構成される。一対の光電変換部203、204とは、それぞれ、光学系101の射出瞳の異なる領域を通過した光束を受光して光電変換を行う。このため、光電変換部203側に基づく画像信号(例えばA像という)と光電変換部204側に基づく画像信号(例えばB像という)とは被写体像に位相差を有する。撮像部102は、例えばA像とB像のアナログ画像信号を出力する。
A/D変換部103は、撮像部102から出力されたアナログ画像信号をデジタル画像信号に変換する。画像処理部104は、撮像部102からのデジタル画像信号に通常の信号処理、および後述するデフォーカス情報の重畳処理を行う。ここで通常の処理信号は、例えば、ノイズ低減処理や現像処理、ガンマ変換による階調圧縮処理によって所定の出力レンジに階調圧縮する処理などを含む。なお、制御部105が画像処理部104を包含し、画像処理部104の機能を兼ね備えてもよい。
制御部105は、例えばCPUやMPUなどのプロセッサを含み、不揮発性メモリ108に記録されたプログラムを揮発性メモリ109に展開し、実行することにより、デジタルカメラ100が備える各ブロックの動作を制御する。例えば、制御部105は、適正な明るさを持つ入力画像を得る為の撮影時の露光量を算出し、算出した露光量を実現するために光学系101と撮像部102を制御して、絞り、シャッタースピード、センサのアナログゲインを制御する。また、制御部105は、後述するデフォーカス情報重畳処理の一部(画像処理部104を兼ねる場合には全部)を実行する。
表示部106は、画像処理部104から出力される画像信号をLCDなどの表示用部材に逐次表示する。記録部107は、例えば、半導体メモリ等の記録媒体を含み、撮像部102で撮像され、画像処理部104等で所定の処理が施された画像を記録する。半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた着脱可能な情報記録媒体を含んでもよい。
(画像処理部の構成)
次に、図3を参照して、本実施形態に係る画像処理部104の構成について説明する。なお、画像処理部104の各ブロックは、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。また、複数の機能ブロックが統合され又は1つの機能ブロックが分離されてもよい。
信号処理部301は、ノイズ低減処理や現像処理など、上述の通常の信号処理を行う。なお、信号処理部301は、A像とB像の信号を合成して1つの画像信号を扱ってよい。撮影情報取得部302は、撮影時にユーザが設定した撮影モードや、焦点距離、絞り値、露光時間などの各種情報を、例えば制御部105を介して不揮発性メモリ108又は揮発性メモリ109から取得して、デフォーカス演算部304に提供する。
エッジ生成部303は、信号処理部301から出力された画像信号から、エッジ信号を生成する。デフォーカス演算部304は、A像とB像の画像信号を取得する。デフォーカス演算部304は、光学系101の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて、撮像された画像におけるデフォーカスの分布(すなわち焦点のずれ量とそのずれの方向)を示すデフォーカスマップを生成する。
領域情報取得部305は、ユーザが設定した拡大表示における領域の位置の情報を取得する。表示制御部306は、信号処理部301、エッジ生成部303、デフォーカス演算部304、領域情報取得部305の出力を用いて、画像に関するデフォーカス情報を当該画像に重畳した加工画像を生成して表示部106に表示するように表示制御を行う。
(デフォーカス情報重畳処理に係る一連の動作)
次に、図4を参照して、本実施形態に係るデフォーカス情報重畳処理の一連の動作について説明する。このデフォーカス情報重畳処理は、例えば、静止画撮影時に、EVFに画像を拡大表示して(ピント調整のための)ピント状態を把握する際に実行される。なお、図4に示す処理は、特に説明する場合を除き画像処理部104の各部によって実行される例を説明するが、制御部105が画像処理部104を包含して不揮発性メモリ108のプログラムを揮発性メモリ109に展開、実行することにより実現されてもよい。また、本処理は、取得した画像1フレームに対する処理であり、取得した画像が図5(A)に示す入力画像501である場合を例に説明する。入力画像501は、例えば、中央に人物503が立っており、その手前右側には木502があるシーンを撮影した画像である。
S401では、エッジ生成部303は、入力画像501に対してBpf(バンドパスフィルタ)を適用することにより、エッジ信号を生成する。具体的には、エッジ生成部303は、水平方向および垂直方向それぞれに[-1 0 2 0 -1]のフィルタを適用した信号を加算する。なお、エッジ信号の生成方法としてはこれに限らず、Lpf(ローパスフィルタ)を適用した画像と元の画像との差分をとることでエッジ成分を抽出するなど、他の方法であっても良い。図5(B)に示す画像504は、エッジ生成部303によって得られるエッジ信号を示している。
S402では、デフォーカス演算部304は、入力画像501に対するデフォーカスマップを生成する。デフォーカス演算部304は、例えば特開2016-9062号公報に開示される公知の手法を用いることができ、画素毎にデフォーカス量(すなわち焦点のずれ量とそのずれの方向を示す)を算出しデフォーカスマップとして扱う。図5(C)に示す画像511は、デフォーカス演算部304によって生成されるデフォーカスマップの一例を示している。デフォーカスマップの画像511において、手前右の木512の領域が合焦を示す範囲の値を取っており、中央の人物513は後ボケの非合焦を示す範囲の値を有する。ガイド514は、デフォーカス量(すなわち焦点のずれ量とそのずれの方向)のうち、デフォーカスマップの各画素値がどのような焦点のずれ量及びその方向に対応するかを示す。
S403では、デフォーカス演算部304は、第1の表示デフォーカス範囲を算出する。第1の表示デフォーカス範囲は、例えば静止画撮影時に被写界深度に含まれると判断されるデフォーカスの値域である。この範囲は、入力画像501に対して撮影情報取得部302が取得した絞り値をF、撮像部102の画素数および大きさに依存する許容錯乱円径の値をδとし、範囲の上限値および下限値をそれぞれ+Fδ、-Fδとすると、図6(A)に示すようになる。図6(A)は、デフォーカスマップの画像511に示したデフォーカスのヒストグラムを示したものであり、縦軸は頻度(画素の数)、横軸はデフォーカス量を表す。図中破線で示すデフォーカス量はデフォーカスの値が0であることを示す。デフォーカス量が0である場合、ピントが最も合っており、+の値は前ボケの方向に合焦度合が変化し、所定以上の値になると非合焦となる。一方、-の値は後ボケの方向に合焦度合が変化し、所定以上の値になると非合焦となる。すなわち、デフォーカスの値が-Fδ~+Fδの範囲に含まれる領域を被写界深度内(すなわち第1の表示デフォーカス範囲)に含まれると判定することができる。
S404では、制御部105は、ユーザにより表示画像を変倍する指示(ここでは拡大表示の指示)がなされているかを判定する。制御部105は、拡大表示の指示を受け付けた場合にはS407に進み、指示されていない場合にはS405へ進む。
S405では、表示制御部306は、入力画像501に対してピーキングを重畳した加工画像を生成する。例えば、表示制御部306は、S401で生成したエッジ信号が所定の値以上であり、かつS402で生成したデフォーカス量が第1の表示デフォーカス範囲に含まれる領域に、入力画像501にピーキング(合焦範囲を表す色、例えば緑色の信号)を重畳する。図7の加工画像701は、ピーキングを重畳した結果得られる加工画像の一例を示したものであり、手前右の木702のエッジ領域のみ緑色の信号を重畳させて目立たせている(太線)。逆に中央の人物703には緑色が重畳されておらず(細線)、この領域は被写界深度外であることを示す。
S406では、表示制御部306は、生成した加工画像701を表示部106に表示させるように制御する。これにより、ユーザは緑色のエッジを確認することで、現在のピント状態では、手前右の木702が深度内であること(及び人物703が深度外であること)を容易に把握することができる。
S407では、デフォーカス演算部304は、領域情報取得部305から拡大領域の情報を取得し、取得した領域におけるデフォーカスマップをもとに、第2の表示デフォーカス範囲を算出する。ここで、第2の表示デフォーカス範囲は、例えば、変倍画像(ここでは拡大領域)の被写体の全体あるいは一部に合焦するためにユーザに表示するデフォーカスの値域である。今回の拡大領域は、例えば、人物のいる図7(A)の一点鎖線の枠704の内部とする。この領域のデフォーカス量は第1の表示デフォーカス範囲に含まれていないため、デフォーカス演算部304は、第2の表示デフォーカス範囲を広くする。第2のデフォーカス範囲を広くすることで、拡大領域の被写体を第2の表示デフォーカス範囲に含めることができる。この範囲は、拡大領域におけるデフォーカス量の絶対値の最大値をFvとしたとき、-Fv以上+Fv以下を第2の表示デフォーカス範囲とすることにより算出することができる。このようにすれば、拡大領域の被写体を必ず第2の表示デフォーカス範囲に含めることができる。この第2の表示デフォーカスの領域は、図6(B)に示すようになる。なお、第2の表示デフォーカス範囲の算出方法はこの限りではなく、例えば拡大領域の半分が第2の表示デフォーカス範囲になるようにFvを決めても良い。
S408では、表示制御部306は、変倍画像(すなわち拡大領域)に対してピーキングを重畳した表示用の加工画像を生成する。具体的には、拡大領域のうちのS401で生成したエッジ信号が所定の値以上であり、かつ第2デフォーカス範囲である部分に対して、ピーキング(ここではデフォーカス値に対応する色、例えば多色の信号)を重畳する。図7(B)に示す画像711は、拡大領域に対してピーキングを重畳した結果の画像を示したものである。すなわち、拡大前はピーキングされていなかった中央の人物712に、後ボケを示す青色のピーキング(太線)が重畳されている。そのため、ユーザは拡大領域のボケが前ボケか後ボケか(すなわちボケの方向)を区別することができる。
このとき、表示制御部306は、表示する色とデフォーカス量(焦点のずれ量および方向)の対応関係を容易に把握できるように、拡大領域にガイド713を重畳させる。ガイド713の形状は、図7(B)の画像711に示した縦長の長方形に限らず、横長の長方形や円形、扇形でも良く、色とデフォーカス量の対応関係が示されていれば良い。また、ガイド713の位置は被写体と重ならないように、被写体の表示されていない部分に配置しても良い。
S409では、表示制御部306が生成した加工画像(加工済み拡大領域711)を表示部106に表示するように制御する。加工済み拡大領域711には、後ボケを示す青色のピーキングが人物712に重畳されており、拡大画像における被写体のピント情報をユーザに表示することができる。ここでピント情報とは、ユーザが現在のフォーカス状態を容易に把握可能であり、拡大画像の一部あるいは全体に合焦することをアシストする情報である。
なお、本実施形態では、エッジの加工方法の一例として表示制御部306が画像に色信号を重畳する場合を例に説明した。しかし、エッジの輝度や彩度をデフォーカス量に応じて変化させるなど、他の加工方法を用いても良い。このとき、拡大前後で同一のエッジ加工方法を使用しても良い。そうすることで、ユーザの理解し易いピント情報を表示することができる。
また、本実施形態では、エッジを加工してピント情報を重畳したが、表示制御部306は、他の表示態様でピント情報を重畳しても良い。例えば、拡大領域の大部分が前ボケであるときは、前ボケ領域の平均デフォーカス量に対応する赤色を拡大領域の外枠に重畳しても良い。こうすることで、被写体が見づらくならないようにピント情報を重畳できる。
更に、表示制御部306は、前ボケを示すアイコンを画面に重畳しても良い。アイコンの形状例としては、図11の拡大領域1101のように、例えば、より合焦した画像にフォーカス調整するための、フォーカス調整用リングを動かす方向を示す回転矢印1102としても良い。回転矢印1102を重畳することで、ユーザはデフォーカス調整用リングの直感的な操作が可能となる。換言すれば、このようなアイコンは、ユーザが行うフォーカス調整用の操作に対する提案を表す表示であり、より適切なフォーカス調整を行うようにユーザを誘導することもできる。
また、表示制御部306は、ピント情報を、画像の所定方向における位置とデフォーカス量の関係を表す波形として重畳しても良い。
更に、拡大表示してから所定時間経過したことに応じて、表示制御部306は、拡大領域に対するピント情報を重畳しないようにしてもよい。また、上述の、拡大表示においてピント情報を複数の色で区別可能に表示する多色ピーキング表示を行った場合に、拡大表示してから所定時間経過したことに応じて、多色ではなく色の数を減らして(例えば1色のみ)を重畳するようにしてもよい。また、第2の表示デフォーカス範囲を狭くして重畳領域を少なくするなど、重畳する情報量を低下させても良い。こうすることで、ピント情報の重畳による被写体の見づらさやユーザの認知的負荷を軽減することができる。
また、表示制御部306は、フォーカス調整用の操作部材に対する指示が停止しているとき(例えばフォーカス調整用リングやフォーカス調整用のUIの操作の停止時)に、被写体のピント情報を重畳しても良い。被写体が前ボケか後ボケかユーザにとって不明であるとき、フォーカス調整の指示(例えばフォーカス調整用リング)は停止すると考えられる。表示制御部306は、フォーカス調整の指示(例えばフォーカス調整用リング)の停止している場合にピント情報を重畳することで、ユーザに必要な情報を、必要なタイミングで表示することができる。このようにすれば、フォーカス調整中に被写体が見づらくなることを防ぐ効果もある。
更に、本実施形態では、ある瞬間の静止画撮影シーンに対する処理を例として説明した。しかし、実際には被写体が移動したり、ユーザがピント調整したりするため、撮影中の被写体のデフォーカス量は変化する。したがって、表示制御部306は、ピント情報の表示中に被写体のデフォーカス量が変化したと判定した場合は、拡大領域のデフォーカス量に基づいて第2の表示デフォーカス範囲を変更しても良い。こうすることで、継続的に拡大領域のピント情報を表示できる。
また、本実施形態では、拡大領域のデフォーカス範囲に基づいて第2の表示デフォーカス範囲を決定した。しかし、第2の表示デフォーカスを調整するダイアルやスイッチといった操作部材によりユーザが調整できるようにしても良い。
更に、本実施形態では、距離情報を取得する構成として図2(A)に示したような、撮影光学系の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて生成する構成について説明した。しかし、他の構成を代用あるいは併用しても良い。例えば複数のレンズおよび撮像素子を有する複眼カメラの構成とすることで、異なる複数の視点または異なる複数の合焦位置を有する複数の画像に基づき、より精度の良い像ずれ量を検出できるようにしても良い。また、TOF(Time Of Flight)カメラや超音波により距離が計測可能な構成とすることでデフォーカス情報を取得し、模様の変化が乏しい被写体に対する測距性能を向上することが可能となる。
以上説明したように、本実施形態によれば、画面拡大時に、被写体のデフォーカス量に応じたピント情報を変倍した画像に重畳して表示する。このようにすることで、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能になる。また、ユーザがピント状態を容易に把握できることで撮影時のユーザのピント調整負荷を抑えることができる。
(実施形態2)
次に、実施形態2について説明する。実施形態2では、第2の表示デフォーカス範囲を第1の表示デフォーカス範囲より狭くすることで、拡大画面の特にピントの合っている被写体を確認し易くする例を示す。本実施形態では、デフォーカス情報重畳処理の一部が実施形態1と異なるが、本実施形態のデジタルカメラ100の構成は、実施形態1と実質的に同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。以下、本実施形態に係るデフォーカス情報重畳処理について説明する。
(デフォーカス情報重畳処理に係る一連の動作)
このデフォーカス情報重畳処理は、実施形態1と同様、例えば、静止画撮影時に、EVFに画像を拡大表示して、(ピント調整のための)ピント状態を把握する際に実行される。なお、本処理は、特に説明する場合を除き画像処理部104の各部によって実行される例を説明するが、制御部105が画像処理部104を包含して不揮発性メモリ108のプログラムを揮発性メモリ109に展開、実行することにより実現されてもよい。また、本処理は、取得した画像1フレームに対する処理であり、取得した画像が図5(A)に示す入力画像501である場合を例に説明する。但し、実施形態1で示した例と異なり、中央の人物に合焦しているものとする。
実施形態1と同様に、画像処理部104に係る各部や制御部105がS401~S406の処理を行う。なお、本実施形態の入力画像では中央の人物にピントが合っているため、S402において生成されるデフォーカスマップは実施形態1で示したものと異なる。図8に示す画像801は、本実施形態で得られるデフォーカスマップを示している。中央の人物803は合焦を示す値を取っており、手前右の木802は前ボケの非合焦を示している。ガイド804は表示する色とデフォーカス量の対応関係を示している。
また、S403の処理で用いられる、図8に示したデフォーカスマップに対するヒストグラムは、例えば、図9(A)に示すようになる。更に、S405の処理では、その処理の結果として、図10に示す画像1001が得られる。S405の処理では、表示制御部306は、中央の人物1003のエッジ領域を目立たせる(太線)ことで、ユーザは中央の人物が被写界深度内にいることを確認することができる。S404の処理において、制御部105は、拡大表示がONであると判定した場合、S1201に処理を進める。
以降のS1201~1204の処理において、実施形態1のS407に相当するように、第2の表示デフォーカス範囲を算出する。但し、上述のように、本実施形態で算出する第2の表示デフォーカス範囲は実施形態1と異なる。そして、実施形態1の算出方法と、本実施形態の算出方法のどちらを利用するかを、第1の表示デフォーカス範囲と拡大領域のデフォーカスマップの値に基づいて決定する。
具体的には、S1201では、デフォーカス演算部304は、第1の表示デフォーカス範囲にある拡大領域の画素数を算出する。S1202にて、デフォーカス演算部304は、算出した画素数が所定の数より大きいか否か判定し、大きいと判定した場合はS1203に進み、小さいと判定した場合はS1204へ進む。換言すれば、S1201~1202の処理により、拡大領域に、所定サイズの合焦している領域が含まれるかを判定し、拡大領域に合焦している領域が含まれる場合、S1203の処理を通して、(より詳細に)特に合焦しているデフォーカス範囲をユーザに示す。一方、拡大領域に合焦している領域が含まれない場合、S1204の処理を通じて(より広範囲な)デフォーカス範囲を設定して拡大領域に表示される被写体を含むようにデフォーカス範囲を変更する。
S1203では、デフォーカス演算部304は、第2の表示デフォーカス範囲を第1の表示デフォーカス範囲より狭くするように算出する。S1204では、デフォーカス演算部304は、第2の表示デフォーカス範囲が第1の表示デフォーカスより広くなるように算出する。このように算出方法を動的に決定することで、拡大領域のデフォーカス量に応じて第2の表示デフォーカス範囲を適切に決定することができる。
例えばS1203で処理する拡大領域は、図10の一点鎖線の枠1004の内部であり、拡大領域のデフォーカスマップは図9(B)のようになる。第1の表示デフォーカス範囲内にある拡大領域の画素数は0より多いため、第2の表示デフォーカス範囲は、第1の表示デフォーカス範囲より狭くなるように算出される。具体的な算出方法としては、デフォーカス演算部304は、例えば、Fδを基準として、-1/5Fδ以上であって+1/5Fδ以下の範囲を第2の表示デフォーカス範囲とする。
S408では、表示制御部306は、拡大領域に対しピーキングを重畳する。具体的には、S401で生成したエッジ信号が所定の値以上であり、かつS402で生成したデフォーカス量が第2の表示デフォーカス範囲に含まれる領域に対して、拡大領域に緑色の信号を重畳する。図10(B)の拡大領域1011は、表示制御部306の加工処理の結果として得られる画像を示している。拡大前よりもピーキングされる領域が小さくなるため、人物全体1012には緑色が重畳されず(細線)、人物の瞳付近1013に緑色が重畳され目立つ(太線)ことが分かる。その後、表示制御部306が実施形態1と同様にS409の処理を行い、その後、本一連の処理を終了する。
なお、上述の処理では、表示される画像を拡大した際の拡大領域が第1の表示デフォーカス範囲を含むか否かに応じて、第2の表示デフォーカスの範囲を第1の表示デフォーカス範囲より狭くしたり広くしたりするようにした。更に、一旦拡大表示した拡大領域から(入力画像の画角に近づくように)拡大率を縮小する場合に表示デフォーカス範囲を変更してもよい。すなわち、図7に示す拡大領域711から加工画像701に戻す方向に拡大率を縮小し、画像内に第1の表示デフォーカス範囲を含んだことに応じて、拡大されていた第2の表示デフォーカス範囲を、より狭い第1の表示デフォーカス範囲に変更してもよい。
以上説明したように、本実施形態によれば、拡大領域が合焦状態のデフォーカス範囲に含まれる場合に、被写体のより狭い範囲がピーキングされて、拡大時の被写体における、特にピントが合っている部分をユーザに表示することができる。すなわち、ユーザがフォーカス調整を行う際に画像を変倍する場合であってもピント状態の把握を容易にすることが可能になる。また、ユーザがピント状態を容易に把握できることで撮影時のユーザのピント調整負荷を抑えることができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104…画像処理部、105…画像処理部、303…エッジ生成部、304…デフォーカス演算部、305…領域情報取得部、306…表示制御部

Claims (20)

  1. 画像を逐次取得する取得手段と、
    前記取得された画像と、前記画像内のデフォーカス情報とを重畳して、表示手段に表示する表示制御手段と、を有し、
    前記表示制御手段は、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在する場合、合焦する被写体のデフォーカス範囲の少なくとも一部を含む第1のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳し、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在しない場合は、前記合焦する被写体が存在しない変倍する領域に係るデフォーカス範囲の少なくとも一部を含む第2のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳する、ことを特徴とする画像処理装置。
  2. 前記表示制御手段は、前記合焦する被写体が前記変倍する領域内に存在しない場合、前記第1のデフォーカス範囲より広い前記第2のデフォーカス範囲のデフォーカス情報を前記変倍した画像に重畳する、ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記表示制御手段は、前記合焦する被写体が前記変倍する領域内に存在する場合、前記第2のデフォーカス範囲より狭い前記第1のデフォーカス範囲デフォーカス情報を前記変倍した画像に重畳する、ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記表示制御手段は、前記変倍した画像を表示中に前記変倍した画像の領域のデフォーカス範囲が変化したことに応じて、前記第2のデフォーカス範囲を変更する、ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記表示制御手段は、前記取得された画像におけるエッジ信号を用いて、前記デフォーカス情報を重畳する、ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記表示制御手段は、前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報を重畳して前記表示手段に表示してから所定時間経過したことに応じて、該デフォーカス情報の情報量を低下させる、ことを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  7. 前記表示制御手段は、前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報を重畳して前記表示手段に表示してから所定時間経過したことに応じて、該デフォーカス情報を重畳しないようにする、ことを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  8. 前記表示制御手段は、前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報を複数の色で区別可能に表示する多色ピーキング表示を行い、該デフォーカス情報を前記変倍した画像に重畳して前記表示手段に表示してから前記所定時間経過したことに応じて、該デフォーカス情報の前記複数の色の数を減らす、ことを特徴とする請求項6に記載の画像処理装置。
  9. 前記表示制御手段は、前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報を複数の色で区別可能に表示する多色ピーキング表示を行い、該デフォーカス情報を前記変倍した画像に重畳して前記表示手段に表示してから前記所定時間経過したことに応じて、デフォーカス範囲を狭くしたデフォーカス情報を表示する、ことを特徴とする請求項6に記載の画像処理装置。
  10. 前記表示制御手段は、表示する前記デフォーカス情報の色とデフォーカス量の対応関係を示すガイドを前記画像に重畳する、ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記表示制御手段は、フォーカス調整用の操作部材に対する指示が停止している場合、前記第2のデフォーカス範囲のデフォーカス情報を前記変倍した画像に重畳して表示し、フォーカス調整用の操作部材に対する指示が行われている場合、該デフォーカス情報を前記変倍した画像に重畳して表示しない、ことを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  12. 前記表示制御手段は、ユーザが行うフォーカス調整用の操作に対する提案を表すアイコンを、前記変倍した画像に重畳する、ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  13. 前記提案を表すアイコンは、フォーカス調整用リングを動かす方向を表すアイコンである、ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記表示制御手段は、前記変倍した画像の枠に、前記デフォーカス情報を重畳して表示する、ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  15. 前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報は、撮影光学系の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて得られる、ことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。
  16. 前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報は、異なる複数の視点または異なる複数の合焦位置を有する複数の画像に基づいて得られる、ことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。
  17. 前記第1のデフォーカス範囲又は前記第2のデフォーカス範囲のデフォーカス情報は、光または音波の信号に基づいて得られる、ことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。
  18. 前記デフォーカス情報は焦点のずれ量およびずれの方向を含む、ことを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置。
  19. 取得手段が、画像を逐次取得する取得工程と、
    表示制御手段が、前記取得された画像と、画像内のデフォーカス情報とを重畳して、表示手段に表示する表示制御工程と、を有し、
    前記表示制御工程では、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在する場合、合焦する被写体のデフォーカス範囲の少なくとも一部を含む第1のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳し、前記表示手段に表示する画像において合焦する被写体が、変倍する領域内に存在しない場合は、前記合焦する被写体が存在しない変倍する領域に係るデフォーカス範囲の少なくとも一部を含む第2のデフォーカス範囲のデフォーカス情報を該領域を変倍した画像に重畳する、ことを特徴とする画像処理装置の制御方法。
  20. コンピュータを、請求項1乃至18のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2022177361A 2018-11-14 2022-11-04 画像処理装置およびその制御方法ならびにプログラム Active JP7422843B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022177361A JP7422843B2 (ja) 2018-11-14 2022-11-04 画像処理装置およびその制御方法ならびにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018214137A JP7173841B2 (ja) 2018-11-14 2018-11-14 画像処理装置およびその制御方法ならびにプログラム
JP2022177361A JP7422843B2 (ja) 2018-11-14 2022-11-04 画像処理装置およびその制御方法ならびにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018214137A Division JP7173841B2 (ja) 2018-11-14 2018-11-14 画像処理装置およびその制御方法ならびにプログラム

Publications (2)

Publication Number Publication Date
JP2023010751A JP2023010751A (ja) 2023-01-20
JP7422843B2 true JP7422843B2 (ja) 2024-01-26

Family

ID=70550978

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018214137A Active JP7173841B2 (ja) 2018-11-14 2018-11-14 画像処理装置およびその制御方法ならびにプログラム
JP2022177361A Active JP7422843B2 (ja) 2018-11-14 2022-11-04 画像処理装置およびその制御方法ならびにプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018214137A Active JP7173841B2 (ja) 2018-11-14 2018-11-14 画像処理装置およびその制御方法ならびにプログラム

Country Status (2)

Country Link
US (1) US10979620B2 (ja)
JP (2) JP7173841B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195198A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、撮像装置
US20220191401A1 (en) * 2019-03-27 2022-06-16 Sony Group Corporation Image processing device, image processing method, program, and imaging device
JP7210388B2 (ja) * 2019-06-25 2023-01-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096641A (ja) 2002-09-03 2004-03-25 Canon Inc 撮像装置及びその制御方法
JP2013142725A (ja) 2012-01-06 2013-07-22 Canon Inc 画像表示装置、それを有する撮像装置、画像表示方法、プログラム、それを記憶した記憶媒体
JP2014178643A (ja) 2013-03-15 2014-09-25 Olympus Imaging Corp 表示機器
JP2016065998A (ja) 2014-09-25 2016-04-28 株式会社ニコン 撮像装置及び撮像プログラム
JP2018163365A (ja) 2018-06-07 2018-10-18 株式会社ニコン 画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127244A (ja) * 1991-11-07 1993-05-25 Nikon Corp 焦点状態を表示する表示装置
JP2003090952A (ja) 2001-09-17 2003-03-28 Canon Inc 撮像装置
JP2006054536A (ja) 2004-08-10 2006-02-23 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP5478935B2 (ja) 2009-05-12 2014-04-23 キヤノン株式会社 撮像装置
JP2014123848A (ja) 2012-12-20 2014-07-03 Sony Corp 表示制御装置および表示制御方法
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
JP6245892B2 (ja) 2013-08-21 2017-12-13 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP6620394B2 (ja) 2014-06-17 2019-12-18 ソニー株式会社 制御装置、制御方法及びプログラム
JP6320195B2 (ja) 2014-06-24 2018-05-09 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6576171B2 (ja) * 2015-09-02 2019-09-18 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
US10062353B2 (en) * 2016-06-27 2018-08-28 Intel Corporation System to compensate for visual impairment
JP6717690B2 (ja) 2016-07-01 2020-07-01 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
JP2019176249A (ja) 2018-03-27 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096641A (ja) 2002-09-03 2004-03-25 Canon Inc 撮像装置及びその制御方法
JP2013142725A (ja) 2012-01-06 2013-07-22 Canon Inc 画像表示装置、それを有する撮像装置、画像表示方法、プログラム、それを記憶した記憶媒体
JP2014178643A (ja) 2013-03-15 2014-09-25 Olympus Imaging Corp 表示機器
JP2016065998A (ja) 2014-09-25 2016-04-28 株式会社ニコン 撮像装置及び撮像プログラム
JP2018163365A (ja) 2018-06-07 2018-10-18 株式会社ニコン 画像処理装置

Also Published As

Publication number Publication date
US20200154056A1 (en) 2020-05-14
US10979620B2 (en) 2021-04-13
JP2023010751A (ja) 2023-01-20
JP2020088403A (ja) 2020-06-04
JP7173841B2 (ja) 2022-11-16

Similar Documents

Publication Publication Date Title
JP7422843B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
US10681286B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
JP4497211B2 (ja) 撮像装置、撮像方法及びプログラム
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
CN108462830B (zh) 摄像装置及摄像装置的控制方法
JP6789833B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102157491B1 (ko) 화상 처리장치, 촬상장치 및 이들의 제어방법과, 기억매체
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP5947601B2 (ja) 焦点検出装置、その制御方法および撮像装置
KR20190068618A (ko) 단말기를 위한 촬영 방법 및 단말기
JP6464118B2 (ja) 焦点検出装置および方法、撮像装置、およびレンズユニット
JP7158180B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2015204470A (ja) 撮像装置およびその制御方法ならびにプログラム
JP7198055B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2015233211A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2012124650A (ja) 撮像装置および撮像方法
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
WO2017163588A1 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP7225281B2 (ja) 撮像装置、撮像装置の制御方法、コンピュータのプログラムおよび記録媒体
JP5968026B2 (ja) 撮像装置及びその制御方法
JP2010028219A (ja) 撮影装置
WO2014136703A1 (ja) 撮像装置及び画像表示方法
JP2018022984A (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2013149043A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240116

R151 Written notification of patent or utility model registration

Ref document number: 7422843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151