以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る画像処理方法
2.本実施形態に係る画像処理装置
3.本実施形態に係るプログラム
(本実施形態に係る画像処理方法)
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。
本実施形態に係る画像処理装置は、処理対象の画像(以下、「対象画像」と示す。)における合焦度合いの提示を制御する(提示制御処理)。
本実施形態に係る画像処理装置は、対象画像における画素単位での合焦度合いの判定結果(以下、「第1の判定結果」と示す場合がある。)と、対象画像における領域単位での合焦度合いの判定結果(以下、「第2の判定結果」と示す場合がある。)とに基づいて、対象画像における合焦度合いの提示を制御する。
ここで、本実施形態に係る対象画像とは、例えば、複数の撮像素子を有する撮像デバイスにより生成された撮像画像である。本実施形態に係る撮像画像としては、例えば、スルー画像(撮像デバイスにより生成された画像が、記録媒体に記録されずに表示画面に表示される画像。いわゆるライブビューなどで利用される画像。)や、記録媒体から読み出された撮像デバイスにより生成された画像が挙げられる。以下では、本実施形態に係る対象画像が、スルー画像である場合を例に挙げる。
また、本実施形態に係る“対象画像における合焦度合いの提示の制御”としては、例えば、対象画像に基づく画像(以下、「提示画像」と示す。)を生成させる生成制御が挙げられる。
本実施形態に係る提示画像とは、第1の判定結果と第2の判定結果との一方または双方に基づく提示の仕方によって合焦度合いが表された画像である。本実施形態に係る提示画像としては、例えば下記に示す画像が挙げられる。
・第1の判定結果に基づく画素単位での合焦度合いが表された提示画像
・第2の判定結果に基づく領域単位での合焦度合いが表された提示画像
・第1の判定結果に基づく画素単位での合焦度合い、および第2の判定結果に基づく領域単位での合焦度合いが表された提示画像
本実施形態に係る画像処理装置は、本実施形態に係る生成制御に係る処理として、例えば、提示画像を生成する。また、本実施形態に係る画像処理装置は、本実施形態に係る生成制御に係る処理として、例えば、本実施形態に係る画像処理装置の外部装置(または外部デバイス)に提示画像を生成させる。
本実施形態に係る提示画像の具体例、および本実施形態に係る提示画像の生成に係る処理については、後述する。
本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として生成制御に係る処理を行うことによって、ユーザは、例えば生成された提示画像を見ることにより、対象画像における合焦度合いを把握することが可能となる。よって、本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として生成制御に係る処理を行うことによって、画像における合焦の度合いをユーザに把握させることができる。
なお、本実施形態に係る“対象画像における合焦度合いの提示の制御”は、上記に限られない。
例えば、本実施形態に係る“対象画像における合焦度合いの提示の制御”には、生成された提示画像を表示画面に表示させる表示制御がさらに含まれていてもよい。ここで、本実施形態に係る“対象画像における合焦度合いの提示の制御”に表示制御が含まれる場合、本実施形態に係る提示制御処理は、例えば、提示画像を表示させる表示画面が表示可能な状態であるとき(例えば、電源がオンのとき)に行われる。なお、上記の場合における本実施形態に係る提示制御処理は、上記に限られない。例えば、本実施形態に係る提示制御処理は、提示画像を表示させる表示画面が表示可能な状態でないとき(例えば、電源がオフのとき)であっても、表示画面を表示可能な状態とさせた上で提示画像を表示画面に表示させることが可能である。
本実施形態に係る画像処理装置は、本実施形態に係る表示制御に係る処理として、例えば、生成された提示画像を、本実施形態に係る画像処理装置が備える表示部(後述する)の表示画面に表示する。また、本実施形態に係る画像処理装置は、本実施形態に係る表示制御に係る処理として、例えば、本実施形態に係る画像処理装置の外部の表示装置に、生成された提示画像を表示させる。本実施形態に係る画像処理装置は、例えば、本実施形態に係る画像処理装置が備える通信部(後述する)、または本実施形態に係る画像処理装置に接続された通信デバイスに、提示画像を示すデータと表示命令とを、上記表示装置に対して送信させることによって、上記表示装置に提示画像を表示させる。
なお、本実施形態に係る表示制御に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、生成された提示画像の一部(例えば、提示画像における合焦されている部分)を拡大して表示させてもよい(いわゆる、拡大フォーカスによる提示画像の表示)。また、本実施形態に係る画像処理装置は、例えば、PinP(Picture in Picture)のように、対象画像の一部分に提示画像を表示させるなど、様々な方式で提示画像を表示画面に表示させることが可能である。
以下では、本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として、提示画像の生成に係る処理および表示制御に係る処理を行う場合、すなわち、本実施形態に係る画像処理装置が、提示画像を表示画面に表示させる場合を例に挙げる。
なお、本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として、提示画像の生成に係る処理を行う場合であっても、例えば、ユーザが操作を行うことにより手動で提示画像が表示画面に表示されることによって、後述する本実施形態に係る画像処理装置が提示画像を表示画面に表示させる場合における効果と、同様の効果が奏される。
本実施形態に係る第1の判定結果とは、対象画像に対して画素単位で合焦度合いを判定した結果であり、本実施形態に係る第1の判定結果は、対象画像において合焦されている箇所を示す。本実施形態に係る第1の判定結果としては、例えば、対象画像から検出されたエッジが表されたエッジ画像が挙げられる。
対象画像から画素単位での合焦度合いを判定する処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置において行われてもよい。本実施形態に係る第1の判定結果の一例、および本実施形態に係る画素単位での合焦度合いを判定する処理の一例については、後述する。
また、本実施形態に係る第2の判定結果とは、対象画像に対して、対象画像を分割した領域単位で合焦度合いを判定した結果であり、本実施形態に係る第2の判定結果は、対象画像において合焦されている領域を示す。
本実施形態に係る領域としては、例えば、対象画像を水平方向と垂直方向に分割した矩形の領域が挙げられる。なお、本実施形態に係る領域は、上記に限られず、対象画像を分割する任意の形状の領域であってもよい。以下では、本実施形態に係る領域が、対象画像が水平方向と垂直方向に等分割された矩形の領域である場合を例に挙げる。
また、本実施形態に係る第2の判定結果としては、例えば、領域ごとに合焦の度合いが数値化されたスコアマップに基づき生成される判定画像が挙げられる。本実施形態に係る判定画像は、例えば、スコアマップを構成する各領域のうち、所定の閾値以上の値(または当該閾値よりも大きい値)を有する領域のみを表すことにより生成される。また、本実施形態に係る第2の判定結果には、例えばスコアマップが含まれていてもよい。また、例えば、本実施形態に係る提示制御処理の一環として判定画像を生成する処理が行われる場合には、本実施形態に係る第2の判定結果は、スコアマップであってもよい。
対象画像から領域単位での合焦度合いを判定する処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置において行われてもよい。本実施形態に係る第2の判定結果の一例、および本実施形態に係る領域単位での合焦度合いを判定する処理の一例については、後述する。
本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば下記の(A)〜(C)に示す処理を行って、提示画像を表示画面に表示させる。
(A)画素単位での合焦度合いが表された提示画像を表示させる場合の処理の一例
第1の判定結果に基づく画素単位での合焦度合いが表された提示画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、エッジ画像(第1の判定結果)またはエッジ画像に基づく画像が、対象画像に重畳された画像を、画素単位での合焦度合いが表された提示画像として生成させる。本実施形態に係るエッジ画像に基づく画像としては、例えば、エッジ画像の色彩や色濃度、輝度などを変更した画像など、エッジ画像が示すエッジが変更されないようにエッジ画像が加工された画像が、挙げられる。
本実施形態に係る画素単位での合焦度合いが表された提示画像は、対象画像とエッジ画像(または、エッジ画像に基づく画像。以下、同様とする。)とが合成された画像であってもよいし、対象画像とエッジ画像とが別レイヤで重ねられた画像であってもよい。
そして、本実施形態に係る画像処理装置は、例えば、画素単位での合焦度合いが表された提示画像、すなわち、エッジ画像が対象画像に重畳された提示画像を、表示画面に表示させる。
よって、表示画面に表示された画素単位での合焦度合いが表された提示画像をみたユーザは、対象画像に重畳されたエッジ画像によって、対象画像の細部における合焦度合いを把握することができる。
(B)領域単位での合焦度合いが表された提示画像を表示させる場合の処理の一例
第2の判定結果に基づく領域単位での合焦度合いが表された提示画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、判定画像(第2の判定結果)または判定画像に基づく画像が、対象画像に重畳された画像を、領域単位での合焦度合いが表された提示画像として生成させる。本実施形態に係る判定画像に基づく画像としては、例えば、判定画像の色彩や色濃度、輝度などを変更した画像など、判定画像が加工された画像が挙げられる。
本実施形態に係る領域単位での合焦度合いが表された提示画像は、対象画像と判定画像(または、判定画像に基づく画像。以下、同様とする。)とが合成された画像であってもよいし、対象画像と判定画像とが別レイヤで重ねられた画像であってもよい。
そして、本実施形態に係る画像処理装置は、例えば、領域単位での合焦度合いが表された提示画像、すなわち、判定画像が対象画像に重畳された提示画像を、表示画面に表示させる。
よって、表示画面に表示された領域単位での合焦度合いが表された提示画像をみたユーザは、対象画像に重畳された判定画像によって、合焦されている領域を把握することができる。また、合焦されている領域は、例えば被写界深度(Depth of field)の範囲に対応するので、ユーザは、対象画像に重畳された判定画像によって、被写界深度の範囲を把握することができる。
(C)画素単位での合焦度合い、および領域単位での合焦度合いが表された提示画像を表示させる場合の処理の一例
画素単位での合焦度合いおよび領域単位での合焦度合いが表された提示画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、エッジ画像および判定画像が対象画像に重畳された画像を、提示画像として生成させる。
そして、本実施形態に係る画像処理装置は、例えば、画素単位での合焦度合い、および領域単位での合焦度合いが表された提示画像、すなわち、エッジ画像および判定画像が対象画像に重畳された提示画像を、表示画面に表示させる。
図1は、本実施形態に係る提示画像の一例を示す説明図である。図1は、画素単位での合焦度合い、および領域単位での合焦度合いが表された提示画像の一例を示している。図1に示すAは、対象画像に重畳されたエッジ画像が示すエッジの一例を示している。また、図1に示すBは、対象画像に重畳された判定画像の一例を示している。
例えば表示画面に表示された図1に示す提示画像をみたユーザは、対象画像に重畳されたエッジ画像が示すエッジ(図1のA)によって、対象画像の細部における合焦度合いを把握することができる。よって、提示画像をみたユーザは、対象画像に重畳されたエッジ画像が示すエッジ(図1のA)によって、対象画像において合焦している箇所の細部を視認することができるので、フォーカスの追い込みをより容易に行うことが可能となる。
また、例えば図1に示す提示画像をみたユーザは、対象画像に重畳された判定画像(図1のB)によって、対象画像において合焦している箇所を面で視認することができるので、合焦されている領域(被写界深度の範囲)を把握することができる。また、提示画像をみたユーザは、対象画像に重畳された判定画像(図1のB)によって、対象画像において合焦している箇所を面で視認することができるので、合焦されている領域を、より素早く把握することが可能である。
よって、表示画面に表示された提示画像をみたユーザは、対象画像に重畳されたエッジ画像および判定画像によって、対象画像の細部における合焦度合いと、合焦されている領域(被写界深度の範囲)との双方を把握することができる。また、対象画像の細部における合焦度合いと、合焦されている領域(被写界深度の範囲)との双方を把握することが可能となることによって、ユーザは、例えば、より容易に、かつ、より直感的に、対象画像における合焦の度合いを把握することができる。
また、本実施形態に係る提示画像が、エッジ画像および判定画像が対象画像に重畳された提示画像である場合には、対象画像に重畳された判定画像によって、対象画像におけるエッジが存在しない箇所における合焦の度合いを把握することができる。
本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば上記の(A)〜(C)に示す処理を行うことによって、提示画像を生成させ、生成された提示画像を表示画面に表示させる。
ここで、本実施形態に係る提示画像は、上述したように、画素単位での合焦度合いと領域単位での合焦度合いとのうちの、一方または双方が表された画像である。
したがって、本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば上記の(A)〜(C)に示す処理を行うことによって、画像における合焦の度合いをユーザに把握させることができる。
また、本実施形態に係る提示画像を見るユーザは、画像における合焦の度合いを把握することができるので、例えば、対象画像の全画角を確認しながら、撮像デバイスにおけるフォーカス合わせ操作を行うことが可能となる。よって、本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば上記の(A)〜(C)に示す処理を行うことによって、撮像デバイスの操作性をより向上させることができる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば上記提示制御処理を行うことによって、画像における合焦の度合いをユーザに把握させることができる。
なお、上記提示制御処理は、便宜上、本実施形態に係る画像処理方法に係る処理を表したものである。よって、本実施形態に係る画像処理方法に係る処理は、上記提示制御処理を、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
また、本実施形態に係る画像処理方法に係る処理は、上記に限られない。
例えば、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、対象画像から画素単位での合焦度合いを判定する処理と、対象画像から領域単位での合焦度合いを判定する処理とのうちの、一方または双方を行うことも可能である。
本実施形態に係る画像処理装置が、対象画像から画素単位での合焦度合いを判定する処理と、対象画像から領域単位での合焦度合いを判定する処理とのうちの、一方または双方を行う場合には、本実施形態に係る画像処理装置は、行われた処理の結果(第1の判定結果および/または第2の判定結果)を用いて、上記提示制御処理を行う。
以下、本実施形態に係る画像処理装置の構成の一例を説明しつつ、本実施形態に係る画像処理方法に係る処理について説明する。
(本実施形態に係る画像処理装置)
図2は、本実施形態に係る画像処理装置100の構成の一例を示すブロック図である。
また、図3〜図8は、本実施形態に係る画像処理装置100における処理に係る画像の一例を示す説明図である。図3〜図8に示すAは、対象画像の一例を示している。図3〜図8に示すBは、図3〜図8のAに示す対象画像から得られたエッジ画像(第1の判定結果の一例)の一例を示しており、図3〜図8に示すCは、当該エッジ画像(第1の判定結果の一例)の他の例を示している。図3〜図8に示すBと図3〜図8に示すCとは、対象画像からエッジ画像を得るためのフィルタのフィルタ係数やフィルタの種類を変えた場合に得られるエッジ画像であり、図3〜図8に示すCは、図3〜図8のAに示す対象画像において合焦している箇所であると判定された箇所のみが表されたエッジ画像であるといえる。また、図3〜図8に示すDは、判定画像の一例を示しており、図3〜図8に示すEは、提示画像の一例を示している。
以下では、図3〜図8に示す各画像を適宜参照しつつ、本実施形態に係る画像処理装置の構成の一例について説明する。
画像処理装置100は、例えば、第1判定処理部102と、第2判定処理部104と、提示制御部106とを備える。
また、画像処理装置100は、例えば、画像処理装置100全体を制御する制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、外部の表示装置などの外部装置と通信を行うための通信部(図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。
制御部(図示せず)は、例えば、MPUなどの演算回路で構成されるプロセッサや、各種回路などで構成され、画像処理装置100全体を制御する。また、制御部(図示せず)は、例えば、画像処理装置100において、第1判定処理部102、第2判定処理部104、および提示制御部106のうちの1または2以上の役目を果たしてもよい。なお、第1判定処理部102、第2判定処理部104、および提示制御部106のうちの1または2以上が、各部の処理を実現可能な専用の(または汎用の)回路で構成されていてもよいことは、言うまでもない。
ROM(図示せず)は、例えば制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、例えば制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
通信部(図示せず)は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部装置と無線または有線で通信を行う役目を果たす。また、通信部(図示せず)は、例えば制御部(図示せず)により通信が制御される。通信部(図示せず)としては、後述する通信インタフェースが挙げられる。
記憶部(図示せず)は、画像処理装置100が備える記憶手段であり、例えばアプリケーションなど様々なデータを記憶する。また、記憶部(図示せず)には、例えば、撮像画像を示す画像データなど、本実施形態に係る画像処理方法に係る処理に係るデータが記憶されていてもよい。記憶部(図示せず)としては、例えば、後述する記録媒体が挙げられる。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[画像処理装置100のハードウェア構成例]
図9は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示す説明図である。画像処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164と、撮像デバイス166と、センサ168とを備える。また、画像処理装置100は、例えば、データの伝送路としてのバス170で各構成要素間を接続する。
MPU150は、例えば、MPUなどの演算回路などで構成されるプロセッサや各種処理回路などで構成され、画像処理装置100全体を制御する制御部(図示せず)として機能する。また、MPU150は、画像処理装置100において、例えば、第1判定処理部102、第2判定処理部104、および提示制御部106のうちの1または2以上の役目を果たす。なお、第1判定処理部102、第2判定処理部104、および提示制御部106のうちの1または2以上は、各部の処理を実現可能な専用の(または汎用の)回路で構成されていてもよい。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、例えばアプリケーションなど様々なデータを記憶する。また、記録媒体156には、例えば、撮像画像を示す画像データなど、本実施形態に係る画像処理方法に係る処理に係るデータが記憶されていてもよい。
記録媒体156としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、画像処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
操作入力デバイス160は、例えば、画像処理装置100上に備えられ、画像処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
表示デバイス162は、例えば、画像処理装置100上に備えられ、画像処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、画像処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像装置や外部の表示装置などの外部装置(または、外部デバイス)と、無線または有線で通信を行うための通信部(図示せず)として機能する。通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、通信部(図示せず)は、USB(Universal Serial Bus)端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
撮像デバイス166は、画像処理装置100が備える撮像手段であり、撮像により画像(撮像画像)を生成する。撮像デバイス166を備える場合には、画像処理装置100では、例えば、撮像デバイス166において撮像により生成された撮像画像を対象画像として、本実施形態に係る画像処理方法に係る処理を行うことが可能となる。
撮像デバイス166は、例えば、レンズ/撮像素子と信号処理回路とを含んで構成される。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えばRAW現像に係る各種処理を行う。さらに、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
センサ168は、例えば照度センサなどで構成され、表示画面における外光を検出する。センサ168は、例えば、表示デバイス162の表示画面における外光を検出可能な位置や、外部の表示装置の表示画面における外光を検出可能な位置に配置される。表示画面における外光の検出結果を用いる処理の一例については、後述する。
画像処理装置100は、例えば図9に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置100のハードウェア構成は、図9に示す構成に限られない。
例えば、外部の撮像デバイスにより生成された撮像画像を処理する場合などには、画像処理装置100は、撮像デバイス166を備えない構成をとることが可能である。
また、例えば、後述する表示画面における外光の検出結果を用いる処理が行われない場合や、外部のセンサの検出結果を用いて述する表示画面における外光の検出結果を用いる処理が行われる場合には、画像処理装置100は、センサ168を備えない構成をとることが可能である。
また、画像処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、画像処理装置100は、記録媒体156や、表示デバイス162を備えない構成をとることも可能である。
再度、図2を参照して、本実施形態に係る画像処理装置100の構成の一例について説明する。第1判定処理部102は、対象画像から画素単位での合焦度合いを判定する。そして、第1判定処理部102は、第1の判定結果を提示制御部106へ伝達する。第1判定処理部102は、本実施形態に係る対象画像から画素単位での合焦度合いを判定する処理を主導的に行う役目を果たす。
第1判定処理部102は、例えば、アナログフィルタ回路やデジタルフィルタ回路などにより実現される、1または2以上のフィルタを用いたフィルタ処理によって、対象画像からエッジを検出する。そして、第1判定処理部102は、検出されたエッジを示すエッジ画像を、第1の判定結果として提示制御部106へ伝達する。
ここで、本実施形態に係るフィルタとしては、例えば、ハイパスフィルタや、バンドパスフィルタ、1次微分フィルタ、2次微分フィルタ、3次微分フィルタ、ソーベルフィルタ、4方向ラプラシアンフィルタ、8方向ラプラシアンフィルタ、DoGフィルタ(Difference of Gaussian filter)、自己商フィルタが挙げられる。また、本実施形態に係るフィルタは、上記に示す例に限られず、画像からエッジを検出することが可能な、任意のフィルタであってもよい。
第1判定処理部102は、例えば、予め設定されたフィルタを用いてエッジ画像(第1の判定結果)を得る。
なお、第1判定処理部102における処理は、上記に限られない。
例えば、第1判定処理部102は、提示画像が表示される表示画面に対応するフィルタを用いることも可能である。
第1判定処理部102は、例えば、提示制御部106や制御部(図示せず)などから伝達される提示画像が表示される表示画面に関する情報(例えば、表示デバイスを示すIDや、表示デバイスの解像度を示すデータ、表示画面のサイズを示すデータなど)を用いて、表示画面に対応するフィルタを特定する。第1判定処理部102は、例えば、表示画面に関する情報と1または2以上のフィルタとが対応付けられたテーブル(またはデータベース。以下、同様とする。)を用いて、提示画像が表示される表示画面に関する情報に対応するフィルタを特定する。上記テーブルは、例えば、記憶部(図示せず)や、画像処理装置100に接続されている外部記録媒体などに記憶される。
そして、第1判定処理部102は、対象画像に対して特定されたフィルタを用いたフィルタ処理を行うことによって、エッジ画像を得る。
また、第1判定処理部102は、例えば、上記フィルタ処理によってエッジが抽出されたエッジ画像に対して、太線化のフィルタを用いたフィルタ処理をさらに行ってもよい。
例えば、第1判定処理部102が、提示画像が表示される表示画面に対応するフィルタを用いた処理を行うことによって、後述する提示制御部106は、表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。
ここで、例えば、提示画像が表示される表示画面が、撮像装置が備えるビューファインダの表示画面である場合や、撮像装置が備えるモニタの表示画面である場合など、提示画像が表示される表示画面によって、表示画面の画面サイズや解像度、ユーザの視聴距離などが異なる可能性がある。提示制御部106が表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を表示画面に表示させることによって、画像処理装置100は、表示画面により適した提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させることが可能となる。
よって、第1判定処理部102が、提示画像が表示される表示画面に対応するフィルタを用いた処理を行うことによって、画像処理装置100は、画像における合焦の度合いをユーザにより容易に把握させることができる。
第1判定処理部102が、例えば上記のような処理を行うことによって、例えば図3〜図8のBや図3〜図8のCに示すエッジ画像が得られる。
第2判定処理部104は、対象画像から領域単位での合焦度合いを判定する。そして、第2判定処理部104は、第2の判定結果を提示制御部106へ伝達する。第2判定処理部104は、本実施形態に係る対象画像から領域単位での合焦度合いを判定する処理を主導的に行う役目を果たす。
第2判定処理部104は、例えば下記の(a)〜(c)に示す処理を行うことによって、対象画像から領域単位での合焦度合いを判定し、第2の判定結果を得る。
以下では、第2判定処理部104が、対象画像を、対象画像が水平方向と垂直方向に等分割された矩形の領域に分割して、領域単位での合焦度合いを判定する場合を例に挙げ、各領域を「領域w(n)」(nは、対象画像の分割数)と示す。なお、上述したように、本実施形態に係る領域は、上記矩形の領域に限られない。
ここで、第2判定処理部104は、対象画像を予め設定された大きさの領域に分割するが、第2判定処理部104における領域の設定方法は、上記に限られない。
例えば、第2判定処理部104は、提示画像が表示される表示画面に対応する領域を、設定することも可能である。
第2判定処理部104は、例えば、提示制御部106や制御部(図示せず)などから伝達される提示画像が表示される表示画面に関する情報を用いて、表示画面に対応する、領域単位での合焦度合いを判定する領域の大きさを特定する。領域単位での合焦度合いを判定する領域の大きさは、領域単位での合焦度合いを判定する判定サイズに相当する。
第2判定処理部104は、例えば、表示画面に関する情報と、領域の設定に関する情報(例えば、領域の大きさを示すデータや、分割数を示すデータなど、分割される領域を規定するデータ)とが対応付けられたテーブルを用いて、提示画像が表示される表示画面に関する情報に対応する領域の設定に関する情報を特定する。上記テーブルは、例えば、記憶部(図示せず)や、画像処理装置100に接続されている外部記録媒体などに記憶される。
そして、第2判定処理部104は、特定された領域の設定に関する情報に基づいて対象画像を分割することによって、提示画像が表示される表示画面に対応する領域を、設定する。
例えば、第2判定処理部104が、提示画像が表示される表示画面に対応する領域を設定して、下記の(a)〜(c)に示す処理を行うことによって、後述する提示制御部106は、表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。
図10は、本実施形態に係る表示画面に対応する提示の仕方によって合焦度合いが表された提示画像の一例を示す説明図である。図10に示すAは、提示画像が表示される表示画面が撮像装置が備えるモニタの表示画面である場合において、表示画面に表示される提示画像の一例を示している。また、図10に示すBは、提示画像が表示される表示画面が撮像装置が備えるビューファインダの表示画面である場合において、表示画面に表示される提示画像の一例を示している。
提示画像が表示される表示画面がモニタである場合には、提示画像が表示される表示画面がビューファインダである場合よりも視聴距離が長くなるので、第2判定処理部104は、図10のAに示すように、図10のBに示す場合よりも領域を大きくする。第2判定処理部104が、提示画像が表示される表示画面がモニタである場合に、提示画像が表示される表示画面がビューファインダである場合よりも、領域を大きくすることによって、例えば、表示画面に表示される提示画像の視認性を向上させることができる。また、第2判定処理部104が、提示画像が表示される表示画面がモニタである場合に、提示画像が表示される表示画面がビューファインダである場合よりも領域を大きくすることによって、例えば、表示画面に表示された提示画像からユーザが受ける印象を調整することが可能となる。
提示制御部106が表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を表示画面に表示させることによって、画像処理装置100は、表示画面により適した提示の仕方によって合焦度合いが表された提示画像が、表示画面に表示される。よって、第2判定処理部104が、提示画像が表示される表示画面に対応する領域を設定して、下記の(a)〜(c)に示す処理を行うことによって、画像処理装置100は、画像における合焦の度合いをユーザにより容易に把握させることができる。
(a)第2判定処理部104における処理の第1の例
第2判定処理部104は、例えば、フィルタを用いて領域ごとの評価値を取得し、取得した評価値に基づいて対象画像における領域単位での合焦度合いを判定して、第2の判定結果を得る。
第2判定処理部104は、各領域w(n)に対して、例えば下記に示す処理を行うことによって、各領域w(n)の評価値を得る。
・輝度信号を生成する。
・生成された輝度信号に対してハイパスフィルタなどのフィルタを用いて高周波成分を抽出する。
・抽出された高周波成分の絶対値をとる。
・得られた高周波成分の絶対値からノイズを除去する。得られた高周波成分の絶対値に対して上限値を設けてもよい。
・ノイズが除去された値に対して積分処理を行う。
各領域w(n)に対して上記の処理が行われる場合、領域w(n)それぞれでは、領域w(n)を構成する画素データの高周波成分が積算されることにより、評価値が得られる。
図11は、本実施形態に係る画像処理装置100が備える第2判定処理部104における処理の一例を説明するための説明図であり、領域w(n)ごとに合焦の度合いが数値化されたスコアマップの一例を示している。
第2判定処理部104が領域w(n)ごとに評価値を得ることによって、例えば図11に示すようなスコアマップが得られる。図11では、対象画像が24つの領域に分割された場合におけるスコアマップの一例を示しているが、本実施形態に係るスコアマップが図11に示す例に限られないことは、言うまでもない。
ここで、合焦されている領域では、エッジ成分が大きく表れ、また、評価値が高いほどエッジを示している可能性が高い。
よって、第2判定処理部104は、領域w(n)それぞれの評価値と所定の閾値とを用いた閾値処理を行い、例えば、評価値が当該閾値以上である領域(または、評価値が当該閾値以より大きい領域。以下、同様とする。)を、合焦されている領域と判定する。
ここで、本実施形態に係る所定の閾値としては、例えば、予め設定された固定値や、ユーザ操作などに基づき変更可能な可変値が挙げられる。例えば図11に示す例では、第2判定処理部104は、所定の閾値を“128”とするが、本実施形態に係る所定の閾値が“128”に限られないことは、言うまでもない。
第2判定処理部104は、例えば合焦されている領域と判定された領域のみが表された画像を、判定画像として生成する。そして、第2判定処理部104は、判定画像を、第2の判定結果として提示制御部106へ伝達する。
なお、上述したように、第2判定処理部104は、例えば、判定画像およびスコアマップを、第2の判定結果として提示制御部106へ伝達してもよく、また、スコアマップを第2の判定結果として提示制御部106へ伝達することも可能である。スコアマップを第2の判定結果として提示制御部106へ伝達する場合には、判定画像の生成に係る処理は、例えば提示制御部106において行われる。
(b)第2判定処理部104における処理の第2の例
第2判定処理部104は、例えば、ピントが合っている学習画像とピントが合っていない学習画像とを用いた機械学習により得られた判定器を用いて領域単位での合焦度合いを判定して、第2の判定結果を得る。ここで、本実施形態に係る判定器は、学習により求められる画像の統計的性質を基に、ブレやボケの度合いを数値化する処理である。
第2判定処理部104は、例えば上記第1の例に係る処理と同様に、領域w(n)ごとに評価値を取得する。第2判定処理部104は、取得された各領域w(n)の評価値を、判定器に代入して演算を行い、その結果得られた値を、各領域w(n)の合焦の度合いを示す新たな評価値とする。
領域w(n)ごとに評価値を得ることによって、第2判定処理部104では、例えば上記第1の例に係る処理が行われる場合と同様に、図11に示すようなスコアマップが得られる。
また、第2判定処理部104は、例えば上記第1の例に係る処理が行われる場合と同様に、合焦されている領域を判定し、判定結果に応じた判定画像を、第2の判定結果として提示制御部106へ伝達する。
なお、上述したように、第2判定処理部104は、例えば、判定画像およびスコアマップを、第2の判定結果として提示制御部106へ伝達してもよく、また、スコアマップを第2の判定結果として提示制御部106へ伝達することも可能である。
(c)第2判定処理部104における処理の第3の例
上記(a)に示す第1の例に係る処理および上記(b)に示す第2の例に係る処理では、各領域w(n)の評価値に対して所定の閾値を用いた閾値処理を行うことによって、合焦されている領域を判定する例を示した。しかしながら、本実施形態に係る第2判定処理部104における処理は、取得された評価値に対して各領域w(n)に共通の閾値を用いた閾値処理を行うことによって、合焦されている領域を判定する処理に限られない。
例えば、第2判定処理部104は、対象画像におけるオブジェクトが含まれない領域に対して、判定の基準となる第1の判定基準で合焦度合いを判定し、また、対象画像におけるオブジェクトが含まれる領域に対しては、オブジェクトに対応する第2の判定基準で合焦度合いを判定してもよい。
ここで、本実施形態に係る第1の判定基準による合焦度合いの判定としては、例えば、上記(a)に示す第1の例に係る処理および上記(b)に示す第2の例に係る処理に示すような、上記所定の閾値を用いた閾値処理による合焦されている領域の判定が挙げられる。
また、本実施形態に係る第2の判定基準による合焦度合いの判定としては、例えば、対象画像から検出されたオブジェクトに対応する閾値を用いた閾値処理による合焦されている領域の判定が挙げられる。
本実施形態に係るオブジェクトの検出処理は、例えば、画像処理装置100が備えるオブジェクト検出部(図示せず)において行われてもよいし、画像処理装置100の外部装置において行われてもよい。本実施形態に係るオブジェクトの検出処理としては、例えば顔検出処理などの、対象画像から顔や植物などの被写体をオブジェクトとして検出することが可能な任意の検出処理が挙げられる。
第2判定処理部104は、例えば、オブジェクトの検出結果と、オブジェクトと閾値とが対応付けられたテーブルなどとを用いて、検出されたオブジェクトに対応する閾値を特定する。そして、第2判定処理部104は、オブジェクトの検出結果に対応する領域w(n)に対して特定された閾値を用いた閾値処理を行うことによって、合焦されている領域を判定する。本実施形態に係るオブジェクトの検出結果としては、例えば、検出されたオブジェクトの種類を示すデータと、検出されたオブジェクトが含まれる領域を示すデータとが挙げられる。
また、第2判定処理部104は、例えば、オブジェクトが含まれる領域の明るさや、ダイナミックレンジ、高周波成分の量と、閾値とが対応付けられたテーブルなどを用いて、検出されたオブジェクトに対応する閾値を特定し、特定された閾値を用いた閾値処理による合焦されている領域を判定することも可能である。
例えば上記のように、領域w(n)ごとの判定基準で各領域w(n)の合焦度合いが判定されることによって、領域w(n)に対応する合焦度合いが表された提示画像を、ユーザに対して提示することが可能となる。したがって、第2判定処理部104が、領域w(n)ごとの判定基準で各領域w(n)の合焦度合いを判定することによって、より精度が高められた提示画像を、ユーザに対して提示することができる。
ここで、本実施形態に係る“精度を高める”とは、例えば、合焦していない箇所や領域が強調して表示されることや、合焦している箇所や領域が強調して表示されない状況を改善することなどが挙げられる。
なお、第2判定処理部104は、例えば、オブジェクトが検出された場合であっても、検出されたオブジェクトのサイズによって、第2の判定基準による合焦度合いの判定を選択的に行ってもよい。例えば、第2判定処理部104は、検出されたオブジェクトのサイズが、設定されている閾値以下の場合(または、オブジェクトのサイズが当該閾値より小さい場合)には、第1の判定基準による合焦度合いの判定により合焦度合いを判定する。また、第2判定処理部104は、例えば、検出されたオブジェクトのサイズが、上記設定されている閾値より大きい場合(または、オブジェクトのサイズが当該閾値以上である場合)には、第2の判定基準による合焦度合いの判定により合焦度合いを判定する。
本実施形態に係る“精度を高める”ことが実現される場合の具体例を挙げる。
例えば、対象画像から顔(オブジェクトの一例)が検出される場合、顔が含まれる顔領域では、低周波成分が多い。そのため、上記(a)に示す第1の例に係る処理などが行われたとしても、顔領域に対応する領域w(n)では、評価値が低くなる傾向がある。
そこで、第2判定処理部104は、顔領域に対応する領域w(n)に対しては、基準となる閾値よりも低い閾値を用いて合焦されている領域であるかを判定する。
上記のように、顔領域に対応する領域w(n)に対して、顔領域に対応する閾値により合焦されている領域が判定されることによって、例えば、合焦している箇所や領域に強調表示が行われた提示画像を生成して、生成された提示画像を表示画面に表示させることが可能となる。
また、例えば、対象画像から任意の被写体(オブジェクトの一例)が検出される場合には、被写体の位置やサイズが特定されることによって、被写体が含まれる領域の明るさや、ダイナミックレンジ、高周波成分の量を求めることができる。第2判定処理部104は、被写体が含まれる領域に対応する領域w(n)に対しては、基準となる閾値ではなく、求められた上記量に対応する閾値を用いて合焦されている領域であるかを判定する。求められた上記量に対応する閾値としては、例えば、高周波成分が多い場合における基準となる閾値よりも高い閾値や、高周波成分が少ない場合における基準となる閾値よりも低い閾値が挙げられる。
上記のように、被写体に対応する領域w(n)に対して、被写体に対応する閾値により合焦されている領域が判定されることによって、例えば、ユーザが撮像したいと考える被写体に対する合焦の度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることが可能となる。
また、第2判定処理部104が、オブジェクトの検出結果に基づいて合焦されている領域を判定することによって、後述する提示制御部106は、対象画像に含まれるオブジェクトに対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。
(d)第2判定処理部104における処理の第4の例
第2判定処理部104における処理は、上記(a)に示す第1の例に係る処理、上記(b)に示す第2の例に係る処理、および上記(c)に示す第3の例に係る処理に限られず、第2判定処理部104は、位相差センサを用いた合焦判定など、各領域w(n)の合焦の度合いを判定することが可能な、任意の処理を行うことが可能である。
第2判定処理部104が、例えば上記のような処理を行うことによって、例えば図3〜図8のDに示す判定画像が、第2の判定結果として得られる。
なお、上述したように第2の判定結果は、判定画像に限られず、判定画像およびスコアマップや、スコアマップであってもよい。以下では、第2の判定結果が、判定画像およびスコアマップである場合を例に挙げる。
提示制御部106は、本実施形態に係る提示制御処理を主導的に行う役目を果たす。提示制御部106は、第1判定処理部102から伝達される第1の判定結果と、第2判定処理部104から伝達される第2の判定結果とに基づいて、対象画像における合焦度合いの提示を制御する。
提示制御部106は、例えば、上記(A)に示す処理〜上記(C)に示す処理のいずれかの処理を行うことによって、第1の判定結果と第2の判定結果との一方または双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。
ここで、提示制御部106は、例えば、上記(C)に示す処理、すなわち、“第1の判定結果と第2の判定結果との双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を、基準となる処理とする。
また、提示制御部106は、例えば、上記(A)に示す処理または上記(B)に示す処理、すなわち、“第1の判定結果と第2の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を、基準となる処理とすることも可能である。
“第1の判定結果と第2の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合、提示制御部106は、例えば、上記(A)に示す処理または上記(B)に示す処理のうち、予め設定された処理を行う。
なお、“第1の判定結果と第2の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合に提示制御部106が行う処理は、予め設定された処理に限られない。
例えば、提示制御部106は、第1の判定結果に対応する合焦度合いの精度の情報と、第2の判定結果に対応する合焦度合いの精度の情報とに基づいて、上記(A)に示す処理または上記(B)に示す処理を行うことも可能である。
本実施形態に係る第1の判定結果に対応する合焦度合いの精度の情報としては、例えば、対象画像に含まれる高周波成分の量を示すデータや、対象画像に含まれる高周波成分の量に基づく対象画像から検出されるエッジの量を示すデータなど、エッジ画像(第1の判定結果)における合焦度合いの程度を示すデータが挙げられる。本実施形態に係る第1の判定結果に対応する合焦度合いの精度の情報は、例えば、第1判定処理部102、または提示制御部106において対象画像に基づき生成される。
また、本実施形態に係る第2の判定結果に対応する合焦度合いの精度の情報としては、例えば、対象画像における合焦されている領域の対象画像全体に対する割合を示すデータなど、合焦度合いの程度を示すデータが挙げられる。本実施形態に係る第2の判定結果に対応する合焦度合いの精度の情報は、例えば、第2判定処理部104、または提示制御部106において対象画像に基づき生成される。
提示制御部106は、例えば、第1の判定結果に対応する合焦度合いの精度の情報と、第2の判定結果に対応する合焦度合いの精度の情報とに基づいて、合焦度合いの精度がよりよい判定結果を判定する。そして、提示制御部106は、第1の判定結果と第2の判定結果のうちの合焦度合いの精度がよりよい判定結果に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。ここで、本実施形態に係る“合焦度合いの精度がよりよい判定結果を判定する処理”としては、例えば、“各合焦度合いの精度の情報が示す合焦度合いの程度に係る値に対する閾値処理の結果を利用した処理”や、“各合焦度合いの精度の情報が示す合焦度合いの程度に係る値を(直接的、または間接的に)比較する処理”など、合焦度合いの精度がよりよい判定結果を判定することが可能な、任意の処理が挙げられる。
また、提示制御部106は、例えば、提示の仕方の切り換えに係る所定のユーザ操作に基づいて、上記(A)に示す処理〜上記(C)に示す処理のいずれかの処理を切り換えてもよい。上記ユーザ操作に基づいて上記(A)に示す処理〜上記(C)に示す処理のいずれかの処理を切り換える場合、提示制御部106は、上記ユーザ操作に対応する提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。
ここで、上記所定のユーザ操作は、上記(A)に示す処理〜上記(C)に示す処理のいずれかの処理を、提示制御部106に行わせるためのユーザの操作である。本実施形態に係る所定のユーザ操作としては、例えば、操作部(図示せず)に対する操作や、リモート・コントローラなどの外部の操作装置に対する操作が挙げられる。提示制御部106は、操作部(図示せず)などから伝達される操作信号に基づいて、行う処理を切り換える。
提示制御部106は、例えば上記のような処理を行うことによって、第1の判定結果と第2の判定結果との一方または双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。
以下、提示制御部106の構成と、提示制御部106における処理について説明する。
提示制御部106は、例えば図2に示すように、合焦領域提示制御部110と、合焦箇所提示制御部112とを備える。
合焦領域提示制御部110は、第2の判定結果に基づいて、対象画像に対して領域単位での合焦度合いが表された画像を生成させる。
また、合焦箇所提示制御部112は、第1の判定結果に基づいて、対象画像に対して画素単位での合焦度合いが表された画像を生成させる。
ここで、提示制御部106が、上記(A)に示す処理または上記(B)に示す処理、すなわち、“第1の判定結果と第2の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合には、合焦領域提示制御部110、または合焦箇所提示制御部112の一方が処理を行う。そして、合焦領域提示制御部110、または合焦箇所提示制御部112の一方により生成された画像が、例えば提示画像として表示画面に表示される。
また、提示制御部106が、上記(C)に示す処理、すなわち、“第1の判定結果と第2の判定結果との双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合には、合焦領域提示制御部110および合焦箇所提示制御部112の双方が処理を行う。合焦領域提示制御部110および合焦箇所提示制御部112の双方が処理を行う場合には、合焦領域提示制御部110および合焦箇所提示制御部112のうちの一方が対象画像に対して処理を行った後に、一方により生成された画像に対して他方が処理を行う。
提示制御部106では、合焦領域提示制御部110が処理を行った後に、合焦箇所提示制御部112が処理を行ってもよいし、合焦箇所提示制御部112が処理を行った後に、合焦領域提示制御部110が処理を行ってもよい。また、提示制御部106における処理の順番は、ユーザ操作に基づいて切り換えが可能であってもよい。
以下、提示制御部106が、上記(C)に示す処理、すなわち、“第1の判定結果と第2の判定結果との双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合を例に挙げて、提示制御部106の構成と、提示制御部106における処理について説明する。
また、以下では、提示制御部106が、合焦領域提示制御部110が処理を行った後に、合焦箇所提示制御部112が処理を行う場合、すなわち、合焦領域提示制御部110が対象画像を処理し、合焦箇所提示制御部112が、対象画像に対して合焦領域提示制御部110が処理を行った画像を処理する場合を、例に挙げる。
(1)合焦領域提示制御部110における処理の一例
(1−1)合焦領域提示制御部110における処理の第1の例
図12は、本実施形態に係る画像処理装置100が備える合焦領域提示制御部110における処理の第1の例を示す説明図である。
第1の例に係る合焦領域提示制御部110は、例えば、背景加工処理部120と、描画色決定部122と、混合部124とを備える。
背景加工処理部120には対象画像が入力され、背景加工処理部120は、対象画像の色彩を調整する。背景加工処理部120における対象画像の色彩の調整に係る処理としては、例えば、対象画像をモノクロ画像に変換する処理など、対象画像の色彩を変更することが可能な任意の処理が挙げられる。
合焦領域提示制御部110が背景加工処理部120において対象画像の色彩を調整することによって、提示制御部106は、対象画像の色彩を調整し、色彩が調整された対象画像に基づく提示画像を生成して、生成された提示画像を表示画面に表示させることができる。
なお、提示制御部106において、合焦箇所提示制御部112が処理を行った後に、合焦領域提示制御部110が処理を行う場合、すなわち、合焦領域提示制御部110が、合焦箇所提示制御部112において処理された画像を処理する場合には、合焦領域提示制御部110が備える背景加工処理部120は、処理を行わない。また、上記の場合には、第1の例に係る合焦領域提示制御部110は、背景加工処理部120を備えていなくてもよい。
描画色決定部122は、判定画像(第2の判定結果の一例)において合焦されている領域を表すオブジェクトの色(以下、「第1の描画色」と示す場合がある。)を決定する。
本実施形態に係る判定画像において合焦されている領域を表すオブジェクトとしては、例えば、図1のBや、図3〜図8のDに示すオブジェクト(例えば、矩形や円形などの任意の形状で合焦されている領域w(n)を示すオブジェクト)が挙げられる。
描画色決定部122は、例えば、記憶部(図示せず)などに記憶されている、第1の描画色を示す第1の色設定情報に基づいて、第1の描画色を決定する。第1の色設定情報が示す第1の描画色は、予め設定された固定の色であってもよいし、ユーザ操作などによって変更可能な可変の色であってもよい。
また、描画色決定部122は、例えば、第2の判定結果に基づいて、第1の色設定情報が示す色を合焦されている領域ごとに調整し、調整された色を第1の描画色としてもよい。第2の判定結果に基づく合焦されている領域ごとの色の調整としては、例えば、スコアマップ(第2の判定結果の一例)が示す合焦されている領域に対応する値(以下、「評価値」と示す。)に基づいて、輝度や色相などを変えることが挙げられる。
描画色決定部122が決定する第1の描画色としては、単色が挙げられる。また、本実施形態に係る第1の描画色は、複数色であってもよい。
図13は、本実施形態に係る画像処理装置100が備える合焦領域提示制御部110における処理の一例を説明するための説明図であり、合焦領域提示制御部110を構成する描画色決定部122が決定する第1の描画色の一例を示している。
例えば図13では、合焦されている領域を表すオブジェクトが矩形であり、第1の描画色が、当該矩形を図13のa、bに示す2つの色で表している例を示している。例えば図13に示すように、複数の色によって合焦されている領域を表すオブジェクトが表されることによって、例えば、当該合焦されている領域と、当該領域の周辺とのコントラストが維持される。よって、例えば図13に示すように、複数の色によって合焦されている領域を表すオブジェクトが表されることによって、提示画像の視認性を向上させることが可能となる。
再度図12を参照して、第1の例に係る合焦領域提示制御部110における処理について説明する。混合部124は、背景加工処理部120から伝達される画像と、第2の判定結果が示す判定画像とを混合する。また、混合部124は、判定画像(第2の判定結果の一例)が示す合焦されている領域を表すオブジェクトの色を、描画色決定部122において決定された第1の描画色とした上で、背景加工処理部120から伝達される画像と、判定画像とを混合する。
混合部124は、例えば、背景加工処理部120から伝達される画像と判定画像とを合成することや、背景加工処理部120から伝達される画像と判定画像とを別レイヤで重ねることなどによって、背景加工処理部120から伝達される画像と判定画像とを混合する。
また、第2の判定結果にスコアマップが含まれる場合には、混合部124は、例えば、スコアマップ(第2の判定結果の一例)が示す合焦されている領域の評価値に基づいて、背景加工処理部120から伝達される画像と、判定画像との混合率を変えてもよい。混合部124は、例えば、評価値が高い合焦されている領域程、合焦されている領域を表すオブジェクトの混合率を高くする。ここで、本実施形態に係る混合率としては、例えば、アルファブレンドにおけるアルファ値が挙げられる。
混合部124が、スコアマップ(第2の判定結果の一例)が示す合焦されている領域の評価値に基づいて、背景加工処理部120から伝達される画像と、判定画像との混合率を変えることによって、提示制御部106は、第2の判定結果に対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。
第1の例に係る合焦領域提示制御部110は、例えば図12に示す構成によって、第2の判定結果に基づく領域単位での合焦度合いが表された画像を、生成することができる。
また、提示制御部106において、合焦箇所提示制御部112において処理が行われた後に、合焦領域提示制御部110において処理が行われる場合には、第1の例に係る合焦領域提示制御部110において生成される画像は、画素単位での合焦度合いと領域単位での合焦度合いとの双方が表された画像となる。
なお、第1の例に係る合焦領域提示制御部110の構成は、上記に示す例に限られない。例えば、上記のように、提示制御部106において、合焦箇所提示制御部112が処理を行った後に、合焦領域提示制御部110が処理を行う場合には、第1の例に係る合焦領域提示制御部110は、背景加工処理部120を備えていなくてもよい。
(1−2)合焦領域提示制御部110における処理の第2の例
図14は、本実施形態に係る画像処理装置100が備える合焦領域提示制御部110における処理の第2の例を示す説明図である。
第2の例に係る合焦領域提示制御部110は、例えば、背景加工処理部120と、描画色決定部126と、混合部124とを備える。
背景加工処理部120は、図12に示す第1の例に係る合焦領域提示制御部110が備える背景加工処理部120と同様の機能を有する。背景加工処理部120は、例えば対象画像の色彩を調整する。
描画色決定部126は、第1の描画色を決定する。
描画色決定部126は、例えば、図12に示す第1の例に係る合焦領域提示制御部110が備える描画色決定部122が有する機能に加え、さらに、背景加工処理部120から伝達される画像(対象画像、または、対象画像が加工された画像)に基づいて、第1の描画色を決定する。
背景加工処理部120から伝達される画像に基づく第1の描画色の決定に係る処理の具体例を挙げると、描画色決定部126は、図12に示す描画色決定部122と同様に決定された色に対してさらに下記の処理のうちの1の処理、または組み合わせ可能な2以上の処理を行う。
・描画色決定部126は、背景加工処理部120から伝達される画像における、合焦されている領域の周囲の画素の平均輝度に応じて、図12に示す描画色決定部122と同様に決定された色の輝度を調整して、第1の描画色を決定する。
・描画色決定部126は、背景加工処理部120から伝達される画像における、合焦されている領域の周囲の画素の平均色に応じて、図12に示す描画色決定部122と同様に決定された色を反転、色相回転などさせて、第1の描画色を決定する。
・描画色決定部126は、背景加工処理部120から伝達される画像における、合焦されている領域の周囲の画素の平均色に応じて、背景加工処理部120から伝達される画像と判定画像との混合率(または混合率を調整するための調整値)を決定する。
・描画色決定部126は、背景加工処理部120から伝達される画像がモノクロ画像である場合には、対象画像(または、合焦箇所提示制御部112において処理が行われた後に、合焦領域提示制御部110において処理が行われるときには、合焦領域提示制御部110において処理された画像)から抽出される色に基づく色を、第1の描画色として決定する。第1の描画色の決定に係る対象画像から抽出される色に基づく色としては、例えば、対象画像における合焦されている領域それぞれから抽出される当該領域ごとの色や、合焦されている領域それぞれから抽出される色の代表的な色(例えば、最も多く存在する色など)、合焦されている領域それぞれから抽出される色の平均色などが挙げられる。
合焦領域提示制御部110が描画色決定部126において背景加工処理部120から伝達される画像に基づいて、第1の描画色などを決定することによって、提示制御部106は、対象画像に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。
混合部124は、図12に示す第1の例に係る合焦領域提示制御部110が備える混合部124と同様の機能を有し、背景加工処理部120から伝達される画像と判定画像とを混合する。
第2の例に係る合焦領域提示制御部110は、例えば図14に示す構成によって、第2の判定結果に基づく領域単位での合焦度合いが表された画像を、生成することができる。
なお、第2の例に係る合焦領域提示制御部110の構成は、上記に示す例に限られない。例えば、第2の例に係る合焦領域提示制御部110は、第1の例に係る合焦領域提示制御部110と同様に、背景加工処理部120を備えない構成をとることが可能である。
(1−3)合焦領域提示制御部110における処理の第3の例
図15は、本実施形態に係る画像処理装置100が備える合焦領域提示制御部110における処理の第3の例を示す説明図である。
第3の例に係る合焦領域提示制御部110は、例えば、背景加工処理部120と、描画色決定部128と、混合部124とを備える。
背景加工処理部120は、図12に示す第1の例に係る合焦領域提示制御部110が備える背景加工処理部120と同様の機能を有する。背景加工処理部120は、例えば対象画像の色彩を調整する。
描画色決定部128は、第1の描画色を決定する。
描画色決定部128は、図12に示す第1の例に係る合焦領域提示制御部110が備える描画色決定部122が有する機能に加え、さらに、センサ168などにおいて検出された照度値(表示画面における外光の検出結果の一例)を用いて、第1の描画色を決定する。描画色決定部128は、例えば、照度値に応じて、図12に示す描画色決定部122と同様に決定された色の輝度を調整して、第1の描画色を決定する。
図16は、本実施形態に係る画像処理装置100が備える合焦領域提示制御部110における処理の一例を説明するための説明図であり、合焦領域提示制御部110を構成する描画色決定部128における輝度の調整に用いる第1の輝度調整情報の一例を示している。
描画色決定部128は、例えば図16に示すように照度値と輝度とが対応付けられた第1の輝度調整情報を用いて、検出された照度値に対応する輝度値を特定する。そして、描画色決定部128は、例えば、特定された輝度値を示すように、図12に示す描画色決定部122と同様に決定された色の輝度を調整して、第1の描画色を決定する。
本実施形態に係る第1の輝度調整情報としては、例えば、照度値によって輝度値が一意に算出される関数を示すデータが挙げられる。また、本実施形態に係る第1の輝度調整情報は、照度値と輝度値とが対応付けられたテーブルであってもよい。
例えば図16に示す第1の輝度調整情報が用いられる場合には、描画色決定部128は、上限値と下限値との範囲内において、照度値が高い程、合焦されている領域を表すオブジェクトの輝度が高くなるような第1の描画色を決定する。なお、本実施形態に係る第1の輝度調整情報が示す照度値と輝度値との対応関係が、図16に示す例に限られないことは、言うまでもない。
合焦領域提示制御部110が描画色決定部128において、検出された照度値を用いて第1の描画色を決定することによって、提示制御部106は、表示画面における外光の検出結果に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。
混合部124は、図12に示す第1の例に係る合焦領域提示制御部110が備える混合部124と同様の機能を有し、背景加工処理部120から伝達される画像と判定画像とを混合する。
第3の例に係る合焦領域提示制御部110は、例えば図15に示す構成によって、第2の判定結果に基づく領域単位での合焦度合いが表された画像を、生成することができる。
なお、第3の例に係る合焦領域提示制御部110の構成は、上記に示す例に限られない。
例えば、第3の例に係る合焦領域提示制御部110は、第1の例に係る合焦領域提示制御部110と同様に、背景加工処理部120を備えない構成をとることが可能である。
また、第3の例に係る合焦領域提示制御部110は、センサ168などにおいて検出された照度値を用いて、背景加工処理部120から伝達される画像(対象画像、または、対象画像が加工された画像)の輝度を、さらに調整することも可能である。
図17は、本実施形態に係る画像処理装置100が備える合焦領域提示制御部110における処理の一例を説明するための説明図であり、合焦領域提示制御部110における背景加工処理部120から伝達される画像の輝度の調整に用いる第2の輝度調整情報の一例を示している。
合焦領域提示制御部110は、例えば図17に示すように照度値と輝度とが対応付けられた第2の輝度調整情報を用いて、検出された照度値に対応する輝度値を特定する。そして、合焦領域提示制御部110は、例えば、特定された輝度値を示すように、背景加工処理部120から伝達される画像の輝度を調整する。
本実施形態に係る第2の輝度調整情報としては、例えば、照度値によって輝度値が一意に算出される関数を示すデータが挙げられる。また、本実施形態に係る第2の輝度調整情報は、照度値と輝度値とが対応付けられたテーブルであってもよい。
例えば図17に示す第2の輝度調整情報が用いられる場合には、合焦領域提示制御部110は、上限値と下限値との範囲内において、照度値が高い程、背景加工処理部120から伝達される画像の輝度が高くなりように、背景加工処理部120から伝達される画像の輝度を調整する。
ここで、図17に示す第2の輝度調整情報が示す上限値と下限値との範囲、すなわち、背景加工処理部120から伝達される画像の輝度が調整される範囲は、図16に示す第1の輝度調整情報が示す上限値と下限値との範囲よりも、小さい。上記のように、第2の輝度調整情報が示す上限値と下限値との範囲を第1の輝度調整情報が示す上限値と下限値との範囲よりも小さくすることによって、例えば、提示画像において表される領域単位での合焦度合いを、より強調することが可能となる。
なお、本実施形態に係る第2の輝度調整情報が示す照度値と輝度値との対応関係が、図17に示す例に限られないことは、言うまでもない。
合焦領域提示制御部110が、センサ168などにおいて検出された照度値を用いて、背景加工処理部120から伝達される画像の輝度をさらに調整することによって、合焦されている領域を表すオブジェクトの第1の描画色と共に、背景加工処理部120から伝達される画像の輝度が連動して変更される。よって、合焦領域提示制御部110が、検出された照度値を用いて、背景加工処理部120から伝達される画像の輝度を、さらに調整することによって、例えば、合焦されている領域を表すオブジェクトの第1の描画色と、背景加工処理部120から伝達される画像の背景色とのコントラストを、一定以上に保つことが可能となる。
ここで、検出された照度値を用いて背景加工処理部120から伝達される画像の輝度を調整する処理は、例えば、合焦領域提示制御部110が備える背景加工処理部が行ってもよいし、混合部が行ってもよい。
合焦領域提示制御部110は、例えば、上記(1−1)に示す第1の例に係る構成、上記(1−2)に示す第2の例に係る構成、または、上記(1−3)に示す第3の例に係る構成によって、第2の判定結果に基づいて、対象画像に対して領域単位での合焦度合いが表された画像を生成する。なお、合焦領域提示制御部110の構成は、上記(1−1)に示す第1の例に係る構成〜上記(1−3)に示す第3の例に係る構成に限られない。例えば、合焦領域提示制御部110は、上記(1−2)に示す第2の例に係る構成と上記(1−3)に示す第3の例に係る構成とを組み合わせた構成をとることも可能である。
(2)合焦箇所提示制御部112における処理の一例
(2−1)合焦箇所提示制御部112における処理の第1の例
図18は、本実施形態に係る画像処理装置100が備える合焦箇所提示制御部112における処理の第1の例を示す説明図である。
第1の例に係る合焦箇所提示制御部112は、例えば、描画色決定部130と、混合部132とを備える。
描画色決定部130は、エッジ画像(第1の判定結果の一例)におけるエッジの色(以下、「第2の描画色」と示す場合がある。)を決定する。
描画色決定部130は、例えば、記憶部(図示せず)などに記憶されている、第2の描画色を示す第2の色設定情報に基づいて、第2の描画色を決定する。第2の色設定情報が示す第2の描画色は、予め設定された固定の色であってもよいし、ユーザ操作などによって変更可能な可変の色であってもよい。
混合部132は、入力される画像と、第1の判定結果が示すエッジ画像とを混合する。また、混合部132は、エッジ画像におけるエッジの色を、描画色決定部130において決定された第2の描画色とした上で、入力される画像とエッジ画像とを混合する。
ここで、提示制御部106において、合焦領域提示制御部110において処理が行われた後に、合焦箇所提示制御部112において処理が行われる場合、混合部132に入力される画像としては、例えば、合焦領域提示制御部110において生成された、対象画像に対して領域単位での合焦度合いが表された画像が挙げられる。また、合焦箇所提示制御部112において処理が行われた後に、合焦領域提示制御部110において処理が行われる場合、混合部132に入力される画像としては、例えば、対象画像が挙げられる。
混合部132は、例えば、入力される画像とエッジ画像とを合成することや、入力される画像とエッジ画像とを別レイヤで重ねることなどによって、入力される画像とエッジ画像とを混合する。
第1の例に係る合焦箇所提示制御部112は、例えば図18に示す構成によって、第1の判定結果に基づく画素単位での合焦度合いが表された画像を生成する。
また、提示制御部106において、合焦領域提示制御部110において処理が行われた後に、合焦箇所提示制御部112において処理が行われる場合には、第1の例に係る合焦箇所提示制御部112において生成される画像は、画素単位での合焦度合いと領域単位での合焦度合いとの双方が表された画像となる。
なお、第1の例に係る合焦箇所提示制御部112の構成は、上記に示す例に限られない。
例えば、第1の例に係る合焦箇所提示制御部112は、上述した合焦領域提示制御部110が備える背景加工処理部120と同様の機能を有する背景加工処理部を、さらに備えていてもよい。第1の例に係る合焦箇所提示制御部112が背景加工処理部をさらに備える場合、背景加工処理部は、合焦箇所提示制御部112において処理が行われた後に、合焦領域提示制御部110において処理が行われる場合、すなわち、対象画像を処理する場合に、対象画像の色彩を調整する。
例えば合焦箇所提示制御部112において処理が行われた後に、合焦領域提示制御部110において処理が行われる場合において、合焦箇所提示制御部112が背景加工処理部において対象画像の色彩を調整することによって、提示制御部106は、対象画像の色彩を調整し、色彩が調整された対象画像に基づく提示画像を生成して、生成された提示画像を表示画面に表示させることができる。
(2−2)合焦箇所提示制御部112における処理の第2の例
合焦箇所提示制御部112の構成は、上記(2−1)に示す第1の例に係る構成に限られない。例えば、合焦箇所提示制御部112が備える描画色決定部は、図18に示す第1の例に係る合焦箇所提示制御部112が備える描画色決定部130が有する機能に加え、さらに、入力される画像に基づいて、第2の描画色などを決定することも可能である。
入力される画像に基づく第2の描画色の決定に係る処理の具体例を挙げると、第2の例に係る合焦箇所提示制御部112が備える描画色決定部は、図18に示す描画色決定部130と同様に決定された色に対してさらに下記の処理のうちの1の処理、または組み合わせ可能な2以上の処理を行う。
・第2の例に係る合焦箇所提示制御部112が備える描画色決定部は、入力される画像における、エッジを示す画素の周囲の画素の平均輝度に応じて、図18に示す描画色決定部130と同様に決定された色の輝度を調整して、第2の描画色を決定する。
・第2の例に係る合焦箇所提示制御部112が備える描画色決定部は、入力される画像における、エッジを示す画素の周囲の画素の平均色に応じて、図18に示す描画色決定部130と同様に決定された色を反転、色相回転などさせて、第2の描画色を決定する。
・第2の例に係る合焦箇所提示制御部112が備える描画色決定部は、入力される画像における、エッジを示す画素の周囲の画素の平均色に応じて、入力される画像とエッジ画像との混合率(または混合率を調整するための調整値)を決定する。
・第2の例に係る合焦箇所提示制御部112が備える描画色決定部は、入力される画像がモノクロ画像である場合には、例えば、対象画像(または入力される画像)から抽出される色に基づく色を、第2の描画色として決定する。第2の描画色の決定に係る対象画像などから抽出される色に基づく色としては、例えば、対象画像におけるエッジを示す画素ごとの色や、エッジを示す画素の代表的な色(例えば、最も多く存在する色など)、エッジを示す画素の色の平均色などが挙げられる。
第2の例に係る合焦箇所提示制御部112が描画色決定部において入力される画像に基づいて、第2の描画色などを決定することによって、提示制御部106は、対象画像に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。
また、第2の例に係る合焦箇所提示制御部112は、図18に示す第1の例に係る合焦箇所提示制御部112が備える混合部132と同様の機能を有する混合部を備え、入力される画像と、第1の判定結果が示すエッジ画像とを混合する。
よって、第2の例に係る合焦箇所提示制御部112は、図18に示す第1の例に係る合焦箇所提示制御部112と同様に、第1の判定結果に基づく画素単位での合焦度合いが表された画像を、生成することができる。
なお、第2の例に係る合焦箇所提示制御部112の構成は、上記に示す例に限られない。例えば、第2の例に係る合焦箇所提示制御部112は、図18に示す第1の例に係る合焦箇所提示制御部112と同様に、背景加工処理部をさらに備えていてもよい。
(2−3)合焦箇所提示制御部112における処理の第3の例
合焦箇所提示制御部112の構成は、上記(2−1)に示す第1の例に係る構成や、上記(2−2)に示す第2の例に係る構成に限られない。例えば、合焦箇所提示制御部112が備える描画色決定部は、図18に示す第1の例に係る合焦箇所提示制御部112が備える描画色決定部130が有する機能に加え、さらに、センサ168などにおいて検出された照度値(表示画面における外光の検出結果の一例)を用いて、第2の描画色を決定することも可能である。
第3の例に係る合焦箇所提示制御部112が備える描画色決定部は、例えば、照度値に応じて図18に示す描画色決定部130と同様に決定された色の輝度を調整して、第2の描画色を決定する。第3の例に係る合焦箇所提示制御部112が備える描画色決定部は、例えば図15に示す合焦領域提示制御部110を構成する描画色決定部128と同様に、例えば図16に示すような第1の輝度調整情報を用いて第2の描画色を決定する。
第3の例に係る合焦箇所提示制御部112が描画色決定部において、検出された照度値を用いて第2の描画色を決定することによって、提示制御部106は、表示画面における外光の検出結果に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。
また、第3の例に係る合焦箇所提示制御部112は、図18に示す第1の例に係る合焦箇所提示制御部112が備える混合部132と同様の機能を有する混合部を備え、入力される画像と、第1の判定結果が示すエッジ画像とを混合する。
よって、第3の例に係る合焦箇所提示制御部112は、図18に示す第1の例に係る合焦箇所提示制御部112と同様に、第1の判定結果に基づく画素単位での合焦度合いが表された画像を、生成することができる。
なお、第3の例に係る合焦箇所提示制御部112の構成は、上記に示す例に限られない。
例えば、第3の例に係る合焦箇所提示制御部112は、図18に示す第1の例に係る合焦箇所提示制御部112と同様に、背景加工処理部をさらに備えていてもよい。
また、第3の例に係る合焦箇所提示制御部112は、センサ168などにおいて検出された照度値を用いて、入力される画像の輝度を、さらに調整することも可能である。第3の例に係る合焦箇所提示制御部112は、例えば図15に示す合焦領域提示制御部110と同様に、図17に示すような第2の輝度調整情報を用いて入力される画像の輝度を調整する。
第3の例に係る合焦箇所提示制御部112が、検出された照度値を用いて入力される画像の輝度をさらに調整することによって、エッジ画像におけるエッジを示す第2の描画色と共に、入力される画像の輝度が連動して変更される。よって、第3の例に係る合焦箇所提示制御部112が、検出された照度値を用いて入力される画像の輝度をさらに調整することによって、例えば、エッジ画像におけるエッジを示す第2の描画色と、入力される画像の背景色とのコントラストを、一定以上に保つことが可能となる。
ここで、センサ168などにおいて検出された照度値を用いて、入力される画像の輝度を調整する処理は、例えば、第3の例に係る合焦箇所提示制御部112が備える混合部により行われる。
合焦箇所提示制御部112は、例えば、上記(2−1)に示す第1の例に係る構成、上記(2−2)に示す第2の例に係る構成、または、上記(2−3)に示す第3の例に係る構成によって、第1の判定結果に基づいて、対象画像に対して画素単位での合焦度合いが表された画像を生成する。なお、合焦箇所提示制御部112の構成は、上記(2−1)に示す第1の例に係る構成〜上記(2−3)に示す第3の例に係る構成に限られない。例えば、合焦箇所提示制御部112は、上記(2−2)に示す第2の例に係る構成と上記(2−3)に示す第3の例に係る構成とを組み合わせた構成をとることも可能である。
提示制御部106は、例えば、上記のような合焦領域提示制御部110と合焦箇所提示制御部112とを備えることによって、第1判定処理部102から伝達される第1の判定結果と、第2判定処理部104から伝達される第2の判定結果とに基づいて、対象画像における合焦度合いの提示を制御する。提示制御部106が、例えば上記のような処理を行うことによって、例えば図3〜図8のEに示す提示画像が得られる。
なお、本実施形態に係る提示制御部106における処理は、上記に示す処理に限られない。
例えば、提示制御部106は、対象画像に対するオブジェクトの検出処理の結果に基づいて、対象画像に含まれるオブジェクトに対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させてもよい。対象画像に含まれるオブジェクトに対応する提示の仕方によって合焦度合いが表されることによって、提示制御部106は、例えばより視認性が高められた提示画像を表示画面に表示させることが可能となる。オブジェクトの検出処理は、画像処理装置100が備えるオブジェクト検出部(図示せず)において行われてもよいし、画像処理装置100の外部装置において行われてもよい。また、画像処理装置100がオブジェクト検出部(図示せず)を備える場合、オブジェクト検出部(図示せず)は、提示制御部106を構成していてもよいし、提示制御部106とは別体の処理回路などで実現されていてもよい。
ここで、本実施形態に係る“視認性を高める”とは、例えば、表される合焦度合いがより見やすいように、明るさや色を変更して表示されることや、表される合焦度合いが多すぎたり、少なすぎる状況を改善することなどにより、合焦の度合いをより見やすくすることをいう。
なお、提示制御部106は、例えば、オブジェクトが検出された場合であっても、検出されたオブジェクトのサイズによって、視認性を高めるための処理を選択的に行ってもよい。例えば、提示制御部106は、検出されたオブジェクトのサイズが、設定されている閾値以下の場合(または、オブジェクトのサイズが当該閾値より小さい場合)には、視認性を高めるための処理を行わない。また、提示制御部106は、例えば、検出されたオブジェクトのサイズが、上記設定されている閾値より大きい場合(または、オブジェクトのサイズが当該閾値以上である場合)には、視認性を高めるための処理を行う。
本実施形態に係る“視認性を高める”ことが実現される場合の具体例を挙げる。
例えば、対象画像から顔(オブジェクトの一例)が検出される場合、顔が含まれる顔領域では、低周波成分が多い。そのため、顔領域では、例えばエッジが描画され難く、画素単位での合焦度合いが表され難い。そこで、提示制御部106は、検出された顔領域に含まれる線のみ太くすることや、顔領域に対応する領域w(n)を強調して表示させることなどにより、視認性を維持する。
また、例えば、対象画像から任意の被写体(オブジェクトの一例)が検出される場合には、提示制御部106は、検出された被写体の特徴に応じて例えば下記のように描画を変更する。
・提示制御部106は、検出された被写体を含む領域における高周波成分が多い部分に対しては、エッジ表示の描画量を減少させる(輪郭が描画されすぎて、細部の確認が行いにくくなる状況の改善)。
・提示制御部106は、検出された被写体を含む領域における高周波成分が少ない部分に対しては、合焦されている領域をより強調して表示させる(高周波成分が少ない場合にはエッジが表示され難いので、領域単位での合焦度合いをより強調する)。
・提示制御部106は、検出された被写体を含む領域における暗部に対しては、第1の描画色や第2の描画色として、より明るい色を決定する。
・提示制御部106は、検出された被写体を含む領域における明部に対しては、第1の描画色や第2の描画色として、より暗い色を決定する。
・提示制御部106は、検出された被写体を含む領域における代表的な色(例えば、最も多く存在する色など)に応じて、第1の描画色や第2の描画色を決定する。
・提示制御部106は、検出された被写体を含む領域では、混合率を下げる。
提示制御部106が、例えば上記のように、検出された被写体の特徴に応じて描画を変更する場合には、例えば、よりユーザが撮像したいと考えている可能性が高い領域に応じて、描画を変更することが可能である。よって、提示制御部106が、例えば上記のように、検出された被写体の特徴に応じて描画を変更することによって、画像全体で描画を調整する場合よりもより視認性を高めることができる。
なお、本実施形態に係る“視認性を高める”ことが実現される場合の具体例は、上記に限られない。例えば、対象画像が、動画像である場合には、提示制御部106は、対象画像から検出されたオブジェクトの移動量に応じて描画を変更することも、可能である。
画像処理装置100は、例えば図2に示す構成によって、本実施形態に係る画像処理方法に係る処理(例えば、対象画像から画素単位での合焦度合いを判定する処理、対象画像から領域単位での合焦度合いを判定する処理、および提示制御処理)を行う。
したがって、画像処理装置100は、例えば図2に示す構成によって、画像における合焦の度合いをユーザに把握させることができる。
また、例えば図2に示す構成によって、画像処理装置100は、例えば上述したような、本実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る画像処理装置の構成は、図2に示す構成に限られない。
例えば、第1判定処理部102および第2判定処理部104と同様の機能、構成を有する判定処理装置から、第1の判定結果と第2の判定結果が取得される場合には、本実施形態に係る画像処理装置は、図2に示す第1判定処理部102および第2判定処理部104を備えない構成をとることが可能である。
本実施形態に係る判定処理装置は、本実施形態に係る画像処理装置の外部装置であり、他の画像処理装置である。本実施形態に係る判定処理装置は、例えば図9に示す画像処理装置100のハードウェア構成と同様のハードウェア構成(変形例も含む。)を有することによって、第1判定処理部102および第2判定処理部104と同様の機能を実現する。
また、第1判定処理部102と同様の機能、構成を有する第1の外部装置と、第2判定処理部104と同様の機能、構成を有する第2の外部装置とから、第1の判定結果と第2の判定結果とのうちの一方または双方が取得される場合には、本実施形態に係る画像処理装置は、取得される判定結果の判定に係る判定処理部を備えない構成であってもよい。
ここで、本実施形態に係る画像処理装置が、図2に示す第1判定処理部102および第2判定処理部104のうちの一方または双方を備えない構成をとる場合であっても、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として提示制御処理を行うことが可能である。
よって、図2に示す第1判定処理部102および第2判定処理部104のうちの一方または双方を備えない構成をとる場合であっても、本実施形態に係る画像処理装置は、画像における合焦の度合いをユーザに把握させることができる。
また、本実施形態に係る画像処理装置が、第1の判定結果と第2の判定結果を本実施形態に係る判定処理装置から取得する場合には、本実施形態に係る判定処理装置と、本実施形態に係る画像処理装置とによって、図2に示す画像処理装置100と同様の処理が行われる画像処理システムが実現される。
よって、本実施形態に係る判定処理装置によって、画像における合焦の度合いをユーザに把握させることが可能な、画像処理システムを実現することができる。
以上、本実施形態として、画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、PC(Personal Computer)やサーバなどのコンピュータ、表示装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
また、本実施形態に係る画像処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る画像処理装置は、例えば、複数の装置からなるシステムとして実現することも可能である。
また、本実施形態として、判定処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、PCやサーバなどのコンピュータ、表示装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
(本実施形態に係るプログラム)
[I]本実施形態に係る画像処理装置として機能させるためのプログラム
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム(例えば、“提示制御処理”や、“対象画像から画素単位での合焦度合いを判定する処理、および提示制御処理”、“対象画像から領域単位での合焦度合いを判定する処理、および提示制御処理”、“対象画像から画素単位での合焦度合いを判定する処理、対象画像から領域単位での合焦度合いを判定する処理、および提示制御処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、画像における合焦の度合いをユーザに把握させることができる。
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る画像処理方法に係る処理によって奏される効果を、奏することができる。
[II]本実施形態に係る判定処理装置として機能させるためのプログラム
コンピュータを、本実施形態に係る判定処理装置として機能させるためのプログラム(例えば、“対象画像から画素単位での合焦度合いを判定する処理、および対象画像から領域単位での合焦度合いを判定する処理”)が、コンピュータにおいてプロセッサなどにより実行されることによって、画像における合焦の度合いをユーザに把握させることが可能な画像処理システムを、実現することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置、または、本実施形態に係る判定処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体、または、上記プログラムを共に記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第1の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第2の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御する提示制御部を備える、画像処理装置。
(2)
前記提示制御部は、前記第1の判定結果と前記第2の判定結果との一方または双方に基づく提示の仕方によって前記合焦度合いが表された、前記対象画像に基づく提示画像を、表示画面に表示させる、(1)に記載の画像処理装置。
(3)
前記提示制御部は、前記第1の判定結果に基づく前記画素単位での合焦度合いと、前記第2の判定結果に基づく前記領域単位での合焦度合いとの双方が表された前記提示画像を表示させる、(2)に記載の画像処理装置。
(4)
前記提示制御部は、前記第1の判定結果に基づく前記画素単位での合焦度合いと、前記第2の判定結果に基づく前記領域単位での合焦度合いとの一方が表された前記提示画像を表示させる、(2)に記載の画像処理装置。
(5)
前記提示制御部は、ユーザ操作に基づいて、前記第1の判定結果に基づく前記画素単位での合焦度合いと、前記第2の判定結果に基づく前記領域単位での合焦度合いとの一方が表された前記提示画像、または、前記画素単位での合焦度合いと前記領域単位での合焦度合いとの双方が表された前記提示画像を、切り換えて表示させる、(2)〜(4)のいずれか1つに記載の画像処理装置。
(6)
前記提示制御部は、前記第1の判定結果に対応する合焦度合いの精度の情報と、前記第2の判定結果に対応する合焦度合いの精度の情報とに基づいて、前記画素単位での合焦度合い、または前記領域単位での合焦度合いの一方が表された前記提示画像を表示させる、(4)に記載の画像処理装置。
(7)
前記提示制御部は、前記対象画像に含まれるオブジェクトに対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、(2)〜(6)のいずれか1つに記載の画像処理装置。
(8)
前記提示制御部は、
前記対象画像の色彩を調整し、
色彩が調整された前記対象画像に基づく前記提示画像を表示させる、(2)〜(7)のいずれか1つに記載の画像処理装置。
(9)
前記提示制御部は、前記対象画像に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、(2)〜(8)のいずれか1つに記載の画像処理装置。
(10)
前記提示制御部は、前記表示画面に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、(2)〜(9)のいずれか1つに記載の画像処理装置。
(11)
前記提示制御部は、前記表示画面における外光の検出結果に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、(2)〜(10)のいずれか1つに記載の画像処理装置。
(12)
前記提示制御部は、前記第2の判定結果に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、(2)〜(11)のいずれか1つに記載の画像処理装置。
(13)
前記対象画像から前記画素単位での合焦度合いを判定する第1判定処理部をさらに備え、
前記提示制御部は、前記第1判定処理部における前記第1の判定結果に基づいて、前記対象画像における合焦度合いの提示を制御する、(1)〜(12)のいずれか1つに記載の画像処理装置。
(14)
前記第1判定処理部は、前記第1の判定結果と前記第2の判定結果との一方または双方に基づく提示の仕方によって前記合焦度合いが表された前記対象画像に基づく提示画像が表示される、表示画面に対応するフィルタによって、前記画素単位での合焦度合いを判定する、(13)に記載の画像処理装置。
(15)
前記対象画像から前記領域単位での合焦度合いを判定する第2判定処理部をさらに備え、
前記提示制御部は、前記第2判定処理部における前記第2の判定結果に基づいて、前記対象画像における合焦度合いの提示を制御する、(1)〜(14)のいずれか1つ
(16)
前記第2判定処理部は、
前記対象画像におけるオブジェクトが含まれない領域に対して、判定の基準となる第1の判定基準で前記合焦度合いを判定し、
前記対象画像におけるオブジェクトが含まれる領域に対しては、前記オブジェクトに対応する第2の判定基準で前記合焦度合いを判定する、(15)に記載の画像処理装置。
(17)
処理対象の画像である対象画像から画素単位での合焦度合いを判定する第1判定処理部と、
前記対象画像から領域単位での合焦度合いを判定する第2判定処理部と、
を備える、画像処理装置。
(18)
前記第2判定処理部は、ピントが合っている学習画像とピントが合っていない学習画像とを用いた機械学習により得られた判定器を用いて前記領域単位での合焦度合いを判定する、(17)に記載の画像処理装置。
(19)
処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第1の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第2の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御するステップを有する、画像処理装置により実行される画像処理方法。
(20)
処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第1の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第2の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御するステップをコンピュータに実行させるためのプログラム。