JP6592293B2 - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および撮像装置に関する。

従来、撮像素子を用いる撮像装置におけるファインダー表示において、合焦している部分を視覚的に把握しやすくするための技術（フォーカスアシスト機能）が知られている。代表的なフォーカスアシスト機能としては、撮影画像の高周波成分を強調表示するピーキング（輪郭補正、エッジ強調、エンハンサ、フォーカスなどと呼ばれることもある）が知られている（特許文献１）。

一方、強調表示を分かりやすくするために、強調部分に色を付けることも提案されている（特許文献２）。

特許第４４７４６４１号公報 特開２００２−１９６２５５号公報

しかしながら、強調部分に特定の色をつける場合、画像に高周波成分が多く含まれる時には、画像全体に強調部分の色がついてしまい、かえって、合焦状態を把握しづらくなったり、被写体の本来の色をユーザが認識できなくなってしまうという問題があった。

本発明は、このような従来技術の課題を少なくとも改善することを目的とする。

上述の目的は、画像信号から予め定められた周波数成分を抽出する抽出手段と、画像信号の処理対象画素に強調効果を付与するための信号を生成する生成手段と、処理対象画素の輝度および彩度を低減する調整手段と、抽出手段が抽出した周波数成分の大きさに基づく判定に応じて、生成手段が生成した信号を処理対象画素に適用して出力する適用手段と、を有し、生成手段は、予め定められた固定値と処理対象画素の値との差に基づき、処理対象画素の値の増加に連れて連続的または段階的に減少する値を有するように信号を生成し、適用手段は、調整手段によって輝度及び彩度が低減されていない処理対象画素に信号を適用して出力し、処理対象画素に信号を適用しない場合には調整手段によって輝度及び彩度が低減された処理対象画素を出力することを特徴とする画像処理装置によって達成される。

本発明によれば、合焦度合いの指標となる強調効果を画像に付与可能な画像処理装置および画像処理方法において、被写体像の視認性低下を抑制しながら、判別しやすい強調効果の付与を実現することができる。

本発明の実施形態に係る画像処理装置の１例としてのデジタルビデオカメラの構成例を示すブロック図 図１のビデオ信号処理部の構成例を示すブロック図 実施形態に係る加算信号の生成およびその効果を説明するための模式図 実施形態の変形例に係るビデオ信号処理部の構成例を示すブロック図 第２の実施形態に係るビデオ信号処理部の構成例を示すブロック図 他の実施形態に係るビデオ信号処理部の構成例を示すブロック図 実施形態に係る強調効果付与処理のフローチャート

以下、添付図面を参照して、本発明を例示的な実施形態に基づいて詳細に説明する。なお、以下では本発明を画像処理装置の一例としてのデジタルビデオカメラのフォーカスアシスト機能に適用した実施形態について説明するが、撮像機能は本発明に必須ではない。また、本発明は撮像装置（撮像機能を有する電子機器を含む）に限らず、例えば、パーソナルコンピュータ、タブレット端末、表示装置、画像調整装置、携帯電話機など、画像データを取得可能な任意の電子機器に適用可能である。

●＜第１の実施形態＞
図１は、本実施形態に係るデジタルビデオカメラの機能構成例を示すブロック図である。レンズ部１０１は、被写体像を撮像素子１０２の撮像面上に結像する光学系を構成し、ズーム機能、焦点調節機能、および絞り調節機能を備える。

撮像素子１０２には、多数の光電変換素子が２次元的に配列され、レンズ部１０１によって結像された被写体光学像を画素単位の画像信号に変換する。撮像素子１０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charged Coupled Device）イメージセンサであってよい。撮像素子１０２はまた、光電変換素子の電荷蓄積時間を調整することで電子シャッター機能を実現できる。

センサ駆動部１０３は、カメラ信号処理部１０６の制御するタイミングに従って撮像素子１０２の動作を制御する。ＣＤＳ／ＡＧＣ部１０４は、撮像素子１０２からのアナログ画像信号を相関二重サンプリング（ＣＤＳ）してノイズを削減し、システム制御部１１１の制御に従って信号レベルのゲイン制御（ＡＧＣ）を行う。Ａ／Ｄ変換器１０５は、ＣＤＳ／ＡＧＣ部１０４からのアナログ画像信号をデジタル画像信号に変換し、カメラ信号処理部１０６に供給する。カメラ信号処理部１０６は、システム制御部１１１と連携して、タイミング信号の生成、自動露出（Auto Exposure：ＡＥ）制御、ガンマ調整、オートフォーカス（Auto Focus：ＡＦ）制御等、撮像機能に関する制御を行う。

第１記憶部１０７はカメラ信号処理用、第２記憶部１１６はビデオ制御用、第３記憶部１１２はシステム制御用、第４記憶部１１９はコーデック用に設けられた記憶装置（半導体メモリや磁気記録媒体など）である。図では個別の構成として示しているが、同一の記憶装置が第１〜第４記憶部の２つ以上を実現してもよい。

カメラ信号処理部１０６は第１記憶部１０７を、例えば撮像した映像を信号処理する際のフレームメモリとして使用する。レンズ駆動部１０８は、システム制御部１１１の制御に従い、レンズ部１０１が有するモータやアクチュエータ等を駆動し、レンズ部１０１のズーム倍率（画角）、合焦距離、絞り値などを変更する。システム制御部１１１は、カメラ信号処理部１０６での画像信号の処理結果に基づいてレンズ駆動部１０８を制御する。例えばＡＦ制御時にシステム制御部１１１は、レンズ部１０１が有するフォーカスレンズを、カメラ信号処理部１０６が求めたＡＦ評価値に基づく合焦位置に移動させるためにレンズ駆動部１０８を制御する。

マイク１１０は、周囲の音を記録する際に用いられ、マイク１１０からの音声信号はカメラ信号処理部１０６に供給される。例えば撮像素子１０２で撮像した画像と併せてマイク１１０からの音声を記録する場合、カメラ信号処理部１０６は画像と音声とを同期させてビデオ信号処理部１１５に供給する。

システム制御部１１１は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサにより構成され、例えば第３記憶部１１２に記憶されたプログラムを実行して各機能ブロックを制御することにより、デジタルビデオカメラの動作全般を実現する。第３記憶部１１２は、例えばＲＯＭやＲＡＭを含み、システム制御部１１１が実行するプログラムや各種設定、初期値等を記憶する。また、第３記憶部１１２は、システム制御部１１１のワークエリアとしても用いられる。

入力操作部１１３は、撮影者がデジタルビデオカメラに指示を与えるためのユーザインタフェースであり、キー、各種操作ボタン等の入力デバイスを備える。計時部１１４は、リアルタイムクロック（ＲＴＣ）とバックアップ電池を備え、システム制御部１１１からの要求に応じて日時情報を返信する。

ビデオ信号処理部１１５は、色相、彩度、明度の調整を含む、第１表示部１２２および第２表示部１２３への表示制御や、アナログライン出力部１２４の出力制御や、デジタルデータＩ／Ｆ部１２５の出力制御や、記録／再生部１２０の制御などを行う。また、画像信号の解像度変換や、重畳表示用の信号（ゼブラパターン、輪郭信号、各種設定値などの情報）もビデオ信号処理部１１５が生成する。ビデオ信号処理部１１５はさらに、メニュー画面やＧＵＩ(Graphical User Interface)等のＯＳＤ（On Screen Display）の表示制御も行う。

ビデオ信号処理部１１５は、ビデオベースバンド信号に関する信号処理を行う際のフレームメモリ、ワークメモリ等として第２記憶部１１６を使用する。また、ビデオ信号処理部１１５は、撮影画像からの特定周波数成分の抽出処理や、合焦度合いの指標となる強調効果を画像に付与する処理に係わる信号処理も実行する。

Ｈ．２６４コーデック部１１７は、動画像の符号化および復号処理を行う動画像コーデックの一例である。符号化形式はＨ．２６４に限らず、ＭＰＥＧ（Moving Picture Experts Group）−２方式をはじめ、他の形式であってよい。同様に、ＪＰＥＧ（Joint Photographic Experts Group）コーデック部１１８は、静止画像の符号化および復号処理を行う静止画コーデックの一例である。符号化形式はＪＰＥＧ方式に限らず、ＪＰＥＧ２０００やＰＮＧ(Portable Network Graphics)等、他の形式であってよい。

なお、ＪＰＥＧコーデック部１１８は、Ｈ．２６４コーデック部１１７と一部の回路を共用するため、また、Ｈ．２６４コーデック部１１７が再生する動画像からの静止画撮影機能（キャプチャ機能）を実現するため、ビデオ信号処理部１１５に接続されている。ただし、ＪＰＥＧコーデック部１１８はカメラ信号処理部１０６に直接接続されてもよい。Ｈ．２６４コーデック部１１７およびＪＰＥＧコーデック部１１８は、画像信号の符号化および復号処理において第４記憶部１１９を用いる。

記録／再生部１２０は、ビデオ信号処理部１１５とＨ．２６４コーデック部１１７（またはＪＰＥＧコーデック部１１８）とにより符号化処理され、記録フォーマットに応じたデータ構造となるように処理された記録データを記録媒体１２１に記録する。また、記録／再生部１２０は、記録媒体１２１に記録された動画または静止画データファイルからデータを読み出す。なお、記録媒体１２１はメモリカードに限定されず、光学記録媒体、磁気記憶装置（ＨＤＤなど）、半導体記憶装置（ＳＳＤなど）であってもよい。

第１表示部１２２および第２表示部１２３は同様の情報を表示することができる。本実施形態において、第１表示部１２２は、例えば筐体の側面等に開閉可能に設けられる比較的大型の表示装置とする。また、第２表示部１２３は、第１表示部１２２よりも小型の表示装置であり、アイピースを通して見るためにデジタルビデオカメラ内部に設けられているものとする。

第１表示部１２２および第２表示部１２３には、撮影モードでは撮像素子１０２で撮影される動画像（ライブビュー画像）に加え、撮影画像のアスペクト比に応じた枠など、撮影補助用の画像が重畳表示される。撮像素子１０２で撮影した動画像を第１表示部１２２および第２表示部１２３に表示することで、第１表示部１２２および第２表示部１２３を電子ビューファインダ（ＥＶＦ）として機能させる。一方、再生モード時、第１表示部１２２および第２表示部１２３には、記録媒体１２１に記録されている動画像や静止画像が表示される。本実施形態による強調効果の付与は、デジタルビデオカメラの動作モードが撮影モードおよび再生モードのいずれかにかかわらず、第１表示部１２２や第２表示部１２３に表示される画像に対して実行することができる。また、第１表示部１２２および第２表示部１２３にはデジタルビデオカメラの動作状態や設定に係る情報や、撮影画像に関する情報、各種のＧＵＩなども表示される。

アナログライン出力部１２４は、例えばアナログコンポーネント出力や、Ｓ端子出力、コンポジット出力などを行うためのインタフェース群である。アナログライン出力部１２４を外部装置に接続して、デジタルビデオカメラで撮影もしくは再生した動画像もしくは静止画像を外部装置に出力することができる。デジタルデータＩ／Ｆ部１２５は、例えばＵＳＢ、ＳＤＩ、ＨＤＭＩ（登録商標）等のデジタルインタフェースを１つ以上含むことができる。後述する、強調効果が付与された被写体映像を外部装置に出力することもできる。

次に、図２および図３を参照して、本実施形態のデジタルビデオカメラにおける強調効果の付与処理について説明する。なお、強調効果の付与処理は、フォーカスアシスト機能が有効に設定されている際にライブビュー画像に対して実施されてもよいし、再生モードで再生される静止画像または動画像に対して実施されてもよい。また、フォーカスアシスト機能が有効に設定されている場合は、マニュアルフォーカスであってもオートフォーカスであっても実施されてよい。

図２は、図１のビデオ信号処理部１１５における、強調効果の付与に関係する機能ブロックを模式的に示したブロック図である。
画像信号２０１は図１のカメラ信号処理部１０６から入力される。カメラ信号処理部１０６から入力される画像信号の形式に制限はないが、ここでは輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）からなる形式の画像信号が入力されるものとする。

抽出回路２０２は画像信号から所定の周波数成分を抽出する。なお、本明細書における「周波数成分」は「周波数帯域成分」であり、単一周波数成分とは異なる。抽出回路２０２は例えばバンドパスフィルタやハイパスフィルタであり、ここでは、タップ係数が「−１，２，−１」の３タップＦＩＲフィルタとする。なお、抽出回路２０２が抽出する周波数成分は、合焦度合いの指標として利用可能な任意の周波数成分であってよい。また、抽出回路２０２の周波数特性は可変であってもよい。

ゲイン調整回路２０３は、抽出回路２０２で抽出した周波数成分のゲイン（増幅率）を例えば予め定めた値に調整する。このゲインはユーザが調整可能であり、ゲインを上げれば加算信号が適用される画素が増加することになる。以下では説明および理解を容易にするため、ゲイン＝１、すなわち、ゲイン調整回路２０３は抽出回路２０２で抽出した周波数成分をそのまま出力するものとする。

閾値設定回路２０４は、例えばノイズレベルとして予め設定した上限閾値を超える値や下限閾値未満の値を排除することにより、抽出回路２０２で抽出された周波数成分に含まれるノイズ成分に加算信号が適用されないようにする。上限閾値や下限閾値もユーザが調整可能である。ここでは予め定められたデフォルト値が設定されているものとする。

信号生成回路２０５は、信号変更回路２０６において画像信号２０１の画素の輝度成分に適用するための加算信号を生成する。信号生成回路２０５は、画像信号２０１の輝度レベルに応じたレベルの加算信号、具体的には、輝度レベルが大きい時には小さいレベルの加算信号を、輝度レベルが小さい時には大きいレベルの加算信号を生成する。

適用手段としての信号変更回路２０６は、画像信号２０１の各画素のうち、
抽出回路２０２で抽出した周波数成分をゲイン調整回路２０３および閾値設定回路２０４で処理した結果が、予め設定した条件（例えば、閾値以上であること）を満たす画素に対し、
信号生成回路２０５で生成した加算信号を適用（加算）する
ことにより、強調効果が付与された画像信号２０７を出力する。

画像信号から抽出した高周波成分に依存した加算信号を元の画像信号に適用する従来の手法とは異なり、本実施形態の手法では、元の画像信号の値の大きさに依存した加算信号を適用する。また、特定の周波数成分が例えば閾値以上の大きさを有する画素を、加算信号を適用する（強調効果を付与する）画素として選択する。したがって、本実施形態における強調効果は、合焦度合いが一定以上である画素に対して付与される。

信号変更回路２０６は、処理後の画像信号２０７（表示用画像信号）を第１表示部１２２、第２表示部１２３、アナログライン出力部１２４、デジタルデータＩ／Ｆ部１２５などに出力する。

図３（ａ）は本実施形態による強調効果の付与を、図３（ｂ）は従来技術による強調効果の付与を、それぞれ模式的に示した図である。図３では、横軸を画像の水平１ライン方向、縦軸を輝度レベル（８ｂｉｔ）とする。なお、ここでは画像信号がＩＴＵ−Ｒ ＢＴ．６０１に従い、ＲＧＢ８ビットの画像信号が、ＹＣｂＣｒ形式に変換されているものとする。従って、輝度（Ｙ）は１６〜２３５の範囲の値を有し、２３５が飽和レベルである。

図３において、３０１〜３０８は、ある水平ラインに含まれる、連続する４画素の２区間の輝度値を示している。図３（ｂ）に示す従来手法を実現する回路を、本実施形態の手法を実現するビデオ信号処理部１１５（図２）との比較を目的として模式的に示すと例えば図４（ａ）のようになる。

画像信号４０１は重畳回路４０５および高周波成分抽出回路４０２に供給される。高周波成分抽出回路４０２で抽出された輝度成分の高周波成分は、ゲイン調整回路４０３に入力される。
ゲイン調整回路４０３は、高周波成分抽出回路４０２で抽出した高周波成分のゲイン（増幅率）を調整する。このゲインはユーザが調整可能であり、例えばゲインを１より大きくすると加算信号の値が大きくなるため、強調効果が強くなる。
閾値設定回路４０４は、抽出された高周波成分のうち、例えばノイズレベルとして予め設定した上限閾値を超える値や下限閾値未満の値を排除する。上限閾値や下限閾値もユーザが調整可能である。ここでは予め定められたデフォルト値が設定されているものとする。
重畳回路４０５は、入力信号である画像信号４０１の各画素の輝度成分に、閾値設定回路４０４から供給される高周波成分（加算信号）をタイミング位相を合わせて適用（加算）して強調効果を付与する。

ここで、高周波成分抽出回路４０２がタップ係数が「−１，２，−１」の３タップＦＩＲフィルタであり、ゲイン調整回路４０３のゲインが１であるとする。この場合、例えば図３における画素３０２のように輝度レベルの大きな画素については、抽出される高周波成分の値（＝５０）も大きくなり、もとの画素値に適用（加算）すると飽和レベル（＝２３５）を超えてしまう。そのため、被写体の高周波成分を含む輪郭部分などが高輝度で白飛びしているのか、強調の効果なのかを判別できないため、フォーカスの合焦の度合いを見極めることが困難となる。

一方、画素３０６のように輝度レベルの小さな画素については抽出される高周波成分の値（＝２５）も小さくなる。このように、従来の手法では強調効果を付与するために加算される信号値が元の画素値に依存し、値が小さい画素については付与される強調の効果も小さくなるため、例えば低輝度の領域に対する強調効果もわかりづらくなる。

これに対し、本実施形態の手法では、抽出回路２０２で抽出される周波数成分の値の大きさに依存せず、元の画素値に応じた値を有する加算信号を信号生成回路２０５で別途生成する。信号生成回路２０５は、例えば任意の固定値（ここでは取りうる最大値（飽和値）の２３５とする）と入力画素信号の輝度値との差の大きさに、任意のゲイン（１以下。ここでは０．５とする）を乗じて加算信号を生成する。この例で生成される加算信号は、所定の固定値と入力信号値との差に応じて、差が大きいほど大きな値を有する。固定値を例えば飽和値の様に大きな値にすることで、輝度の高い画素３０２に対する加算信号の値は小さく、また、輝度の低い画素３０６に対する加算信号の値は大きくなる。

そのため、これまで強調効果の付与によって飽和レベルを超え、強調効果が判別できなかった画素３１１の値が、画素３０９の様に飽和しないレベルになり、強調効果が判別できるようになる。また、画素３１２の様に値が小さいために強調効果が弱くなって判別しづらかった画素については、画素３１０のように大きな強調効果が付与されるので、強調効果が判別しやすくなる。

なお、ここで説明した加算信号の生成方法は単なる一例であり、値の小さな画素に対して十分な強調効果を与えつつ、値の大きな画素が強調効果によって飽和することを抑制することが可能であれば、他の任意の方法で生成することができる。例えば、上述の例では加算信号の値を画素値の線形的な増加につれて線形的に減少させたが、加算信号の値が非線形的に、あるいは階段状に減少するなど、少なくとも画素値の増加に連れて、連続的または段階的に減少する値を有する信号とすることができる。

以上説明したように、本実施形態によれば、画素値が小さいと値が大きくなる加算信号を生成し、加算信号を適用（加算）するか否かを、画素値から抽出した特定の周波数成分の大きさに基づいて判定するようにした。そのため、値の小さい画素に対する強調効果が判別しやすくなり、例えば低輝度部における合焦状態を容易に把握できるようになる。また、画素値が大きいと値が小さくなるように加算信号を生成することで、値の大きな画素に対する強調効果の付与による画素値の飽和を抑制することができる。

例えば、高輝度の領域と低輝度の領域とが同様の距離に混在しているシーンであっても、それぞれの領域に適切な強調効果が付与されるため、合焦度合いを適切に把握することが可能になる。例えば、動画像（ライブビュー画像、記録中の動画像）のフレームに対して本実施形態を適用することにより、厳密なフォーカス合せのためのフォーカスアシスト機能を実現できる。また、再生中の動画像や静止画に対して本実施形態を適用することにより、合焦している部分の確認を容易に把握する機能を実現することができる。

なお、ここでは強調効果を付与するかどうかの判断基準として用いる周波数成分を画素の輝度成分から抽出する例を説明したが、他の成分から抽出してもよい。例えば、画像信号がＲＧＢ形式であれば、Ｇ（緑）成分から抽出したり、Ｒ（赤），Ｇ（緑），Ｂ（青）の個々の成分から抽出してもよい。複数の成分から周波数成分を抽出する場合、例えばいずれか１つが条件を満たす画素に強調効果を付与するように構成することができる。

●＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態が第１の実施形態と異なるのは、ビデオ信号処理部が、強調効果を付与しない画素について、輝度と彩度を低減して出力する点である。他の構成要素については第１の実施形態と共通でよいため、以下では本実施形態におけるビデオ信号処理部の構成ならびに動作について説明する。

図５は、本実施形態におけるビデオ信号処理部１１５’の機能構成例を示すブロック図であり、第１の実施形態と同じ構成には同じ参照数字を付し、重複する説明を省略する。本実施形態では、第１の実施形態のビデオ信号処理部１１５に対してレベル調整回路５０１が追加されている点で構成が異なるほか、信号変更回路５０２の動作が異なる。

具体的には、本実施形態の信号変更回路５０２は、第１の実施形態と同様の強調効果の付与動作に加え、強調効果を付与しない画素値をレベル調整回路５０１でレベル調整された画素値に置き換える。さらに本実施形態の信号変更回路５０２は、強調効果を付与する画素の輝度や彩度を、必要に応じてさらに調整する。

レベル調整回路５０１は、入力画像の各画素について、輝度および彩度を予め定められた量低減して出力する。低減量は低減を知覚でき、かつ元の画像の視認性を落としすぎない範囲で予め定めておく。また、入力画像全体の平均輝度に基づいて動的に定めてもよい。例えば輝度については０．５ＥＶ〜１ＥＶに相当する程度であってよく、彩度については例えば無彩色を０％とした０〜１００％で表す場合、０％〜７５％の範囲であってよい（０％の場合はグレースケールになる）。ただし、これらは単なる例示であり、他の値とすることも可能である。

例えば、動画像（ライブビュー画像、記録中の動画像）のフレームに対して本実施形態を適用してフォーカスアシスト機能を実現した場合、合焦度合いが低い領域については彩度および輝度が低下した状態で表示される。マニュアルまたはオートフォーカス機能により合焦度合いが上昇し、抽出される周波数成分の大きさが所定の条件を満たすと、第１の実施形態と同様に生成された加算信号が適用され、強調効果が付与される。信号変更回路５０２は、閾値設定回路２０４からの出力が条件を満たす画素については、レベル調整回路５０１の出力ではなく、入力された画像信号２０１を選択し、かつ加算信号を適用（加算）する。

これにより、合焦度合いが高い画素については、本来の（レベル調整されていない）画素値となる上、さらに加算信号が適用される。したがって、色味の変化（彩度の上昇）と輝度の上昇とが相まって、合焦度合いが低い状態から高い状態に遷移した部分が、陰っていた状態から明るく照らされるような印象を与える強調効果を付与することができる。そのため、別の色をつけたりしなくても、合焦度合いの高い領域が容易に判別可能であり、強調効果によって被写体の視認性が低下するという課題は生じない。

なお、加算信号の適用によって画素の輝度が元の値より上昇することにより、画素の色味が本来の色味より薄くなる。そのため、信号変更回路５０２において、加算信号の適用後の色味が元の（加算信号の適用前の）色味と視覚的に近づくよう、彩度を元の値よりも高めるように構成してもよい。

以上説明したように本実施形態によれば、第１の実施形態の構成に加え、強調効果を付与しない画素の輝度や彩度を低下させ、強調効果を付与する画素については輝度や彩度を低下させないようにした。そのため、第１の実施形態による効果に加え、視認性を低下させることなく合焦度合いの高い領域を容易に判別可能な強調効果を付与できるという効果を実現できる。

（変形例１）
なお、強調効果を付与しない画素の輝度や彩度を低下させ、強調効果を付与する画素については輝度や彩度を低下させないことによる第２の実施形態の効果は、抽出した高周波成分に基づく加算信号を用いて強調効果を付与する場合においても得られる。

図４（ｂ）は、抽出した高周波成分に基づく加算信号を用いて強調効果を付与する構成において、第２の実施形態のレベル調整技術を適用した場合のビデオ信号処理部１１５”のブロック図である。図４（ａ）および図５と同じ構成については参照数字を共通として説明を省略する。

信号変更回路４１０は、第２の実施形態における信号変更回路５０２と同様にして対象画素に強調効果を付与するか否かを判定する。そして、強調効果を付与すると判定した場合、信号変更回路４１０はレベル調整回路５０１の出力ではなく、入力されたままの画素信号に閾値設定回路４０４から入力される高周波成分を適用して出力する。また、強調効果を付与しないと判定した場合、信号変更回路４１０はレベル調整回路５０１の出力（レベル調整された画素信号）を選択して出力する。

このように、加算信号を抽出した高周波成分に基づいて生成する場合においても、合焦度合いが低い画素については輝度や彩度を低減した表示を行い、合焦度合いが高くなった際には加算信号の適用に加えて輝度や彩度を上昇させるように構成できる。それにより、視認性を低下させることなく合焦度合いの高い領域を容易に判別可能な強調効果を付与できるという効果を実現できる。

＜他の実施形態＞
上述の第１および第２の実施形態では、抽出回路で１つの周波数成分を抽出して、強調効果の付与を行うか否かを判定する構成であった。しかし、複数の周波数成分を抽出し、周波数成分ごとに強調効果の付与を行うかどうかを判定するように構成することもできる。

図６はこのような他の実施形態に係るビデオ信号処理部１１５の構成例を示しており、図６（ａ）は第１の実施形態、図６（ｂ）は第２の実施形態に対応している。図６において抽出回路６０１は、抽出回路２０２が抽出する周波数成分（第１周波数成分とする）とは異なる周波数成分（第２周波数成分とする）を抽出する。ゲイン調整回路６０２、閾値設定回路６０３は、ゲイン調整回路２０３および閾値設定回路２０４と同様の構成を有し、第２周波数成分に対するゲイン、およびノイズ低減のための閾値を設定することができる。

信号生成回路２０５は抽出回路２０２に対応付けられ、第１周波数成分が条件を満たす画素に対して適用するための加算信号を生成する。また、信号生成回路６０４は抽出回路６０１に対応付けられ、第２周波数成分が条件を満たす画素に対して適用するための加算信号を生成する。信号生成回路６０４は信号生成回路２０５と同様、元の画素値に応じた加算信号を生成するが、たとえば上述した固定値の値をより低い値に変更するなど、値の異なる加算信号を生成するように構成してもよい。

信号変更回路６０５、６０５’は、信号変更回路２０６、５０２と同様の動作を行うが、抽出された個々の周波数成分の大きさに応じて対象画素に対する強調効果の付与要否について判定するとともに、周波数成分に対応する加算信号を適用させる点で異なる。つまり、抽出する周波数成分ごとに、独立して強調効果を付与することが可能である。

例えば、高コントラストの被写体と、低コントラストの被写体とが混在している場合、１つの周波数成分に基づいて強調効果の付与要否を判定すると、低コントラストの被写体に対して強調効果が付与されづらくなる場合が考えられる。しかし、複数の周波数成分を抽出し、個々の周波数成分についての判定基準に基づいて強調効果の付与要否を判定することにより、低コントラストの被写体と、高コントラストの被写体が混在しているシーンにおいても適切に強調効果を付与できる。

例えば第１周波数成分が第２周波数成分より高い周波数の成分であるとする。この場合、まず第２周波数成分の大きさが先に条件を満たしたのち、第１周波数成分の大きさが条件を満たすようになる。そのため、まず、第２周波数の大きさに基づく判定によってコントラストの低い被写体および高い被写体について強調効果が付与され、その後、コントラストの高い被写体については第１周波数の大きさに基づく判定による強調効果に切り替わる。そのため、低コントラストの被写体についての合焦度合いについても判別可能となるだけでなく、高コントラストの被写体については合焦度合いが高まるにつれて強調効果が切り替わり、一層精度の高い焦点調節を支援するフォーカスアシスト機能を提供できる。

なお、図６（ｂ）の構成（第２の実施形態に対応）において、信号変更回路６０５’は、レベル調整回路５０１の出力を選択するかどうかについても、個々の周波数成分の大きさに応じて判定する。

（その他の実施形態）
本発明をその例示的な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、特許請求の範囲に記載された範囲内で様々な変更を行うことが可能である。また、レベル調整を行う実施形態と行わない実施形態とを切り替え可能に構成したり、加算信号を実施形態にしたがって生成する構成と抽出した周波数成分から生成する構成とを切り替え可能に構成してもよい。

例えば、上述した実施形態に係る強調効果の付与動作を、フォーカスアシスト機能以外に適用することもできる。例えば、記録済みの動画像や静止画像に適用して合焦領域を明示するために用いてもよい。また、ライトフィールドカメラで撮影した画像データのように、撮影後に合焦領域を変更可能な画像データに適用してもよい。この場合、仮想結像面が変更される都度、再構成される静止画像（リフォーカス画像）について実施形態に係る強調効果の付与動作を適用することで、所望の被写体に合焦したリフォーカス画像の取得を支援することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述の実施形態に係るビデオ信号処理部１１５をＣＰＵ、ＭＰＵ、ソフトウェア的に動的再構成可能なプロセッサ（以下、代表してＣＰＵという）で構成することができる。この場合、ＣＰＵは、不揮発性記憶装置に記憶されたプログラムをＲＡＭにロードして実行することにより、図７のフローチャートに示すように動作することができる。なお、図７において、点線で記載された工程は第２の実施形態およびその変形例で実行される工程を示している。

Ｓ１０１でＣＰＵは、処理対象の画像全体（１フレーム）をメモリに読み込み、画素ごとに以下の処理を実行する。Ｓ１０３、Ｓ１０５、Ｓ２０１は実質的に並列に処理される工程である。Ｓ１０３でＣＰＵは周波数成分の抽出処理を行う。このステップは、周波数成分の抽出、ゲインの適用、ノイズ低減を含み、回路２０２〜２０４、４０２〜４０４、６０１〜６０３の動作に相当する。

Ｓ１０５でＣＰＵは、処理対象画素の値に応じた加算信号を生成する。この動作は、信号生成回路２０５や６０４の動作に相当する。また、レベル調整を利用する実施形態を実現する場合、Ｓ２０１でＣＰＵは処理対象画素の輝度および彩度の低減処理を実行する。この処理はレベル調整回路５０１の動作に相当する。

Ｓ１０７でＣＰＵは、周波数成分の抽出処理で得られた値の大きさが、予め定められた条件（例えば閾値を超えている）を満たすか否かの判定により、処理対象画素に強調効果を付与するかどうかを判定する。例えば予め定められた条件を満たさず、強調効果を付与しないと判定した場合、ＣＰＵは必要に応じてＳ２０７を実行した後、Ｓ１１１に処理を進める。Ｓ２０７はレベル調整を利用する実施形態において実行され、ＣＰＵは処理対象の画素をレベル調整処理後の画素に置換して出力する（あるいは処理後の画素としてレベル調整後の画素を選択する）。

一方、例えば予め定められた条件を満たし、強調効果を付与する判定した場合、ＣＰＵは必要に応じてＳ２０３を実行した後、Ｓ１０９に処理を進める。Ｓ２０３はレベル調整を利用する実施形態において実行され、ＣＰＵは処理対象の画素をそのまま出力する（あるいは処理後の画素としてレベル調整されていない画素を選択する）。

Ｓ１０９でＣＰＵは、Ｓ１０５で生成した加算信号を処理対象画素に適用する。具体的には、ＣＰＵは、処理対象画素の輝度成分にＳ１０５で算出した値を加算する。その後、ＣＰＵは必要に応じてＳ２０５を実行した後、Ｓ１１１に処理を進める。Ｓ２０５はレベル調整を利用する実施形態において必要に応じて実行され、加算信号の適用により元の色味と変化した場合に、元の色味と同等に知覚されるように処理対象画素の彩度を上昇させる。

Ｓ１１１でＣＰＵは、１画面分の全画素について処理を適用したかどうか判定し、未処理の画素があればＳ１０３〜Ｓ２０１へ、未処理の画素がなければ、１画面分の処理を終了する。動画像に対しては、例えばフレームごとに同様の処理を繰り返す。

１１５…ビデオ信号処理部、２０２…抽出回路、２０３…ゲイン調整回路、２０４…閾値設定回路、２０５…信号生成回路、２０６…信号変更回路、５０１…レベル調整回路

Claims (13)

1. 画像信号から予め定められた周波数成分を抽出する抽出手段と、
   前記画像信号の処理対象画素に強調効果を付与するための信号を生成する生成手段と、
   前記処理対象画素の輝度および彩度を低減する調整手段と、
   前記抽出手段が抽出した前記周波数成分の大きさに基づく判定に応じて、前記生成手段が生成した前記信号を前記処理対象画素に適用して出力する適用手段と、
   を有し、
   前記生成手段は、予め定められた固定値と前記処理対象画素の値との差に基づき、前記処理対象画素の値の増加に連れて連続的または段階的に減少する値を有するように前記信号を生成し、
   前記適用手段は、前記調整手段によって輝度及び彩度が低減されていない前記処理対象画素に前記信号を適用して出力し、前記処理対象画素に前記信号を適用しない場合には前記調整手段によって輝度及び彩度が低減された前記処理対象画素を出力することを特徴とする画像処理装置。
2. 前記適用手段は、前記周波数成分の大きさが予め定められた閾値より大きい場合に、前記生成手段が生成した前記信号を前記処理対象画素に適用することを特徴とする請求項１記載の画像処理装置。
3. 前記適用手段は、前記処理対象画素の輝度成分に前記生成手段が生成した前記信号を加算することによって前記信号を前記処理対象画素に適用することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記固定値が、前記処理対象画素が取りうる最大値であることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記適用手段は、前記信号の適用により前記処理対象画素の色味が変化する場合には、前記信号の適用後の前記処理対象画素の色味が前記信号の適用前の色味に近づいて知覚されるように前記処理対象画素の彩度を上昇させることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段および前記生成手段が複数であり、
   前記抽出手段はそれぞれ異なる周波数成分を抽出し、
   前記生成手段はそれぞれ異なる前記抽出手段に対応付けられ、
   前記適用手段は、前記抽出手段のそれぞれが抽出した前記周波数成分の大きさに基づく判定に応じて、前記生成手段のそれぞれが生成した前記信号を前記処理対象画素に適用して出力する、ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記画像信号が動画像もしくは静止画の信号であることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記動画像がライブビュー画像であることを特徴とする請求項７に記載の画像処理装置。
9. 前記画像信号がリフォーカス画像の信号であることを特徴とする請求項７に記載の画像処理装置。
10. 撮像素子と、
    前記撮像素子で撮像された動画像を連続的に表示する表示手段と、
    請求項１から請求項８のいずれか１項に記載の画像処理装置と、を有し、
    前記画像処理装置の前記抽出手段が、前記表示手段に表示する動画像の信号を対象として前記抽出を行い、
    前記画像処理装置の前記適用手段の出力を、前記表示手段に表示することを特徴とする撮像装置。
11. 前記撮像装置は、フォーカスアシスト機能が有効に設定されている場合に前記画像処理装置の前記適用手段の出力を前記表示手段に表示することを特徴とする請求項１０に記載の撮像装置。
12. 画像処理装置が実行する画像処理方法であって、
    画像信号から予め定められた周波数成分を抽出し、
    前記画像信号の処理対象画素に強調効果を付与するための信号を、予め定められた固定値と前記処理対象画素の値との差に基づき、前記処理対象画素の値の増加に連れて連続的または段階的に減少する値を有するように生成し、
    前記抽出された前記周波数成分の大きさに基づく判定に応じて、輝度及び彩度が低減されていない前記処理対象画素に前記信号を適用して出力するか、輝度及び彩度が低減された前記処理対象画素に前記信号を適用せずに出力する、ことを特徴とする画像処理方法。
13. コンピュータを請求項１から請求項９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images