JP6094359B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像上の合焦部分を強調表示する画像処理装置、画像処理方法、及びプログラムについての技術分野に関する。

特開２０１０−１１４５５６号公報 特開２００３−４６８４４号公報

デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置では、ピント合わせやピント確認のために、撮像モニタリング画像（スルー画）上で、撮像画像上の合焦エリアを強調表示してユーザに提示する機能が知られている。
特許文献１には、いわゆるピーキングとして、被写体の輪郭（エッジ部分）を強調して表示させる場合に、強調表示させる部分を選択するための閾値を可変する技術が開示されている。
特許文献２には、焦点が合っている部分の識別を容易にするために、画像の領域毎に焦点が合っているか否かを検出し、焦点が合っている領域のエッジを強調表示することが開示されている。

ところで、このようにエッジを強調表示を行う場合に、対象とする画像がエッジの多い画像である場合には、強調表示部分が多くなりすぎて画像がみづらいものとなってしまう。逆に、コントラストの少ない画像では、エッジ強調がほとんどなされない。
特許文献１の技術の場合、強調表示させる部分を決めるための閾値を画像に応じて変化させることで、以上のような状況は改善される。ところが、フォーカスが合ってないピンぼけ部分が多い画像に対しては閾値が低くなり、わずかなエッジでも強調表示されてしまい、合焦部分を強調するという本来の目的からずれてしまう。
また特許文献２の技術の場合、閾値は固定であるため、例えば焦点が合っている領域の画像がエッジが多いものであると、上記のように強調表示部分が多くなりすぎて、みづらい画像となってしまう。

そこで本技術は、対象とする画像内容によらず、撮像画像上の合焦部分を強調表示してユーザに提示する画像が、見やすい画像であり、かつ適切に合焦部分を提示するものとなるようにすることを目的とする。

第１に、本技術に係る画像処理装置は、対象とする画像データ内での合焦領域を判定する合焦領域判定部と、前記合焦領域判定部で判定された合焦領域を対象としてエッジ評価値の分布情報を生成する分布情報生成部と、前記分布情報生成部で生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定する閾値設定部と、前記閾値設定部で設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成する表示データ生成部とを備える。
画像データ内での強調表示部分を選択するための閾値が固定であると、エッジの多い画像だと、強調表示部分が多くなりすぎて見づらい画像となり、またエッジの少ない画像だと、殆ど強調表示がなされないことになる。画像に応じて閾値を可変すると、このような点を改善できるが、画像の状態（エッジの多少や合焦状態）によっては必ずしも適切な閾値が得られない、そこで本技術では、画像の合焦領域を対象としてエッジ評価値の分布情報を生成し、分布情報を用いて閾値を設定する。つまり合焦領域のみを対象として画像内のエッジ状況を観測する。これによって閾値の可変設定について、非合焦部分の影響を受けることがないようにする。

第２に、上記した本技術に係る画像処理装置においては、前記表示データ生成部は、画像データ内において、合焦領域内であって前記閾値との比較結果で選択された部分を強調表示させる表示データを生成することが望ましい。
即ち強調表示を行う部分は、合焦領域内のみとする。例えば合焦領域以外に、エッジ評価値が閾値より高い画素があったとしても、その部分は強調表示は行わない。

第３に、上記した本技術に係る画像処理装置においては、前記閾値設定部は、前記閾値に応じた強調効果量情報を設定し、前記表示データ生成部は、前記強調効果量情報を強調表示のための画素データ変換演算に用いることが望ましい。
分布情報に基づいて可変設定される閾値は、画像の状態（エッジの多少等）を反映したものとなる。そこで閾値に応じて強調効果量情報を設定することで、画像状態に応じた強調表示が可能となる。
第４に、上記した本技術に係る画像処理装置においては、前記表示データ生成部は、前記強調効果量情報を用いて強調表示部分の輝度値を設定することが望ましい。
即ち強調表示の度合いを輝度で調節する。

第５に、上記した本技術に係る画像処理装置においては、前記分布情報生成部は、隣接画素データ間の輝度の微分値として得られるコントラスト差分を、前記エッジ評価値として、当該エッジ評価値の分布情報を生成することが望ましい。
隣接画素データ間の輝度の微分値として適切なエッジ評価値が得られる。
第６に、上記した本技術に係る画像処理装置においては、前記閾値設定部は、前記分布情報生成部が生成した分布情報から、分布上位側からの累積画素数が設定した画素数比率となるエッジ評価値を用いて閾値を設定することが望ましい。
これにより、強調表示させる部分の画素数をコントロールできる。
第７に、上記した本技術に係る画像処理装置においては、前記閾値設定部は、設定する閾値として上限及び下限を設けていることが望ましい。
これにより、閾値が極端な値になることを防止する。

本技術に係る画像処理方法は、対象とする画像データ内での合焦領域を判定し、判定された合焦領域を対象としてエッジ評価値の分布情報を生成し、生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定し、設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成するものである。
これにより、適切な閾値設定で見やすい強調表示を提供することが可能となる。
本発明に係るプログラムは、上記画像処理方法の各処理を演算処理装置に実行させるプログラムである。

本技術によれば、対象とする画像内容によらず、見やすく、かつ適切に合焦部分をユーザに提示する強調表示が実現される。

本技術の実施の形態の画像処理装置のブロック図である。 実施の形態の強調表示の説明図である。 実施の形態の画像処理方法のフローチャートである。 実施の形態の撮像装置のブロック図である。 実施の形態の合焦領域判定の説明図である。 実施の形態の撮像装置のオートフォーカス時の処理のフローチャートである。 実施の形態の撮像装置のマニュアルフォーカス時の処理のフローチャートである。 実施の形態の分布情報の説明図である。 実施の形態の閾値決定処理のフローチャートである。 実施の形態の閾値及び強調効果量の説明図である。 実施の形態の表示データ生成部の処理のフローチャートである。 実施の形態の強調表示の説明図である。 実施の形態の強調表示の説明図である。 実施の形態の強調効果量の異なる強調表示の説明図である。 実施の形態のコンピュータ装置のブロック図である。

以下、実施の形態を次の順序で説明する。
＜１．実施の形態の画像処理装置の構成及び処理例＞
＜２．撮像装置の構成＞
＜３．撮像装置における強調表示処理＞
＜４．プログラム及びコンピュータ装置への適用＞
＜５．変形例＞

＜１．実施の形態の画像処理装置の構成及び処理例＞
図１に実施の形態の画像処理装置１の構成例を示す。
画像処理装置１は、合焦領域判定部２、分布情報生成部３、閾値設定部４、表示データ生成部５を有する。
この画像処理装置１は、入力された画像データＤｉｎを対象として、画像内の合焦部分のエッジを強調表示させる表示データＤｏｕｔを生成して出力する。
例えば図２Ａのような撮像画像としての画像データＤｉｎから、図２Ｂのようなエッジが強調表示された画像としての表示データＤｏｕｔを生成する。表示データＤｏｕｔが図示しない表示装置に供給され、図２Ｂのような画像が表示されることで、ユーザは、画像データＤｉｎについての合焦部分を容易に確認できるものとなる。なお図２Ｂでは強調表示部分を太線で示しているが、実際には、合焦部分のエッジの輝度を高く（もしくは全体が高輝度の画像であれば輝度を低く）したり、エッジの色を黄色や赤色などに変換したり、エッジとなる線を太くしたりするなどの手法で強調表示を行う。

図１の画像処理装置１において、合焦領域判定部２は対象とする画像データＤｉｎ内での合焦領域を判定する。画像データＤｉｎは、例えばデジタルスチルカメラ等の撮像装置でイメージャにより光電変換され、所定の処理を経て得られた撮像画像データである。合焦領域判定部２は、この画像データＤｉｎとしての１フレーム内で、合焦領域と非合焦領域を識別し、合焦領域を示す合焦領域情報Ｉａｒを出力する。

分布情報生成部３は、合焦領域判定部２で判定された合焦領域を、合焦領域情報Ｉａｒにより認識する。そして画像データＤｉｎの１フレーム内における合焦領域を対象としてエッジ評価値の分布情報Ｉｈｓを生成する。例えば各エッジ評価値に応じた画素数のヒストグラムを作成する。
なおエッジ評価値とは例えば隣接画素データ間の輝度の微分値として得られるコントラスト差分値である。エッジ評価値が高い画素は、画像上でのエッジ（例えば輪郭部分など）に相当する。一方、平坦な画像となっている部分の画素はエッジ評価値が低くなる。

閾値設定部４は、分布情報生成部３で生成した分布情報Ｉｈｓ（ヒストグラム）を用いて、強調表示部分の判定に用いる閾値ｔｈを可変設定する。例えば高いエッジ評価値の画素が多い（エッジ比率が高い）場合は、閾値ｔｈを高めに設定し、逆に低いエッジ評価値の画素が多い（エッジ比率が低い）場合は閾値ｔｈを低めに設定する。

表示データ生成部５は、閾値設定部４で設定した閾値ｔｈを用いて画像データＤｉｎ内での強調表示部分を選択し、選択された部分を強調表示させる表示データＤｏｕｔを生成する。即ちエッジ評価値が閾値ｔｈを超える画素は強調表示すべきエッジ部分であるとし、このような画素を強調表示の対象として選択する。そして当該画素の輝度を高くしたり、或いは色情報を変更するなどの手法で、強調表示が行われるようにする。このように表示データＤｏｕｔを生成して、図示しない表示装置に出力する。
なお表示データ生成部５は、特には１フレームの画像データＤｉｎ内において、合焦領域情報Ｉａｒで指定される合焦領域内であって、閾値ｔｈとの比較結果で選択された画素を強調表示させる表示データＤｏｕｔを生成する。
これにより図２Ａの画像について、図２Ｂのような表示が行われる。

図３は画像処理装置１による処理手順を示している。
ステップＦ１として画像データＤｉｎの１フレームが入力される度に図３の処理が行われる。
ステップＦ２で合焦領域判定部２が１フレーム内での合焦領域を判定し、合焦領域情報Ｉａｒを得る。
ステップＦ３で分布情報生成部３が合焦領域情報Ｉａｒで示される合焦領域を対象として各画素でのエッジ評価値を求め、エッジ評価値の分布情報Ｉｈｓを生成する。例えば合焦領域内の各画素について、輝度の微分値など、画像内のエッジらしさを評価する値（エッジ評価値）を求める。
そしてエッジ評価値毎の画素数を計数し、ヒストグラム（分布情報Ｉｈｓ）を生成する。

ステップＦ４で閾値設定部４が、分布情報Ｉｈｓを用いて閾値ｔｈを設定する。例えば高い方から全体の１０％に相当するエッジ評価値が選択されるように閾値ｔｈを設定する。
ステップＦ５で表示データ生成部５は、合焦領域情報Ｉａｒで示される合焦領域内で、エッジ評価値が閾値ｔｈより高い画素を選択し、これを強調表示部分とする。
ステップＦ６で表示データ生成部５は、選択した画素について、輝度値を上下したり、或いは色情報変換を行うなどの手法で、強調表示が行われるように画素データ（輝度データ又は色データ）を変換する。変換後の画像データが表示データＤｏｕｔとなる。
ステップＦ７で表示データ生成部５は、生成した表示データＤｏｕｔを出力する。

以上の処理により、表示装置において見やすく、かつ適切に合焦部分を提示する強調表示を行うことができる。
なお、図１の構成において、合焦領域判定部２、分布情報生成部３、閾値設定部４、表示データ生成部５を有する画像処理装置１は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などで実現できる。また各部を例えば複数のＣＰＵや、ＣＰＵと画像処理用ＤＳＰ等に分散して実現し、それらの演算処理装置の連携処理として、画像処理装置１を機能を実現することも考えられる。

＜２．撮像装置の構成＞
以下では、上記のような画像処理装置１を内蔵した撮像装置１０を例に挙げ、構成及び動作（合焦部分の強調表示）について詳しく説明する。
実施の形態の撮像装置１０の構成例を図４に示す。
この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。この撮像装置１０は、いわゆるスルー画（被写体モニタリング画像）としての動画表示において、合焦部分の強調表示を実行するものとする。

図４に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。

光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。

光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じて制御部３０が光学系駆動部１３の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じて制御部３０が光学系駆動部１３の動作を制御するマニュアルフォーカスとしての駆動も行われる。

デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、表示データ生成部２６、合焦領域判定部２７、オートフォーカス判定部２８（以下、ＡＦ判定部）を備えている。

前処理部２１は、イメージャ１２からの撮像画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

合焦領域判定部２７は、撮像画像データ、例えば同時化部２２の処理を経た撮像画像データを入力し、この撮像画像データとしての１フレーム内で、合焦領域と非合焦領域を識別し、合焦領域を示す合焦領域情報を制御部３０に出力する。
具体的には合焦領域判定部２７は、例えば図５Ａのように１フレームの撮像画像データを多数の領域に分割する。図示する例はあくまでも説明上の一例であるが、例えば領域ｗ１〜ｗ３６のように各領域を設定する。実際の領域分割数は適宜適切に設定されればよい。
そして各領域ｗ１〜ｗ３６について、それぞれが合焦領域か非合焦領域かを判定する。
例えば１つの領域ｗ（ｎ）について、図５Ｂのような処理を行う。即ち領域ｗ（ｎ）を構成する各画素データについて、Ｙ生成部４１から積分器４６までの処理を行う。
Ｙ生成部４１では簡易的にＹ信号を生成する。そして生成したＹ信号についてＨＰＦ（ハイパスフィルタ）４２で高域抽出を行い、さらに絶対値化部４３で絶対値化する。即ち高域成分を絶対値として抽出する。そしてコアリング部４４で高域成分ノイズ除去を、さらにリミッタ４５でリミッタ処理を行った後、積分器４６で積分処理を行う。
つまり、各領域ｗ（ｎ）について、その領域ｗ（ｎ）を構成する画素データの高域成分を積算していき、その結果として評価値ＣＳを得る。合焦領域ではエッジ成分が顕著に表れることで高域成分の積算値としての評価値ＣＳが高い値となる。従って評価値ＣＳを所定の合焦領域判定閾値と比較することで、その領域ｗ（ｎ）が合焦領域か非合焦領域かの判定情報が得られることになる。
合焦領域判定部２７は例えばこのように、各領域ｗ１〜ｗ３６についてそれぞれ合焦領域か非合焦領域かの判定を行い、判定結果としての合焦領域情報を制御部３０に出力する。
なお、合焦領域の判定は、方形の領域毎ではなく、例えば円形、多角形などの領域や、不定形領域を設定して行ってもよい。

表示データ生成部２６は、制御部３０の制御に従って、表示部３４に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部２４で解像度変換された撮像画像データ（主画像）としての各フレームのデータである。表示データ生成部２６は通常は撮像画像データによるスルー画表示のための表示データを生成する。表示データは表示部３４に供給され、スルー画表示が実行される。
また強調表示を実行する際には、表示データ生成部２６は制御部３０から受け取った後述の閾値ｔｈを用いて強調表示すべき画素を選択し、選択された部分を強調表示させる表示データを生成する。閾値ｔｈは後述処理により制御部３０によって可変設定される。表示データ生成部２６は、フレーム画像データ毎に可変設定される閾値ｔｈを用いて、スルー画としての各フレームで、強調表示画素を選択する。そして例えば選択した画素について、輝度値を上下したり、或いは色情報変換を行うなどの手法で、強調表示が行われるように画素データ（輝度データ又は色データ）を変換する。変換後の画像データが、強調表示を行うスルー画としての表示データとされて表示部３４に転送される。
なお、後述するが表示データ生成部２６は、閾値ｔｈとともに強調効果用パラメータＥＦも制御部３０から受け取る。強調効果用パラメータＥＦとは、強調表示の度合いを制御するパラメータである。例えば表示データ生成部２６は、強調効果用パラメータＥＦに応じて強調表示のための輝度値を設定する。

なお合焦領域判定部２７、表示データ生成部２６のそれぞれは、この図４の例ではデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によって合焦領域判定部２７、表示データ生成部２６としての処理が実行されてもよい。

ＡＦ判定部２８は、オートフォーカス動作の際に、現在のフレーム画像データのフォーカス状態を確認する。例えば画像データの高周波成分エネルギー検出などの手法でフォーカス状態を判定する評価値を求める。オートフォーカス時には、制御部３０はＡＦ判定部２８からの評価値を確認しながら光学系駆動部１３によるフォーカスレンズ駆動を実行させ、合焦状態に制御することになる。

制御部３０は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、強調表示機能のための処理を実行するためのプログラムも記憶される。

このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

また本実施の形態の場合、制御部３０は、分布情報生成部３０ａ，閾値設定部３０ｂとしての機能を備える。
分布情報生成部３０ａは、合焦領域判定部２７からの合焦領域情報に基づいて、現在のフレームにおける合焦領域を把握する。例えば上述の領域ｗ１〜ｗ３６のうちで、１又は複数の合焦領域を把握する。そして合焦領域のみを対象として、その合焦領域に含まれる画素のエッジ評価値（コントラスト差分値）の分布情報（ヒストグラム）を生成する。
閾値設定部３０ｂは、分布情報生成部３０ａで生成した分布情報を用いて強調表示部分の判定に用いる閾値ｔｈを可変設定する。そして閾値ｔｈを表示データ生成部２６に供給する。
このような分布情報生成部３０ａ，閾値設定部３０ｂを有する制御部３０は、デジタル信号処理部２０と連携して、撮像画像データのフレーム毎に分布情報生成と、分布情報に基づく閾値ｔｈの設定を行う。また閾値設定部３０ｂは、閾値ｔｈに応じた強調効果用パラメータＥＦの設定も行う。
なお、分布情報生成部３０ａ，閾値設定部３０ｂはデジタル信号処理部２０の機能として実現してもよい。

表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２６からの表示データに応じて、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。スルー画上での強調表示も行う。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）、フォーカスリング等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

記録部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部１５の実際の形態は多様に考えられる。例えば記録部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において強調表示のための分布情報生成や閾値設定などのための処理を制御部３０に実行するためのプログラムは、記録部１５に記憶されてもよい。

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

このような撮像装置１０において、図１で説明したような画像処理装置１の構成部分は次のようになる。
図１の画像処理装置１における合焦領域判定部２、分布情報生成部３、閾値設定部４、表示データ生成部５に相当する各構成は、合焦領域判定部２７、分布情報生成部３０ａ、閾値設定部３０ｂ、表示データ生成部２６となる。即ちデジタル信号処理部２０及び制御部３０により画像処理装置１が実装される。もちろん制御部３０側のみ、又はデジタル信号処理部２０側のみで、画像処理装置１を形成することもできる。

＜３．撮像装置における強調表示処理＞
以上の構成の撮像装置１０における合焦部分の強調表示のための処理動作を説明していく。合焦部分の強調表示は、例えばユーザによるピント合わせやピント確認を容易にするための行われる。例えばオートフォーカス時には、ユーザがシャッターボタンを半押しにするなどしてピント確認をするときに合焦部分の強調表示が行われる。またユーザがフォーカスリング操作等を行うマニュアルフォーカス時であれば、マニュアルフォーカス操作が行われる期間、つまりシャッターキーが全押しされるまでのスルー画表示期間に合焦部分の強調表示が行われる。
まずオートフォーカス時とマニュアルフォーカス時の処理を図６，図７で説明する。図６，図７の各処理は制御部３０がスルー画表示が行われる期間における強調表示を行うために実行する処理として示している。

まずオートフォーカス時の処理を図６で説明する。
ユーザが撮像装置１０により静止画撮像を行う場合、ステップＦ１０１として制御部３０はスルー画表示制御を行う。即ち制御部３０はデジタル信号処理部２０（表示データ生成部２６）に、現在の１フレームの撮像画像データに基づいて、スルー画としての１フレームの表示データ生成を実行させると共に、その表示データの表示部３４への出力を実行させる。これにより、イメージャで撮像される各フレームに対応してスルー画表示データが表示部３４に転送され、表示部３４でスルー画表示が行われる。ユーザは表示部３４の画面で、現在の被写体画像を確認することができる。

このスルー画表示を行っている期間、制御部３０はステップＦ１０２でユーザのシャッターボタン操作を監視し、半押しされたか否かを確認している。
ユーザがシャッターボタンを半押ししたら、制御部３０はステップＦ１０３のフォーカスロック制御を行う。即ちオートフォーカス制御として、ＡＦ判定部２８による評価値を監視しながら光学系駆動部１３によってフォーカスレンズ駆動を実行させ、合焦位置を探索し、合焦状態とさせる。

このようにオートフォーカス制御により合焦状態とさせた上で、制御部３０はステップＦ１０４〜Ｆ１０７で強調表示の制御を行う。
まずステップＦ１０４で制御部３０は、合焦領域判定部２７による合焦領域情報を取得する。
次にステップＦ１０５で制御部３０は、分布情報生成部３０ａの機能により、合焦領域を対象としてエッジ評価値のヒストグラムを作成する。
ステップＦ１０６で制御部３０は、閾値設定部３０ｂの機能により、作成したヒストグラムを用いて強調表示のための閾値決定処理を行う。
ステップＦ１０７で制御部３０は、決定した閾値ｔｈを表示データ生成部２６に受け渡し、スルー画上での強調表示を実行させる制御を行う。表示データ生成部２６が閾値ｔｈに基づいて強調表示を行う画素を選択し、強調表示のための画素データ変換を行って表示データを生成して表示部３４に転送することで、表示部３４ではスルー画上で合焦部分が強調表示されることになり、ユーザはこれを見ることで合焦部分を明確に認識できる。
なおこのステップＦ１０７では制御部３０は、後述する強調効果用パラメータＥＦも表示データ生成部２６に受け渡す。表示データ生成部２６は強調効果用パラメータＥＦに従って強調表示のための画素データ変換を行う。例えば加算する輝度値などの強調効果量が強調効果用パラメータＥＦで設定されることになる。
なお、ステップＦ１０５、Ｆ１０６、Ｆ１０７の処理の詳細は後述する。

ステップＦ１０８では、制御部３０はユーザがシャッターボタンを全押し（つまりレリーズ操作）を行ったか否かを確認する。また。全押ししていなければステップＦ１０９で半押しが維持されているかを確認する。
半押しが維持されている期間はステップＦ１０４〜Ｆ１０７の処理を繰り返す。従って半押し中は、各フレームについて強調表示のための処理が繰り返され、表示されるスルー画ではその時点の被写体画像上で合焦部分が強調表示されている状態となる。
半押しが解除された場合は制御部３０はステップＦ１０１に戻り、通常のスルー画表示を表示データ生成部２６に指示する。つまり強調表示は停止される。従って、この例の場合は、強調表示が行われるのはユーザが半押ししている期間、つまりユーザが半押し操作でオートフォーカスを実行させて合焦部分を確認している期間のみとなる。

ユーザがシャッターボタンを全押しした場合はステップＦ１０８からＦ１１０に進み、制御部３０は撮像記録制御を行う。つまりその際のフレーム画像データを、静止画として記録する動作をデジタル信号処理部２０及び記録部１５に指示する。これによって１枚の静止画データの撮像記録が行われる。なお当然ながら、記録される静止画像データは、強調表示されていない撮像画像データである。
このようにオートフォーカスを利用する場合、ユーザは半押しを行うことで、強調表示によって意図通りにフォーカシングされているか否かを確認し、意図通りであればシャッターボタンを全押しで静止画撮像記録を行うことができる。また意図通りではない場合、シャッター半押しのやり直しを行えばよい。或いは次に述べるマニュアルフォーカスを行うようにしてもよい。

続いてマニュアルフォーカス時の処理を図７で説明する。
この場合もオートフォーカス時と同様に、ユーザが撮像装置１０により静止画撮像を行う場合、ステップＦ２０１として制御部３０はスルー画表示制御を行う。これに応じて表示データ生成部２６が、スルー画としての表示データ生成し、表示部３４に転送することことで、表示部３４でスルー画表示が行われる。

スルー画表示を行っている期間、ユーザはマニュアル操作としてフォーカス操作を行うことができる。
マニュアルフォーカス操作を行った場合、制御部３０は、その操作に応じて光学系駆動部１３を制御し、操作に応じたフォーカスレンズ移動を実行させる。もしくは、レンズ鏡筒に形成されたフォーカスリング操作に応じて機械的にフォーカスレンズが移動される構成を採っている場合、特に制御部３０はフォーカスレンズ駆動制御を行う必要はない。

このようにフォーカシングをマニュアルフォーカスで行う場合、スルー画表示期間（ユーザがシャッターボタンを全押しするまでの期間）は、合焦部分の強調表示を行うため、制御部３０はステップＦ２０３〜Ｆ２０６の処理を行う。これは上述のステップＦ１０４〜Ｆ１０７と同様の処理となる。
そして制御部３０はステップＦ２０７でユーザがシャッターボタンを全押し（つまりレリーズ操作）を行ったか否かを確認する。レリーズ操作を行っていない期間は、ステップＦ２０１〜Ｆ２０６の処理を繰り返す。従ってユーザがレリーズ操作を行うまでは、スルー画表示が行われつつ、合焦部分があれば強調表示が行われる状態が継続される。

ユーザがシャッターボタンを全押しした場合はステップＦ２０７からＦ２０８に進み、制御部３０は撮像記録制御を行う。つまりその際のフレーム画像データを、静止画として記録する動作をデジタル信号処理部２０及び記録部１５に指示する。これによって１枚の静止画データの撮像記録が行われる。
このようにマニュアルでフォーカシングする際、ユーザは強調表示を見ながらフォーカスを調整し、意図した部分のエッジが強調されれば、合焦していると判断して静止画撮像記録を行うことができる。

以上の図６，図７に示したように、本実施の形態では、強調表示のための処理としてステップＦ１０４〜Ｆ１０７、又はステップＦ２０３〜Ｆ２０６の処理が行われる。この強調表示のための処理について説明する。

制御部３０は、ステップＦ１０４，Ｆ２０３で合焦領域情報を取得する。これは図５で説明したようにフレーム画像データ内の各領域について合焦領域か否かを示す情報を合焦領域判定部２７から受けとる処理である。
ステップＦ１０５，Ｆ２０４で制御部３０はヒストグラムを作成するが、この場合制御部３０は取得した合焦領域情報を参照して、合焦領域のみを対象としてヒストグラムを作成する。
例えば図５Ａの領域ｗ１５、ｗ１６、ｗ２１、ｗ２２が合焦領域と判定されていたとすると、この領域ｗ１５、ｗ１６、ｗ２１、ｗ２２を構成する画素を対象として、エッジ評価値のヒストグラムを作成する。

各画素のエッジ評価値は、例えば次のように算出する。
例えばｘ方向（水平方向）の画素データ並びでの輝度の微分値の絶対値（左右画素とのコントラスト差分）を求める。またｙ方向（垂直方向）の画素データ並びでの輝度の微分値の絶対値（上下画素とのコントラスト差分）を求める。また第１の斜め方向の画素データ並びでの輝度の微分値の絶対値（右上画素、左下画素とのコントラスト差分）を求める。さらに第２の斜め方向の画素データ並びでの輝度の微分値の絶対値（左上画素、右下画素とのコントラスト差分）を求める。これら４つの微分値の絶対値の和の値をエッジ評価値とする。
このエッジ評価値は、各画素について、縦又は横又は斜めのエッジ画像を構成している画素であるか否かを判断するための値となる。
例えば画像上で被写体の縦線を構成する画素ではｘ方向の微分値が高くなる。また画像上で被写体の横線を構成する画素ではｙ方向の微分値が高くなる。つまりエッジを構成する画素ではエッジ評価値としての値が高くなる。
なお、ここではｘ方向、ｙ方向、第１，第２の斜め方向という４方向の並びにより、或る画素の周囲８画素とのコントラスト差分を見ていることになるが、必ずしも４方向でなく、例えばｘ方向、ｙ方向の２方向などでエッジ評価値を算出してもよい。またｘ方向のみ、ｙ方向のみなどの１方向の画素データ並びでのコントラスト差分をエッジ評価値としてもよい。

合焦領域内の各画素について、以上のようにエッジ評価値を求め、図８のようにヒストグラムを生成する。縦軸は画素数で横軸はエッジ評価値である。
図８Ａはエッジの少ない画像データのヒストグラム例である。図のようにエッジ評価値が低い画素が多い状態となる。
図８Ｂはエッジの多い画像データのヒストグラム例である。図のようにエッジ評価値が高い画素の数が図８Ａより多い状態となっている。
この例のように、被写体として撮像している画像内容によって、エッジ評価値毎の画素数分布は変動する。

図６のステップＦ１０６，図７のステップＦ２０５では、このように作成したヒストグラムを用いて、閾値ｔｈを設定する。
ステップＦ１０６又はＦ２０５の閾値決定処理を図９に詳しく示す。
まず制御部３０はステップＦ３０１として、ヒストグラムの上位側から累積演算を行い、設定した画素数比率となるエッジ評価値Ｅａを判定する。つまりヒストグラムの上位ＢＩＮから個数を累積していき、全個数のα％となる個数目に相当するサンプルが含まれるＢＩＮの値、つまり該当ＢＩＮの評価値を判定する。
図８Ａ、図８Ｂの各例に示すように、該当ＢＩＮのエッジ評価値Ｅａが求められる。

次に図９のステップＦ３０２で制御部３０は、強調表示画素を抽出するための閾値ｔｈ＝ｆ１（Ｅａ）とする。つまり関数ｆ１にエッジ評価値Ｅａを代入し、これを閾値ｔｈと決定する。なお関数ｆ１は単純な係数演算関数（係数＝１を含む）でもよく、従ってエッジ評価値Ｅａがそのまま閾値ｔｈとされたり、係数演算されてエッジ評価値Ｅａに比例する閾値ｔｈが決定されるものでもよいが、例えば図１０Ａのように撮像画像内でのエッジ成分の多寡に応じて閾値ｔｈを設定する関数とすることも考えられる。
この図１０Ａの例では、エッジ評価値Ｅａが所定値Ｅ２より高い場合は、閾値ｔｈ＝ｔｈ２とする。エッジ評価値Ｅａが所定値Ｅ１より低い場合は、閾値ｔｈ＝ｔｈ１とする。エッジ評価値Ｅａが所定値Ｅ１〜Ｅ２の範囲内にあるときは、閾値ｔｈは、Ｅａ値に応じてｔｈ１からｔｈ２内の値をとるものとする。
このように閾値ｔｈの範囲を値ｔｈ１〜ｔｈ２内に制限することで、画像状態によって閾値ｔｈが極端に低くなったり高くなったりする状態を避けることができる。

続いて図９のステップＦ３０３で制御部３０は、強調効果用パラメータＥＦをＥＦ＝ｆ２（Ｅａ）として設定する。つまり関数ｆ２にエッジ評価値Ｅａを代入し、これを強調効果用パラメータＥＦとする
強調効果用パラメータＥＦは強調効果量を示すパラメータである。例えば強調表示のために画素データの輝度値を加減算や乗除算する場合に、その加減算値、乗除算値を設定するパラメータとなる。
関数ｆ２は単純な係数演算関数（係数＝１を含む）でもよく、従ってエッジ評価値Ｅａがそのまま強調効果用パラメータＥＦとされたり、係数演算されてエッジ評価値Ｅａに比例する強調効果用パラメータＥＦが設定されるものでもよいが、例えば図１０Ｂのように撮像画像内でのエッジ成分の多寡に応じて強調効果用パラメータＥＦを設定する関数とすることも考えられる。
この図１０Ｂの例では、エッジ評価値Ｅａが所定値Ｅ２より高い場合は、強調効果用パラメータＥＦ＝ＥＦ２とする。エッジ評価値Ｅａが所定値Ｅ１より低い場合は、強調効果用パラメータＥＦ＝ＥＦ１とする。エッジ評価値Ｅａが所定値Ｅ１〜Ｅ２の範囲内にあるときは、強調効果用パラメータＥＦは、Ｅａ値に応じてＥＦ１からＥＦ２内の値をとるものとする。
このように強調効果用パラメータＥＦの範囲を値ＥＦ１〜ＥＦ２内に制限することで、画像状態によって強調効果が大きすぎたり小さすぎたりすることになる状態を避けることができる。
またこの図１０Ｂの例の場合、エッジ成分が多い画像の場合ほど、強調効果量が小さくなるようにしている。エッジ成分が多いとは、画像上で強調表示されるエッジが多いということになるため、あまり強調効果量を大きくすると、強調表示が目立ちすぎの煩わしい画像となってしまう恐れがある。そこで、エッジ成分が多いときは、強調効果量を下げるようにすることで、表示部３４においてユーザが視認しやすい強調表示を提供できるものとする。

図６のステップＦ１０６，図７のステップＦ２０５で、このように閾値ｔｈを決定し、また強調効果用パラメータＥＦを設定したら、制御部３０はステップＦ１０７又はＦ２０６で閾値ｔｈ及び強調効果用パラメータＥＦを表示データ生成部２６に受け渡し、強調表示のための表示データ生成を指示する。

このような制御部３０の処理に応じて、デジタル信号処理部２０（表示データ生成部２６）は強調表示のための表示データ生成処理を行う。
表示データ生成部２６の処理例を図１１に示す。

表示データ生成部２６は、ステップＦ４０１で撮像画像データとしての１フレームを取得する。この場合表示データ生成部２６は、解像度変換部２４で解像度変換された撮像画像データを取得する。解像度変換部２４が、スルー画サイズ（表示部３４の縦横画素サイズ）に合わせて解像度変換した撮像画像データを生成することで、表示データ生成部２６は、取得した撮像画像データを、そのままスルー画データとすることができる。

強調表示を実行しない期間は、ステップＦ４０２からＦ４０３に進み、スルー画用に解像度変換された撮像画像データを、そのまま表示データとする。そしてステップＦ４０６で表示データを表示部３４に出力して、スルー画表示を実行させる。
以上は、図６のステップＦ１０１や図７のステップＦ２０１でスルー画表示が指示された場合である。

図６のステップＦ１０７や図７のステップＦ２０６で強調表示が指示される場合は、各フレームについて表示データ生成部２６で図１１のステップＦ４０４，Ｆ４０５が実行される。
表示データ生成部２６はステップＦ４０４で、制御部３０から供給された閾値ｔｈを用いて、現在のフレームのスルー画データ内で強調表示すべき画素を選択する。即ち閾値ｔｈよりエッジ評価値が高い画素を強調表示すべき画素とする。
但しこの場合に、閾値ｔｈと比較する画素は、合焦領域判定部２７で合焦領域とされた領域内の画素に限るようにしている。つまり、非合焦領域の画素については、閾値ｔｈよりもエッジ評価値が高い画素が存在しても、それは強調表示する画素とはしない。このため表示データ生成部２６は、合焦領域判定部２７で得られた合焦領域情報も参照して、強調表示画素の選択を行う。

そしてステップＦ４０５で、強調表示すべき画素について、輝度又は色情報の変換を行ったり、又は特殊な輪郭線などの画像合成を行うなどして、画素データ変換を施す。この場合に画素データ変換による強調程度については強調効果用パラメータＥＦに応じたものとする。そして強調表示のためのデータ変換を行ったスルー画データを表示データとする。
表示データ生成部２６はステップＦ４０６で、このように強調表示画素が含まれる表示データを表示部３４に転送し、合焦部分の強調表示を伴ったスルー画表示を実行させる。

以上のような制御部３０及びデジタル信号処理部２０の処理による強調表示例を図１２、図１３、図１４で説明する。
図１２Ａは縦線の多い画像の例を挙げている。このような撮像画像データとしてのフレームにおいて、破線ＦＡで囲った範囲が合焦しているとする。この場合、この破線ＦＡの範囲に含まれる領域ｗ（ｎ）の画素として、上述のヒストグラムが作成され、ヒストグラムに基づいて閾値ｔｈが設定される。
そして破線ＦＡの範囲内の合焦領域を対象として、閾値ｔｈにより強調表示画素が選択されて、強調表示が行われる。例えば図１２Ｂに太線で示すように強調表示が実行される。この例では、合焦領域内に縦横のエッジが多い画像であるが、このため閾値ｔｈが高めに設定されることになり、従って強調表示される画素は、エッジ評価値がかなり高い画素に限られる。このため、むやみにエッジラインが強調されるようなことが避けられ、適度な強調表示が実行される。
また破線ＦＡ外の非合焦領域については強調表示は行われない。

図１３Ａは破線ＦＡ内として合焦している部分にエッジが少ない画像例としている。
このような撮像画像データとしてのフレームにおいて、破線ＦＡの範囲に含まれる領域ｗ（ｎ）の画素として、上述のヒストグラムが作成され、ヒストグラムに基づいて閾値ｔｈが設定される。
そして破線ＦＡの範囲内の合焦領域を対象として、閾値ｔｈにより強調表示画素が選択されて、強調表示が行われる。例えば図１３Ｂに太線で示すように強調表示が実行される。この例では、合焦領域内にエッジが少ない画像であるが、このため閾値ｔｈが低めに設定されることになり、従ってエッジ評価値が多少低めであっても強調表示される画素として選択されることが生ずる。このため、全くエッジラインが強調されないようなことが避けられ、適度な強調表示が実行される。
またこの場合も破線ＦＡ外の非合焦領域については強調表示は行われない。従って図示のように非合焦領域でエッジ評価値の高いエッジライン（合焦領域ではないため、ボケてはいるが比較的エッジ評価値が高くなった部分）が存在したとしても、それらは強調表示されず、合焦部分を適切に表現する強調表示が実現される。

図１４は強調効果用パラメータＥＦによる強調効果量の説明のための例である。
例えば図１４Ａは破線ＦＡ内として合焦領域内に、エッジラインが多数存在する画像の場合であり、図１４Ｂは、逆に合焦領域内に、エッジラインが少ない画像の例である。
例えば強調効果用パラメータＥＦにより、強調表示の輝度が制御されるとし、太い線は高輝度であるとする。強調効果用パラメータＥＦが図１０Ｂのように設定されるとすると、図１４Ａのようにエッジ成分が多い画像の場合、強調効果用パラメータＥＦにより強調効果量が小さくされ、輝度の上げ具合が少なくされる。一方、図１４Ｂのようにエッジ成分が少ない画像の場合、強調効果用パラメータＥＦにより強調効果量が大きくされ、輝度の上げ具合が大きくされる。
このような強調効果用パラメータＥＦに応じた強調効果量設定により、見やすい強調表示が実現される。即ち、強調表示部分が多いときに、あまり強調効果を高く（輝度を高く）すると、画面上に高輝度部分が多くなり、みづらい画像となることがある。そこでエッジ成分が多いときは、強調効果量を下げて、適度に見やすい強調表示を実現する。一方で、エッジ成分が少ないときは、ある程度強調効果量を上げることで、ユーザに合焦部分の認識性を高めることになる。

なお、強調効果の度合いとして強調表示部分の輝度を上下させるのは一例である。例えば合焦部分としてのエッジラインを太く表示させる強調表示も想定される。そのような場合、エッジラインの太さを、強調効果用パラメータＥＦに応じて変更することが考えられる。
また合焦部分としてのエッジラインを、異なる色で表示（例えば赤色や黄色の表示）するようにする強調表示も想定される。そのような場合、エッジラインの色の彩度、明度のいずれか、或いはそれらを複合的に、強調効果用パラメータＥＦに応じて変更することも考えられる。もちろん、強調表示の色自体を、強調効果用パラメータＥＦに応じて選択するようにしてもよい。
いずれにしても、強調表示の画像上での目立ち具合が強調効果用パラメータＥＦによって制御されるようにすることが好適である。

以上の実施の形態の撮像装置１０では、次のような効果が得られる。
即ち撮像装置１０では、各フレームの撮像画像データ内での合焦領域を判定する合焦領域判定部２７と、合焦領域を対象としてエッジ評価値の分布情報（ヒストグラム）を生成する分布情報生成部３０ａと、分布情報を用いて強調表示部分の判定に用いる閾値ｔｈを可変設定する閾値設定部３０ｂと、可変設定した閾値ｔｈを用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成する表示データ生成部２６とを備えている。
画像データ内での強調表示部分を選択するための閾値が固定であると、エッジの多い画像だと、強調表示部分が多くなりすぎて見づらい画像となる。即ち強調されたエッジだらけの汚れた印象の画像となってしまう。またコントラストの少ない画像だと、殆ど強調表示がなされない。
そこで本実施の形態の撮像装置では、画像に応じて閾値ｔｈを可変する。特には、撮像画像データの合焦領域を対象としてエッジ評価値の分布情報を生成し、分布情報を用いて閾値ｔｈを設定する。つまり合焦領域のみを対象として画像内のエッジ状況を観測することで、閾値ｔｈの可変設定について、非合焦部分の影響を受けることがないようにしている。
具体的にはエッジ比率が高い画像の場合は閾値ｔｈを高めに設定し、エッジ比率が低い画像の場合は閾値ｔｈを低めに設定する。
このような閾値ｔｈを用いて強調表示画素を選択することで、画像内容に応じて、見やすく、画を汚しにくいフォーカシングアシスト機能を提供できる。
またピーキング表示がうるさ過ぎたり、逆に出なかったりする事を緩和できる。つまりエッジの多い画像ではあまり画を汚さないよう控えめに強調し、エッジの少ない画像では弱いエッジでも反応するようにした強調表示が実現できる。

また仮に、分布情報生成の際に、合焦領域以外もすべて含めて算出すると、フォーカスが合っていないピンぼけ部分が多い画像に対しては、閾値ｔｈが低くなり、わずかなエッジで強調表示がなされてしまうことになるが、本実施の形態の場合、そのようなことも生じず、適切な強調表示が行われることになる。つまり、分布情報に反映させる画素を合焦領域の画素に限定する事で、ピントが合ってない部分の影響を除外し、画の特徴を正しくとらえることができ、設定する閾値ｔｈの適正化ができる。
またあくまで合焦領域を対象としたエッジ評価値の分布情報から閾値ｔｈを設定することにより、ピント合わせ、ピント確認で強調表示を利用する際に、ピント位置が変化することによる不自然な強調表示を発生させないようにもなる。

また表示データ生成部２６は、スルー画としての撮像画像データ内において、合焦領域内であって閾値ｔｈとの比較結果で選択された部分を強調表示させる表示データを生成している。即ち強調表示を行う部分は、合焦領域内のみとしている。例えば合焦領域以外に、エッジ評価値が閾値ｔｈより高い画素があったとしても、その部分は強調表示は行わない。これによって合焦領域の被写体を強調してユーザに確認させるという本来の目的に沿った適切な強調表示が実現される。

また制御部３０（閾値設定部３０ｂ）は強調効果用パラメータＥＦ（＝ｆ２（Ｅａ））を設定する。この強調効果用パラメータＥＦは、分布情報から判定したエッジ評価値Ｅａを用いていることで、閾値ｔｈに応じたパラメータ値となる。そして表示データ生成部２６は、強調効果用パラメータＥＦを強調表示のための画素データ変換演算に用いている。分布情報に基づいて可変設定される閾値ｔｈは、画像の状態（エッジの多少等）を反映したものとなる。そこで閾値ｔｈに応じた強調効果用パラメータＥＦ（強調効果量情報）を設定することで、画像状態に応じた強調表示が可能となる。これによって強調表示の見やすさ、ユーザの合焦部分の認識しやすさを向上させることができる。
例えば強調効果用パラメータＥＦを用いて強調表示部分の輝度値を設定することで、強調表示の度合いを輝度で調節することができ、画像上での強調表示を適切化できる。

また制御部３０（分布情報生成部３０ａ）は、隣接画素データ間の輝度の微分値として得られるコントラスト差分をエッジ評価値として、当該エッジ評価値の分布情報（ヒストグラム）を生成している。隣接画素データ間の輝度の微分値として適切なエッジ評価値が得られることで、適切な閾値設定に寄与する。
また制御部３０（閾値設定部３０ｂ）は、分布情報から分布上位側（上位ＢＩＮ側）からの累積画素数が設定した画素数比率となるエッジ評価値Ｅａを用いて閾値ｔｈを設定している。これにより強調表示される画素の数を、画像内容によらず略一定にできるような閾値ｔｈを設定でき、上述のように見やすい強調表示が実現される。
また制御部３０（閾値設定部３０ｂ）は、図１０Ａのように閾値ｔｈとしての上限（ｔｈ２）や下限（ｔｈ１）を設けている。これにより極端な値が閾値ｔｈとして設定されることが防止でき、エッジの少ない画像において、あまりにも閾値ｔｈが低く設定されすぎたり、或いはエッジの多い画像においてあまりにも閾値ｔｈが高く設定されることがなくなる。このためエッジ成分が極端に多い（又は少ない）な画像であっても、本来の合焦部分としてのエッジを的確にユーザに提示できる。

＜４．プログラム及びコンピュータ装置への適用＞
以上、画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述した強調表示機能のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、対象とする画像データ内での合焦領域を判定する処理と、判定された合焦領域を対象としてエッジ評価値の分布情報を生成する処理と、生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定する処理と、設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成する処理とを演算処理装置に実行させるプログラムである。
具体的には、実施の形態のプログラムは、図３の処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムにより、上述した強調表示機能を実行する装置を、演算処理装置を用いて実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置とすることができる。
例えば、図１５に示されるようなコンピュータ装置において、上述の画像処理装置１、撮像装置１０における強調表示機能のための処理と同様の処理が実行されるようにすることもできる。

図１５において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
上述した顕著化表示の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば図１５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク、ＣＤ−ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の図３のような処理を実行することで、入力された画像データについて強調表示を伴った表示動作を実行することができる。例えば撮像装置で撮像している画像データを入力することで、ユーザは、撮像装置側での合焦状態を、コンピュータ装置７０のディスプレイ（出力部７７）で確認できる。

＜５．変形例＞
上述の各実施の形態は、各種の変形例が考えられる。
実施の形態においては、閾値ｔｈは合焦領域の画素におけるエッジ評価値の分布情報から生成し、さらに強調表示させる部分は、合焦領域のみとしているが、強調表示させるがその選択については、非合焦領域を含むようにしてもよい。例えば非合焦領域ではあっても、場合によっては部分的にエッジ評価値がかなり高くなっていることもあり得るためである。なお、非合焦領域において強調表示させる画素を選択するための閾値は、合焦領域における閾値ｔｈよりも高い値とすることも考えられる。

強調表示の手法としては、輝度を高くする、色を変えるなどとしたが、その手法は多様である。また輝度を変化させる場合、輝度を下げることで強調表示を実現することもある。例えば画面全体が非常に高輝度の画像の場合、逆に強調表示部分のみ輝度を下げることで、ユーザに合焦部分を認識させやすくすることができる。
また、強調表示する画素は、エッジだけでなく、例えば閾値ｔｈによって選択されたエッジとしての輪郭線に囲まれた被写体部分全体を強調表示するようにしてもよい。

また実施の形態では静止画撮像の例で説明したが、動画撮像の場合にも強調表示は有効である。例えば動画撮像記録の開始前のスタンバイ状態のスルー画において強調表示する。或いは動画撮像記録中にも、モニタリングされるスルー画上で強調表示を行うことも有用である。

また強調表示のための処理は、必ずしも毎フレームで行うものではなく、例えば１フレームおき、２フレームなど間欠的なフレームごとに実行するものとしてもよい。これにより強調表示機能のための処理負担が軽減される。

なお本技術は以下のような構成も採ることができる。
（１）対象とする画像データ内での合焦領域を判定する合焦領域判定部と、
前記合焦領域判定部で判定された合焦領域を対象としてエッジ評価値の分布情報を生成する分布情報生成部と、
前記分布情報生成部で生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定する閾値設定部と、
前記閾値設定部で設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成する表示データ生成部と、
を備えた画像処理装置。
（２）前記表示データ生成部は、画像データ内において、合焦領域内であって前記閾値との比較結果で選択された部分を強調表示させる表示データを生成する
上記（１）に記載の画像処理装置。
（３）前記閾値設定部は、前記閾値に応じた強調効果量情報を設定し、
前記表示データ生成部は、前記強調効果量情報を強調表示のための画素データ変換演算に用いる
上記（１）又は（２）に記載の画像処理装置。
（４）前記表示データ生成部は、前記強調効果量情報を用いて強調表示部分の輝度値を設定する
上記（３）に記載の画像処理装置。
（５）前記分布情報生成部は、隣接画素データ間の輝度の微分値として得られるコントラスト差分を、前記エッジ評価値として、当該エッジ評価値の分布情報を生成する
上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記閾値設定部は、
前記分布情報生成部が生成した分布情報から、分布上位側からの累積画素数が設定した画素数比率となるエッジ評価値を用いて閾値を設定する
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記閾値設定部は、
設定する閾値として上限及び下限を設けている
上記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）対象とする画像データ内での合焦領域を判定し、
判定された合焦領域を対象としてエッジ評価値の分布情報を生成し、
生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定し、
設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成する
画像処理方法。
（９）対象とする画像データ内での合焦領域を判定する処理と、
判定された合焦領域を対象としてエッジ評価値の分布情報を生成する処理と、
生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定する処理と、
設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調表示させる表示データを生成する処理と、
を演算処理装置に実行させるプログラム。

１…画像処理装置、２，２７…合焦領域判定部、３，３０ａ…分布情報生成部、４，３０ｂ…閾値設定部、５，２６…表示データ生成部、１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記録部、１６…通信部、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２８…ＡＦ判定部、３０…制御部、３４…表示部、３５…操作部、７０…コンピュータ装置、７１…ＣＰＵ

Claims (9)

1. 対象とする画像データ内での合焦領域を判定する合焦領域判定部と、
   前記合焦領域判定部で判定された合焦領域を対象としてエッジ評価値の分布情報を生成
   する分布情報生成部と、
   前記分布情報生成部で生成した分布情報を用いて強調表示部分の判定に用いる閾値を可
   変設定する閾値設定部と、
   前記閾値設定部で設定した閾値を用いて画像データ内での強調表示部分を選択し、選択
   された部分を強調表示させる表示データを生成する表示データ生成部と、
   を備えた画像処理装置。
2. 前記表示データ生成部は、画像データ内において、合焦領域内であって前記閾値との比
   較結果で選択された部分を強調表示させる表示データを生成する
   請求項１に記載の画像処理装置。
3. 前記閾値設定部は、前記閾値に応じた強調効果量情報を設定し、
   前記表示データ生成部は、前記強調効果量情報を強調表示のための画素データ変換演算
   に用いる
   請求項１又は請求項２に記載の画像処理装置。
4. 前記表示データ生成部は、前記強調効果量情報を用いて強調表示部分の輝度値を設定す
   る
   請求項３に記載の画像処理装置。
5. 前記分布情報生成部は、隣接画素データ間の輝度の微分値として得られるコントラスト
   差分を、前記エッジ評価値として、当該エッジ評価値の分布情報を生成する
   請求項１乃至請求項４のいずれかに記載の画像処理装置。
6. 前記閾値設定部は、
   前記分布情報生成部が生成した分布情報から、分布上位側からの累積画素数が設定した
   画素数比率となるエッジ評価値を用いて閾値を設定する
   請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 前記閾値設定部は、
   設定する閾値として上限及び下限を設けている
   請求項１乃至請求項６のいずれかに記載の画像処理装置。
8. 対象とする画像データ内での合焦領域を判定し、
   判定された合焦領域を対象としてエッジ評価値の分布情報を生成し、
   生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定し、
   設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調
   表示させる表示データを生成する
   画像処理方法。
9. 対象とする画像データ内での合焦領域を判定する処理と、
   判定された合焦領域を対象としてエッジ評価値の分布情報を生成する処理と、
   生成した分布情報を用いて強調表示部分の判定に用いる閾値を可変設定する処理と、
   設定した閾値を用いて画像データ内での強調表示部分を選択し、選択された部分を強調
   表示させる表示データを生成する処理と、
   を演算処理装置に実行させるプログラム。

Images