JP5277873B2 - 撮像装置、画像処理装置および画像処理方法 - Google Patents

Description

本発明は、撮像装置または画像処理装置における画像表示技術に関する。

デジタルカメラ等の撮像装置においては、撮像素子で取得された被写体像をライブビュー画像として表示部に表示させる機能を有するものがある。このような撮像装置では、表示部のライブビュー画像をみて構図が決定されるとともに、オートフォーカス（ＡＦ）機能を利用して、或いはマニュアルフォーカス（ＭＦ）操作によって焦点調節が行われる。

マニュアルフォーカス操作で焦点調節を行う場合は、ライブビュー画像をみて焦点（フォーカス）状態を確認することになる。しかし、一般的に表示部の表示解像度は低いため、ライブビュー画像を視認して合焦状態であるか否かの判断を行うのは困難であった。

そこで、マニュアルフォーカス操作による合焦精度を向上させるための補助機能として、ライブビュー画像において被写体の輪郭を強調して表示させる、いわゆるピーキングという技術が提案されている（例えば、特許文献１）。

特開２００８−１３５８１２号公報

しかしながら、特許文献１に記載の技術では、撮影画像に含まれる高周波成分を検出して被写体のエッジ部分を特定し、当該エッジ部分を強調表示していたが、輝度および／またはコントラストの低い被写体を撮影対象とする場合は、高周波成分の検出が困難になっていた。

そこで、本発明は、被写体の輝度および／またはコントラストの影響を受けずに高周波成分を検出し、被写体のエッジを適切に強調表示することが可能な技術を提供することを目的とする。

かかる課題を解決するため本発明においては、被写体像に関する撮影画像を取得する撮像素子から当該撮影画像を取得し、撮影画像に含まれる高周波成分の評価値を画素ごとに取得し、撮影画像を構成する画素のうち、被写体のエッジ部分に対応したエッジ画素を特定するための基準となるエッジ閾値を、評価値に基づいて決定し、エッジ閾値を用いてエッジ画素を特定し、撮像素子から順次に取得する撮影画像に基づいて表示部に動画像を、特定したエッジ画素を強調して表示するようにして、マニュアル操作に応じて被写体像の焦点位置を調節する焦点調節手段を用いた焦点調節過程で取得されるエッジ閾値の最大値を保持して、当該最大値を、エッジ画素を特定するための基準となるエッジ閾値とするようにした。

従って本発明では、被写体の輝度および／またはコントラストの影響を受けずに撮影画像から高周波成分を検出し、被写体のエッジを適切に強調表示することができる。

本発明によれば、被写体像に関する撮影画像を取得する撮像素子から当該撮影画像を取得し、撮影画像に含まれる高周波成分の評価値を画素ごとに取得し、撮影画像を構成する画素のうち、被写体のエッジ部分に対応したエッジ画素を特定するための基準となるエッジ閾値を、評価値に基づいて決定し、エッジ閾値を用いてエッジ画素を特定し、撮像素子から順次に取得する撮影画像に基づいて表示部に動画像を、特定したエッジ画素を強調して表示するようにして、マニュアル操作に応じて被写体像の焦点位置を調節する焦点調節手段を用いた焦点調節過程で取得されるエッジ閾値の最大値を保持して、当該最大値を、エッジ画素を特定するための基準となるエッジ閾値とするようにしたことにより、被写体の輝度および／またはコントラストの影響を受けずに撮影画像から高周波成分を検出し、被写体のエッジを適切に強調表示することができる。

以下、本発明の実施形態について図面を参照して説明する。

＜１．第１実施形態＞
［１−１．構成］
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。ここで、図１は、撮像装置１Ａの正面外観図であり、図２は、撮像装置１Ａの背面外観図である。この撮像装置１Ａは、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。

図１に示すように、撮像装置１Ａは、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能となっている。

撮影レンズユニット３は、主として、鏡胴３６、ならびに、鏡胴３６の内部に設けられるレンズ群３７（図３参照）および絞り（不図示）等によって構成される。レンズ群３７には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

また、撮影レンズユニット３には、フォーカスリング３５（図３参照）が設けられている。このフォーカスリング３５は、鏡胴３６に対して回動自在であり、その回転量は撮影レンズユニット３に内蔵された回転量検出センサ３４（図５参照）によって検出される。そして、ユーザの回動操作による回転量に応じてフォーカスレンズのレンズ位置（より詳細には光軸方向におけるレンズ位置）が変更される。このように、撮像装置１Ａでは、ユーザは、手動操作（マニュアル操作）によって被写体像の焦点位置（結像位置）を調整すること、すなわち手動合焦（以下、「マニュアルフォーカス」あるいは単に「ＭＦ」とも称する）動作を行うことができる。

また、この撮像装置１Ａにおいては、フォーカスレンズのレンズ位置を変更して焦点位置を調整する動作、すなわちフォーカス動作として、このようなマニュアルフォーカス動作だけでなく、自動合焦（以下、「オートフォーカス」あるいは単に「ＡＦ」とも称する）動作も実行することができる。ＡＦ動作の詳細については後述する。

なお、焦点調節を手動で行うＭＦモードと自動で行うＡＦモードとの間の切替は、例えば設定ボタン群８３（後述）に含まれる切替ボタンの操作によって行うことができる。

カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面左上部にモード設定ダイアル８２を備え、その正面右上部に制御値設定ダイアル８６を備えている。モード設定ダイアル８２を操作すると、カメラの各種モード（各種撮影モード（人物撮影モードおよび風景撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことができる。また、制御値設定ダイアル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。

また、カメラ本体部２は、正面左端部に撮像装置１Ａを把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えば４本の単３形乾電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図５参照）が着脱自在に収納可能となっている。

レリーズボタン１１は、半押し状態（Ｓ１状態）および全押し状態（Ｓ２状態）の２つの状態を検出可能な２段階検出ボタンである。

レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。

また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（「本撮影動作」とも称する）が実行される。本撮影動作では、撮像素子（または「主撮像素子」とも称する）５（後述）を用いて被写体像に関する露光動作が行われる。そして、その露光動作で取得された画像信号に所定の画像処理を施すことによって、本撮影画像が取得される。

図２において、カメラ本体部２の背面の略中央には、モニタ１２が設けられている。モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。モニタ１２は、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード９０に記録された撮影画像を再生表示したりすることができる。

カメラ本体部２の背面略中央上部には、ファインダ窓１０が設けられている。ファインダ窓１０には、撮影レンズユニット３からの被写体像が導かれ、撮影者は、ファインダ窓１０を覗くことによって、主撮像素子５によって取得される被写体像と等価な像を視認することができる。具体的には、撮影光学系に入射された被写体像は、ミラー機構６(図３参照)で上方に反射され、接眼レンズ６７を介して視認される。このように、撮影者は、ファインダ窓１０を覗くことによって構図決めを行うことが可能である。なお、レリーズボタン１１のＳ２状態の検出によって本撮影画像の撮影動作が開始されると、ミラー機構６は被写体像を形成する光の光路から待避する。これにより、撮影レンズユニット３からの光（被写体像を形成する光）が主撮像素子５に到達し、主撮像素子５によって被写体に係る撮影画像（画像データ）が取得される。

ファインダ窓１０の下部には、接眼検知センサ１３が設けられている。接眼検知センサ１３は、近接物体の有無を検知するセンサであり、撮影者によるファインダ使用の有無を検知する。

モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は、２点のスライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、撮像装置１Ａの電源がオフになり、接点を右方の「ＯＮ」位置に設定すると、撮像装置１Ａの電源がオンになる。

モニタ１２の右側には方向選択キー８４と表示切替スイッチ９とが設けられている。方向選択キー８４は、円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下および左下の４方向の押圧操作とが、それぞれ検出可能となっている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出可能となっている。

表示切替スイッチ９は、３点のスライドスイッチからなる。表示切替スイッチ９の接点が上段の「光学」位置に設定されるとＯＶＦモードが選択され、光学ファインダ視野内に被写体像が表示される。これにより、撮影者は、ファインダ窓１０を介して光学ファインダ視野内の表示を視認することができ、ファインダ視野内の表示を視認した構図決め操作（「フレーミング」とも称する）を行うことが可能になる。

また、表示切替スイッチ９の接点が下段の「液晶」位置に設定されるとＥＶＦモード（後述）が選択される。ＥＶＦモードでは、モニタ１２において被写体像に係るライブビュー画像（「プレビュー画像」または「動画像」とも称する）が動画的態様にて表示（「ライブビュー表示」または「プレビュー表示」とも称する）される。これにより、撮影者は、モニタ１２に表示されるライブビュー表示を視認した、フレーミングを行うことが可能になる。

また、表示切替スイッチ９の接点が中段の「自動」位置に設定されると、ファインダ窓１０への接眼の有無に応じて、光学ファインダ視野内の表示とライブビュー表示とが自動的に切り替えられる。これにより、撮影者は、光学ファインダ視野内の表示、或いはライブビュー表示のいずれかを視認することによって、フレーミングを行うことが可能となる。

モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

次に、撮像装置１Ａの内部構成について説明する。図３および図４は、第１実施形態に係る撮像装置１Ａの断面図である。

図３に示すように、撮像装置１Ａの内部には、ファインダ部１０２（ファインダ光学系）、ミラー機構６、位相差ＡＦモジュール（以下、単に「ＡＦモジュール」とも称する）２０、シャッタ４、主撮像素子５および副撮像素子７などが備えられている。

主撮像素子（ここではＣＣＤセンサ（単にＣＣＤとも称する））５は、撮影レンズユニット３が備えるレンズ群３７の光軸Ｌ上において、光軸Ｌに対して垂直な平面内に配置される。主撮像素子５は、その撮像面で受光された被写体像を光電変換作用により電気的信号に変換して、本撮影画像に係る画像信号を生成する。

また、主撮像素子５の直前には、シャッタ４が配置されている。このシャッタ４は、上下方向に移動する幕体を備え、光軸Ｌに沿って主撮像素子５に導かれる被写体光の光路開口動作および光路遮断動作を行うメカニカルフォーカルプレーンシャッタである。

上記の光軸Ｌ上において、被写体光をファインダ部１０２へ向けて反射する位置には、ミラー機構６（反射板）が配置されている。撮影レンズユニット３を通過した被写体光は、ミラー機構６（後述の主ミラー６１）によって上方へ反射され、焦点板（ピントグラス）６３に結像される。

ファインダ部１０２は、ペンタミラー６５とハーフミラー６８と接眼レンズ６７と副撮像素子７とファインダ窓１０とを備えている。ペンタミラー６５は、反射によって被写体像の天地左右を入れ替えて正立像にする。ハーフミラー６８は、ペンタミラー６５と接眼レンズ６７との間に配置され、被写体光を分離（分岐）させる。分離された被写体光は、接眼レンズ６７と副撮像素子７とにそれぞれ導かれる。接眼レンズ６７は、分離された被写体光をファインダ窓１０の外側に導く。これにより、撮影者は、ファインダ窓１０を介して被写体像を視認することが可能になる。このように、ファインダ部１０２は、撮影待機時において被写界を確認するための光学ファインダ（ＯＶＦ）として機能する。

また、副撮像素子７は、分離された他方の被写体光を受光し、被写体像に係る撮影画像を順次に取得する。取得された撮影画像は、モニタ１２に動画的態様にて順次に表示（ライブビュー表示）される。このように、ファインダ窓１０から視認可能な被写体像は、副撮像素子７によって取得され、撮影者は、モニタ１２において被写体像に関するライブビュー画像を視認することが可能となる。

ミラー機構６は、主ミラー６１とサブミラー６２とから構成されており、主ミラー６１の背面側において、サブミラー６２が主ミラー６１の背面に向けて倒れるように回動可能に設けられている。主ミラー６１は、例えばハーフミラーとして構成され、被写体光の一部を透過させる。主ミラー６１を透過した被写体光の一部はサブミラー６２によって反射され、ＡＦモジュール２０に入射される。

上記のミラー機構６は、所謂クイックリターンミラーとして構成されており、レリーズボタン１１のＳ２状態が検出された露光時には上方に向けて跳ね上がり、焦点板６３の下方位置で停止する（図４参照）。これにより、撮影レンズユニット３からの被写体光がミラー機構６によって遮られることなく主撮像素子５の撮像面に導かれ、当該主撮像素子５が露光される。露光が終了すると、ミラー機構６は元の位置（図３に示す位置）に復帰する。

ＡＦモジュール２０は、被写体のピント情報を検出するラインセンサ等からなる所謂ＡＦセンサとして構成されている。具体的には、ＡＦモジュール２０は、撮影領域に設定された測距エリア（「ＡＦエリア」とも称する）における被写体からの光を当該測距エリア用の一対のラインセンサで受光する。そして、ＡＦモジュール２０は、一対のラインセンサからの出力を位相差検出信号として全体制御部１０１に出力する機能を有している。

［１−２．機能ブロック］
次に、撮像装置１Ａの機能の概要について説明する。図５は、第１実施形態に係る撮像装置１Ａの機能構成を示すブロック図である。

図５に示すように、撮像装置１Ａは、位相差ＡＦモジュール２０、操作部８０、全体制御部１０１、ミラー機構６、シャッタ４、主撮像素子５、副撮像素子７、Ａ／Ｄ変換回路４８、画像処理部５０および画像メモリ５６等を備える。

操作部８０は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部８０に対するユーザの入力操作に応答して、全体制御部１０１が各種動作を実現する。

主撮像素子５は、タイミング制御回路（不図示）から入力される駆動制御信号に応答して、受光面（撮像面）に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。

また、副撮像素子７は、基本的には主撮像素子５と同様の機能を有し、ファインダ光学系に導かれた被写体像の露光を行い、ライブビュー表示用の画像に関する画像信号を取得する。

主撮像素子５および副撮像素子７で取得された画像信号（アナログ信号）は、それぞれＡ／Ｄ変換回路４８によってデジタル信号に変換される。デジタル信号に変換された画像信号は、画像処理部５０に入力される。

画像処理部５０に入力された画像データは、一旦、画像メモリ５６に格納される。以後、この画像メモリ５６に格納された画像データにアクセスして、画像処理部５０の各種処理が実行される。

本撮影の際に主撮像素子５で取得された画像データは、画像処理部５０によって適宜画像処理が施された後、メモリカード９０に記憶される。

また、副撮像素子７によって取得された画像データは、Ａ／Ｄ変換回路４８および画像処理部５０において所定の処理が実行され画像メモリ５６に一旦記憶された後、モニタ１２に表示される。

なお、画像メモリ５６は、生成された画像データを一時的に記憶するための、高速アクセス可能なメモリであり、複数フレーム分の画像データを記憶可能な容量を有している。

ここで、画像処理部５０で実現される各種処理について詳述する。画像処理部５０は、ホワイトバランス（ＷＢ）制御部５１と画素補間部５２とガンマ補正部５３とＹＣＣ変換部５４とを有している。

ホワイトバランス制御部５１は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)各色成分のデジタル信号のレベルを変換するホワイトバランス補正を行う。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。

画素補間部５２は、画像メモリ５６に格納された撮像データにおいて、画素の不足している色成分を、当該画素に隣接している周辺画素の色情報を用いて補間により求める。

ガンマ補正部５３は、ＷＢ調整された画像信号の階調特性を補正するものである。具体的には、ガンマ補正部５３は、予め設定されたガンマ補正用テーブルを用いて、画像信号のレベルを色成分毎に非線形変換するとともにオフセット調整を行う。

ＹＣＣ変換部５４は、画像データの色空間を変換する。具体的には、ＹＣＣ変換部５４では、マトリクス演算によりＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と色差成分（Ｃｒ、Ｃｂ）とをもつ色空間に変換される。なお以下では、輝度成分の信号を輝度信号とも称し、色差成分の信号を色差信号とも称する。

本実施形態では、副撮像素子７によって取得された画像データ（「補助画像データ」とも称する）の色空間が変換され、補助画像データに関する輝度信号（より詳細には、補助画像データを構成する、各画素の輝度成分の信号値（「輝度成分の画素値」または単に「輝度値」とも称する））が取得される。

全体制御部１０１は、マイクロコンピュータとして構成され、主にＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。全体制御部１０１は、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能を実現する。

全体制御部１０１は、上述のプログラムの実行によって、位相差ＡＦ制御部１２１、駆動制御部１２２、正規化部１２３、評価値取得部１２４、閾値決定部１２５、エッジ画素特定部１２６、表示制御部１２７およびミラー制御部１２８等を機能的に実現する。

位相差ＡＦ制御部１２１は、位相差方式による自動合焦（位相差ＡＦ）動作の実行制御を行う。具体的には、位相差ＡＦ制御部１２１は、ＡＦモジュール２０から出力される位相差検出信号に基づいて、合焦時の撮影レンズ（より詳細にはフォーカスレンズ）の位置（レンズ合焦位置）を特定するレンズ合焦位置特定動作を実行させる。

また、位相差ＡＦ制御部１２１は、駆動制御部１２２と協働して、当該レンズ合焦位置に撮影レンズ（フォーカスレンズ）を移動するレンズ駆動動作をも実行させる。

駆動制御部１２２は、撮影レンズの駆動を制御する機能を有し、位相差ＡＦ制御部１２１と協働して、実際に撮影レンズを駆動させる。

具体的には、位相差ＡＦ制御部１２１は、駆動制御部１２２を介して撮影レンズユニット３のレンズ側制御部３１に制御信号を伝達し、レンズ駆動部３８を駆動させ、撮影レンズユニット３のレンズ群３７に含まれるフォーカスレンズをその光軸方向において移動させる。また、フォーカスレンズの位置は、撮影レンズユニット３のレンズ位置検出部３９によって検出され、フォーカスレンズの位置を示すデータがレンズ側制御部３１から本体側の全体制御部１０１に送られる。

正規化部１２３は、補助画像データの輝度信号のうち、最大の輝度値および最小の輝度値を検出し、補助画像データを構成する輝度値の正規化を行う。

評価値取得部１２４は、正規化された補助画像データに対してＨＰＦ（ハイパスフィルタ）を用いたフィルタ演算を行い、画素ごとにフィルタ演算値（「フィルタ結果値」または単に「評価値」とも称する）を取得する。ＨＰＦの出力値であるフィルタ演算値は、各画素位置において高周波成分がどの程度含まれているか、すなわち高周波成分の含有程度を表す高周波成分の評価値であるとも表現される。また、ＨＰＦの出力値は、コントラストの大きさを表しているとも表現できる。

閾値決定部１２５は、各画素がエッジを構成する画素（「エッジ画素」とも称する）であるか否かの判断基準となる閾値（「エッジ閾値」とも称する）を決定する。エッジ閾値の決定手法については、後述する。

エッジ画素特定部１２６は、エッジ閾値を用いて各画素の中からエッジとなる画素（「エッジ画素」とも称する）を特定する。

表示制御部１２７は、モニタ１２などの表示部における表示内容を制御する。具体的には、表示制御部１２７は、副撮像素子７によって連続的に取得される複数の画像に基づいて、モニタ１２にライブビュー画像を表示させる。

また、表示制御部１２７は、エッジ画素特定部１２６によって特定されたエッジ画素をライブビュー画像において強調して表示させる機能を有している。

ミラー制御部１２８は、ミラー機構６が光路から退避した状態（ミラーアップ状態）とミラー機構６が光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。ミラー制御部１２８は、ミラー切り替え用モータ（不図示）を駆動制御することによって、ミラーアップ状態とミラーダウン状態とを切り替える。

［動作］
以下では、ＭＦモードが選択された場合の撮像装置１Ａの動作について説明する。図６は、撮像装置１Ａのエッジ表示動作のフローチャートである。図７、図８および図９は、画素値の正規化の様子を示す図である。図１０は、正規化後の補助画像データのフィルタ演算値に関するヒストグラムを示す図である。図１１は、強調表示されたエッジを有するライブビュー画像を示す図である。図１２は、異なる撮影環境で取得された２つの補助画像データのフィルタ演算値に関するヒストグラムを示す図である。

ＭＦモードでは、フォーカスリング３５の回転量が回転量検出センサ３４によって検出され、レンズ側制御部３１は、検出された回転量に応じてフォーカスレンズのレンズ位置を駆動制御する。

また、ＭＦモードでライブビュー表示を用いたフレーミングを行う場合は、モニタ１２に表示されるライブビュー画像において被写体のエッジが強調される。具体的には、図６のエッジ表示動作のフローチャートを用いて説明する。

図６に示されるように、撮影モードにおいてＥＶＦモードが選択されると、副撮像素子７により補助画像データが取得され（ステップＳＰ１１）、モニタ１２を用いたライブビュー表示が開始される。

そして、ステップＳＰ１２では、ＭＦモードが選択されているか否かが判断される。ＭＦモードが選択されていない場合（すなわち、ＡＦモードが選択されている場合）は、ステップＳＰ１１に移行され、通常のライブビュー表示が継続して実行される。一方、ＭＦモードが選択されている場合は、ステップＳＰ１３に移行される。

ステップＳＰ１３では、補助画像データに含まれるエッジ情報を抽出してライブビュー画像に重畳して表示させるエッジ情報表示機能が有効化されているか否かが判断される。エッジ情報表示機能が有効化されていない（無効化されている）場合は、ステップＳＰ１１に移行され、通常のライブビュー表示が行われた状態でユーザによるマニュアルフォーカス動作が行われる。一方、エッジ情報表示機能が有効化されている場合は、ステップＳＰ１４に移行され、以後エッジ情報を表示するための各処理（ステップＳＰ１４からステップＳＰ１９までの各処理をまとめて「エッジ情報表示処理」とも称する）が実行される。

なお、エッジ情報表示機能の有効化／無効化は、メニュー画面を用いたメニュー操作によって行う構成としてもよく、或いは撮像装置１Ａに設けられたエッジ情報表示ボタン（不図示）のボタン操作によって行う構成としてもよい。

ステップＳＰ１４では、ＹＣＣ変換部５４によって補助画像データの色空間が変換され、補助画像データを構成する、各画素の原色成分の画素値に基づいて、当該各画素の輝度成分の画素値（輝度値）が取得される。

ステップＳＰ１５では、正規化部１２３によって、補助画像データを構成する輝度値の正規化が行われる。

具体的には、補助画像データにおける最大の輝度値（最大輝度値）「Ｐｍａ」と最小の輝度値（最小輝度値）「Ｐｍｉ」とが検出される（図７参照）。そして、各画素Ｇｊの輝度値「Ｐｊ」から最小輝度値「Ｐｍｉ」が差し引かれ（図８参照）、差し引かれた輝度値の中で最大の輝度値「Ｐｍｂ」が、画素値としての最大値（例えば、８ビットの画素では「２５５」）となるように増幅される（図９参照）。このような正規化によって、新たに算出された各画素の輝度値「ＰＮｊ」は、式（１）のように表される。なお、添字ｊはｊ番目の画素であることを表している。

なお、最大輝度値「Ｐｍａ」と最小輝度値「Ｐｍｉ」との差が小さい場合に、式（１）に基づいた正規化を行うと、ノイズが過度に増幅される可能性がある。このため、最大輝度値「Ｐｍａ」と最小輝度値「Ｐｍｉ」との差が所定の閾値より小さい場合は、増幅率が制限される。

ステップＳＰ１６では、評価値取得部１２４によって、正規化後の補助画像データに対してＨＰＦを用いたフィルタ演算が行われ、画素ごとにフィルタ演算値が取得される。

ステップＳＰ１７では、閾値決定部１２５によって、被写体のエッジ部分に対応したエッジ画素を特定するための基準（指標）となるエッジ閾値が決定される。エッジ閾値の決定は、ステップＳＰ１１において新たな補助画像データが取得される度に行われる。具体的には、新たに取得された補助画像データから得られるエッジ閾値の候補値（「閾値候補値」とも称する）と、当該補助画像データ取得前のエッジ閾値とが比較され、大きい方が新たなエッジ閾値に決定される。

閾値候補値は、画像において、被写体のエッジ部分に対応した画素のフィルタ演算値は比較的大きいという特性を利用して決定される。具体的には、フィルタ演算値の大きさが全画素のうち上位所定割合に含まれる画素がエッジ候補画素とされ、このようなエッジ候補画素を特定する値が閾値候補値として決定される。すなわち、大きなフィルタ演算値を有する画素から順に画素数をカウントし、カウントされた総画素数が全画素数に対して所定割合となったときの画素に与えられたフィルタ演算値が閾値候補値となる。

例えば、全画素中、補助画像データに関するフィルタ演算値のヒストグラムが図１０で示される状況において、相対的に大きなフィルタ演算値を有する上位１割の画素をエッジ候補画素とする場合を想定する。この場合、最大のフィルタ演算値を有する画素から順にカウントされた画素の数が全画素数に対して１割となったときの画素のフィルタ演算値「ＦＮ」が、新たな補助画像データの閾値候補値とされる。

そして、新たな補助画像データの閾値候補値と当該補助画像データ取得前のエッジ閾値とが比較され、値の大きい方が新たなエッジ閾値となる。

このように、エッジ閾値の決定は、ＭＦモードの選択後、補助画像データが取得される度に行われ、現在のエッジ閾値よりも高い閾値候補値が取得されるとエッジ閾値の更新が行われる。

なお、閾値決定部１２５で決定されたエッジ閾値は、本撮影後或いはＭＦモード解除後にリセットされる。また、ＭＦモード選択後、最初に補助画像データが取得された場合は、比較対象となる現在のエッジ閾値が存在しないため、当該補助画像データに関する閾値候補値がエッジ閾値として決定される。

ステップＳＰ１８では、エッジ画素特定部１２６によって、エッジ閾値を用いて各画素の中からエッジ画素が特定される。すなわち、エッジ閾値より大きなフィルタ演算値を有する画素がエッジ画素として特定される。

ステップＳＰ１９では、表示制御部１２７によって、エッジ画素が特定の色（例えば赤色）で色づけされ、モニタ１２上で強調して表示される（図１１参照）。

ステップＳＰ２０では、レリーズボタン１１が押下され全押し状態となったか否かが検出される。レリーズボタン１１の全押し状態が検出されると、ステップＳＰ２１に移行され、本撮影動作が実行される。

一方、レリーズボタン１１の全押し状態が検出されない場合は、ステップＳＰ１１に移行され、レリーズボタン１１の全押し状態が検出されるまでステップＳＰ１１〜ステップＳＰ２０の処理が繰り返し実行される。

繰り返し処理が実行されているときに、ユーザによってフォーカスリング３５が操作されると、焦点（フォーカス）の状態（「焦点状態」または「フォーカス状態」とも称する）が変化する。このとき、ステップＳＰ１７では当該フォーカス状態の変化に応じてエッジ閾値が決定される。具体的には、フォーカスの状態が良くなり合焦状態に近づくとエッジが鮮明になり、比較的大きなフィルタ演算値を有する画素が増えるので、閾値候補値は大きくなりひいてはエッジ閾値も大きくなる。

これに対して、例えば合焦状態から非合焦状態へとフォーカスの状態が悪くなると、エッジが不鮮明になり、エッジ部分のフィルタ演算値が小さくなるので、閾値候補値は小さくなるが、現在のエッジ閾値との比較によりエッジ閾値の変更は行われない。すなわち、フォーカスの状態が良好だったときのエッジ閾値が維持される。

このように、フォーカスリング３５の手動操作による一連の焦点調節過程においては、エッジ閾値は、当該焦点調節過程で取得される最大値に保持されるので、フォーカス状態が悪化し各画素のフィルタ演算値が小さくなると強調表示されるエッジ画素は減少する。これによりユーザは、フォーカスリング３５の手動操作を行いながら、モニタ１２に表示されるライブビュー画像において強調表示されるエッジ画素の量（エッジ情報量）を確認することによってフォーカス状態を把握することができる。例えば、モニタ１２に表示されるエッジ情報量が最も多い状態を特定することによって、ユーザは適切な合焦状態が実現されたことを認識することができる。

また、エッジ閾値は、被写体の輝度および／またはコントラストに応じて変更されるので、輝度またはコントラストの低い被写体のエッジについても適切に強調表示することができる。

画像データのフィルタ演算値に関するヒストグラムは、被写体の輝度および／またはコントラストに応じて変化する。具体的には、図１２の一点鎖線で示すグラフＧＨ１のように、輝度および／またはコントラストの低い被写体に関する画像データにおいては、各画素のフィルタ演算値は相対的に小さくなる。このため、被写体の輝度および／またはコントラストが低い場合は、全画素のうちフィルタ演算値の大きさが上位所定割合に含まれる画素を規定する閾値候補値は小さくなり、ひいてはエッジ閾値「ＥＨ１」が小さくなる。

一方、図１２の破線で示すグラフＧＨ２のように、輝度および／またはコントラストの高い被写体に関する画像データにおいては、各画素のフィルタ演算値は相対的に大きくなる。このため、被写体の輝度および／またはコントラストが高い場合は、閾値候補値は大きくなり、ひいてはエッジ閾値「ＥＨ２」が大きくなる。

このように、エッジ閾値は、被写体の輝度および／またはコントラストに応じて変更されるので、輝度および／またはコントラストの低い被写体を撮影する場合は、エッジ閾値が比較的小さく設定され、被写体の輝度および／またはコントラストに応じた適切なエッジの強調表示が可能になる。

以上のように、撮像装置１Ａでは、被写体の輝度および／またはコントラストに応じて変化する高周波成分の評価値を用いてエッジ閾値が決定されるので、エッジ閾値を被写体の輝度および／またはコントラストに応じた適切な値に決定することができる。そして、このような適切なエッジ閾値を用いれば、被写体の輝度および／またはコントラストの影響を受けずにエッジ画素を特定することができ、ひいては被写体のエッジを適切に強調表示することができる。

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態に係る撮像装置１Ａは、取得された補助画像データをそのまま用いて、補助画像におけるエッジ画素を特定していたが、第２実施形態に係る撮像装置１Ｂは、取得された補助画像を複数の領域に分割し、分割された領域（「分割領域」とも称する）ごとにエッジ画素を特定する。図１３は、第２実施形態に係る撮像装置１Ｂの機能構成を示すブロック図である。

なお、第２実施形態に係る撮像装置１Ｂは、画像処理部５０において領域分割部５５を有している点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜図４参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

図１３に示されるように、撮像装置１Ｂの画像処理部５０は、副撮像素子７で取得された補助画像を複数の領域に分割する領域分割部５５をさらに有している。

領域分割の手法は、複数存在するが、ここでは、予め設定された固定数の領域に補助画像を分割する場合の撮像装置１Ｂの動作について説明する。図１４は、ＭＦモードが選択された場合の撮像装置１Ｂのエッジ表示動作のフローチャートである。図１５は、補助画像の領域分割例を示す図である。

図１４に示されるように、撮像装置１Ｂでは、撮影モードにおいてＥＶＦモードが選択されると、副撮像素子７により補助画像データが取得され（ステップＳＰ１１）、モニタ１２を用いたライブビュー表示が開始される。

そして、ＭＦモードが選択され（ステップＳＰ１２）、エッジ情報表示機能が有効化されている場合（ステップＳＰ１３）は、エッジ情報表示処理（ステップＳＰ１４〜ステップＳＰ１９）が実行される。

撮像装置１Ｂのエッジ情報表示処理では、ＹＣＣ変換部５４で補助画像データの色空間が変換された後（ステップＳＰ１４）、次のステップＳＰ３１では、領域分割部５５によって補助画像が予め設定された固定数の領域に分割される。

そして、上述の正規化処理（ステップＳＰ１５）、評価値取得処理（ステップＳＰ１６）、エッジ閾値決定処理（ステップＳＰ１７）、およびエッジ位置特定処理（ステップＳＰ１８）が、分割された領域ごとに実行される。例えば、図１５に示されるように、補助画像の領域ＲＨが９等分に分割された場合は、分割領域ＢＲ１〜ＢＲ９ごとにエッジ閾値が決定され、分割領域ＢＲ１〜ＢＲ９ごとにエッジ画素が特定される。

このように、撮像装置１Ｂでは、各分割領域の輝度およびコントラストに応じたエッジ閾値が分割領域ごとにそれぞれ決定され、各エッジ閾値に基づいたエッジの強調表示（ステップＳＰ１９）が行われる。

これによれば、細分化された領域ごとにエッジが表示されるので、補助画像内において部分ごとに輝度の差が大きい（端的には、補助画像内における輝度ムラが大きい）場合でも、補助画像内の比較的低輝度の被写体のエッジをも有効に表示することが可能になる。

＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

例えば、上記第２実施形態では、補助画像の領域分割の手法として、予め設定された固定数の領域に補助画像を分割する手法ＴＥ１を採用していたが、これに限定されない。具体的には、手法ＴＥ１の代わりに下記の手法ＴＥ２，ＴＥ３を採用してもよい。

●領域分割手法ＴＥ２：フィルタ演算値の最大値に基づいて分割領域数を決定
領域分割手法ＴＥ２は、評価値取得部１２４で取得された各画素のフィルタ演算値のうち、最大のフィルタ演算値を特定し、当該最大のフィルタ演算値を用いて分割領域数（単に「分割数」とも称する）を決定する。図１６は、領域分割手法ＴＥ２を採用した場合のエッジ表示動作のフローチャートである。図１７は、フィルタ演算値の最大値と分割領域数との対応関係を示す図である。

具体的には、ステップＳＰ１１〜ステップＳＰ１４までは、撮像装置１Ｂと同様の処理が実行される。

そして、ステップＳＰ５１において、ステップＳＰ１１で取得された補助画像データがエッジ情報表示機能有効化後、最初に取得されたものであるか否かが判定される。

最初の補助画像データであった場合は、ステップＳＰ１５に移行され正規化が行われた後、ステップＳＰ１６で全画素のフィルタ演算値が取得される。

そして、ステップＳＰ５４では、全画素のフィルタ演算値から最大のフィルタ演算値が特定され、当該最大のフィルタ演算値に基づいて補助画像の分割領域数が決定される。分割領域数は、図１７に示されるような、フィルタ演算値の最大値が大きくなれば分割領域数が増える所定の対応関係に基づいて決定される。例えば、フィルタ演算値の最大値が「Ｆｍａ」であった場合は、分割領域数は、図１７の対応関係に基づいて「２５（５×５）」に決定される。

一方、ステップＳＰ１１で取得された補助画像データがエッジ情報表示機能有効化後、最初に取得されたものでない場合は、ステップＳＰ５２に移行され（ステップＳＰ５１）、補助画像の領域がステップＳＰ５４で決定された分割領域数に分割される。そして、分割領域ごとにエッジ情報表示処理が実行される。

すなわち、領域分割手法ＴＥ２を採用したエッジ表示動作では、最初の補助画像データを用いて分割領域数が決定され、２回目以降に取得される補助画像データに対しては、当該分割領域数に応じて分割された領域ごとにエッジ情報表示処理が実行される。

このように、領域分割手法ＴＥ２によれば、フィルタ演算値の最大値が大きくなるにつれて分割領域数が増えるので、輝度および／またはコントラストの高い被写体に対しては、より細分化した領域ごとにエッジの強調表示が行われる可能性が高くなる。これによれば、輝度および／またはコントラストの高い被写体を撮影対象としている場合は、比較的細かい領域でより詳細なエッジ表示が行われるので、フォーカス状態の把握が容易になる。

●領域分割手法ＴＥ３：フィルタ演算値が最大となる画素を基準にして分割
領域分割手法ＴＥ３は、評価値取得部１２４で取得された各画素のフィルタ演算値のうち、最大のフィルタ演算値を有する画素を基準画素として特定し、当該基準画素からの距離に応じて分割領域の大きさを変更する。図１８は、領域分割手法ＴＥ３で補助画像の領域ＲＨを分割した場合の領域分割例を示す図である。

より詳細には、領域分割手法ＴＥ３では、基準画素を中心にして基準画素から離れるに従って分割領域の大きさが大きくなるように補助画像が分割される。例えば、図１８に示されるように、補助画像の中央付近で基準画素ＢＰが検出されると、補助画像において基準画素ＢＰから比較的近い領域では、小さい分割領域ＲＳが設定され、基準画素から比較的遠い領域では大きい分割領域ＲＢが設定されることになる。

このような領域分割手法ＴＥ３によれば、補助画像内の輝度および／またはコントラストに応じた適切な領域分割を実現できるので、分割領域の無駄な増加に伴う演算量の増大を抑制することができる。また、領域分割手法ＴＥ３によれば、補助画像内の輝度および／またはコントラストの高い領域では、比較的細かく分割され詳細なエッジ表示が行われるので、フォーカス状態の把握がより容易になる。

また、上記各実施形態に係る撮像装置１Ａ，１Ｂは、モニタ１２に表示される補助画像の一部を拡大表示する機能を有していてもよい。図１９は、モニタ１２に補助画像の一部を拡大して表示する様子を示す図である。

例えば、図１９に示されるように、補助画像の一部を拡大して表示することによれば、フォーカスを合わせたい部位のフォーカスの状態を確認し易くなる。

なお、拡大表示は、撮像装置１Ａ，１Ｂに備えられた拡大表示ボタン（不図示）のボタン操作に応じて実行されてもよく、フォーカスリング３５の無操作状態が一定時間経過したときに実行するようにしてもよい。また、拡大表示する箇所は、ユーザによって特定可能としてもよい。

また、上記各実施形態では、エッジ情報表示処理が撮像装置１Ａ，１Ｂ内で実行される場合について例示したが、これに限定されない。

具体的には、撮像素子等で取得された画像を外部から入力する画像処理装置において、入力画像に対してエッジ情報表示処理が実行されてもよい。

本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 第１実施形態に係る撮像装置の縦断面図である。 第１実施形態に係る撮像装置の縦断面図である。 第１実施形態に係る撮像装置の機能構成を示すブロック図である。 第１実施形態に係る撮像装置のエッジ表示動作のフローチャートである。 画素値の正規化の様子を示す図である。 画素値の正規化の様子を示す図である。 画素値の正規化の様子を示す図である。 正規化後の補助画像データのフィルタ演算値に関するヒストグラムを示す図である。 強調表示されたエッジを有するライブビュー画像を示す図である。 補助画像データのフィルタ演算値に関するヒストグラムを示す図である。 第２実施形態に係る撮像装置の機能構成を示すブロック図である。 第２実施形態に係る撮像装置のエッジ表示動作のフローチャートである。 補助画像の領域分割例を示す図である。 変形例に係るエッジ表示動作のフローチャートである。 フィルタ演算値の最大値と分割領域数との対応関係を示す図である。 補助画像の領域分割例を示す図である。 モニタに補助画像の一部を拡大して表示する様子を示す図である。

符号の説明

１Ａ，１Ｂ 撮像装置
７ 副撮像素子
３４ 回転量検出センサ
３５ フォーカスリング
５０ 画像処理部
５１ ホワイトバランス制御部
５２ 画素補間部
５３ ガンマ補正部
５４ ＹＣＣ変換部
５５ 領域分割部
１２３ 正規化部
１２４ 評価値取得部
１２５ 閾値決定部
１２６ エッジ画素特定部
１２７ 表示制御部

Claims (5)

1. 被写体像に関する撮影画像を取得する撮像素子と、
   前記撮影画像に含まれる高周波成分の評価値を画素ごとに取得する評価値取得手段と、
   前記撮影画像を構成する前記画素のうち、被写体のエッジ部分に対応したエッジ画素を特定するための基準となるエッジ閾値を、前記評価値に基づいて決定する決定手段と、
   前記エッジ閾値を用いて前記エッジ画素を特定する特定手段と、
   前記撮像素子によって順次に取得される前記撮影画像に基づいて表示部に本撮影前のプレビュー画像を、前記特定手段により特定された前記エッジ画素を強調して表示させる表示制御手段と、
   マニュアル操作に応じて前記被写体像の焦点位置を調節する焦点調節手段と
   を具え、
   前記決定手段は、前記焦点調節手段を用いた焦点調節過程で取得されるエッジ閾値の最大値を保持して、当該最大値を、前記エッジ画素を特定するための基準となる前記エッジ閾値とする
   撮像装置。
2. 前記撮影画像を複数領域に分割する領域分割手段、
   をさらに具え、
   前記決定手段は、前記複数領域ごとに前記エッジ閾値を決定し、
   前記特定手段は、前記複数領域ごとに決定された前記エッジ閾値を用いて、前記複数領域ごとに前記エッジ画素を特定する
   請求項１に記載の撮像装置。
3. 前記表示制御手段は、前記エッジ画素を強調した前記プレビュー画像の一部を拡大して表示させる
   請求項２に記載の撮像装置。
4. 被写体像に関する撮影画像を取得する撮像素子から入力された当該撮影画像に含まれる高周波成分の評価値を画素ごとに取得する評価値取得手段と、
   前記撮影画像を構成する前記画素のうち、被写体のエッジ部分に対応したエッジ画素を特定するための基準となるエッジ閾値を、前記評価値に基づいて決定する決定手段と、
   前記エッジ閾値を用いて前記エッジ画素を特定する特定手段と、
   前記撮像素子から順次に入力される前記撮影画像に基づいて表示部に動画像を、前記特定手段により特定された前記エッジ画素を強調して表示させる表示制御手段と
   を具え、
   前記決定手段は、マニュアル操作に応じて前記被写体像の焦点位置を調節する焦点調節手段を用いた焦点調節過程で取得されるエッジ閾値の最大値を保持して、当該最大値を、前記エッジ画素を特定するための基準となる前記エッジ閾値とする
   画像処理装置。
5. 被写体像に関する撮影画像を取得する撮像素子から当該撮影画像を取得する画像取得ステップと、
   前記撮影画像に含まれる高周波成分の評価値を画素ごとに取得する評価値取得ステップと、
   前記撮影画像を構成する前記画素のうち、被写体のエッジ部分に対応したエッジ画素を特定するための基準となるエッジ閾値を、前記評価値に基づいて決定する決定ステップと、
   前記エッジ閾値を用いて前記エッジ画素を特定する特定ステップと、
   前記画像取得ステップで順次に取得される前記撮影画像に基づいて表示部に動画像を、前記特定ステップで特定した前記エッジ画素を強調して表示する表示制御ステップと
   を具え、
   前記決定ステップは、マニュアル操作に応じて前記被写体像の焦点位置を調節する焦点調節手段を用いた焦点調節過程で取得されるエッジ閾値の最大値を保持して、当該最大値を、前記エッジ画素を特定するための基準となる前記エッジ閾値とする
   画像処理方法。

Images