JP5390913B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特には撮像装置における合焦の程度の表示技術に関する。

自動焦点検出（Auto Focus：以下、ＡＦ）技術の進歩に伴い、スチルカメラやビデオカメラのような撮像装置での焦点検出は主にＡＦが用いられている。しかし、マクロ撮影のようにフォーカスを厳密に合わせる必要がある場合や、意図的にぼけた映像を撮影する場合、ＡＦでは合焦しづらい条件下などにおいては、手動による焦点調節（Manual Focus：以下、ＭＦ）での撮影が行われることも多い。

特にＭＦ操作を行う場合、操作性や合焦精度は光学ファインダや電子ビューファインダ(EVF)の解像度に大きく左右される。しかし、光学ファインダや表示装置の大型化や高解像度化は、撮像装置の大型化や高価格化につながる。そのため、全ての撮像装置において、容易かつ精度の高いＭＦ操作を実現するに十分な光学ファインダや表示装置が搭載されているとは言えない状況にある。

そこで、撮影者が合焦度合い（合焦状態）をよりわかりやすく把握できるよう、様々な補助表示が実現されている。例えば、撮影映像のうち、合焦しているエッジ部分の強調表示（ピーキング）や、合焦状態確認のための部分拡大表示などがある。

また、特許文献１には、合焦度合いを示す「評価値」として、画像の輝度信号の高域成分の積分値を求め、その大きさの変化をバーグラフでＥＶＦ画像に合成表示する構成が開示されている。
また、特許文献２には、合焦度合いを示す「評価値」として、撮像信号の高周波成分の振幅のヒストグラムを生成し、ＥＶＦ画像に合成表示することが開示されている。

特開平６−１１３１８４号公報 特許第４０８９６７５号公報

ピーキングは、ＥＶＦ画像のうち、合焦しているエッジ部分を強調表示するものであるが、合焦しているエッジ部分の大きさや場所によっては強調表示を判別しづらい。また、ピーキングの際に、ＥＶＦ画像のうち合焦エッジ部分のみ着色し、他を白黒表示することも行われているが、白黒表示に変わることで、ＥＶＦによる撮影被写体の視認性が低下するという問題がある。

また、特許文献１や特許文献２に開示された方法では、合焦度合いを示す「評価値」が、どの部分についての合焦度合いを示しているかの把握が困難である。また、評価値の大きさの変化をバーグラフの高さやヒストグラムの広がりかたの変化で表現しているため、評価値の最大点の把握が容易でなかった。

本発明は、このような従来技術の課題に鑑みてなされたものであり、合焦に関する操作性や視認性を向上させた撮像装置およびその制御方法を提供することを目的とする。

上述のような課題を解決するために、本発明に係る、撮像素子に被写体像を結像するレンズの焦点調節の機能を有する撮像装置の制御方法は、撮像装置の抽出手段が、撮像素子で撮像された映像のエッジ成分を抽出する抽出工程と、撮像装置の生成手段が、抽出工程で抽出されたエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成工程と、撮像装置の表示制御手段が、撮像素子で撮像された映像と波形画像とを、表示装置に逐次表示させるよう制御する表示制御工程と、を有し、前記抽出工程では、映像の所定方向の複数のラインでエッジ成分の抽出を行い、生成工程では、所定方向における各位置で抽出工程にて抽出されるエッジ成分を、エッジ成分の大きさごとに計数し、当計数に応じた波形画像を生成することを特徴とする。

このような構成により、本発明によれば、合焦に関する操作性や視認性を向上させることができる。

本発明の実施形態に係る撮像装置の一例としてのハイビジョンデジタルビデオカメラにおいて、撮像映像信号のエッジ成分のレベルを撮像映像とともに波形表示した画面を模式的に示す図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラにおけるビデオ制御部の、波形表示処理に関する構成例を示すブロック図である。 本発明の別の実施形態に係るハイビジョンデジタルビデオカメラにおけるビデオ制御部の、波形表示処理に関する構成例を示すブロック図である。 、 本発明の別の実施形態に係る撮像装置の一例としてのハイビジョンデジタルビデオカメラにおいて、撮像映像信号のエッジ成分のレベルを撮像映像とともに波形表示した画面を模式的に示す図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラの構成例を示すブロック図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラにおけるエッジ抽出回路の構成例を示す図である。 図７のエッジ抽出回路の周波数特性の例を示す図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラにおける、マニュアルフォーカス時の波形表示動作を説明するためのフローチャートである。

以下、図面を参照して本発明を好適かつ例示的な実施形態に基づいて詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態に係る撮像装置の一例としての、マニュアルフォーカス機能を備えたハイビジョンデジタルビデオカメラについて説明する。ただし、本発明は、焦点調節を行うフォーカス機能を有するカメラと、表示装置を有する任意の装置に対して適用可能である。このような装置には、例えば、デジタルスチルカメラ、カメラ付き携帯情報端末、カメラ付き携帯電話などが含まれる。

図６に示すブロック図において、レンズ部６０１は、被写体像を撮像素子６０２の撮像面上に結像する光学系を構成し、ズーム機能、焦点調節機能及び、絞り調節機能を備える。撮像素子６０２は多数の光電変換素子が２次元的に配列された構成を有し、レンズ部６０１によって結像された被写体光学像を画素単位の映像信号に変換する。撮像素子６０２は例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charged Coupled Device）イメージセンサであってよい。撮像素子６０２はまた、光電変換素子による電荷蓄積時間を調整することによる電子シャッター機能を備える。

撮像素子駆動部６０３は、カメラ信号処理部６０６の制御するタイミングに従って撮像素子６０２を駆動制御する。ＣＤＳ／ＡＧＣ部６０４は、撮像素子６０２からのアナログ映像信号を相関二重サンプリング（ＣＤＳ）してノイズを削減し、システム制御部６１１の制御に従って信号レベルのゲイン制御（ＡＧＣ）を行う。Ａ／Ｄ（Analog to Digital）変換器６０５は、ＣＤＳ／ＡＧＣ部６０４からのアナログ映像信号をデジタル映像信号に変換し、カメラ信号処理部６０６に供給する。

カメラ信号処理部６０６は、システム制御部６１１と連携して、タイミング信号の生成、自動露出（Auto Exposure:AE）制御、ガンマ調整、オートフォーカス（Auto Focus:AF）制御など、カメラ撮像系の制御を行う。例えば、オートフォーカス時に合焦度合いの判断基準となる「ＡＦ評価値」は、カメラ信号処理部６０６が算出する。

また、本実施形態では、焦点検出枠は画面中に３×３の格子状に配置された９点あるものとし、ＡＦ制御時に用いる焦点検出枠の数や位置は撮像された画像もしくはユーザ設定に基づいて選択されるものとする。

本実施形態のビデオカメラには、用途に応じた第１〜第４記憶部６０７，６１２，６１６，６１９を有している。ここでは便宜上、それぞれカメラ信号処理用、システム制御用、ビデオ制御用、ＣＯＤＥＣ用として個別に設けられているものとして記載しているが、物理的には同じ記憶装置で実現されてもよい。第１〜第４記憶部６０７，６１２，６１６，６１９は、典型的には読み書き可能な半導体メモリによって構成されるが、少なくとも１つが他の記憶装置で構成されてもよい。

第１記憶部６０７は、撮像した画像を信号処理する際のフレームメモリ等としてカメラ信号処理部６０６が使用する。レンズ駆動部６０８はシステム制御部６１１の制御に従い、レンズ部６０１の図示しないモータやアクチュエータなどを駆動し、ズーム倍率やフォーカス調整、露出調整を行う。レンズ駆動部６０８の制御は、システム制御部６１１がカメラ信号処理部６０６での信号処理結果に基づいて行う。例えば、ＡＦ制御時には、カメラ信号処理部６０６が求めたＡＦ評価値に基づいてシステム制御部６１１がレンズ駆動部６０８を制御し、レンズ部６０１のフォーカス調整用レンズを駆動制御することで、レンズ部６０１を被写体に合焦させる。

手動でレンズ部６０１の焦点調節を行うマニュアルフォーカスモードが設定されている場合、システム制御部６１１は、撮影者による焦点調節操作を検出する。具体的には、システム制御部６１１は、入力操作部６１３に含まれる、焦点距離の調整用スイッチやレバー、またはレンズ部６０１の鏡筒外周に設けられたフォーカスリングの操作を検出する。そして、システム制御部６１１は、検出した操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部６０８を制御し、レンズ部６０１の焦点距離を変更させる。なお、ユーザが操作するスイッチやレバー等によって機械的にレンズ部６０１の焦点距離が変更可能である場合には、システム制御部６１１やレンズ駆動部６０８が介在する必要はない。

ストロボ６０９は、必要に応じて、あるいはユーザの設定に応じて、静止画撮影時に補助光源として用いられる。マイク６１０は、周囲の音を記録する際に有効とされ、マイク６１０からの音声信号はカメラ信号処理部６０６に供給される。例えば撮像素子６０２で撮像した映像と併せてマイク６１０からの音声を記録する場合、カメラ信号処理部６０６は両者の時間軸の整合をとってビデオ制御部６１５に供給する。

システム制御部６１１は例えばＣＰＵであってよく、例えば第３記憶部６１２に記憶されたプログラムを実行することにより、後述するマニュアルフォーカス時の補助表示処理を含む、本実施形態のビデオカメラの動作全般を制御する。第３記憶部６１２は、例えばＲＯＭやＲＡＭを含み、システム制御部６１１が実行するプログラムや各種設定、初期値などを記憶する。また、第３記憶部６１２は、システム制御部６１１のワークエリアとしても用いられる。

入力操作部６１３は、ユーザがビデオカメラに指示を与えるためのユーザインタフェースであり、キー、ボタン、タッチパネル等の入力デバイスを備える。本実施形態において、入力操作部６１３は、拡大表示ＯＮ／ＯＦＦボタン、ゼブラパターンやピーキング表示ＯＮ／ＯＦＦなど各種機能の選択ボタンや決定ボタン、静止画撮影用のシャッターボタン、ＭＦリング、ズームスイッチ、絞り調整ダイヤルなどを含む。計時部６１４は、リアルタイムクロック（ＲＴＣ）とバックアップ電池を備え、システム制御部６１１からの要求に応じて、日時情報を返信する。

ビデオ制御部６１５は、第１表示部６２２及び第２表示部６２３への、色相、彩度、明度の調整を含む表示制御、アナログライン入出力部６２４の入出力制御、デジタルデータＩ／Ｆ部６２５への出力制御および、記録／再生部６２０の制御等を行う。第１表示部６２２及び第２表示部６２３を含む各映像出力系に対する映像信号の解像度変換や、ゼブラパターンやピーキング信号の生成および重畳、撮影映像からのエッジ成分抽出や波形生成なども、ビデオ制御部６１５が行う。第２記憶部６１６はビデオ制御用の記憶部で、ビデオ制御部６１５がビデオベースバンド信号に関する信号処理を行う際のフレームメモリ、ワークメモリ等として使用する。

H.264コーデック部６１７は、動画像の符号化／復号化処理を行う動画像コーデックの一例である。符号化／復号化の形式はＭＰＥＧ（Moving Picture Experts Group）−２方式を始め、他の形式であってよい。同様に、ＪＰＥＧ（Joint Photographic Experts Group）コーデック部６１８は、静止画像の符号化／復号化処理を行う静止画コーデックの一例である。やはり符号化／復号化の形式はＪＰＥＧ２０００やＰＮＧなど、他の形式であってよい。なお、本実施形態では、H.264コーデック部６１７と回路を共用するためと、再生動画からの静止画撮影機能を実現するため、ＪＰＥＧコーデック部６１８はビデオ制御部６１５に接続されている。しかし、ＪＰＥＧコーデック部６１８はカメラ信号処理部６０６に直接接続されてもよい。第４記憶部６１９はコーデック用で、H.264コーデック部６１７およびＪＰＥＧコーデック部６１８が映像信号の符号化／復号化の際に用いる。

記録／再生部６２０は、ビデオ制御部６１５とH.264コーデック部６１７またはＪＰＥＧコーデック部６１８により、符号化処理され、記録フォーマットとして処理された記録データを記録媒体６２１に対して記録したり、読み出したりする。なお、記録媒体６２１はメモリカードに限定されず、ＤＶＤや更に高容量の光ディスク、ＨＤＤなどであっても、それぞれに応じた記録再生システムを、別途、構成可能である。

第１表示部６２２及び第２表示部６２３は表示装置であり、いずれも同様の情報を表示することができる。ただし、本実施形態において、第２表示部６２３は第１表示部６２２よりも小型であり、ファインダ内に設けられているものとする。一方、第１表示部６２２は、例えば筐体の側面などに開閉可能に設けられる比較的大型の表示装置である。

これら第１及び第２表示部６２２及び６２３には、撮像モードでは撮像素子６０２からの入力映像や拡大映像に加え、フォーカス枠表示などの補助表示が表示される。撮像素子６０２からの入力映像を順次表示することで、第１及び第２表示部６２２及び６２３は電子ビューファインダ（ＥＶＦ）として機能する。補助表示には、ゼブラパターン表示を始め、ピーキング表示や撮影映像のエッジ成分の波形表示といったマニュアルフォーカスの補助表示も含まれる。

一方、再生モード時、第１及び第２表示部６２２及び６２３には、記録媒体６２１に記録されている動画像や静止画像が表示される。また、入力操作部６１３からのユーザによる入力操作情報や、記録媒体６２１のメモリカード内の任意の画像情報（撮影情報）などを表示することも可能である。

アナログライン入出力部６２４は、アナログコンポーネント映像の出力や、Ｓ端子入出力、コンポジット映像入出力などのインタフェース群である。アナログライン入出力部６２４を外部モニタ等に接続して、ハイビジョンデジタルビデオカメラからの映像出力を外部モニタに表示したり、外部映像機器に接続して、外部映像機器からの映像入力を受け付けたりすることができる。
デジタルデータＩ／Ｆ部６２５は、ＵＳＢ Ｉ／ＦやＩＥＥＥ１３９４ Ｉ／Ｆ、ＨＤＭＩなどのデジタルインタフェースを１つ以上を含むことができる。

（ビデオ制御部６１５）
ゼブラパターンやピーキング信号の生成および重畳、撮影映像からのエッジ成分抽出や波形生成を行うビデオ制御部６１５の、エッジ成分の波形表示に係る構成について、図２を用いてさらに説明する。

前処理部２０２は、エッジ抽出回路２０３、メモリコントローラＡ ２０４、波形制御部２０５を含んでいる。
エッジ抽出回路２０３は、撮影映像からエッジ信号を抽出する。本実施形態のエッジ抽出回路２０３では、ＦＩＲ（Finite Impulse Response）型のバンドパフフィルタを用いてエッジ信号を抽出している。エッジ抽出回路２０３の詳細は後述する。

メモリコントローラＡ ２０４は、映像信号のフィールド毎に、バンクメモリ部２０６内の波形保存メモリＢａｎｋ１ ２０７と波形保存メモリＢａｎｋ２ ２０８とのバンク切り替え制御を行うとともに、メモリアクセスのための制御を行う。メモリコントローラＡ ２０４は、映像信号の現座標情報と、エッジ抽出回路２０３で抽出されたエッジ情報の振幅を、それぞれ直交座標系における情報として考え、メモリアクセスのためのアドレスを生成する。

例えば、後述する図１（ａ）に示す水平表示の時は、メモリのアドレス空間を、映像信号の水平座標を横軸に、エッジ情報の振幅（レベル）を縦軸とした２次元空間と見なしてアクセス制御を行う。ここでのアクセス処理は、初めに該当アドレスのデータを読み出し、後述する波形制御部２０５において処理されたデータを、再びメモリコントローラＡ ２０４を通じて、同一アドレスに書き戻す処理である。

波形制御部２０５は、メモリコントローラＡ ２０４が波形保存メモリＢａｎｋ１ ２０７から読み出したデータに対して、エッジ抽出回路２０３で抽出したエッジ情報のデータに任意のゲインを乗じたものを加算して、再びメモリコントローラＡ ２０４に返す。波形制御部２０５がエッジ情報のデータに乗じるゲインをシステム制御部６１１から制御することで、頻度によるデータの増加割合を制御することができ、視認性を制御することが可能となる。

これらの処理および、後述する映像合成回路２１０での合成処理により、アクセス頻度が高いアドレスのデータ値、即ち同一レベルの頻度が大きい場合に表示輝度が大きく（明るく）なるように制御できる。なお、各アドレスの初期値は例えば最低輝度に対応する値であり、最初にアクセスされた際に所定値を書き込み、２度目のアクセスからは、上述した読み出し及び書き戻しを行うことができる。また、頻度制御を行う効果としては、エッジではない単発的なノイズ成分が、エッジであるかのように表示、認識されることなどを防止できる。

１フィールド（または１フレーム）での処理が終了した後、メモリコントローラＢ ２１１によって各アドレスのデータを読み出し、読み出したアドレスとデータに基づいて、波形表示画像が生成される。本実施形態において、図１（ａ）に示す水平表示の時は、メモリのアドレス空間を、映像信号の水平座標を横軸に、エッジ情報の振幅（レベル）を縦軸とした２次元空間と見なしてアクセス制御を行うので、撮影映像の映像内に対応したエッジ成分、即ち合焦状態を視覚的に把握することができる。

また、上述のアクセス制御により、アクセス頻度の高いアドレスには大きなデータが書き込まれる。つまり、抽出方向における同一座標（位置）で同一レベルのエッジ成分が抽出された回数が多いほど、当該同一レベルを表す指標の輝度が高く（明るく）表示されることになる。
また、エッジ成分の抽出方向（本実施形態では水平又は垂直方向）における同一座標で異なるレベルのエッジ成分が異なる頻度で抽出された場合、その位置に対応した指標の輝度は一定でなく、検出されたレベルに対応する位置で変化する。

図１（ｂ）に示す垂直表示の場合は、メモリのアドレス空間を、映像信号の垂直座標を縦軸に、エッジ成分のレベルを横軸とした２次元空間と見なしてアクセス制御を行えばよい。

バンクメモリ部２０６は、波形保存メモリＢａｎｋ１ ２０７と、波形保存メモリＢａｎｋ２ ２０８を含んでいる。波形保存メモリＢａｎｋ１ ２０７と波形保存メモリＢａｎｋ２ ２０８とは、映像信号のフィールド（またはフレーム）毎に、メモリコントローラＡ ２０４とメモリコントローラＢ ２１１のいずれかからアクセスされるように切り替えられている。

ここでは、波形保存メモリＢａｎｋ１ ２０７がメモリコントローラＡ ２０４からアクセスされている時には、別バンクの波形保存メモリＢａｎｋ２ ２０８がメモリコントローラＢ ２１１からアクセスされるように制御しているものとする。そして、次の映像フィールド（またはフレーム）では、メモリコントローラと波形保存メモリとのアクセス関係が入れ替わる。
波形保存メモリＢａｎｋ２ ２０８は、波形保存メモリＢａｎｋ１ ２０７と等価で、バンク制御に使用される。

後処理部２０９は、映像合成回路２１０、メモリコントローラＢ ２１１を含んでいる。映像合成回路２１０は、映像信号と、メモリコントローラＢ ２１１によってバンクメモリ部２０６から読み出したエッジ情報に基づく波形表示画像とを合成し、第１表示部６２２及び／又は第２表示部６２３に表示する。後述する図１（ａ）では、映像信号を全画面表示し、画面下方にエッジ成分の波形表示画像を重畳表示した様子を表している。この図では特に示していないが、波形表示画像を見易くするために、波形表示画像の背景にバックグラウンドカラー（半透過の黒など）を表示するようにしても良い。その際には、映像信号にバックグラウンドカラーを重畳し、次いで、そのバックグラウンドカラーの上に波形表示画像を重畳するようにすると波形表示画像の視認性を向上することができる。

メモリコントローラＢ ２１１は、メモリコントローラＡ ２０４により波形保存メモリＢａｎｋ１ ２０７又は波形保存メモリＢａｎｋ２ ２０８に書き込まれたエッジ情報を読み出し、映像合成回路２１０に供給する。映像合成回路２１０は、エッジ情報から、エッジ成分のレベルと抽出された位置とを表す波形表示画像を生成し、撮像映像と位置合わせして合成して第１表示部６２２及び／又は第２表示部６２３に表示する。

システム制御部６１１は、ビデオ制御部６１５内の各種制御を行う。例えば、システム制御部６１１は、エッジ抽出回路２０３での抽出するエッジ成分の中心周波数やゲインコントロール、波形制御部２０５でのゲイン制御、映像合成回路２１０でのエッジ成分の波形表示画像の合成有無や映像信号に対する合成位置制御などを行う。

エッジ抽出回路２０３は、映像の所定方向（ここでは水平方向とする）の輝度成分に対し、周波数特性と通過ゲインを調整可能な構造のＦＩＲ（Finite Impulse Response）型バンドパスフィルタを適用し、エッジ成分を抽出する。なお、他の方法でエッジ成分を抽出してもよい。

図７に示すエッジ抽出回路２０３の例示構成において、入力映像信号７０１は、Ｄ−ＦＦ（Delay type Flip Flop）７０２に入力される。Ｄ−ＦＦ７０２は映像信号のピクセルクロックで入力映像信号７０１をラッチし、次段のＤ−ＦＦ７０３へ渡す。Ｄ−ＦＦ７０２の出力信号は、入力信号に対してピクセルクロック１クロック分遅延する。ここで、ピクセルクロックは、第１表示部６２２の表示クロックであり、液晶表示パネル等の仕様（表示解像度）に依存するが、ここでは１３.５〜３３．７５ＭＨｚ程度とする。

Ｄ−ＦＦ７０３〜７０９はそれぞれＤ−ＦＦ７０２と同様の構成を有し、前段からのデータを映像信号のピクセルクロックによりラッチして、１ピクセルクロック分遅延させて後段に出力する。ここでは、ＦＩＲ型水平フィルタのＹ（−４）からＹ（４）の９タップのうち、抽出するエッジ成分の周波数に応じて３つのタップを組み合わせる。具体的には、センタータップＹ（０）は共通で、前後のタップの組み合わせを変えて、
Ｙ（−１）、Ｙ（０）、Ｙ（１）
Ｙ（−２）、Ｙ（０）、Ｙ（２）
Ｙ（−３）、Ｙ（０）、Ｙ（３）
Ｙ（−４）、Ｙ（０）、Ｙ（４）
という組み合わせを考える。

また、それぞれの組み合わせにおいて、選択されていないタップは、選択されているがタップ係数が零に設定されているものと考えることができる。このようにタップの組み合わせを制御することで、エッジとして抽出する周波数帯域を可変としている。

なお、本実施形態において、組み合わせる３つのタップのタップ係数及びＤＣゲインは以下のようにする。
センタータップのタップ係数：２α
前後のタップのタップ係数： −α
ＤＣゲイン：２α−α−α＝０

ゲイン調整信号７１０はシステム制御部６１１から供給され、エッジ抽出回路２０３のＦＩＲ型水平フィルタの強調周波数帯域のレベルを制御する。ここでは、ゲイン調整信号７１０は４ビットの信号で、強調するゲインレベルを１６段階に切り替えられる構成とする。具体的には、α＝１５：ゲイン最大〜α＝０：ＯＦＦ（ゲイン最小）とする。
ここで、α＝０の場合、便宜上図７には示していないが、映像信号をＦＩＲ型水平フィルタで処理しない（スルーする）ものとする。

周波数調整信号７１１はシステム制御部６１１から供給され、エッジ抽出回路２０３で抽出するエッジ成分の中心周波数を制御する。ここでは、周波数調整信号７１１は２ビットの信号とし、抽出するエッジ成分の中心周波数を４通りに切り替え可能とする。

信号セレクタ７１２は、周波数調整信号７１１により制御され、周波数調整信号７１１に応じた１つの入力を選択して出力することにより、エッジ抽出回路２０３が抽出する中心周波数を切り替える。具体的には、２ビットの周波数調整信号７１１と、エッジ抽出回路２０３から出力される中心周波数（強調中心周波数）との関係は以下の通りである。

サンプリング周波数：ｆ（ＭＨｚ）とすると、
周波数調整信号７１１：強調中心周波数（ｆｃ）
００：ｆｃ＝ｆ／２ ＭＨｚ
（センタータップ及びセンタータップと隣り合う前後のタップ使用）
０１：ｆｃ＝ｆ／４ ＭＨｚ
（センタータップ及びセンタータップから前後に１つ飛ばしたタップ使用）
１０：ｆｃ＝ｆ／６ ＭＨｚ
（センタータップ及びセンタータップから前後に２つ飛ばしたタップ使用）
１１：ｆｃ＝ｆ／８ ＭＨｚ
（センタータップ及びセンタータップから前後に３つ飛ばしたタップ使用）
信号セレクタ７１２により選択された信号は、メモリコントローラＡ ２０４へ出力される。

また、図８に、ｆ=１３．５ＭＨｚとした時の、エッジ抽出回路２０３の周波数特性を模式的に示す。図８（ａ）〜（ｄ）は、それぞれ周波数調整信号７１１が００，０１，１０，１１である場合に対応し、中心周波数ｆｃ（ＭＨｚ）はｆ／２，ｆ／４，ｆ／６，ｆ／８となる。

撮像映像信号を１水平ライン毎にエッジ抽出回路２０３に入力し、水平方向におけるエッジ成分の抽出を行う。そして、メモリコントローラＡ ２０４及び波形制御部２０５は、抽出されたエッジ成分のレベル（振幅）に応じた上述のメモリアクセス制御を行う。この動作を１ライン毎に繰り返すことで、１フィールド又は１フレーム分の映像信号について、水平方向における各ラインのエッジ成分のレベルを反映した値が波形保存メモリＢａｎｋ１ ２０７又は波形保存メモリＢａｎｋ２ ２０８に書き込まれる。例えば、映像中に垂直方向の縦線が存在する場合、線が長いほど同じ水平位置に同じ振幅のエッジ成分が抽出される頻度が高くなる。同一レベルのエッジ成分が同一位置で複数回抽出された場合、抽出回数が多いほど波形保存メモリの同一アドレスにアクセスされる頻度が高くなり、上述のアクセス制御によってそのアドレスのデータ値は大きくなる。その結果、対応する指標は高輝度で表示されることになる。レベルの大きさを示す指標の長さは、頻度には依存しない。なお、検出される垂直表示を行う場合には、垂直ライン毎に同様の動作を行う。

本実施形態のハイビジョンデジタルビデオカメラが、第１表示部６２２及び／または第２表示部６２３に表示されている撮影映像に、映像信号のエッジ成分を波形として重畳表示した場合の表示画面の例を図１に模式的に示す。本実施形態においては、例えば撮影モードにおいて、入力操作部６１３を通じてマニュアルフォーカスが設定されている場合に、補助表示として、エッジ成分の波形表示画像を撮像映像に重畳表示する。撮影モードにおいて、第１表示部６２２及び／または第２表示部６２３にはスルー画像が逐次表示され、電子ビューファインダとして機能している。上述のように、システム制御部６１１は、入力操作部６１３に含まれるスイッチやレバー等による焦点距離の調整操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部６０８を制御し、レンズ部６０１の焦点距離を変更させる。

図１（ａ）の「水平表示」は、表示画面がアスペクト比１６：９の横長であるとした場合に、撮像映像の水平方向のエッジ成分の信号レベルを示す波形を、画面下端部に表示する。例えば撮影者がマニュアルフォーカス操作を行う場合、フォーカスが合ってくると、被写体のエッジ部分が合焦してくるので、その位置で抽出されるエッジ成分のレベルが大きくなる。そのため、画面下端部に波形表示したエッジ成分のレベルも大きく（指標が高く）表示されるようになる。電子ビューファインダを見ながら、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。水平表示では、撮像映像と水平位置を合わせてエッジ成分の波形表示画像を重畳表示するので、映像中に含まれる個々の被写体について、波形表示と撮影映像を垂直方向に見ながら合焦度合いを確認することができる。
また、ここでは、撮影映像の垂直方向に見た時に、同一のエッジ成分レベルが多いほど、波形表示の表示強度（ここでは輝度のインテンシティとする）が強くなるように表示制御される。

また、図１（ｂ）の「垂直表示」は、表示画面がアスペクト比１６：９の横長であるとした場合に、撮像映像の垂直方向のエッジ成分のレベルを示す波形表示画像を、画面右端部に表示する。水平表示と同様、撮影者は、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。垂直表示では、撮像映像と垂直位置を合わせてエッジ成分の波形表示画像を重畳表示するので、映像中に含まれる個々の被写体について、波形表示と撮影映像を水平方向に見ながら合焦度合いを確認することができる。

有効表示面１０２には、撮影映像や各種撮影情報、マニュアルフォーカスの補助表示であるエッジ成分の波形表示画像などを表示する。
図１（ａ）に示す水平表示において、直方体形状の被写体１０３のうち、有効表示面１０２の垂直方向と平行な辺１０５及び、斜めに見える辺１０６が、水平方向におけるエッジとして抽出される。厳密には、撮影被写体のエッジの傾きによって、必ずしもエッジ成分の強度が変わるわけではないが、ここでは説明の簡略化のため、辺１０５は、辺１０６や辺１０９に比べエッジ成分のレベルが高い事とする。よって、対応する波形表示画像の指標１０７も高く（長く）表示される。また、辺１０６については、水平方向におけるエッジ成分のレベルが辺１０５ほど高くないものとし、対応する波形表示画像の指標１０８も低く表示される。また、左右の指標１０８は、平行した辺１０６に関するものであるため、抽出されるエッジ成分のレベルは等しく、指標１０８の高さは等しい。しかし、右側の指標は、被写体１０３の底面と天面における２つの辺１０６で抽出されたエッジ成分を反映するため、抽出頻度が高く、左側の指標よりも高輝度となる。

また、底辺が有効表示面１０２と平行で、被写体１０３と等距離にある三角形状の被写体１０４のうち、辺１０９が水平方向におけるエッジとして抽出される。そして、辺１０９に対応する水平位置に、指標１１０が表示される。

また、図１（ａ）の撮像状態で、垂直表示を行った場合、波形表示画像は図１（ｂ）のようになる。垂直表示では、水平表示の時と同様に、説明の簡略化のため、被写体１０３及び１０４のうち、水平方向の辺１１１及び１１５のエッジ成分が高いレベルを有する事する。よって、対応する指標１１３及び１１６が高く（長く）表示される。また、斜めの辺１１２及び１０９については、指標１１４及び１１７が表示される。

図１（ｂ）においても、波形表示画像のうち、左右の指標１１４は、左側の方が高輝度で表示される（反映される辺１１２の数が多いため）。また、指標１１４のうち、指標１１７と重なる部分は、輝度が高く表示される。

水平表示と垂直表示は、例えば入力操作部６１３に含まれる切り替えキーが押下される毎に切り替えて表示するように構成することができる。また、水平表示と垂直表示の両方を行ってもよい。さらに、エッジ成分の波形表示画像は、撮像映像上に重畳表示する必要はなく、撮像映像が全画面表示でなければ、撮像映像の周囲に表示してもよい。この場合も、波形表示画像の位置と、撮像映像の位置とを対応させることは言うまでもない。

上述したマニュアルフォーカス時の波形表示動作を、図９のフローチャートを用いて説明する。このフローチャートに示した処理は、撮影モードにおいて、入力操作部６１３を通じてマニュアルフォーカスモードが設定されている際に実行される。この状態で第１表示部６２２及び／又は第２表示部６２３には所謂スルー画像（ＥＶＦ画像とも呼ばれる）が逐次表示され、表示部はＥＶＦとして機能しているものとする。

システム制御部６１１は、ビデオ制御部６１５に対してマニュアルフォーカスの補助表示処理を開始するように指示する。これにより、エッジ抽出回路２０３はエッジ成分の抽出を開始する（Ｓ１０１）。また、メモリコントローラＡ ２０４及び波形制御部２０５は、バンクメモリ部２０６内の波形保存メモリ（ここでは波形保存メモリＢａｎｋ２ ２０８とする）の、エッジ抽出回路２０３の抽出結果に応じたアドレスへアクセスし、波形生成を行う（Ｓ１０３）。

前処理部２０２では、映像信号の１フィールド（又は１フレーム）分について、エッジ成分の抽出及び波形生成処理を順次行う（Ｓ１０１〜Ｓ１０５）。そして、１フィールド（又は１フレーム）分の波形生成処理が終了すると、メモリコントローラＢ ２１１が、波形保存メモリＢａｎｋ２ ２０８からデータを読み出し、波形表示画像を生成する。なお、メモリコントローラＢ ２１１は読み出したデータを映像合成回路２１０へ供給し、波形表示画像は映像合成回路２１０が生成してもよい。そして、映像合成回路２１０は、波形表示画像をＥＶＦ画像に重畳して、第１表示部６２２及び／又は第２表示部６２３に表示する（Ｓ１０７）。一方、メモリコントローラＡ ２０４は、次のフィールド（又はフレーム）に対して用いる波形保存メモリのバンク切り替え処理を行う（Ｓ１０９）。実際には、Ｓ１０５の後、メモリコントローラＢ ２１１によるデータの読み出し、波形表示画像の生成及び表示という一連の処理と、メモリコントローラＡ ２０４によるバンク切り替え及び次フィールド（又はフレーム）のエッジ抽出処理とは並行して行われる。このように、ＥＶＦ画像と併せてその時点における合焦状態を表すエッジ成分の波形表示画像を表示することで、ユーザはＥＶＦを見ながらマニュアルフォーカスによる合焦を容易に行うことができる。

以上説明したように、本実施形態によれば、マニュアルフォーカスによる合焦操作を支援するための補助表示として、撮像映像の表示画面において、撮像映像信号から抽出したエッジ成分のレベルを、撮像映像中の被写体位置と対応させて波形表示する。そのため、波形表示されるレベルが最も高くなるように焦点調整を行うことで、マニュアルフォーカスでの合焦を容易に行うことができる。この際、エッジ成分のレベルが被写体位置と対応した位置に表示されるため、撮像映像中のどの位置で抽出されたエッジ成分であるのかを把握することができ、距離の異なる複数の被写体が存在する場合でも、所望の被写体に合焦させることが容易である。さらに、ピーキング表示のように撮像映像がモノクロになったりしないため、合焦している部分がどのような映像であるのかを把握しながら合焦操作を行うことができる。また、水平方向と垂直方向といったように、映像の異なる方向におけるエッジ成分のレベルを波形表示することができるため、被写体が有するエッジの方向などに応じて表示を切り替えることで、合焦操作が一層容易になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態の撮像装置は、ビデオ制御部６１５の前処理部２０２の構成以外、第１の実施形態と同様であるため、重複する説明は省略し、相異点について重点的に説明する。

本実施形態が第１の実施形態と大きく異なる点は、撮影映像の部分領域からエッジ成分を抽出する点である。本実施形態におけるビデオ制御部６１５’の前処理部２０２’は、図３に示すように領域指定回路３１４を有している。
領域指定回路３１４は、撮影映像信号のうち、指定領域の映像信号のみをエッジ抽出回路２０３とメモリコントローラＡ ２０４に供給する。

本実施形態のハイビジョンデジタルビデオカメラが、第１表示部６２２及び／または第２表示部６２３に表示されている撮影映像に、映像信号のエッジ成分のレベルを波形として重畳表示した場合の表示画面の例を図４に模式的に示す。本実施形態においても、例えば撮影モードにおいて、入力操作部６１３を通じてマニュアルフォーカスが設定されている場合に、エッジ成分の波形表示画像を補助表示として撮像映像に重畳表示する。

図４（ａ），図４（ｂ）は、第１の実施形態で説明した図１（ａ），図１（ｂ）と同様、「水平表示」と「垂直表示」の例を示している。本実施形態では、エッジ成分の抽出領域、すなわち、エッジ成分の波形表示を、図中一点鎖線で示す矩形状の指定領域４０１に含まれる映像信号から抽出したエッジ成分について行う点で第１の実施形態と異なる。

指定領域４０１は、枠などを撮像映像に常時重畳表示して撮影者に把握させてもよいし、例えば指定領域の設定時や表示指示が入力操作部６１３からなされた際にのみ、画面内に位置を表す表示を行うように構成してもよい。また、指定領域４０１の大きさや位置は特に制限はないが、ここでは、初期設定として図４に示す位置及び大きさに設定されているものとする。撮影者に指定領域の設定を許す場合、一般的に画像中の矩形領域を指定する際に用いられるように、大きさ及び位置が可変な矩形枠の大きさや位置を方向キーなどによって調節し、決定ボタンなどの押下により設定する構成とすることができる。なお、指定領域を設定するためのＧＵＩや、設定されている指定領域を表す枠などの表示は、エッジ成分の波形表示画像と同様、映像合成回路２１０において撮像映像と合成して重畳表示することができる。これら表示に関するデータは、システム制御部６１１から映像合成回路２１０に供給することができる。

図４（ａ）の例では、図１（ａ）の例と同様に、有効表示面１０２における被写体１０３の辺１０５の水平位置と対応する位置に、辺１０５に対応するエッジ成分のレベルを示す指標４０２が表示されている。ここで、指標４０２の高さ（長さ）は第１の実施形態における指標１０７と等しいが、輝度レベルは低い。これは、本実施形態では、指定領域４０１に含まれる辺１０５の長さが第１の実施形態よりも短いため、振幅に対応したアドレスへのアクセス頻度（回数）が第１の実施形態よりも少なくなるためである。また、指定領域４０１が被写体１０３の辺１０６を含んでいないので、波形表示画像に、辺１０６に対応するエッジ成分の指標（図１（ａ）の１０８）は含まれない。また、被写体１０４についても、辺１０９のうち、指定領域４０１に含まれる範囲についてのみ指標４０３が表示される。図４（ａ）に対応する垂直表示を示す図４（ｂ）においても、指定領域４０１に含まれる範囲についてのみ指標４０４が表示される。

被写体もしくはカメラが移動し、被写体１０３、被写体１０４共に、指定領域４０１に含まれなくなると、図５（ａ）及び図５（ｂ）に示すように、水平表示及び垂直表示のいずれにおいても、波形表示画像に含まれる指標は存在しなくなる。

本実施形態によれば、エッジ成分を指定領域でのみ抽出するように構成した。そのため、第１の実施形態の効果に加え、撮影者は、マニュアルフォーカスで合焦させたい被写体が指定領域に含まれるようにフレーミングすることで、所望の被写体に対する補助表示を利用することが可能になり、合焦を容易に行うことができる。例えば、撮像映像内に様々な被写体が含まれる場合など、画面全体に基づいてエッジ成分の波形表示を行った場合に被写体と波形との対応がわかりにくいような場合に、特に有効である。また、部分領域を撮影者が指定可能とすれば、フレームを移動させることなく任意の被写体にマニュアルフォーカス操作による合焦を行うことを容易にすることができる。

（他の実施形態）
上述の実施形態では、撮像素子に被写体像を結像するレンズ（レンズ部６０１）を備える撮像装置についてのみ説明したが、本発明においてレンズは必須ではなく、例えばレンズ交換式デジタルカメラにおいても適用可能である。

また、上述の実施形態においては、エッジ成分の波形表示を、撮影映像と位置を対応させて（一致させて）合成していた。しかし、両者の位置関係が把握可能であれば、必ずしも位置を完全に一致させて合成しなくてもよい。例えば、例えば水平方向のエッジ成分の波形表示を撮影映像の横幅よりも短い範囲に縮小表示しても、撮影映像と波形表示との対応関係は把握可能であるため、同様の効果が期待できる。

さらに、上述の実施形態では、エッジ成分の波形表示を、マニュアルフォーカス時の補助表示として表示する場合についてのみ説明した。しかしオートフォーカス時においてもユーザの指示に応じて、あるいは常時、エッジ成分の波形表示を行ってもよい。これにより、オートフォーカス時の合焦状態や合焦位置の確認が一層容易になる。

Claims (14)

1. 撮像素子に被写体像を結像するレンズの焦点調節の機能を有する撮像装置であって、
   前記撮像素子で撮像された映像のエッジ成分を抽出する抽出手段と、
   前記抽出手段が抽出したエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成手段と、
   前記撮像素子で撮像された映像と前記波形画像とを、表示装置に逐次表示させるよう制御する表示手段と、を有し、
   前記抽出手段は、前記映像の前記所定方向の複数のラインでエッジ成分の抽出を行い、
   前記生成手段は、前記所定方向における各位置で前記抽出手段により抽出されるエッジ成分を、エッジ成分の大きさごとに計数し、当該計数に応じた前記波形画像を生成することを特徴とする撮像装置。
2. 前記波形画像は、前記所定方向における各位置と該位置で抽出されたエッジ成分の大きさとに対応する指標で構成され、
   前記生成手段は、前記計数が多い指標ほど強調して表示されるように前記波形画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記計数が多い指標ほど高い輝度で表示されるように前記波形画像を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記波形画像は、前記所定方向における各位置と該位置で抽出されたエッジ成分の大きさに対応する指標で構成され、
   前記生成手段は、第１の計数を有する指標よりも、前記第１の計数より多い第２の計数を有する指標の方が強調して表示されるように前記波形画像を生成することを特徴とする請求項１に記載の撮像装置。
5. 前記生成手段は、第１の計数を有する指標よりも、前記第２の計数を有する指標の方が高い輝度で表示されるように前記波形画像を生成することを特徴とする請求項４に記載の撮像装置。
6. 前記生成手段は、メモリのアクセス制御を行うメモリ制御手段を有し、
   前記メモリアクセス手段は、前記抽出手段から前記エッジ成分が入力されると、メモリの、当該エッジ成分の前記所定方向における位置とエッジ成分の大きさに対応するアドレスに記憶されたデータを読み出し、当該データに所定値を加算したものを同一アドレスに書き戻し、
   前記生成手段は、前記メモリのアドレスと、該アドレスに記憶されたデータに基づいて前記波形画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記所定値は、前記計数に応じて設定されることを特徴とする請求項６に記載の撮像装置。
8. 前記表示手段は、前記撮像素子で撮像された映像に、前記波形画像を前記所定方向における位置が対応するように重ねて合成し、表示装置に逐次表示させるよう制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記表示手段は、前記波形画像の背景を所定の色に変換して前記合成を行うことを特徴とする請求項８に記載の撮像装置。
10. 前記波形画像は、前記所定方向のエッジ成分の大きさに応じた位置を有する指標を、前記所定方向に並べた形式を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記抽出手段は、前記映像の前記所定方向の１ライン毎にエッジ成分の抽出を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記抽出手段は、前記映像のうち、指定された部分領域に対してエッジ成分の抽出を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記部分領域を撮影者が指定するための操作手段をさらに有することを特徴とする請求項１２記載の撮像装置。
14. 撮像素子に被写体像を結像するレンズの焦点調節の機能を有する撮像装置の制御方法であって、
    前記撮像装置の抽出手段が、前記撮像素子で撮像された映像のエッジ成分を抽出する抽出工程と、
    前記撮像装置の生成手段が、前記抽出工程で抽出されたエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成工程と、
    前記撮像装置の表示制御手段が、前記撮像素子で撮像された映像と前記波形画像とを、表示装置に逐次表示させるよう制御する表示制御工程と、を有し、
    前記抽出工程では、前記映像の前記所定方向の複数のラインでエッジ成分の抽出を行い、
    前記生成工程では、前記所定方向における各位置で前記抽出工程にて抽出されるエッジ成分を、エッジ成分の大きさごとに計数し、当該計数に応じた前記波形画像を生成することを特徴とする撮像装置の制御方法。

Images