JP5390913B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5390913B2
JP5390913B2 JP2009094368A JP2009094368A JP5390913B2 JP 5390913 B2 JP5390913 B2 JP 5390913B2 JP 2009094368 A JP2009094368 A JP 2009094368A JP 2009094368 A JP2009094368 A JP 2009094368A JP 5390913 B2 JP5390913 B2 JP 5390913B2
Authority
JP
Japan
Prior art keywords
image
display
waveform
edge component
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009094368A
Other languages
English (en)
Other versions
JP2010243923A (ja
JP2010243923A5 (ja
Inventor
裕也 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009094368A priority Critical patent/JP5390913B2/ja
Priority to US12/754,332 priority patent/US8421897B2/en
Publication of JP2010243923A publication Critical patent/JP2010243923A/ja
Publication of JP2010243923A5 publication Critical patent/JP2010243923A5/ja
Priority to US13/827,505 priority patent/US8619173B2/en
Application granted granted Critical
Publication of JP5390913B2 publication Critical patent/JP5390913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は撮像装置及びその制御方法に関し、特には撮像装置における合焦の程度の表示技術に関する。
自動焦点検出(Auto Focus:以下、AF)技術の進歩に伴い、スチルカメラやビデオカメラのような撮像装置での焦点検出は主にAFが用いられている。しかし、マクロ撮影のようにフォーカスを厳密に合わせる必要がある場合や、意図的にぼけた映像を撮影する場合、AFでは合焦しづらい条件下などにおいては、手動による焦点調節(Manual Focus:以下、MF)での撮影が行われることも多い。
特にMF操作を行う場合、操作性や合焦精度は光学ファインダや電子ビューファインダ(EVF)の解像度に大きく左右される。しかし、光学ファインダや表示装置の大型化や高解像度化は、撮像装置の大型化や高価格化につながる。そのため、全ての撮像装置において、容易かつ精度の高いMF操作を実現するに十分な光学ファインダや表示装置が搭載されているとは言えない状況にある。
そこで、撮影者が合焦度合い(合焦状態)をよりわかりやすく把握できるよう、様々な補助表示が実現されている。例えば、撮影映像のうち、合焦しているエッジ部分の強調表示(ピーキング)や、合焦状態確認のための部分拡大表示などがある。
また、特許文献1には、合焦度合いを示す「評価値」として、画像の輝度信号の高域成分の積分値を求め、その大きさの変化をバーグラフでEVF画像に合成表示する構成が開示されている。
また、特許文献2には、合焦度合いを示す「評価値」として、撮像信号の高周波成分の振幅のヒストグラムを生成し、EVF画像に合成表示することが開示されている。
特開平6−113184号公報 特許第4089675号公報
ピーキングは、EVF画像のうち、合焦しているエッジ部分を強調表示するものであるが、合焦しているエッジ部分の大きさや場所によっては強調表示を判別しづらい。また、ピーキングの際に、EVF画像のうち合焦エッジ部分のみ着色し、他を白黒表示することも行われているが、白黒表示に変わることで、EVFによる撮影被写体の視認性が低下するという問題がある。
また、特許文献1や特許文献2に開示された方法では、合焦度合いを示す「評価値」が、どの部分についての合焦度合いを示しているかの把握が困難である。また、評価値の大きさの変化をバーグラフの高さやヒストグラムの広がりかたの変化で表現しているため、評価値の最大点の把握が容易でなかった。
本発明は、このような従来技術の課題に鑑みてなされたものであり、合焦に関する操作性や視認性を向上させた撮像装置およびその制御方法を提供することを目的とする。
上述のような課題を解決するために、本発明に係る、撮像素子に被写体像を結像するレンズの焦点調節の機能を有する撮像装置の制御方法は、撮像装置の抽出手段が、撮像素子で撮像された映像のエッジ成分を抽出する抽出工程と、撮像装置の生成手段が、抽出工程で抽出されたエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成工程と、撮像装置の表示制御手段が、撮像素子で撮像された映像と波形画像とを、表示装置に逐次表示させるよう制御する表示制御工程とを有、前記抽出工程では、映像の所定方向の複数のラインでエッジ成分の抽出を行い、生成工程では、所定方向における各位置で抽出工程にて抽出されるエッジ成分を、エッジ成分の大きさごとに計数し、当計数に応じた波形画像を生成することを特徴とする。
このような構成により、本発明によれば、合焦に関する操作性や視認性を向上させることができる。
本発明の実施形態に係る撮像装置の一例としてのハイビジョンデジタルビデオカメラにおいて、撮像映像信号のエッジ成分のレベルを撮像映像とともに波形表示した画面を模式的に示す図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラにおけるビデオ制御部の、波形表示処理に関する構成例を示すブロック図である。 本発明の別の実施形態に係るハイビジョンデジタルビデオカメラにおけるビデオ制御部の、波形表示処理に関する構成例を示すブロック図である。 本発明の別の実施形態に係る撮像装置の一例としてのハイビジョンデジタルビデオカメラにおいて、撮像映像信号のエッジ成分のレベルを撮像映像とともに波形表示した画面を模式的に示す図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラの構成例を示すブロック図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラにおけるエッジ抽出回路の構成例を示す図である。 図7のエッジ抽出回路の周波数特性の例を示す図である。 本発明の実施形態に係るハイビジョンデジタルビデオカメラにおける、マニュアルフォーカス時の波形表示動作を説明するためのフローチャートである。
以下、図面を参照して本発明を好適かつ例示的な実施形態に基づいて詳細に説明する。
(第1の実施形態)
本発明の第1の実施形態に係る撮像装置の一例としての、マニュアルフォーカス機能を備えたハイビジョンデジタルビデオカメラについて説明する。ただし、本発明は、焦点調節を行うフォーカス機能を有するカメラと、表示装置を有する任意の装置に対して適用可能である。このような装置には、例えば、デジタルスチルカメラ、カメラ付き携帯情報端末、カメラ付き携帯電話などが含まれる。
図6に示すブロック図において、レンズ部601は、被写体像を撮像素子602の撮像面上に結像する光学系を構成し、ズーム機能、焦点調節機能及び、絞り調節機能を備える。撮像素子602は多数の光電変換素子が2次元的に配列された構成を有し、レンズ部601によって結像された被写体光学像を画素単位の映像信号に変換する。撮像素子602は例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサや、CCD(Charged Coupled Device)イメージセンサであってよい。撮像素子602はまた、光電変換素子による電荷蓄積時間を調整することによる電子シャッター機能を備える。
撮像素子駆動部603は、カメラ信号処理部606の制御するタイミングに従って撮像素子602を駆動制御する。CDS/AGC部604は、撮像素子602からのアナログ映像信号を相関二重サンプリング(CDS)してノイズを削減し、システム制御部611の制御に従って信号レベルのゲイン制御(AGC)を行う。A/D(Analog to Digital)変換器605は、CDS/AGC部604からのアナログ映像信号をデジタル映像信号に変換し、カメラ信号処理部606に供給する。
カメラ信号処理部606は、システム制御部611と連携して、タイミング信号の生成、自動露出(Auto Exposure:AE)制御、ガンマ調整、オートフォーカス(Auto Focus:AF)制御など、カメラ撮像系の制御を行う。例えば、オートフォーカス時に合焦度合いの判断基準となる「AF評価値」は、カメラ信号処理部606が算出する。
また、本実施形態では、焦点検出枠は画面中に3×3の格子状に配置された9点あるものとし、AF制御時に用いる焦点検出枠の数や位置は撮像された画像もしくはユーザ設定に基づいて選択されるものとする。
本実施形態のビデオカメラには、用途に応じた第1〜第4記憶部607,612,616,619を有している。ここでは便宜上、それぞれカメラ信号処理用、システム制御用、ビデオ制御用、CODEC用として個別に設けられているものとして記載しているが、物理的には同じ記憶装置で実現されてもよい。第1〜第4記憶部607,612,616,619は、典型的には読み書き可能な半導体メモリによって構成されるが、少なくとも1つが他の記憶装置で構成されてもよい。
第1記憶部607は、撮像した画像を信号処理する際のフレームメモリ等としてカメラ信号処理部606が使用する。レンズ駆動部608はシステム制御部611の制御に従い、レンズ部601の図示しないモータやアクチュエータなどを駆動し、ズーム倍率やフォーカス調整、露出調整を行う。レンズ駆動部608の制御は、システム制御部611がカメラ信号処理部606での信号処理結果に基づいて行う。例えば、AF制御時には、カメラ信号処理部606が求めたAF評価値に基づいてシステム制御部611がレンズ駆動部608を制御し、レンズ部601のフォーカス調整用レンズを駆動制御することで、レンズ部601を被写体に合焦させる。
手動でレンズ部601の焦点調節を行うマニュアルフォーカスモードが設定されている場合、システム制御部611は、撮影者による焦点調節操作を検出する。具体的には、システム制御部611は、入力操作部613に含まれる、焦点距離の調整用スイッチやレバー、またはレンズ部601の鏡筒外周に設けられたフォーカスリングの操作を検出する。そして、システム制御部611は、検出した操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部608を制御し、レンズ部601の焦点距離を変更させる。なお、ユーザが操作するスイッチやレバー等によって機械的にレンズ部601の焦点距離が変更可能である場合には、システム制御部611やレンズ駆動部608が介在する必要はない。
ストロボ609は、必要に応じて、あるいはユーザの設定に応じて、静止画撮影時に補助光源として用いられる。マイク610は、周囲の音を記録する際に有効とされ、マイク610からの音声信号はカメラ信号処理部606に供給される。例えば撮像素子602で撮像した映像と併せてマイク610からの音声を記録する場合、カメラ信号処理部606は両者の時間軸の整合をとってビデオ制御部615に供給する。
システム制御部611は例えばCPUであってよく、例えば第3記憶部612に記憶されたプログラムを実行することにより、後述するマニュアルフォーカス時の補助表示処理を含む、本実施形態のビデオカメラの動作全般を制御する。第3記憶部612は、例えばROMやRAMを含み、システム制御部611が実行するプログラムや各種設定、初期値などを記憶する。また、第3記憶部612は、システム制御部611のワークエリアとしても用いられる。
入力操作部613は、ユーザがビデオカメラに指示を与えるためのユーザインタフェースであり、キー、ボタン、タッチパネル等の入力デバイスを備える。本実施形態において、入力操作部613は、拡大表示ON/OFFボタン、ゼブラパターンやピーキング表示ON/OFFなど各種機能の選択ボタンや決定ボタン、静止画撮影用のシャッターボタン、MFリング、ズームスイッチ、絞り調整ダイヤルなどを含む。計時部614は、リアルタイムクロック(RTC)とバックアップ電池を備え、システム制御部611からの要求に応じて、日時情報を返信する。
ビデオ制御部615は、第1表示部622及び第2表示部623への、色相、彩度、明度の調整を含む表示制御、アナログライン入出力部624の入出力制御、デジタルデータI/F部625への出力制御および、記録/再生部620の制御等を行う。第1表示部622及び第2表示部623を含む各映像出力系に対する映像信号の解像度変換や、ゼブラパターンやピーキング信号の生成および重畳、撮影映像からのエッジ成分抽出や波形生成なども、ビデオ制御部615が行う。第2記憶部616はビデオ制御用の記憶部で、ビデオ制御部615がビデオベースバンド信号に関する信号処理を行う際のフレームメモリ、ワークメモリ等として使用する。
H.264コーデック部617は、動画像の符号化/復号化処理を行う動画像コーデックの一例である。符号化/復号化の形式はMPEG(Moving Picture Experts Group)−2方式を始め、他の形式であってよい。同様に、JPEG(Joint Photographic Experts Group)コーデック部618は、静止画像の符号化/復号化処理を行う静止画コーデックの一例である。やはり符号化/復号化の形式はJPEG2000やPNGなど、他の形式であってよい。なお、本実施形態では、H.264コーデック部617と回路を共用するためと、再生動画からの静止画撮影機能を実現するため、JPEGコーデック部618はビデオ制御部615に接続されている。しかし、JPEGコーデック部618はカメラ信号処理部606に直接接続されてもよい。第4記憶部619はコーデック用で、H.264コーデック部617およびJPEGコーデック部618が映像信号の符号化/復号化の際に用いる。
記録/再生部620は、ビデオ制御部615とH.264コーデック部617またはJPEGコーデック部618により、符号化処理され、記録フォーマットとして処理された記録データを記録媒体621に対して記録したり、読み出したりする。なお、記録媒体621はメモリカードに限定されず、DVDや更に高容量の光ディスク、HDDなどであっても、それぞれに応じた記録再生システムを、別途、構成可能である。
第1表示部622及び第2表示部623は表示装置であり、いずれも同様の情報を表示することができる。ただし、本実施形態において、第2表示部623は第1表示部622よりも小型であり、ファインダ内に設けられているものとする。一方、第1表示部622は、例えば筐体の側面などに開閉可能に設けられる比較的大型の表示装置である。
これら第1及び第2表示部622及び623には、撮像モードでは撮像素子602からの入力映像や拡大映像に加え、フォーカス枠表示などの補助表示が表示される。撮像素子602からの入力映像を順次表示することで、第1及び第2表示部622及び623は電子ビューファインダ(EVF)として機能する。補助表示には、ゼブラパターン表示を始め、ピーキング表示や撮影映像のエッジ成分の波形表示といったマニュアルフォーカスの補助表示も含まれる。
一方、再生モード時、第1及び第2表示部622及び623には、記録媒体621に記録されている動画像や静止画像が表示される。また、入力操作部613からのユーザによる入力操作情報や、記録媒体621のメモリカード内の任意の画像情報(撮影情報)などを表示することも可能である。
アナログライン入出力部624は、アナログコンポーネント映像の出力や、S端子入出力、コンポジット映像入出力などのインタフェース群である。アナログライン入出力部624を外部モニタ等に接続して、ハイビジョンデジタルビデオカメラからの映像出力を外部モニタに表示したり、外部映像機器に接続して、外部映像機器からの映像入力を受け付けたりすることができる。
デジタルデータI/F部625は、USB I/FやIEEE1394 I/F、HDMIなどのデジタルインタフェースを1つ以上を含むことができる。
(ビデオ制御部615)
ゼブラパターンやピーキング信号の生成および重畳、撮影映像からのエッジ成分抽出や波形生成を行うビデオ制御部615の、エッジ成分の波形表示に係る構成について、図2を用いてさらに説明する。
前処理部202は、エッジ抽出回路203、メモリコントローラA 204、波形制御部205を含んでいる。
エッジ抽出回路203は、撮影映像からエッジ信号を抽出する。本実施形態のエッジ抽出回路203では、FIR(Finite Impulse Response)型のバンドパフフィルタを用いてエッジ信号を抽出している。エッジ抽出回路203の詳細は後述する。
メモリコントローラA 204は、映像信号のフィールド毎に、バンクメモリ部206内の波形保存メモリBank1 207と波形保存メモリBank2 208とのバンク切り替え制御を行うとともに、メモリアクセスのための制御を行う。メモリコントローラA 204は、映像信号の現座標情報と、エッジ抽出回路203で抽出されたエッジ情報の振幅を、それぞれ直交座標系における情報として考え、メモリアクセスのためのアドレスを生成する。
例えば、後述する図1(a)に示す水平表示の時は、メモリのアドレス空間を、映像信号の水平座標を横軸に、エッジ情報の振幅(レベル)を縦軸とした2次元空間と見なしてアクセス制御を行う。ここでのアクセス処理は、初めに該当アドレスのデータを読み出し、後述する波形制御部205において処理されたデータを、再びメモリコントローラA 204を通じて、同一アドレスに書き戻す処理である。
波形制御部205は、メモリコントローラA 204が波形保存メモリBank1 207から読み出したデータに対して、エッジ抽出回路203で抽出したエッジ情報のデータに任意のゲインを乗じたものを加算して、再びメモリコントローラA 204に返す。波形制御部205がエッジ情報のデータに乗じるゲインをシステム制御部611から制御することで、頻度によるデータの増加割合を制御することができ、視認性を制御することが可能となる。
これらの処理および、後述する映像合成回路210での合成処理により、アクセス頻度が高いアドレスのデータ値、即ち同一レベルの頻度が大きい場合に表示輝度が大きく(明るく)なるように制御できる。なお、各アドレスの初期値は例えば最低輝度に対応する値であり、最初にアクセスされた際に所定値を書き込み、2度目のアクセスからは、上述した読み出し及び書き戻しを行うことができる。また、頻度制御を行う効果としては、エッジではない単発的なノイズ成分が、エッジであるかのように表示、認識されることなどを防止できる。
1フィールド(または1フレーム)での処理が終了した後、メモリコントローラB 211によって各アドレスのデータを読み出し、読み出したアドレスとデータに基づいて、波形表示画像が生成される。本実施形態において、図1(a)に示す水平表示の時は、メモリのアドレス空間を、映像信号の水平座標を横軸に、エッジ情報の振幅(レベル)を縦軸とした2次元空間と見なしてアクセス制御を行うので、撮影映像の映像内に対応したエッジ成分、即ち合焦状態を視覚的に把握することができる。
また、上述のアクセス制御により、アクセス頻度の高いアドレスには大きなデータが書き込まれる。つまり、抽出方向における同一座標(位置)で同一レベルのエッジ成分が抽出された回数が多いほど、当該同一レベルを表す指標の輝度が高く(明るく)表示されることになる。
また、エッジ成分の抽出方向(本実施形態では水平又は垂直方向)における同一座標で異なるレベルのエッジ成分が異なる頻度で抽出された場合、その位置に対応した指標の輝度は一定でなく、検出されたレベルに対応する位置で変化する。
図1(b)に示す垂直表示の場合は、メモリのアドレス空間を、映像信号の垂直座標を縦軸に、エッジ成分のレベルを横軸とした2次元空間と見なしてアクセス制御を行えばよい。
バンクメモリ部206は、波形保存メモリBank1 207と、波形保存メモリBank2 208を含んでいる。波形保存メモリBank1 207と波形保存メモリBank2 208とは、映像信号のフィールド(またはフレーム)毎に、メモリコントローラA 204とメモリコントローラB 211のいずれかからアクセスされるように切り替えられている。
ここでは、波形保存メモリBank1 207がメモリコントローラA 204からアクセスされている時には、別バンクの波形保存メモリBank2 208がメモリコントローラB 211からアクセスされるように制御しているものとする。そして、次の映像フィールド(またはフレーム)では、メモリコントローラと波形保存メモリとのアクセス関係が入れ替わる。
波形保存メモリBank2 208は、波形保存メモリBank1 207と等価で、バンク制御に使用される。
後処理部209は、映像合成回路210、メモリコントローラB 211を含んでいる。映像合成回路210は、映像信号と、メモリコントローラB 211によってバンクメモリ部206から読み出したエッジ情報に基づく波形表示画像とを合成し、第1表示部622及び/又は第2表示部623に表示する。後述する図1(a)では、映像信号を全画面表示し、画面下方にエッジ成分の波形表示画像を重畳表示した様子を表している。この図では特に示していないが、波形表示画像を見易くするために、波形表示画像の背景にバックグラウンドカラー(半透過の黒など)を表示するようにしても良い。その際には、映像信号にバックグラウンドカラーを重畳し、次いで、そのバックグラウンドカラーの上に波形表示画像を重畳するようにすると波形表示画像の視認性を向上することができる。
メモリコントローラB 211は、メモリコントローラA 204により波形保存メモリBank1 207又は波形保存メモリBank2 208に書き込まれたエッジ情報を読み出し、映像合成回路210に供給する。映像合成回路210は、エッジ情報から、エッジ成分のレベルと抽出された位置とを表す波形表示画像を生成し、撮像映像と位置合わせして合成して第1表示部622及び/又は第2表示部623に表示する。
システム制御部611は、ビデオ制御部615内の各種制御を行う。例えば、システム制御部611は、エッジ抽出回路203での抽出するエッジ成分の中心周波数やゲインコントロール、波形制御部205でのゲイン制御、映像合成回路210でのエッジ成分の波形表示画像の合成有無や映像信号に対する合成位置制御などを行う。
エッジ抽出回路203は、映像の所定方向(ここでは水平方向とする)の輝度成分に対し、周波数特性と通過ゲインを調整可能な構造のFIR(Finite Impulse Response)型バンドパスフィルタを適用し、エッジ成分を抽出する。なお、他の方法でエッジ成分を抽出してもよい。
図7に示すエッジ抽出回路203の例示構成において、入力映像信号701は、D−FF(Delay type Flip Flop)702に入力される。D−FF702は映像信号のピクセルクロックで入力映像信号701をラッチし、次段のD−FF703へ渡す。D−FF702の出力信号は、入力信号に対してピクセルクロック1クロック分遅延する。ここで、ピクセルクロックは、第1表示部622の表示クロックであり、液晶表示パネル等の仕様(表示解像度)に依存するが、ここでは13.5〜33.75MHz程度とする。
D−FF703〜709はそれぞれD−FF702と同様の構成を有し、前段からのデータを映像信号のピクセルクロックによりラッチして、1ピクセルクロック分遅延させて後段に出力する。ここでは、FIR型水平フィルタのY(−4)からY(4)の9タップのうち、抽出するエッジ成分の周波数に応じて3つのタップを組み合わせる。具体的には、センタータップY(0)は共通で、前後のタップの組み合わせを変えて、
Y(−1)、Y(0)、Y(1)
Y(−2)、Y(0)、Y(2)
Y(−3)、Y(0)、Y(3)
Y(−4)、Y(0)、Y(4)
という組み合わせを考える。
また、それぞれの組み合わせにおいて、選択されていないタップは、選択されているがタップ係数が零に設定されているものと考えることができる。このようにタップの組み合わせを制御することで、エッジとして抽出する周波数帯域を可変としている。
なお、本実施形態において、組み合わせる3つのタップのタップ係数及びDCゲインは以下のようにする。
センタータップのタップ係数:2α
前後のタップのタップ係数: −α
DCゲイン:2α−α−α=0
ゲイン調整信号710はシステム制御部611から供給され、エッジ抽出回路203のFIR型水平フィルタの強調周波数帯域のレベルを制御する。ここでは、ゲイン調整信号710は4ビットの信号で、強調するゲインレベルを16段階に切り替えられる構成とする。具体的には、α=15:ゲイン最大〜α=0:OFF(ゲイン最小)とする。
ここで、α=0の場合、便宜上図7には示していないが、映像信号をFIR型水平フィルタで処理しない(スルーする)ものとする。
周波数調整信号711はシステム制御部611から供給され、エッジ抽出回路203で抽出するエッジ成分の中心周波数を制御する。ここでは、周波数調整信号711は2ビットの信号とし、抽出するエッジ成分の中心周波数を4通りに切り替え可能とする。
信号セレクタ712は、周波数調整信号711により制御され、周波数調整信号711に応じた1つの入力を選択して出力することにより、エッジ抽出回路203が抽出する中心周波数を切り替える。具体的には、2ビットの周波数調整信号711と、エッジ抽出回路203から出力される中心周波数(強調中心周波数)との関係は以下の通りである。
サンプリング周波数:f(MHz)とすると、
周波数調整信号711:強調中心周波数(fc)
00:fc=f/2 MHz
(センタータップ及びセンタータップと隣り合う前後のタップ使用)
01:fc=f/4 MHz
(センタータップ及びセンタータップから前後に1つ飛ばしたタップ使用)
10:fc=f/6 MHz
(センタータップ及びセンタータップから前後に2つ飛ばしたタップ使用)
11:fc=f/8 MHz
(センタータップ及びセンタータップから前後に3つ飛ばしたタップ使用)
信号セレクタ712により選択された信号は、メモリコントローラA 204へ出力される。
また、図8に、f=13.5MHzとした時の、エッジ抽出回路203の周波数特性を模式的に示す。図8(a)〜(d)は、それぞれ周波数調整信号711が00,01,10,11である場合に対応し、中心周波数fc(MHz)はf/2,f/4,f/6,f/8となる。
撮像映像信号を1水平ライン毎にエッジ抽出回路203に入力し、水平方向におけるエッジ成分の抽出を行う。そして、メモリコントローラA 204及び波形制御部205は、抽出されたエッジ成分のレベル(振幅)に応じた上述のメモリアクセス制御を行う。この動作を1ライン毎に繰り返すことで、1フィールド又は1フレーム分の映像信号について、水平方向における各ラインのエッジ成分のレベルを反映した値が波形保存メモリBank1 207又は波形保存メモリBank2 208に書き込まれる。例えば、映像中に垂直方向の縦線が存在する場合、線が長いほど同じ水平位置に同じ振幅のエッジ成分が抽出される頻度が高くなる。同一レベルのエッジ成分が同一位置で複数回抽出された場合、抽出回数が多いほど波形保存メモリの同一アドレスにアクセスされる頻度が高くなり、上述のアクセス制御によってそのアドレスのデータ値は大きくなる。その結果、対応する指標は高輝度で表示されることになる。レベルの大きさを示す指標の長さは、頻度には依存しない。なお、検出される垂直表示を行う場合には、垂直ライン毎に同様の動作を行う。
本実施形態のハイビジョンデジタルビデオカメラが、第1表示部622及び/または第2表示部623に表示されている撮影映像に、映像信号のエッジ成分を波形として重畳表示した場合の表示画面の例を図1に模式的に示す。本実施形態においては、例えば撮影モードにおいて、入力操作部613を通じてマニュアルフォーカスが設定されている場合に、補助表示として、エッジ成分の波形表示画像を撮像映像に重畳表示する。撮影モードにおいて、第1表示部622及び/または第2表示部623にはスルー画像が逐次表示され、電子ビューファインダとして機能している。上述のように、システム制御部611は、入力操作部613に含まれるスイッチやレバー等による焦点距離の調整操作に応じた焦点の移動方向と移動量に基づいて、レンズ駆動部608を制御し、レンズ部601の焦点距離を変更させる。
図1(a)の「水平表示」は、表示画面がアスペクト比16:9の横長であるとした場合に、撮像映像の水平方向のエッジ成分の信号レベルを示す波形を、画面下端部に表示する。例えば撮影者がマニュアルフォーカス操作を行う場合、フォーカスが合ってくると、被写体のエッジ部分が合焦してくるので、その位置で抽出されるエッジ成分のレベルが大きくなる。そのため、画面下端部に波形表示したエッジ成分のレベルも大きく(指標が高く)表示されるようになる。電子ビューファインダを見ながら、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。水平表示では、撮像映像と水平位置を合わせてエッジ成分の波形表示画像を重畳表示するので、映像中に含まれる個々の被写体について、波形表示と撮影映像を垂直方向に見ながら合焦度合いを確認することができる。
また、ここでは、撮影映像の垂直方向に見た時に、同一のエッジ成分レベルが多いほど、波形表示の表示強度(ここでは輝度のインテンシティとする)が強くなるように表示制御される。
また、図1(b)の「垂直表示」は、表示画面がアスペクト比16:9の横長であるとした場合に、撮像映像の垂直方向のエッジ成分のレベルを示す波形表示画像を、画面右端部に表示する。水平表示と同様、撮影者は、波形表示画像のうち、所望の被写体に対応した指標が最も高く表示される状態となるようにマニュアルフォーカス操作を行うことで、所望の被写体に合焦させることができる。垂直表示では、撮像映像と垂直位置を合わせてエッジ成分の波形表示画像を重畳表示するので、映像中に含まれる個々の被写体について、波形表示と撮影映像を水平方向に見ながら合焦度合いを確認することができる。
有効表示面102には、撮影映像や各種撮影情報、マニュアルフォーカスの補助表示であるエッジ成分の波形表示画像などを表示する。
図1(a)に示す水平表示において、直方体形状の被写体103のうち、有効表示面102の垂直方向と平行な辺105及び、斜めに見える辺106が、水平方向におけるエッジとして抽出される。厳密には、撮影被写体のエッジの傾きによって、必ずしもエッジ成分の強度が変わるわけではないが、ここでは説明の簡略化のため、辺105は、辺106や辺109に比べエッジ成分のレベルが高い事とする。よって、対応する波形表示画像の指標107も高く(長く)表示される。また、辺106については、水平方向におけるエッジ成分のレベルが辺105ほど高くないものとし、対応する波形表示画像の指標108も低く表示される。また、左右の指標108は、平行した辺106に関するものであるため、抽出されるエッジ成分のレベルは等しく、指標108の高さは等しい。しかし、右側の指標は、被写体103の底面と天面における2つの辺106で抽出されたエッジ成分を反映するため、抽出頻度が高く、左側の指標よりも高輝度となる。
また、底辺が有効表示面102と平行で、被写体103と等距離にある三角形状の被写体104のうち、辺109が水平方向におけるエッジとして抽出される。そして、辺109に対応する水平位置に、指標110が表示される。
また、図1(a)の撮像状態で、垂直表示を行った場合、波形表示画像は図1(b)のようになる。垂直表示では、水平表示の時と同様に、説明の簡略化のため、被写体103及び104のうち、水平方向の辺111及び115のエッジ成分が高いレベルを有する事する。よって、対応する指標113及び116が高く(長く)表示される。また、斜めの辺112及び109については、指標114及び117が表示される。
図1(b)においても、波形表示画像のうち、左右の指標114は、左側の方が高輝度で表示される(反映される辺112の数が多いため)。また、指標114のうち、指標117と重なる部分は、輝度が高く表示される。
水平表示と垂直表示は、例えば入力操作部613に含まれる切り替えキーが押下される毎に切り替えて表示するように構成することができる。また、水平表示と垂直表示の両方を行ってもよい。さらに、エッジ成分の波形表示画像は、撮像映像上に重畳表示する必要はなく、撮像映像が全画面表示でなければ、撮像映像の周囲に表示してもよい。この場合も、波形表示画像の位置と、撮像映像の位置とを対応させることは言うまでもない。
上述したマニュアルフォーカス時の波形表示動作を、図9のフローチャートを用いて説明する。このフローチャートに示した処理は、撮影モードにおいて、入力操作部613を通じてマニュアルフォーカスモードが設定されている際に実行される。この状態で第1表示部622及び/又は第2表示部623には所謂スルー画像(EVF画像とも呼ばれる)が逐次表示され、表示部はEVFとして機能しているものとする。
システム制御部611は、ビデオ制御部615に対してマニュアルフォーカスの補助表示処理を開始するように指示する。これにより、エッジ抽出回路203はエッジ成分の抽出を開始する(S101)。また、メモリコントローラA 204及び波形制御部205は、バンクメモリ部206内の波形保存メモリ(ここでは波形保存メモリBank2 208とする)の、エッジ抽出回路203の抽出結果に応じたアドレスへアクセスし、波形生成を行う(S103)。
前処理部202では、映像信号の1フィールド(又は1フレーム)分について、エッジ成分の抽出及び波形生成処理を順次行う(S101〜S105)。そして、1フィールド(又は1フレーム)分の波形生成処理が終了すると、メモリコントローラB 211が、波形保存メモリBank2 208からデータを読み出し、波形表示画像を生成する。なお、メモリコントローラB 211は読み出したデータを映像合成回路210へ供給し、波形表示画像は映像合成回路210が生成してもよい。そして、映像合成回路210は、波形表示画像をEVF画像に重畳して、第1表示部622及び/又は第2表示部623に表示する(S107)。一方、メモリコントローラA 204は、次のフィールド(又はフレーム)に対して用いる波形保存メモリのバンク切り替え処理を行う(S109)。実際には、S105の後、メモリコントローラB 211によるデータの読み出し、波形表示画像の生成及び表示という一連の処理と、メモリコントローラA 204によるバンク切り替え及び次フィールド(又はフレーム)のエッジ抽出処理とは並行して行われる。このように、EVF画像と併せてその時点における合焦状態を表すエッジ成分の波形表示画像を表示することで、ユーザはEVFを見ながらマニュアルフォーカスによる合焦を容易に行うことができる。
以上説明したように、本実施形態によれば、マニュアルフォーカスによる合焦操作を支援するための補助表示として、撮像映像の表示画面において、撮像映像信号から抽出したエッジ成分のレベルを、撮像映像中の被写体位置と対応させて波形表示する。そのため、波形表示されるレベルが最も高くなるように焦点調整を行うことで、マニュアルフォーカスでの合焦を容易に行うことができる。この際、エッジ成分のレベルが被写体位置と対応した位置に表示されるため、撮像映像中のどの位置で抽出されたエッジ成分であるのかを把握することができ、距離の異なる複数の被写体が存在する場合でも、所望の被写体に合焦させることが容易である。さらに、ピーキング表示のように撮像映像がモノクロになったりしないため、合焦している部分がどのような映像であるのかを把握しながら合焦操作を行うことができる。また、水平方向と垂直方向といったように、映像の異なる方向におけるエッジ成分のレベルを波形表示することができるため、被写体が有するエッジの方向などに応じて表示を切り替えることで、合焦操作が一層容易になる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態の撮像装置は、ビデオ制御部615の前処理部202の構成以外、第1の実施形態と同様であるため、重複する説明は省略し、相異点について重点的に説明する。
本実施形態が第1の実施形態と大きく異なる点は、撮影映像の部分領域からエッジ成分を抽出する点である。本実施形態におけるビデオ制御部615’の前処理部202’は、図3に示すように領域指定回路314を有している。
領域指定回路314は、撮影映像信号のうち、指定領域の映像信号のみをエッジ抽出回路203とメモリコントローラA 204に供給する。
本実施形態のハイビジョンデジタルビデオカメラが、第1表示部622及び/または第2表示部623に表示されている撮影映像に、映像信号のエッジ成分のレベルを波形として重畳表示した場合の表示画面の例を図4に模式的に示す。本実施形態においても、例えば撮影モードにおいて、入力操作部613を通じてマニュアルフォーカスが設定されている場合に、エッジ成分の波形表示画像を補助表示として撮像映像に重畳表示する。
図4(a),図4(b)は、第1の実施形態で説明した図1(a),図1(b)と同様、「水平表示」と「垂直表示」の例を示している。本実施形態では、エッジ成分の抽出領域、すなわち、エッジ成分の波形表示を、図中一点鎖線で示す矩形状の指定領域401に含まれる映像信号から抽出したエッジ成分について行う点で第1の実施形態と異なる。
指定領域401は、枠などを撮像映像に常時重畳表示して撮影者に把握させてもよいし、例えば指定領域の設定時や表示指示が入力操作部613からなされた際にのみ、画面内に位置を表す表示を行うように構成してもよい。また、指定領域401の大きさや位置は特に制限はないが、ここでは、初期設定として図4に示す位置及び大きさに設定されているものとする。撮影者に指定領域の設定を許す場合、一般的に画像中の矩形領域を指定する際に用いられるように、大きさ及び位置が可変な矩形枠の大きさや位置を方向キーなどによって調節し、決定ボタンなどの押下により設定する構成とすることができる。なお、指定領域を設定するためのGUIや、設定されている指定領域を表す枠などの表示は、エッジ成分の波形表示画像と同様、映像合成回路210において撮像映像と合成して重畳表示することができる。これら表示に関するデータは、システム制御部611から映像合成回路210に供給することができる。
図4(a)の例では、図1(a)の例と同様に、有効表示面102における被写体103の辺105の水平位置と対応する位置に、辺105に対応するエッジ成分のレベルを示す指標402が表示されている。ここで、指標402の高さ(長さ)は第1の実施形態における指標107と等しいが、輝度レベルは低い。これは、本実施形態では、指定領域401に含まれる辺105の長さが第1の実施形態よりも短いため、振幅に対応したアドレスへのアクセス頻度(回数)が第1の実施形態よりも少なくなるためである。また、指定領域401が被写体103の辺106を含んでいないので、波形表示画像に、辺106に対応するエッジ成分の指標(図1(a)の108)は含まれない。また、被写体104についても、辺109のうち、指定領域401に含まれる範囲についてのみ指標403が表示される。図4(a)に対応する垂直表示を示す図4(b)においても、指定領域401に含まれる範囲についてのみ指標404が表示される。
被写体もしくはカメラが移動し、被写体103、被写体104共に、指定領域401に含まれなくなると、図5(a)及び図5(b)に示すように、水平表示及び垂直表示のいずれにおいても、波形表示画像に含まれる指標は存在しなくなる。
本実施形態によれば、エッジ成分を指定領域でのみ抽出するように構成した。そのため、第1の実施形態の効果に加え、撮影者は、マニュアルフォーカスで合焦させたい被写体が指定領域に含まれるようにフレーミングすることで、所望の被写体に対する補助表示を利用することが可能になり、合焦を容易に行うことができる。例えば、撮像映像内に様々な被写体が含まれる場合など、画面全体に基づいてエッジ成分の波形表示を行った場合に被写体と波形との対応がわかりにくいような場合に、特に有効である。また、部分領域を撮影者が指定可能とすれば、フレームを移動させることなく任意の被写体にマニュアルフォーカス操作による合焦を行うことを容易にすることができる。
(他の実施形態)
上述の実施形態では、撮像素子に被写体像を結像するレンズ(レンズ部601)を備える撮像装置についてのみ説明したが、本発明においてレンズは必須ではなく、例えばレンズ交換式デジタルカメラにおいても適用可能である。
また、上述の実施形態においては、エッジ成分の波形表示を、撮影映像と位置を対応させて(一致させて)合成していた。しかし、両者の位置関係が把握可能であれば、必ずしも位置を完全に一致させて合成しなくてもよい。例えば、例えば水平方向のエッジ成分の波形表示を撮影映像の横幅よりも短い範囲に縮小表示しても、撮影映像と波形表示との対応関係は把握可能であるため、同様の効果が期待できる。
さらに、上述の実施形態では、エッジ成分の波形表示を、マニュアルフォーカス時の補助表示として表示する場合についてのみ説明した。しかしオートフォーカス時においてもユーザの指示に応じて、あるいは常時、エッジ成分の波形表示を行ってもよい。これにより、オートフォーカス時の合焦状態や合焦位置の確認が一層容易になる。

Claims (14)

  1. 撮像素子に被写体像を結像するレンズの焦点調節の機能を有する撮像装置であって、
    前記撮像素子で撮像された映像のエッジ成分を抽出する抽出手段と、
    前記抽出手段が抽出したエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成手段と、
    前記撮像素子で撮像された映像と前記波形画像とを、表示装置に逐次表示させるよう制御する表示手段とを有し、
    前記抽出手段は、前記映像の前記所定方向の複数のラインでエッジ成分の抽出を行い、
    前記生成手段は、前記所定方向における各位置で前記抽出手段により抽出されるエッジ成分を、エッジ成分の大きさごとに計数し、当該計数に応じた前記波形画像を生成することを特徴とする撮像装置。
  2. 前記波形画像は、前記所定方向における各位置と該位置で抽出されたエッジ成分の大きさとに対応する指標で構成され、
    前記生成手段は、前記計数が多い指標ほど強調して表示されるように前記波形画像を生成することを特徴とする請求項1に記載の撮像装置。
  3. 前記生成手段は、前記計数が多い指標ほど高い輝度で表示されるように前記波形画像を生成することを特徴とする請求項2に記載の撮像装置。
  4. 前記波形画像は、前記所定方向における各位置と該位置で抽出されたエッジ成分の大きさに対応する指標で構成され、
    前記生成手段は、第1の計数を有する指標よりも、前記第1の計数より多い第2の計数を有する指標の方が強調して表示されるように前記波形画像を生成することを特徴とする請求項1に記載の撮像装置。
  5. 前記生成手段は、第1の計数を有する指標よりも、前記第2の計数を有する指標の方が高い輝度で表示されるように前記波形画像を生成することを特徴とする請求項4に記載の撮像装置。
  6. 前記生成手段は、メモリのアクセス制御を行うメモリ制御手段を有し、
    前記メモリアクセス手段は、前記抽出手段から前記エッジ成分が入力されると、メモリの、当該エッジ成分の前記所定方向における位置とエッジ成分の大きさに対応するアドレスに記憶されたデータを読み出し、当該データに所定値を加算したものを同一アドレスに書き戻し、
    前記生成手段は、前記メモリのアドレスと、該アドレスに記憶されたデータに基づいて前記波形画像を生成することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記所定値は、前記計数に応じて設定されることを特徴とする請求項6に記載の撮像装置。
  8. 前記表示手段、前記撮像素子で撮像された映像に、前記波形画像を前記所定方向における位置が対応するように重ねて合成し、表示装置に逐次表示させるよう制御することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記表示手段は、前記波形画像の背景を所定の色に変換して前記合成を行うことを特徴とする請求項8に記載の撮像装置。
  10. 前記波形画、前記所定方向のエッジ成分の大きさに応じた位置を有する指標を、前記所定方向に並べた形式を有することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記抽出手段、前記映像の前記所定方向1ライン毎にエッジ成分の抽出を行ことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 前記抽出手段、前記映像のうち、指定された部分領域に対してエッジ成分の抽出を行うことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 前記部分領域を撮影者が指定するための操作手段をさらに有することを特徴とする請求項12記載の撮像装置。
  14. 撮像素子に被写体像を結像するレンズの焦点調節の機能を有する撮像装置の制御方法であって、
    前記撮像装置の抽出手段が、前記撮像素子で撮像された映像のエッジ成分を抽出する抽出工程と、
    前記撮像装置の生成手段が、前記抽出工程で抽出されたエッジ成分の所定方向における位置と大きさとの関係を表す波形画像を生成する生成工程と、
    前記撮像装置の表示制御手段が、前記撮像素子で撮像された映像と前記波形画像とを、表示装置に逐次表示させるよう制御する表示制御工程とを有
    記抽出工程では、前記映像の前記所定方向の複数のラインでエッジ成分の抽出を行い、
    前記生成工程では、前記所定方向における各位置で前記抽出工程にて抽出されるエッジ成分を、エッジ成分の大きさごとに計数し、当該計数に応じた前記波形画像を生成することを特徴とする撮像装置の制御方法。
JP2009094368A 2009-04-08 2009-04-08 撮像装置及びその制御方法 Active JP5390913B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009094368A JP5390913B2 (ja) 2009-04-08 2009-04-08 撮像装置及びその制御方法
US12/754,332 US8421897B2 (en) 2009-04-08 2010-04-05 Image capturing apparatus and control method therefor
US13/827,505 US8619173B2 (en) 2009-04-08 2013-03-14 Image capturing apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009094368A JP5390913B2 (ja) 2009-04-08 2009-04-08 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2010243923A JP2010243923A (ja) 2010-10-28
JP2010243923A5 JP2010243923A5 (ja) 2012-05-31
JP5390913B2 true JP5390913B2 (ja) 2014-01-15

Family

ID=43096977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009094368A Active JP5390913B2 (ja) 2009-04-08 2009-04-08 撮像装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP5390913B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6247513B2 (ja) * 2013-12-05 2017-12-13 キヤノン株式会社 撮像装置、制御方法およびプログラム
US9354488B2 (en) * 2014-05-23 2016-05-31 Howard Preston Methods, apparatuses, systems and software for focusing a camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642262B2 (ja) * 2000-05-19 2005-04-27 松下電器産業株式会社 撮像装置
JP2002196225A (ja) * 2000-12-26 2002-07-12 Nikon Corp ピント状態表示装置、および顕微鏡装置
JP2005345962A (ja) * 2004-06-07 2005-12-15 Sony Corp 固体撮像装置、フォーカス制御方法
US7544919B2 (en) * 2006-11-20 2009-06-09 Red.Com, Inc. Focus assist system and method
JP4535114B2 (ja) * 2007-10-26 2010-09-01 ソニー株式会社 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム

Also Published As

Publication number Publication date
JP2010243923A (ja) 2010-10-28

Similar Documents

Publication Publication Date Title
US8619173B2 (en) Image capturing apparatus and control method therefor
US8614752B2 (en) Electronic still camera with peaking function
JP4654887B2 (ja) 撮像装置
JP2012160863A (ja) 撮像装置、画像再生装置及び画像処理装置
JP2010054730A (ja) 合焦位置検出装置、撮像装置及び合焦位置検出方法
JP2012098594A (ja) 撮像装置および撮像方法
JP4792929B2 (ja) デジタルカメラ
KR20090063611A (ko) 디지털 촬영장치 및 이의 제어방법
US9277120B2 (en) Image capturing apparatus provided with a peaking function, control method therefor, and storage medium
US9979943B2 (en) Image processing apparatus for applying emphasis effect processing to a specific component of an image signal, image processing method and image capture apparatus
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP5390913B2 (ja) 撮像装置及びその制御方法
JP2001028699A (ja) 電子カメラ
JP5340042B2 (ja) 撮像装置及びその制御方法
JP5832078B2 (ja) 撮像装置及びその制御方法
JP4585921B2 (ja) 画像処理装置及び方法
JP5432699B2 (ja) 撮像装置及びその制御方法並びにプログラム
US11108944B2 (en) Image processing apparatus for providing information for confirming depth range of image, control method of the same, and storage medium
KR101960508B1 (ko) 디스플레이 장치 및 방법
JP5417920B2 (ja) 画像処理装置、画像処理方法、電子カメラおよび画像処理プログラム
JP6592293B2 (ja) 画像処理装置、画像処理方法、および撮像装置
KR101923185B1 (ko) 디스플레이 장치 및 방법
JP5614277B2 (ja) ウェーブフォームを記録可能なカメラ
JP6104022B2 (ja) 撮像装置、その制御方法及びプログラム
JP2012134767A (ja) ウェーブフォーム表示機能を備えたカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131011

R151 Written notification of patent or utility model registration

Ref document number: 5390913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151