JP4535114B2 - 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム - Google Patents

Description

本発明は、撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラムに関し、特に、ユーザによる合焦操作の補助となる情報を表示させることができる、撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラムに関する。

主に業務用のビデオカメラ装置において、マニュアルフォーカス制御時に撮影者がフォーカシングし易くするために、ビデオカメラ装置に設置されたビューファインダ上に、さまざまな補助情報が表示されるようになされてきた。

例えば、従来、撮影画像の輪郭に相当する空間的な高周波成分を撮像画像から抽出し、輪郭成分を増大させた上で撮影画像と混合してビューファインダに表示することにより、合焦時に輪郭部を強調するピーキング回路が用いられている（例えば、特許文献１参照）。

また、撮影画像の中央部の特定の領域に対して、高域フィルタを施した結果を積分し、その結果として得られる１次元のパラメータをビューファインダ上に表示することにより、合焦具合を表すことができる技術がある（例えば、特許文献２または特許文献３参照）。

特開２０００−３５０２２４号公報 特開平３−１１８８４号公報 特開平３−１７９９７６号公報

上述した特許文献１に記載の従来のピーキング回路を用いた場合に表示される画像は、画像中の被写体の輪郭が強調されたものであるため、実際にフォーカスを合わせるべき被写体を特定してフォーカスを合わせ易いという特徴があった。しかしながら、広角レンズなどを使用した場合には、被写界深度が深くなるうえに画面上の被写体像が小さくなってしまうために、上述した特許文献１に記載の技術では、最適なフォーカス位置を得るのが難しくなる。また、上述した特許文献１に記載の技術では、被写体像の輪郭部を強調して表示しているだけであるため、ユーザは、この表示から、現状のフォーカス距離が最適値であるか否かを判断することは出来なかった。

一方、特許文献２、または特許文献３に記載の補助情報の表示方法では、画像中の高周波成分の大きさを表すパラメータを、例えば、バー状のインジケータとしてビューファインダ上にオーバーレイするため、レンズのフォーカス位置を動かした場合に、合焦具合がどの程度増減するかを把握しやすいという特徴がある。しかしながら、特許文献２、または特許文献３に記載の技術では、画面の特定領域の高周波成分を全て積分した結果としてパラメータを設定しているため、領域内のどの被写体に合焦しているかどうかをユーザが正確に把握したり、または、ユーザがピントを合わせようとしている所望の被写体が撮像されている領域に対して、高域フィルタを施し、パラメータを算出することは難しかった。

本発明はこのような状況に鑑みてなされたものであり、ユーザが、撮像画像中において合焦している被写体を容易に把握したり、所定の被写体に対する合焦具合のピークを容易に把握することができるようにするものである。

本発明の第１の側面の撮像装置は、画像を撮像する画像取得手段と、前記画像取得手段により取得された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記画像取得手段により撮像された前記画像と前記インジケータとを合成し、表示部への出力と表示を制御する合成手段と、前記算出手段により算出された前記パラメータの値を記憶する記憶手段と、前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とを比較し、大きい前記パラメータの値を前記合成手段に出力するとともに、前記記憶手段により記憶された前記パラメータの値より大きな前記算出手段により算出された前記パラメータの値がある場合、対応する前記パラメータの値を、前記算出手段により算出された前記パラメータの値に更新する比較手段とを備え、前記合成手段は、更に、前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、前記記憶手段により記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる。

前記合成手段には、前記インジケータを折れ線グラフとして生成させるようにすることができる。

前記合成手段には、前記インジケータを棒グラフとして生成させるようにすることができる。

本発明の第１の側面の撮像方法は、画像を撮像し、撮像された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、撮像された前記画像と前記インジケータとを合成し、表示部への出力と表示を制御し、算出された前記パラメータの値を記憶し、記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされるステップを含む。

本発明の第１の側面においては、画像が撮像され、撮像された画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分が抽出され、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータが算出され、パラメータに基づいて、パラメータの大きさを示すインジケータが生成され、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、撮像された画像とインジケータとが合成されて、表示部への出力と表示が制御される。そして、算出された前記パラメータの値が記憶され、記憶された前記パラメータの値と、算出された前記パラメータの値とが比較され、大きい前記パラメータの値が出力されるとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値が、算出された前記パラメータの値に更新され、更に、記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインが生成され、前記インジケータとともに前記ラインが前記画像と合成され、表示部への出力と表示が制御され、記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる。

本発明の第２の側面の表示制御装置は、撮像された画像を取得し、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成し、表示部への出力と表示を制御する合成手段と、前記算出手段により算出された前記パラメータの値を記憶する記憶手段と、前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とを比較し、大きい前記パラメータの値を前記合成手段に出力するとともに、前記記憶手段により記憶された前記パラメータの値より大きな前記算出手段により算出された前記パラメータの値がある場合、対応する前記パラメータの値を、前記算出手段により算出された前記パラメータの値に更新する比較手段とを備え、前記合成手段の出力が表示部に供給され、前記合成手段は、更に、前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、前記記憶手段により記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる。

本発明の第２の側面の表示制御方法は、撮像された画像を取得して、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成し、算出された前記パラメータの値を記憶し、記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、表示部への出力と表示を制御し、記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされるステップを含む。

本発明の第２の側面のプログラムは、コンピュータに、撮像された画像を取得して、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成し、算出された前記パラメータの値を記憶し、記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、表示部への出力と表示を制御し、記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされるステップを含む。

本発明の第２の側面においては、撮像された画像が取得され、画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分が抽出され、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータが算出され、パラメータに基づいて、パラメータの大きさを示すインジケータが生成され、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された画像とインジケータとが合成されて、表示部への出力と表示が制御される。そして、算出された前記パラメータの値が記憶され、記憶された前記パラメータの値と、算出された前記パラメータの値とが比較され、大きい前記パラメータの値が出力されるとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値が、算出された前記パラメータの値に更新され、更に、記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインが生成され、前記インジケータとともに前記ラインが前記画像と合成され、表示部への出力と表示が制御され、記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

撮像装置は、独立した装置であっても良いし、情報処理装置や記録再生装置の撮像処理を行うブロックであっても良い。

本発明の第１の側面によれば、画像を撮像することができ、特に、ユーザが焦点を合致させるための補助となるインジケータを撮像画像に合成して表示させることができる。

また、本発明の第２の側面によれば、撮像装置による撮像画像を表示することができ、特に、ユーザが焦点を合致させるための補助となるインジケータを撮像画像に合成して表示させることができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、撮像装置１１の構成例を示すブロック図である。撮像装置１１は、撮像光学系２１、撮像素子２２、カメラ信号処理部２３、コーディック部２４、記録部２５、フォーカスアシスト処理部２６、およびビューファインダ部２７で構成される。

撮像光学系２１は、レンズ、メカニカルシャッタなどで構成される。

撮像素子２２は、撮像光学系２１を介して入射される光を受光する。撮像素子２２は、図示しないＡＤ変換器を介してデジタル変換された撮像データを出力する。ここで、ＡＤ変換器は、特に撮像素子２２がＣＭＯＳ型固体撮像素子である場合などにおいては、撮像素子２２内に実装されていてもよいし、特に撮像素子２２がＣＭＯＳ型固体撮像素子以外の固体撮像素子であるときなどにおいては、撮像素子２２の外部に配置されているものであってもよい。また、図１においては、撮像装置１１の撮像素子２２は、受光面に、画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子であるものとして図示されているが、撮像装置１１の撮像システムは、プリズム光学系などを介して波長分離された光を３つの異なる撮像素子により受光する３板式の構成であってもよいことは言うまでもない。

撮像素子２２から出力される撮像データは、所謂ＲＡＷデータである。撮像素子２２から出力される所謂ＲＡＷデータは、カメラ信号処理部２３に供給される。

カメラ信号処理部２３は、入力されたＲＡＷデータに対して、ホワイトバランス補正処理、ゲイン調整、デモザイク処理、リニアマトリクス処理、およびガンマ補正処理などの処理を施し、処理後のビデオデータをコーディック部２４およびフォーカスアシスト処理部２６に出力する。

コーディック部２４は、カメラ信号処理部２３から出力されるビデオデータを取得し、ＭＰＥＧ２、Ｈ．２６４、または、ＪＰＥＧ２０００などのビデオ信号符号化処理によりデータを圧縮し、符号化ストリームを生成して、記録部２５に出力する。

記録部２５は、例えば、光ディスク、ハードディスク、または、半導体メモリなどの記録媒体により構成され、コーディック部２４から供給される符号化ストリームを記録するか、または、リムーバブルな記録媒体（光ディスク、光磁気ディスク、または、半導体メモリなど）を装着可能なドライブにより構成され、装着されたリムーバブルな記録媒体に、コーディック部２４から供給される符号化ストリームを記録する。

また、カメラ信号処理部２３から出力されるビデオデータは、撮影者の確認用としてビューファインダ部２７に表示されるため、フォーカスアシスト処理部２６にも供給される。フォーカスアシスト処理部２６は、入力されるビデオデータに対し、撮影者が合焦具合を把握しやすくするための補助情報であるフォーカスインジケータの合成を行うとともに、フォーカスインジケータが合成されたビデオ信号をビューファインダ部２７に供給し、その表示を制御する。フォーカスアシスト処理部２６の詳細については、図２、および図１０を参照して後述する。

ビューファインダ部２７は、フォーカス合わせをするための補助情報でありフォーカスインジケータが付加されたビデオデータを表示し、撮影者に、撮影画像とともに、フォーカス合わせをするための補助情報を呈示する。

なお、図１においては、コーディック部２４および記録部２５を撮像装置１１の構成要素として示しているが、撮像装置１１は、これらの処理部を持たず、カメラ信号処理部２３から出力されるビデオデータをそのまま外部の装置やネットワークなどに出力する構成であっても構わない。また、図１においては、コーディック部２４に供給するビデオデータとフォーカスアシスト処理部２６に供給されるビデオデータを同一のものとしているが、フォーカスアシスト処理部２６へは、ビューファインダの解像度に合わせて解像度変換したビデオデータを供給する形態としてもよい。

また、図１においては、ビューファインダ部２７を撮像装置１１の構成要素として示しているが、撮像装置１１は、ビューファインダ部２７を持たず、接続されている外部の表示装置に、撮影画像とともに、フォーカス合わせをするための補助情報を出力して、表示させることができるような形態としてもよい。

また、撮像装置１１は、撮像光学系２１、撮像素子２２、カメラ信号処理部２３、コーディック部２４、および、記録部２５で構成し、フォーカスアシスト処理部２６、および、ビューファインダ部２７は、別装置として構成してもよい。そのとき、フォーカスアシスト処理部２６は、コーディック部２４に供給するビデオデータと同一の、または、解像度変換されたビデオデータの供給を受け、入力されるビデオデータに対し、撮影者が合焦具合を把握しやすくするための補助情報であるフォーカスインジケータの合成を行うとともに、フォーカスインジケータが合成されたビデオ信号をビューファインダ部２７に供給し、その表示を制御する。また、更に、フォーカスアシスト処理部２６、および、ビューファインダ部２７を、それぞれ別装置として構成してもよい。そのとき、フォーカスアシスト処理部２６に対応する表示制御装置は、コーディック部２４に供給するビデオデータと同一の、または、解像度変換されたビデオデータの供給を受け、入力されるビデオデータに対し、撮影者が合焦具合を把握しやすくするための補助情報であるフォーカスインジケータの合成を行うとともに、フォーカスインジケータが合成されたビデオ信号を、図示しない外部の表示装置（ビューファインダ部２７に対応する表示装置）に供給し、その表示を制御する。

図２は、図１のフォーカスアシスト処理部２６の第１の実施例であるフォーカスアシスト処理部２６−１の構成を示すブロック図である。フォーカスアシスト処理部２６−１は、輝度信号生成部７１、水平微分フィルタ処理部７２、加算部７３、およびインジケータ合成部７４で構成される。

フォーカスアシスト処理部２６−１に入力されるビデオデータは、輝度信号生成部７１に供給されるとともに、インジケータ合成部７４に供給される。

輝度信号生成部７１は、入力されるビデオデータに対して式（１）に示すような変換処理を施し、輝度信号Ｙを生成する。

Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ ・・・（１）

なお、式（１）において、Ｒは、入力されるビデオデータのＲ信号であり、Ｇは、入力されるビデオデータのＧ信号であり、Ｂは、入力されるビデオデータのＢ信号である。

ここで、輝度信号Ｙへの変換処理は、式（１）に限ったものではなく、例えば、単純にＲ信号、Ｇ信号、およびＢ信号を加算する処理でも構わない。また、図２においては、輝度信号Ｙを生成しているが、入力ビデオデータのＲ，Ｇ，Ｂのいずれかのチャネルのみ、または全てのチャネルのデータに対して後段の処理を施すような構成でも構わない。

水平微分フィルタ処理部７２は、輝度信号生成部７１で生成された輝度信号Ｙを取得し、水平方向の高周波成分を抽出して、加算部７３に出力する。具体的には、水平微分フィルタ処理部７２は、例えば、入力された輝度信号Ｙに対して、図３に示すような係数を持つ水平微分フィルタを施し、得られた微分データを加算部７３に出力する。図３に示される微分フィルタは、画像に対して水平空間方向の微分処理を行うため、水平微分フィルタ処理部７２は、垂直方向にエッジが存在する場合に大きい値を出力する。また、水平微分フィルタ処理部７２は、水平方向１ラインごとの処理ではなく、数ラインをまとめて処理する構成であっても構わない。なお、ここでは、図３に示した水平微分フィルタ以外のフィルタであっても、水平方向の高周波成分を抽出することが可能であれば、いかなる形状のフィルタを用いても良い。

加算部７３は、水平微分フィルタ処理部７２から出力される微分データを取得し、水平１ライン分の微分データの加算を行い、水平ラインごとの微分加算値を、その水平１ラインに対応する高周波成分の大きさを表すパラメータとして、インジケータ合成部７４に出力する。また、加算部７３は、水平１ラインごとに加算処理を行わずに、数ラインをまとめて処理する構成であっても構わない。さらに、加算部７３は、例えば、図７を用いて後述するようにして、空間的にフォーカスを合わせる領域（フォーカシングエリア）を限定し、各水平ラインのうち、フォーカシングエリア内の微分データのみを加算するようにしてもよい。

なお、水平１ラインに対する高周波成分の大きさを表すパラメータを求めることができれば、水平微分フィルタ処理部７２および加算部７３が、水平方向の高周波成分を抽出し、線形加算処理を行う代わりに、他の処理を実行する構成としても良い。例えば、画像内の所定の領域にＦＦＴ（Fast Fourier Transform）をかけることにより、高調波成分を求めようにしても良い。

インジケータ合成部７４は、加算部７３から供給される水平１ラインごとの高周波成分の大きさを表わすパラメータを受け取り、各ラインに対するパラメータの大きさに基づいて、ユーザが、所望の被写体に対してフォーカス距離を合わせるための指標となる補助情報であるフォーカスインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に出力するとともに、その表示を制御する。

インジケータ合成部７４によりインジケータが合成されたビデオデータは、ビューファインダ部２７に表示される。

インジケータ合成部７４により合成されるフォーカスインジケータの例を図４乃至図９を参照して説明する。

図４および図５を参照して、フォーカスインジケータの第１の表示例について説明する。図４および図５における場合では、インジケータ合成部７４は、水平ラインごとのパラメータを示すフォーカスインジケータを、図中aで示される折れ線グラフとして生成し、ビデオデータ上に合成する。図４および図５における場合、フォーカスインジケータのラインの位置が画面の右端に近いほど、対応する水平ラインのパラメータは小さい値、すなわち、対応する水平ラインには高調波成分が少ないことを示しており、折れ線グラフの山の部分に対応する水平ラインには、高周波領域が多いことを示している。図４の例の場合、フォーカスは中央の女性に合っており、女性の像の中で高調波成分が多い顔の部分が写っている水平ライン上に、フォーカスインジケータの山が現れている。

そして、図５の例では、フォーカスが背景に合っているため、女性の像の中で高調波成分が多い顔の部分が写っている水平ラインではなく、背景部分が多い水平ラインに対応する部分に、フォーカスインジケータの山が現れている。すなわち、画像中において、女性は前ボケの状態になり解像していない。

オートフォーカスではなくマニュアルフォーカスで、実際に、動画像（または静止画像）を撮像するとき、ユーザは、ビューファインダ部２７に表示される像を見ながら、焦点を定める。すなわち、図４および図５は、オートフォーカスではなくマニュアルフォーカスで焦点を定めるために、ユーザが焦点位置を移動させている間のある一瞬のビューファインダ部２７の表示内容に対応する。

前景（この場合は女性）または背景の持つ空間周波数は、被写体そのものに依存するため、インジケータの山の大小は、フォーカスの合焦とは必ずしも一致しない。実際には、レンズのフォーカス位置を動作させて、フォーカス位置を手前から後方に動かした場合、表示される画像およびインジケータは、図４の状態から図５の状態に遷移することとなる。

具体的には、フォーカスを合わせたい領域である女性の顔が写っているラインに注目した場合、フォーカス位置が女性の位置より前である状態から次第に後方に動くに従って、インジケータの女性の顔が写っているライン付近の山が高くなっていき、図４の状態でインジケータの女性の顔が写っているライン付近の山が最大となり、図５に向かって山が小さくなっていくことになる。一方、背景が写っているラインに注目した場合、図４の状態では対応する部分のインジケータの山は小さく、図５に向かって山が大きくなり、レンズのフォーカス位置を更に後方に動かした場合には、背景部のラインの山は図５の状態で最大値となり、その後、徐々に小さくなっていく。

このように、フォーカス距離を合わせるための指標となる補助情報であるフォーカスインジケータの表示により、ユーザは、レンズのフォーカス位置を動作させたときのフォーカスの変化を知ることが容易となる。すなわち、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認することにより、所望の被写体に焦点が合っているか否かを容易に認識することが可能となる。また、画面内を動く被写体に対して動画像を撮影する場合であっても、フォーカスインジケータを確認することにより、その画面内の時間的な空間周波数の変化を確認しやすくなり、ユーザは、被写体の動きに合わせたフォーカス送りなどの作業を容易に行うことができる。

なお、図４、および図５の例においては、折れ線の内側を任意の色で埋め、折れ線グラフが分かりやすいようにしているが、折れ線グラフの内側の部分の撮影ビデオデータが隠れてしまわないように、折れ線グラフの線分のみを表示して、折れ線グラフの内側の部分の撮影ビデオデータをそのまま表示しても構わないし、折れ線の内側の部分に対して適当な透過率を設定して任意色との合成表示を行っても構わない。また、フォーカスインジケータである折れ線グラフの表示位置は画面の右端に限定するものではなく、いずれの位置であっても構わない。

次に、図６を参照して、フォーカスインジケータの第２の表示例について説明する。図６における場合では、インジケータ合成部７４は、水平ラインごとのパラメータを示すフォーカスインジケータを、図中ａ´で示されるような棒グラフとして生成し、ビデオデータ上に合成する。図６の例においては、棒グラフを数ラインおきに表示しているが、全てのラインに対して表示しても良いし、複数ラインのパラメータの平均値を算出し、その平均値を、複数ラインごとに表示するようにしても良い。この場合、フォーカスインジケータの棒グラフが短いほど、パラメータは小さい値、すなわち、高調波成分が少ない水平ラインであることを示しており、棒グラフが最も長い水平ラインが最も高周波領域の多い水平ラインであることを示している。図６の例の場合、フォーカスは中央の女性に合っており、女性の像の中で高調波成分が多い顔の部分が写っている部分に対応する水平ライン上の棒グラフが長くなっている。

図６に示されるように、フォーカスインジケータを棒グラフとして表示した場合においても、図４、および図５における場合と同様に、フォーカスインジケータは、表示されるビデオデータにおけるそれぞれの水平ラインの時間的な高周波成分の遷移を表現する。したがって、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認することにより、レンズのフォーカス位置を動作させたときのフォーカスの変化を容易に知ることができ、所望の被写体に焦点を合わせることが可能となる。また、画面内を動く被写体に対して動画像を撮影する場合であっても、フォーカスインジケータを確認することにより、その画面内の時間的な空間周波数の変化を確認しやすくなり、ユーザは、被写体の動きに合わせたフォーカス送りなどの作業が容易になる。また、フォーカスインジケータである棒グラフの表示位置は画面の右端に限定するものではなく、いずれの位置でも構わない。

また、画面内において、フォーカスを合わせる領域（フォーカシングエリア）を限定するようにしても良い。

例えば、図７に示されるように、画面上垂直に図中ｂ−１およびｂ−２で示される２本のラインを表示させ、それらのラインの内側をフォーカシングエリアとする。加算部７３は、図中ｂ−１およびｂ−２で示される２本のラインで挟まれた領域内の画素のみ加算処理を行う。この結果、フォーカスインジケータの表示は、フォーカシングエリア内の空間周波数のみに影響をうけるため、水平１ライン上に複数のオブジェクトが存在するような複雑なシーンにおいても、より的確なフォーカス合わせを実現するための補助となるフォーカスインジケータを表示させることが出来る。

また、フォーカシングエリアの設定に関しては、撮影者が自由に設定できるようにしてもよいし、撮像装置１１において予め決定されているものであってもよい。また、フォーカシングエリアは、画面内を円形、または、多角形で切り取った部分であっても良いし、複数設けられるものであっても良い。

さらに、フォーカシングエリアを限定するかしないかを、ユーザが選択可能な構成としても良いことは言うまでもない。

なお、以上の説明では、フォーカスアシスト処理部２６−１においては、輝度信号生成部７１において生成された輝度信号を取得した水平微分フィルタ処理部７２が、水平方向の高周波成分を抽出し、加算部７３が、水平１ライン分の微分データの加算を行い、水平ラインごとの微分加算値を、その水平１ラインに対応する高周波成分の大きさを表すパラメータとして算出するものとして説明した。これに対して、例えば、水平方向ではなく、垂直方向の高調波成分を抽出し、垂直１ラインに対応する高周波成分の大きさを表すパラメータを算出して、垂直１ラインごとの高周波成分の大きさを表わすパラメータの大きさを示すインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に出力して表示させるようにしても良い。

垂直１ラインごとの高周波成分の大きさを表わすパラメータの大きさを示すインジケータを表示させる場合、フォーカスアシスト処理部２６−１は、例えば、垂直成分の微分データの加算結果を記憶する水平１ライン分の加算メモリを更に備えるようにし、水平微分フィルタ処理部７２に代わって、垂直方向の微分処理を行う垂直微分フィルタ処理部を備え、加算部７３に代わって、水平１ラインごとに垂直微分フィルタ処理部から出力される微分データを該当する垂直ラインにおける加算メモリの値に加算する処理を実行する加算部を備え、インジケータ合成部７４に代わって、各垂直ラインに対してパラメータの大きさを示すインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に出力するインジケータ合成部を備えるものとする。

図８を参照して、フォーカスインジケータの第３の表示例として、各垂直ラインに対してパラメータの大きさを示すインジケータが、折れ線グラフとして表示されている場合について説明する。図８における場合では、インジケータ合成部７４は、垂直ラインごとのパラメータを示すフォーカスインジケータを、図中ｃで示される折れ線グラフとしてビデオデータ上に合成する。この場合、フォーカスインジケータのラインの位置が画面下辺に近いほど、パラメータは小さい値、すなわち、高調波成分が少ない垂直ラインであることを示しており、折れ線グラフの山の部分は高周波成分の多い垂直ラインに対応することを示している。図８の例の場合、フォーカスは中央の女性に合っており、女性の像が写っている垂直ラインの位置に、フォーカスインジケータの山が現れている。

また、図８における場合においても、フォーカスインジケータは、表示されるビデオデータにおけるそれぞれの垂直ラインの時間的な高周波成分の遷移を表現する。したがって、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認することにより、レンズのフォーカス位置を動作させたときのフォーカスの変化を容易に知ることができ、所望の被写体に焦点を合わせることが可能となる。また、画面内を動く被写体に対して動画像を撮影する場合であっても、フォーカスインジケータを確認することにより、その画面内の時間的な空間周波数の変化を確認しやすくなり、ユーザは、被写体の動きに合わせたフォーカス送りなどの作業が容易になる。また、フォーカスインジケータである折れ線グラフの表示位置は画面の下側に限定するものではなく、いずれの位置でも構わない。また、垂直方向の高周波成分を表現するフォーカスインジケータも、折れ線グラフのみならず、棒グラフで表されていてもよい。

また、フォーカスインジケータの第４の表示例として、図９に示されるように、各水平ラインに対してパラメータの大きさを示す図中ａで示されるフォーカスインジケータと、各垂直ラインに対してパラメータの大きさを示す図中ｃで示されるフォーカスインジケータとが、それぞれ、ビデオデータに合成されて表示されるようにしてもよい。図９における場合では、インジケータ合成部７４は、水平ラインごとのパラメータを示すフォーカスインジケータを図中ａで示される折れ線グラフとして、垂直ラインごとのパラメータを示すフォーカスインジケータを図中ｃで示される折れ線グラフとして、それぞれビデオデータ上に合成する。

図４乃至図９を用いて、フォーカスインジケータの表示例を示したが、これらは本発明の機能を限定するものではなく、フォーカスインジケータは、画像の空間的な高周波成分の大きさに応じて、画像空間上における位置がわかるように表示されていれば、どのような形式で表示されていてもよいことは言うまでもない。

次に、図１０は、図１のフォーカスアシスト処理部２６の第２の実施例であるフォーカスアシスト処理部２６−２の構成を示すブロック図である。なお、図１０においては、図２と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１０のフォーカスアシスト処理部２６−２は、新たに、比較部９１、および、ピークメモリ部９２を備え、インジケータ合成部７４に代わってインジケータ合成部９３を備えている以外は、基本的に、図２のフォーカスアシスト処理部２６−１と同様の構成を有するものである。

比較部９１は、加算部７３から供給される各水平ラインの微分加算値を、予めピークメモリ部９２に記憶されている過去の各水平ラインの微分データの最大値と、ラインごとに比較する。そして、比較部９１は、各ラインにおいて、過去のパラメータの最大値と、このフレームで求められたパラメータとのうちの、大きな値を抽出し、加算部７３から供給される各水平ラインの微分加算値とともに、インジケータ合成部９３に出力する。また、比較部９１は、得られたパラメータに、過去のパラメータよりも大きな値がある場合、大きな値であった微分加算値でピークメモリ部９２の情報を上書きし、ピークメモリ部９２に記憶されている、過去の各水平ラインの微分データの最大値を更新する。

ピークメモリ部９２は、比較部９１による比較結果に基づいて、各水平ラインの微分加算値の最大値を保持するメモリである。ピークメモリ部９２に記憶されている過去の各水平ラインの微分データの最大値を、以下、ピークホールド値とも称するものとする。

インジケータ合成部９３は、上述した場合と同様のフォーカスインジケータと、ピークホールド値を示すラインとを、ビデオデータに合成して、ビューファインダ部２７に出力するとともに、その表示を制御する。

図１１は、インジケータ合成部９３により、図中ａで示される水平ラインごとのパラメータを示すフォーカスインジケータと、図中ｄで示されるピークホールド値を示すラインが生成された場合の、ビューファインダ部２７の表示例である。

図中ａで示される水平ラインごとのパラメータを示すフォーカスインジケータは、図４および図５を用いて説明したものと同じフォーカスインジケータである。図１１の例においては、数ラインをまとめて比較処理した結果を示しているが、各ラインごとに比較処理を行っても構わない。また、ピークホールドの表示方法は、過去の最大値が表現できればどのようなものでも構わない。

それぞれの水平ラインにおいて高調波成分が高い場合、その水平ラインの画素は多くのエッジ要素を含んでいる。すなわち、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認し、所望の被写体に焦点があっている場合にインジケータの山が高くなると思われるラインにおいて、インジケータの山がピークホールド値に合うように調整することにより、所望の被写体に容易に焦点を合わせることが可能となる。

また、撮像される対象が変わった場合、過去の微分加算値の最大値は意味を持たない。したがって、ピークメモリ部９２に記録されている各水平ラインの微分加算値の最大値がずっとリセットされなかった場合、ピークホールド値の意味がなくなってしまう。そこで、ピークメモリ部９２に記録されている各水平ラインの微分加算値の最大値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされるものとする。換言すれば、ピークメモリ部９２には、次のリセットタイミングまでの最大微分データが保持されることになる。

このように、図１１のｄで示される、ピークホールド値に対応するラインをフォーカスインジケータとともに表示させることにより、ユーザは、レンズのフォーカス位置を前後させつつ所望の被写体に焦点を合わせる場合に、フォーカスを合わせたい領域のインジケータがピークと一致しているかまたは近づいているか否かに基づいて、現在のフォーカス位置が、所望の被写体に対するフォーカス位置の最適値であるかどうかを判断しやすくなる。この方法によれば、被写界深度が浅くフォーカス合わせが難しいような条件においても、所望の被写体に確実にフォーカス合わせを行うことが可能となる。

なお、図１０および図１１を用いて説明した場合においては、水平方向のみの処理に限定して説明を行ったが、図８を用いて説明した場合と同様にして、垂直方向の処理を行い、垂直方向のフォーカスインジケータおよびピークホールド値に対応するラインを生成し、表示させるようにしてもよい。また、図９を用いて説明した場合と同様に、水平方向と垂直方向の処理を同時に行い、２次元的にフォーカスインジケータおよびピークホールド値に対応するラインを生成して、表示させることができるような構成にしても構わない。

また、図１においては、固体撮像素子、およびカメラ信号処理部を有し、ユーザの操作入力に基づいて焦点距離が制御可能な撮像装置１１の構成を説明し、図２以下の図面を用いて、撮像装置１１における処理について説明したが、例えば、図２または図１０を用いて説明したフォーカスアシスト処理部２６と、ビューファインダ部２７に対応する機能を有するものを１つの装置として構成しても良い。具体的には、ユーザの操作入力に基づいて焦点距離が制御可能な撮像装置により撮像された画像を外部の装置から取得して、上述したようなフォーカスインジケータ等の作成および画像との合成処理を行って、ビューファインダに表示することができる機能を有する表示装置を構成するものとしても良い。

更に、図２または図１０を用いて説明したフォーカスアシスト処理部２６に対応する機能を有するものを１つの装置として構成しても良い。具体的には、ユーザの操作入力に基づいて焦点距離が制御可能な撮像装置により撮像された画像を外部の装置から取得して、上述したようなフォーカスインジケータ等の作成および画像との合成処理を行って、外部の他の表示装置に出力して表示させることができる機能を有する表示制御装置を構成するものとしても良い。

次に、図１２のフローチャートを参照して、撮像装置１１が実行する撮像処理について説明する。なお、ステップＳ１２乃至ステップＳ１９の各処理は、撮像された動画像のあるフレームの処理としては、ステップＳ１３およびステップＳ１４の処理とステップＳ１５およびステップＳ１６の処理とが並行して実行可能であるが、基本的には、記載されたステップの通りに順次実行されるものである。しかしながら、これらは、順次撮像される複数フレームにより構成される動画像全体に対して実行される処理であるので、撮像装置１１内においては、それぞれ、並行して実行される。

ステップＳ１１において、撮像装置１１は、図示しない操作入力部によるユーザからの操作入力に基づいて、撮像を開始する。撮像素子２２は、撮像光学系２１を介して入射される光を受光する。撮像素子２２は、ＡＤ変換器によりデジタル変換された撮像データをカメラ信号処理部２３に出力する。

ステップＳ１２において、カメラ信号処理部２３は、入力されたＲＡＷデータに対して、ホワイトバランス補正、ゲイン調整、デモザイク処理、リニアマトリクス処理、およびガンマ補正処理などの処理を施し、処理後のビデオデータを、コーディック部２４およびフォーカスアシスト処理部２６に出力する。

ステップＳ１３において、コーディック部２４は、カメラ信号処理部２３から出力されるビデオデータを取得し、ＭＰＥＧ２、Ｈ．２６４、または、ＪＰＥＧ２０００などのビデオ信号符号化処理によりデータを圧縮し、符号化ストリームを生成して、記録部２５に出力する。

ステップＳ１４において、記録部２５は、コーディック部２４から供給された、圧縮されたデータを記録する。

ステップＳ１５において、図１３または図１４を用いて説明するフォーカスインジケータ生成処理が実行される。

ステップＳ１６において、ビューファインダ部２７は、例えば、図４乃至図９、または、図１１を用いて説明したような、撮影者が合焦具合を把握しやすくするための補助情報であるフォーカスインジケータ、または、フォーカスインジケータおよびピークホールド値を示すラインが合成されたビデオ画像を表示する。

ステップＳ１７において、図示しない操作入力部によるユーザからの操作入力に基づいて、撮像の終了が指令されたか否かが判断される。

ステップＳ１７において、撮像の終了が指令されていないと判断された場合、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。

そして、ステップＳ１７において、撮像の終了が指令されたと判断された場合、処理が終了される。

このような処理により、動画像が撮像され、記録されるとともに、記録されている動画像とともに、フォーカスインジケータ（または、フォーカスインジケータおよびピークホールド値を示すライン）が表示される。したがって、ユーザは、フォーカスインジケータを参照して、例えば、レンズリングを操作することなどにより、所望の対象物に容易に焦点を合わせることができる。また、電子的にレンズを動かし、焦点を自動修正することができるようにしても良いことはいうまでもない。

次に、図１３のフローチャートを参照して、図１２のステップＳ１５において実行される処理の第１の例である、フォーカスインジケータ生成処理１について説明する。フォーカスインジケータ生成処理１は、フォーカスアシスト処理部２６−１により実行される。

ステップＳ４１において、輝度信号生成部７１は、入力されるビデオデータに対して、例えば、上述した式（１）に示すような変換処理を施し、輝度信号を生成する。

ステップＳ４２において、水平微分フィルタ処理部７２は、輝度信号生成部７１で生成された輝度信号Ｙを受け取り、図３に示すような係数を持つ水平微分フィルタを施して微分データを得ることなどにより、輝度信号の水平方向の高周波成分を抽出する。

ステップＳ４３において、加算部７３は、水平微分フィルタ処理部７２から出力される微分データを受け取り、水平１ライン分の微分データの加算を行うことなどにより、水平１ラインに対する高周波成分の大きさを表すパラメータを求める。

ステップＳ４４において、インジケータ合成部７４は、加算部７３から供給される水平１ラインごとの高周波成分の大きさを表わすパラメータを受け取り、各ラインに対してパラメータの大きさを示すインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に出力してその表示を制御し、処理は、図１２のステップＳ１５に戻り、ステップＳ１６に進む。

このような処理により、カメラ信号処理部２３から供給されるビデオデータ上に、例えば、図４乃至図６を用いて説明したようなフォーカスインジケータを合成し、ビューファインダ部２７に表示させることができる。

次に、図１４のフローチャートを参照して、図１２のステップＳ１５において実行される処理の第２の例である、フォーカスインジケータ生成処理２について説明する。フォーカスインジケータ生成処理２は、フォーカスアシスト処理部２６−２により実行される。

ステップＳ７１乃至ステップＳ７３においては、図１３のステップＳ４１乃至ステップＳ４３と同様の処理が実行される。すなわち、輝度信号生成部７１は、輝度信号を生成し、水平微分フィルタ処理部７２は、輝度信号の水平方向の高周波成分を抽出し、加算部７３は、水平１ラインに対する高周波成分の大きさを表すパラメータを求める。

ステップＳ７４において、比較部９１は、加算部７３から各水平ラインの微分加算値の供給を受けるとともに、予めピークメモリ部９２に記憶されている、過去の各水平ラインの過去のパラメータの最大値を読み出す。

ステップＳ７５において、比較部９１は、加算部７３によって得られたパラメータのうち、予めピークメモリ部９２に記憶されている過去のパラメータよりも大きな値があるか否かを判断する。

ステップＳ７５において、過去のパラメータよりも大きな値があると判断された場合、ステップＳ７６において、比較部９１は、大きな値であった微分加算値でピークメモリ部９２の情報を上書きし、ピークメモリ部９２に記録されている、過去の各水平ラインの微分データの最大値を更新する。

ステップＳ７５において、過去のパラメータよりも大きな値がないと判断された場合、または、ステップＳ７６の処理の終了後、ステップＳ７７において、インジケータ合成部９３は、各水平ラインの微分加算値に基づいて、各ラインに対してパラメータの大きさを示すフォーカスインジケータを生成するとともに、ピークメモリ部９２に記録されている過去の各水平ラインの微分データの最大値に基づいて、ピークホールド値を示すラインを生成する。そして、インジケータ合成部９３は、フォーカスインジケータおよびピークホールド値を示すラインを、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に出力してその表示を制御し、処理は、図１２のステップＳ１５に戻り、ステップＳ１６に進む。

このような処理により、カメラ信号処理部２３から供給されるビデオデータ上に、例えば、図１１を用いて説明したようなフォーカスインジケータおよびピークホールド値を示すラインを合成し、ビューファインダ部２７に表示させることができる。

なお、ピークメモリ部９２に記録されているパラメータの最大値は、上述したように、一定時間が経過したらリセットされるものとしても良いし、ユーザの操作入力によりリセットされるものとしても良い。

また、図１２乃至図１４のフローチャートを用いて説明した処理では、水平方向１ラインごとに、高調波成分の大きさを示すパラメータを求め、インジケータを生成して表示させる場合について説明しているが、それ以外にも、上述したようにして、高調波成分の大きさを示すパラメータを複数ラインごとに求めて、それに対応するインジケータを表示するものとしても良い。また、図７を用いて説明したように、フォーカシングエリアを設定し、その範囲内の高調波成分のみを用いて演算するようにしても良いし、図８および図９を用いて説明したように、水平方向ではなく、垂直方向における高調波成分の大きさを示すパラメータを求め、それに対応するインジケータを表示するものとしても良い。

このように、本発明を適用することにより、撮影画像の水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、検出された空間周波数の大きさをインジケータとして生成し、ビューファインダに表示される撮影画像上にオーバーレイして表示させることにより、マニュアルフォーカス制御時に、ユーザが、容易に的確にフォーカス合わせを行うことが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、上述した処理は、図１５に示されるようなパーソナルコンピュータ５００により実行される。

図１５において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１５に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

撮像装置の構成を示すブロック図である。 図１のフォーカスアシスト処理部の第１の構成例を示すブロック図である。 水平微分フィルタについて説明するための図である。 フォーカスインジケータについて説明するための図である。 フォーカスインジケータについて説明するための図である。 フォーカスインジケータの他の例について説明するための図である。 フォーカシングエリアについて説明するための図である。 フォーカスインジケータの他の例について説明するための図である。 フォーカスインジケータの他の例について説明するための図である。 図１のフォーカスアシスト処理部の第２の構成例を示すブロック図である。 ピークホールド値を示すラインについて説明するための図である。 撮像処理について説明するためのフローチャートである。 フォーカスインジケータ生成処理１について説明するためのフローチャートである。 フォーカスインジケータ生成処理２について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１１ 撮像装置， ２１ 撮像光学系， ２２ 撮像素子， ２３ カメラ信号処理部， ２４ コーディック部， ２５ 記録部， ２６ フォーカスアシスト処理部， ２７ ビューファインダ部， ７１ 輝度信号生成部， ７２ 水平微分フィルタ処理部， ７３ 加算部， ７４ インジケータ合成部， ９１ 比較部， ９２ ピークメモリ部， ９３ インジケータ合成部

Claims (8)

1. 画像を撮像する画像取得手段と、
   前記画像取得手段により取得された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、
   前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、
   前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記画像取得手段により撮像された前記画像と前記インジケータとを合成し、表示部への出力と表示を制御する合成手段と、
   前記算出手段により算出された前記パラメータの値を記憶する記憶手段と、
   前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とを比較し、大きい前記パラメータの値を前記合成手段に出力するとともに、前記記憶手段により記憶された前記パラメータの値より大きな前記算出手段により算出された前記パラメータの値がある場合、対応する前記パラメータの値を、前記算出手段により算出された前記パラメータの値に更新する比較手段と
   を備え、
   前記合成手段は、更に、前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、
   前記記憶手段により記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる
   撮像装置。
2. 前記合成手段は、前記インジケータを折れ線グラフとして生成する
   請求項１に記載の撮像装置。
3. 前記合成手段は、前記インジケータを棒グラフとして生成する
   請求項１に記載の撮像装置。
4. 画像を撮像し、
   撮像された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、
   水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、
   前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、撮像された前記画像と前記インジケータとを合成し、表示部への出力と表示を制御し、
   算出された前記パラメータの値を記憶し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、
   記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる
   ステップを含む撮像方法。
5. 撮像された画像を取得し、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、
   前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、
   前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成する合成手段と、
   前記算出手段により算出された前記パラメータの値を記憶する記憶手段と、
   前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とを比較し、大きい前記パラメータの値を前記合成手段に出力するとともに、前記記憶手段により記憶された前記パラメータの値より大きな前記算出手段により算出された前記パラメータの値がある場合、対応する前記パラメータの値を、前記算出手段により算出された前記パラメータの値に更新する比較手段と
   を備え、
   前記合成手段の出力が表示部に供給され、
   前記合成手段は、更に、前記記憶手段により記憶された前記パラメータの値と、前記算出手段により算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、
   前記記憶手段により記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる
   表示制御装置。
6. 撮像された画像を取得して、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、
   水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、
   前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成し、
   算出された前記パラメータの値を記憶し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、
   表示部への出力と表示を制御し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、
   記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる
   ステップを含む表示制御方法。
7. コンピュータに、
   撮像された画像を取得して、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、
   水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、
   前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成し、
   算出された前記パラメータの値を記憶し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、
   表示部への出力と表示を制御し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、
   記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる
   ステップを含む処理を実行させるプログラム。
8. コンピュータに、
   撮像された画像を取得して、前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出し、
   水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出し、
   前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、取得された前記画像と前記インジケータとを合成し、
   算出された前記パラメータの値を記憶し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とを比較し、大きい前記パラメータの値を出力するとともに、記憶された前記パラメータの値より大きな算出された前記パラメータの値がある場合、対応する前記パラメータの値を、算出された前記パラメータの値に更新し、
   表示部への出力と表示を制御し、
   記憶された前記パラメータの値と、算出された前記パラメータの値とのうちの大きい前記パラメータの値を示すラインを生成し、前記インジケータとともに前記ラインを前記画像と合成し、表示部への出力と表示を制御し、
   記憶された前記パラメータの値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされる
   ステップを含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。

Images