JP3732665B2 - 自動焦点制御装置及びその合焦動作決定方法 - Google Patents
自動焦点制御装置及びその合焦動作決定方法 Download PDFInfo
- Publication number
- JP3732665B2 JP3732665B2 JP36460798A JP36460798A JP3732665B2 JP 3732665 B2 JP3732665 B2 JP 3732665B2 JP 36460798 A JP36460798 A JP 36460798A JP 36460798 A JP36460798 A JP 36460798A JP 3732665 B2 JP3732665 B2 JP 3732665B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- focus
- index value
- areas
- area group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
【発明の属する技術分野】
本発明は、スチルビデオカメラ(電子カメラ)等の2次元撮像素子を用いた画像入力機器等に適用される自動焦点制御装置及びその合焦動作決定方法に関する。
【0002】
【従来の技術】
近年、被写体の光画像を所定の撮像光学系を介して2次元CCD等の固体撮像素子に結像させて光電変換出力させ、その電気信号を媒体に記録させるようにしたスチルビデオカメラが実用化され、普及しつつある。
【0003】
このようなスチルビデオカメラにあっても、通常のカメラの場合と同様に自動焦点制御(AF制御)が重要であり、その技術開発が盛んで、種々の提案もなされている。従来の自動焦点制御装置における合焦位置決定方法として、例えば、赤外線や超音波を用いたアクティブAF方式や、外光パッシブや山登りサーボ等のパッシブAF方式がある。特に、デジタルスチルビデオカメラでは、特別な測距部品を必要としないパッシブAF方式が多く採用されている。
【0004】
このパッシブAF方式において、近年、ワンショット撮像で合焦位置を検出し得るものとして、例えば、特開平6−181532号公報に示される電子カメラの合焦位置検出装置がある。これは、復元フィルタを用いることでワンショットにて合焦位置を検出できるようにしたものである。より詳細には、撮像光学系の点像分布関数又はそれを変換処理して得られる関数を焦点位置及びその前後のレンズ位置で複数点求めて記憶した特性値記憶手段と、1画面(1画像フレーム)分又はその一部の撮像データを特性値記憶手段に記憶された特性値によって複数点のレンズ位置毎に画像復元する画像復元手段と、この画像復元された画像データからレンズ位置毎に復元フィルタを用いて合焦位置の評価値を求め、各評価値を比較して合焦位置を推測する合焦位置推測手段とを備えることで、合焦位置の検出をより早くかつ正確に行なえるようにしたものである。
【0005】
【発明が解決しようとする課題】
ところが、上記公報例のようなパッシブAF方式におけるワンショットAF方式では、動きのある被写体に対する合焦処理において問題がある。即ち、従来のワンショットAF方式では、初期焦点レンズ位置を決めて撮像した画像から復元画像を得ているものであり、被写体が静物或いは停止している場合には特に合焦に支障を来さないが、被写体が動いている場合には、合焦が取れず、若しくは、合焦が難しいことがある。
【0006】
また、動体被写体に限らず一般的に考えた場合も、撮影者が何を被写体として捕えようとしているかの判断は難しい。例えば、後述する図7(撮像された画像フレーム例を示している)を参照した場合、被写体としては、スノーマンであったり、バイクであったり、或いはスノーマンとバイクであったりするので、単に画像フレーム内に入った図柄からは特定し得ない。よって、撮影者の意図に則した被写体の合焦状態での撮影が難しい。
【0007】
そこで、本発明は、動きのある被写体の場合でも高速な合焦動作が可能な自動焦点制御装置及びその合焦動作決定方法を提供することを目的とする。
【0008】
また、本発明は、撮影者の意図に沿った被写体の選択と撮影とが可能な自動焦点制御装置及びその合焦動作決定方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1記載の自動焦点制御装置の合焦動作決定方法は、撮影した画像データを複数のAFエリアに分割し、前記撮影した画像データから、前記複数のAFエリア毎に各々合焦指標値を算出し、前記算出された合焦指標値に基づき前記複数のAFエリアを所定の閾値に応じてAFエリア群にグループ分けし、前記AFエリア群を、前記撮影した画像データと重ねて表示し、前記AFエリア群の中から合焦対象エリアとするAFエリア群を撮影者に選択させ、前記選択させたAFエリア群を合焦対象エリアとして合焦動作を行う。
【0010】
従って、1画面をなす画像フレームについて複数のAFエリアに区分けするとともに、1つの画像フレームデータを取得して、各AFエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでAFエリアをグループ分けし、グループ分けされたAFエリア群中から選択指定されたグループのAFエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【0011】
請求項2記載の自動焦点制御装置の合焦動作決定方法は、前記複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出する。
【0012】
従って、複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【0013】
請求項3記載の自動焦点制御装置の合焦動作決定方法は、前記選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとして合焦動作を行う。
【0014】
従って、選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【0015】
請求項4記載の自動焦点制御装置は、撮影した画像データを複数のAFエリアに分割するAFエリア設定手段と、前記撮影した画像データから、前記AFエリア設定手段で設定した複数のAFエリア毎に各々合焦指標値を算出する合焦指標値算出手段と、前記合焦指標値算出手段で算出した合焦指標値に基づき、前記複数のAFエリアを所定の閾値に応じてAFエリア群にグループ分けするAFエリア群設定手段と、前記AFエリア群設定手段でグループ分けしたAFエリア群を、前記撮影した画像データと重ねて表示するAFエリア群表示手段と、前記AFエリア群の中から合焦対象エリアとするAFエリア群を撮影者に選択させるAFエリア群選択手段とを備え、前記AFエリア群選択手段で選択されたAFエリア群を合焦対象エリアとして合焦動作を行う。
【0016】
従って、1画面をなす画像フレームについて複数のAFエリアに区分けするとともに、1つの画像フレームデータを取得して、各AFエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでAFエリアをグループ分けし、グループ分けされたAFエリア群中から選択指定されたグループのAFエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【0017】
請求項5記載の自動焦点制御装置は、前記合焦指標値算出手段において、前記複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出する。
【0018】
従って、複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【0019】
請求項6記載の自動焦点制御装置は、前記AFエリア群選択手段は、前記選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとして合焦動作を行う。
【0020】
従って、選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【0027】
【発明の実施の形態】
本発明の第一の参考例を図1ないし図3に基づいて説明する。図1は本参考例の自動焦点制御装置及びその合焦動作決定方法が適用されるデジタルスチルカメラの概略構成例を示すブロック図である。このデジタルスチルカメラは、概略的には、被写体像を撮像する2次元の撮像素子であるCCD1と、被写体像をCCD1に撮像させる撮像レンズ、焦点レンズの組合せによるレンズ系2及び絞り3と、CCD1を含み被写体像に応じた画像データを出力するフロントエンド部4と、画像データに対して各種のデータ処理を行なうイメージプリプロセッサ(IPP)5と、CPUインタフェース(I/F)6と、デジタルスチルカメラの各部の動作を制御するCPU7と、撮像された画像等を表示する表示部である液晶パネル(LCD)8と、CPU7による制御の下にレンズ系2を駆動制御する焦点レンズ制御部9と、CPU7による制御の下に絞り3の絞り値(F値)を制御する絞り制御部10とを備えている。
【0028】
フロントエンド部4は、レンズ系2により結像された被写体像を電気信号(アナログ画像データ)に変換してCCD1から出力される信号に対してノイズ除去、ゲイン調整等の処理を行なう信号処理部11と、この信号処理部11よる処理後のアナログ画像データをデジタル画像データに変換してIPP5に出力するA/D変換部12とを備えている。
【0029】
IPP5は、フロントエンド部4から入力されるデジタル画像データを、RGBの各色成分(RGBデジタル信号)に分離するRGB分離部13と、分離されたRGBデジタル信号の各色成分のゲインを各々調整して出力するRGBゲイン調整部14と、ゲイン調整後のRGBデジタル信号を輝度信号に変換して出力する輝度値生成部15とを備えている。また、輝度値生成部15から入力される輝度信号の空間成分を周波数成分に高速フーリエ変換(FFT)してフィルタリング部16に出力するFFT演算部17を備えている。このFFT演算部17は、フィルタリング部16からフィードバックされる周波数成分を高速逆フーリエ変換(IFFT)することで空間成分に逆変換して負値積算器18に出力するIFFT演算部としての機能も併せ持つ。フィルタリング部16は復元フィルタデータROM19に格納された復元フィルタに基づきFFT演算部(IFFT演算部)17で周波数成分に周波数変換された信号の復元処理を行なう。復元フィルタデータROM19には複数の点像半径に各々対応した複数の復元フィルタのデータが格納されている。さらに、周波数成分に変換され、かつ、フィルタリング処理された信号に対して、その特定の高周波成分を抽出し、累積して得られる高周波成分積算値をCPU7に出力する高周波成分積算器20が設けられている。負値積算器18はFFT演算部(IFFT演算部)17から入力される空間周波数成分の負値を積算して得られる負値積算値をCPU7に出力する。このようなIPP5の各部の機能はソフトウェアにて実現することも可能であるが、高速処理化を図る上では図1に示す如きハードウェア構成とするほうが好ましい。
【0030】
CPU7は、前述したようにデジタルスチルカメラの各部の動作制御を受け持ち、具体的には、高周波成分積算器20や負値積算器18から入力される高周波成分積算値や負値積算値に基づき、合焦指標値(ワンショットAF評価値)を算出し、従来技術で述べたようなワンショットAF制御を行ない得る機能を持つ。即ち、初期焦点レンズ位置でCCD1により撮像して画像フレーム(1画面)のデータを取得し、その画像フレームデータに対して点像半径に対応した複数の復元フィルタを用いて復元し各復元フィルタ毎に復元された画像データ群について各々合焦指標値を算出し、算出された各合焦指標値を照合して画像フレームにおける合焦位置を決定し、焦点レンズ制御部9を制御することで合焦動作を行なわせる機能を持つ。また、CPU7は通常通り自動ホワイトバランス制御(AWB制御)や自動露光制御(AE制御)の機能を併せ持つ。
【0031】
ここに、本参考例では、合焦動作を決定する上で、CCD1により撮像された画像フレームデータについて、予め複数のAFエリアが区分け設定されている。また、本参考例のCPU7は、上述の基本的な機能を持ちつつ、動体被写体の適正な撮影を可能とするため、内蔵されたプログラムに従い、後述するように、画像データ取得手段、合焦指標値算出手段、合焦指標値差分算出手段及び対象AFエリア抽出手段の機能を実行し得る。
【0032】
図2の模式図及び図3のフローチャートを参照して動的被写体を検出する方法を説明する。図2(a)は初期焦点レンズ位置における、或る特定時刻でCCD1により撮像して得られた画像フレームデータ例を示し、図2(b)は図2(a)と同じ初期焦点レンズ位置のままで先の特定時刻から或る時間が経過した時刻でCCD1により撮像して得られた画像フレームデータ例を示している。ここで、画像フレームは例えば最近の標準仕様に従い1280×1024画素からなる。このような画像フレームは、256×256画素を1つのエリアとしてタイル状に連続する5×4=20個のAFエリアA11,A12,…,A45に仕分け設定されている。
【0033】
このような前提の下、本参考例による動きのある被写体の合焦動作の概略を説明する。まず、撮影待機状態において(ステップS1のY)、初期焦点レンズ位置にて撮像することにより第1の画像フレームデータを取得し(S2…例えば、図2(a)のように)、取得した第1の画像フレームデータについてAFエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する(S3)。続いて、或る時間が経った次の撮像タイミングになったら(S4のY)、初期焦点レンズ位置のまま焦点レンズを動かすことなく、撮像することにより第2の画像フレームデータを取得し(S5…例えば、図2(b)のように)、取得した第2の画像フレームデータについてAFエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する(S6)。ここに、ステップS2,S4,S5の処理が画像データ取得手段の機能として実行され、初期焦点レンズ位置で時間を異ならせて撮像した第1,2の2つの画像フレームデータが得られる。また、ステップS3,S6の処理が合焦指標値算出手段の機能として実行される。より具体的には、各AFエリアでは点像半径に対応した複数の復元フィルタを用いて画像データの復元を行ない、各復元フィルタ毎に復元された画像データ群について各々の評価値群を算出し、これらのAF評価値群から当該AFエリアにおける合焦指標値が算出される。このようにして得られた第1,2の2つの画像フレームデータに関するAFエリア毎の合焦指標値について、同一AFエリア毎で差分を算出する(S7)。このステップS7の処理が合焦指標値差分演算手段の機能として実行される。このような動作はレリーズ動作が行われるまで、周期的に繰り返される(S8)。レリーズ動作が行われなければ、第1の画像フレームデータを破棄し、第2の画像フレームデータを第1の画像フレームデータとする(S9a)。
【0034】
図2(c)は図2(a)(b)に示した異なる時間に撮像した画像フレームデータの各AFエリア毎の合焦指標値の差分を示す。図示例によれば、AFエリアA24,A33に合焦指標値の変化が見られ、当該エリア個所に動きのある被写体が存在することが判る。そこで、このような差分値に基づき動体被写体が存在するエリア個所を検出する(S9)。この例では、AFエリアA24とAFエリアA33とが候補となるが、ここでは、差分値の最も大きなエリアを合焦対象エリアとして検出・抽出している。このステップS9の処理が対象AFエリア抽出手段の機能として実行される。このようにして、対象AFエリアが抽出されると、動的被写体を含むこの対象AFエリアに対して焦点レンズ制御部9等を通じて通常通り合焦動作が行われ(S10)、レリーズ時には動的被写体を合焦状態で撮影できる。
【0035】
このようにして、本参考例によれば、動きのある被写体を含む場合であっても、その被写体を含むAFエリアを検出してそのAFエリアに対して合焦動作を行なうようにしたので、動きのある被写体の場合でも撮影者がデジタルスチルカメラを動かして追従することなく、自動的に追尾させて合焦状態で撮影できる。この際、2回の画像フレームデータの取得を必要とするが、初期焦点レンズ位置のままでありレンズ移動を要せず、最終的なレリーズ時なる合焦動作時のみの移動でよいため、高速な合焦が可能となる。
【0036】
本発明の第二の参考例を図1、図4及び図5に基づいて説明する。即ち、図1に示したデジタルスチルカメラの構成はそのまま用いるものとする。本参考例のCPU7は、第一の参考例でも記載したような基本的な機能を持ちつつ、動体被写体の適正な撮影を可能とするため、内蔵されたプログラムに従い、後述するように、画像データ取得手段、合焦指標値算出手段、合焦指標値差分算出手段、動体被写体抽出手段及び予測手段の機能を実行し得る。
【0037】
図4の模式図及び図5のフローチャートを参照して動的被写体を検出する方法を説明する。図4(a)は初期焦点レンズ位置における、或る特定時刻でCCD1により撮像して得られた画像フレームデータ例を示し、図4(c)は図4(a)と同じ初期焦点レンズ位置のままで先の特定時刻から或る時間が経過した時刻でCCD1により撮像して得られた画像フレームデータ例を示し、図4(c)はレリーズ動作時に撮像される予測された画像フレームデータ例を示している。ここで、画像フレームは1280×1024画素からなり、かつ、このような画像フレームは、256×256画素を1つのエリアとしてタイル状に連続する5×4=20個のAFエリアA11,A12,…,A45に仕分け設定されている。
【0038】
このような前提の下、本参考例による動きのある被写体の合焦動作の概略を説明する。まず、撮影待機状態において(S11のY)、初期焦点レンズ位置にて撮像することにより第1の画像フレームデータを取得し(S12)、取得した第1の画像フレームデータについてAFエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する(S13)。続いて、或る時間が経った次の撮像タイミングになったら(S14のY)、初期焦点レンズ位置のまま焦点レンズを動かすことなく、撮像することにより第2の画像フレームデータを取得し(S15…例えば、図4(a)のように)、取得した第2の画像フレームデータについてAFエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する(S16)。このようにして得られた第1,第2の画像フレームデータに関するAFエリア毎の合焦指標値について、同一AFエリア毎に差分を算出し(S17)、第1の画像フレームデータを破棄する(S18)。さらに、或る時間が経った次の撮像タイミングになったら(S19のY)、初期焦点レンズ位置のまま焦点レンズを動かすことなく、撮像することにより第3の画像フレームデータを取得し(S20…例えば、図4(b)のように)、取得した第3の画像フレームデータについてAFエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する(S21)。ここに、ステップS12,S14,S15,S19,S20の処理が画像データ取得手段の機能として実行され、初期焦点レンズ位置で時間を異ならせて撮像した第1,2,3の3つの画像フレームデータが得られる。また、ステップS13,S16,S21の処理が合焦指標値算出手段の機能として実行される。より具体的には、各AFエリアでは点像半径に対応した複数の復元フィルタを用いて画像データの復元を行ない、各復元フィルタ毎に復元された画像データ群について各々の評価値群を算出し、これらのAF評価値群から当該AFエリアにおける合焦指標値が算出される。このようにして得られた第2,第3の画像フレームデータに関するAFエリア毎の合焦指標値について、同一AFエリア毎に差分を算出する(S22)。ステップS17,S22の処理が合焦指標値差分演算手段の機能として実行される。このような動作はレリーズ動作が行われるまで、周期的に繰り返される(S23)。レリーズ動作が行われなければ、第2の画像フレームデータを破棄し、第3の画像フレームデータを第2の画像フレームデータとする(S24)。
【0039】
図4(b)(d)は各々図4(a)(c)に示した時点での撮像フレームデータが有する合焦指標値の差分値を示している。即ち、図4(b)は図4(a)に示す第2の画像データフレームとその前のタイミングで撮像された第1の画像フレームデータとのAFエリア毎の合焦指標値の差分を示しており、図示例によれば、AFエリアA15に合焦指標値の変化が見られ、当該エリアに動体被写体が存在することが分かる。次の画像取込みでは図4(c)に示すような画像フレームデータが得られる。図4(d)は図4(c)に示す第3の画像データフレームとその前のタイミングで撮像された図4(a)に示す第2の画像フレームデータとのAFエリア毎の合焦指標値の差分を示しており、図示例によれば、AFエリアA15,A24に合焦指標値の変化が見られ、当該エリアに動体被写体が存在することが分かる。ここに、AFエリアA15の差分値は図4(b)のAFエリアA15に示す差分値と逆符号であって同値であるため、被写体がこのAFエリアA15を抜けてAFエリアA24側へ移動してことが判る。このような差分値の変化により、AFエリア座標(1,5)から(2,4)への動きベクトルが得られる。また、合焦差分値が"5"から"10"に変化しており、これらの変化から合焦指標値変化量5が得られる。そこで、本参考例では、このような差分値及びその変化に基づき動体被写体が存在するAFエリアと移動方向とを検出する(S22)。このステップS22の処理が動体被写体抽出手段の機能として実行される。
【0040】
このようにして、動体被写体が存在するAFエリアと移動方向とが検出されると、これらの情報を基にレリーズ動作時の動体被写体のAFエリア位置とその合焦指標値とを予測する(S25)。図4(e)に示す例では、図4(c)の時点でAFエリアA24に位置している被写体が移動ベクトル(1,−1)に基づきレリーズ動作時にはAFエリアA33に位置するものと予測される。また、合焦指標値変化量5から、AFエリアA33での合焦指標値は15と予測される。このステップS25の処理が予測手段の機能として実行される。
【0041】
動体被写体のレリーズ時のAFエリア位置とその合焦指標値とが予測されると、動的被写体を含むこの予測されたAFエリアA33に対して予測された合焦指標値15に基づき焦点レンズ制御部9等を通じて通常通り合焦動作が行われ(S26)、レリーズ時には動的被写体を合焦状態で撮影できる。
【0042】
このようにして、本参考例によれば、1画面をなす画像フレームについて複数のAFエリアに区分けするとともに、時間を異ならせて3つの画像フレームデータを取得して、各AFエリア毎に復元フィルタを用いて合焦指標値を算出して同一AFエリア間で合焦指標値間の差分を算出し、その結果から動きのある被写体の位置と移動方向とを抽出することで、この動体被写体がレリーズ動作時に位置するAFエリアとその合焦指標値とを予測し、予測されたAFエリアを合焦対象エリアとして予測された合焦指標値に基づき合焦動作を行なわせるので、動きのある被写体の場合でも撮影者がカメラを動かして追従することなく、自動的に追尾させて合焦状態で撮影できる。この際、最低3回の画像フレームデータの取得を必要とするが、初期焦点レンズ位置のままでありレンズ移動を要せず、最終的な合焦動作時のみの移動でよいため、高速な合焦が可能となる。
【0043】
なお、本参考例を実施する上では、合焦指標値の予測において、動きのある被写体が近づく方向に移動しているか遠ざかる方向に移動しているかに応じて合焦指標値の予測変化量を異ならせることが好ましい。即ち、被写体位置に対する焦点レンズの駆動量は、被写体が近づく場合と遠ざかる場合とで異なり、近づけば近づくほど焦点レンズの駆動量が大きく、逆に遠ざかれば遠ざかるほど焦点レンズの駆動量が小さくなることから、抽出された動体被写体が遠ざかるときの予測割合を近づくときの予測割合よりも小さくすれば、合焦指標値の合焦予測位置を実情に即して非線形的に求めることができ、より適正かつ高速な合焦動作が可能となる。図6R>6はこのような点を考慮した変形例を示し、図4に対応して被写体が近づく例であるので、合焦指標値の変化量を5から非線形的に1.4倍した7とし、最新の合焦指標値10にこの変化量7を加算してなる17を合焦指標値の予測値としている。逆に、被写体が遠ざかる場合であれば、合焦指標値変化量の1/1.4倍を最新の合焦指標値から減算して合焦指標値の予測値とする。
【0044】
これによれば、合焦指標値の合焦予測位置を実情に即して非線形的に求めることができ、より適正かつ高速な合焦動作が可能となる。なお、係数としての1.4や1/1.4は一例に過ぎず、画像フレームデータを取得する時間間隔等に応じて適宜設定すればよい。
【0045】
本発明の第三の参考例を図1、図7及び図8に基づいて説明する。本参考例では、前述した第一又は第二の参考例のような動体追尾機能を有するとともに、図1に示すデジタルスチルカメラの構成において、動体追尾を行なうか行なわないかを選択する選択手段としてのアンロック/ロック切換スイッチ21が付加されている。このアンロック/ロック切換スイッチ21はデフォルトとしてはアンロック側に設定されている。
【0046】
このような構成において、操作者が動体追尾に関してアンロック/ロック切換スイッチ21をデフォルトのままとした場合(アンロックを選択した場合…S31のY)、合焦対象となるAFエリアを画像フレームの中央に設定した状態で合焦動作を行なう(S32)。これは、一般的な撮影では、撮影者は被写体を画面中央にもってくることが多いからである。図7に示す例では、動体追尾アンロック時であれば中央部のAFエリアA23を固定的な合焦対象エリアとして合焦動作を行なわせる。この結果、図7に示す例では、スノーマンに合焦状態で撮影できる。即ち、図7に示すような状況下で、撮影者の撮影意図がスノーマンであり、バイクが障害物でしかない場合、前述したような機能により通過中のバイクに合焦することは撮影者にとって不要な動作に他ならないが、動体追尾アンロックによれば意図するスノーマンを合焦状態で撮影できる。
【0047】
一方、操作者が動体追尾に関してアンロック/ロック切換スイッチ21をロック側に切換えた場合(ロックを選択した場合…S31のN)、動体追尾による合焦処理が行なわれる(S33)。この動体追尾による合焦処理は、前述した第一又は第二の参考例のようなAFエリア毎の合焦指標値の算出、差分算出、合焦対象エリアの抽出等を伴う処理である。この結果、図7に示す例では、動きを伴うバイクに合焦状態で撮影できる。即ち、図7に示すような状況下で、撮影者の撮影意図がバイクでありスノーマンは撮影の背景でしかない場合、通過中のバイクに合焦せず、中央部背景のスノーマンに合焦してしまうことは撮影者にとって不要な動作に他ならないが、前述した参考例のような動体追尾ロックによれば意図するバイクを合焦状態で撮影できる。
【0048】
従って、本参考例によれば、撮影者の意図に従い、動きのある被写体を追尾して合焦動作を行なわせながら撮影するか、動きのある被写体に追尾することなく画像フレーム中央等を合焦対象位置として合焦動作させて撮影するかをアンロック/ロック切換スイッチ21の操作により任意に選択することができ、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【0049】
本発明の実施の形態を図1、図9及び図10に基づいて説明する。本実施の形態では、図1に示すデジタルスチルカメラの構成において、液晶パネル8とともに、指定手段としてのエリアグループ選択キー22が付加されている。
【0050】
ここに、本実施の形態では、合焦動作を決定する上で、CCD1により撮像された画像フレームデータについて、予め複数のAFエリアが区分け設定されている。また、本実施の形態のCPU7は、上述の基本的な機能を持ちつつ、撮影者の意図する被写体の適正な撮影を可能とするため、内蔵されたプログラムに従い、後述するように、画像データ取得手段、合焦指標値算出手段、表示手段及びグループ化手段の機能を実行し得る。
【0051】
図9の模式図及び図10のフローチャートを参照して動的被写体を検出する方法を説明する。図9(a)は初期焦点レンズ位置においてCCD1により撮像して得られた画像フレームデータ例を示している。ここで、画像フレームは例えば1280×1024画素からなる。このような画像フレームは、256×256画素を1つのエリアとしてタイル状に連続する5×4=20個のAFエリアA11,A12,…,A45に仕分け設定されている。
【0052】
このような前提の下、本実施の形態による合焦動作の概略を説明する。まず、撮影待機状態において(S41のY)、初期焦点レンズ位置にて撮像することにより1つの画像フレームデータを取得し(S42)、取得した画像フレームデータについてAFエリア毎に復元フィルタを利用した画像復元に基づき合焦指標値を算出する(S43)。より具体的には、各AFエリアでは点像半径に対応した複数の復元フィルタを用いて画像データの復元を行ない、各復元フィルタ毎に復元された画像データ群について各々の評価値群を算出し、これらのAF評価値群から当該AFエリアにおける合焦指標値が算出される。ここに、ステップS42の処理が画像データ取得手段の機能として実行され、1つの画像フレームデータが得られる。また、ステップS43の処理が合焦指標値算出手段の機能として実行される。図9(b)は図9(a)のような画像フレームデータ例に対して各AFエリア毎に算出された合焦指標値例を示す。
【0053】
各AFエリアについて合焦指標値を算出した後、所定の閾値、ここでは5ステップ区切りの2つの閾値5,10を用いて、AFエリアをその合焦指標値に基づき3つのグループに分ける(S44)。このステップS44の処理がグループ化手段の機能として実行される。図9(c)は図9(b)のような合焦指標値の場合のグループ分け例を示している。図9(a)の画像に対応させれば、空の部分(グループ)、家の部分(グループ2)、車の部分(グループ3)というように被写体の候補が抽出される。
【0054】
ここで、初期焦点レンズ位置で撮像された図9(a)に示すような画像は液晶パネル8に表示されるが、図9(c)に示すようにグループ分けされたAFエリア群の外郭もその液晶パネル8の画像上に撮影者が認識し得るようにインポーズさせる(S45)。このステップS45の処理が表示手段の機能として実行される。これにより、撮影者は画像フレーム内の被写体候補とAFエリア群との対応関係を知ることができる。そこで、撮影者により撮影したい被写体が属するAFエリア群がエリアグループ選択キー22の操作により選択されると(S46のY)、選択指定されたAFエリア群を合焦対象エリアとして焦点レンズ制御部9等を通じて通常通り合焦動作が行われ(S47)、レリーズ時には意図した被写体を合焦状態で撮影できる。より詳細には、選択指定されたAFエリア群中の中央のAFエリアが合焦対象エリアとされる。例えば、図9(c)に示すようにグループ分けされたAFエリア群の例で、グループ3の車部分が選択指定された場合であれば、AFエリアA43,A44,A45が合焦対象エリアの候補となるが、中央のAFエリアA44が合焦対象エリアとされる。同様に、グループ2が選択された場合であれば、AFエリアA33が合焦対象エリアとされる。
【0055】
従って、本実施の形態によれば、1画面をなす画像フレームについて複数のAFエリアに区分けするとともに、1つの画像フレームデータを取得して、各AFエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでAFエリアをグループ分けし、グループ分けされたAFエリア群中から選択指定されたグループのAFエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【0056】
なお、これらの実施の形態に示した画像フレームデータの画素数、AFエリアの大きさ、形状、数などは一例に過ぎず、また、AFエリアの区分けも重複しないようにタイル状に区分けした例で示したが、部分的に重複したような区分けであってもよい。
【0057】
【発明の効果】
請求項1記載の発明によれば、1画面をなす画像フレームについて複数のAFエリアに区分けするとともに、1つの画像フレームデータを取得して、各AFエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでAFエリアをグループ分けし、グループ分けされたAFエリア群中から選択指定されたグループのAFエリア部分を合焦対象エリアとして合焦動作を行なわせるので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【0058】
請求項2記載の発明によれば、複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【0059】
請求項3記載の発明によれば、選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【0060】
請求項4記載の発明によれば、1画面をなす画像フレームについて複数のAFエリアに区分けするとともに、1つの画像フレームデータを取得して、各AFエリア毎に復元フィルタを用いて合焦指標値を算出し所定の閾値を用いることでAFエリアをグループ分けし、グループ分けされたAFエリア群中から選択指定されたグループのAFエリア部分を合焦対象エリアとして合焦動作を行なわせるようにしたので、撮影者の意図に沿った被写体の選択とその撮影が可能となる。
【0061】
請求項5記載の発明によれば、複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出するので、高速かつ正確な合焦が可能となる。
【0062】
請求項6記載の発明によれば、選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとすることで、撮影者の意図に沿った被写体を合焦状態で撮影することが可能となる。
【図面の簡単な説明】
【図1】本発明の第一の参考例のデジタルカメラの概略構成例を示すブロック図である。
【図2】画像フレームデータ、AFエリア等を説明するための模式図である。
【図3】合焦動作の制御例を示すフローチャートである。
【図4】本発明の第二の参考例の画像フレームデータ、AFエリア等を説明するための模式図である。
【図5】合焦動作の制御例を示すフローチャートである。
【図6】変形例の画像フレームデータ、AFエリア等を説明するための模式図である。
【図7】本発明の第三の参考例の画像フレームデータ、AFエリア等を説明するための模式図である。
【図8】合焦動作の制御例を示すフローチャートである。
【図9】本発明の実施の形態の画像フレームデータ、AFエリア等を説明するための模式図である。
【図10】合焦動作の制御例を示すフローチャートである。
Claims (6)
- 撮影した画像データを複数のAFエリアに分割し、
前記撮影した画像データから、前記複数のAFエリア毎に各々合焦指標値を算出し、
前記算出された合焦指標値に基づき前記複数のAFエリアを所定の閾値に応じてAFエリア群にグループ分けし、
前記AFエリア群を、前記撮影した画像データと重ねて表示し、
前記AFエリア群の中から合焦対象エリアとするAFエリア群を撮影者に選択させ、
前記選択させたAFエリア群を合焦対象エリアとして合焦動作を行うことを特徴とする自動焦点制御装置の合焦動作決定方法。 - 前記複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出することを特徴とする請求項1に記載の自動焦点制御装置の合焦動作決定方法。
- 前記選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとして合焦動作を行うことを特徴とする請求項1に記載の自動焦点制御装置の合焦動作決定方法。
- 撮影した画像データを複数のAFエリアに分割するAFエリア設定手段と、
前記撮影した画像データから、前記AFエリア設定手段で設定した複数のAFエリア毎に各々合焦指標値を算出する合焦指標値算出手段と、
前記合焦指標値算出手段で算出した合焦指標値に基づき、前記複数のAFエリアを所定の閾値に応じてAFエリア群にグループ分けするAFエリア群設定手段と、
前記AFエリア群設定手段でグループ分けしたAFエリア群を、前記撮影した画像データと重ねて表示するAFエリア群表示手段と、
前記AFエリア群の中から合焦対象エリアとするAFエリア群を撮影者に選択させるAFエリア群選択手段とを備え、前記AFエリア群選択手段で選択されたAFエリア群を合焦対象エリアとして合焦動作を行うことを特徴とする自動焦点制御装置。 - 前記合焦指標値算出手段は、前記複数のAFエリアの輝度信号の空間成分を周波数成分に変換し、さらに空間成分に逆変換することで合焦指標値を算出することを特徴とする請求項4記載の自動焦点制御装置。
- 前記AFエリア群選択手段は、前記選択させたAFエリア群中の中央のAFエリアを合焦対象エリアとして合焦動作を行うことを特徴とする請求項4に記載の自動焦点制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36460798A JP3732665B2 (ja) | 1998-12-22 | 1998-12-22 | 自動焦点制御装置及びその合焦動作決定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36460798A JP3732665B2 (ja) | 1998-12-22 | 1998-12-22 | 自動焦点制御装置及びその合焦動作決定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000188713A JP2000188713A (ja) | 2000-07-04 |
JP3732665B2 true JP3732665B2 (ja) | 2006-01-05 |
Family
ID=18482233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36460798A Expired - Fee Related JP3732665B2 (ja) | 1998-12-22 | 1998-12-22 | 自動焦点制御装置及びその合焦動作決定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3732665B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101408339B1 (ko) | 2009-02-18 | 2014-07-02 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치 및 그 제어 방법 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3918788B2 (ja) | 2003-08-06 | 2007-05-23 | コニカミノルタフォトイメージング株式会社 | 撮像装置、およびプログラム |
JP4525089B2 (ja) * | 2004-01-27 | 2010-08-18 | フジノン株式会社 | オートフォーカスシステム |
JP4574220B2 (ja) * | 2004-04-30 | 2010-11-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
US8154605B2 (en) | 2006-08-30 | 2012-04-10 | Nikon Corporation | Image tracking apparatus, image tracking method and camera for improved recognition of a target object |
JP5188071B2 (ja) | 2007-02-08 | 2013-04-24 | キヤノン株式会社 | 焦点調節装置、撮像装置及び、焦点調節方法 |
JP4987526B2 (ja) * | 2007-03-22 | 2012-07-25 | 富士フイルム株式会社 | オートフォーカスシステム |
JP2009077321A (ja) * | 2007-09-25 | 2009-04-09 | Casio Comput Co Ltd | 画像記録装置及び画像記録処理方法 |
JP4985569B2 (ja) * | 2008-07-08 | 2012-07-25 | 株式会社Jvcケンウッド | 撮像装置および撮像方法 |
JP5272551B2 (ja) * | 2008-07-15 | 2013-08-28 | 株式会社リコー | 撮像装置及び方法 |
JP5211949B2 (ja) * | 2008-09-04 | 2013-06-12 | 富士通株式会社 | 焦点調整装置、焦点調整方法および焦点調整プログラム |
JP4784678B2 (ja) | 2009-04-22 | 2011-10-05 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
WO2012093663A1 (ja) * | 2011-01-06 | 2012-07-12 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP6164978B2 (ja) * | 2013-08-21 | 2017-07-19 | キヤノン株式会社 | 焦点調整装置、その制御方法、および制御プログラム、並びに撮像装置 |
JP5866493B2 (ja) * | 2013-11-19 | 2016-02-17 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP6335503B2 (ja) * | 2013-12-19 | 2018-05-30 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US9686463B2 (en) | 2015-03-10 | 2017-06-20 | Qualcomm Incorporated | Systems and methods for continuous auto focus (CAF) |
KR101786553B1 (ko) * | 2017-03-02 | 2017-10-17 | 주식회사 에스카 | 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템 |
CN114466129A (zh) * | 2020-11-09 | 2022-05-10 | 哲库科技(上海)有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
1998
- 1998-12-22 JP JP36460798A patent/JP3732665B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101408339B1 (ko) | 2009-02-18 | 2014-07-02 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치 및 그 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2000188713A (ja) | 2000-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3732665B2 (ja) | 自動焦点制御装置及びその合焦動作決定方法 | |
JP4823179B2 (ja) | 撮像装置及び撮影制御方法 | |
US8736689B2 (en) | Imaging apparatus and image processing method | |
JP4826028B2 (ja) | 電子カメラ | |
JP5507014B2 (ja) | 動体検出装置及び方法 | |
JP4980982B2 (ja) | 撮像装置、撮像方法、合焦制御方法及びプログラム | |
JP5736796B2 (ja) | 電子カメラ、プログラム及び記録媒体 | |
JP5623256B2 (ja) | 撮像装置、その制御方法及びプログラム | |
US20120300115A1 (en) | Image sensing device | |
JP2008139683A (ja) | 撮像装置及びオートフォーカス制御方法 | |
JP4645413B2 (ja) | 撮像装置 | |
US20100026819A1 (en) | Method and apparatus for compensating for motion of an autofocus area, and autofocusing method and apparatus using the same | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP2006067452A (ja) | 映像記録装置、および電子カメラ | |
JP2011217103A (ja) | 複眼撮影方法および装置 | |
JP3820076B2 (ja) | 自動合焦装置、デジタルカメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体 | |
JP2001255451A (ja) | 自動合焦装置、デジタルカメラ、および携帯情報入力装置 | |
JP5832618B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP4871664B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6071173B2 (ja) | 撮像装置、その制御方法及びプログラム | |
KR20100098122A (ko) | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
JP2009077321A (ja) | 画像記録装置及び画像記録処理方法 | |
JP2019083580A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2006243609A (ja) | オートフォーカス装置 | |
JP7475846B2 (ja) | 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050527 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20050620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051013 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |