JP3980799B2 - 自動合焦装置およびその合焦方法 - Google Patents
自動合焦装置およびその合焦方法 Download PDFInfo
- Publication number
- JP3980799B2 JP3980799B2 JP23320299A JP23320299A JP3980799B2 JP 3980799 B2 JP3980799 B2 JP 3980799B2 JP 23320299 A JP23320299 A JP 23320299A JP 23320299 A JP23320299 A JP 23320299A JP 3980799 B2 JP3980799 B2 JP 3980799B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- point
- color
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
Description
【０００１】
【発明の属する技術分野】
この発明は、自動合焦装置およびその合焦方法に関し、詳細には、ビデオカメラ、デジタルカメラ等の撮像素子を用いた画像入力機器に適用される自動合焦装置およびその合焦方法に関する。
【０００２】
【従来の技術】
近年のデジタルカメラ市場の激化に伴い、低コスト化が要求され部品点数の削減が重要課題となってきている。かかる環境の中、デジタルカメラの主要部品の一つにマイクロプロセッサ（ＤＳＰ含む）があるが、最近のマイクロプロセッサプロセッサは低価格でありながらデジタルカメラのコントローラとしての処理能力を十分に上回る性能に至っている。このため、例えば、銀塩カメラの測距モジュール（ＡＦセンサ）部品の機能を、デジタルカメラでは撮像系＋デジタル信号処理で代用する方向にある。デジタルカメラの合焦方式としては、主なものに、「山登り法」や「相関法」があり、以下、「山登り法」と「相関法」について説明する。
【０００３】
一般に知られている「山登り法」による合焦方式では、画像の取り込み位置でのＡＦ評価値（画像の高周波成分から算出）を得ることができるが、取り込み位置の前方または後方のいずれの方向に合焦点があるのか、また、どの程度の距離に合焦点が存在するのかを検出することは困難である。このため、極大点を避けて合焦位置を検出するには、レンズ移動範囲の全域のＡＦ評価値が必要となるため、この全域分の撮影回数が必要となり、かつ合焦点位置まで戻す操作が加わり、正確な焦点位置を得るまでに時間がかかるという問題がある。
【０００４】
「相関法」には、自己相関法と相互相関法がある。まず、自己相関法による合焦方式では、２つ以上の異なる光束について、１つのフレームに撮像するものであるが、１フレーム分の取り込み画像からフォーカス情報を得ることができる反面、同一データによる相関であるため、自己相関係数の原点位置（合焦点）において非常に高いピーク値を示す結果となる。したがって、合焦点近傍ではこのピーク値によってＡＦ情報が埋もれてしまうため、合焦点近傍では合焦点の検出が困難となり、合焦点近傍では他の方式によって合焦点を検出しなければならないという問題がある。
【０００５】
一方、相互相関法による合焦方式では、２つの異なる光束について、それぞれのＡＦエリアについて撮像するが、これは２つの画像メモリを用意する必要がある反面、自己相関法のような、原点位置に非常に高いピーク値を生じることはない。このことから、合焦点近傍から遠方までこのピーク値に埋もれることなくフォーカス情報を得ることができる。しかしながら、相互相関法では、フォーカス情報を得るためにＡＦ用絞り板で２つの異なる光束を用意する必要があり、撮影時にはこのＡＦ用絞り板は不必要になるといった問題がある。また、ＡＦ用絞り板は開口部サイズが固定であり、イメージセンサで受光する光量を最適化することが困難であるという問題がある。
【０００６】
また、多板式のカラービデオカメラにおいて、被写体光の色収差を利用して合焦点を検出する方法も提案されている。例えば、特開平０７−０８４１７７号公報に記載された「撮像装置」は、撮影レンズからの光速を色分解光学系を介して、複数の色光に分解した後、各々の色光に基づく物体像を各々対応する撮像手段に導光する撮像装置において、該複数の撮像手段のうち１つを基準となる撮像手段とし、該基準となる撮像手段に物体像が合焦するように該撮影レンズ内の少なくとも１部のレンズを駆動させ、その後該基準となる撮像手段以外の撮像手段は、該撮像手段からの信号を焦点検出手段に入射させ、該焦点検出手段からの信号を利用して光軸上の位置を設定したものである。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した特開平０７−０８４１７７号公報に記載された「撮像装置」にあっては、合焦点までの距離の検出を行っていないことから、合焦点に到達するまでに何度も合焦のための撮像が必要となり、上述した「山登り法」と同様に正確な焦点位置を得るまでに時間がかかるという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであり、多板式の撮像素子を採用した自動合焦装置において、簡単な構成で高速な合焦動作が可能な自動合焦装置およびその合焦方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、請求項１に係る発明は、多板式の撮像素子を備えた自動合焦装置において、被写体光を色収差補正して結像するレンズ系と、前記レンズ系を介した被写体光を、各色成分に分離する色分解手段と、撮像エリアの中央部分にＡＦエリアが設定され、前記各色成分を各々受光して、画像データに変換する複数の撮像素子と、前記撮像素子を移動させる撮像素子移動手段と、前記撮像素子移動手段により受光距離が互いに異なる位置となるように移動された前記複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定する合焦位置推定手段と、前記合焦位置推定手段で推定された前記合焦点の距離に基づき、合焦状態にあるか否かを判断する合焦状態判別手段と、前記合焦状態判別手段で合焦状態にないと判断された場合に、前記合焦位置推定手段で推定された前記合焦点の方向に前記合焦点までの距離だけ、前記レンズ系または色分解手段を移動させる駆動手段と、を備えたものである。
【００１５】
また、請求項２に係る発明は、被写体光を色収差補正して結像するレンズ系と、前記レンズ系を介した被写体光を、各色成分に分離する色分解手段と、撮像エリアの中央部分にＡＦエリアが設定され、前記各色成分を各々受光して、画像データに変換する複数の多板式の撮像素子と、前記撮像素子を移動させる撮像素子移動手段とを備えた自動合焦装置において実現される自動合焦方法であって、前記撮像素子移動手段により受光距離が互いに異なる位置となるように移動された前記複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定する合焦位置推定ステップと、前記合焦位置推定ステップで推定された前記合焦点の距離に基づき、合焦状態にあるか否かを判断する合焦状態判別ステップと、前記合焦状態判別ステップで合焦状態にないと判断された場合に、前記合焦位置推定ステップで推定された前記合焦点の方向に前記合焦点までの距離だけ、前記レンズ系または前記色分解手段を移動させる駆動ステップと、を備えたことを特徴とする。
また、請求項３に係る発明は、請求項２に記載の自動合焦方法において、前記合焦位置推定ステップでは、前記点像分布係数の原点ピーク値に基づいて算出したしきい値に基づき断面積を算出し、算出した断面積に基づいて前記点像半径を算出することを特徴とする。
【００１６】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る自動合焦装置をデジタルカメラに適用した好適な実施の形態を、詳細に説明する。
【００１７】
まず、本発明の原理を図１〜図４を参照して説明する。図１は本発明の原理を説明するための説明図、図２はカラーイメージセンサのＡＦエリアを説明するための説明図、図３は焦点の方向および距離の判別方法を説明するための説明図、図４は点像半径と絞り開口径の関係を説明するための図を示す。
【００１８】
図１において、１０１は焦点レンズ、１０２は撮像絞り、１０４Ａ、１０４Ｂ、１０４Ｃは、不図示の色分解プリズム（図５参照）を介して入力されるＲ光、Ｇ光、およびＢ光をそれぞれ受光する白黒用イメージセンサ、ＲｒはＲ色の点像半径、ＲｇはＧ色の点像半径、およびＲｂはＢ色の点像半径を示す。同図では、ＲＧＢ光の光路を示しており、白黒用イメージセンサ１０４が後ピンとなる位置にある場合と、前ピンとなる位置にある場合とを示している。なお、図１においては、説明を簡単にするために、３色に分解される各光軸を１つの光軸として示している。また、同図では、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの前方に配置される色分解プリズムの図示を省略している。
【００１９】
同図において、左側から右方向に入射した光は、焦点レンズ１０１を通り、撮像絞り１０２を通過した後、色分解プリズム（不図示）により分解されたＲＧＢ色光を各々白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃで受光する。この場合にフォーカス情報として必要とされるのは、撮影者が合焦したいエリア（ＡＦエリア）の撮像データであり、フレーム全てのデータは必要なく、ＡＦエリアの画像データのみを転送する。
【００２０】
図２は白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４ＣのＡＦエリアを示す図であり、同図に示す如く、ＡＦエリアは、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃのフレーム内の光学系の光軸の中心位置に設定される。本発明では白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃが画素のランダムアクセスが可能に構成されているので、転送対象がＡＦエリアのデータのみとなり、転送時間が大幅に短縮される。
【００２１】
この後、色毎に分離されたＲＧＢの画像データについて、各色毎にＡＦエリアの画像データの点像分布係数を求める。図３は、前ピン（Ａ）、合焦（Ｂ）、後ピン（Ｃ）の場合のＲ色、Ｇ色、Ｂ色の点像分布係数の一例を示している。
【００２２】
図４は、点像半径と絞り開口径の関係を示す図である。同図において、横軸は白黒用イメージセンサ位置（またはレンズ位置）、縦軸は点像半径を示す。同図に示すように、絞り開口径が大きい方が点像半径が大きくなり、また、合焦位置で点像半径が最小となり、絞りの度合いに比例して点像半径の大きさに影響する。
【００２３】
そして、各色毎のＡＦエリアの画像データの点像分布係数、絞り開口径と絞り面受光面距離の情報、およびＧ色画像の点像半径Ｒｇとから合焦点までの距離を推定し、ＲＧＢ色画像の３つの各点像半径の大小関係から合焦点のある方向（前ピンまたは後ピン）を推定する。なお、ここでは、Ｇ色画像の焦点位置を目標焦点距離に選んだ場合を示している。
【００２４】
次に、具体的実施例を図５〜図１５を参照して説明する。図５は本発明に係るデジタルカメラのＡＦ処理系の構成図を示す。同図において、１０１は焦点レンズを示し、フォーカス対象の被写体の被写体光を色収差補正して結像するためのものである。１０２は撮像絞りを示し、焦点レンズ１０１の後側に配置され、焦点レンズ１０１を通過する光束（光量）を制限するためのものである。１０３は、入力される被写体光をＲ光、Ｇ光、およびＢ光に分解する色分解プリズムを示す。１０４Ａ〜１０４Ｃは、色分解プリズム１０３のＲＧＢ各部に配置される白黒用イメージセンサを示し、結像される被写体像を電気信号に変換して画像データとして出力する。この白黒用メージセンサ１０４Ａ〜１０４Ｃは、画素のランダムアクセスが可能となっており、画像フレーム内の任意のエリアの画像データが転送可能となっている。これら焦点レンズ１０１、撮像絞り１０２、色分解プリズム１０３、および白黒用イメージセンサ１０４Ａ〜１０４Ｃは、撮像用光学系を構成する。１１５は、撮像絞り１０２の絞りを調整して自動露出制御を行う自動露出制御部を示す。
【００２５】
１０５はＡＦのための撮像で撮像された各画像フレーム内のＡＦエリアの画像データ（ＲＧＢデータ）を格納するＡＦエリア画像データメモリを示す。１２０はＡＦエリア画像データメモリ１０５に格納された画像データの点像分布係数を算出する点像分布係数算出部を示す。この点像分布係数算出部１２０は、ＡＦエリア画像データメモリ１０５に格納された画像データに２次元窓関数を乗算する窓関数乗算部１０６と、窓関数乗算部１０６で２次元窓関数が乗算された画像データを２次元フーリエ変換する２次元ＦＦＴ部１０７と、２次元ＦＦＴ部１０７でフーリエ変換されたデータの位相操作を行う位相操作部１０８と、位相操作部１０８で位相操作されたデータを、２次元逆フーリエ変換して点像分布係数を算出する２次元ＩＦＦＴ部１０９とを備える。
【００２６】
１１０は点像分布係数算出部１２０で算出された各色毎の点像分布係数を格納する点像分布係数メモリを示す。１１１は点像分布係数算出部１０６で算出された各色毎の点像分布係数に基づき、Ｇ色（基準色）のイメージセンサ１０４Ｂの合焦位置までの方向と距離を算出する距離方向算出部を示す。
【００２７】
１１２は距離方向算出部１１１の演算結果に基づき、焦点レンズ１０１を前後に移動するための焦点調整駆動装置を示す。１１３はＡＦ時と通常の撮影時とで、白黒用イメージセンサ１０４Ａ、１０４Ｂの受光位置の切替を行う撮影／ＡＦ切替装置を示す。１１４は通常の撮影の場合に、撮像された１フレーム分の画像データが各色毎に格納されるフレーム用画像メモリを示す。
【００２８】
なお、ここでは、焦点レンズ１０１を光軸方向に移動させて焦点調整を行う構成を示したが、焦点レンズ１０１を移動させる代わりに、色分解プリズム１０３の方を前後に移動して焦点調整を行うことにしても良い。なお、かかる場合の詳細な構成の説明は省略する。
【００２９】
つぎに、上記図５のデジタルカメラのＡＦ動作および撮影動作を図６〜図８のフローチャートに従って、図９〜図１５を参照しつつ説明する。図６はＡＦ動作および撮影動作を説明するためのフローチャート、図７は図６のＡＦ動作の点像半径算出処理を詳細に説明するためのフローチャート、図８は図６のＡＦ動作の焦点距離方向算出処理を詳細に説明するためのフローチャートを示す。
【００３０】
図９は、通常の撮影時とＡＦ撮影時の白黒用イメージセンサの配置位置を示す図である。図１０は２次元ハミング窓関数を説明するための説明図、図１１は合焦時の点像分布係数を説明するための説明図、図１２はピンボケ時の点像分布係数を説明するための説明図、図１３は点像半径の算出方法を説明するための説明図、図１４は前ピン時の焦点距離Ｌを説明するための説明図、図１５は後ピン時の焦点距離Ｌを説明するための説明図を示す。
【００３１】
図６のフローチャートにおいて、まず、図５に示すデジタルカメラでは、操作者の操作によって、図示しないシャッタボタンが半押しの状態になると、デジタルカメラの撮像用光学系はＡＦセンサとして作動する。そして、ＡＦセンサ動作時には、撮影／ＡＦ切替装置１１３は、Ｒ色、Ｂ色の各白黒用イメージセンサ１０４Ａ、１０４Ｃを、ＡＦ位置に配置する（ステップＳ１０１）。
【００３２】
図９は、通常の撮影時とＡＦ時の白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの配置位置を示す図であり、（Ａ）は通常の撮影時の白黒用イメージセンサの配置位置、（Ｂ）はＡＦ時の白黒用イメージセンサの配置位置を示す。通常の撮影時の場合には、同図（Ａ）に示すように、各白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの受光距離が同じとなるように各白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃを配置する。他方、ＡＦ時には、同図（Ｂ）に示すように、Ｒ色とＢ色の白黒用イメージセンサ１０４Ａ、１０４Ｃの受光距離を、Ｇ色（基準色）の白黒用イメージセンサ１０４Ｂの受光距離と異なるように配置する。具体的には、ＡＦ時には、通常の撮影時に比べて、Ｒ色の白黒用イメージセンサ１０４Ａを矢印ａ方向に移動させて、色分解プリズム１０３のＲ部に近接させる一方、Ｂ色の白黒用イメージセンサ１０４Ｃを矢印ｂ方向に移動させ、色分解プリズム１０３のＢ部から離間させる。
【００３３】
また、露出制御部１１５は、光学系の撮像絞り１０２を使って、外部から白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃに入射する被写体の光量を常に最適となるように露出制御する。この状態で、ＡＦのための撮像を行い（ステップＳ１０２）、被写体光は、焦点レンズ１０１で色収差補正が施され、撮像絞り１０２を通過した後、色分解プリズムによりＲ，Ｇ，Ｂ成分に分解され、それぞれ白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃで受光される。そして、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃ上のＡＦエリア（図２参照）のＲ、Ｇ、Ｂの各画像データが、ＡＦエリア画像データメモリ１０５に転送され、ＡＦエリア画像データメモリ１０５にはＡＦエリアの画像データがＲＧＢ毎に格納される（ステップＳ１０３）。
【００３４】
次に、ＡＦエリア画像データメモリ１０５に格納された各色成分（Ｒ，Ｇ，Ｂ）の画像データに基づいて、各色毎に点像半径Ｒを算出する(ステップＳ１０４〜Ｓ１０８)。点像半径Ｒを算出する方法として、以下ではフーリエ変換を使用して算出する方法を説明する。
【００３５】
まず、点像分布係数算出部１２０では、ＡＦエリア画像データメモリ１０５に格納された各色成分（Ｒ，Ｇ，Ｂ）の画像データに基づいて、各色毎（Ｒ，Ｇ，Ｂ）に点像分布係数を算出する。具体的には、窓関数乗算部１０６は、下式（１）に示す如く、ＡＦエリアの画像データｆ0(ｕ,ｖ)について、画像境界の高周波成分の影響を低減するために、例えば、図１０に示すようなハミング窓等の２次元窓関数ｗ(ｕ,ｖ)を乗じる（ステップＳ１０４）。
【００３６】
ｆ (ｕ,ｖ)＝ｗ(ｕ,ｖ)・ｆ0(ｕ,ｖ)・・・（１）
但し、ｗ(ｕ,ｖ)＝ｗ(ｕ)・ｗ(ｖ)
ｗ(ｕ)＝0.54＋0.46・cos(2πｕ／Ｎ)
ｗ(ｖ)＝0.54＋0.46・cos(2πｖ／Ｎ)
Ｎ：画像サイズ
【００３７】
次に、２次元ＦＦＴ部１０７は、このｆ(ｕ,ｖ)について２次元の離散フーリエ変換ＤＦＴ（実際には高速フーリエ変換ＦＦＴを行う）を行い、周波数領域のデータＦ(Ｕ,Ｖ)を得る（ステップＳ１０５）。
【００３８】
そして、位相操作部１０８は、周波数領域での点像分布係数を複素数Ｈ(Ｕ,Ｖ)とした場合に、このＨ(Ｕ,Ｖ)を求めるために、周波数領域にある画像データＦ(Ｕ,Ｖ)の各位相をゼロに置き換える（ステップＳ１０６）。すなわち、下式（２）、（３）に示す如く、Ｆ(Ｕ,Ｖ)の振幅をＨ(Ｕ,Ｖ)の実部に、またＨ(Ｕ,Ｖ)の虚部をゼロにする。
【００３９】
Re｛Ｈ(Ｕ,Ｖ)｝＝｜Ｆ(Ｕ,Ｖ)｜・・・（２）
Im｛Ｈ(Ｕ,Ｖ)｝＝０ ・・・（３）
但し、｜Ｆ(Ｕ,Ｖ)｜＝√［ Re｛Ｆ(Ｕ,Ｖ)｝2＋ Im｛Ｆ(Ｕ,Ｖ)｝2］
【００４０】
２次元ＩＦＦＴ部１０９は、この結果に対して、２次元の逆離散フーリエ変換ＩＤＦＴ（実際には逆高速フーリエ変換ＩＦＦＴを行う）を行うことにより、点像分布係数ｈ(ｕ,ｖ)を算出する（ステップＳ１０７）、そして、各色毎（Ｒ，Ｇ，Ｂ）に算出された点像分布係数ｈ(ｕ,ｖ)は、点像分布係数メモリ１１０に格納される。
【００４１】
そして、距離方向算出部１１１は、各色の点像分布係数ｈ(ｕ,ｖ)に基づき、各色毎に点像半径Ｒ（Ｒ色の点像半径はＲr、Ｇ色の点像半径はＲｇ、Ｂ色の点像半径はＲbとする）を算出する（ステップＳ１０８）。点像半径Ｒの具体的な算出方法を図７のフローチャートを参照して説明する。なお、点像分布係数ｈ(ｕ,ｖ)は原点においてピーク値を示す。合焦画像から得た点像分布係数の一例を図１１に、ボケ画像から得た点像分布係数の一例を図１２示す。図１１および図１２に示すように、合焦画像の点像分布関数の分布はインパルス形状となり、ボケ画像の点像分布関数の分布はボケの程度に応じて緩やかな円錐形状となる。
【００４２】
図７において、例えばインパルス形状や円錐形状の原点ピーク値を入力し（ステップＳ２０１）、原点ピーク値に基づいて断面しきい値を算出し（ステップＳ２０２）、例えば図１３に示すように、算出した断面しきい値で点像分布係数をスライスした点像分布係数の断面積（断面画素数）Ｓを算出する（ステップＳ２０３）。具体的には、図１３（ａ）に示すように、断面部にあたる画素数をカウントすることにより断面積Ｓを算出する。同図に示す例では、断面積Ｓは「５２」となっている。そして、算出した断面積Ｓに基づき、下式（４）の演算を行うことにより点像半径Ｒを算出し（ステップＳ２０４）、算出した点像半径Ｒを出力する（ステップＳ２０５）。図１３（ｂ）に示す例では、点像半径Ｒは「４」となっている。
【００４３】
Ｒ＝√（Ｓ／π） ・・・（４）
但し、π：円周率
【００４４】
つづいて、図６において、距離方向算出部１１１は、各色毎の点像半径Ｒを算出した後は、焦点方向の判別と焦点距離Ｌの算出を行う（ステップＳ１０９）。図８を参照して、焦点方向の判別と焦点距離の算出方法を具体的に説明する。
ここでは、Ｇ色画像の焦点位置を目標焦点距離に選んだ場合について説明する。
【００４５】
距離方向算出部１１１では、ＲＧＢ画像の各点像半径Ｒｒ：Ｒｇ：Ｒｂの大小関係を判断して合焦点の方向を推定し、さらに、焦点方向に応じて合焦点までの距離を推定する。
【００４６】
具体的には、ＲＧＢ色画像の各点像半径のＲｒ：Ｒｇ：Ｒｂの入力、絞り開口部Ｒｏの入力、絞り受光面距離Ｌｏの入力がなされると（ステップＳ３０１）、ＲＧＢ色画像の各点像半径Ｒｒ：Ｒｇ：Ｒｂの大小関係を判断する（ステップＳ３０２）。Ｒｒ＜Ｒｇ＜Ｒｂの場合には、ステップＳ３０３に移行して、前ピンと推定し（ステップＳ３０３）、焦点距離Ｌについては、絞り開口径Ｒｏ、絞り面受光面距離Ｌｏの情報、およびＧ色画像の点像半径Ｒｇに基づき、下式（５）により、焦点距離Ｌ（Ｇ色の白黒用イメージセンサ１０４Ｂの合焦点までの距離）を算出する。図１４は前ピン時の焦点距離Ｌの一例を示す図である。
【００４７】
Ｌ＝Ｌo・Ｒｇ／（Ｒｏ＋Ｒｇ）・・・（５）
【００４８】
また、ステップＳ３０２において、Ｒｒ＞Ｒｇ＜Ｒｂの場合には、ステップＳ３０４に移行して、合焦と推定し、焦点距離Ｌ＝０と推定する（ステップＳ３０７）。
【００４９】
また、ステップＳ３０２において、Ｒｒ＞Ｒｇ＞Ｒｂの場合には、ステップＳ３０５に移行して、後ピンと推定し、焦点距離Ｌを、絞り開口径Ｒｏ、と絞り面受光面距離Ｌｏの情報、およびＧ色画像の点像半径Ｒｇに基づき、下式（５）により算出する。図１５は、後ピン時の焦点距離Ｌの一例を示す図である。
【００５０】
Ｌ＝Ｌo・Ｒｇ／（Ｒｏ−Ｒｇ）・・・（６）
【００５１】
そして、算出した焦点距離Ｌを出力する（ステップＳ３０９）。つづいて、処理は、図６のステップＳ１１０に移行し、焦点駆動制御装置１１２は、算出した焦点距離Ｌに基づき、合焦状態にあるか否か（Ｇ色の白黒用イメージセンサ１０４Ｂの受光位置と焦点レンズ１０１の合焦点が一致したか否か）を判断し、合焦状態でない場合には、焦点レンズ１０１（または色分解フィルタ１０３）を合焦位置（算出した焦点位置方向に焦点距離Ｌだけ）に速やかに移動した（ステップＳ１１１）後、ステップＳ１０２に戻り、真の合焦位置（合焦状態）に到達したかを判断するためにもう一度同じＡＦ処理を繰り返して、合焦状態にあるか否かを判断し、合焦状態となるまで同じＡＦ処理（ステップＳ１０２〜ステップＳ１１１）を繰り返す。
【００５２】
他方、ステップＳ１１０で合焦であると判断した場合には、撮影／ＡＦ切替装置１１３は、白黒用イメージセンサ１０４Ａ、１０４Ｃを、図９（Ａ）に示すように、通常の撮影時の位置に変更して（ステップＳ１１２）、被写体の撮影の準備完了となり、シャッターボタン全押し待ちの状態になる。この後、シャッターボタンが全押しされると、それに連動して一定時間シャッターが開き、被写体からの光を白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃで受光する。そして、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃから画像データはそれぞれのフレーム用画像メモリ（Ｒ／Ｇ／Ｂ）１１４に転送され、これらのデータはホワイトバランス等の画像処理の後、保存またはモニタ表示される（ステップＳ１１３）。
【００５３】
なお、ＡＦ動作の回数については、焦点レンズ１０１（または色分解フィルタ１０３）の移動開始位置が合焦位置の近傍である場合には、ほぼピントが合っている画像からフォーカス情報を得るために、点像分布係数は図１１に示すような鋭いピークを示し、一回のＡＦ動作で合焦位置の許容範囲内に到達する。他方、焦点レンズ１０１（または色分解フィルタ１０３）の移動開始位置が合焦位置から遠い場合には、ボケた画像からフォーカス情報を得るために、点像分布係数は図１２に示すような緩やかなピークを示し、複数回のＡＦ動作で合焦位置の許容範囲内に到達する。
【００５４】
以上説明したように、本実施の形態においては、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃ撮像エリア（撮像フレーム）の中央部分にＡＦエリアを設定しておき、ＡＦのための撮像では、まず、各受光距離が互いに異なるように白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃを配置し、当該白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃは、焦点レンズ１０１で色収差補正が施され、色分解プリズム１０３で分解された各色成分（Ｒ，Ｇ，Ｂ）を各々受光し、各ＡＦエリアの画像データの各色毎のボケ特性情報（点像分布係数）に基づき、合焦点までの距離と方向を推定し、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの受光位置と焦点レンズ１０１の合焦点が一致するように、焦点レンズ１０１または色分解プリズム１０３を移動した後、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃを各受光距離が同じになる位置に配置し、通常の撮影をこととしたので、一回のＡＦのための撮像のみで焦点位置までの距離と方向の情報を得ることができ、速やかに合焦させることが可能となる。また、被写体の動きに追従させて合焦させることが可能となる。
【００５５】
また、本実施の形態１においては、各色の点像半径の大きさを比較して、焦点方向を判別する構成としたので、フィルタ方式で高周波成分の大きさによって焦点方向を判別する方法に比して、被写体の色成分に影響されにくいという効果を奏する。
【００５６】
また、実施の形態１においては、点像分布係数を算出する方法として、ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換により周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を得ることとしたので、ＤＦＴ（離散フーリエ変換）やＦＦＴ（高速フーリエ変換）を適用でき、ＤＳＰ(Digital Signal Processor)等のデジタル集積回路に適している。
【００５７】
また、実施の形態１においては、距離方向算出部１１１は、点像分布係数の原点のピーク値に基づき算出したしきい値に基づき断面積を算出し、この断面積に基づいて点像半径を得ることとしたので、実際のカメラの絞り開口部のように、点像断面が円形にならない多角形のような場合でも、円形近似した場合の点像半径が求めることができ、点像半径を簡単かつ高精度に算出することが可能となる。
【００５８】
なお、本発明は、上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。
【００５９】
また、上記した実施の形態では、デジタルカメラを例示して説明したが、本発明は原理上、任意の焦点レンズ位置において一回の撮像のみで合焦位置までの距離と方向の情報を得ることができ、追跡サーボとして利用することが可能であるので、デジタルビデオカメラにも適用することが可能である。
【００６０】
また、上記した実施の形態では、焦点制御のための点像分布係数を求めるのに２次元の離散フーリエ変換（ＤＦＴ）または高速フーリエ変換（ＦＦＴ）によるデジタル信号処理を適用する。これらの演算はカメラコントローラ用プロセッサの余剰能力を利用したり、またはＩＰＰ(Image Pre Processor)等の集積回路内に演算回路を設けてもよい。また、窓関数については計算を省くためにｗ(ｕ,ｖ)の一部をテーブルとして記憶しておき、係数乗算のみを行うことにしても良い。
【００６１】
【発明の効果】
請求項１に係る発明によれば、レンズ系により被写体光を色収差補正して結像し、色分解手段によりレンズ系を介した被写体光を各色成分に分離し、複数の撮像素子は各々撮像エリアの中央部分にＡＦエリアが設定され、各色成分を各々受光して、画像データに変換し、撮像素子移動手段は複数の撮像素子を移動させ、合焦位置推定手段は撮像素子移動手段により受光距離が互いに異なる位置となるように移動された複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定し、合焦状態判別手段は合焦位置推定手段で推定された前記合焦点の距離に基づき合焦状態にあるか否かを判断し、駆動手段は合焦状態判別手段で合焦状態にないと判断された場合に、合焦位置推定手段で推定された前記合焦点の方向に前記合焦点までの距離だけ、レンズ系または色分解手段を移動させることとしたので、多板式の撮像素子において、一回のＡＦのための撮像のみで焦点位置までの距離と方向の情報を得ることができ、速やかに合焦させることが可能となる。また、被写体の動きに追従させて合焦させることが可能となる。さらに、各色の点像半径の大きさに基づいて、焦点方向を判別する構成としたので、フィルタ方式で高周波成分の大きさによって焦点方向を判別する方法に比して、被写体の色成分に影響されにくいという効果を奏する。
【００６７】
また、請求項２に係る発明によれば、多板式の撮像素子において、一回のＡＦのための撮像のみで焦点位置までの距離と方向の情報を得ることができ、速やかに合焦させることが可能となる。また、被写体の動きに追従させて合焦させることが可能となる。さらに、各色の点像半径の大きさに基づいて、焦点方向を判別する構成としたので、フィルタ方式で高周波成分の大きさによって焦点方向を判別する方法に比して、被写体の色成分に影響されにくいという効果を奏する。
また、請求項３に係る発明によれば、請求項２に記載の発明において、実際のカメラの絞り開口部のように、点像断面が円形にならない多角形のような場合でも、円形近似した場合の点像半径が求めることができ、点像半径を簡単かつ高精度に算出することが可能となる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための説明図である。
【図２】白黒用イメージセンサのＡＦエリアを説明するための説明図である。
【図３】焦点の方向および距離の判別方法を説明するための説明図である。
【図４】点像半径と絞り開口径の関係を説明するための図である。
【図５】本発明に係るデジタルカメラのＡＦ処理系の構成図である。
【図６】図５のデジタルカメラのＡＦ動作および撮影動作を説明するためのフローチャートである。
【図７】図７は図６のフローチャートの点像半径算出処理を詳細に説明するためのフローチャートである。
【図８】図８は図６のフローチャートの焦点距離方向算出処理を詳細に説明するためのフローチャートである。
【図９】白黒用イメージセンサの配置を説明するための説明図である。
【図１０】２次元ハミング窓関数を説明するための説明図である。
【図１１】合焦時の点像分布係数を説明するための説明図である。
【図１２】ピンボケ時の点像分布係数を説明するための説明図である。
【図１３】点像半径の算出方法を説明するための説明図である。
【図１４】前ピン時の焦点距離Ｌを説明するための説明図である。
【図１５】後ピン時の焦点距離Ｌを説明するための説明図である。
【符号の説明】
１０１ 焦点レンズ
１０２ 撮像絞り
１０３ 色分解プリズム
１０４Ａ Ｒ色の白黒用イメージセンサ
１０４Ｂ Ｇ色の白黒用イメージセンサ
１０４Ｃ Ｂ色の白黒用イメージセンサ
１０５ ＡＦエリア画像データメモリ
１０６ 窓関数乗算部
１０７ ２次元ＦＦＴ部
１０８ 位相操作部
１０９ ２次元ＩＦＦＴ部
１１０ 点像分布係数メモリ
１１１ 距離方向算出部
１１２ 焦点調整駆動装置
１１３ 撮影／ＡＦ切替装置
１１４ フレーム用画像メモリ
１１５ 自動露出制御部
１２０ 点像分布係数算出部
【発明の属する技術分野】
この発明は、自動合焦装置およびその合焦方法に関し、詳細には、ビデオカメラ、デジタルカメラ等の撮像素子を用いた画像入力機器に適用される自動合焦装置およびその合焦方法に関する。
【０００２】
【従来の技術】
近年のデジタルカメラ市場の激化に伴い、低コスト化が要求され部品点数の削減が重要課題となってきている。かかる環境の中、デジタルカメラの主要部品の一つにマイクロプロセッサ（ＤＳＰ含む）があるが、最近のマイクロプロセッサプロセッサは低価格でありながらデジタルカメラのコントローラとしての処理能力を十分に上回る性能に至っている。このため、例えば、銀塩カメラの測距モジュール（ＡＦセンサ）部品の機能を、デジタルカメラでは撮像系＋デジタル信号処理で代用する方向にある。デジタルカメラの合焦方式としては、主なものに、「山登り法」や「相関法」があり、以下、「山登り法」と「相関法」について説明する。
【０００３】
一般に知られている「山登り法」による合焦方式では、画像の取り込み位置でのＡＦ評価値（画像の高周波成分から算出）を得ることができるが、取り込み位置の前方または後方のいずれの方向に合焦点があるのか、また、どの程度の距離に合焦点が存在するのかを検出することは困難である。このため、極大点を避けて合焦位置を検出するには、レンズ移動範囲の全域のＡＦ評価値が必要となるため、この全域分の撮影回数が必要となり、かつ合焦点位置まで戻す操作が加わり、正確な焦点位置を得るまでに時間がかかるという問題がある。
【０００４】
「相関法」には、自己相関法と相互相関法がある。まず、自己相関法による合焦方式では、２つ以上の異なる光束について、１つのフレームに撮像するものであるが、１フレーム分の取り込み画像からフォーカス情報を得ることができる反面、同一データによる相関であるため、自己相関係数の原点位置（合焦点）において非常に高いピーク値を示す結果となる。したがって、合焦点近傍ではこのピーク値によってＡＦ情報が埋もれてしまうため、合焦点近傍では合焦点の検出が困難となり、合焦点近傍では他の方式によって合焦点を検出しなければならないという問題がある。
【０００５】
一方、相互相関法による合焦方式では、２つの異なる光束について、それぞれのＡＦエリアについて撮像するが、これは２つの画像メモリを用意する必要がある反面、自己相関法のような、原点位置に非常に高いピーク値を生じることはない。このことから、合焦点近傍から遠方までこのピーク値に埋もれることなくフォーカス情報を得ることができる。しかしながら、相互相関法では、フォーカス情報を得るためにＡＦ用絞り板で２つの異なる光束を用意する必要があり、撮影時にはこのＡＦ用絞り板は不必要になるといった問題がある。また、ＡＦ用絞り板は開口部サイズが固定であり、イメージセンサで受光する光量を最適化することが困難であるという問題がある。
【０００６】
また、多板式のカラービデオカメラにおいて、被写体光の色収差を利用して合焦点を検出する方法も提案されている。例えば、特開平０７−０８４１７７号公報に記載された「撮像装置」は、撮影レンズからの光速を色分解光学系を介して、複数の色光に分解した後、各々の色光に基づく物体像を各々対応する撮像手段に導光する撮像装置において、該複数の撮像手段のうち１つを基準となる撮像手段とし、該基準となる撮像手段に物体像が合焦するように該撮影レンズ内の少なくとも１部のレンズを駆動させ、その後該基準となる撮像手段以外の撮像手段は、該撮像手段からの信号を焦点検出手段に入射させ、該焦点検出手段からの信号を利用して光軸上の位置を設定したものである。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した特開平０７−０８４１７７号公報に記載された「撮像装置」にあっては、合焦点までの距離の検出を行っていないことから、合焦点に到達するまでに何度も合焦のための撮像が必要となり、上述した「山登り法」と同様に正確な焦点位置を得るまでに時間がかかるという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであり、多板式の撮像素子を採用した自動合焦装置において、簡単な構成で高速な合焦動作が可能な自動合焦装置およびその合焦方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、請求項１に係る発明は、多板式の撮像素子を備えた自動合焦装置において、被写体光を色収差補正して結像するレンズ系と、前記レンズ系を介した被写体光を、各色成分に分離する色分解手段と、撮像エリアの中央部分にＡＦエリアが設定され、前記各色成分を各々受光して、画像データに変換する複数の撮像素子と、前記撮像素子を移動させる撮像素子移動手段と、前記撮像素子移動手段により受光距離が互いに異なる位置となるように移動された前記複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定する合焦位置推定手段と、前記合焦位置推定手段で推定された前記合焦点の距離に基づき、合焦状態にあるか否かを判断する合焦状態判別手段と、前記合焦状態判別手段で合焦状態にないと判断された場合に、前記合焦位置推定手段で推定された前記合焦点の方向に前記合焦点までの距離だけ、前記レンズ系または色分解手段を移動させる駆動手段と、を備えたものである。
【００１５】
また、請求項２に係る発明は、被写体光を色収差補正して結像するレンズ系と、前記レンズ系を介した被写体光を、各色成分に分離する色分解手段と、撮像エリアの中央部分にＡＦエリアが設定され、前記各色成分を各々受光して、画像データに変換する複数の多板式の撮像素子と、前記撮像素子を移動させる撮像素子移動手段とを備えた自動合焦装置において実現される自動合焦方法であって、前記撮像素子移動手段により受光距離が互いに異なる位置となるように移動された前記複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定する合焦位置推定ステップと、前記合焦位置推定ステップで推定された前記合焦点の距離に基づき、合焦状態にあるか否かを判断する合焦状態判別ステップと、前記合焦状態判別ステップで合焦状態にないと判断された場合に、前記合焦位置推定ステップで推定された前記合焦点の方向に前記合焦点までの距離だけ、前記レンズ系または前記色分解手段を移動させる駆動ステップと、を備えたことを特徴とする。
また、請求項３に係る発明は、請求項２に記載の自動合焦方法において、前記合焦位置推定ステップでは、前記点像分布係数の原点ピーク値に基づいて算出したしきい値に基づき断面積を算出し、算出した断面積に基づいて前記点像半径を算出することを特徴とする。
【００１６】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る自動合焦装置をデジタルカメラに適用した好適な実施の形態を、詳細に説明する。
【００１７】
まず、本発明の原理を図１〜図４を参照して説明する。図１は本発明の原理を説明するための説明図、図２はカラーイメージセンサのＡＦエリアを説明するための説明図、図３は焦点の方向および距離の判別方法を説明するための説明図、図４は点像半径と絞り開口径の関係を説明するための図を示す。
【００１８】
図１において、１０１は焦点レンズ、１０２は撮像絞り、１０４Ａ、１０４Ｂ、１０４Ｃは、不図示の色分解プリズム（図５参照）を介して入力されるＲ光、Ｇ光、およびＢ光をそれぞれ受光する白黒用イメージセンサ、ＲｒはＲ色の点像半径、ＲｇはＧ色の点像半径、およびＲｂはＢ色の点像半径を示す。同図では、ＲＧＢ光の光路を示しており、白黒用イメージセンサ１０４が後ピンとなる位置にある場合と、前ピンとなる位置にある場合とを示している。なお、図１においては、説明を簡単にするために、３色に分解される各光軸を１つの光軸として示している。また、同図では、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの前方に配置される色分解プリズムの図示を省略している。
【００１９】
同図において、左側から右方向に入射した光は、焦点レンズ１０１を通り、撮像絞り１０２を通過した後、色分解プリズム（不図示）により分解されたＲＧＢ色光を各々白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃで受光する。この場合にフォーカス情報として必要とされるのは、撮影者が合焦したいエリア（ＡＦエリア）の撮像データであり、フレーム全てのデータは必要なく、ＡＦエリアの画像データのみを転送する。
【００２０】
図２は白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４ＣのＡＦエリアを示す図であり、同図に示す如く、ＡＦエリアは、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃのフレーム内の光学系の光軸の中心位置に設定される。本発明では白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃが画素のランダムアクセスが可能に構成されているので、転送対象がＡＦエリアのデータのみとなり、転送時間が大幅に短縮される。
【００２１】
この後、色毎に分離されたＲＧＢの画像データについて、各色毎にＡＦエリアの画像データの点像分布係数を求める。図３は、前ピン（Ａ）、合焦（Ｂ）、後ピン（Ｃ）の場合のＲ色、Ｇ色、Ｂ色の点像分布係数の一例を示している。
【００２２】
図４は、点像半径と絞り開口径の関係を示す図である。同図において、横軸は白黒用イメージセンサ位置（またはレンズ位置）、縦軸は点像半径を示す。同図に示すように、絞り開口径が大きい方が点像半径が大きくなり、また、合焦位置で点像半径が最小となり、絞りの度合いに比例して点像半径の大きさに影響する。
【００２３】
そして、各色毎のＡＦエリアの画像データの点像分布係数、絞り開口径と絞り面受光面距離の情報、およびＧ色画像の点像半径Ｒｇとから合焦点までの距離を推定し、ＲＧＢ色画像の３つの各点像半径の大小関係から合焦点のある方向（前ピンまたは後ピン）を推定する。なお、ここでは、Ｇ色画像の焦点位置を目標焦点距離に選んだ場合を示している。
【００２４】
次に、具体的実施例を図５〜図１５を参照して説明する。図５は本発明に係るデジタルカメラのＡＦ処理系の構成図を示す。同図において、１０１は焦点レンズを示し、フォーカス対象の被写体の被写体光を色収差補正して結像するためのものである。１０２は撮像絞りを示し、焦点レンズ１０１の後側に配置され、焦点レンズ１０１を通過する光束（光量）を制限するためのものである。１０３は、入力される被写体光をＲ光、Ｇ光、およびＢ光に分解する色分解プリズムを示す。１０４Ａ〜１０４Ｃは、色分解プリズム１０３のＲＧＢ各部に配置される白黒用イメージセンサを示し、結像される被写体像を電気信号に変換して画像データとして出力する。この白黒用メージセンサ１０４Ａ〜１０４Ｃは、画素のランダムアクセスが可能となっており、画像フレーム内の任意のエリアの画像データが転送可能となっている。これら焦点レンズ１０１、撮像絞り１０２、色分解プリズム１０３、および白黒用イメージセンサ１０４Ａ〜１０４Ｃは、撮像用光学系を構成する。１１５は、撮像絞り１０２の絞りを調整して自動露出制御を行う自動露出制御部を示す。
【００２５】
１０５はＡＦのための撮像で撮像された各画像フレーム内のＡＦエリアの画像データ（ＲＧＢデータ）を格納するＡＦエリア画像データメモリを示す。１２０はＡＦエリア画像データメモリ１０５に格納された画像データの点像分布係数を算出する点像分布係数算出部を示す。この点像分布係数算出部１２０は、ＡＦエリア画像データメモリ１０５に格納された画像データに２次元窓関数を乗算する窓関数乗算部１０６と、窓関数乗算部１０６で２次元窓関数が乗算された画像データを２次元フーリエ変換する２次元ＦＦＴ部１０７と、２次元ＦＦＴ部１０７でフーリエ変換されたデータの位相操作を行う位相操作部１０８と、位相操作部１０８で位相操作されたデータを、２次元逆フーリエ変換して点像分布係数を算出する２次元ＩＦＦＴ部１０９とを備える。
【００２６】
１１０は点像分布係数算出部１２０で算出された各色毎の点像分布係数を格納する点像分布係数メモリを示す。１１１は点像分布係数算出部１０６で算出された各色毎の点像分布係数に基づき、Ｇ色（基準色）のイメージセンサ１０４Ｂの合焦位置までの方向と距離を算出する距離方向算出部を示す。
【００２７】
１１２は距離方向算出部１１１の演算結果に基づき、焦点レンズ１０１を前後に移動するための焦点調整駆動装置を示す。１１３はＡＦ時と通常の撮影時とで、白黒用イメージセンサ１０４Ａ、１０４Ｂの受光位置の切替を行う撮影／ＡＦ切替装置を示す。１１４は通常の撮影の場合に、撮像された１フレーム分の画像データが各色毎に格納されるフレーム用画像メモリを示す。
【００２８】
なお、ここでは、焦点レンズ１０１を光軸方向に移動させて焦点調整を行う構成を示したが、焦点レンズ１０１を移動させる代わりに、色分解プリズム１０３の方を前後に移動して焦点調整を行うことにしても良い。なお、かかる場合の詳細な構成の説明は省略する。
【００２９】
つぎに、上記図５のデジタルカメラのＡＦ動作および撮影動作を図６〜図８のフローチャートに従って、図９〜図１５を参照しつつ説明する。図６はＡＦ動作および撮影動作を説明するためのフローチャート、図７は図６のＡＦ動作の点像半径算出処理を詳細に説明するためのフローチャート、図８は図６のＡＦ動作の焦点距離方向算出処理を詳細に説明するためのフローチャートを示す。
【００３０】
図９は、通常の撮影時とＡＦ撮影時の白黒用イメージセンサの配置位置を示す図である。図１０は２次元ハミング窓関数を説明するための説明図、図１１は合焦時の点像分布係数を説明するための説明図、図１２はピンボケ時の点像分布係数を説明するための説明図、図１３は点像半径の算出方法を説明するための説明図、図１４は前ピン時の焦点距離Ｌを説明するための説明図、図１５は後ピン時の焦点距離Ｌを説明するための説明図を示す。
【００３１】
図６のフローチャートにおいて、まず、図５に示すデジタルカメラでは、操作者の操作によって、図示しないシャッタボタンが半押しの状態になると、デジタルカメラの撮像用光学系はＡＦセンサとして作動する。そして、ＡＦセンサ動作時には、撮影／ＡＦ切替装置１１３は、Ｒ色、Ｂ色の各白黒用イメージセンサ１０４Ａ、１０４Ｃを、ＡＦ位置に配置する（ステップＳ１０１）。
【００３２】
図９は、通常の撮影時とＡＦ時の白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの配置位置を示す図であり、（Ａ）は通常の撮影時の白黒用イメージセンサの配置位置、（Ｂ）はＡＦ時の白黒用イメージセンサの配置位置を示す。通常の撮影時の場合には、同図（Ａ）に示すように、各白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの受光距離が同じとなるように各白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃを配置する。他方、ＡＦ時には、同図（Ｂ）に示すように、Ｒ色とＢ色の白黒用イメージセンサ１０４Ａ、１０４Ｃの受光距離を、Ｇ色（基準色）の白黒用イメージセンサ１０４Ｂの受光距離と異なるように配置する。具体的には、ＡＦ時には、通常の撮影時に比べて、Ｒ色の白黒用イメージセンサ１０４Ａを矢印ａ方向に移動させて、色分解プリズム１０３のＲ部に近接させる一方、Ｂ色の白黒用イメージセンサ１０４Ｃを矢印ｂ方向に移動させ、色分解プリズム１０３のＢ部から離間させる。
【００３３】
また、露出制御部１１５は、光学系の撮像絞り１０２を使って、外部から白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃに入射する被写体の光量を常に最適となるように露出制御する。この状態で、ＡＦのための撮像を行い（ステップＳ１０２）、被写体光は、焦点レンズ１０１で色収差補正が施され、撮像絞り１０２を通過した後、色分解プリズムによりＲ，Ｇ，Ｂ成分に分解され、それぞれ白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃで受光される。そして、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃ上のＡＦエリア（図２参照）のＲ、Ｇ、Ｂの各画像データが、ＡＦエリア画像データメモリ１０５に転送され、ＡＦエリア画像データメモリ１０５にはＡＦエリアの画像データがＲＧＢ毎に格納される（ステップＳ１０３）。
【００３４】
次に、ＡＦエリア画像データメモリ１０５に格納された各色成分（Ｒ，Ｇ，Ｂ）の画像データに基づいて、各色毎に点像半径Ｒを算出する(ステップＳ１０４〜Ｓ１０８)。点像半径Ｒを算出する方法として、以下ではフーリエ変換を使用して算出する方法を説明する。
【００３５】
まず、点像分布係数算出部１２０では、ＡＦエリア画像データメモリ１０５に格納された各色成分（Ｒ，Ｇ，Ｂ）の画像データに基づいて、各色毎（Ｒ，Ｇ，Ｂ）に点像分布係数を算出する。具体的には、窓関数乗算部１０６は、下式（１）に示す如く、ＡＦエリアの画像データｆ0(ｕ,ｖ)について、画像境界の高周波成分の影響を低減するために、例えば、図１０に示すようなハミング窓等の２次元窓関数ｗ(ｕ,ｖ)を乗じる（ステップＳ１０４）。
【００３６】
ｆ (ｕ,ｖ)＝ｗ(ｕ,ｖ)・ｆ0(ｕ,ｖ)・・・（１）
但し、ｗ(ｕ,ｖ)＝ｗ(ｕ)・ｗ(ｖ)
ｗ(ｕ)＝0.54＋0.46・cos(2πｕ／Ｎ)
ｗ(ｖ)＝0.54＋0.46・cos(2πｖ／Ｎ)
Ｎ：画像サイズ
【００３７】
次に、２次元ＦＦＴ部１０７は、このｆ(ｕ,ｖ)について２次元の離散フーリエ変換ＤＦＴ（実際には高速フーリエ変換ＦＦＴを行う）を行い、周波数領域のデータＦ(Ｕ,Ｖ)を得る（ステップＳ１０５）。
【００３８】
そして、位相操作部１０８は、周波数領域での点像分布係数を複素数Ｈ(Ｕ,Ｖ)とした場合に、このＨ(Ｕ,Ｖ)を求めるために、周波数領域にある画像データＦ(Ｕ,Ｖ)の各位相をゼロに置き換える（ステップＳ１０６）。すなわち、下式（２）、（３）に示す如く、Ｆ(Ｕ,Ｖ)の振幅をＨ(Ｕ,Ｖ)の実部に、またＨ(Ｕ,Ｖ)の虚部をゼロにする。
【００３９】
Re｛Ｈ(Ｕ,Ｖ)｝＝｜Ｆ(Ｕ,Ｖ)｜・・・（２）
Im｛Ｈ(Ｕ,Ｖ)｝＝０ ・・・（３）
但し、｜Ｆ(Ｕ,Ｖ)｜＝√［ Re｛Ｆ(Ｕ,Ｖ)｝2＋ Im｛Ｆ(Ｕ,Ｖ)｝2］
【００４０】
２次元ＩＦＦＴ部１０９は、この結果に対して、２次元の逆離散フーリエ変換ＩＤＦＴ（実際には逆高速フーリエ変換ＩＦＦＴを行う）を行うことにより、点像分布係数ｈ(ｕ,ｖ)を算出する（ステップＳ１０７）、そして、各色毎（Ｒ，Ｇ，Ｂ）に算出された点像分布係数ｈ(ｕ,ｖ)は、点像分布係数メモリ１１０に格納される。
【００４１】
そして、距離方向算出部１１１は、各色の点像分布係数ｈ(ｕ,ｖ)に基づき、各色毎に点像半径Ｒ（Ｒ色の点像半径はＲr、Ｇ色の点像半径はＲｇ、Ｂ色の点像半径はＲbとする）を算出する（ステップＳ１０８）。点像半径Ｒの具体的な算出方法を図７のフローチャートを参照して説明する。なお、点像分布係数ｈ(ｕ,ｖ)は原点においてピーク値を示す。合焦画像から得た点像分布係数の一例を図１１に、ボケ画像から得た点像分布係数の一例を図１２示す。図１１および図１２に示すように、合焦画像の点像分布関数の分布はインパルス形状となり、ボケ画像の点像分布関数の分布はボケの程度に応じて緩やかな円錐形状となる。
【００４２】
図７において、例えばインパルス形状や円錐形状の原点ピーク値を入力し（ステップＳ２０１）、原点ピーク値に基づいて断面しきい値を算出し（ステップＳ２０２）、例えば図１３に示すように、算出した断面しきい値で点像分布係数をスライスした点像分布係数の断面積（断面画素数）Ｓを算出する（ステップＳ２０３）。具体的には、図１３（ａ）に示すように、断面部にあたる画素数をカウントすることにより断面積Ｓを算出する。同図に示す例では、断面積Ｓは「５２」となっている。そして、算出した断面積Ｓに基づき、下式（４）の演算を行うことにより点像半径Ｒを算出し（ステップＳ２０４）、算出した点像半径Ｒを出力する（ステップＳ２０５）。図１３（ｂ）に示す例では、点像半径Ｒは「４」となっている。
【００４３】
Ｒ＝√（Ｓ／π） ・・・（４）
但し、π：円周率
【００４４】
つづいて、図６において、距離方向算出部１１１は、各色毎の点像半径Ｒを算出した後は、焦点方向の判別と焦点距離Ｌの算出を行う（ステップＳ１０９）。図８を参照して、焦点方向の判別と焦点距離の算出方法を具体的に説明する。
ここでは、Ｇ色画像の焦点位置を目標焦点距離に選んだ場合について説明する。
【００４５】
距離方向算出部１１１では、ＲＧＢ画像の各点像半径Ｒｒ：Ｒｇ：Ｒｂの大小関係を判断して合焦点の方向を推定し、さらに、焦点方向に応じて合焦点までの距離を推定する。
【００４６】
具体的には、ＲＧＢ色画像の各点像半径のＲｒ：Ｒｇ：Ｒｂの入力、絞り開口部Ｒｏの入力、絞り受光面距離Ｌｏの入力がなされると（ステップＳ３０１）、ＲＧＢ色画像の各点像半径Ｒｒ：Ｒｇ：Ｒｂの大小関係を判断する（ステップＳ３０２）。Ｒｒ＜Ｒｇ＜Ｒｂの場合には、ステップＳ３０３に移行して、前ピンと推定し（ステップＳ３０３）、焦点距離Ｌについては、絞り開口径Ｒｏ、絞り面受光面距離Ｌｏの情報、およびＧ色画像の点像半径Ｒｇに基づき、下式（５）により、焦点距離Ｌ（Ｇ色の白黒用イメージセンサ１０４Ｂの合焦点までの距離）を算出する。図１４は前ピン時の焦点距離Ｌの一例を示す図である。
【００４７】
Ｌ＝Ｌo・Ｒｇ／（Ｒｏ＋Ｒｇ）・・・（５）
【００４８】
また、ステップＳ３０２において、Ｒｒ＞Ｒｇ＜Ｒｂの場合には、ステップＳ３０４に移行して、合焦と推定し、焦点距離Ｌ＝０と推定する（ステップＳ３０７）。
【００４９】
また、ステップＳ３０２において、Ｒｒ＞Ｒｇ＞Ｒｂの場合には、ステップＳ３０５に移行して、後ピンと推定し、焦点距離Ｌを、絞り開口径Ｒｏ、と絞り面受光面距離Ｌｏの情報、およびＧ色画像の点像半径Ｒｇに基づき、下式（５）により算出する。図１５は、後ピン時の焦点距離Ｌの一例を示す図である。
【００５０】
Ｌ＝Ｌo・Ｒｇ／（Ｒｏ−Ｒｇ）・・・（６）
【００５１】
そして、算出した焦点距離Ｌを出力する（ステップＳ３０９）。つづいて、処理は、図６のステップＳ１１０に移行し、焦点駆動制御装置１１２は、算出した焦点距離Ｌに基づき、合焦状態にあるか否か（Ｇ色の白黒用イメージセンサ１０４Ｂの受光位置と焦点レンズ１０１の合焦点が一致したか否か）を判断し、合焦状態でない場合には、焦点レンズ１０１（または色分解フィルタ１０３）を合焦位置（算出した焦点位置方向に焦点距離Ｌだけ）に速やかに移動した（ステップＳ１１１）後、ステップＳ１０２に戻り、真の合焦位置（合焦状態）に到達したかを判断するためにもう一度同じＡＦ処理を繰り返して、合焦状態にあるか否かを判断し、合焦状態となるまで同じＡＦ処理（ステップＳ１０２〜ステップＳ１１１）を繰り返す。
【００５２】
他方、ステップＳ１１０で合焦であると判断した場合には、撮影／ＡＦ切替装置１１３は、白黒用イメージセンサ１０４Ａ、１０４Ｃを、図９（Ａ）に示すように、通常の撮影時の位置に変更して（ステップＳ１１２）、被写体の撮影の準備完了となり、シャッターボタン全押し待ちの状態になる。この後、シャッターボタンが全押しされると、それに連動して一定時間シャッターが開き、被写体からの光を白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃで受光する。そして、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃから画像データはそれぞれのフレーム用画像メモリ（Ｒ／Ｇ／Ｂ）１１４に転送され、これらのデータはホワイトバランス等の画像処理の後、保存またはモニタ表示される（ステップＳ１１３）。
【００５３】
なお、ＡＦ動作の回数については、焦点レンズ１０１（または色分解フィルタ１０３）の移動開始位置が合焦位置の近傍である場合には、ほぼピントが合っている画像からフォーカス情報を得るために、点像分布係数は図１１に示すような鋭いピークを示し、一回のＡＦ動作で合焦位置の許容範囲内に到達する。他方、焦点レンズ１０１（または色分解フィルタ１０３）の移動開始位置が合焦位置から遠い場合には、ボケた画像からフォーカス情報を得るために、点像分布係数は図１２に示すような緩やかなピークを示し、複数回のＡＦ動作で合焦位置の許容範囲内に到達する。
【００５４】
以上説明したように、本実施の形態においては、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃ撮像エリア（撮像フレーム）の中央部分にＡＦエリアを設定しておき、ＡＦのための撮像では、まず、各受光距離が互いに異なるように白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃを配置し、当該白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃは、焦点レンズ１０１で色収差補正が施され、色分解プリズム１０３で分解された各色成分（Ｒ，Ｇ，Ｂ）を各々受光し、各ＡＦエリアの画像データの各色毎のボケ特性情報（点像分布係数）に基づき、合焦点までの距離と方向を推定し、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃの受光位置と焦点レンズ１０１の合焦点が一致するように、焦点レンズ１０１または色分解プリズム１０３を移動した後、白黒用イメージセンサ１０４Ａ、１０４Ｂ、１０４Ｃを各受光距離が同じになる位置に配置し、通常の撮影をこととしたので、一回のＡＦのための撮像のみで焦点位置までの距離と方向の情報を得ることができ、速やかに合焦させることが可能となる。また、被写体の動きに追従させて合焦させることが可能となる。
【００５５】
また、本実施の形態１においては、各色の点像半径の大きさを比較して、焦点方向を判別する構成としたので、フィルタ方式で高周波成分の大きさによって焦点方向を判別する方法に比して、被写体の色成分に影響されにくいという効果を奏する。
【００５６】
また、実施の形態１においては、点像分布係数を算出する方法として、ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換により周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を得ることとしたので、ＤＦＴ（離散フーリエ変換）やＦＦＴ（高速フーリエ変換）を適用でき、ＤＳＰ(Digital Signal Processor)等のデジタル集積回路に適している。
【００５７】
また、実施の形態１においては、距離方向算出部１１１は、点像分布係数の原点のピーク値に基づき算出したしきい値に基づき断面積を算出し、この断面積に基づいて点像半径を得ることとしたので、実際のカメラの絞り開口部のように、点像断面が円形にならない多角形のような場合でも、円形近似した場合の点像半径が求めることができ、点像半径を簡単かつ高精度に算出することが可能となる。
【００５８】
なお、本発明は、上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。
【００５９】
また、上記した実施の形態では、デジタルカメラを例示して説明したが、本発明は原理上、任意の焦点レンズ位置において一回の撮像のみで合焦位置までの距離と方向の情報を得ることができ、追跡サーボとして利用することが可能であるので、デジタルビデオカメラにも適用することが可能である。
【００６０】
また、上記した実施の形態では、焦点制御のための点像分布係数を求めるのに２次元の離散フーリエ変換（ＤＦＴ）または高速フーリエ変換（ＦＦＴ）によるデジタル信号処理を適用する。これらの演算はカメラコントローラ用プロセッサの余剰能力を利用したり、またはＩＰＰ(Image Pre Processor)等の集積回路内に演算回路を設けてもよい。また、窓関数については計算を省くためにｗ(ｕ,ｖ)の一部をテーブルとして記憶しておき、係数乗算のみを行うことにしても良い。
【００６１】
【発明の効果】
請求項１に係る発明によれば、レンズ系により被写体光を色収差補正して結像し、色分解手段によりレンズ系を介した被写体光を各色成分に分離し、複数の撮像素子は各々撮像エリアの中央部分にＡＦエリアが設定され、各色成分を各々受光して、画像データに変換し、撮像素子移動手段は複数の撮像素子を移動させ、合焦位置推定手段は撮像素子移動手段により受光距離が互いに異なる位置となるように移動された複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定し、合焦状態判別手段は合焦位置推定手段で推定された前記合焦点の距離に基づき合焦状態にあるか否かを判断し、駆動手段は合焦状態判別手段で合焦状態にないと判断された場合に、合焦位置推定手段で推定された前記合焦点の方向に前記合焦点までの距離だけ、レンズ系または色分解手段を移動させることとしたので、多板式の撮像素子において、一回のＡＦのための撮像のみで焦点位置までの距離と方向の情報を得ることができ、速やかに合焦させることが可能となる。また、被写体の動きに追従させて合焦させることが可能となる。さらに、各色の点像半径の大きさに基づいて、焦点方向を判別する構成としたので、フィルタ方式で高周波成分の大きさによって焦点方向を判別する方法に比して、被写体の色成分に影響されにくいという効果を奏する。
【００６７】
また、請求項２に係る発明によれば、多板式の撮像素子において、一回のＡＦのための撮像のみで焦点位置までの距離と方向の情報を得ることができ、速やかに合焦させることが可能となる。また、被写体の動きに追従させて合焦させることが可能となる。さらに、各色の点像半径の大きさに基づいて、焦点方向を判別する構成としたので、フィルタ方式で高周波成分の大きさによって焦点方向を判別する方法に比して、被写体の色成分に影響されにくいという効果を奏する。
また、請求項３に係る発明によれば、請求項２に記載の発明において、実際のカメラの絞り開口部のように、点像断面が円形にならない多角形のような場合でも、円形近似した場合の点像半径が求めることができ、点像半径を簡単かつ高精度に算出することが可能となる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための説明図である。
【図２】白黒用イメージセンサのＡＦエリアを説明するための説明図である。
【図３】焦点の方向および距離の判別方法を説明するための説明図である。
【図４】点像半径と絞り開口径の関係を説明するための図である。
【図５】本発明に係るデジタルカメラのＡＦ処理系の構成図である。
【図６】図５のデジタルカメラのＡＦ動作および撮影動作を説明するためのフローチャートである。
【図７】図７は図６のフローチャートの点像半径算出処理を詳細に説明するためのフローチャートである。
【図８】図８は図６のフローチャートの焦点距離方向算出処理を詳細に説明するためのフローチャートである。
【図９】白黒用イメージセンサの配置を説明するための説明図である。
【図１０】２次元ハミング窓関数を説明するための説明図である。
【図１１】合焦時の点像分布係数を説明するための説明図である。
【図１２】ピンボケ時の点像分布係数を説明するための説明図である。
【図１３】点像半径の算出方法を説明するための説明図である。
【図１４】前ピン時の焦点距離Ｌを説明するための説明図である。
【図１５】後ピン時の焦点距離Ｌを説明するための説明図である。
【符号の説明】
１０１ 焦点レンズ
１０２ 撮像絞り
１０３ 色分解プリズム
１０４Ａ Ｒ色の白黒用イメージセンサ
１０４Ｂ Ｇ色の白黒用イメージセンサ
１０４Ｃ Ｂ色の白黒用イメージセンサ
１０５ ＡＦエリア画像データメモリ
１０６ 窓関数乗算部
１０７ ２次元ＦＦＴ部
１０８ 位相操作部
１０９ ２次元ＩＦＦＴ部
１１０ 点像分布係数メモリ
１１１ 距離方向算出部
１１２ 焦点調整駆動装置
１１３ 撮影／ＡＦ切替装置
１１４ フレーム用画像メモリ
１１５ 自動露出制御部
１２０ 点像分布係数算出部
Claims (3)
- 多板式の撮像素子を備えた自動合焦装置において、
被写体光を色収差補正して結像するレンズ系と、
前記レンズ系を介した被写体光を、各色成分に分離する色分解手段と、
撮像エリアの中央部分にＡＦエリアが設定され、前記各色成分を各々受光して、画像データに変換する複数の撮像素子と、
前記撮像素子を移動させる撮像素子移動手段と、
前記撮像素子移動手段により受光距離が互いに異なる位置となるように移動された前記複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定する合焦位置推定手段と、
前記合焦位置推定手段で推定された前記合焦点の距離に基づき、合焦状態にあるか否かを判断する合焦状態判別手段と、
前記合焦状態判別手段で合焦状態にないと判断された場合に、前記合焦位置推定手段で推定された前記合焦点の方向に前記合焦点までの距離だけ、前記レンズ系または前記色分解手段を移動させる駆動手段と、
を備えたことを特徴とする自動合焦装置。 - 被写体光を色収差補正して結像するレンズ系と、前記レンズ系を介した被写体光を、各色成分に分離する色分解手段と、撮像エリアの中央部分にＡＦエリアが設定され、前記各色成分を各々受光して、画像データに変換する複数の多板式の撮像素子と、前記撮像素子を移動させる撮像素子移動手段とを備えた自動合焦装置において実現される自動合焦方法であって、
前記撮像素子移動手段により受光距離が互いに異なる位置となるように移動された前記複数の撮像素子の各ＡＦエリアの画像データの各色毎に、前記ＡＦエリアの画像データに窓関数を乗算後、２次元フーリエ変換して周波数領域の振幅と位相に変換し、この全周波数領域の各位相をゼロに置き換えた後、２次元逆フーリエ変換することで点像分布係数を算出し、算出した各色の点像分布係数に基づき各色の点像半径を算出し、算出した各色の点像半径に基づいて、合焦点の方向および合焦点までの距離を推定する合焦位置推定ステップと、
前記合焦位置推定ステップで推定された前記合焦点の距離に基づき、合焦状態にあるか否かを判断する合焦状態判別ステップと、
前記合焦状態判別ステップで合焦状態にないと判断された場合に、前記合焦位置推定ステップで推定された前記合焦点の方向に前記合焦点までの距離だけ、前記レンズ系または前記色分解手段を移動させる駆動ステップと、
を備えたことを特徴とする自動合焦方法。 - 請求項２に記載の自動合焦方法において、
前記合焦位置推定ステップでは、前記点像分布係数の原点ピーク値に基づいて算出したしきい値に基づき断面積を算出し、算出した断面積に基づいて前記点像半径を算出することを特徴とする自動合焦方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23320299A JP3980799B2 (ja) | 1999-08-19 | 1999-08-19 | 自動合焦装置およびその合焦方法 |
| US09/640,979 US6710806B1 (en) | 1999-08-19 | 2000-08-17 | Automatically focusing system and focusing method therefor |
| KR1020000047696A KR100350832B1 (ko) | 1999-08-19 | 2000-08-18 | 자동 초점 장치 및 그 초점 정합 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23320299A JP3980799B2 (ja) | 1999-08-19 | 1999-08-19 | 自動合焦装置およびその合焦方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001061155A JP2001061155A (ja) | 2001-03-06 |
| JP3980799B2 true JP3980799B2 (ja) | 2007-09-26 |
Family
ID=16951360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23320299A Expired - Fee Related JP3980799B2 (ja) | 1999-08-19 | 1999-08-19 | 自動合焦装置およびその合焦方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6710806B1 (ja) |
| JP (1) | JP3980799B2 (ja) |
| KR (1) | KR100350832B1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3890222B2 (ja) * | 2001-11-22 | 2007-03-07 | キヤノン株式会社 | 撮像装置、印刷システム、画像処理方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム |
| US20040165090A1 (en) * | 2003-02-13 | 2004-08-26 | Alex Ning | Auto-focus (AF) lens and process |
| US20070182844A1 (en) * | 2003-03-09 | 2007-08-09 | Latia Imaging Pty Ltd | Optical system for producing differently focused images |
| US7369699B1 (en) * | 2003-08-29 | 2008-05-06 | Apple Inc. | Methods and apparatuses for restoring color and enhancing electronic images |
| US7706638B1 (en) * | 2004-04-26 | 2010-04-27 | National Semiconductor Corporation | System, apparatus and method for color machine vision with black and white photoelectric sensor |
| US7319216B2 (en) * | 2004-09-10 | 2008-01-15 | Fujifilm Corporation | Light receiving unit and image taking apparatus |
| JP2007102061A (ja) * | 2005-10-07 | 2007-04-19 | Olympus Corp | 画像撮影装置 |
| JP4709071B2 (ja) * | 2006-06-02 | 2011-06-22 | キヤノン株式会社 | 撮像システム及び装置、撮像装置の制御方法 |
| KR100869062B1 (ko) * | 2007-08-02 | 2008-11-21 | 중앙대학교 산학협력단 | 렌즈 초점 보정기 및 렌즈 초점 보정 방법 |
| US7973827B2 (en) * | 2007-08-03 | 2011-07-05 | Panasonic Corporation | Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution |
| US8018500B2 (en) * | 2007-08-07 | 2011-09-13 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
| KR101399012B1 (ko) * | 2007-09-12 | 2014-05-26 | 삼성전기주식회사 | 영상 복원 장치 및 방법 |
| KR101415872B1 (ko) | 2007-09-14 | 2014-07-11 | 삼성전기주식회사 | 영상 획득 장치의 자동초점조절 방법 및 장치 |
| JP4819930B2 (ja) * | 2009-07-28 | 2011-11-24 | 富士フイルム株式会社 | 撮影レンズのオートフォーカス装置 |
| KR101026327B1 (ko) * | 2010-07-07 | 2011-03-31 | 군산대학교산학협력단 | 다중 경통을 이용한 빠른 자동 초점 장치 및 초점 조절 방법 |
| JP6080417B2 (ja) * | 2011-08-19 | 2017-02-15 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
| JP6205714B2 (ja) | 2012-11-13 | 2017-10-04 | 株式会社リコー | オートフォーカス装置、投射レンズ装置、及び画像投射装置 |
| US10126540B2 (en) * | 2015-12-09 | 2018-11-13 | Quality Vision International, Inc. | Focusing system for a telecentric optical measuring machine |
| CN117097984B (zh) * | 2023-09-26 | 2023-12-26 | 武汉华工激光工程有限责任公司 | 一种基于标定和复合搜索的相机自动对焦方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03214133A (ja) * | 1990-01-18 | 1991-09-19 | Nikon Corp | 焦点検出装置 |
| JP2792376B2 (ja) * | 1993-02-02 | 1998-09-03 | 松下電器産業株式会社 | 画像ぼかし処理装置 |
| JP3203904B2 (ja) | 1993-09-10 | 2001-09-04 | キヤノン株式会社 | 撮像装置 |
| KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
-
1999
- 1999-08-19 JP JP23320299A patent/JP3980799B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-17 US US09/640,979 patent/US6710806B1/en not_active Expired - Lifetime
- 2000-08-18 KR KR1020000047696A patent/KR100350832B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US6710806B1 (en) | 2004-03-23 |
| KR20010039825A (ko) | 2001-05-15 |
| JP2001061155A (ja) | 2001-03-06 |
| KR100350832B1 (ko) | 2002-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3980799B2 (ja) | 自動合焦装置およびその合焦方法 | |
| JP3975395B2 (ja) | カメラシステム | |
| JP2000199845A (ja) | 自動合焦装置及び自動合焦方法 | |
| JP5950664B2 (ja) | 撮像装置およびその制御方法 | |
| JP2011095027A (ja) | 撮像装置 | |
| US20100166405A1 (en) | Single lens reflex camera comprising a focus detecting apparatus and method of photographing | |
| JP2000125177A (ja) | 自動合焦装置 | |
| US8724010B2 (en) | Image pickup apparatus with thinning-out section | |
| JP2007024941A (ja) | 焦点検出装置、焦点調節装置および撮像装置 | |
| JP6873729B2 (ja) | 焦点検出装置、および撮像装置 | |
| EP3051799A1 (en) | Imaging device and image processing method | |
| JP2007328360A (ja) | 自動焦点カメラ及び撮影方法 | |
| JP2000338385A (ja) | 自動合焦装置およびその合焦方法 | |
| JPH11344662A (ja) | 自動合焦装置 | |
| JP2002116372A (ja) | 自動合焦装置、その合焦方法、およびその方法をコンピュータで実行するためのプログラムが格納されているコンピュータが読み取り可能な記録媒体 | |
| JP6005246B2 (ja) | 撮像装置、ヒストグラムの表示方法、プログラム、画像処理装置 | |
| US20110234835A1 (en) | Apparatus for auto-focusing detection, camera applying the same, and method for calculating distance to subject | |
| JP3143540B2 (ja) | 合焦情報検出装置 | |
| JP2012142729A (ja) | カメラ | |
| JPH09274130A (ja) | レンズ鏡筒及びカメラ | |
| JP2002311327A (ja) | 多点測距装置 | |
| US8040396B2 (en) | Image capturing apparatus and image capturing method | |
| JPH11344661A (ja) | 自動合焦装置 | |
| JP4994817B2 (ja) | 撮像装置 | |
| JP4187518B2 (ja) | カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |