JP4886473B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、被写体像を撮像する撮像装置、および、そのような撮像装置が実行する撮像方法に関する。

従来、被写体光をＣＣＤ撮像素子（以下、ＣＣＤと称する）で受光して撮像する撮像装置が広範に用いられている。このような撮像装置は、被写体光を結像させる光学系にフォーカスレンズが備えられており、撮像の際には、このフォーカスレンズを合焦位置まで自動的に動かすオートフォーカス機能を有しているものが多い。

ＣＣＤを備えた撮像装置では、光学系によって結像された被写体光が受光され、その被写体光の結像像を表現した画像信号が撮像によって生成されるが、以下では、被写体光の結像像を被写体像と呼び、撮像で得られる画像信号が表す画像を、この被写体像と区別して撮像画像と呼ぶ。撮像画像を表わす画像信号は、撮像画像を構成する各画素の輝度を表す画素値からなる。このとき、フォーカスレンズが合焦位置から離れており被写体像がぼけている場合には、この被写体像の輝度が全体的に均された状態になるために、撮像画像における多くの画素の画素値が平均値に近いので画素値の分散が小さくなる。一方、フォーカスレンズが合焦位置に近く鮮明な被写体像が結像されている場合には、この被写体像中には被写体に応じて様々な輝度が分布することになり、撮像画像における画素値の分散が大きくなる。このように、撮像画像における画素値の分散は、フォーカスレンズの合焦状態を判断するためのパラメータとして有効に利用できることから、この分散が最大値となる位置までフォーカスレンズを動かすことで、このフォーカスレンズを合焦位置まで自動的に動かす技術が提案されている（例えば、特許文献１参照。）。

ここで、撮像で得られる画像信号にはランダムノイズが含まれることがあり、画素値がばらついてしまって、合焦位置でもないのに分散が大きくなり、その結果、フォーカスレンズが合焦位置から離れているにも係わらず誤って合焦状態にあると検出してしまうことがある。そこで、このようなランダムノイズの、分散に対する寄与分を算出して、その算出した寄与分を減じた分散に基づいてフォーカスレンズを動かす技術が提案されている（例えば、特許文献２参照。）。
特開平３−５０５１３号公報 特開２００３−５０１１９２号公報

ところで、上記のＣＣＤは微小な受光部分が２次元的に配列されたものであるが、これらの受光部分の中には、製造時から損傷しているいわゆる点欠陥が存在していることが知られている。このような点欠陥の存在は、点欠陥での受光で得られた画素値が他の正常な受光部分での受光で得られた画素値とは大きく異なった異常値となることから、分散の増大を招き誤った合焦状態が検出される原因になる。このような点欠陥に起因する画素値のばらつきは、ランダムノイズに起因する一様なばらつきとは異なるため、上記の特許文献２に示されている技術では、このような点欠陥に起因する合焦状態の誤検出を防ぐことは困難である。

本発明は、上記事情に鑑み、高精度の合焦状態で撮像することができる撮像装置、および、そのような撮像装置が実行する撮像方法を提供することを目的とする。

上記目的を達成する本発明の撮像装置は、被写体光を通過させ、１つ以上のレンズの作用で結像させる光学系と、
上記光学系を通過して結像された被写体光の色を、複数の画素それぞれについて、所定の複数色それぞれに対応する複数の信号成分の組合せで表現した、その複数の画素からなる画像を表わす画像信号を生成する撮像部と、
上記撮像部で生成される画像信号が表す画像を構成する複数の画素について、上記複数の信号成分のうちの所定の２つの信号成分を用いた共分散を算出する共分散算出部と、
上記レンズを、上記光学系の光軸に沿って、上記共分散が増加する方向に移動させるレンズ移動部とを備えたことを特徴とする。

本発明の撮像装置によれば、上記レンズが２つの信号成分についての共分散が増加する方向に動かされる。この共分散は、基本的に被写体光の結像像（被写体像）が鮮明であるほど大きな値となるため、上記レンズは、このように動かされることで合焦位置に近づくこととなる。この共分散は、２つのうちどちらか一方の信号成分のばらつきだけが増えても変化せず、両方の信号成分のばらつきが互いに同じように増えると増加する。ここで、画像信号に含まれるランダムノイズは、画像信号をなす信号成分間でほとんど相関がないので、共分散を用いることで、このランダムノイズの影響を回避することができる。また、微小な受光部分が２次元的に配列されてなるＣＣＤの撮像素子における、製造時から損傷している受光部分であるいわゆる点欠陥の影響についても、この共分散を用いることで次のように回避することができる。上記画像信号を生成する方法としては、被写体像を例えばＲＧＢ３色に色分解し、３つのＣＣＤそれぞれで各色の被写体像を受光することで画像信号を生成する方法があり、この方法では、１つの画素についてのＲＧＢ３色の信号成分の組合せは、３つのＣＣＤの間で互いに対応する位置にある３つの受光部分の組によって生成される。また、被写体像を１つのＣＣＤで受光する方法もあり、この方法では、ＣＣＤを構成する複数の受光素子を、互いに隣接し各々がＲＧＢ３色それぞれの色の信号成分を生成する３つの受光素子の組に分け、１つの画素についてのＲＧＢ３色の信号成分の組合せは、これら３つの受光素子の組によって生成される。いずれの方法でも、ある画素について、ある色の信号成分を生成する受光部分は、他の色の信号成分を生成する受光部分とは物理的に異なっており、それらの受光部分の両方が点欠陥である確立は低い。この結果、点欠陥による信号成分の変動は、信号成分間でほとんど相関がないので、この点欠陥の影響についても、共分散を用いることで回避することができる。本発明の撮像装置によれば、この共分散に基づいて、上記レンズが合焦位置に近づけられることから、ランダムノイズや点欠陥の影響をほとんど受けずに高精度の合焦状態で撮像することができる。

ここで、本発明の撮像装置において、「この撮像装置が撮像するときの感度を設定する感度設定部と、
上記複数の画素について、上記複数種類の信号成分のうちの所定の１つの信号成分を用いた分散を算出する分散算出部とを備え、
上記レンズ移動部が、上記レンズを、上記光学系の光軸に沿って、上記共分散が増加する方向に移動させる第１モードと、そのレンズを、その光学系の光軸に沿って、上記分散が増加する方向に移動させる第２モードとを有し、上記感度設定部で設定された感度が所定感度を超えている場合にそのレンズを上記第１モードで移動させ、その感度設定部で取得された感度が所定感度以下である場合にそのレンズを上記第２モードで移動させるものであることを特徴とする」という形態は好ましい形態である。

上記共分散を求めるための演算は２つの信号成分についての演算となるため、１つの信号成分についての演算で足りる分散を求めるための演算に比べると手間や時間を要する。上記の好ましい形態の撮像装置によれば、画像信号中のノイズレベルが高く、分散による合焦状態の検出が困難となる可能性が高い高感度での撮像時にのみ共分散が使われるので効率的である。

また、本発明の撮像装置において、「上記撮像部は、交換可能な撮像素子が、その撮像素子が有する点欠陥の個数が記憶されたメモリと共に搭載されて、その撮像素子を使って上記画像信号を生成するものであり、
上記メモリに記憶されている上記点欠陥の数を取得する点欠陥数取得部と
上記複数の画素について、上記複数種類の信号成分のうちの所定の１つの信号成分を用いた分散を算出する分散算出部とを備え、
上記レンズ移動部が、上記レンズを、上記光学系の光軸に沿って、上記共分散が増加する方向に移動させる第１モードと、そのレンズを、その光学系の光軸に沿って、上記分散が増加する方向に移動させる第２モードとを有し、上記点欠陥数取得部で取得された点欠陥の数が所定数を超えている場合にそのレンズを上記第１モードで移動させ、その点欠陥数取得部で取得された点欠陥の数が所定数以下である場合にそのレンズを上記第２モードで移動させるものである」という形態も好ましい形態である。

この好ましい形態の撮像装置によれば、搭載された撮像素子に点欠陥が多く含まれており、分散による合焦状態の検出が困難となる可能性が高いときにのみ共分散が使われるので効率的である。

また、本発明の撮像装置において、「上記撮像部の温度を直接あるいは間接に検出する温度検出部と、
上記複数の画素について、上記複数種類の信号成分のうちの所定の１つの信号成分を用いた分散を算出する分散算出部とを備え、
上記レンズ移動部が、上記レンズを、上記光学系の光軸に沿って、上記共分散が増加する方向に移動させる第１モードと、そのレンズを、その光学系の光軸に沿って、上記分散が増加する方向に移動させる第２モードとを有し、上記温度検出部で検出された温度が所定温度を超えている場合にそのレンズを上記第１モードで移動させ、その温度検出部で検出された温度が所定温度以下である場合にそのレンズを上記第２モードで移動させるものである」という形態も好ましい形態である。

例えばＣＣＤ等の撮像素子における点欠陥は、周辺温度が高まるにつれ顕在化し、撮像画像に点状のキズ等が現れやすくなることが知られている。この好ましい形態の撮像装置によれば、撮像素子の温度が高く、その結果、撮像画像に点状のキズ等が現れやすく、分散がこのキズの影響を受けることにより合焦状態の検出が困難となる可能性が高いときにのみ共分散が使われるので効率的である。

また、上記目的を達成する本発明の撮像方法は、被写体光の画像を撮像する撮像装置が実行する撮像方法において、
被写体光を通過させ、１つ以上のレンズの作用で結像させる光学系を通過して結像された被写体光の色を、複数の画素それぞれについて、所定の複数色それぞれに対応する複数の信号成分の組合せで表現した、その複数の画素からなる画像を表わす画像信号を生成する撮像過程と、
上記撮像過程で生成される画像信号が表す画像を構成する複数の画素について、上記複数の信号成分のうちの所定の２つの信号成分を用いた共分散を算出する共分散算出過程と、
上記レンズを、上記光学系の光軸に沿って、上記共分散が増加する方向に移動させるレンズ移動過程とを有したことを特徴とする。

これら本発明の撮像方法によれば、高精度の合焦状態で撮像することができる。

尚、本発明の撮像方法については、ここではその基本形態のみを示すに止めるが、これは単に重複を避けるためであり、本発明の撮像方法には、上記の基本形態のみではなく、前述した撮像装置の好ましい形態に対応する形態が含まれる。

以上、説明したように、本発明によれば、高精度の合焦状態で撮像することができる。

以下図面を参照して本発明の第１から第４までの各実施形態を説明する。

図１は、本発明の第１から第４までの各実施形態である各デジタルカメラに共通の外観斜視図である。

図１に示すデジタルカメラの前面中央部には、フォーカスレンズを含む撮像レンズ１１を内部に備えたズーム鏡胴１２が備えられている。また、このデジタルカメラの前面上部には、撮像に同期してフラッシュを発するフラッシュ発光装置１３と、光学式ファインダ対物窓１４とが備えられている。また、このデジタルカメラの前面左側には、スライド式の電源スイッチ１５が備えられている。さらに、このデジタルカメラの上面には、レリーズボタン１６が備えられている。

以下、本発明の第１実施形態について説明する。

図２は、本発明の第１実施形態であるデジタルカメラの回路構成を示すブロック図である。

図２示すデジタルカメラ１には、前述した撮像レンズ１１を構成するズームレンズ２１およびフォーカスレンズ２２と、絞り径を多段階に調節可能なアイリス２３と、ズームレンズ２１とフォーカスレンズ２２を経由して結像された被写体像を受光してアナログ信号を生成するＣＣＤ撮像素子（以下、ＣＣＤと称する）２４が備えられている。ここで、このＣＣＤ２４は、微小な受光部分が２次元的に配列されたものであり、互いに隣接する３個の受光部分が１画素に対応すると共に、それら３個の受光部分それぞれが、不図示のフィルタを透過したＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）３色それぞれの被写体光を受光する。そして、ＲＧＢ各色の光を受光する各受光部分において、各色のアナログの信号成分が生成されて、各画素の色をＲＧＢ３色の信号成分の組合せで表現するアナログ信号が生成される。

また、このデジタルカメラ１には、ＣＣＤ２４での受光や画像信号の読出し等についての制御を行う読出回路２５が備えられている。この読出回路２５は、ＣＣＤ２４での受光タイミングや画像信号の読出しタイミング等を制御するタイミングジェネレータと、ＣＣＤ２４から読み出したアナログ信号をこのデジタルカメラ１の感度に応じて増幅する増幅回路と、その増幅済みのアナログ信号をデジタルの画像信号に変換するＡ／Ｄ変換回路とで構成されている。また、このデジタルカメラ１には、読出回路２５からのデジタルの画像信号をバスライン５０に伝達する画像入力コントローラ２６と、バスライン５０を介して入力されたデジタルの画像信号を輝度（Ｙ）と色（Ｃ）とで表わされるＹＣ信号に変換する画像信号処理回路２７とが備えられている。

さらに、このデジタルカメラ１には、バスライン５０を介して入力されたＹＣ信号を圧縮処理する圧縮処理回路２８と、バスライン５０を介して入力されたＹＣ信号をＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）信号に変換するビデオエンコーダ２９が備えられている。ビデオエンコーダ２９から出力されたＮＴＳＣ信号は、液晶ディスプレイ（以下、ＬＣＤと称する）３０に供給されてそのＬＣＤ３０に画像が表示される。

また、デジタルカメラ１には、このデジタルカメラ１全体の制御を行うＣＰＵ３１と、ズームレンズ２１を駆動するモータドライバ３２と、アイリス２３を駆動するモータドライバ３３と、フォーカスレンズ２２を駆動するモータドライバ３４と、図１にも示すレリーズボタン１６が備えられている。

さらに、このデジタルカメラ１には、各種時間を計測するためのタイマ３６、ＲＧＢ３色の信号成分で構成されるデジタルの画像信号に基づいて、Ｒ色の信号成分とＧ色の信号成分とについての後述の共分散を算出する共分散演算回路３７、その算出された共分散に基づいて合焦状態を検出することで、フォーカスレンズ２２を合焦位置まで動かすＡＦ検出回路３８、デジタルの画像信号に基づいて被写体像の明るさである露出量（以下、ＥＶ値と称する）やホワイトバランスを検出するＡＥ＆ＡＷＢ検出回路３９、そのＡＥ＆ＡＷＢ検出回路３９で検出されたＥＶ値に基づいて露出制御を行う露出制御回路４０、このデジタルカメラ１の制御に使われる各種制御プログラムやデジタルの画像信号が一時的に記憶されるメモリ（ＳＤＲＡＭ）４１、圧縮処理回路２８で圧縮された後の画像信号を可搬型記録媒体である記録メディア１００に記録するためのメディアコントローラ４２が備えられている。

さらに、このデジタルカメラ１には、レリーズボタン１６の押下に応じて撮像を行う撮像モードと記録メディア１００に記録されている撮像済みの画像を記録メディア１００から読み出してＬＣＤ３０に表示する再生モードとの切り替えや、ズームレンズ２１の繰出しの指示等を行うための各種スイッチからなるスイッチ群４３、図１にも示す電源スイッチ１５、その電源スイッチ１５のオン／オフにより制御され各部に電力を供給する電源回路４４、その電源回路４４へ電力を供給する電力源としてのバッテリ４５、図１にも示すフラッシュ発光装置１３が備えられている。

ここで、撮像レンズ１１は、本発明にいう光学系の一例に相当し、フォーカスレンズ２２は、本発明にいうレンズの一例に相当する。また、ＣＣＤ２４と読出回路２５とを合わせたものは、本発明にいう撮像部の一例に相当する。さらに、共分散演算回路３７は、本発明にいう共分散算出部の一例に相当し、ＡＦ検出回路３８と、フォーカスレンズ２２を駆動するモータドライバ３４とを合わせたものは、本発明にいうレンズ移動部の一例に相当する。

次に、このデジタルカメラ１の一般的な撮像シーケンスを説明する。

図３は、図２に示すデジタルカメラ１で実行される撮像シーケンスを表すフローチャートである。

この図３に示すフローチャートが示す処理は、本発明の撮像方法の一実施形態に相当する。

電源がオンされると図３に示すフローチャートが示す処理がスタートし、まず、図１に示すズーム鏡胴１２が繰出されるとともにＬＣＤ３０がオンとなり、表示用の動画であるスルー画像がＬＣＤ３０上に表示される（ステップＳ１０１）。その後、レリーズボタン１６が半押しされるまで待機状態となり（ステップＳ１０２）、レリーズボタン１６が半押しされると（ステップＳ１０２におけるＹｅｓ判定）、まず、フォーカスレンズ２２を合焦位置まで動かすフォーカス制御が実行される（ステップＳ１１０）。このフォーカス制御（ステップＳ１１０）については、後で詳細に説明する。

フォーカス制御（ステップＳ１１０）が終了すると、フォーカスレンズ２２が合焦位置に合わされた状態での画像にＬＣＤ３０上の表示が一時的に固定され、その画像に基づいて、被写体像の明るさである露出量（ＥＶ値）が検出され、その検出されたＥＶ値に基づいて、実際の撮像の際にＣＣＤ２４が被写体像を捉えるシャッタ秒時や、アイリス２３の絞り径を表す絞り値等が決定され、それらのシャッタ秒時や絞り値等がその決定された値に設定されるという露出制御が露出制御回路４０において実行される（ステップＳ１０３）。また、このステップＳ１０３の処理では、実際の撮像の際にフラッシュを発光することの可否の決定も行われる。

それらの処理が終了すると再びスルー画像がＬＣＤ３０上に表示され、今度は、レリーズボタン１６が全押しされるまで待機状態となる（ステップＳ１０４）。レリーズボタン１６が全押しされると（ステップＳ１０４におけるＹｅｓ判定）、全画素の読出しが、半押し時に設定されたシャッタ秒時、絞り値、および合焦位置等の条件下で実行され画像信号が生成される（ステップＳ１０５）。ここで、このステップＳ１０５の処理は、本発明にいう撮像過程の一例に相当する。

その後、このステップＳ１０５の処理で生成された画像信号が表す画像がＬＣＤ３０に表示されると共に、その画像信号が記録メディア１００に記録され（ステップＳ１０６）、このフローチャートが表す撮像シーケンスが終了する。この処理の終了後には、ＬＣＤ３０に再びスルー画像が表示され、次の撮像が可能となる。

次に、図３に示すフォーカス制御（ステップＳ１１０）の詳細について説明する。

図４は、フォーカス制御の流れを表すフローチャートである。

処理がスタートすると、まず、フォーカスレンズ２２の位置が所定の初期位置に合わされる（ステップＳ１１１）。ここで、本実施形態のデジタルカメラ１では、フォーカスレンズ２２を初期位置から限界位置まで段階的に動かすことが可能である。以下では、任意段階「ｋ」のフォーカスレンズ２２の位置を「Ｆ（ｋ）」で表わし、さらに、初期位置に対応する段階を「Ａ」、限界位置に対応する段階を「Ｂ」で表す。

フォーカスレンズ２２の位置Ｆ（ｋ）が初期位置Ｆ（Ａ）に合わされると、まず、その状態でのＲＧＢの画像信号の取得が行われる（ステップＳ１１２）。このステップＳ１１２の処理も、本発明にいう撮像過程の一例に相当する。

画像信号が取得されると、次に、その画像信号に対して、以下に説明するように、Ｒ色の信号成分とＧ色の信号成分とについての共分散が算出され、その算出された共分散が図２示すメモリ４１内に一時的に格納される（ステップＳ１１３）。このステップＳ１１３の処理は、本発明にいう共分散算出過程の一例に相当する。

ここで、この共分散について説明する前に、従来、フォーカス制御用のパラメータとして使われることが多い分散について説明する。

例えば、ＲＧＢ３色の信号成分のうち、画像信号が表す画像の中心部分のＬ×Ｍ＝ｎ画素のエリアについてのＲ色の信号成分の分散がフォーカス制御に使われる場合を想定する。

このエリア内の任意の画素に対応するＲ色の信号成分をＲ（ｉ，ｊ）、エリア内の全画素についてのＲ色の信号成分の平均値をＲａｖ、Ｒ色の信号成分についての分散をＳｒとすると、この分散は次の式で表わされる。

この（１）式に示すように、この分散は、Ｒ色についての信号成分と平均値との差分の２乗の平均を算出したものである。従って、フォーカスレンズ２２が合焦位置からずれて被写体像がぼけて輝度が全体的に均された状態になっていると、撮像画像における多くの画素の画素値が平均値に近くなるので分散が小さくなる。一方、フォーカスレンズが合焦位置に近く鮮明な被写体像が結像されている場合には、撮像画像中には被写体像の輝度に応じて様々な画素値が分布することになり分散が大きくなる。分散に基づくフォーカス制御では、このような分散が最大値となる位置を合焦位置として検出する。ところが、画像信号にノイズが多く生じている場合には、信号成分が平均値から大きくずれている画素の数も多く、その結果、分散は増加してしまう。また、Ｒ色の信号成分を生成する受光部分に点欠陥が生じている場合、その点欠陥に対応する画素では、信号成分が平均値から大きくずれることとなり、そのような点欠陥の数が増えると、分散も増加してしまう。このようなノイズや点欠陥に起因する分散の増加は、フォーカスレンズ２２の位置とは無関係に生じるので、合焦位置の誤検出という不具合を引き起こす可能性が高い。

このため、本実施形態では、以下に説明するように、ノイズや点欠陥の影響を受けにくいという性質、即ちノイズや点欠陥に対する強い耐性、を有する共分散がフォーカス制御用のパラメータとして使われる。

本実施形態では、画像信号が表す画像の中心部分のＬ×Ｍ＝ｎ画素のエリアについて、Ｒ色の信号成分とＧ色の信号成分とについての共分散Ｓｒｇが求められる。ここで、このエリア内の任意の画素に対応するＲ色の信号成分をＲ（ｉ，ｊ）、エリア内の全画素についてのＲ色の信号成分の平均値をＲａｖ、エリア内の任意の画素に対応するＧ色の信号成分をＧ（ｉ，ｊ）、エリア内の全画素についてのＲ色の信号成分の平均値をＧａｖ、Ｒ色の信号成分とＧ色の信号成分とについての共分散をＳｒｇとすると、この共分散は次の式で表わされる。

以下、この（２）式で表わされる共分散が有する、ノイズや点欠陥の影響を受けにくいという性質、即ち耐性について詳細に説明する。

この（２）式に示すように、共分散は、Ｒ色とＧ色とのそれぞれについての、各信号成分と平均値との差分の乗算結果の平均を算出したものである。ここで、各画素についての乗算結果は、Ｒ色の差分とＧ色の差分との双方が大きいと大きな値となり、そのような乗算結果が多いと共分散も大きな値となる。逆に、２つの差分のうちの一方が小さい場合には乗算結果は小さくなり共分散も小さな値となる。つまり、共分散は、各信号成分が互いに相関して平均値からずれているような場合には大きな値となり、一方の信号成分は平均値からずれているが他方の信号成分は平均値に近い値となっているというように互いに無相関な状態にあるときには小さな値となる。

ここで、画像信号におけるＲＧＢ３色それぞれの信号成分に含まれるノイズの多くは、ＲＧＢ３色の信号成分間で互いに無相関に生じる。従って、各信号成分におけるノイズによる平均値からのずれも互いに無相関となることが多く、そのようなノイズによる共分散の増加分は小さなものとなる。つまり、共分散はノイズの影響をほとんど受けることがなく、ノイズに対して強い耐性を有していると言える。

次に、共分散の点欠陥に対する耐性について、上記（２）式と共に以下に示す図５も参照しながら説明する。

図５は、分散と共分散それぞれが、点欠陥からうける影響を模式的に示す図である。

この図５では、説明を簡単にするために、一次元的に配列された画素を想定している。

図５のパート（ａ）には、一次元的な画素の配列において、Ｒ色の受光部分の点欠陥が、２箇所に局所的に集中して生じている場合に、ある被写体像が捉えられたときの各色の信号成分を示すグラフＧ１が記載されている。このグラフＧ１では、横軸に一次元的な座標が示され、縦軸に信号成分のレベルが示されている。この図５のパート（ａ）の例では、図中左側の局所部分Ｃ１にはＲ色の受光部分とＧ色の受光部分に、信号レベルを下げるような点欠陥が生じ、右側の局所部分Ｃ２にはＲ色の受光部分に信号レベルを上げるような点欠陥が生じている。また、Ｒ色の受光部分についての点欠陥は、右側の局所部分Ｃ２よりも左側の局所部分Ｃ１の方が多く生じており、信号成分の変動は左側の局所部分Ｃ１の方が大きい。さらに、この左側の局所部分Ｃ１では、点欠陥は主にＲ色の受光部分に生じており、Ｇ色の受光部分に生じている点欠陥は僅かである。その結果、この左側の局所部分Ｃ１では、信号成分の変動は、Ｒ色の方がＧ色よりも大きい。

図５のパート（ｂ）には、パート（ａ）に示す一次元の微小エリアＡｒ１を矢印Ｄ方向に動かしたときの、この微小エリアＡｒ１内における分散と共分散との変化を示すグラフＧ２が記載されている。パート（ａ）のグラフＧ１において信号成分が座標に対して変化しない平坦部分では、パート（ｂ）のグラフＧ２に示すように、信号成分は微小エリアＡｒ１内における平均値と等しいため分散も共分散もともに「０」となる。また、パート（ａ）のグラフＧ１の中間部分Ｃ３では各色の信号成分は右下がりに変化しており、この中間部分Ｃ３では、信号成分は平均値に対して様々な値をとることとなるので分散にピークＰ２が生じ共分散にもピークＰ１が生じる。

ここで、パート（ａ）のグラフＧ１の左側の局所部分Ｃ１では、点欠陥によってＲ色の信号成分とＧ色の信号成分とが変動するので、パート（ｂ）のグラフＧ２に示すように、分散も共分散もともにピークが生じる。しかし、共分散については、Ｇ色の信号成分の変動が小さいことの影響を受けるので、この共分散のピークＰ３は、Ｒ色の信号成分の変動のみで決まる分散のピークＰ４よりも小さなものとなる。さらに、パート（ａ）のグラフＧ１の右側の局所部分Ｃ１では、点欠陥によってＲ色の信号成分だけが変動するので、パート（ｂ）のグラフＧ２に示すように、分散についてはピークＰ５が生じるが、共分散については「０」のままである。

フォーカス制御に使われる分散や共分散は、被写体像の主要部分の全体的な合焦の程度を表す必要があるため、図５のパート（ｂ）に示すような広域エリアＡｒ２について求められる。

従来、行われることが多い、分散を利用したフォーカス制御は、このような広域エリアＡｒ２での分散に含まれる、被写体像に基づくピークＰ２の高さが、フォーカスレンズ２２の位置による合焦の程度に応じて増減することに基づいている。即ち、被写体像に基づくピークＰ２の高さは、フォーカスレンズ２２が合焦位置から外れており画像が不鮮明なときには低く、フォーカスレンズ２２が合焦位置に近づき画像が鮮明になるに従って高くなるので、分散が増加する方向へフォーカスレンズ２２を動かし、分散が最大値となる位置にフォーカスレンズ２２を合わせることで合焦位置が検出される。しかし、この広域エリアＡｒ２での分散は、パート（ｂ）に示すような点欠陥に起因するピークＰ４，Ｐ５も含んでいる。これらのピークＰ４，Ｐ５の高さは、点欠陥の数にのみ依存するのでフォーカスレンズ２２の位置に係わらずほぼ一定の大きさを保ち続ける。その結果、広域エリアＡｒ２での分散は、フォーカスレンズ２２が合焦位置に合っていないにも係わらず大きな値を示すこととなり、このことが分散を用いる場合の合焦位置の誤検出原因の１つとなっている。

一方、本実施形態で、フォーカス制御に使われる広域エリアＡｒ２での共分散では、パート（ｂ）に示すように、その共分散に含まれる、点欠陥に起因するピークの数が、分散におけるそのようなピークの数よりも少なく、さらに、そのピークの高さが、分散におけるピークの高さよりも低い。このため、広域エリアＡｒ２での共分散の大きさは、被写体像に基づくピークＰ１のみによって左右されることとなり、合焦位置の正確な検出が可能となっている。このように、共分散は点欠陥の影響をほとんど受けることがなく、点欠陥に対して強い耐性を有していると言える。

図６は、フォーカスレンズ２２の位置と、分散および共分散それぞれとの関係が、ノイズや点欠陥からうける影響を模式的に示す図である。

この図６には、フォーカスレンズ２２の位置に対する、上述した広域エリアＡｒ２での共分散を表すラインＬ１と分散を表すラインＬ２が、ランダムノイズや点欠陥の増加に伴ってどのように変化するかが示されている。まず、ランダムノイズに対しては、ノイズが増加するに伴って分散は増加するが、ノイズに対して耐性を有する共分散はほぼ不変である。また、点欠陥に対しては、点欠陥の増加に伴って分散が大きく増加して合焦位置でのピークがかなり埋もれてしまうのに対し、点欠陥に対しても耐性を有する共分散はほぼ不変であり、合焦位置では明確なピークが現れる。

以上、説明したように、共分散はノイズや点欠陥に対して強い耐性を有し、本実施形態では、フォーカス制御にこの共分散が使われる。

以下、図４に戻って、この図４のフローチャートにおけるステップＳ１１２以降の処理について説明を続ける。

ステップＳ１１３において、フォーカスレンズ２２の位置Ｆ（ｋ）が初期位置Ｆ（Ａ）に合わされたときの共分散が算出され、メモリ４１内に一時的に格納されると、次に、現時点でのフォーカスレンズ２２の移動段階「ｋ」が、限界位置に対応する段階「Ｂ」に達しているか否かが判定される（ステップＳ１１４）。

まだこの段階「Ｂ」に達していない場合（ステップＳ１０４におけるＮｏ判定）、移動段階「ｋ」が１段階上げられ（ステップＳ１１５）、フォーカスレンズ２２が、その１段階上げられたその移動段階の位置まで動かされて（ステップＳ１１６）、ステップＳ１１２まで処理が戻って、その状態での画像の取込みが実行される。このステップＳ１１２からステップＳ１１６までの処理は、フォーカスレンズ２２の移動段階が限界位置に対応する段階「Ｂ」に達するまで（ステップＳ１１４におけるＹｅｓ判定）繰り返される。

この段階「Ｂ」に達した場合には、初期位置に対応する段階「Ａ」からこの限界位置に対応する段階「Ｂ」までの各段階の中から、ステップＳ１１３で図２示すメモリ４１内に一時的に格納された共分散のうちで最大の共分散に対応する段階が選ばれる（ステップＳ１１７）。そして、この選ばれた段階の位置、即ち共分散が最大となる合焦位置までフォーカスレンズ２２が動かされて（ステップＳ１１８）、この図３のフローチャートが示すフォーカス制御が終了する。このステップＳ１１８は、本発明にいうレンズ移動過程の一例に相当する。この、フォーカス制御が終了すると、処理は、図３のフローチャートが示す撮像処理に戻り、このフォーカス制御に続く処理が実行される。

以上、説明したように、第１実施形態のデジタルカメラ１によれば、ノイズや点欠陥に対して強い耐性を有する共分散に基づいてフォーカス制御が行われることから、高精度の合焦状態で撮像することができる。

次に、本発明の第２実施形態について説明する。

図７は、本発明の第２実施形態であるデジタルカメラの回路構成を示すブロック図である。

この図７示すデジタルカメラ２は、露出制御回路４０で決定された感度に応じて、フォーカス制御に用いるパラメータを共分散と分散との間で切り替えるという点が、図２に示した第１実施形態のデジタルカメラ１とは異なる。そこで、以下では、この第１実施形態との相違点に注目した説明を行い、重複説明については省略する。また、図７では、図２に示す構成要素と同等な構成要素については図２と同じ符号が付されている。

図７に示すデジタルカメラ２は、露出制御回路４０で決定された感度を取得する感度取得回路５１と、この感度取得回路５１が取得した感度に応じてフォーカス制御に用いるパラメータの演算を、共分散演算回路３７による演算と分散演算回路５３による演算との間で切り替える演算切替回路５２と、分散を求める分散演算回路５３とを備えている。ここで、このデジタルカメラ２の感度を決定する露出制御回路４０が、本発明にいう感度設定部の一例に相当する。

また、このデジタルカメラ２では、ＡＦ検出回路５４は、演算切替回路５２によって共分散演算回路３７による演算に切り替えられた場合には共分散に基づいてフォーカス制御を行い、分散演算回路５３による演算に切り替えられた場合には分散に基づいてフォーカス制御を行う。ここで、この共分散に基づくフォーカス制御が、本発明にいう第１モードの一例に相当し、分散に基づくフォーカス制御が、本発明にいう第２モードの一例に相当する。

この第２実施形態のデジタルカメラ２で実行される撮像シーケンスは、フォーカス制御を除いて、第１実施形態のデジタルカメラ２で実行される図３に示す撮像シーケンスと同じである。そこで、以下では、このデジタルカメラ２で実行されるフォーカス制御に注目して説明する。

図８は、図７に示すデジタルカメラ２で実行されるフォーカス制御の流れを表すフローチャートである。

処理がスタートすると、まず、露出制御回路４０で決定された感度が感度取得回路５１で取得される（ステップＳ２０１）。そして、その取得された感度が所定の閾値よりも高いか否かが判定される（ステップＳ２０２）。感度が閾値よりも高い場合には（ステップＳ２０２におけるＹｅｓ判定）、共分散を用いたフォーカス制御が実行され（ステップＳ２０３）、感度が閾値よりも低い場合には（ステップＳ２０２におけるＮｏ判定）、分散を用いたフォーカス制御が実行される（ステップＳ２０４）。尚、ステップＳ２０３で実行されるフォーカス制御は、図４のフローチャートが表すフォーカス制御と同じであるので重複説明を省略する。また、ステップＳ２０４で実行されるフォーカス制御は、図４のフローチャートが表すフォーカス制御における共分散を分散に置き換えた他は同じ制御であるので、このステップＳ２０４で実行されるフォーカス制御についてのこれ以上の説明は省略する。

ここで、共分散を求める演算は、上記の（２）式に示すように、ＲＧ２色の信号成分を対象とした演算であり、上記の（１）式に示すＲ色の信号成分のみを対象とした分散の演算に比べると手間や時間を要する。そこで、本実施形態では、撮像の感度が所定の閾値以上に高く、撮像で得られる画像信号に含まれるノイズレベルが高くなり、分散に基づくフォーカス制御の精度が低下する恐れがあるときに限り、共分散に基づくフォーカス制御が実行される。これにより、この第２実施形態のデジタルカメラ２によれば、上記の第１実施形態と同様の高精度の合焦状態での撮像を効率的に実行することができる。

次に、本発明の第３実施形態について説明する。

図９は、本発明の第３実施形態であるデジタルカメラの回路構成を示すブロック図である。

この図９示すデジタルカメラ３は、フォーカス制御に用いるパラメータを共分散と分散との間で切り替えるという点は上記の第２実施形態と同様であるが、その演算の切替えが予め分かっているＣＣＤの点欠陥数に応じて行われるという点が、第２実施形態とは異なる。そこで、以下では第２実施形態との相違点に注目した説明を行い、重複説明については省略する。また、図９では、図７に示す構成要素と同等な構成要素については図７と同じ符号が付されている。

ここで、この図９示すデジタルカメラ３には、交換可能なＣＣＤ５５が搭載される。また、このＣＣＤ５５はＲＯＭ５５ａを有しており、このＲＯＭ５５ａには、ＣＣＤ５５の出荷時に検査によって求められた点欠陥数が記憶されている。さらに、デジタルカメラ３は、このＲＯＭ５５ａに記憶されている点欠陥数を取得する点欠陥数取得回路５６を備えている。ここで、ＲＯＭ５５ａが、本発明にいう「点欠陥の個数が記憶されたメモリ」の一例に相当し、点欠陥数取得回路５６が、本発明にいう点欠陥数取得部の一例に相当する。そして、このデジタルカメラ３では、演算切替回路５７は、この点欠陥数取得回路５６で取得された点欠陥数に応じて、フォーカス制御に用いるパラメータの演算を、共分散演算回路３７による演算と分散演算回路５３による演算との間で切り替える。

図１０は、図９に示すデジタルカメラ３で実行されるフォーカス制御の流れを表すフローチャートである。

処理がスタートすると、まず、現在デジタルカメラ３に搭載されているＣＣＤ５５のＲＯＭ５５ａから、点欠陥数取得回路５６によってこのＣＣＤ５５の点欠陥数が取得される（ステップＳ３０１）。そして、その取得された点欠陥数が所定の閾値よりも多いか否かが判定される（ステップＳ３０２）。点欠陥数が閾値よりも多い場合には（ステップＳ３０２におけるＹｅｓ判定）、共分散を用いたフォーカス制御が実行され（ステップＳ３０３）、点欠陥数が閾値よりも少ない場合には（ステップＳ３０２におけるＮｏ判定）、分散を用いたフォーカス制御が実行される（ステップＳ３０４）。尚、ステップＳ３０３およびステップＳ３０４で実行されるフォーカス制御については重複説明を省略する。

本実施形態では、搭載されているＣＣＤ５５の点欠陥数が所定の閾値よりも多く、分散に基づくフォーカス制御の精度が低下する恐れがあるときに限り、共分散に基づくフォーカス制御が実行される。これにより、この第３実施形態のデジタルカメラ３によれば、上記の第１実施形態と同様の高精度の合焦状態での撮像を効率的に実行することができる。

次に、本発明の第４実施形態について説明する。

図１１は、本発明の第４実施形態であるデジタルカメラの回路構成を示すブロック図である。

この図１１示すデジタルカメラ４は、フォーカス制御に用いるパラメータを共分散と分散との間で切り替えるという点は上記の第２実施形態や第３実施形態と同様であるが、その演算の切替えがＣＣＤ２４の温度に応じて行われるという点が、これらの実施形態とは異なる。そこで、以下では第２実施形態や第３実施形態との相違点に注目した説明を行い、重複説明については省略する。また、図１１では、図７に示す構成要素と同等な構成要素については図７と同じ符号が付されている。

図１１示すデジタルカメラ４は、ＣＣＤ２４の温度を取得する温度検出回路５８を備えている。ここで、温度検出回路５８が、本発明にいう温度検出部の一例に相当する。そして、このデジタルカメラ３では、演算切替回路５９は、この温度検出回路５８で検出された温度に応じて、フォーカス制御に用いるパラメータの演算を、共分散演算回路３７による演算と分散演算回路５３による演算との間で切り替える。

図１２は、図１１に示すデジタルカメラ４で実行されるフォーカス制御の流れを表すフローチャートである。

処理がスタートすると、温度検出回路５８において、まず、デジタルカメラ４が起動してから所定時間が経過したか否かが図１１に示すタイマ３６で計測されている時間に基づいて判定され（ステップＳ４０１）、起動してから所定時間が経過していた場合に（ステップＳ４０１におけるＹｅｓ判定）、ＣＣＤ２４の温度が検出される（ステップＳ４０２）。そして、その検出された温度が所定の閾値よりも高いか否かが判定される（ステップＳ４０３）。

検出された温度が閾値よりも高い場合には（ステップＳ４０３におけるＹｅｓ判定）、共分散を用いたフォーカス制御が実行され（ステップＳ４０４）、起動してから所定時間が経過していなかった場合（ステップＳ４０１におけるＮｏ判定）、あるいは、検出された温度が所定の閾値よりも低い場合には（ステップＳ４０３におけるＮｏ判定）、分散を用いたフォーカス制御が実行される（ステップＳ４０５）。尚、ステップＳ４０４およびステップＳ４０５で実行されるフォーカス制御については重複説明を省略する。

本実施形態では、起動後所定時間が経過しＣＣＤ５５の温度が所定の閾値よりも高く、ＣＣＤ２４における点欠陥が顕在化してフォーカス制御用に取り込んだ画像に点状のキズが生じ、そのキズの影響により分散に基づくフォーカス制御の精度が低下する恐れがあるときに限り、共分散に基づくフォーカス制御が実行される。これにより、この第４実施形態のデジタルカメラ４によれば、上記の第１実施形態と同様の高精度の合焦状態での撮像を効率的に実行することができる。

尚、上記では、本発明の一実施形態としてデジタルカメラを例示したが、本発明はこれに限るものではなく、本発明の一実施形態は、例えば、カメラ機能を有する携帯電話や、動画撮影を行うビデオカメラ等であっても良い。

また、上記では、本発明にいうレンズ移動部の一例として、フォーカスレンズを所定の初期位置から限界位置まで一通り動かして、共分散が最大となる位置を見つけた後に、フォーカスレンズを改めてその位置まで移動させるものを例示したが、本発明にいうレンズ移動部はこれに限るものではなく、例えば、共分散が増加する方向にフォーカスレンズを動かし、共分散の変化が極大となる位置でフォーカスレンズの移動を止めるというもの等であっても良い。

本発明の第１から第４までの各実施形態である各デジタルカメラに共通の外観斜視図である。 本発明の第１実施形態であるデジタルカメラの回路構成を示すブロック図である。 図２に示すデジタルカメラ１で実行される撮像シーケンスを表すフローチャートである。 フォーカス制御の流れを表すフローチャートである。 分散と共分散それぞれが、点欠陥からうける影響を模式的に示す図である。 フォーカスレンズ２２の位置と、分散および共分散それぞれとの関係が、ノイズや点欠陥からうける影響を模式的に示す図である。 本発明の第２実施形態であるデジタルカメラの回路構成を示すブロック図である。 図７に示すデジタルカメラ２で実行されるフォーカス制御の流れを表すフローチャートである。 本発明の第３実施形態であるデジタルカメラの回路構成を示すブロック図である。 図９に示すデジタルカメラ３で実行されるフォーカス制御の流れを表すフローチャートである。 本発明の第４実施形態であるデジタルカメラの回路構成を示すブロック図である。 図１１に示すデジタルカメラ４で実行されるフォーカス制御の流れを表すフローチャートである。

符号の説明

１，２，３，４ デジタルカメラ
１１ 撮像レンズ
１２ ズーム鏡胴
１３ フラッシュ発光装置
１４ 光学式ファインダ対物窓
１５ 電源スイッチ
１６ レリーズボタン
２１ ズームレンズ
２２ フォーカスレンズ
２３ アイリス
２４，５５ ＣＣＤ
２５ 読出回路
２６ 画像入力コントローラ
２７ 画像信号処理回路
２８ 圧縮処理回路
２９ ビデオエンコーダ
３０ ＬＣＤ
３１ ＣＰＵ
３２，３３，３４ モータドライバ
３６ タイマ
３７ 共分散演算回路
３８，５４ ＡＦ検出回路
３９ ＡＥ＆ＡＷＢ検出回路
４０ 露出制御回路
４１ メモリ
４２ メディアコントローラ
４３ スイッチ群
４４ 電源回路
４５ バッテリ
５０ バスライン
５１ 感度取得回路
５２，５７，５９ 演算切替回路
５３ 分散演算回路
５５ａ ＲＯＭ
５６ 点欠陥数取得回路
５８ 温度検出回路
１００ 記録メディア

Claims (5)

1. 被写体光を通過させ、１つ以上のレンズの作用で結像させる光学系と、
   前記光学系を通過して結像された被写体光の色を、複数の画素それぞれについて、所定の複数色それぞれに対応する複数の信号成分の組合せで表現した、該複数の画素からなる画像を表わす画像信号を生成する撮像部と、
   前記撮像部で生成される画像信号が表す画像を構成する複数の画素について、前記複数の信号成分のうちの所定の２つの信号成分を用いた共分散を算出する共分散算出部と、
   前記レンズを、前記光学系の光軸に沿って、前記共分散が増加する方向に移動させるレンズ移動部とを備えたことを特徴とする撮像装置。
2. この撮像装置が撮像するときの感度を設定する感度設定部と、
   前記複数の画素について、前記複数種類の信号成分のうちの所定の１つの信号成分を用いた分散を算出する分散算出部とを備え、
   前記レンズ移動部が、前記レンズを、前記光学系の光軸に沿って、前記共分散が増加する方向に移動させる第１モードと、該レンズを、該光学系の光軸に沿って、前記分散が増加する方向に移動させる第２モードとを有し、前記感度設定部で設定された感度が所定感度を超えている場合に該レンズを前記第１モードで移動させ、該感度設定部で取得された感度が所定感度以下である場合に該レンズを前記第２モードで移動させるものであることを特徴とする請求項１記載の撮像装置。
3. 前記撮像部は、交換可能な撮像素子が、該撮像素子が有する点欠陥の個数が記憶されたメモリと共に搭載されて、該撮像素子を使って前記画像信号を生成するものであり、
   前記メモリに記憶されている前記点欠陥の数を取得する点欠陥数取得部と
   前記複数の画素について、前記複数種類の信号成分のうちの所定の１つの信号成分を用いた分散を算出する分散算出部とを備え、
   前記レンズ移動部が、前記レンズを、前記光学系の光軸に沿って、前記共分散が増加する方向に移動させる第１モードと、該レンズを、該光学系の光軸に沿って、前記分散が増加する方向に移動させる第２モードとを有し、前記点欠陥数取得部で取得された点欠陥の数が所定数を超えている場合に該レンズを前記第１モードで移動させ、該点欠陥数取得部で取得された点欠陥の数が所定数以下である場合に該レンズを前記第２モードで移動させるものであることを特徴とする請求項１記載の撮像装置。
4. 前記撮像部の温度を直接あるいは間接に検出する温度検出部と、
   前記複数の画素について、前記複数種類の信号成分のうちの所定の１つの信号成分を用いた分散を算出する分散算出部とを備え、
   前記レンズ移動部が、前記レンズを、前記光学系の光軸に沿って、前記共分散が増加する方向に移動させる第１モードと、該レンズを、該光学系の光軸に沿って、前記分散が増加する方向に移動させる第２モードとを有し、前記温度検出部で検出された温度が所定温度を超えている場合に該レンズを前記第１モードで移動させ、該温度検出部で検出された温度が所定温度以下である場合に該レンズを前記第２モードで移動させるものであることを特徴とする請求項１記載の撮像装置。
5. 被写体光の画像を撮像する撮像装置が実行する撮像方法において、
   被写体光を通過させ、１つ以上のレンズの作用で結像させる光学系を通過して結像された被写体光の色を、複数の画素それぞれについて、所定の複数色それぞれに対応する複数の信号成分の組合せで表現した、該複数の画素からなる画像を表わす画像信号を生成する撮像過程と、
   前記撮像過程で生成される画像信号が表す画像を構成する複数の画素について、前記複数の信号成分のうちの所定の２つの信号成分を用いた共分散を算出する共分散算出過程と、
   前記レンズを、前記光学系の光軸に沿って、前記共分散が増加する方向に移動させるレンズ移動過程とを有したことを特徴とする撮影方法。

Images