JP3927702B2

JP3927702B2 - 画像処理装置、自動焦点検出装置、補正装置、補正方法及び記憶媒体

Info

Publication number: JP3927702B2
Application number: JP26965698A
Authority: JP
Inventors: 裕史野田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-09-24
Filing date: 1998-09-24
Publication date: 2007-06-13
Anticipated expiration: 2018-09-24
Also published as: US7283163B1; JP2000101932A

Description

【０００１】
【発明の属する技術分野】
本発明は、精度のよい信号を得ることを目的とした画像処理装置、自動焦点検出装置、補正装置、補正方法及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来、自動焦点検出や被写体等の撮影のための光電変換装置ノイズ除去方式として例えば、以下のものがあった。
【０００３】
カメラなどにおける自動焦点検出装置の構成は、光束が測距光学系に入射し、複数のラインセンサが配置された光電変換装置上に像を結び、光電変換装置の出力を測距検出装置（一般的には光電変換装置との入出力制御プログラムと焦点検出演算プログラムを内蔵したマイクロプロセッサ）に入力して測距結果を得る、というようになっている。
【０００４】
従来の自動焦点検出装置に使用することができる光電変換装置のノイズ補正には、特開平９−２６５４０のように、複数のラインセンサが被写体の異なる部分を見る時、各ラインセンサの一部に光が当たらないような暗電流検出部を設けて暗電流分の補正量を求め、ラインセンサの光量積分時間（蓄積時間）に応じて各ラインセンサごとに暗電流補正を行う、というラインセンサにＣＣＤを用いた暗電流補正や、特開平１０−１９００３８のように、エリアセンサのそれぞれの画素で発生した電荷を反転増幅して蓄積する時のゲインを決定する負荷ＭＯＳトランジスタを出力線一本につき複数個設け、センサのアンプＭＯＳトランジスタと組み合わせて固定パターンノイズが最も小さくなる負荷ＭＯＳトランジスタを選んで使用する、というハードウエア上の工夫によって固定パターンノイズを低減させるというものがあった。
【０００５】
また、被写体等の撮影に使用できる光電変換装置のノイズ補正として特開平６−２５３２１７のように、稼働時に光電変換装置に光束の入射がある状態とない状態が交互に生じることを利用して、光束の入射がない状態での光電変換装置の出力を記憶し、光束の入射がある状態での出力との差をとることで暗電流成分の補正を行うものがあった。
【０００６】
ここで、暗電流とは光電変換装置への入射光と関係なく蓄積時間に比例して生じる誤差出力のことを言い、固定パターンノイズとは入射光および蓄積時間に関係なく光電変換装置の画素ごとに固有の誤差出力のことを言う。ここで、図１５に、上記で示した光電変換装置の画素の違いや蓄積時間の変化に応じて暗電流と固定パターンノイズがどのように変化するかを模式的に表す。
【０００７】
図１５の画素１〜画素ｎは光電変換装置の画素を示す。横軸は蓄積時間を示す。縦軸は光電変換装置の誤差出力を示す。固定パターンノイズは蓄積時間の長短に関係なく一定の誤差を出力している。画素の違いにより、固定パターンノイズの大きさは異なる。暗電流は蓄積時間が長い程大きくなる。蓄積時間に比例して増加する暗電流の大きさは画素ごとに異なる。しかし蓄積時間が０に近ければどの画素でも暗電流は無視できる程小さくなる。
【０００８】
また、図３に上記で示した光電変換装置の画素毎の固定パターンノイズのレベルと不良チップと判定される閾値レベルＦＰＮｓの関係を示す。ＦＰＮｓは、固定パターンノイズのバラツキが０からこの値の間に収まっていないと、以降の処理に誤差が引き継がれ、カメラのＡＦ動作によって写真撮影をしたときピンぼけが発生する可能性がある、という判定を行う基準となる。従来の焦点検出装置では光電変換装置の固定パターンノイズのバラツキがＦＰＮｓ以下であるものを選別して使用している。その結果画素間の固定パターンノイズのバラツキ範囲が狭く、固定パターンノイズについては、光源変換装置の複数の画素からなる画素列に対して同一の補正値を用いて補正するだけで充分であった。例えば図１５の従来例のように、画素間で固定パターンノイズは同一とみなせ、画素毎に異なる補正値を用意するのは暗電流補正のみでよかった。
【０００９】
又、その他被写体等を撮影するための光電変換装置の１例として、従来以下のようなものが存在した。図１６において、まず回路構成について説明する。５１は画素、５２は垂直走査回路、５３は画素からの光信号と画素のノイズ信号が加わった信号を蓄積する容量、５４は画素のノイズ信号を蓄積する容量、５５、５６は画素からの信号を容量５３，５４に転送するための転送MOSトランジスタ、５７，５８は、容量５３，５４に蓄積された信号を水平出力線５９、６０に転送するための転送MOSトランジスタ、６１は水平走査回路、６２は２つの信号の差分を得るための差分回路である。
【００１０】
次に動作について説明する。まず画素をリセットし、そしてリセット後のノイズ信号（N）をを容量５４に転送する。次に、蓄積を行うことにより、画素には光信号（S）にノイズ信号（N）が加わった信号が存在していることになる。そしてその信号を容量５７に転送する。容量５７には信号S＋Nが、容量５８には信号Nが蓄積されており、それらの信号を水平出力線５９、６０にそれぞれ読み出す。最後に差分回路６２で、（S+N）−Nが実行されノイズ信号Nが除去された、光信号Sのみの信号が出力される。
【００１１】
このような、ノイズ除去の方式は画素が１次元に配列された光電変換装置でも従来行われている。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来例で示したノイズ除去方式でもノイズの除去は可能であるが、高精度な信号が必要な場合に、十分でない場合が生じる。そこで本発明では、さらに高精度な信号を得るための新たなノイズの除去の方式を提案するものである。
【００１３】
【課題を解決するための手段】
本発明は上記述べた課題を解決するために、複数の画素を含む光電変換部と、固定パターン補正情報と、暗電流補正情報とを予め記憶した記憶手段と、前記固定パターン情報に基づいて、前記複数の画素からの光電変換信号に含まれる固定パターン成分の補正を行う第１の処理と、前記暗電流補正情報と前記光電変換部における蓄積時間に関する情報とに基づいて、前記複数の画素からの光電変換信号に含まれる暗電流成分の補正を行う第２の処理と、を行う補正手段と、
操作ボタンを第１の動作によって操作することによって焦点調整動作が開始するとともに、操作ボタンを第２の動作によって操作することによって、前記焦点調整動作に基づいて調整された条件に基づき撮影動作を行う制御手段と、を有し、前記固定パターン情報は、暗黒条件下で、前記光電変換部において暗電流が無視出来るほどの期間である第１の期間蓄積を行った後に得られた各画素の固定パタ−ンノイズ成分に関する情報であり、前記暗電流補正情報は、暗黒条件下で、前記光電変換部において、前記第１の期間よりも期間の長い第２の期間蓄積を行うことにより得られた値から、前記固定パターンノイズ成分に相当する値を減算し、減算後に得られた値を前記第２の期間で除算することよって得られる情報であり、前記焦点調整動作は、前記補正手段によって補正された光電変換信号によって行われることを特徴とする画像処理装置を提供する。
【００３１】
【発明の実施の形態】
近年、オートフォーカスカメラで撮影画面上の焦点検出可能な領域を広げる為にエリアＡＦという図４のようなものが登場している。図５の従来の焦点検出装置の光電変換装置が直線状に画素を並べたラインセンサ７１を複数用いた光電変換装置70を用いているるのに対し、エリアＡＦでは画素列を平面上に密集させたエリアセンサ31を用いた光電変換装置30によって、撮影画面上の広い領域（エリア）で測距を可能にするものである。ところで、エリアＡＦに使用する光電変換装置は本発明の実施例においては特開平10−１９００３８と同様の反転増幅型ＣＭＯＳセンサを複数配置した構成になっている。このエリアセンサ31は従来のラインセンサと比べてワンチップ上の画素数が多くなっている。このため、光電変換装置のチップ生産工程のさまざまな制約により各画素の固定パターンノイズの出力レベルのバラツキが大きくなる傾向にある。図２と図３の比較で示されるように、従来画素毎に差が少なかった固定パターンノイズのバラツキが以下の理由により大きくなる問題がある。
【００３２】
図４と図５を用いて、本実施例のエリアＡＦセンサと従来例の３点ＡＦセンサの比較を行う。エリアＡＦでは図４（ａ）のような多数の測距領域を持ち、３点ＡＦでは図５（ａ）のように３つの測距領域を持つ。図４（ｂ）、図５（ｃ）は、それぞれエリアセンサ31とラインセンサ71の配置及び、画素の配列を示すものである。図４（ｂ）では碁盤の目状に、図５（ｂ）では直線状に画素を配置している。（ｃ）は測距画素列の並びを示している。図４（ｃ）は測距画素列Ａ１〜Ａｎまでのｎ本の画素列がＢ１〜Ｂｎと対応し多数の測距領域を構成していることを示している。図５（ｃ）は３つの測距領域からなり中央はａ２、ｂ２、ｃ１、ｄ１の４本の画素列、両脇はａ１、ｂ１とａ３、ｂ３の各２本の画素列で測距領域を構成していることを示している。
【００３３】
ＡＦの対象となる被写体像が測距光学系によりセンサ上に像を結ぶと、各画素で光電変換により光量に応じた電荷を発生する。この時すべての測距画素列で蓄積時間（センサをリセットしてから光電変換を終了するまでの時間）を同じにすると、被写体像の明るさが測距領域毎に大きく異なる場合、蓄積時間内に入射した光量が不足して電荷が足りなかったり、逆に光量が多過ぎて電荷を蓄積するメモリがあふれてしまったりする。そこで、蓄積時間は各測距画素列毎に決めるのが一般的である。例えば、図５（ａ）で右側の測距領域には日向の家の白い壁が、左側には木陰の黒い鉄棒があるような場合、左右の測距領域で明るさが大きく異なるので、右側の測距領域を担当するａ３、ｂ３画素列の蓄積時間は短く、左側の測距領域を担当するａ１、ｂ１画素列の蓄積時間は長く、という制御がセンサ内の蓄積制御回路により行われる。蓄積制御回路は、画素列内の各画素の電位の最高値と最小値の差をモニタし、差が一定以上になると蓄積完了信号を発する。または、最長蓄積時間に達すると蓄積を打ち切る。
【００３４】
蓄積時間は、一般にセンサと接続されたマイクロプロセッサのタイマ機能を利用して、ＡＦセンサに蓄積開始を指示した時刻と蓄積完了信号が送られてきた時刻の差を求めることで求められる。
【００３５】
従来の光電変換装置では蓄積完了信号は測距領域単位で出力された。すなわち、図５（ｃ）の画素列ａ１、ｂ１の組、ａ２、ｂ２の組、ａ３、ｂ３の組、ｃ１、ｄ１の組（各ラインセンサ毎）について各々蓄積制御回路が備わっており、蓄積完了信号線が４本ラインセンサからマイクロプロセッサの入力ポートに接続され、マイクロプロセッサはどの入力ポートに蓄積完了信号が来たかによってどの測距領域の画素列の蓄積が完了したのかを把握できるようになっていた。
【００３６】
ここでエリアＡＦのための光電変換装置の場合、測距領域の増加に伴って、測距領域毎に蓄積制御回路から外部に蓄積完了信号線を引き出していると信号線の数が多くなり過ぎる。従来通りの手段で蓄積完了を伝えようとすると測距領域の数に比例した数の蓄積制御回路と信号線が必要となる。測距領域は数十か所以上あるから、これはマイクロプロセッサのポート数やセンサとマイクロプロセッサ間の通信線の実装面積について考慮すると、小型化が求められるカメラに用いられる焦点検出装置向きではない。その為本エリアＡＦでは蓄積制御回路は全画素列を高速にスキャンして、蓄積完了した画素列があればその画素列番号を内部に記憶し、蓄積完了信号を発し、蓄積完了信号を受けたマイクロプロセッサからエリアセンサに対して蓄積完了画素列番号を問い合わせる通信を受け、蓄積完了した測距領域の画素列についての情報を送信する方式にしている。これにより蓄積制御回路は一つですむ。蓄積完了信号線も１本でよいことになる。ただし、多くの画素列をスキャンする必要があるために画素と隣接して配置されている制御回路が高速に駆動し、ノイズの発生源となる問題が生じる。
【００３７】
従来は画素列が密集していなかったので固定パターンノイズ除去回路は比較的大きな面積を占めて実装されており、余裕があった。エリアＡＦのためのエリアセンサでは、画素の部分がエリアセンサの面積上の大部分を占める為、従来のラインセンサのような面積比率でその他の回路を配置すると、小型化が望まれるカメラなどに内蔵することが困難な大きさになってしまう。その為、回路の微細化、回路の構成要素の小型化を追求した結果センサの製造誤差が画素毎の固定パターンノイズのレベルのバラツキに大きく影響を及ぼすこととなった。エリアセンサ量産の際、画素毎の固定パターンノイズの出力レベルの許容バラツキ範囲を従来と同じにして良品を選別すると、エリアセンサの方がバラツキの大きいものが多い為、歩留が非常に悪くなり、エリアセンサの生産コスト高につながる。ひいては焦点検出装置のコスト高につながり、この焦点検出装置を搭載したカメラのコストも上昇するという好ましくない事態となる。
【００３８】
そこで、許容バラツキ範囲を従来より緩めて固定パターンノイズが大きいものでも良品とし歩留をあげるとすると、エリアセンサからの出力に誤差が多い為、焦点検出装置の測距結果の信頼性が低くなり、焦点検知装置としての性能が低下してしまうという問題が生じる。
【００３９】
ノイズが混入しない回路構成により問題を解決することも考えられるが、高集積化の為、画素毎の光電変換結果のメモリ回路の面積が縮小されコンデンサの容量を小さくせざるを得ないことや、蓄積制御回路とメモリ回路が隣接するなど、小型化への要求を満足するために生じる問題であり、ハードウエアで固定パターンノイズの量を抑えることは小型化とトレードオフの関係にある。
【００４０】
上記で問題となっている固定パターンノイズは、幸いにして各画素毎に再現性を持って一定であるような誤差成分である。
【００４１】
よって問題点を解決する為に、本実施の形態では、固定パターンノイズによるバラツキを含んだ光電変換装置内のエリアセンサからの出力を、演算処理装置であるマイクロプロセッサを利用してソフトウエア上で補正することとした。固定パターンノイズは画素毎に常に一定の出力誤差を持つ、というものであるから、マイクロプロセッサがエリアセンサの画素出力を読み込む時、予めメモリに記憶しておいた該当画素の固定パターンノイズ誤差量を用いて、画素データに補正をかけて測距処理に用いるようにする。これにより、従来のラインセンサより固定パターンノイズのバラツキが大きいエリアセンサでも不良チップとしてはじく必要がなくなり、歩留の低下を抑えることができる。
【００４２】
一般に、固定パターンノイズの補正処理というとき、暗電流補正も含まれるような場合があるが、本実施の形態で問題になっている固定パターンノイズは暗電流補正とは誤差量のレベルが大きく異なるので、これらをまとめて補正することは補正の精度と補正幅の点で好ましくないものである。
【００４３】
そこで本件では、固定パターンノイズの補正処理と分離して、各画素毎の暗電流について補正処理を行う構成をとることにする。
【００４４】
その補正処理のため予め、以下の処理を行って補正情報を不揮発性メモリに作成しておくものとする。
【００４５】
１）光電変換装置に入射光のない状態での画素出力を読み込み、各画素の固定パターンノイズ成分を測定する
２）光電変換装置に入射光のない状態での蓄積時間と画素出力の関係を測定し、これから１）で求めた固定パターンノイズ成分を取り除いた値を元に各画素の暗電流成分を求める
【００４６】
以上の操作を画素毎に行っておき、その画素に固有の固定パターン補正情報・暗電流補正情報を作成し、光電変換装置と組み合わせる制御装置のメモリにその補正情報を記憶させておくようにする。
【００４７】
焦点検知装置で光電変換装置の出力結果を利用する際には光電変換装置の出力を画素と蓄積時間がわかるように扱い、上記補正情報から、まず固定パターンノイズ成分を求め除去、その後蓄積時間と暗電流の関係から暗電流成分を求め除去、という補正処理を行い、光電変換装置からの出力データの精度を向上させる。
【００４８】
以下、本実施の形態について詳細に説明する。
【００４９】
まず、本実施の形態で用いる焦点検出装置について説明する。
【００５０】
図６は自動焦点検出装置を含む一眼レフカメラの回路構成を示すブロック図である。
【００５１】
図６において、ＰＲＳ32はカメラの制御回路で、例えば内部にＣＰＵ32a（中央処理装置）、ＲＯＭ32b、ＲＡＭ32c、ＥＥＰＲＯＭ32d、Ａ／Ｄ変換機能32e、計時機能ＴＭ32fを有する１チップのマイクロコンピュータである。この制御回路ＰＲＳはＲＯＭに格納されたカメラのシーケンス・プログラムに従って、自動露出制御機能、自動焦点調節機能、フィルムの巻上げ・巻戻し等のカメラの一連の動作を行っている。そのために、制御回路ＰＲＳは通信用信号ＳＯ，ＳＩ，ＳＣＬＫ、通信選択信号ＣＬＣＭ，ＣＳＤＲ，ＣＤＤＲなどを用いて、カメラ本体内の周辺回路およびレンズ内制御装置と通信を行って、各々の回路やレンズの動作を制御したり、Ａ／Ｄ変換入力や割込み入力を受けつけてデータを取り込んだり、その動作を変化させたりする。ＲＯＭ上にはシーケンス・プログラム以外にも周辺装置の制御データを置くことが可能であり、ＲＯＭにフラッシュメモリを採用することで、個々の機器に固有の情報を書き込み、それに基づいた動作を行うことができるようになっている。
【００５２】
ＳＯは制御回路ＰＲＳから光電変換装置ＳＮＳに出力されるデータ信号、ＳＩはＳＮＳからＰＲＳに入力されるデータ信号、ＳＣＬＫは信号ＳＯ，ＳＩの同期クロックである。
【００５３】
エリアセンサ31とその制御回路および外部インタフェイスからなる焦点検出用の光電変換装置ＳＮＳ30のセンサ駆動回路は、信号ＣＳＤＲが“Ｈ”のとき選択されて、ＳＯ，ＳＩ，ＳＣＬＫを用いて制御回路ＰＲＳから制御される。光電変換結果である信号がアナログ値によりＶＩＤＥＯからＰＲＳのＡ／Ｄ変換ポートに出力され、また蓄積完了の割込み信号は／ＴＩＮＴＥを経由してＰＲＳの割込み入力ポートに出力される。
【００５４】
本実施の形態で使用する光電変換装置SNS30における蓄積完了とは、つぎのような条件で生じる。
【００５５】
図４のエリアＡＦの例の（ｂ）ようなエリアセンサSNS1a〜SNS2b 31上の画素がある時、（ａ）のようにエリアＡＦの測距点を配置するとすると、対応する測距点で位相差検知式測距を行うための測距画素列の配置は（ｃ）のようになる。
【００５６】
ところでエリアセンサ上には、カメラで撮影しようとしている被写体像が測距光学系を通って投影されているため、通常はエリアセンサ上全体での明暗の差がセンサのダイナミックレンジよりも広くなる傾向にある。そこでＣＭＯＳエリアセンサでは（ｃ）の画素列毎に蓄積完了を検知して蓄積完了信号を出せるようになっている。測距点１に対応する画素列Ａ１、Ｂ１の組が蓄積完了すると、光電変換装置ＳＮＳの内部で画素列Ａ１、Ｂ１蓄積完了フラグがセットされる。そして／ＴＩＮＴＥ経由で蓄積完了信号がＰＲＳに送られる。ＰＲＳはＳＮＳから蓄積完了信号を受けると蓄積完了フラグ情報を送信するようにＳＮＳに命令を送信し、フラグの状態から蓄積完了した画素列を判断し、その画素列についての光電変換データをＶＩＤＥＯに出力するようにＳＮＳを制御する。制御回路ＰＲＳはエリアセンサの各画素上に形成された被写体像の光量をＡ／Ｄ変換ポートからアナログ値として受け取り、その値に本発明の補正処理を加えた後、所定の焦点検出演算を行い、撮影レンズのデフォーカス量を知る事が出来る。この制御のソフトウエア上のシーケンスは後述する。
【００５７】
次いで、上記構成によるカメラの自動焦点調節時の動作について、以下のフローチャートにしたがって説明する。
【００５８】
図６に示した回路に給電が開始されると、制御回路ＰＲＳは図１２のステップ（０００）から実行を開始していく。ステップ（００１）において、レリーズボタンの第１段階押下によりオンするスイッチＳＷ１の状態検知を行い、オフならばステップ（００２）へ移行し、初期化が必要なフラグと変数を初期化する。そして、スイッチＳＷ１が再びオンされるのをステップ（００１）にて検知する。
【００５９】
一方、ステップ（００１）でスイッチＳＷ１がオンであればステップ（００３）へ移行し、カメラの動作を開始する。
【００６０】
ステップ（００３）では測光や各種スイッチ類の状態検知、表示等の「ＡＥ制御」サブルーチンを実行する。サブルーチン「ＡＥ制御」が終了すると、次いでステップ（００４）へ移行する。
【００６１】
ステップ（００４）で「ＡＦ制御」サブルーチンを実行する。ここではセンサの蓄積、焦点検出演算、レンズ駆動の自動焦点調節動作を行う。サブルーチン「ＡＦ制御」が終了すると再びステップ（００１）へ戻り、スイッチＳＷ１がオフするまでステップ（００３）、（００４）を繰り返し実行していく。
【００６２】
以上の繰り返し実行を行っている間に、制御回路ＰＲＳはレリーズボタンの第２段押下によりオンするスイッチＳＷ２の状態検知を行い、ＳＷ２が押されている場合には、不図示の設定機構により事前に設定された動作モードに基づき、即座にシャッタ制御を行う処理に移行して撮影動作を行うか、または（００４）の「ＡＦ制御」の完了を待って合焦後に撮影動作を行うが、本実施例では具体的な説明を省略する。
【００６３】
撮影動作の完了とともに、通常の動作では次の撮影に備えてフィルムの巻き上げを行う。フイルムの巻き上げ動作が完了した状態で次の駒の撮影の為の待機状態となる。ここで前記ステップ（００１）に戻り、上記処理を継続する。
【００６４】
図１３は前記ステップ（００４）において実行される「ＡＦ制御」サブルーチンのフローチャートである。
【００６５】
「ＡＦ制御」サブルーチンがコールされると、ステップ（０１０）を経て、ステップ（０１１）以降のＡＦ制御を実行していく。
【００６６】
まず、ステップ（０１１）にて「焦点検出」サブルーチンを実行する。ここでは焦点検出動作のための各センサへの像信号の蓄積、読みだしから焦点検出演算を行う（詳細は後述する）。
【００６７】
次のステップ（０１２）では現在の選択領域の中からどの領域を選び、そのデフォーカス量を用いるかを選択する「領域選択」サブルーチンを実行する。本実施例では、通常、選択領域が全域、即ち自動選択としている。なお、図６の各種スイッチＳＷＳ内の選択領域設定スイッチを押すことにより、選択領域の指定が可能となっている。また、不図示の視線入力装置により、撮影者の視線を検知することができるので、撮影者の視線で選択領域の指定を行うことも可能である。視線入力については本発明において詳細な説明をすることを略す。
【００６８】
ステップ（０１３）では「レンズ駆動」サブルーチンを実行する。ここでは、ステップ（０１１）で検出されたデフォーカス量の中で、ステップ（０１２）で選択された領域のデフォーカス量に基づいてレンズ駆動を行う（詳細は後述する）。
【００６９】
レンズ駆動完了後はステップ（０１４）より「ＡＦ制御」サブルーチンをリターンする。
【００７０】
図１４は前記ステップ（０１１）において実行されるサブルーチン「焦点検出」のフローチャートである。
【００７１】
このサブルーチンがコールされると、ステップ（１１０）を経て、ステップ（１１１）以降の焦点検出動作を実行していく。
【００７２】
先ず、ステップ（１１１）にて、電源がオンして１回目のＡＦ制御であるか否かを判別し、１回目である場合にはステップ（１１２）へ移行し、選択センサを初期化する。
【００７３】
次いでステップ（１１３）でサブルーチン「蓄積開始」を実行する。このサブルーチンはセンサの蓄積動作を開始させるルーチンであり、具体的にはセンサＳＮＳへ蓄積開始命令を送出して、エリアセンサＳＮＳの蓄積動作を開始させ、それとともに上記センサＳＮＳからのセンサ蓄積終了信号／TINTEによって制御回路ＰＲＳが「蓄積完了」を認識できるよう入出力を設定するするサブルーチンである。
【００７４】
ここで「蓄積開始」サブルーチンについて説明する。
【００７５】
図７に蓄積開始サブルーチンの流れを示す。蓄積開始サブルーチンが起動されるとステップ（８００）を経てステップ（８０１）エリアセンサ通信初期化が行われる。ここでは、光電変換装置ＳＮＳとの通信状態を初期化する。制御装置ＰＲＳから光電変換装置ＳＮＳに対して制御信号の送信が可能となり、また光電変換装置ＳＮＳから制御装置ＰＲＳに向けられた光電変換処理結果の受信も可能となる状態に設定するようになっている。
【００７６】
つぎにステップ（８０２）に進み、光電変換装置SNSの初期設定を行う。ここでは光電変換装置ＳＮＳをリセットしたり、ゲインや光電変換結果読み出しモードなどを設定するが、初期設定条件や設定のための通信手続などの詳細については本実施例では説明を省略する。
【００７７】
ステップ（８０３）では蓄積タイマＴＭの初期化を行う。制御装置ＰＲＳに内蔵のタイマを蓄積時間計測用タイマとして利用するのに適した設定を行う。
【００７８】
ステップ（８０４）では蓄積完了割込設定を行う。光電変換装置ＳＮＳはエリア中の数十画素からなる測距領域の画素列別に蓄積完了を検知して蓄積完了信号／ＴＩＮＴＥを利用して制御装置ＰＲＳに割り込みをかけるように構成されているのでこれを受けつけるためである。ステップ（８０４）では制御装置ＰＲＳがこの割込信号に反応できるように割り込み許可の設定や蓄積完了割込の優先順位などを設定する。
【００７９】
ステップ（８０５）では蓄積タイマ計測開始を行う。ステップ（８０３）で初期化したタイマを起動し、タイマのカウントをスタートさせる。そしてステップ（８０６）で続けてエリアセンサ蓄積開始を行わせる。この処理は、エリアセンサに蓄積開始信号を送り、その直後に制御装置ＰＲＳを蓄積完了割り込みの要求があったら割り込みを許可する状態に設定する。これにより、制御装置ＰＲＳはエリアセンサＳＮＳが蓄積完了を報じてきた時に迅速に蓄積完了割込処理を起動することができるようになる。
【００８０】
ステップ（８０６）の処理の後、制御装置はステップ（８０７）を経て、スリープ状態となる。スリープ状態とは、スリープ解除の条件が整うまで制御装置ＰＲＳの動作を一時停止することである。スリープ解除の条件は、蓄積完了割込み処理からスリープ解除信号を送られることである。ステップ（８０７）のスリープが解除されると、図８ステップ（９００）蓄積完了待ちスリープのつぎから処理が再開されるようになっている。また、蓄積完了が異常に長い時間を要した時のために設定しておく不図示の時間切れタイマにより、タイムアウトエラーとなることである。別に、動作中の電源オフや電池切れなど通常動作の流れからはずれることによってもスリープ解除となるが、説明のため本実施例で述べる処理の流れからはずれる条件については説明を省略することにする。
【００８１】
さて、蓄積を開始した光電変換装置ＳＮＳが光電変換結果を出力できるようになると、蓄積終了信号／ＴＩＮＴＥによって制御装置ＰＲＳに対して割込み要求を行う。これは、蓄積終了信号を”Ｈ”にすることで行われる。これにより、制御装置ＰＲＳは図９の蓄積完了割込みを呼び出す。以下に蓄積完了割込みの処理の流れを説明する。
【００８２】
蓄積終了信号により蓄積完了割込みが起動されるとステップ（１０００）からの処理が始まる。ステップ（１００１）では、蓄積完了信号が発生した時刻を蓄積時間計測用タイマＴＭから求め、ステップ（８０５）で記憶しておいた蓄積タイマ計測開始時刻と差を取ることで蓄積時間を求める。
【００８３】
ステップ（１００２）では光電変換装置ＳＮＳと通信して蓄積完了画素列番号を入手し、これを読み書き可能なＲＡＭに記憶する。蓄積完了が同時に複数の画素列で生じていれば、ここで複数の蓄積完了画素列番号が通信される。
【００８４】
ステップ（１００３）ではアナログ信号のセンサ出力ＶＩＤＥＯの値をエリアセンサ入力ポート（１００８）から読み込む。ステップ（１００２）で複数の蓄積完了画素列番号を受信している場合、その数に応じて光電変換装置ＳＮＳから光電変換結果を複数回Ａ／Ｄ変換して受け取る。画素列毎の光電変換結果のアナログ値をセンサに出力させるには、、光電変換装置ＳＮＳに対して光電変換結果要求と蓄積完了画素列番号の通信を行って、ＳＮＳがＶＩＤＥＯに光電変換結果を出力するようにすればよい。
【００８５】
ステップ（１００４）では（１００３）で得た結果を画素列番号、画素番号、光電変換結果であるＡ／Ｄ変換値、蓄積時間という構成でＡ／Ｄ結果バッファ（１００９）に記憶する。
【００８６】
ステップ（１００５）ではスリープ解除信号を送る。これはステップ（８０７）でスリープ状態になった処理を起動させるためであるが、割込み処理が終了するまでは割込み処理が優先して実行されるので、続けてステップ（１００６）が実行される。ステップ（１００６）では、つぎに蓄積完了割込みがセンサＳＮＳからかけられた時の準備として蓄積完了割込みの再設定処理を行う。ステップ（１００７）で、蓄積完了割込みは終了となる。
【００８７】
この時点で、スリープ解除信号を受けた図９ステップ（９００）蓄積完了待ちスリープを抜け、ステップ（９０１）に進む。ステップ（９０１）はＡ／Ｄ結果バッファ（１００９）からＡ／Ｄ変換結果を読み込む。Ａ／Ｄ結果バッファにはステップ（１００４）で書き込んだように画素列番号とＡ／Ｄ変換値と蓄積時間が納められているので、これに基づいて以降の処理を行う。ステップ（９０２）からループが始まる。このループはＡ／Ｄ結果バッファに新しく取り込まれた蓄積完了画素列の数と同じ回数繰り替えされ、蓄積完了待ちスリープ中に蓄積完了をした画素のデータを全て処理するようにする。
【００８８】
ステップ（９０３）では、未処理の蓄積完了画素列番号のうちの一つに対応するＡ／Ｄ変換結果をＡ／Ｄ結果バッファから読み込む。
【００８９】
ステップ（９０４）ではその画素列に含まれる画素の固定パターンノイズ補正情報と暗電流補正情報を（９１２）固定パターンノイズ補正情報・暗電流補正情報のデータベースから読み出す。
【００９０】
ステップ（９０５）では、処理中の画素列番号・画素番号のＡ／Ｄ変換結果に対して、固定パターンノイズ補正情報を元に補正を書ける。Ａ／Ｄ変換結果をＡＤ、固定パターンノイズ補正情報をＦＰＮ、現在処理中の画素列番号をｉ、画素列中の画素番号をｊとすると、補正後の値ＡＤ２は
ＡＤ２〔ｉ，ｊ〕＝ＡＤ〔ｉ，ｊ〕−ＦＰＮ〔ｉ，ｊ〕・・・・・・（式１）
となる。
【００９１】
つぎにステップ（９０６）で蓄積時間をデータベースから取り出し、これを元にステップ（９０７）にて暗電流補正を行う。暗電流補正情報をＤＫとし、蓄積時間をＴＭとし、補正後の値をＡＤ３とすると、

となる。不図示のループによってｊは１から画素列に含まれる画素数ｍまで１ずつ増加する。これで求められた一画素列中の全画素の補正後の値ＡＤ３をメモリに保管しておき、ステップ（９０８）でループ終了となり繰り返し処理にて全ての新規に蓄積完了した画素列について補正処理を済ませるようにする。
【００９２】
ループが終了すると、ステップ（９０９）に移行する。ここでは、センサ上の全画素列のＡ／Ｄ変換結果が補正完了したかどうかを判断する。完了していない場合にはステップ（９００）に進み再び蓄積完了割込みを待つスリープとなる。完了している場合には、（９１０）に進み、光電変換Ａ／Ｄ完了して補正処理を終える。
【００９３】
上記の処理をまとめる。
【００９４】
エリアセンサ上には明暗のある画像が投影されているため、明るい部分にある一部の測距領域の画素列において蓄積完了となっても、依然蓄積を継続中の暗い部分にあたる画素列があるため、Ａ／Ｄ変換バッファの蓄積完了画素列番号によりどの画素列が蓄積を完了したのかを知り、蓄積完了した画素列から順次Ａ／Ｄ変換結果を読み込み固定パターンノイズと暗電流の補正処理をする。そしてこの処理を最終的に全画素列が蓄積完了となるまで処理を繰り返す。
【００９５】
以上、（式１）で表される補正が本発明の固定パターンノイズ補正にあたり、（式２）で表される補正が暗電流補正にあたる。暗電流補正は時間に比例した補正量の変化がある。
【００９６】
以上で、ステップ（１１３）は終了し、以降ステップ（１１４）に進み焦点検出処理からリターンする。
【００９７】
ここで、図９の（900〜910）の処理は光電変換装置ＳＮＳと同じ装置内にあるＰＲＳで行っているが、図９の処理を行う装置は、光電変換装置ＳＮＳとは別々に設け、必要に応じて光電変換装置ＳＮＳと接続できるようにしてもよい。
【００９８】
また、図９の（900〜910）の処理を行うためのプログラムを例えばＣＤ−ＲＯＭや半導体メモリ等の記憶媒体に記憶しておき、光電変換装置ＳＮＳとＣＰＵと固体パタ−ンノイズ補正情報と暗電流ノイズ補正情報を入力したメモリＲＯＭとを含む装置に記憶媒体を介して処理デ−タを入力して演算させても良い。このように、処理プログラムを記憶した記憶媒体を用いることにより、後に例えば高速に処理させるプログラムが開発された場合に、簡単にプログラムの書き換えが出来る利点が生じる。
【００９９】
以降、カメラとしての撮影動作シーケンスは継続するが、ここでは詳細の説明は省略する。
【０１００】
次に、メモリＲＯＭにあらかじめ格納しておく固定パターンノイズ補正値と暗電流補正値の生成方法について説明する。
【０１０１】
図１０は固定パターンノイズ補正値の生成を行う手続きについて示した流れ図である。この処理は制御装置ＰＲＳに行わせるようにしてもよいが、センサの固定パターンノイズがわかればよいだけなので前述の焦点検出処理の一連の流れに含まれる補正処理とは別のプログラム、別の制御装置を用意して補正値の生成だけを行うこともできる。
【０１０２】
ここでは、センサＳＮＳから光電変換結果を受け取るＡ／Ｄ変換制御などの既に説明した処理について説明の重複を省くため、前述の図１０で説明した蓄積完了割込みによりＡ／Ｄ結果バッファ（１００９）にセンサＳＮＳからの補正前のデータが既に取得されたところからの流れについて述べる。
【０１０３】
固定パターンノイズの測定のためには、上記蓄積完了割込みの設定及び本サブルーチンを呼び出す前に光電変換装置ＳＮＳの受光面を均一輝度にしておく。例えば光電変換装置ＳＮＳ受光面を遮光した暗黒条件にしておけば、均一輝度になっているといえる。以下は光電変換装置ＳＮＳが暗黒条件で行う。ただし、蓄積は／ＴＩＮＴＥの割込み待ちではなく、１ｍｓ程度のごく短い時間で終了となるように設定したタイマによるタイムアウト条件で終了するものとする。
【０１０４】
まず、固定パターンノイズ補正値の生成サブルーチンを起動する。これによりステップ（１１００）から（１１０１）に至り最小結果変数の初期化を行う。この値は以降のループで固定パターンノイズの最小値を保存するための比較として用いるため、少なくとも光電変換装置ＳＮＳから受け取り得る固定パターンノイズの最大レベル以上の大きな値で初期化しておく。
【０１０５】
次にステップ（１１０２）からＡ／Ｄ結果の読み出しループを開始する。ＡＦセンサの測距画素列の数が繰り返し回数ｎである。
【０１０６】
繰り返し変数ｉは最初が１でループを繰り返す毎に１ずつ値が増える変数で、固定パターンノイズの補正値を測定する画素列の番号を示す。
【０１０７】
ステップ（１１０３）では第ｉ画素列の出力をＡ／Ｄ結果バッファから読み出す。画素列の中には複数の画素が含まれているのでそれら各画素について読み出す。ステップ（１１０４）にて最小結果変数の値と第ｉ画素列の各画素の光電変換値を比較する。ステップ（１１０５）でその結果に従って条件分岐し、画素の中に最小結果変数よりも小さな値があれば、ステップ（１１０６）にて最小結果変数にその値を代入して最小結果を更新し、最小結果変数の方が小さければ（１１０６）を処理せずステップ（１１０７）に飛ぶ。（１１０７）でループ終了となり、以降第ｎ画素列まで（１１０２）から（１１０７）のループを繰り返す。
【０１０８】
上記のループが終了すると、次はステップ（１１０８）からのループで、同様に１からｎまで増分を１として処理を行う。
【０１０９】
ステップ（１１０９）では再びＡ／Ｄ結果バッファから第ｉ画素列の出力を一画素ずつ読み出し、ステップ（１１１０）で各画素の光電変換値から最小結果変数の値を引いた値を求め、その値を固定パターンノイズ補正値を格納する不揮発性メモリである補正情報（９１２）に記憶する。不揮発性メモリはＥＥＰＲＯＭ、フラッシュメモリなど書き込み可能なものを想定しているが、この部分で直接メモリに書き込まなくとも、外部の記憶装置にデータを出力して別途ＲＯＭに焼くなどの作業を行って補正情報（９１２）を作り出してもよい。
【０１１０】
ステップ（１１１１）はループの終りであり、第ｎ画素列までステップ（１１０８）から（１１１１）の間を繰り返し、全ての画素列の処理が終了したらステップ（１１１２）を経て固定パターンノイズ補正値生成のサブルーチンを終了する。
【０１１１】
次に図１１の暗電流補正値の生成について説明する。
【０１１２】
暗電流補正値の生成においては、センサＳＮＳは光を遮断した暗黒条件下に置いておく。これは暗電流による測定誤差成分だけを得るためである。センサＳＮＳに対する入射光がない条件では蓄積完了せず蓄積完了割込みによる読み込みができなくなってしまうので、蓄積完了割込み処理を呼び出す割込み要因を／ＴＩＮＴＥからの割込み信号入力ではなく、タイマ割込みにし、一定時間蓄積後光電変換結果を無条件に結果バッファに読み込むようにしておく。以降の処理は、上記固定パターンノイズ補正値生成と同様に既にＡ／Ｄ結果バッファに暗電流のみの測定誤差値がＡ／Ｄ変換値として入っている状態から呼び出されるものとする。
【０１１３】
ステップ（１２００）を経てステップ（１２０１）からｉ＝１からｎまでの増分１のループが始まる。ステップ（１２０２）では更にｊ＝１からｍまでの増分１のループが始まる。ｎはセンサＳＮＳの画素列の数、ｍは一つの画素列に含まれる画素の数である。ステップ（１２０３）でＡ／Ｄ結果バッファから第ｉ画素列の蓄積時間を読み出す。ステップ（１２０４）で第ｉ画素列の第ｊ画素のＡ／Ｄ変換値を読み出す。そしてステップ（１２０５）にて読み出したＡ／Ｄ変換値値から、補正情報（９１２）より第ｉ画素列の各画素の固定パターンノイズ補正値を減じた値を求める。ステップ（１２０６）ではステップ（１２０５）で求めた値を蓄積時間で割り、その値を暗電流補正値としてメモリに記憶する。上記固定パターンノイズの処理と同様に、このメモリに記憶する処理は不揮発性メモリとしてＥＥＰＲＯＭ、フラッシュメモリなど書き込み可能なものを想定しているが、直接メモリに書き込まなくとも、外部の記憶装置にデータを出力して別途ＲＯＭに焼くなどの作業を行って補正情報（９１２）を作り出すものでもよい。
【０１１４】
ステップ（１２０７）でステップ（１２０２）からのループ、ステップ（１２０８）でステップ（１２０１）からのループの終端となり、第ｍ画素に達するまではステップ（１２０２）に戻り、第ｎ画素列に達するまではステップ（１２０１）にもどりループを繰り返す。第ｎ画素列を処理した後ステップ（１２０９）に進み暗電流補正値の生成を終了する。
【０１１５】
以上に説明した実施の形態においては、光電変換装置30が光電変換部に相当し、エリアセンサ31がエリアセンサ部に相当し、制御回路ＰＲＳ32がノイズ補正手段に相当している。また、ノイズ情報は、固定パタ−ンノイズ補正値及び暗電流補正値に相当し、蓄積時間に依存するノイズのノイズ情報が暗電流補正値に、蓄積時間に依存しないノイズのノイズ情報が固定パタ−ンノイズ補正値に相当している。
【０１１６】
上記に述べた実施の形態では、固定パタ−ンノイズ補正値はセンサSNSが暗黒条件で１ｍｓ程度のごく短い蓄積時間での値をA/D変換したものであり、暗電流補正値は一定時間蓄積後の値をA/D変換した値から固定パタ−ンノイズ補正値を減じた値を求め、その値を蓄積時間で割って算出している。しかし、本発明はこれに限るものではなく、以下のような方式でもよい。
【０１１７】
まず、SNSが暗黒条件で任意の２つの蓄積時間での値を求めA／D変換する。ここで、２つの蓄積時間と、それに対応する暗電流の値がわかるため、１ｍｓ程度でのごく短い蓄積時間での暗電流の値つまり固定パタ−ンノイズの値が任意の２つの蓄積時間から外挿することによって算出できる。後は、上記実施例と同様にして暗電流補正値を求めることはできる。この場合では、ノイズ補正値は、任意の２つ以上の暗電流補正値が相当する。
【０１１８】
また、上記に述べた実施の形態では、最初に暗電流補正値と固定パタ−ン補正値はメモリに記憶しているが、メモリを用いずに１フィ−ルド毎に暗電流補正値と固定パタ−ン補正値を算出してリアルタイムで処理をしても良い。
【０１１９】
さらにまた、上記に述べた実施例では、AF用の光電変換装置を用いてAFのための信号に対してノイズ除去を行っているが、被写体等を撮像するための従来から存在している例えばMOS型の撮像デバイス等を図６の光電変換装置ＳＮＳ30の部分に用いて、被写体等を撮像して画像を得るための信号に対して上記説明したノイズ除去方式を用いてもよい。つまり光電変換部はエリアAF用の光電変換装置30に限らず光信号を電気信号に変換できるものであればよい。
【０１２０】
さらにまた、上記述べた実施の形態では複数の画素を配置していたが、画素が１つの場合でもよい。つまり画素における少なくとも２つの蓄積時間での暗電流値を用いているため、従来よりも正確に蓄積時間依存における暗電流値を求めることができ、正確なノイズ補正が可能となる。
【０１２１】
【発明の効果】
以上説明したように、本発明では画素からの信号に対してノイズ補正を行っているので、高精度な信号を得ることができる。
【０１２２】
特に、マイコンのソフトでノイズを補正することにより、柔軟に補正を行うことができる。
【図面の簡単な説明】
【図１】本実施例の画素毎の固定パターンノイズ及び暗電流と蓄積時間の関係図である。
【図２】光電変換装置のノイズレベルのバラツキを示すグラフの例である。
【図３】画素が少ない従来の光電変換装置のノイズレベルのバラツキを示すグラフの例である。
【図４】エリアＡＦの測距点配置とセンサ上の画素配列を示す図である。
【図５】従来の多点ＡＦ（３点）の測距点配置とセンサ上の画素配列を示す図である。
【図６】一眼レフカメラの回路構成を示すブロック図である。
【図７】光電変換装置の蓄積開始を行う処理の流れ図である。
【図８】光電変換装置からの出力をＡ／Ｄ変換する間にループしている蓄積完了待ちスリープの流れ図である。
【図９】蓄積完了で起動される蓄積完了割込ハンドラの流れ図である。
【図１０】固定パターンノイズ補正値の生成処理の流れ図である。
【図１１】暗電流補正値の生成処理の流れ図である。
【図１２】カメラ全体のシーケンスフローチャートである。
【図１３】ＡＦ制御サブルーチンのフローチャートである。
【図１４】焦点検出サブルーチンのフローチャートである。
【図１５】従来の画素毎の固定パターンノイズ及び暗電流と蓄積時間の関係図である。
【図１６】従来のノイズ除去機能を持った光電変換装置である。
【符号の説明】
３０光電変換装置
３１エリアセンサ
３２制御回路
７０光電変換装置
７１ラインセンサ

Claims

複数の画素を含む光電変換部と、
固定パターン補正情報と、暗電流補正情報とを予め記憶した記憶手段と、
前記固定パターン情報に基づいて、前記複数の画素からの光電変換信号に含まれる固定パターン成分の補正を行う第１の処理と、前記暗電流補正情報と前記光電変換部における蓄積時間に関する情報とに基づいて、前記複数の画素からの光電変換信号に含まれる暗電流成分の補正を行う第２の処理と、を行う補正手段と、
操作ボタンを第１の動作によって操作することによって焦点調整動作が開始するとともに、操作ボタンを第２の動作によって操作することによって、前記焦点調整動作に基づいて調整された条件に基づき撮影動作を行う制御手段と、
を有し、
前記固定パターン情報は、暗黒条件下で、前記光電変換部において暗電流が無視出来るほどの期間である第１の期間蓄積を行った後に得られた各画素の固定パタ−ンノイズ成分に関する情報であり、前記暗電流補正情報は、暗黒条件下で、前記光電変換部において、前記第１の期間よりも期間の長い第２の期間蓄積を行うことにより得られた値から、前記固定パターンノイズ成分に相当する値を減算し、減算後に得られた値を前記第２の期間で除算することよって得られる情報であり、前記焦点調整動作は、前記補正手段によって補正された光電変換信号によって行われることを特徴とする画像処理装置。