JP4657287B2 - 調節されたダークフロアの補正による画像形成システム - Google Patents

Description

本発明は、電子画像形成システムに関し、より詳細には、捕捉された画像からダークフロアを除くための方法及び装置に関する。

電子画像形成システムは、捕捉された画像からダークフロアを除く機能を含むことがある。イメージセンサは、画像信号は光がない場合にさえ検出される暗信号として知られる現象を一般に示す。暗信号の量は、イメージセンサにおける画素から画素にランダムなやり方で変動し、暗信号は、環境の条件、特に温度に敏感であるが、所与の画素の暗信号のベースレベルは、所与の画像捕捉条件について合理的に一貫している。暗信号を除くための１つの典型的なアプローチは、ダークフレームを捕捉することであり、画像は、実際の画像捕捉に時間的に接近して、閉じられたシャッターで捕捉される（コンテンポラリダークフレームと呼ばれる）。このコンテンポラリダークフレームは、実際の画像から画素ごとに減算される。この方法の１つの問題点は、暗信号においてある雑音レベルが存在することであり、したがって、画像における暗信号における雑音は、ダークフレームにおける暗信号における雑音に（雑音分散に関連するやり方で）付加され、最終的に処理された画像における雑音を増加し、同時に、ベースレベルの暗信号が除去される。更なる問題は、ダークフレームの捕捉が特に露光時間といった実際の画像捕捉と同じ条件を有することである。しかし、暗信号が累算するための長い時間を有する長い露光時間について、ダークフレームの露光時間は、画像を捕捉するために必要とされる時間の２倍の長い時間となる必要がある。

暗信号の除去の代替的な方法は、キャリブレーションプロセスの間の幾つかの基準の条件下で一連のダークフレームを捕捉することを含む。一連のダークフレームは、互いに平均化され、これにより暗信号の雑音成分を大幅に低減する。この平均されたダークフレームは、不揮発性メモリに記憶され、ベースラインのダークフロア（baseline dark floor）として使用される。暗信号は、環境及び画像捕捉条件に敏感であるので、ベースラインのダークフロアは、実際の画像捕捉の温度及び露光時間が較正されたダークフレームが捕捉された条件に整合する場合にのみ有効である。イメージセンサは、画像処理において一般のオフセット補正に使用される光シールドされた画素を有し、実際の画像捕捉からの暗画素は、ベースラインのダークフロアからの暗画素に比較することができ、比較結果は、実際の画像捕捉の条件に良好に整合するためにベースラインのダークフロアを調整するために使用される。この調整されたベースラインのダークフロアは、実際の画像から減算される。これは、前のダークフロアの除去方法に関連する更なる雑音及び捕捉時間を低減するが、幾つかの問題点を有する。暗画素は、イメージセンサを通して一様に分布されないため、センサの温度における領域の変動は検出されない。画素のなかには、温度又は露光時間に関して異常に挙動する暗信号を有するものがあり、ベースラインのダークフロアは、それらの画素について正しく調整されない。

本発明は、先に述べた１以上の問題を克服するために向けられる。簡単に説明すると、本発明の１態様によれば、本発明は、低減された雑音、画像から減算された調整されたダークフロアを提供するため、実際の画像の捕捉と同時代的に（contemporaneously）捕捉されたダークフレームと、記憶されている、較正されたダークフロアとの両方を利用する方法を提供する。本発明の別の態様によれば、コンテンポラリダークフレーム（contemporary dark frame）は、コンテンポラリダークフレームを改善するため、最近の捕捉されたダームフレーム及び前のダームフレームからなる機能である。本発明の別の態様によれば、欠陥のある画素の較正されたマップは、欠陥のある画素を回避し、これにより調節プロセスを改善するため、ダークフロアを調節するプロセスの間に使用することができる。本発明の別の態様によれば、ダークフロアを調整するプロセスは、時間につれて欠陥となったか、又は捕捉条件のために欠陥となった画素を識別するために使用することができ、これら新たに識別された欠陥のある画素は、欠陥のある画素マップを調節するために使用することができる。本発明の別の態様によれば、調整された欠陥のある画素マップは、その後の時間でダークフロアを調節するプロセスの間に使用することができる。

本発明のこれらの態様、目的、特徴及び利点、並びに他の態様、目的、特徴及び利点は、添付図面を参照して、好適な実施の形態の以下の詳細な説明及び特許請求の範囲から理解され、明らかとなるであろう。

本発明は、他のアーチファクトを導入することなしに、捕捉された画像からダークフロアを除く利点を有する。

電子画像形成システムが公知であるので、ここでの説明は、本発明に係る装置及び方法の一部を形成するエレメント、又は本発明に係る装置及び方法と直接協働するエレメントに特に向けられる。特に図示又は記載されないエレメントは、当該技術分野で知られているエレメントから選択される場合がある。

はじめに図１を参照して、電子画像形成システムは、イメージセンサ１を有する光アセンブリを有し、イメージセンサ１は、レンズ２及びシャッターメカニズム３を通してはじめに通過する光にさらされる。センサ１が光にさらされたとき、自由電子が発生され、センサの電子構造で捕捉される。それぞれの画素位置で結果的に得られる電荷は、アナログ−デジタルコンバータ４によりデジタル化される電圧に変換され、結果的に得られるデータは、行のイメージメモリ５に記憶される。

コンテンポラリダークフレームが生成されたとき、はじめに、行のイメージメモリ５によりプロセッサ６に到達する。次いで、プロセッサ６は、コンテンポラリダークフレームメモリ７にダークフレームを移動する。また、電子画像形成システムはベースラインのダークフロアメモリ９を有することもできる。その場合、プロセッサ６は、調整されたダークフロアメモリ１０に記憶された調整されたダークフロアを生成するため、コンテンポラリダークフレーム及びベースラインのダークフロアを使用することができる。

さらに、図１を参照して、電子画像形成システムは、それぞれの画像について補正される必要があるセンサの欠陥のリストを保持するベースラインの欠陥マップのメモリ１１を有することができる。その場合、プロセッサ６は、調整された欠陥のマップのメモリ１２に記憶されている調整された欠陥のマップを生成するため、コンテンポラリのダークフレーム及びベースラインの欠陥のマップを使用することができる。さらに、電子画像形成システムは、プロセッサ６からの中間的及び最終的な出力を記憶するために使用することができる処理されたイメージストレージ８を有することができる。

図２ａに示される暗電流を考慮する１つの公知の方法は、ダークフレームデータを行のイメージメモリ５に記憶させるダークフレーム捕捉２０で開始する。次のアクションは、ダークフレームを記憶すること２１であり、行のイメージメモリ５からコンテンポラリのダークフレームメモリ７にデータを移動する。次のステップは、画像の捕捉２２であり、行のイメージメモリ５にイメージデータを記憶することである。画像を処理するアクション２３は、ここで行われ、行のイメージメモリ５からのイメージデータは、処理されたイメージストレージ８に記憶される結果を生成するため、コンテンポラリダークフレームメモリ７からのコンテンポラリダークフレームデータと結合される。

図２ｂに示される暗電流を考慮する別の公知の方法は、画像捕捉２２で開始し、イメージデータを行のイメージメモリ５に記憶する。次のステップは、ベースラインのダークフロア２４を調整することであり、調整されたダークフロアメモリ１０に記憶された結果を生成するため、行のイメージメモリ５及びベースラインのダークフロアメモリ９からのデータを取る。画像の処理２３のアクションはここで行われ、行のイメージメモリ５からのイメージデータは、調整されたダークフロアメモリ１０から調整されたダークフロアと結合され、処理されたイメージストレージ８に記憶された結果を生成する。

ここで図３を参照して、本発明は、コンテンポラリダークフレームが望まれない雑音を有するという問題に対処する。本発明の１つの方法は、行のイメージメモリ５にダークフレームのイメージデータを記憶する、ダークフレーム捕捉２０で開始し、次のステップは、行のイメージメモリ５からデータを取り、コンテンポラリダークフレームメモリ７に記憶する、ダークフレーム２１を記憶することである。ベースラインのダークフロア２４を調整するアクションがここで行われ、ベースラインのダークフロアメモリ９から取られるベースラインのダークフロアイメージデータは、コンテンポラリダークフレームメモリ７から取られる、コンテンポラリダークフレームのイメージデータの統計量に応答してスケーリングされる。次いで、スケーリングされたベースラインのダークフロアイメージデータは、コンテンポラリのダークフレームに画素毎に比較される。スケーリングされたベースラインのダークフロアのイメージデータがコンテンポラリダークフレームデータに整合する範囲にまで、スケーリングされたダークフロアのイメージデータは、調整されたダークフロアメモリ１０に記憶され、スケーリングされたベースラインのダークフロアのイメージデータとコンテンポラリダークフレームデータとの間の十分に大きな差が存在する場合、コンテンポラリダークフレームデータは、調整されたダークフロアのメモリ１０に記憶される。スケーリングされたベースラインのダークフロアのメモリとコンテンポラリダークフレームデータとの間で選択する機能は、２者間の差を閾値となる制限値に比較することに基づいて一方又は他方からシンプルに選択することができる。閾値は、コンテンポラリダークフレームデータの期待される雑音統計量に基づき、差が期待される雑音にある場合、選択されたベースラインのダークフロアが選択されるが、差が期待される雑音よりも大きい場合には、コンテンポラリのダークフレームデータが選択される。代替的に、関数は、調整されたベースラインダークフロアメモリ及びコンテンポラリダークフレームデータからの値の重み付け平均を提供し、重み付けは、２つの値間の差の関数である。画像捕捉２２の後、イメージデータは、行のイメージメモリ５に記憶される。画像処理２３のアクションがここで行われ、イメージデータは、行のイメージメモリ５から取られ、処理されたイメージストレージ８に記憶された結果を生成するため、調整されたダークフロアメモリ１０から取られる、調整されたダークフロアのイメージデータと結合される。

まさに記載される方法は、実現するのが非常にシンプルであるが、センサの動作条件における局所的な変動、特に温度における局所的な変動に反応しない。これらの局所的な変動がベースラインのダークフロアに全体的に印加されるスケーリングファクタを誤ったものにする程度にまで、本方法は、コンテンポラリダークフレームを誤って賛成する。本発明の別の方法は、コンテンポラリのダークフレームのイメージデータの局所的な統計量に応答して、ベースラインのダークフロアイメージデータを調整することで、問題点に対処する。ここで図３を参照して、ベースラインのダークフロア２４を調整するこの代替的なプロセスがここで記載される。コンテンポラリダークフレームデータは、電流条件下で暗電流の雑音の直接的な測定である。局所的な熱の勾配が存在するため、補正のスケーリングファクタは、センサの表面の多数の位置で決定される必要がある。さしあたり１つの領域に焦点を当て、全体で１０２４画素を含む３２×３２画素の小さな領域を考える。Ｍkをベースラインのダークフロアのイメージデータに記憶されているｋ番目（１≦ｋ≦１０２４）の画素での値を示す。同様に、Ｘkをコンテンポラリダークフレームのイメージデータに記憶されたｋ番目の画素（１≦ｋ≦１０２４）を示す。この３２×３２画素ブロックの補正のスケーリングファクタαは、以下の式に従って計算される。

それぞれのケースにおいて、総和のインデックスｋは１から１０２４にまで変化する。本方法は、センサ間の温度差のような局所的な影響と同様に、露出時間のようなシステマチックな影響を考慮する。ひとたび補正スケールファクタがたとえば矩形アレイの格子ポイントといった多数のロケーションで決定されると、補正のスケーリングファクタは、バイキュービック補間のような標準的な補間方法を使用してそれぞれの画素位置で補間される。次いで、調整されたダークフロアイメージデータは、それぞれの画素位置で、ダークフロア画素値を画素補正のスケーリングファクタαで乗算することで生成される。

ここで図４を参照して、図３の方法の増大された形式が示されている。増大された方法は、ダークフレームのイメージデータを行のイメージメモリ５に記憶する、ダークフレーム捕捉２０で開始する。次のステップは、ダークフレーム２５を計算及び記憶することであり、コンテンポラリダークフレームメモリ７から取られた、行のイメージメモリ５及び既存のコンテンポラリダークフレームデータからのデータは結合され、コンテンポラリダークフレームメモリ７に記憶される。多数のダークフレーム捕捉は、そのように望まれる場合にこの時間で行われる場合がある。先のように、ベースラインのダークフロアを調整するアクション２４がここで行われ、図４における残りのステップは、図３に示されるステップと同じである。

ここで図５を参照して、図４の方法の増大された形式が示される。図５に示される方法は、ベースラインのダークフロアを調整するステップ２４にまで図４のステップに同一であり、ベースラインのダークフロアのメモリ９から取られる、ベースラインのダークフロアイメージデータは、コンテンポラリダークフレームメモリ７から取られた、コンテンポラリダークフレームイメージデータの局所的な統計量と、ベースラインの欠陥マップのメモリ１１から取られた、ベースラインの欠陥マップのデータとに応答して局所的に調整される。次いで、調整されたベースラインのダークフロアのイメージデータは、調整されたダークフロアのメモリ１０に記憶される。画像捕捉２２の後、イメージデータは、行のイメージメモリ５に記憶される。画像処理のアクション２３がここで行われ、イメージデータは、行のイメージメモリ５から取られ、調整されたダークフロアメモリ１０から取られた、調整されたダークフロアイメージデータと、ベースラインの欠陥マップのメモリ１１から取られた、ベースラインの欠陥マップデータと共に結合され、処理されたイメージストレージ８に記憶される結果を生成する。

ベースラインの欠陥マップデータの役割がここで開示される。ベースラインの欠陥マップデータは、信頼できないイメージデータを生成するために既知の欠陥の画素を識別する。したがって、ベースラインのダークフロア２４を調節するとき、コンテンポラリのダークフレームの統計量を計算することは、欠陥の画素からのデータを排除する。同様に、画像を処理するとき２３、これら同じ欠陥の画素からの行のイメージデータは、処理されたイメージストレージ８に記憶された処理されたイメージデータを形成するために使用される前に補正される。

図６を参照して、図５の方法の増大された形式が図示されている。図６に示される方法は、ダークフレーム２５を計算及び記憶するステップまで図５のステップに同一である。この後、新たなステップであるベースラインダークフロアを調整し、調整された欠陥マップを計算するステップ２７が実行され、ベースラインのダークフロアデータとベースラインの欠陥マップデータは、調整されたダークフロアメモリ１０及び調整された欠陥マップメモリ１２のそれぞれに記憶された結果を生成するために共に調整される。画像を処理する最後のステップ２３は、図５におけるケースであったように、ベースラインの欠陥マップメモリ１１から取られた、ベースラインの欠陥マップデータの代わりに、調整された欠陥マップメモリ１２から取られた、調整された欠陥マップデータを使用する。

ここで図７を参照して、図６の方法の増大された形式が示されている。図７に示された方法は、ベースラインのダークフロアを調整し、調整された欠陥のマップを計算するステップ２７が調整された欠陥マップのメモリ１２から取られた、前の捕捉からの調整された欠陥マップのデータを使用することを除いて、図６のステップに同一である。

図６及び図７の両者で使用される調整された欠陥マップのデータの役割がここで開示される。ベースラインの欠陥マップのデータは、カメラが較正されたときのように、過去における僅かな時間に存在する欠陥の画素を識別する。ベースラインの欠陥のマップが作成された後に幾つかの画素が欠陥となることが可能であるので、新たに変換された欠陥の画素を含むために欠陥のマップを調整することが望まれる。かかる変化を発見する１つの方法は、特定の画素のコンテンポラリダークフレームノイズの統計量における重要な変化に気付くことである。調整された欠陥マップは、ベースラインの欠陥マップよりも最新であり、したがって良好なデータとなる。

本発明は、好適な実施の形態を参照して記載された。しかし、本発明の範囲から逸脱することなしに、変形及び変更が当業者により実施することができることを理解されたい。

電子画像形成システムのブロック図である。 実際の画像捕捉と同時に捕捉されるダークフレームを使用したダークフロア補正を含む典型的な画像処理方法のフローチャート（従来技術）である。 実際の画像捕捉の前の時間での較正処理の間に捕捉及び記憶され、次いで画像に適用される前に実際の画像捕捉データに基づいて調節されるダークフロアを使用したダークフロア補正を含む典型的な画像処理方法のフローチャート（従来技術）である。 実際の画像捕捉の前の時間での較正処理の間に捕捉及び記憶される欠陥のある画素を識別するための欠陥マップを使用した欠陥の画素の補正を含む典型的な画像処理方法のフローチャート（従来技術）である。 新たな、調整されたダークフロアを形成するため、コンテンポラリダークフレームと較正されたダークフロアとの両者を利用するダークフロア補正を含む画像処理方法のフローチャートである。 コンテンポラリダークフレームを多数のコンテンポラリダークフレームの捕捉の機能となるのを可能にすることで、図３に拡張するダークフロア補正を含む画像処理方法のフローチャートである。 （ダークフロアを調整することにおいて欠陥のある画素を使用することを回避するため）ダークフロアを調整し、画像における置き換えを必要とする画素を識別するために使用される欠陥のある画素の補正によるダークフロア補正及び欠陥のある画素の補正を含む画像処理方法のフローチャートである。 較正された欠陥のマップがダークフロア調整プロセスの間に識別される更なる又は異なる欠陥のある画素を含むために調整されるのを可能にすることで、図５に拡張するダークフロア補正及び欠陥のある画素の補正を含む画像処理方法のフローチャートである。 較正された欠陥のマップの調整が前の調整の情報を欠陥のマップに含むのを可能にすることで、図６に拡張するダークフロア補正及び欠陥のある画素の補正を含む画像処理方法のフローチャートである。

符号の説明

１：イメージセンサ
２：レンズ
３：シャッターメカニズム
４：アナログ−デジタルコンバータ
５：行のイメージメモリ
６：プロセッサ
７：コンテンポラリダークフレームメモリ
８：処理されたイメージストレージ
９：ベースラインダークフロアメモリ
１０：調整されたダークフロアメモリ
１１：ベースラインの欠陥マップメモリ
１２：調整された欠陥マップメモリ
２０：ダークフレーム捕捉手順ブロック
２１：ダークフレーム記憶手順ブロック
２２：画像捕捉手順ブロック
２３：画像処理手順ブロック
２４：ベースラインダークフロア調整手順ブロック
２５：ダークフレーム計算及び記憶手順ブロック
２７：ダークフレーム計算及び記憶並びに調整された欠陥マップ計算手順ブロック

Claims (3)

1. 画像の捕捉でそれぞれ使用される画素のアレイを有するイメージセンサを較正する方法であって、
   （ａ）前記アレイにおける実質的に全ての画素から第一の時間でダークフレームの系列を捕捉し、前記ダークフレームの系列を平均して、第一のダークフロアの値を有するベースラインダークフロアを生成するステップと、
   （ｂ）前記第一のダークフロアの値を記憶するステップと、
   （ｃ）前記アレイにおける実質的に全ての画素から第二の時間でコンテンポラリのダークフロアの値を捕捉するステップと、前記第二の時間は、前記第一の時間に続く時間であり、
   （ｄ）前記第一のダークフロアの値と前記コンテンポラリのダークフロアの値を使用して、第三のダークフロアの値を計算するステップとを含み、前記第三のダークフロアの値は、１以上の捕捉された画像を処理するときに使用され、
   （ｅ）前記ステップ（ｃ）及び（ｄ）を繰り返すステップと、同じ前記第一のダークフロアの値が使用されて前記第三のダークフロアの値が計算される、
   ことを特徴とする方法。
2. 前記ステップ（ｃ）は、実際に捕捉された画像に実質的に近い時間的な近さで前記第二のダークフロアを捕捉するステップを含む、
   請求項１記載の方法。
3. （ａ）実際の画像を捕捉することにそれぞれ使用される画素のアレイを有するイメージセンサと、
   （ｂ）前記アレイにおける実質的に全ての画素から第一の時間で捕捉された第一のダークフロアの値を有するベースラインダークフロアを含むメモリと、前記ベースラインダークフロアは、捕捉されたダークフレームの系列の平均を含み、
   （ｃ）第三のダークフロアの値の系列を計算する計算ユニットとを有し、それぞれの計算について、前記第一のダークフロア値と新たに捕捉されたコンテンポラリのダークフロア値を使用して前記第三のダークフロア値が計算され、特定の前記第三のダークフロア値は、１以上の捕捉された画像を処理するために使用される、
   ことを特徴とするカメラ。

Images