JP4243427B2 - デジタルピクセル出力信号の処理方法および装置 - Google Patents

Description

【０００１】
（技術分野）
本発明はピクセル出力信号の処理に係り、より詳細にはデジタルピクセル出力信号の処理に関する。
【０００２】
（背景技術）
デジタル技術の進展に伴い、デジタルカメラ、つまりビットなどの２進デジタル信号フォーマットでイメージの所定ピクセル位置に対する光の強さを表すカメラが、さらに普及し始めている。しかしながら、そのようなカメラを使用するときの不利な点のひとつに、ノイズあるいはオフセットがある。これは、以後ＣＣＤセンサおよびＣＭＯＳセンサとそれぞれ称するが、電荷結合素子センサあるいは相補形金属酸化膜半導体センサを用いるアレイなどの、デジタルイメージアレイを使用すると時折遭遇するものある。このいわゆる固定パターンノイズ（ＦＰＮ）に対処するために、今までに使われてきた技術の１つが、例えば露出、温度及びゲイン係数を含む実質的に予め決められた一組のパラメータでセンサが光に曝されるのを防ぎ、得られたデジタルピクセル出力信号を記憶するなどにより、「暗イメージ」をメモリに読みこむものである。その後、記憶された暗イメージが、デジタルイメージアレイを使って生成される対象のイメージから差引かれる。一般に、デジタルカメラにおいては、所望のイメージ及び暗イメージに対する相当するピクセル出力信号を、それらが適切に減算され、比較されるように、ハードウエアかソフトウエアのいずれかによって、確実に関連付けをしていた。しかしながら、このノイズとそれに対処するために用いられる手法を設けると、２進デジタル信号フォーマットとは別のフォーマットでピクセル強さの信号値を記憶するようになっているカメラに対し、イメージ処理に今までにない余分の複雑さを招く。従って、このセンサを使用するデジタルカメラが示す複雑性を解決する技術の必要性が存在する。
【０００３】
（発明の開示）
簡潔に言うと、本発明の１実施態様によると、デジタルカメラは、複数のピクセルを含むデジタルイメージアレイ、およびイメージアレイにより生成されるデジタルピクセル出力信号を処理するイメージ処理回路を備えている。イメージ処理回路は、飽和デジタルピクセル出力信号を、非飽和デジタルピクセル出力信号とは別に処理するようになっている。
【０００４】
本発明の他の実施態様によると、少なくとも１つの集積回路はイメージ処理回路を含んでいる。イメージ処理回路は、デジタルイメージアレイによって生成されるデジタルピクセル出力信号を処理するようになっている。更に、イメージ処理回路は、飽和デジタルピクセル出力信号を、非飽和デジタルピクセル出力信号とは別に処理するようになっている。
【０００５】
さらに本発明のもう１つの実施態様によると、デジタルイメージアレイによって生成されるデジタルピクセル出力信号を処理する方法は、飽和デジタルピクセル出力信号を、非飽和デジタルピクセル出力信号とは別に処理するステップを含んでいる。
本発明の主題は、明細書の冒頭部分に詳細に指摘され、明確に請求されている。しかしながら、本発明は、構成と作動方法に関し、その目的、特徴および利点と共に、添付図面を参照して以下の詳細な説明から十分理解できるであろう。
【０００６】
（発明を実施するための最良の形態）
以下の詳細な説明において、本発明を完全に理解されるように多くの具体的な詳細を示す。しかしながら、本発明は、具体的な詳細がなくても、本発明が属する技術分野の通常の知識を有する者には理解できるであろう。また、周知の方法、手順、要素および回路は、本発明を混乱させないようにするため詳細には説明していない。
【０００７】
先に述べたように、デジタルカメラは少なくとも部分的にはデジタル技術が進歩したことでさらに一般的になってきている。従って、CCDやCMOSセンサを備えたイメージアレイが、採用されるようになってきている。しかしながら、もう一つの面で、そのようなセンサを使用することに関連して、固定パターンノイズ（ＦＰＮ）の存在がある。そのようなセンサを備えたイメージアレイを使用して生成されるイメージの品質を改善するための１つの技術は、暗イメージを得て、それをランダムアクセスメモリー（ＲＡＭ）やダイナミックＲＡＭ（ＤＲＡＭ）のようなメモリーに記憶し、イメージアレイを使用して対象のイメージを取得し、そして次にその対象のイメージから記憶された暗イメージを減算するか取り除くことである。従って、ＦＰＮは、対象のイメージを生成するのに用いられる、望ましくは、露出、温度およびゲイン係数などの一組のパラメータにできるだけ近くなるように、センサが光に暴露されるのを制限し、得られたデジタルピクセル出力信号を記憶することにより、収集される。一般に、対象のイメージにできるだけ近くなるような条件を模倣した条件で、暗イメージを取得するのが望ましい。同様に、イメージ処理を備えているデジタルカメラは、またイメージアレイによって生成されるデジタルピクセル出力信号を処理するようになっているデジタルカメラまたはイメージアレイ回路を含む。従って、その回路は、対象のイメージと暗イメージに対して生成される対応するデジタルピクセル出力信号を、それらがお互いから減算されるか比較されるように同期させる。この処理が、単にハードウエアのみか、或いは代わりに、例えばマイクロプロセッサやデジタル信号処理装置などの処理装置を含むハードウエアのプラットフォーム上で作動するソフトウエアのどちらかで行われることは、当然同業者には知られているであろう。このようなわけで、回路という用語は、専用ハードウエア、専用ソフトウエアを有する汎用ハードウエア、ファームウエアまたはそのあらゆる組み合わせを含むあらゆるハードウエアを表し、また含むことを意図している。
【０００８】
前述したように、この手法や技術の１つの問題は、２進デジタル信号やビットを使用しない手法や技術に比べて、付加的な複雑さを生ずることである。例えば、固定長の２進デジタル信号を用いるとき、イメージアレイのピクセルによって受け取られる光の強さのダイナミックレンジは、本来限られている。従って、ピクセルがそのダイナミックレンジを越える強さの光にさらされると、イメージ品質はデジタルピクセル出力信号が飽和するかクリッピングされるために影響を受け、ピクセルの出力信号はピクセルがさらされる光の強さを正確に表さなくなる。これが起きる代表的な状況は、例えば正反射といわれるものである。このようなわけで、鏡面反射は、例えば太陽のような非常に強い、あるいは明るい光から直接センサに反射する光を意味する。その結果、すべてのイメージ特性に関する強さのダイナミックレンジは、通常デジタルセンサの能力をはるかに越えているために信号クリッピングにつながる。従って、イメージアレイのピクセルのサブセットが飽和しているかクリップされたピクセル出力信号を生じる状況では、暗イメージを減算する前述した技術は、所望の結果として、ノイズを減らすよりもむしろイメージ中のノイズを増やすことになる。
【０００９】
ＣＣＤおよびＣＭＯＳセンサは両方ともＦＰＮを生じるが、現状の技術ではＣＭＯＳセンサの方が一般的に大きな量を示す。しかしながら、ＦＰＮの原因はさまざまな要素に起因するが、ＣＭＯＳセンサの製造工程の些細な欠陥が原因のことが多い。そのようなノイズを生成する他の要因としては、イメージアレイ回路の設計やアレイの配列の形状寸法などがある。
【００１０】
図３の実施形態３００に示すような、本発明によるデジタルカメラの実施形態は、例えばＣＣＤやＣＭＯＳセンサのようなセンサで構成された複数のピクセルを有するイメージアレイ３１０を備えている。さらに、デジタルカメラ３００は、イメージ処理回路を有し、イメージアレイのピクセルによって生成されるデジタルピクセル出力信号を処理する。例えば、図３に示すように、この実施形態では、それぞれ１０ビットのデジタルピクセル信号が、取得インターフェイス回路３２０に１２ＭＨＺで供給されるが、本発明はこの形態に限定されるわけではない。この２進デジタル信号の形の生のイメージデータが、次に暗固定パターンノイズ（ＤＦＰＮ）低減あるいは除去ユニット３４０に与えられる。除去ユニット３４０では、所望のイメージに対するデジタルピクセル出力信号が、暗イメージに対するデジタルピクセル出力信号と比較される。暗イメージのデジタルピクセル出力信号は、前述したようにイメージアレイ３１０を用いて生成され、この特定の実施形態ではそれらデジタルピクセル出力信号は、直接メモリーアドレス（ＤＭＡ）コントローラ３９０およびＤＲＡＭコントローラ３８０のようなデータフローコントローラを用いたＲＡＭテーブル３３０によって記憶される。勿論、本発明はこのメモリーアーキテクチャに限定されるわけではない。暗イメージが生成され記憶されると、減算を行う除去ユニットの形態はバイパスされる。従って、所望のイメージが生成されると、暗イメージはメモリー３３０から取り出され、所望のイメージから暗イメージを減じることによって生成された生成２進デジタル信号が、次いでコンパンダ参照用テーブル（ＬＵＴ）３５０に供給される。図３に示すように、２進デジタル信号は、１０ビットとしてコンパンダＬＵＴ３５０に与えられ、次いで残りのイメージ処理のためにコンパンダから８ビットで提供される。更に、図３はこの実施形態では色標識もつけられることを示す。この特定の実施形態では、本発明がこの態様の範囲に限定されるものではないが、付けられる色標識はデジタルピクセル出力信号のカラープレーンを表す。いくつかの可能なカラースペースのどれか１つを使用することができるが、その１つのカラースペースは赤―緑―青（ＲＧＢ）カラースペースである。従って、単色イメージというよりは、異なる色を表す３つのイメージが生成され処理される。本実施形態では、色標識にはそれぞれのイメージが施される。コンパンダを使用する本実施形態では、１つがそれぞれの色に相当する３つのコンパンダが使用される。勿論、本発明がカラーイメージを作ること或いはＲＧＢカラースペースに限定されないことが、解るであろう。
【００１１】
本発明によるデジタルカメラの実施形態の１は、イメージアレイ回路が、飽和デジタル出力信号を、非飽和デジタルピクセル出力信号とは別に処理するようになっていることである。この実施形態におけるこの態様が、図１により詳細に示されているが、本発明は再度のことながらこの特定の実施形態に限定されるものではない。図１に示されているが、ブロック１１０によって示されるように最初にイメージが取得または獲得される。補正前のデジタルピクセル出力信号が、次いで飽和検出制御論理１２０に与えられる。このデジタルピクセル出力信号が飽和していなければ、取得された補正前の信号値がノード１３０に与えられ、暗イメージの相当する信号値が減算される。しかしながら、若し飽和検出制御論理が、所望のイメージのこのデジタルピクセル出力信号が飽和していることを示せば、この減算は起こらない。この実施形態では、この飽和検出制御論理は暗固定パターンノイズ除去ユニット３４０に含まれる。前述したように、暗イメージは、所望のイメージが生成され記憶される前に取得され記憶される。従って図１に示すように、ＤＲＡＭコントローラ１６０およびＤＭＡ１７０はそれぞれ、この特定の実施形態での記憶されたデジタルピクセル出力信号に対応するアドレスを提供する。勿論、本発明はこの形態の範囲に限定されるわけではない。従って、本実施形態では、次いでラインバッファ１５０が、ブロック１１０によって示されるように、取得された所望のイメージの補正前デジタルピクセル出力信号で処理される暗イメージの対応するデジタルピクセル出力信号を提供する。減算が行われた後、図１に示すように、次いで、補正デジタルピクセル出力信号がコンパンダＬＵＴ１４０に与えられる。
【００１２】
前述したように、本発明はこの形態に範囲が限定されるわけではないが、この特定の実施形態では、強さのレベルを表す１０進デジタル信号またはビットが使用される。従って、１０個の１または１６進信号値「３ＦＦ」が検出されると、デジタルピクセル出力信号はクリッピングされるか飽和する。従って、本発明によるデジタルカメラまたはデジタルカメラ回路の特定の実施形態では、デジタル信号値「３ＦＦ」が、所望するイメージの特定ピクセルのデジタルピクセル出力信号として検出されると、そのピクセルの暗イメージの相当するデジタルピクセル出力信号が減算される代わりに、例えば図１に示すように、減算はバイパスされるか「オフ」になる。飽和信号値は、図１のコンパレータＬＵＴ１４０または図３の３５０に与えられる。
【００１３】
この実施形態は、また図２のフローチャートによって表される。この実施形態では、補正されていないデジタルピクセル出力信号が、ブロック２１０で除去ユニットによって受け取られる。ブロック２２０において、暗固定パターンノイズ減少または除去機能が「オン」されるかどうか決定される。この機能には、例えば暗イメージが取得され記憶されている場合にはオンされない。この場合、図２にブロック２７０で示すように、この処理される２進デジタル信号は次の段階に移され、この特定の実施形態ではこの信号をコンパンダに適用する結果となる。しかし、この機能がオンされ、飽和の特別な場合が生じると、回路は、ブロック２４０で示されるように、この実施形態ではその信号値が「３ＦＦ」に等しいかどうかを検出する。等しくなければ、次にブロック２６０で示されるように暗イメージからの相当する信号値が減算される。しかしながら、若しこの２進デジタル信号値が例えば本実施形態での「３ＦＦ」と検知された場合、次いでブロック２５０で示されるように減算を実行する代わりに、この２進デジタル信号値は２進デジタル信号のまま通過する。
【００１４】
さらに本発明によるデジタルカメラのもう１つの実施形態では、飽和デジタルピクセル出力信号は、非飽和ピクセルデジタル出力信号とは別に処理される。しかしながら、この異なった処理は暗イメージの対応するデジタルピクセル出力信号の減算をバイパスする以上のことを含む。例えば、１つの実施形態では、平均暗固定パターンノイズレベルを、すべての飽和２進デジタル信号値から減算することができる。この手法には種々の利点がある。固定パターンノイズ特性のために、本発明の実施形態にはないが、一般的に減算されるべき暗イメージシグナル値は、均一にはならないであろうから、もし飽和信号値から減算されれば、イメージに対し不均一で不調和な外観を与えるであろう。より詳しく言えば、人間の目にはこの領域のイメージが均一になるかクリッピングされるのがよく、暗イメージ信号値が減算されることによりノイズが生ずることになる。従って、対応する飽和信号値から暗イメージの特定の信号値を減算するよりは、平均値を減算するのが望ましい。さらに、飽和信号値が生じるところでは、もし暗イメージ信号値が非飽和信号値だけから減算されるのであれば、非飽和値と比較してその飽和値の相対的強さは、所望の値よりが大きくなるであろう。このことは観る者に対する外観イメージに好ましくない影響を与える。従って、この相対的強度を減少させるように飽和信号値からある値を減算することがまた望ましい。この減算では、高い相対強度がもたらす有効なダイナミックレンジが無くなるのを少くするか、防ぐことができる。
【００１５】
飽和信号値から減算される平均信号値を得るための数々の技術のうち、どれでも適用できる。この特定の実施形態では、暗イメージの信号値が取り出され、平均と標準偏差が算出され、それにより固定パターンノイズのレベルを近似させる。勿論、種々の実施形態において種々の異なるサンプリング技術を適用することができる。例えば、所望のイメージの飽和領域中でのみ取り出すのが望ましいだろう。もう１つの選択として、標準偏差を調べ、その標準偏差値によって標準偏差を減らすためにイメージ領域をサブサンプリングすることが望ましい。また、例えば平均および／または偏差が、イメージの１つの場所でその他の場所よりも大きいような場所などの暗イメージの選択部分を処理することにより、ノイズの傾向が観察できる。
【００１６】
また、本発明のもう１つの実施形態では、平均暗固定パターンレベル信号として求められた値を減算するステップが、コンパンダ参照用テーブルによって成される処理ステップに組み込まれ、そのことによりこの減算動作が、コンパンダ動作およびガンマオペレーションと呼ばれるセンサの色反応と人間の目の違いを調整する動作のような他の動作と結合できる。特に、本発明はこの形態の範囲に限定されるわけではないが、１つの実施形態では、コンパンダ動作において１０ビットが受け取られ、これから８ビットが生成される。これは、参照用テーブルを使って行われる実質的に非線型の動作である。この特定の動作が実質的に非線型である理由は、この動作は光に対する人間の目の反応を反映させるか対応させようと意図しているためである。従って、この特定の実施形態では、ＬＵＴの値はこの反応の分析モデルからはじまって成し遂げられ、次いで経験的に調整される。同様に、ガンマオペレーションも、得られるイメージの色反応を調整するために用いられる。特に、この特定の実施形態では、これは多くの手法を達成できるであろうし、本発明がこの態様の範囲にまたはカラーフィルタアレイ（ＣＦＡ）を使用することに限られるわけではないが、ＣＦＡが本来イメージセンサに含まれている。従って、ガンマオペレーションは、この色フィルタアレイが、得られるイメージの色の校正を成就したときに有していた効果を反転させるかあるいは取り除くために使用される。またこの特定の実施形態では前述したように、暗イメージパターン固定ノイズとしてあるいはそれを表すものとして求められる信号値も、同様に減算できる。さらに、この実施形態では、クリッピングされるか飽和するデジタルピクセル出力信号値は既知の値なので、減算は減算される信号値を単に記憶することによって行われる。もちろん、本発明は、この形態の範囲に限定されるものではない。良く知られているように、前述した３つの動作を、１個の参照用テーブルを用いて結合し、実行することができる。ここではこれを達成するための詳細な手段に触れていないが、そのような技術は、この発明が属する分野の通常のスキルを有する者の技術レベル内では明白なことである。そのうえ前述したように、本発明はこの態様の範囲に限定されるものではないが、この実施形態ではそれぞれのカラープレーンについて、それぞれ異なる参照用テーブルが適用される。
【００１７】
本発明によるデジタルカメラのもう１つの実施形態では、イメージ処理回路は、飽和デジタルピクセル出力信号を、非飽和デジテルピクセル出力信号とは別に処理する前に、飽和領域を確認する能力を組み込むことができる。特に、例えば１つの実施形態では、除去ユニットは、ピクセルが飽和出力を生成することを以ってすべての隣接するピクセル出力信号も飽和していることを確認するために、境界ピクセルの出力信号を検査するようになっている。１つの実施形態で、もしすべてが飽和していなければ、この飽和信号値は別に処理されない。一方、もし周囲の領域にある特定の数の信号値が飽和していることが検出されると、次にその領域にあり飽和しているピクセルの出力信号が別に処理される。飽和デジタルピクセル出力信号の領域を求めるおよび／または指定する他の実施形態が用いられる。同様に、飽和デジタル出力信号値が確認されると、イメージ処理回路はそれが飽和信号値の領域の中にはないことを求める能力を備えることができる。例えば飽和信号値が孤立した飽和信号値である場合、非飽和ピクセル出力信号と比較して別に処理を行わない。さらに、他の手法が用いられる。
【００１８】
もちろん前述したように、実施形態は種々の方法で実現できる。例えば前述したように、処理は結線とすることができる。また前述したように、ＤＰＳやマイクロプロセッサなどの処理装置は、処理装置上で実行されるとき所望のオペレーションを遂行するソフトウエアを搭載することができる。また、同様にファームウエアの中でも実施形態が実行できる。本発明はこの形態の範囲に限定されるわけではないが、比較的数が多い２進デジタル信号値やビットが処理されることから、高速処理ができる方法の実施形態を選択するのが一般にはより望ましい。
【００１９】
本発明のいくつかの特徴がここに図示され説明されているが、同業者であれば多くの改良、代替、変更および同等品を実現できるであろう。従って、添付された請求項は、本発明の本質に含まれるような改良や変更などをすべて含むように意図されていることが理解できよう。
【図面の簡単な説明】
【図１】 本発明によるデジタルピクセル出力信号処理装置の実施形態の理論的動作を示すブロック図である。
【図２】 本発明によるデジタルピクセル出力信号処理方法の実施形態を示すフローチャートである。
【図３】 本発明によるデジタルピクセル出力信号処理装置のハードウエアの実施形態を示すブロック図である。

Claims (3)

1. イメージ処理回路を有し、
   前記イメージ処理回路は、デジタルイメージアレイにより生成されるデジタルピクセル出力信号を処理するものであると共に、飽和デジタルピクセル出力信号の領域に相当する領域で、暗イメージをサンプリングすることを含んで、非飽和デジタルピクセル出力信号とは別に飽和デジタルピクセル出力信号を処理する回路であり、また前記イメージ処理回路は、前記イメージアレイセンサの平均暗イメージ固定パターンノイズであって前記サンプリングされた暗イメージの信号値の平均と標準偏差に基づいて推定された平均暗イメージ固定パターンノイズを飽和デジタルピクセル出力信号から減算することによって、該飽和デジタルピクセル出力信号を処理することを特徴とする回路。
2. 複数のピクセルを有するデジタルイメージアレイと、前記イメージアレイにより生成されるデジタルピクセル出力信号を処理するイメージ処理回路とを有するデジタルカメラにおいて、
   前記イメージ処理回路は、対象イメージにおける飽和デジタルピクセル出力信号の領域に相当する領域で、暗イメージをサンプリングすることを含んで、飽和デジタルピクセル出力信号を、非飽和デジタルピクセル出力信号とは別に処理する回路であり、更にこの回路は前記サンプリングされた暗イメージの信号値の平均と標準偏差に基づいて、平均暗イメージ固定パターンノイズを推定すると共に、前記推定されたイメージアレイセンサの平均暗イメージ固定パターンノイズを飽和デジタルピクセル出力信号から減算することによって、該飽和デジタルピクセル出力信号を処理することを特徴とするデジタルカメラ。
3. イメージアレイセンサ群を有するデジタルイメージアレイによって生成されるデジタルピクセル出力信号の処理方法であって、対象イメージにおける飽和デジタルピクセル出力信号の領域に相当する領域で、暗イメージをサンプリングするステップを含んで、飽和デジタルピクセル出力信号を非飽和デジタルピクセル出力信号とは別に処理するステップと、
   前記サンプリングされた暗イメージの信号値の平均と標準偏差に基づいて、前記イメージアレイセンサに対する平均暗イメージ固定パターンノイズを推定するステップとから構成され、
   飽和したデジタルピクセル信号の前記別処理は、前記イメージアレイセンサの前記推定された平均暗イメージ固定パターンノイズを該飽和デジタルピクセル出力信号から減算するステップを含んでいることを特徴とするデジタルピクセル出力信号の処理方法。

Images