JP4639031B2 - カラーイメージピックアップデバイス - Google Patents

Description

【０００１】
本発明はセンサ出力信号を処理するための方法およびデバイス、並びにこれらデバイスを備えるカメラに関する。
【０００２】
センサ出力信号を処理するための周知の信号処理デバイスおよび方法においては、使用されるセンサ、例えば、RGB Bayerセンサが、センサの最大感度、例えば、センサの最大電荷容量を超えられほど過剰に露出された場合、カラー情報の損失の結果として望ましくない虚像（artifacts）が発生することがある。つまり、元のカラー、とりわけ、ホワイト（白色）の再生が不可能になり、結果として望ましくない虚像が発生することとなる。この問題は、任意の画素に対するカラー信号値を再生する際に周囲のあるいは隣接する画素に関する情報も用いられる場合は、より大きな問題となる。つまり、センサ感度が超えられた場合、再生されたカラー信号値に不連続性が発生し、再生されたカラー信号値を変換して得られる輝度およびクロミナンス信号から再生されるイメージ内に虚像が生成されることがある。
【０００３】
本発明の一つの目的は、とりわけ、センサ出力信号処理の方法を改善することにある。これを達成するために、本発明は、独立クレームにおいて記載されるようなセンサ出力信号処理方法を提供する。様々な好ましい実施例が従属クレームにおいて記載される。
【０００４】
本発明を用いると、望ましくない虚像が防止される。特定のカラーに関するいかなるカラー情報も失われることなく、不連続性、並びにこれに伴う虚像が結果としてのイメージ内に発生することが防止される。
【０００５】
一つの好ましい実施例においては、センサと再生ユニットとの間に前置プロセッサが配置され、この前処理ユニット（前置プロセッサ）はセンサ出力信号の振幅のダイナミックレンジを制限するための追加のクリッピングデバイスを備え、（下流の）クリッピングデバイスのクリッピングレベルは、前置プロセッサ内のこの追加のクリッピングデバイスのクリッピングレベルより低くされる。この好ましい実施例によるデバイスにおいては、信号のその後のデジタル化が、情報の損失あるいは結果としてのイメージの品質の劣化を伴うことなく、簡素化される。
【０００６】
もう一つの好ましい実施例においては、クリッピングデバイスは、クリッピングデバイスからのクリッピングが発生したことを示す信号（SS）から（生成される）あるいは少なくともこれに応答して（生成される）少なくとも2×2ビット画素配列から成るスイッチ信号を生成する単一ビットホワイトクリップ遅延ユニットに接続される。本発明のこのような実施例においては、スイッチ信号は、クリッピングが発生したときクロミナンス信号が零なるカラー差に設定されるべきことを示すことに加えて、これらカラー差信号の代わりにフルホワイト画素信号（full white pixel signal）を用いるべきことを示す。こうして、これらカラー信号値の一つがそのクリッピングレベルを超えた場合、その画素配列のレンジに渡って、ホワイトクリッピングが保障される。この単一ビットホワイトクリップ遅延ユニットは、カラーマスクパターン内の画素に対応する画素配列の所望のレンジを得るために、少なくとも１ビット遅延ユニットと１ビット行遅延ユニットを備える。
【０００７】
さらに、遅延適合化回路が、単一ビットホワイトクリップ遅延ユニットからのスイッチ信号を輝度およびクロミナンス信号と同期するために、単一ビットホワイトクリップ遅延ユニットに接続される。輝度およびクロミナンス信号は、しばしば、その後の処理から得られるために、クリッピングが遂行された後に、この遅延適合化回路によって、単一ビットホワイトクリップ遅延ユニットによって生成された信号とクロミナンス信号が（タイミング良く）挿入されることを確保する。
【０００８】
もう一つの実施例においては、再生ユニットは、特定の画素の再生の際に周囲の画素を考慮に入れる輪郭プロセッサを備え、単一ビットホワイトクリップ遅延ユニットはN×M 単一ビット輪郭プロセッサオフ信号生成器を含む。こうすることで、特定の画素に対する信号の再生において、特定のカラー信号に対する値が結果として望ましくない虚像をもたらすようなクリッピングレベルより高い値となることが回避され、結果的に望ましくない虚像が防止される。単一ビットホワイトチップ遅延ユニットを輪郭プロセッサオフ信号を供給するように拡張することのもう一つの長所は、ホワイトクリップを施されたエッジ（white clipped edges）の所に望ましくないシャープニング（sharpening）が発生することを防止でき、こうして画像の品質が改善されることである。
【０００９】
もう一つの好ましい実施例においては、クリッピングデバイスは、その後の処理あるいは前処理の前の、センサから下流のアナログ／デジタル変換器（ADC）へのアナログ経路内に配置される。この構成は多くの長所を持つ。こうすることで、アナログでのホワイトバランス制御を行なうことができる他、アナログ／デジタル変換の前にガンマ（gamma）あるいはニー（knee）などの非線形処理方法を遂行することが可能となり、このため、アナログ／デジタル変換器によって変換されることを要求されるビットの量をかなり低減することができる。さらに、緑信号とホワイト修正された赤および青信号を用いる輝度ベースの再生方式も可能となる。
【００１０】
【発明の実施の形態】
本発明のこれらおよびその他の特徴が以下の本発明の実施例の説明から明らかになるものである。
【００１１】
図面の説明に入る前に、以下に説明される全ての実施例において、本発明はこれに限定されるものではないが、RGBバイヤー（Bayer）センサが用いられ、RGBバイヤーセンサは以下のRGBカラーマスクパターンを備える：
ＲＧＲＧＲＧＲＧＲＧＲＧＲＧＲＧ
ＧＢＧＢＧＢＧＢＧＢＧＢＧＢＧＢ
ＲＧＲＧＲＧＲＧＲＧＲＧＲＧＲＧ
ＧＢＧＢＧＢＧＢＧＢＧＢＧＢＧＢ
従って、このカラーマスクパターンにおいては各画素に対して以下が反復される。
ＲＧ
ＧＢ
【００１２】
このユニットがRGBバイヤーセンサの最も単純な輝度画素を構成する。本発明によると、クリッピングデバイスによって、センサ出力信号あるいは再生された複数のカラー信号値が、バイヤーセンサの最大感度より高いレベルを持つ信号のために、結果としてのイメージ内に虚像が生成されることを防止するためにクリップされる。
【００１３】
例えば、緑色を表すＧ信号がセンサの最大感度を超えた場合、色のバランス（color balance）が失われるばかりでなく、このＧ信号と最も密接に関連（correlated）する輝度情報の多くも影響を受ける。本発明は、これに起因して望ましくない虚像が生成されることを防止することに向けられる。
【００１４】
図１に示すデバイス１は信号処理デバイスであり、ここで、イメージはレンズ２およびセンサ３によって捕捉され、このセンサ３はセンサ出力信号を生成する。センサ３は複数のカラーを持つカラーマスクパターンにて覆われる。センサ３からのセンサ出力信号は前置プロセッサ４に送られるが、前置プロセッサ４は、単に一例として、ノイズを低減するための相関二重サンプリング（correlated double sampling、CDS）回路、低光量条件に対する自動利得回路（automatic gain circuit、AGC）、およびアナログ／デジタル変換器を含む。
【００１５】
前置プロセッサ４内で前処理を施された後に、センサ出力信号は、前処理されたセンサ出力信号から各画素に対するカラー信号値が得るために、RGBを再生する用の再生ユニット５に送られる。各画素に対するこれらカラー信号値は、オプションとして、これらカラー信号値（R,G,B）にマトリックスホワイトバランス処理（matrix white balance processing）および／あるいは非線形処理、例えば、ガンマ（gamma）処理が施される回路７を経由して、これらカラー信号値から各画素に対して輝度信号およびクロミナンス信号（Y;U,V）を生成するための変換ユニット６に送られる。
【００１６】
再生ユニット５と回路７との間には、カラー信号値（R,G,B）の各々に対する３つのクリッピングデバイス（clipping devices）８が配置される。これらクリッピングデバイスは、再生されたカラー信号値（R,G,B）のおのおのが、図１においてRw、Gw、Bwとして示される所定の閾値すなわちクリップレベルを超えるか否かを検出する。これらカラー信号値R、G、Bの任意の一つが対応するクリップレベルRw、Gw、Bwを超える場合は、クリップデバイスが起動され、その出力信号がそのクリップレベルに制限される。これらクリップレベルは、センサの最大感度、RGB Bayerセンサの場合はその最大電荷容量、より、好ましくは、若干低いレベルに定められる。こうして、信号処理デバイス１においては、クリッピングデバイス８は、センサ３の最大感度がカラー信号値の任意の１つについて超えられ、従って、これらカラー信号値の任意の１つ内の情報が失われたか否かを決定する。このような事態が起こると、結果として、輝度信号とクロミナンス信号（U,V;Y）を用いて再生されたイメージ内に虚像が生成されることとなる。このような虚像を防止するために、クリッピングデバイスは、OR回路９に向けて検出信号DSを出力し、OR回路９はクリッピングデバイス８からの検出信号の少なくとも１つが問題のクリッピングデバイス８の少なくとも１つがそれに入力されたカラー信号値がその所定のクリップレベルRw、Gw、Bwを超えた結果として起動されたことを示した場合、検出信号DSからスイッチ信号SSを生成する。
【００１７】
OR回路９はこのスイッチ信号を調節ユニット１０に出力し、この調節ユニット１０は、これらカラー信号値の任意の一つがクリップされたとき、つまり、スイッチ信号SSによってクリッピングデバイス８の一つが起動されたことが示されたとき、このときに限り、クロミナンス信号（U,V）を零にスイッチする。
【００１８】
上の実施例においては、クリッピングデバイス８は、信号路内において、再生ユニット５によるRGBの再生の後に配置された。再生ユニット５は、特定の画素に対するカラー信号値を再生するとき、周囲の画素からの信号を考慮するように実現され、このため、周囲の画素からの再生の結果としてカラー信号値内に不連続性が発生することがある。これら不連続性は、クリッピングデバイスが信号路内において再生ユニット５の前に配置された場合は、クリッピングデバイスのクリップレベルより高いカラー信号値を与えることがある。再生ユニット５にてカラー信号値R、G、Bの各々に対してRGBを再生した後に、クリッピングデバイスを配置することで、これら不連続性を検出することが可能となり、こうしてクロミナンス信号および輝度信号（U,V;Y）から生成されるイメージ内に虚像が生成されるのを防止することが可能となる。
【００１９】
図１の実施例との関連で、一つのオプションとして、前置プロセッサ４内に、もう一つの追加のクリッピングデバイスを設けることもできる。本発明のこのような実施例においては、センサ出力信号のダイナミックレンジを制限することができる。これは、当業者においては直ちに明らかになるように、センサ出力信号のその後の処理、とりわけ、符号化過程、アナログ／デジタル変換、RGBの再生、その他との関連で有利となる。前置プロセッサ４内に追加のクリッピングデバイスを備えるこのような実施例においては、信号路内において再生ユニット５によるRGBの再生の後に設けられるクリッピングデバイス８のクリップレベルは、周囲の画素からのRGB再生によって虚像が生成されるのを防止するために、前置プロセッサ４内の追加のクリッピングデバイスのクリップレベルよりも低くすることが要求される。
【００２０】
図２の実施例においては、単一のクリッピングデバイス８が前置プロセッサ４と再生ユニット５の間に配置される。再生ユニット５は、カラー信号値R、G、Bを再生する際に、N×Mエリアの画素を考慮に入れる。カラー信号値の再生の際に周囲の画素を用いた結果、カラー信号値R、G、B内に不連続性が発生し、このためにクロミナンス信号および輝度信号（U,V;Y）から生成されるイメージ内に虚像が発生することを防止するために、以下の手段が講じられる。
【００２１】
クリッピングデバイス８が、クリッピングデバイスがセンサ３から出力され、前置プロセッサ４によって前処理されたセンサ出力信号をクリップするために起動されたことを示すスイッチ信号SSを生成すると、このスイッチ信号SSを用いて単一ビットホワイトクリップ遅延ユニット（single bit white clip delay unit）１１内で2×2スイッチ信号が生成される。この信号を遅延適合化回路１２に送ることで、調節ユニット１０を制御するための2×2スイッチ信号SS2×2が得られる。単一ビットホワイトクリップ遅延ユニット１１は、１ビット遅延ユニット１１ａ、２画素幅スイッチ信号を得るために１ビット遅延ユニット１１ａの入力と出力を加算する加算器１１ｂ、１ビット行遅延ユニット１１ｃ、および１ビット行遅延ユニット１１ｃの入力と出力を加算する加算器１１ｄを含む。こうして、単一パルスSS1が2×2平方のパルスに変換され、これによって２画素幅２行高のホワイトクリップスイッチ信号を形成する。センサ、例えば、RGBバイヤーセンサの最小輝度信号は2×2RG/GB配列（アレイ）を持つため、ホワイトクリップ虚像を阻止するためには、2×2配列で十分である。こうして、この単一ビットホワイトクリップ遅延ユニット１１は、R、GあるいはB画素の少なくとも一つがホワイトクリップレベルを超えたとき、2×2画素配列に渡ってのホワイトクリップを保障する。遅延適合化回路１２内の遅延は、クリッピングデバイス８の下流の様々な要素による処理に対応する。
【００２２】
再生ユニット５は、さらに輪郭処理（contour processing）を遂行し、この結果として輪郭信号Ｃが輝度信号Ｙ内に組み込まれる。上述の構成の結果として、クリッピングデバイス８によるクリッピングに起因するエリアのエッジの所での望ましくないシャープニング（sharpening）を回避することが可能となり、こうして、画像の品質が向上される。
【００２３】
代替として、クリッピングデバイス８を前置プロセッサ４内のアナログ／デジタル変換器の前に配置し、こうして、クリッピングデバイスをアナログ領域内に配置することもできる。こうすることで、アナログ／デジタル変換を行なう前に、例えば、アナログによるホワイトバランス制御（analog white balance control）および場合によってはさらに非線形処理技法、例えば、「ガンマ（gamma）」あるいは「ニー（knee）」処理を遂行することが可能となる。これは、結果として、アナログ／デジタル変換器によって変換されるべきビットの量の低減に寄与する。さらに、Ｇと、ホワイトレベル修正されたRおよびB信号を用いる輝度ベース再生方法（luminance based reconstruction method）を考案することもできる。
【００２４】
図３および図４は、信号処理デバイス１３の実施例を示すが、ここでは輪郭処理の影響を制限するための上述のオプションがさらに詳しく示される。ここでは、再生ユニット５は、これは上述のように、特定の画素を再生する際に周囲の画素を考慮に入れる輪郭プロセッサを備える。この輪郭プロセッサを不能にするためには、図２の単一ビットホワイトクリップ遅延ユニット１１の代わりに、単一ビットホワイトクリップ遅延ユニット１４が用いられるが、これは、さらに、図４に示すような、N×M単一ビット輪郭プロセッサオフ信号生成器（single bit contour processor off signal generator）を含む。N×M単一ビット輪郭プロセッサオフ信号生成器は、クリッピングデバイス８がそれに対して起動された画素を取り巻く、6×6画素配列に対して輪郭プロセッサを抑止する、輪郭プロセッサオフ信号Coffを生成する。5×5あるいは5×3（水平×垂直）配列などの異なる配列や、任意の他の配列を用いることもできるが、この場合は、図４に示す構成に、対応する修正を加えることが必要となる。例えば、5×5配列の場合は、右の最後の「１ビット行（one bit row）」が削除され、輪郭プロセッサオフ信号がこの最後の「１ビット画素（one bit pix）」遅延なしに得られ、この構成の他の部分はそのままとされる。他の任意の配列と、これら対応する輪郭プロセッサオフ信号を用いることもできるが、この場合も、図４の構成に対して、類似の適合化を施すことが必要となる。
【００２５】
図３の実施例においては、再生ユニット５は、RGBカラー信号値の他に、輪郭信号も出力するが、この輪郭信号は、図２との関連で説明したのと同様なやり方にて、輝度信号Ｙ内に組み込まれる。輪郭信号が再生ユニット５内で考慮されるのを阻止することで、クリッピングデバイス８のクリッピングに起因するエリアのエッジの所での望ましくないシャープニングが回避され、こうして画像の品質が改善される。
【００２６】
当業者においては、上で説明した本発明の実施例とは異なる幾つかの実施例が直ちに明らかになると考えられる。例えば、それに対して輪郭プロセッサオフ信号生成器１４によって輪郭プロセッサオフ信号が生成される配列（画素のアレイ）は、得られるべき画像の要求されるシャープネス（sharpness）によって変えることができる。さらに、上に説明のRGB Bayerセンサ３の代わりに、複数のカラーに対するカラーマスクパターンを持ち、センサの感度がパターンの特定の部分においておよび特定のカラーに対して、最大値を持ち、これが超えられる可能性のある任意の他のセンサを用いることもできる。さらに、上でハードウエア要素として説明された、全てとは言わないまでも、殆どの要素は、本発明の範囲から逸脱することなく、代替として、あるいは追加的にソフトウエアにて実現することもできる。従って、本発明の保護の範囲は、任意の特定の実施例に制限されるべきではなく、クレームに従っての本発明の定義によってのみ制限されるものである。クレーム中、括弧内に示される任意の参照符号はクレームを制限するものとして解されるべきではなく、「を含む／から構成される（comrising）」なる用語はクレーム内に示される以外の要素あるいはステップの存在を排除するものではなく、要素の前に付けられた「単数の冠詞（ａ）あるいは（ａｎ）」はこれら要素が複数存在することを排除するものではない。本発明は複数の離散要素から構成されるハードウエアによって実現することも、適当にプログラムされたコンピュータによって実現することもできる。さらに、幾つかの手段を列挙するデバイスクレームにおいては、これら手段の幾つかは一つの同一のハードウエアによって実現することもでき、互いに異なる従属クレーム内において幾つかの措置が列挙されているという単なる事実は、これら措置を結合して用いることはできないことを意味するものではない。
【図面の簡単な説明】
【図１】 本発明によるデバイスの略図を示す。
【図２】 本発明によるデバイスのもう一つの実施例の略図を示す。
【図３】 本発明によるデバイスのもう一つの実施例の略図を示す。
【図４】 図３の単一ビットホワイトクリップ遅延ユニットの略図を示す。
図面中、同一あるいは類似の要素は同一の識別符号にて表される。
【符号の説明】
１ 信号処理デバイス
２ レンズ
３ センサ
４ 前置プロセッサ
５ 再生ユニット
６ 変換ユニット
８ クリッピングデバイス
９ OR回路
１０ 調節ユニット
１１ 単一ビットホワイトクリップ遅延ユニット
１２ 遅延適合化回路
１１ａ １ビット遅延ユニット
１１ｂ 加算器
１１ｃ １ビット行遅延ユニット
１１ｄ 加算器
１３ 信号処理デバイス
１４ 単一ビットホワイトクリップ遅延ユニット

Claims (9)

1. 複数のカラーを持つカラーマスクパターンによってカバーされたセンサからのセンサ出力信号用の信号処理デバイスであって、
   センサ出力信号から各画素に対する複数のカラー信号値を生成するための再生ユニットと、
   前記複数のカラー信号値から輝度信号およびクロミナンス信号を生成するための変換ユニットと、
   前記センサ出力信号あるいは前記複数のカラー信号値をクリッピングするためのクリッピングデバイスと、
   前記クロミナンス信号を、クリッピングが行われたときに零色差に選択的に設定するための調節ユニットと
   を備えることを特徴とする信号処理デバイス。
2. 前記クリッピングデバイスが前記センサと前記再生ユニットとの間に配置され、前記信号処理デバイスがさらに前記調節ユニットに対するスイッチ信号を生成するための単一ビットホワイトクリップ遅延ユニットを含み、前記スイッチ信号が前記クリッピングデバイスからのクリッピングが発生したことを示す信号から、あるいは少なくともこれに応答して生成される少なくとも２×２ビット配列から成ることを特徴とする請求項１に記載の信号処理デバイス。
3. 前記再生ユニットが特定の画素を再生する際に周囲の画素を考慮に入れる輪郭プロセッサを備え、前記単一ビットホワイトクリップ遅延ユニットがＮ×Ｍ単一ビット輪郭プロセッサオフ信号生成器を含むことを特徴とする請求項２に記載の信号処理デバイス。
4. 前記センサと前記再生ユニットとの間に前置プロセッサが配置され、この前置プロセッサが前記センサ出力信号の振幅のダイナミックレンジを制限するための追加のクリッピングデバイスを備え、前記クリッピングデバイスのクリッピングレベルがこの前置プロセッサ内のこの追加のクリッピングデバイスのクリッピングレベルより低くされることを特徴とする請求項１に記載の信号処理デバイス。
5. 前記前置プロセッサが、さらに、低光量条件に対する自動利得制御回路、アナログ／デジタル変換器、サンプリング回路およびセンサノイズ低減用の相関二重サンプリング回路を有する一群からの少なくとも一つのユニットを含むことを特徴とする請求項４に記載の信号処理デバイス。
6. 前記クリッピングデバイスが、前記センサから下流のアナログ／デジタル変換器へのアナログ経路内に配置されることを特徴とする請求項１に記載の信号処理デバイス。
7. 前記クリッピングデバイスが、前記センサ出力信号あるいは前記複数のカラー信号値が前記センサの最大感度、例えば、最大電荷容量に対応する所定のクリッピングレベルを超えたとき、選択的にクリッピングするように構成されることを特徴とする請求項１に記載の信号処理デバイス。
8. 複数のカラーを持つカラーマスクパターンによってカバーされたセンサからのセンサ出力信号を処理する方法であって、
   前記センサ出力信号から各画素に対する複数のカラー信号値を再生するステップと、
   前記複数のカラー信号値から輝度信号およびクロミナンス信号を生成するステップと、
   前記センサ出力信号あるいは前記複数のカラー信号値をクリッピングするステップと、
   前記クロミナンス信号を、クリッピングが行われたときに零色差に選択的に設定するステップと
   を含むことを特徴とする方法。
9. センサ、および
   請求項１に記載のセンサ出力信号処理デバイスを備えることを特徴とするカメラ。

Images