JP4190886B2 - イメージセンサにおける緑色の不均一性の防止 - Google Patents
イメージセンサにおける緑色の不均一性の防止 Download PDFInfo
- Publication number
- JP4190886B2 JP4190886B2 JP2002563066A JP2002563066A JP4190886B2 JP 4190886 B2 JP4190886 B2 JP 4190886B2 JP 2002563066 A JP2002563066 A JP 2002563066A JP 2002563066 A JP2002563066 A JP 2002563066A JP 4190886 B2 JP4190886 B2 JP 4190886B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- array
- pixels
- contour
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002265 prevention Effects 0.000 title 1
- 238000001914 filtration Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 15
- 238000003491 array Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 4
- 238000012545 processing Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006978 adaptation Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Optical Filters (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、デジタルイメージセンサに関し、特に、RGBベイヤーイメージセンサの輪郭信号における緑色の不均一性を防止する輪郭フィルタに関する。
【０００２】
【従来の技術】
デジタルカメラにおいては、レンズを用いてシーンから光情報を得る。この光情報は、光感知素子の配列を有するイメージセンサによって電子に変換される。デジタルRGBスチールカメラを使用するときには、赤、緑、青の各色をカラー感知するのに3基のイメージセンサが使用される。カメラのコストとサイズの両方を低減するため、RGBベイヤーフィルタ配列を有する1基のイメージセンサを使用することが可能であり、この場合、センサの配列内の各ピクセルが所定のパターンにおいて赤、緑、または青を感知する。このパターンは、緑と赤の列と、緑と青の列とが交互に並ぶ。3色すべてを感知するのに1基のイメージセンサを使用するときには、イメージ全体を表示する前に、欠けているピクセルを再構築する必要がある。
【０００３】
RGBベイヤーセンサを使用するときには、緑色のピクセルに隣接するピクセルの色の違いが原因で、いわゆる緑色の不均一性(green
non-uniformity)または緑-緑差異(green-green differences)が発生する。「赤」列の垂直方向には、緑色のピクセルに隣接するピクセルは赤のみであり、「青」列においては、緑色に隣接するピクセルは青色のみである。センサの垂直方向の色分離の品質によっては、シリコン層における電子電荷またはカラーフィルタ内の光のクロストークに起因して、緑色のピクセルが赤色と青色のピクセルによって変調されることがある。その場合、この結果として、特定のカラーシーンにおいて列ごとの緑色の不均一性が生じる。
【０００４】
図1には、上記の説明による緑-緑差異の例と、赤色と青色のピクセルによる緑色の列ごとの変調がどのように現れるかが示されている。図1において、この差異は、標準字体のGと、太字の斜体Gとして示されている。この差異は、特殊な再構築方法を使用して緑色のピクセルを再構築するときに、イメージ信号において補正できる。
【０００５】
再構築された緑色の信号における緑色の均一性を回復する方法について、以下に説明する。図2は、2行遅延(two
row delays)によるRGB再構築の場合における、周囲の緑色のピクセルの定義(declaration)、すなわち緑色が存在する（左）または存在しない（右）場合を示す。存在しない場合には、欠けている緑色のピクセルGcは、RGB再構築フィルタの再構築された（smart）緑色値である。緑色の不均一性の量は、イメージセンサの設計に依存する。Philips社のFTセンサの場合、最大値は緑色信号の振幅の約5%である。このレベルは、「Gnonuniformlevel」において示され、カメラ処理のコアによって調整可能である必要がある。
【０００６】
以下は、緑色の均一性を回復するためのアルゴリズムである。
【０００７】
このアルゴリズムの結果として、緑色の不均一性に起因する規則的なパターンが目に認識されず、かつ信号変動がGnonuniformlevelを超える場合にも解像度が低下することなく、再構築された信号において緑色の均一性が回復する。Gnonuniformlevelレベル以下では、中央の緑色のピクセルは、存在する緑色のピクセルすべての平均の緑色値に置き換えられる。
【０００８】
輪郭フィルタリングは、イメージ処理のもうひとつの重要な部分であり、輪郭フィルタリングによって、イメージの輪郭情報から輪郭信号が得られる。その後、この信号を、再構築されたイメージ信号に適用することができ、これによってイメージの輪郭が増幅される。実際の使用においては、イメージの輪郭増幅により、イメージがよりシャープになる。
【０００９】
RGBベイヤーカラーフィルタ配列を有するデジタルスチールカラーカメラに、RGB色再構築と平行して動作する二次元（2D）輪郭フィルタを設けることができる。この方法の利点は、RGB信号の再構築後の輪郭処理が不要になることである。平行な輪郭処理は、特に低コストの用途において注目されている。二次元の輪郭信号用に余分な行遅延が不要であり、なぜなら、RGB色再構築に適用されるのと全く同じ行遅延によって、緑色のみから輪郭信号が得られるためである。
【００１０】
従って、最良の結果を得るためには、上述されているように再構築されるデータにおいて緑色の均一性を回復する必要があるのみならず、平行な輪郭信号から緑色の不均一性を取り除く必要もある。
【００１１】
最初に、平行する輪郭処理の基本事項について説明する。RGBベイヤーイメージセンサ用の平行する輪郭フィルタリングの最も重要な側面は、いわゆる0交換器(zero
switch box)である。連続するRG信号、またはセンサの次の行におけるGB信号が、欠けている色の位置が0である3つのRGB信号にデマルチプレクスされる。
【００１２】
従って、赤色の信号は次のようになる。
【００１３】
青色の信号は次のようになる。
【００１４】
緑色の信号は次のようになる。
【００１５】
これらの各信号は、通常のラプラシアンフィルタを使用してフィルタリングできる。図3には、任意の5x3輪郭信号の場合の中央の緑色のピクセルの有無とフィルタ係数の関係が示されている。図3の下段には、トータルの5x3フィルタの係数が示されている。左上には、中央の緑色が存在しない場合の、0交換された5x3の緑色パターンが示され、その下は、対応するフィルタ係数である。右上には、中央の緑色が存在する場合の、0交換された5x3の緑色パターンが示され、その下は、対応するフィルタ係数である。
【００１６】
重要なことは、両方のフィルタを組み合わせることにより、輪郭信号におけるひずみが最小になることである。多くの場合、このことは、中央の緑が存在しない場合と中央の緑が存在する場合とで、正（または負）の係数の合計が等しくなるように係数を決めることによって達成することができる。
【００１７】
【課題を解決するための手段】
本発明の目的は、輪郭信号における緑-緑差異を防止する、輪郭処理において使用するためのフィルタを提供することであり、さらなる目的は、このフィルタが、ひずみが最小である輪郭信号をさらに生成することである。この目的のため、本発明は、独立請求項に定義されている輪郭フィルタリングを提供する。有利な実施例は、従属請求項に定義されている。
【００１８】
このコンテキストにおいては、当然ながら、ピクセル値の形式または順序は、任意のものでよい。重要な点は、イメージを表す配列となるようなピクセル値の順序と形式を使用できることである。
【００１９】
また、留意すべき点として、0交換は、正確に0である値との置換でなくてもよい。通常は、0でない残りのフィルタ係数の絶対値よりも実質的に小さい値であれば十分である。しかしながら、実際にはフィルタ係数として通常は10未満の自然数が使用されるため、通常は値0が望ましい。
【００２０】
デジタルカメラにおいては、いわゆるベイヤーセンサが広く使用されていて、従って、フィルタは、RGBベイヤーセンサを有するCCDセンサからフィルタ値の配列を受け取るための手段を有することが望ましい。実際には、フィルタがベイヤーセンサを有することができる。これに代えて、フィルタは、YeGCyベイヤーセンサを有するCCDセンサからのフィルタ値の配列を受信するための手段を有することができる。
【００２１】
また、フィルタは、フィルタリングと平行して、欠けているカラーピクセルの補間を実行するための手段を有することもできる。このようにして、処理速度を下げることなく追加の機能が得られる。この補間プロセスは、例えば、第二の色のピクセル値の配列のポジションにおける第一の色の「量」（強度）が、第一グループのピクセル値から補間されるプロセスである。これに追加して、またはこれに代えて、第二グループのピクセルにおけるフィルタによって伝達されない光のそのピクセルにおける強度は、その色を伝達するフィルタに関連する他のピクセル値でもよい。従って、必要な行遅延が少なく、この結果として、必要なメモリの量が減少し、これによりコストが低減する。
【００２２】
望ましい実施例においては、それぞれ第一、第二フィルタ係数を有する2つの別個のフィルタのノイズが、一致するようにされている。これによって、第一および第二フィルタの両方を有するトータルのフィルタは、そのノイズ貢献が均一である。特定の実施例においては、ノイズは、フィルタそれぞれのコアリングレベル(coring
level)を調整することによって一致するようにされる。
【００２３】
望ましい実施例においては、前記ピクセルの第一グループが、前記ピクセル値の配列の各行および列の1つおきのピクセルから成り、前記第一および第二フィルタ配列が、1つのフィルタ配列に結合され、前記第一および第二配列が、同じ次元を有し、前記第一および第二配列の各位置について、所定のポジションを除き、前記第一および第二配列の少なくとも一方が、少なくとも実質的に0であるフィルタ係数を有し、前記1つの配列が、第一および第二配列の次元に等しい次元を有し、かつ、前記1つの配列の各ポジションの前記フィルタ係数が、前記第一および第二配列の対応する係数の合計である。
【００２４】
このようにして、1つの配列を、配列の所定のポジションがフィルタリング対象のピクセルになるように配置した後、この1つの配列のフィルタ値に、対応するピクセル値を乗じ、最後に合計して、フィルタリングされたピクセル値が得られる。ここで明らかな点として、ピクセル値の配列が、ベイヤーセンサによって取得されたイメージの形式に対応する上記の形式を有するときには、このように1つの配列を使用することは、2つの配列を使用することと正確に一致する。
【００２５】
従属請求項に記載されている望ましいフィルタリング係数によって、緑-緑差異が回避される輪郭情報が与えられる。
【００２６】
本発明には、さらに、コンピュータプログラムであって、当該プログラムはコンピュータ上で実行されるときに、上記に述べられている方法の全ステップを実行するように適合化されているコンピュータプログラムコード手段を有するコンピュータプログラムと、コンピュータプログラムを有するコンピュータ媒体も、含まれる。
【００２７】
本発明の上記およびその他の観点は、以下に説明される実施例を参照しながら明確に解明されるであろう。
【００２８】
【発明を実施するための形態】
本発明によると、輪郭におけるひずみが最小であり緑-緑差異のない輪郭信号を達成するためには、平行な輪郭フィルタ係数を設計するときにいくつかの規則を満たす必要があることが判明した。フィルタは2つの部分、すなわち、中央の緑色が存在するときに、0交換された緑色をフィルタリングするフィルタ係数の第一配列と、中央の緑色が存在しないときに、0交換された緑色をフィルタリングするフィルタ係数の第二配列に分割することができる。
【００２９】
規則は、以下のとおりである。
【００３０】
1. フィルタ係数の第一配列とフィルタ係数の第二配列の両方において、中央の係数がゼロである。後から、再構築処理経路の緑色の信号を使用することによって、中央の緑色のデータがフィルタに加えられる。中央の緑色は、上記に説明されているように、緑色の均一性が回復されている。
【００３１】
2. フィルタ係数の第一および第二配列それぞれにおいて、対角線上の隣接するフィルタ係数を減算すると、貢献 0 になる。このことは、一般的な用語を用いて次のように表現することもできる。すなわち、配列のフィルタ係数を、対角線上の係数の互いに交差しない複数のグループであって、配列の中央の係数に対して対称である互いに交差しないグループに分割するとき、各グループ内の1つのフィルタ係数が、グループ内の残りのフィルタ係数の合計に等しい。
【００３２】
これにより平均化が行われ、その結果として、垂直な隣接ピクセルが赤色と青色である緑色のピクセルの緑-緑差異が排除される。
【００３３】
2つのフィルタ（中央の緑が存在する場合の1つと中央の緑が存在しない場合の1つ）を決めた後、最小のひずみを達成するために、両方のフィルタの組合せをチェックする必要がある。最初に、フィルタの振幅転送をチェックし、必要であれば、トータルの輪郭信号においてひずみが最小となるように適合化する。場合によっては、次に各フィルタのコアリングレベルを調整することによって、コアリングによるノイズ減少の量を一致させる必要がある。
【００３４】
フィルタ係数の設計において留意すべき点として、重要なのは係数間の比であり、従って、上記の規則を満たすフィルタに任意の因数を乗じることができる。
【００３５】
以下においては、上記の規則に従っていくつかのフィルタが設計され、テストされている。最初に、緑-緑差異のない、5x2の1行の平行な輪郭フィルタの例が示されている。
【００３６】
緑色が存在しない場合の重み
sigmawCR=4
緑色が存在する場合の重み
sigmawCR=4
このフィルタにおいて、sigmawCRは、係数の合計の絶対値である。ほぼ均一な信号振幅を達成するために、輪郭フィルタの信号出力をこの値で除する必要がある。
【００３７】
図4に示されているように、このフィルタは、規則1と2を満たす。中央の緑色が存在する場合（左）と中央の緑色が存在しない場合（右）のフィルタ係数の両方において、中央の係数（黒いドットによって示されている位置）が存在しない。そして、中央の緑色が存在する場合と存在しない場合の両方のフィルタ係数において、対角線上の隣接する係数を減算すると貢献0(zero
contribution)が得られる。図4において、真ん中のフィルタは、トータルのフィルタの係数を示す。
【００３８】
次いで、両方のフィルタの組合せが、ゾーンプレート(zone plate)のシーンを利用してシミュレーションによってチェックされ、この結果として、ひずみが許容可能な最小限である2つのフィルタとなる。テストでは、垂直な輪郭が水平な輪郭よりも振幅がいくらか小さいことが示された。特定のカラーバーのシーンを使用してテストされた両方のフィルタのノイズ挙動は、個々のコアリングレベルが必要ないものであった。
【００３９】
以下には、緑-緑差異のない、5x3の平行な輪郭フィルタの例が示されている。
【００４０】
緑色の存在しない場合の重み
sigmawCR=12
緑色が存在する場合の重み
sigmawCR=8
両方のフィルタの係数の合計の絶対値（sigmawCR）は、一致しない。従って、全重みを24に適合化する必要があり、この結果として以下のフィルタ係数となる。
【００４１】
緑色の存在しない場合の重み。
【００４２】
sigmawCR=24
緑色が存在する場合の重み
sigmawCR=24
図5には、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。規則2の適用／準拠に関し、緑色が存在しない場合のフィルタについては、この例においては垂直の隣接ピクセルが赤色であり係数が-2である3つのピクセルが、垂直の隣接ピクセルが青色(B)であり係数が-6である対角線上の1つのピクセルから減算される。結果は、規則2の要求どおり0であり、従って緑-緑差異が排除される。
【００４３】
中央の緑色が存在する場合のフィルタについては、垂直の隣接ピクセルが青色であり係数が-3である2つのピクセルが、垂直の隣接ピクセルが赤色(R)であり係数が-6である対角線上の1つのピクセルから減算される。この場合も、減算の結果は0である。
【００４４】
組合せをチェックすることにより、この独特の5x3の平行な輪郭フィルタに問題があることが明らかになった。両方のフィルタの振幅の差が大きすぎ、ひずみを最小にするためには、緑色が存在しない場合にフィルタの何らかの適合化が必要である。さらに、コアリングによるノイズ減少量を等しくするための何らかの適合化も必要である。従って、緑色が存在しない場合については、最初にコアリングレベルを1.4倍に増大させ、次いで輪郭信号振幅を3倍にする必要がある。
【００４５】
ソフトウェアのコードにおいては、この結果は以下のようになる。
【００４６】
パラメータの宣言:
contour* : 中央の緑色のない図5のラプラシアンフィルタを介しての平行な輪郭信号。ラプラシアン再構築ブロックとその0交換器を介して得られる。
【００４７】
contour_a/p : 中央の緑色が存在しない場合（contour_a）または存在する場合（contour_p）の、コアリングと利得の適合化後の輪郭信号。
【００４８】
coring level : 輪郭信号におけるノイズ減少用に調整されたコアリングレベル。
【００４９】
contour : 輪郭出力信号。
【００５０】
輪郭処理には、以下が適用される。
【００５１】
【００５２】
図6には、緑-緑差異のない、この特定のフィルタのブロック線図が示されている。RGB入力信号RGBinと、そのライン遅延された2つの信号とが、緑色の均一性／平行輪郭処理ブロック7.6によるRGB再構築処理に、0交換器ZSBを介して適用される。この処理ブロック7.6は、RGB出力信号Ro、Bo、Goと、輪郭信号contour*と、緑色の有無選択信号sel-gとを供給する。再構築された緑色のGoは、上述されているように輪郭信号contour*に加えられ、その結果が2本の並列分岐に適用される。緑色が存在しないときには、上側の分岐（1.4倍のコアリングブロック1.4*corと3x増幅器とを有する）の出力信号contour_aが選択される。緑色が存在するときには、下側の分岐（1倍のコアリングブロック1*corと1x増幅器）の出力信号contour_pが選択される。この結果が、輪郭信号contを形成する。
【００５３】
ゾーンプレートのシーンの輪郭信号のみを使用することによって、水平の輪郭が垂直の輪郭より振幅が大きいが、ひずみが最小であることがわかる。留意すべき点として、どのような5x3フィルタ（当然ながら緑-緑差異を防止することはできない）によっても、水平と垂直の輪郭振幅の間のこのような差異が生じる。
【００５４】
以下には、緑-緑差異のない、5x5の平行な輪郭フィルタの例が示されている。
【００５５】
緑色が存在しない場合の重み
sigmawCR=24
緑色が存在する場合の重み
sigmawCR=24
係数の合計の絶対値（sigmawCR）は、すでに適合化されている。
【００５６】
図7には、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。規則2の適用／準拠に関し、緑色が存在しない場合には、緑-緑差異を排除するためには、対角線上の2つのピクセルの対で十分である。中央の緑色が存在する場合は、3つのピクセルのグループが規則2を満たす。垂直の隣接ピクセルが赤色であり係数が-2、-1であるピクセル対に対して、垂直の隣接ピクセルが青色であり係数が-3である1つのピクセルが対応する。この場合も、減算の結果は0である。
【００５７】
組合せをチェックすることにより、「緑色が存在しない」場合のフィルタのコアリングレベルと振幅を適合化する必要があることが明らかになった。コアリングレベルに1.2を乗じた後、輪郭信号に利得1.5が必要である。緑色が存在する場合のフィルタについては、これらの因数は1である。このブロック線図は図8に示されていて、行遅延の数と、結果としての処理ブロック7.8の適合化を除き、図6の線図に似ている。
【００５８】
この5x5フィルタに、上述されているのと同じソフトウェアを適用できる。唯一の違いは、中央の緑色が存在しない場合におけるコアリングレベルと利得に関する違いである。
【００５９】
ゾーンプレートのシーンの輪郭信号のみを使用することによって、輪郭は水平方向と垂直方向に対称であることがわかる。
【００６０】
5x5フィルタ構成用として、規則2を満たすために別の重み付け因数も可能である（この場合には緑色が存在しない場合）。この第二のフィルタは、最初のフィルタの場合と同じゾーンプレートのシーンを与える。この場合の「同じ」とは、差異が見られないことを意味する。
【００６１】
緑色が存在しない場合の重み
sigmawCR=24
緑色が存在する場合の重み
sigmawCR=24
係数の合計の絶対値（sigmawCR）は、すでに24に適合化されている。図9においては、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。
【００６２】
この第二の5x5フィルタの利点は、緑色が存在しないときにコアリングレベルの乗数が必要ないことである。最小のひずみのためには、「緑色が存在しない」場合の振幅のみに0.7を乗じる必要がある。この線図は図10に示されていて、図10はこの違いを除いて図8に一致する。
【００６３】
さらに別の第三の5x5フィルタ構成が可能である。この構成は、最後の例として、規則2を適用する方法を示す目的で説明する。緑色が存在しない場合、この第三のフィルタの相対的な重みは、第二のフィルタと同じである。「緑色が存在する」場合の重みは、以下のように変更される。
【００６４】
緑色が存在しない場合の重み
sigmawCR=16
緑色が存在する場合の重み
sigmawCR=16
係数の合計の絶対値（sigmawCR）はすでに16に適合化されている。図11においては、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。
【００６５】
この第三の5x5フィルタの利点は、利得の適合化の乗数が必要ないことである。ノイズ低減が等しくなるように、「緑色が存在する」場合のコアリングレベルのみに1.5を乗じる必要がある。図12には、この第三の5x5フィルタのブロック線図が示されている。コアリングレベルを除き、図12は図8と図10に一致する。
【００６６】
最後に、5x5のエイリアシングなしの輪郭フィルタがテストされ、その係数は、「中央の緑色が存在しない」場合と「中央の緑色が存在する」場合の重み付け因数に分割される。
【００６７】
緑色が存在しないときには、以下の係数が適用される。
【００６８】
sigmawCR=8
緑色が存在するときには、以下の係数が適用される。
【００６９】
sigmawCR=8
係数の合計の絶対値（sigmawCR）は、すでに適合化されている。
【００７０】
しかしながら、緑色が存在する場合のフィルタのみのシミュレーションにより、このフィルタによって緑-緑差異が排除されないことが明らかになる。なぜなら、垂直の隣接ピクセルが同じ色（赤または青）である緑色の位置には、0でない係数のみが存在している。図13において、0でない係数は、垂直な隣接ピクセルが赤色である緑色の位置にのみ存在している。このことは、（シーンの低周波数部分において）該当する緑色のピクセルの誤差が同じであることを意味する。係数+8と4つの係数-2の組合せにより、この誤差が排除され、出力信号における緑-緑差異差が0になる。
【００７１】
また、このことは、規則1と2を、中央に緑色が存在する場合のフィルタ構成の代替の規則に置き換えることができることを意味する。この代替の規則とは次のとおり。すなわち、垂直の隣接ピクセルが同じ第一の色である係数の合計が 0 であり、垂直の隣接ピクセルがこの第一の色と異なる第二の色である各フィルタ係数が 0 である。
【００７２】
このことは、一般的な用語を用いて次のように表現することもできる。すなわち、当該フィルタ係数の配列の1行おきの行を有するサブグループにおける係数の合計が0であり、かつ、当該サブグループに含まれない各フィルタ係数が0である。
【００７３】
図13には、いくつかのフィルタが示されていて、この図を検討することによって、本発明による輪郭フィルタが上記の代替規則を満たすことを理解できる。これによって、エイリアシングと緑色の不均一性の両方を除去するフィルタが得られた。
【００７４】
イメージセンサのRGBピクセルから導かれる、再構築ブロックにおけるほぼ白の輝度信号に対して、マトリクスとホワイトバランスのパラメータを考慮に入れる必要がある。マトリクスとホワイトバランスは再構築の後に位置するため、入力される赤色と青色に対して何らかの適合化が必要である。この目的のため、赤色と青色の振幅が緑色と一致し、その結果としてほぼ白の輝度信号Ynになるように、パラメータSmartGcntrlRとSmartGcntrlBを使用して赤色と青色の振幅を制御する。
【００７５】
図14を参照。赤色と青色のピクセルの場合には、このYn信号に以下が適用される。
【００７６】
Yn[i,j] = SmartGcntrlR
* red
Yn[i+1,j+1] =
SmartGcntrlR * blue
緑色のピクセルの場合には、Ynは緑色と等しい。
【００７７】
Yn[i+1,j] = green
Yn[i,j+1] = green
図15に示されている簡略的なブロック線図には、RGBの再構築とエイリアシングのない輪郭の再構築の後、マトリクスとホワイトバランスが続く。このブロック線図には、SmartGcntrlR/Bの計算のための以降に示すパラメータが定義されている。シーンからの光LSは、レンズLを通じてRGBベイヤーセンサSに渡される。センサSからの出力信号は、CDS（相関二重サンプリング(correlated
double sampling)）と、AGC（自動利得制御）と、ADC（アナログ-デジタル変換）の処理ブロック1に適用される。処理ブロック1の出力は、RGB再構築および平行な輪郭処理のブロック3に適用される。処理ブロック3は、再構築されたRGB信号Ri、Gi、Biと、エイリアシングのない輪郭信号AFCとを出力する。再構築されたRGB信号Ri、Gi、Biは、信号Ro、Go、Boを生成するマトリクス回路MXに適用され、これらの信号Ro、Go、Boが、ホワイトバランス回路WBに適用され、出力信号Ro'、Go'、Bo'が供給される。
【００７８】
すべてのRGBベイヤーカラーセンサでは、その原色を、世界中のテレビとPCモニタにおいて見慣れているEBU原色に修正する必要がある。この修正は、マトリクスによって実現され、このマトリクスは9つの乗数を必要とする。
【００７９】
Ro、Go、Boは、マトリクスの出力RGB信号であり、Ri、Gi、Biは、入力信号である。
【００８０】
マトリクスの後のホワイトバランス回路により、RGB信号は次のようになる。
【００８１】
この式において、awbRとawbBは、ホワイトバランスパラメータである（World Gray
Assumption法（WGA）によると、awbR=totalGreen/totalRedかつawbB=totalGreen/totalBlueであり、このときtotalRed、totalGreen、totalBlueは、シーン全体にわたり測定されたRGB色の振幅の合計を表す）。両方の操作、すなわちマトリクスとホワイトバランスにより、必要な白が再現される。これにより、Ro'、Go'、Bo'信号においては、EBU色の再現が保証される。
【００８２】
適切なほぼ白の輝度信号Ynの場合、この反対を行う必要がある。このため、いま、EBU色空間に従う色とD65白に等しい色温度とを有するシーンを考える。以下に示されている逆行列によって、センサの色空間が達成される。
【００８３】
この式において、Rii、Gii、Biiは、EBUシーンの色を表し、Ri、Gi、Biは、センサの色を表す。
【００８４】
輝度信号Ynに関しては、逆行列の白の再現のみが必要であり、これは、それぞれの色のマトリクス係数の合計によって表される。
【００８５】
さらに、シーンの色温度はD65白である必要はない。任意の色温度を含めるには、行列係数の合計は、次のようになる。
【００８６】
この式において、Xpresetgain（X=R、G、またはB）は、D65白をその任意の色温度に移すための利得因数を表す（D65白の場合には、すべてのXpresetgainパラメータが1である）。
【００８７】
Yn[i,j]とYn[i+1,j+1]において使用されるSmartGcntrlR/Bパラメータには、以下が当てはまる（後の式を参照）。
【００８８】
パラメータSGiwbはノミネータ(nominator)として使用される。なぜなら緑色の振幅が基準と見なされるためであり、これはホワイトバランスにも当てはまる。
【００８９】
従って、上の式は、測定されたホワイトバランスパラメータawbR/Bを使用できるように書くことができる。以下は公知である。
【００９０】
従って、
SXiwb値は上のように分割されているので、パラメータGpresetgainは重要でなく、なぜならGpresetgain/Gpresetgain=1であるためである。従って、次の式は、必要なSXiwb値を計算するのに十分である。
【００９１】
従って、白のシーンカラーに対してRGB信号振幅が等しい輝度信号Ynが利用可能になり、これによって、センサマトリクスとシーンの色温度が無関係になる。この信号Ynは、エイリアシングのない輪郭フィルタに適用できる。
【００９２】
ここで生じる疑問として、Ynに、赤色と青色のピクセルのSmartGcntrlR/Bパラメータを含める必要が本当にあるか否かであり、その答えは、必要なパフォーマンスに依存する。エイリアシングのない輪郭フィルタの最良のパフォーマンスが必要な場合には、SmartGcntrlR/Bパラメータを適用する必要がある。いくらか低いパフォーマンスが受け入れられる場合、すなわち、ある程度のひずみが許容される場合には、SmartGcntrlR/Bパラメータを無視できる。
【００９３】
図16は、RGB再構築と平行する輪郭フィルタリングのブロック線図を示す。Ynは、センサのマルチプレクスされたRGB信号であり、前処理ブロック5においてRにSmartcntrlRが乗じられ、かつBにSmartcntrlBが乗じられる。このYn信号は、平行な輪郭用のみに使用され、その一方で、Ynは、0交換器ZSBを介して3色、すなわち赤
= R*SmartcntrlR、緑 = G、青 = B*SmartcntrlBに分割される。次いで、smart greenを適用または適用しない、ただし必ず緑色の均一性の回復機能を有する従来のラプラシアンRGB再構築法が適用され、必要であれば、RGB再構築と緑色の均一性および平行な輪郭処理のブロック7.16おいて、smartgreenを適用または適用せずに赤色と青色のフォルスカラー検出器が使用される。スマートグリーン（smartgreen1）が適用される場合には、メディアンフィルタにおけるいわゆるR/Bc信号はすでにR*SmartGcntrlRとB*SmartGcntrlBに適合する。
【００９４】
再構築された赤色と青色の信号を、除算器DrとDbにおいてSmartGcntrlRとSmartGcntrlBによって除することによって、元の赤色と青色のセンサ振幅が回復される。このことは、通常に適用されるマトリクス、ホワイトバランス、ガンマ機能を維持できることを意味する。デジタル回路の設計においては、除数よりも乗数が望ましい。従って、除算器回路を避けるための最良の方法は、カメラのコンピュータに1/SmartcntrlRと1/SmartcntrlBを計算させることである。次いで、2本の個別の線を介して、これらの計算値を2つの乗数に渡すことができる。これにより、Ro振幅が、入力信号のR振幅に等しくなる（SmartcntrlR
* R * 1/SmartcntrlR = R）。Bo振幅についても、全く同じことが当てはまる。
【００９５】
留意すべき点として、パラメータSmartcntrlR/Bは、写真を撮影する前の測定サイクルにおいて、またはビデオモードの場合には連続的な方法において求められている。
【００９６】
本発明は、望ましい実施例に関して説明されているが、本発明は、本出願に記載されている特定の形式に制限されることはない。逆に、そのような代替手段、変更、および同等物は、添付されている請求項によって定義される本発明の範囲内に合理的に含めることができるため、本発明の範囲に含まれる。請求項において、カッコ内の参照記号は、請求項を制限するものとは解釈されないものとする。語「有する」は、請求項に記載されている以外の要素またはステップの存在を除外するものではない。要素の前の冠詞「a」または「an」は、このような要素の複数の存在を除外するものではない。本発明は、いくつかの異なる要素を有するハードウェアによってと、適切にプログラムされたコンピュータによって実施できる。いくつかの手段を列挙しているデバイスの請求項においては、これらの手段のいくつかを、1つのハードウェア要素によって具体化できる。特定の方策が相異なる従属請求項に記載されているが、これらの方策の組合せを有利に使用できないことを意味するものではない。
【図面の簡単な説明】
【図１】 RGBベイヤーイメージセンサにおける列ごとの変調の例を示す。
【図２】 緑色の均一性を回復するときの、周囲の緑色のピクセルの定義を示す。
【図３】 任意の5x3輪郭信号の場合の、中央の緑色のピクセルの有無とフィルタ係数との関係の例を示す。
【図４】 5x2配列の場合の規則2の適用／準拠を示す。
【図５】 5x3配列の場合の規則2の適用／準拠を示す。
【図６】 緑-緑差異のない5x3の平行な輪郭フィルタのブロック線図を示す。
【図７】 5x5配列の場合の規則2の適用／準拠を示す。
【図８】 緑-緑差異のない5x5の平行な輪郭フィルタのブロック線図を示す。
【図９】 2番目の5x5配列の場合の規則2の適用／準拠を示す。
【図１０】 緑-緑差異のない2番目の5x5の平行な輪郭フィルタのブロック線図を示す。
【図１１】 3番目の5x5配列の場合の規則2の適用／準拠を示す。
【図１２】 緑-緑差異のない3番目の5x5の平行な輪郭フィルタのブロック線図を示す。
【図１３】 5x5配列の場合の拡張された規則2の適用／準拠を示す。
【図１４】 RGBベイヤーの輝度ピクセルを示す。
【図１５】 RGBベイヤーカラーカメラのRGBと輪郭の再構築、マトリクス、ホワイトバランスを示す。
【図１６】 RGB再構築と平行する輪郭フィルタリングのブロック線図を示す。
【符号の説明】
3 処理ブロック
7.6、7.8、7.16 処理ブロック
ZSB 0交換器
【発明が属する技術分野】
本発明は、デジタルイメージセンサに関し、特に、RGBベイヤーイメージセンサの輪郭信号における緑色の不均一性を防止する輪郭フィルタに関する。
【０００２】
【従来の技術】
デジタルカメラにおいては、レンズを用いてシーンから光情報を得る。この光情報は、光感知素子の配列を有するイメージセンサによって電子に変換される。デジタルRGBスチールカメラを使用するときには、赤、緑、青の各色をカラー感知するのに3基のイメージセンサが使用される。カメラのコストとサイズの両方を低減するため、RGBベイヤーフィルタ配列を有する1基のイメージセンサを使用することが可能であり、この場合、センサの配列内の各ピクセルが所定のパターンにおいて赤、緑、または青を感知する。このパターンは、緑と赤の列と、緑と青の列とが交互に並ぶ。3色すべてを感知するのに1基のイメージセンサを使用するときには、イメージ全体を表示する前に、欠けているピクセルを再構築する必要がある。
【０００３】
RGBベイヤーセンサを使用するときには、緑色のピクセルに隣接するピクセルの色の違いが原因で、いわゆる緑色の不均一性(green
non-uniformity)または緑-緑差異(green-green differences)が発生する。「赤」列の垂直方向には、緑色のピクセルに隣接するピクセルは赤のみであり、「青」列においては、緑色に隣接するピクセルは青色のみである。センサの垂直方向の色分離の品質によっては、シリコン層における電子電荷またはカラーフィルタ内の光のクロストークに起因して、緑色のピクセルが赤色と青色のピクセルによって変調されることがある。その場合、この結果として、特定のカラーシーンにおいて列ごとの緑色の不均一性が生じる。
【０００４】
図1には、上記の説明による緑-緑差異の例と、赤色と青色のピクセルによる緑色の列ごとの変調がどのように現れるかが示されている。図1において、この差異は、標準字体のGと、太字の斜体Gとして示されている。この差異は、特殊な再構築方法を使用して緑色のピクセルを再構築するときに、イメージ信号において補正できる。
【０００５】
再構築された緑色の信号における緑色の均一性を回復する方法について、以下に説明する。図2は、2行遅延(two
row delays)によるRGB再構築の場合における、周囲の緑色のピクセルの定義(declaration)、すなわち緑色が存在する（左）または存在しない（右）場合を示す。存在しない場合には、欠けている緑色のピクセルGcは、RGB再構築フィルタの再構築された（smart）緑色値である。緑色の不均一性の量は、イメージセンサの設計に依存する。Philips社のFTセンサの場合、最大値は緑色信号の振幅の約5%である。このレベルは、「Gnonuniformlevel」において示され、カメラ処理のコアによって調整可能である必要がある。
【０００６】
以下は、緑色の均一性を回復するためのアルゴリズムである。
このアルゴリズムの結果として、緑色の不均一性に起因する規則的なパターンが目に認識されず、かつ信号変動がGnonuniformlevelを超える場合にも解像度が低下することなく、再構築された信号において緑色の均一性が回復する。Gnonuniformlevelレベル以下では、中央の緑色のピクセルは、存在する緑色のピクセルすべての平均の緑色値に置き換えられる。
【０００８】
輪郭フィルタリングは、イメージ処理のもうひとつの重要な部分であり、輪郭フィルタリングによって、イメージの輪郭情報から輪郭信号が得られる。その後、この信号を、再構築されたイメージ信号に適用することができ、これによってイメージの輪郭が増幅される。実際の使用においては、イメージの輪郭増幅により、イメージがよりシャープになる。
【０００９】
RGBベイヤーカラーフィルタ配列を有するデジタルスチールカラーカメラに、RGB色再構築と平行して動作する二次元（2D）輪郭フィルタを設けることができる。この方法の利点は、RGB信号の再構築後の輪郭処理が不要になることである。平行な輪郭処理は、特に低コストの用途において注目されている。二次元の輪郭信号用に余分な行遅延が不要であり、なぜなら、RGB色再構築に適用されるのと全く同じ行遅延によって、緑色のみから輪郭信号が得られるためである。
【００１０】
従って、最良の結果を得るためには、上述されているように再構築されるデータにおいて緑色の均一性を回復する必要があるのみならず、平行な輪郭信号から緑色の不均一性を取り除く必要もある。
【００１１】
最初に、平行する輪郭処理の基本事項について説明する。RGBベイヤーイメージセンサ用の平行する輪郭フィルタリングの最も重要な側面は、いわゆる0交換器(zero
switch box)である。連続するRG信号、またはセンサの次の行におけるGB信号が、欠けている色の位置が0である3つのRGB信号にデマルチプレクスされる。
【００１２】
従って、赤色の信号は次のようになる。
【００１３】
【００１４】
【００１５】
【００１６】
重要なことは、両方のフィルタを組み合わせることにより、輪郭信号におけるひずみが最小になることである。多くの場合、このことは、中央の緑が存在しない場合と中央の緑が存在する場合とで、正（または負）の係数の合計が等しくなるように係数を決めることによって達成することができる。
【００１７】
【課題を解決するための手段】
本発明の目的は、輪郭信号における緑-緑差異を防止する、輪郭処理において使用するためのフィルタを提供することであり、さらなる目的は、このフィルタが、ひずみが最小である輪郭信号をさらに生成することである。この目的のため、本発明は、独立請求項に定義されている輪郭フィルタリングを提供する。有利な実施例は、従属請求項に定義されている。
【００１８】
このコンテキストにおいては、当然ながら、ピクセル値の形式または順序は、任意のものでよい。重要な点は、イメージを表す配列となるようなピクセル値の順序と形式を使用できることである。
【００１９】
また、留意すべき点として、0交換は、正確に0である値との置換でなくてもよい。通常は、0でない残りのフィルタ係数の絶対値よりも実質的に小さい値であれば十分である。しかしながら、実際にはフィルタ係数として通常は10未満の自然数が使用されるため、通常は値0が望ましい。
【００２０】
デジタルカメラにおいては、いわゆるベイヤーセンサが広く使用されていて、従って、フィルタは、RGBベイヤーセンサを有するCCDセンサからフィルタ値の配列を受け取るための手段を有することが望ましい。実際には、フィルタがベイヤーセンサを有することができる。これに代えて、フィルタは、YeGCyベイヤーセンサを有するCCDセンサからのフィルタ値の配列を受信するための手段を有することができる。
【００２１】
また、フィルタは、フィルタリングと平行して、欠けているカラーピクセルの補間を実行するための手段を有することもできる。このようにして、処理速度を下げることなく追加の機能が得られる。この補間プロセスは、例えば、第二の色のピクセル値の配列のポジションにおける第一の色の「量」（強度）が、第一グループのピクセル値から補間されるプロセスである。これに追加して、またはこれに代えて、第二グループのピクセルにおけるフィルタによって伝達されない光のそのピクセルにおける強度は、その色を伝達するフィルタに関連する他のピクセル値でもよい。従って、必要な行遅延が少なく、この結果として、必要なメモリの量が減少し、これによりコストが低減する。
【００２２】
望ましい実施例においては、それぞれ第一、第二フィルタ係数を有する2つの別個のフィルタのノイズが、一致するようにされている。これによって、第一および第二フィルタの両方を有するトータルのフィルタは、そのノイズ貢献が均一である。特定の実施例においては、ノイズは、フィルタそれぞれのコアリングレベル(coring
level)を調整することによって一致するようにされる。
【００２３】
望ましい実施例においては、前記ピクセルの第一グループが、前記ピクセル値の配列の各行および列の1つおきのピクセルから成り、前記第一および第二フィルタ配列が、1つのフィルタ配列に結合され、前記第一および第二配列が、同じ次元を有し、前記第一および第二配列の各位置について、所定のポジションを除き、前記第一および第二配列の少なくとも一方が、少なくとも実質的に0であるフィルタ係数を有し、前記1つの配列が、第一および第二配列の次元に等しい次元を有し、かつ、前記1つの配列の各ポジションの前記フィルタ係数が、前記第一および第二配列の対応する係数の合計である。
【００２４】
このようにして、1つの配列を、配列の所定のポジションがフィルタリング対象のピクセルになるように配置した後、この1つの配列のフィルタ値に、対応するピクセル値を乗じ、最後に合計して、フィルタリングされたピクセル値が得られる。ここで明らかな点として、ピクセル値の配列が、ベイヤーセンサによって取得されたイメージの形式に対応する上記の形式を有するときには、このように1つの配列を使用することは、2つの配列を使用することと正確に一致する。
【００２５】
従属請求項に記載されている望ましいフィルタリング係数によって、緑-緑差異が回避される輪郭情報が与えられる。
【００２６】
本発明には、さらに、コンピュータプログラムであって、当該プログラムはコンピュータ上で実行されるときに、上記に述べられている方法の全ステップを実行するように適合化されているコンピュータプログラムコード手段を有するコンピュータプログラムと、コンピュータプログラムを有するコンピュータ媒体も、含まれる。
【００２７】
本発明の上記およびその他の観点は、以下に説明される実施例を参照しながら明確に解明されるであろう。
【００２８】
【発明を実施するための形態】
本発明によると、輪郭におけるひずみが最小であり緑-緑差異のない輪郭信号を達成するためには、平行な輪郭フィルタ係数を設計するときにいくつかの規則を満たす必要があることが判明した。フィルタは2つの部分、すなわち、中央の緑色が存在するときに、0交換された緑色をフィルタリングするフィルタ係数の第一配列と、中央の緑色が存在しないときに、0交換された緑色をフィルタリングするフィルタ係数の第二配列に分割することができる。
【００２９】
規則は、以下のとおりである。
【００３０】
1. フィルタ係数の第一配列とフィルタ係数の第二配列の両方において、中央の係数がゼロである。後から、再構築処理経路の緑色の信号を使用することによって、中央の緑色のデータがフィルタに加えられる。中央の緑色は、上記に説明されているように、緑色の均一性が回復されている。
【００３１】
2. フィルタ係数の第一および第二配列それぞれにおいて、対角線上の隣接するフィルタ係数を減算すると、貢献 0 になる。このことは、一般的な用語を用いて次のように表現することもできる。すなわち、配列のフィルタ係数を、対角線上の係数の互いに交差しない複数のグループであって、配列の中央の係数に対して対称である互いに交差しないグループに分割するとき、各グループ内の1つのフィルタ係数が、グループ内の残りのフィルタ係数の合計に等しい。
【００３２】
これにより平均化が行われ、その結果として、垂直な隣接ピクセルが赤色と青色である緑色のピクセルの緑-緑差異が排除される。
【００３３】
2つのフィルタ（中央の緑が存在する場合の1つと中央の緑が存在しない場合の1つ）を決めた後、最小のひずみを達成するために、両方のフィルタの組合せをチェックする必要がある。最初に、フィルタの振幅転送をチェックし、必要であれば、トータルの輪郭信号においてひずみが最小となるように適合化する。場合によっては、次に各フィルタのコアリングレベルを調整することによって、コアリングによるノイズ減少の量を一致させる必要がある。
【００３４】
フィルタ係数の設計において留意すべき点として、重要なのは係数間の比であり、従って、上記の規則を満たすフィルタに任意の因数を乗じることができる。
【００３５】
以下においては、上記の規則に従っていくつかのフィルタが設計され、テストされている。最初に、緑-緑差異のない、5x2の1行の平行な輪郭フィルタの例が示されている。
【００３６】
緑色が存在しない場合の重み
緑色が存在する場合の重み
このフィルタにおいて、sigmawCRは、係数の合計の絶対値である。ほぼ均一な信号振幅を達成するために、輪郭フィルタの信号出力をこの値で除する必要がある。
【００３７】
図4に示されているように、このフィルタは、規則1と2を満たす。中央の緑色が存在する場合（左）と中央の緑色が存在しない場合（右）のフィルタ係数の両方において、中央の係数（黒いドットによって示されている位置）が存在しない。そして、中央の緑色が存在する場合と存在しない場合の両方のフィルタ係数において、対角線上の隣接する係数を減算すると貢献0(zero
contribution)が得られる。図4において、真ん中のフィルタは、トータルのフィルタの係数を示す。
【００３８】
次いで、両方のフィルタの組合せが、ゾーンプレート(zone plate)のシーンを利用してシミュレーションによってチェックされ、この結果として、ひずみが許容可能な最小限である2つのフィルタとなる。テストでは、垂直な輪郭が水平な輪郭よりも振幅がいくらか小さいことが示された。特定のカラーバーのシーンを使用してテストされた両方のフィルタのノイズ挙動は、個々のコアリングレベルが必要ないものであった。
【００３９】
以下には、緑-緑差異のない、5x3の平行な輪郭フィルタの例が示されている。
【００４０】
緑色の存在しない場合の重み
緑色が存在する場合の重み
両方のフィルタの係数の合計の絶対値（sigmawCR）は、一致しない。従って、全重みを24に適合化する必要があり、この結果として以下のフィルタ係数となる。
【００４１】
緑色の存在しない場合の重み。
【００４２】
緑色が存在する場合の重み
図5には、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。規則2の適用／準拠に関し、緑色が存在しない場合のフィルタについては、この例においては垂直の隣接ピクセルが赤色であり係数が-2である3つのピクセルが、垂直の隣接ピクセルが青色(B)であり係数が-6である対角線上の1つのピクセルから減算される。結果は、規則2の要求どおり0であり、従って緑-緑差異が排除される。
【００４３】
中央の緑色が存在する場合のフィルタについては、垂直の隣接ピクセルが青色であり係数が-3である2つのピクセルが、垂直の隣接ピクセルが赤色(R)であり係数が-6である対角線上の1つのピクセルから減算される。この場合も、減算の結果は0である。
【００４４】
組合せをチェックすることにより、この独特の5x3の平行な輪郭フィルタに問題があることが明らかになった。両方のフィルタの振幅の差が大きすぎ、ひずみを最小にするためには、緑色が存在しない場合にフィルタの何らかの適合化が必要である。さらに、コアリングによるノイズ減少量を等しくするための何らかの適合化も必要である。従って、緑色が存在しない場合については、最初にコアリングレベルを1.4倍に増大させ、次いで輪郭信号振幅を3倍にする必要がある。
【００４５】
ソフトウェアのコードにおいては、この結果は以下のようになる。
【００４６】
パラメータの宣言:
contour* : 中央の緑色のない図5のラプラシアンフィルタを介しての平行な輪郭信号。ラプラシアン再構築ブロックとその0交換器を介して得られる。
【００４７】
contour_a/p : 中央の緑色が存在しない場合（contour_a）または存在する場合（contour_p）の、コアリングと利得の適合化後の輪郭信号。
【００４８】
coring level : 輪郭信号におけるノイズ減少用に調整されたコアリングレベル。
【００４９】
contour : 輪郭出力信号。
【００５０】
輪郭処理には、以下が適用される。
【００５１】
図6には、緑-緑差異のない、この特定のフィルタのブロック線図が示されている。RGB入力信号RGBinと、そのライン遅延された2つの信号とが、緑色の均一性／平行輪郭処理ブロック7.6によるRGB再構築処理に、0交換器ZSBを介して適用される。この処理ブロック7.6は、RGB出力信号Ro、Bo、Goと、輪郭信号contour*と、緑色の有無選択信号sel-gとを供給する。再構築された緑色のGoは、上述されているように輪郭信号contour*に加えられ、その結果が2本の並列分岐に適用される。緑色が存在しないときには、上側の分岐（1.4倍のコアリングブロック1.4*corと3x増幅器とを有する）の出力信号contour_aが選択される。緑色が存在するときには、下側の分岐（1倍のコアリングブロック1*corと1x増幅器）の出力信号contour_pが選択される。この結果が、輪郭信号contを形成する。
【００５３】
ゾーンプレートのシーンの輪郭信号のみを使用することによって、水平の輪郭が垂直の輪郭より振幅が大きいが、ひずみが最小であることがわかる。留意すべき点として、どのような5x3フィルタ（当然ながら緑-緑差異を防止することはできない）によっても、水平と垂直の輪郭振幅の間のこのような差異が生じる。
【００５４】
以下には、緑-緑差異のない、5x5の平行な輪郭フィルタの例が示されている。
【００５５】
緑色が存在しない場合の重み
緑色が存在する場合の重み
係数の合計の絶対値（sigmawCR）は、すでに適合化されている。
【００５６】
図7には、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。規則2の適用／準拠に関し、緑色が存在しない場合には、緑-緑差異を排除するためには、対角線上の2つのピクセルの対で十分である。中央の緑色が存在する場合は、3つのピクセルのグループが規則2を満たす。垂直の隣接ピクセルが赤色であり係数が-2、-1であるピクセル対に対して、垂直の隣接ピクセルが青色であり係数が-3である1つのピクセルが対応する。この場合も、減算の結果は0である。
【００５７】
組合せをチェックすることにより、「緑色が存在しない」場合のフィルタのコアリングレベルと振幅を適合化する必要があることが明らかになった。コアリングレベルに1.2を乗じた後、輪郭信号に利得1.5が必要である。緑色が存在する場合のフィルタについては、これらの因数は1である。このブロック線図は図8に示されていて、行遅延の数と、結果としての処理ブロック7.8の適合化を除き、図6の線図に似ている。
【００５８】
この5x5フィルタに、上述されているのと同じソフトウェアを適用できる。唯一の違いは、中央の緑色が存在しない場合におけるコアリングレベルと利得に関する違いである。
【００５９】
ゾーンプレートのシーンの輪郭信号のみを使用することによって、輪郭は水平方向と垂直方向に対称であることがわかる。
【００６０】
5x5フィルタ構成用として、規則2を満たすために別の重み付け因数も可能である（この場合には緑色が存在しない場合）。この第二のフィルタは、最初のフィルタの場合と同じゾーンプレートのシーンを与える。この場合の「同じ」とは、差異が見られないことを意味する。
【００６１】
緑色が存在しない場合の重み
緑色が存在する場合の重み
係数の合計の絶対値（sigmawCR）は、すでに24に適合化されている。図9においては、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。
【００６２】
この第二の5x5フィルタの利点は、緑色が存在しないときにコアリングレベルの乗数が必要ないことである。最小のひずみのためには、「緑色が存在しない」場合の振幅のみに0.7を乗じる必要がある。この線図は図10に示されていて、図10はこの違いを除いて図8に一致する。
【００６３】
さらに別の第三の5x5フィルタ構成が可能である。この構成は、最後の例として、規則2を適用する方法を示す目的で説明する。緑色が存在しない場合、この第三のフィルタの相対的な重みは、第二のフィルタと同じである。「緑色が存在する」場合の重みは、以下のように変更される。
【００６４】
緑色が存在しない場合の重み
緑色が存在する場合の重み
係数の合計の絶対値（sigmawCR）はすでに16に適合化されている。図11においては、図4の場合と同じ状況を示すいくつかのフィルタが示されていて、規則2の適用／準拠がテストされている。
【００６５】
この第三の5x5フィルタの利点は、利得の適合化の乗数が必要ないことである。ノイズ低減が等しくなるように、「緑色が存在する」場合のコアリングレベルのみに1.5を乗じる必要がある。図12には、この第三の5x5フィルタのブロック線図が示されている。コアリングレベルを除き、図12は図8と図10に一致する。
【００６６】
最後に、5x5のエイリアシングなしの輪郭フィルタがテストされ、その係数は、「中央の緑色が存在しない」場合と「中央の緑色が存在する」場合の重み付け因数に分割される。
【００６７】
緑色が存在しないときには、以下の係数が適用される。
【００６８】
緑色が存在するときには、以下の係数が適用される。
【００６９】
係数の合計の絶対値（sigmawCR）は、すでに適合化されている。
【００７０】
しかしながら、緑色が存在する場合のフィルタのみのシミュレーションにより、このフィルタによって緑-緑差異が排除されないことが明らかになる。なぜなら、垂直の隣接ピクセルが同じ色（赤または青）である緑色の位置には、0でない係数のみが存在している。図13において、0でない係数は、垂直な隣接ピクセルが赤色である緑色の位置にのみ存在している。このことは、（シーンの低周波数部分において）該当する緑色のピクセルの誤差が同じであることを意味する。係数+8と4つの係数-2の組合せにより、この誤差が排除され、出力信号における緑-緑差異差が0になる。
【００７１】
また、このことは、規則1と2を、中央に緑色が存在する場合のフィルタ構成の代替の規則に置き換えることができることを意味する。この代替の規則とは次のとおり。すなわち、垂直の隣接ピクセルが同じ第一の色である係数の合計が 0 であり、垂直の隣接ピクセルがこの第一の色と異なる第二の色である各フィルタ係数が 0 である。
【００７２】
このことは、一般的な用語を用いて次のように表現することもできる。すなわち、当該フィルタ係数の配列の1行おきの行を有するサブグループにおける係数の合計が0であり、かつ、当該サブグループに含まれない各フィルタ係数が0である。
【００７３】
図13には、いくつかのフィルタが示されていて、この図を検討することによって、本発明による輪郭フィルタが上記の代替規則を満たすことを理解できる。これによって、エイリアシングと緑色の不均一性の両方を除去するフィルタが得られた。
【００７４】
イメージセンサのRGBピクセルから導かれる、再構築ブロックにおけるほぼ白の輝度信号に対して、マトリクスとホワイトバランスのパラメータを考慮に入れる必要がある。マトリクスとホワイトバランスは再構築の後に位置するため、入力される赤色と青色に対して何らかの適合化が必要である。この目的のため、赤色と青色の振幅が緑色と一致し、その結果としてほぼ白の輝度信号Ynになるように、パラメータSmartGcntrlRとSmartGcntrlBを使用して赤色と青色の振幅を制御する。
【００７５】
図14を参照。赤色と青色のピクセルの場合には、このYn信号に以下が適用される。
【００７６】
Yn[i,j] = SmartGcntrlR
* red
Yn[i+1,j+1] =
SmartGcntrlR * blue
緑色のピクセルの場合には、Ynは緑色と等しい。
【００７７】
Yn[i+1,j] = green
Yn[i,j+1] = green
図15に示されている簡略的なブロック線図には、RGBの再構築とエイリアシングのない輪郭の再構築の後、マトリクスとホワイトバランスが続く。このブロック線図には、SmartGcntrlR/Bの計算のための以降に示すパラメータが定義されている。シーンからの光LSは、レンズLを通じてRGBベイヤーセンサSに渡される。センサSからの出力信号は、CDS（相関二重サンプリング(correlated
double sampling)）と、AGC（自動利得制御）と、ADC（アナログ-デジタル変換）の処理ブロック1に適用される。処理ブロック1の出力は、RGB再構築および平行な輪郭処理のブロック3に適用される。処理ブロック3は、再構築されたRGB信号Ri、Gi、Biと、エイリアシングのない輪郭信号AFCとを出力する。再構築されたRGB信号Ri、Gi、Biは、信号Ro、Go、Boを生成するマトリクス回路MXに適用され、これらの信号Ro、Go、Boが、ホワイトバランス回路WBに適用され、出力信号Ro'、Go'、Bo'が供給される。
【００７８】
すべてのRGBベイヤーカラーセンサでは、その原色を、世界中のテレビとPCモニタにおいて見慣れているEBU原色に修正する必要がある。この修正は、マトリクスによって実現され、このマトリクスは9つの乗数を必要とする。
【００７９】
【００８０】
マトリクスの後のホワイトバランス回路により、RGB信号は次のようになる。
【００８１】
Assumption法（WGA）によると、awbR=totalGreen/totalRedかつawbB=totalGreen/totalBlueであり、このときtotalRed、totalGreen、totalBlueは、シーン全体にわたり測定されたRGB色の振幅の合計を表す）。両方の操作、すなわちマトリクスとホワイトバランスにより、必要な白が再現される。これにより、Ro'、Go'、Bo'信号においては、EBU色の再現が保証される。
【００８２】
適切なほぼ白の輝度信号Ynの場合、この反対を行う必要がある。このため、いま、EBU色空間に従う色とD65白に等しい色温度とを有するシーンを考える。以下に示されている逆行列によって、センサの色空間が達成される。
【００８３】
【００８４】
輝度信号Ynに関しては、逆行列の白の再現のみが必要であり、これは、それぞれの色のマトリクス係数の合計によって表される。
【００８５】
【００８６】
【００８７】
Yn[i,j]とYn[i+1,j+1]において使用されるSmartGcntrlR/Bパラメータには、以下が当てはまる（後の式を参照）。
【００８８】
【００８９】
従って、上の式は、測定されたホワイトバランスパラメータawbR/Bを使用できるように書くことができる。以下は公知である。
【００９０】
【００９１】
【００９２】
ここで生じる疑問として、Ynに、赤色と青色のピクセルのSmartGcntrlR/Bパラメータを含める必要が本当にあるか否かであり、その答えは、必要なパフォーマンスに依存する。エイリアシングのない輪郭フィルタの最良のパフォーマンスが必要な場合には、SmartGcntrlR/Bパラメータを適用する必要がある。いくらか低いパフォーマンスが受け入れられる場合、すなわち、ある程度のひずみが許容される場合には、SmartGcntrlR/Bパラメータを無視できる。
【００９３】
図16は、RGB再構築と平行する輪郭フィルタリングのブロック線図を示す。Ynは、センサのマルチプレクスされたRGB信号であり、前処理ブロック5においてRにSmartcntrlRが乗じられ、かつBにSmartcntrlBが乗じられる。このYn信号は、平行な輪郭用のみに使用され、その一方で、Ynは、0交換器ZSBを介して3色、すなわち赤
= R*SmartcntrlR、緑 = G、青 = B*SmartcntrlBに分割される。次いで、smart greenを適用または適用しない、ただし必ず緑色の均一性の回復機能を有する従来のラプラシアンRGB再構築法が適用され、必要であれば、RGB再構築と緑色の均一性および平行な輪郭処理のブロック7.16おいて、smartgreenを適用または適用せずに赤色と青色のフォルスカラー検出器が使用される。スマートグリーン（smartgreen1）が適用される場合には、メディアンフィルタにおけるいわゆるR/Bc信号はすでにR*SmartGcntrlRとB*SmartGcntrlBに適合する。
【００９４】
再構築された赤色と青色の信号を、除算器DrとDbにおいてSmartGcntrlRとSmartGcntrlBによって除することによって、元の赤色と青色のセンサ振幅が回復される。このことは、通常に適用されるマトリクス、ホワイトバランス、ガンマ機能を維持できることを意味する。デジタル回路の設計においては、除数よりも乗数が望ましい。従って、除算器回路を避けるための最良の方法は、カメラのコンピュータに1/SmartcntrlRと1/SmartcntrlBを計算させることである。次いで、2本の個別の線を介して、これらの計算値を2つの乗数に渡すことができる。これにより、Ro振幅が、入力信号のR振幅に等しくなる（SmartcntrlR
* R * 1/SmartcntrlR = R）。Bo振幅についても、全く同じことが当てはまる。
【００９５】
留意すべき点として、パラメータSmartcntrlR/Bは、写真を撮影する前の測定サイクルにおいて、またはビデオモードの場合には連続的な方法において求められている。
【００９６】
本発明は、望ましい実施例に関して説明されているが、本発明は、本出願に記載されている特定の形式に制限されることはない。逆に、そのような代替手段、変更、および同等物は、添付されている請求項によって定義される本発明の範囲内に合理的に含めることができるため、本発明の範囲に含まれる。請求項において、カッコ内の参照記号は、請求項を制限するものとは解釈されないものとする。語「有する」は、請求項に記載されている以外の要素またはステップの存在を除外するものではない。要素の前の冠詞「a」または「an」は、このような要素の複数の存在を除外するものではない。本発明は、いくつかの異なる要素を有するハードウェアによってと、適切にプログラムされたコンピュータによって実施できる。いくつかの手段を列挙しているデバイスの請求項においては、これらの手段のいくつかを、1つのハードウェア要素によって具体化できる。特定の方策が相異なる従属請求項に記載されているが、これらの方策の組合せを有利に使用できないことを意味するものではない。
【図面の簡単な説明】
【図１】 RGBベイヤーイメージセンサにおける列ごとの変調の例を示す。
【図２】 緑色の均一性を回復するときの、周囲の緑色のピクセルの定義を示す。
【図３】 任意の5x3輪郭信号の場合の、中央の緑色のピクセルの有無とフィルタ係数との関係の例を示す。
【図４】 5x2配列の場合の規則2の適用／準拠を示す。
【図５】 5x3配列の場合の規則2の適用／準拠を示す。
【図６】 緑-緑差異のない5x3の平行な輪郭フィルタのブロック線図を示す。
【図７】 5x5配列の場合の規則2の適用／準拠を示す。
【図８】 緑-緑差異のない5x5の平行な輪郭フィルタのブロック線図を示す。
【図９】 2番目の5x5配列の場合の規則2の適用／準拠を示す。
【図１０】 緑-緑差異のない2番目の5x5の平行な輪郭フィルタのブロック線図を示す。
【図１１】 3番目の5x5配列の場合の規則2の適用／準拠を示す。
【図１２】 緑-緑差異のない3番目の5x5の平行な輪郭フィルタのブロック線図を示す。
【図１３】 5x5配列の場合の拡張された規則2の適用／準拠を示す。
【図１４】 RGBベイヤーの輝度ピクセルを示す。
【図１５】 RGBベイヤーカラーカメラのRGBと輪郭の再構築、マトリクス、ホワイトバランスを示す。
【図１６】 RGB再構築と平行する輪郭フィルタリングのブロック線図を示す。
【符号の説明】
3 処理ブロック
7.6、7.8、7.16 処理ブロック
ZSB 0交換器
Claims (11)
- イメージを表すピクセル値の配列から輪郭情報を生成するための輪郭フィルタであって、当該配列が、ピクセルの第一および第二グループを有し、前記ピクセルの第一グループが、第一の色を有するフィルタによって光学的にフィルタリングされる前記イメージの一部を表し、かつ、前記ピクセルの第二グループが、１つ以上の第二の色を有する１つ以上のフィルタによって光学的にフィルタリングされる前記イメージの一部を表し、前記第一グループの各ピクセルが、垂直と水平の隣接ピクセルとして前記第二グループのピクセルを有し、当該輪郭フィルタが、
当該ピクセル値の配列を、前記第二グループのピクセルのピクセル値を０によって置き換えて、０交換された配列に変換する変換手段と、
当該０交換された配列を輪郭フィルタリングし、かつ輪郭情報を出力するためのフィルタリング手段であって、当該フィルタリング手段が、
前記０交換された配列の各ピクセルに対して、前記ピクセルの配列において副配列を、当該フィルタリングされるべきピクセルが前記副配列内の中央のポジションにあるように定義するための手段と、
前記フィルタリングされるべきピクセルが前記ピクセルの第一グループのピクセルであるときに、前記フィルタリング手段において使用するためのフィルタ係数の第一配列と、前記フィルタリングされるべきピクセルが前記ピクセルの第二グループのピクセルであるときに、前記フィルタリング手段において使用するためのフィルタ係数の第二配列と、であって、前記第一および第二配列が、前記副配列と同じ次元を有し、かつ、一連の規則すなわち、前記中央のポジションにおいて前記フィルタ係数が０であることと、前記配列の前記フィルタ係数を、対角線上の係数の互いに交差しない複数のグループであって、前記配列の中央の係数に対して対称である互いに交差しないグループに分割するときに、各グループ内に、当該グループ内の残りのフィルタ係数の合計に等しいフィルタ係数が存在することと、を含む一連の規則を満たす、フィルタ係数の第一および第二配列と、
フィルタリングされたピクセル値を計算するための計算手段であって、当該計算が、フィルタ係数の当該第一または第二配列の各係数に、ピクセルの当該第一または第二グループのいずれかからの当該副配列内に対応的に配置されているピクセルを乗じ、かつ、各乗算の結果を加算し、ピクセルの当該副配列それぞれについてフィルタリングされたピクセル値を得る、計算手段と、
を有する、前記フィルタリング手段と、
を有する、輪郭フィルタ。 - 当該副配列が、奇数の行と列を有する、請求項１による輪郭フィルタ。
- 請求項１による輪郭フィルタであって、さらに、前記フィルタリングと平行して、欠けているカラーピクセルの補間を行うための手段を有する、輪郭フィルタ。
- 請求項１による輪郭フィルタであって、さらに、前記第一および第二フィルタ係数それぞれを有する２つの個別のフィルタのノイズを一致させるための手段を有する、請求項１による輪郭フィルタ。
- 前記一致させるための手段が、前記フィルタそれぞれのコアリングレベルを調整することによって一致処理を行うように適合化されている、請求項４による輪郭フィルタ。
- 請求項１による輪郭フィルタにおいて、
前記ピクセルの第一グループが、前記ピクセル値の配列の各行および列の１つおきのピクセルから成り、
前記第一および第二フィルタ配列が、１つのフィルタ配列に結合され、
− 前記第一および第二配列が、同じ次元を有し、
− 前記第一および第二配列の各ポジションについて、前記中央のポジションを除き、前記第一および第二配列の少なくとも一方が、少なくとも０であるフィルタ係数を有し、
− 前記１つの配列が、前記第一および第二配列と同じ次元を有し、かつ、
− 前記１つの配列の各ポジションの前記フィルタ係数が、前記第一および第二配列の対応する係数の合計である、
輪郭フィルタ。 - 請求項６による輪郭フィルタであって、
当該フィルタが、５ｘ２フィルタであって、当該フィルタの前記係数が、
によって定義される相互比を有する５ｘ２フィルタか、または、
５ｘ３フィルタであって、当該フィルタの前記係数が、
によって定義される相互比を有する５ｘ３フィルタか、または、
５ｘ５フィルタであって、当該フィルタの前記係数が、
によって定義される相互比を有する５ｘ５フィルタか、または、
５ｘ５フィルタであって、当該フィルタの前記係数が、
によって定義される相互比を有する５ｘ５フィルタか、または、
５ｘ５フィルタであって、当該フィルタの前記係数が、
によって定義される相互比を有する５ｘ５フィルタであって、ｘが、実数であり、Ａ， Ｂ， Ｃ， Ｄ， Ｅ， Ｆ，Ｇ， Ｈ， Ｉ， Ｊ， Ｋ， Ｌ， Ｍ， Ｎ， Ｏ， Ｐ， Ｑ， Ｒ， Ｓ， Ｔ， Ｕ， Ｖ， Ｘ， Ｙ， Ｚそれぞれの値が、ｘより小さく、０と０．１ｘの間である、５ｘ５フィルタである、
輪郭フィルタ。 - ピクセルの第一および第二グループを有し、前記ピクセルの第一グループが、第一の色を有するフィルタによって光学的にフィルタリングされる前記イメージの一部を表し、かつ、前記ピクセルの第二グループが、１つ以上の第二の色を有する１つ以上のフィルタによって光学的にフィルタリングされる前記イメージの一部を表し、前記第一グループの各ピクセルが、垂直と水平の隣接ピクセルとして前記第二グループのピクセルを有する、イメージを表すピクセル値の配列から輪郭情報を生成するための方法であって、
当該ピクセル値の配列を、前記第二グループのピクセルのピクセル値を０によって置き換えて、０交換された配列に変換する変換ステップと、
当該０交換された配列を輪郭フィルタリングし、かつ輪郭情報を出力するフィルタリングステップであって、当該フィルタリングステップが、
前記０交換された配列の各ピクセルに対して、前記ピクセルの配列において副配列を、当該フィルタリングされるべきピクセルが前記副配列内の中央のポジションにあるように定義するステップと、
前記フィルタリングされるべきピクセルが前記ピクセルの第一グループのピクセルであるときに、フィルタ係数の第一配列を使用し、前記フィルタリングされるべきピクセルが前記ピクセルの第二グループのピクセルであるときに、フィルタ係数の第二配列を使用するステップであって、前記第一および第二配列が、前記副配列と同じ次元を有し、かつ、一連の規則すなわち、前記中央のポジションにおいて前記フィルタ係数が０であることと、前記配列の前記フィルタ係数を、対角線上の係数の互いに交差しない複数のグループであって、前記配列の中央の係数に対して対称である互いに交差しないグループに分割するときに、各グループ内に、当該グループ内の残りのフィルタ係数の合計に等しいフィルタ係数が存在することと、を含む一連の規則を満たすような、ステップと、
フィルタリングされたピクセル値を計算する計算ステップであって、当該計算が、フィルタ係数の当該第一または第二配列の各係数に、ピクセルの当該第一または第二グループのいずれかからの当該副配列内に対応的に配置されているピクセルを乗じ、かつ、各乗算の結果を加算し、ピクセルの当該副配列それぞれについてフィルタリングされたピクセル値を得る、計算ステップと、
を有する、前記フィルタリングステップと、
を有する、方法。 - コンピュータプログラムであって、当該プログラムがコンピュータ上で実行されるときに、請求項８の前記ステップすべてを実行するように適合化されているコンピュータプログラムコードを有する、コンピュータプログラム。
- 請求項９に記載のコンピュータプログラムを有するコンピュータ可読媒体。
- カラーフィルタ配列を有するセンサと、請求項１に記載の輪郭フィルタとを有するカラーカメラ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01200423 | 2001-02-06 | ||
| PCT/IB2002/000074 WO2002063380A2 (en) | 2001-02-06 | 2002-01-11 | Preventing green non-uniformity in image sensors |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004519142A JP2004519142A (ja) | 2004-06-24 |
| JP4190886B2 true JP4190886B2 (ja) | 2008-12-03 |
Family
ID=8179858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002563066A Expired - Fee Related JP4190886B2 (ja) | 2001-02-06 | 2002-01-11 | イメージセンサにおける緑色の不均一性の防止 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US6944337B2 (ja) |
| EP (1) | EP1371016A2 (ja) |
| JP (1) | JP4190886B2 (ja) |
| CN (1) | CN1294534C (ja) |
| WO (1) | WO2002063380A2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020088429A (ko) * | 2001-02-06 | 2002-11-27 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 윤곽 필터 및 윤곽 필터로부터 윤곽 정보를 제공하는 방법 |
| EP1371016A2 (en) * | 2001-02-06 | 2003-12-17 | Koninklijke Philips Electronics N.V. | Preventing green non-uniformity in image sensors |
| US7129976B2 (en) * | 2002-05-10 | 2006-10-31 | Koninklijke Philips Electronics N.V. | Digital image enhancing system |
| ATE384311T1 (de) * | 2002-07-04 | 2008-02-15 | Koninkl Philips Electronics Nv | Methode und apparat zur signalverarbeitung, computerprogrammprodukt, computersystem und kamera |
| JP2005045404A (ja) * | 2003-07-24 | 2005-02-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
| US7561194B1 (en) * | 2003-10-17 | 2009-07-14 | Eastman Kodak Company | Charge diffusion crosstalk reduction for image sensors |
| KR100784391B1 (ko) * | 2006-09-06 | 2007-12-11 | 삼성전자주식회사 | 칼라 필터 어레이 그리고 그것을 포함하는 씨모스 이미지 센서 |
| JP4284628B2 (ja) * | 2006-12-15 | 2009-06-24 | ソニー株式会社 | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
| US7826676B2 (en) * | 2007-03-08 | 2010-11-02 | Mitsubishi Electric Research Laboraties, Inc. | Method for filtering data with arbitrary kernel filters |
| US7903900B2 (en) * | 2007-03-30 | 2011-03-08 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Low complexity color de-noising filter |
| US7830428B2 (en) * | 2007-04-12 | 2010-11-09 | Aptina Imaging Corporation | Method, apparatus and system providing green-green imbalance compensation |
| KR101356698B1 (ko) * | 2007-10-01 | 2014-01-29 | 삼성전자주식회사 | 화소 간 크로스토크의 영향을 저감하는 이미지 센서, 컬러필터 어레이, 및 촬상 장치 |
| JP5045380B2 (ja) * | 2007-11-13 | 2012-10-10 | ソニー株式会社 | 撮像装置および撮像データ補正方法並びにプログラム |
| DE102010041569B4 (de) * | 2010-09-28 | 2017-04-06 | Leica Geosystems Ag | Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem |
| AT515595A2 (de) * | 2014-03-27 | 2015-10-15 | 9Yards Gmbh | Verfahren zur optischen Erkennung von Zeichen |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR950001577B1 (ko) * | 1992-02-21 | 1995-02-25 | 삼성전자주식회사 | 색분리 및 윤곽 보정회로 |
| US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
| WO1999004554A2 (en) * | 1997-07-15 | 1999-01-28 | Koninklijke Philips Electronics N.V. | Color and contour signal generation |
| KR100574185B1 (ko) * | 1997-07-15 | 2006-04-27 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 컬러 샘플 보간방법 및 보간장치 |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
| WO1999039509A1 (en) * | 1998-01-29 | 1999-08-05 | Koninklijke Philips Electronics N.V. | Color signal interpolation |
| US20020135683A1 (en) * | 1999-12-20 | 2002-09-26 | Hideo Tamama | Digital still camera system and method |
| EP1371016A2 (en) * | 2001-02-06 | 2003-12-17 | Koninklijke Philips Electronics N.V. | Preventing green non-uniformity in image sensors |
-
2002
- 2002-01-11 EP EP02740044A patent/EP1371016A2/en not_active Withdrawn
- 2002-01-11 CN CNB02801068XA patent/CN1294534C/zh not_active Expired - Fee Related
- 2002-01-11 WO PCT/IB2002/000074 patent/WO2002063380A2/en not_active Application Discontinuation
- 2002-01-11 JP JP2002563066A patent/JP4190886B2/ja not_active Expired - Fee Related
- 2002-02-05 US US10/067,283 patent/US6944337B2/en not_active Expired - Fee Related
-
2005
- 2005-05-03 US US11/120,587 patent/US7847842B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004519142A (ja) | 2004-06-24 |
| US20050195299A1 (en) | 2005-09-08 |
| US6944337B2 (en) | 2005-09-13 |
| EP1371016A2 (en) | 2003-12-17 |
| CN1294534C (zh) | 2007-01-10 |
| CN1478253A (zh) | 2004-02-25 |
| US20020181770A1 (en) | 2002-12-05 |
| WO2002063380A3 (en) | 2003-09-25 |
| WO2002063380A2 (en) | 2002-08-15 |
| US7847842B2 (en) | 2010-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7847842B2 (en) | Preventing green non-uniformity in image sensors | |
| US7728882B2 (en) | Green reconstruction for image sensors | |
| WO2011152174A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JPS61154357A (ja) | カラ−画像入力装置 | |
| KR20040066051A (ko) | 가중 그래디언트 기반 및 컬러 수정 보간 | |
| GB2378077A (en) | Electronic image colour plane reconstruction | |
| JP3489118B2 (ja) | 単板カラーカメラ及びその色信号処理回路 | |
| US7305141B2 (en) | Contour filter for image sensor output signals | |
| US8213710B2 (en) | Apparatus and method for shift invariant differential (SID) image data interpolation in non-fully populated shift invariant matrix | |
| EP1522046B1 (en) | Method and apparatus for signal processing, computer program product, computing system and camera | |
| JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| CN101411205A (zh) | 用于产生彩色视频信号的方法和装置 | |
| US7250967B2 (en) | Apparatus for modifying reproduction frequency band of video signal | |
| EP1833263B1 (en) | Method and apparatus for generating correction information for multi-divided CCD | |
| JP2004173060A (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
| JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
| JP4495355B2 (ja) | 画像補間装置 | |
| KR20050016750A (ko) | 신호 처리 방법 및 장치, 컴퓨터 프로그램 제품, 컴퓨터시스템, 반도체 장치, 및 카메라 | |
| JP2002237963A (ja) | 画像処理方法及び画像処理装置並びにそれを用いた画像形成装置 | |
| KR20050014916A (ko) | 신호 처리를 위한 방법 및 장치, 컴퓨터 프로그램 제품,컴퓨팅 시스템 및 카메라 | |
| JPS58179083A (ja) | カラ−固体撮像装置 | |
| JP2002218484A (ja) | 画像補間装置 | |
| JPH07193825A (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041209 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060523 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20090818 |
|
| LAPS | Cancellation because of no payment of annual fees |