JP4142360B2 - 電子カラー画像の色を補正する画像処理方法 - Google Patents
電子カラー画像の色を補正する画像処理方法 Download PDFInfo
- Publication number
- JP4142360B2 JP4142360B2 JP2002207634A JP2002207634A JP4142360B2 JP 4142360 B2 JP4142360 B2 JP 4142360B2 JP 2002207634 A JP2002207634 A JP 2002207634A JP 2002207634 A JP2002207634 A JP 2002207634A JP 4142360 B2 JP4142360 B2 JP 4142360B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- pixels
- smoothed
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000012937 correction Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 21
- 239000003086 colorant Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子カラー画像の色を補正する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
個々のセンサ素子からなるアレイに交互パターンのカラーフィルタを採用することによって民生用カラーセンサを製造することは一般的である。これは多くの場合カラーモザイクと呼ばれ、一般に使用される変形は、規則正しい格子上に緑／赤ピクセルの行と青／緑ピクセルの行が交互になっているＲＧＢベイヤー（Bayer）パターンである（従って、緑のピクセルは赤及び青のピクセルの２倍ある）。カラー平面の再構築（モザイク解除（de-mosaicing）とも呼ばれる）の目標は、そのようなセンサを用いて取り込んだ画像からフルＲＧＢ画像を生成することである。
【０００３】
単一のカラー平面でフル画像解像度を有するものはない。ピクセルの総数に関して、ベイヤーパターンを用いると、緑が解像度の半分を占め、赤及び青がそれぞれ１／４を占める。
【０００４】
人間の目のスペクトル特性に厳密に一致するセンサ用のカラーフィルタや、画像を表現または表示するためにコンピュータで使用される原色に厳密に一致するセンサ用のカラーフィルタを構築することは非常に難しい。この理由により、取り込んだ画像を処理して、検出された色を所望の表色系にマッピングする必要がある。
【０００５】
取り込んだ画像における色を、人間が同じシーンで知覚した色により厳密に一致するように補正するため、検出された各色を他の二色の検出された色と適切な割合で混ぜ合わせることができる。例えば、画像中のある１つの点における赤色信号の改良は、その点における赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）を重み付けして組み合わせることで求めることができる。
【０００６】
Ｃｒ（Ｒ）＝ａＲ＋ｂＧ＋ｃＢ
ここで、Ｃｒ（ｍ）は、値ｍの赤ピクセルの補正値である。
【０００７】
画像のその点におけるすべての色を補正するには、３×３行列の乗算を用いることができる。
【０００８】
【数１】
ここで、Ｃ（ｎ）はＲＧＢの３つ組（triplet）ｎについての補正値である。
【０００９】
行列値ａ、ｂ、．．．、ｉは、対比される人間またはコンピュータの表色系の他、センサの特性、カメラの光学系、及びシーンの照明に応じて決まる。これらの値の導出は、本発明の範囲外である。
【００１０】
色補正プロセスでは、各ピクセル位置における３つの色値すべてが必要なため、通常はセンサデータをモザイク解除した後に色補正プロセスを適用する。補正では、各色値についてかなりの量の計算、すなわち各画像においてピクセルごとに９回の乗算と６回の加算が必要となる。
【００１１】
多くの場合、１つのカラーチャネルがその他のカラーチャネルよりも多くの雑音を有している。例えば、スチル電子カメラまたはビデオ電子カメラにおいて一般に使用されるカラー・センサ・アレイは、カラー画像を生成するために赤色フィルタ、緑色フィルタ及び青色フィルタを有する。画像における青色チャネルは、青色フィルタの製造方法のせいで、他のチャネルよりも暗いことが多い。このため、青色チャネルの信号対雑音特性は劣る。色補正は異なる色平面を混合し、従って雑音の多い青色情報が赤色チャネル及び緑色チャネルに混合されてしまう。この状況は、スペクトル特性の広い低飽和フィルタ（low saturation filter）の場合はさらに悪化する。これは、色補正の計算には雑音増幅作用を有する大きな軸外成分（off-axis component）を持つ行列を伴うためである。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、例えば、フィルタモザイクから画像を再構築するとき、色補正ステップを実行する効率的な方法を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の第１の態様によれば、カラー画像の色を補正する画像処理方法が提供される。カラー画像は少なくとも２つの画像ピクセルのセットで構成され、セットはそれぞれ別個の色値を有し、各ピクセルはカラー画像におけるそのピクセルの色値の強度を表す輝度値を有している。この方法は、以下に述べるステップｉ〜ｖを含む。
ｉ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップ。
ｉｉ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択するステップ。
ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成するステップであって、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含むステップ。
ｉｖ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成するステップ。
ｖ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成するステップ。
【００１４】
また、本発明の第１の態様によれば、プロセッサ、ソフトウェア及びメモリを含む、カラー画像の色補正を行う画像処理装置が提供される。メモリは少なくとも２つの画像ピクセルのセットを有するカラー画像を表す画像データを格納し、各セットはそれぞれ別個の色値を有し、各ピクセルはカラー画像におけるそのピクセルの色値の強度を表す輝度値を有する。これらのプロセッサ、ソフトウェア及びメモリは、以下のａ〜ｅを実行するように動作する。
ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成する。
ｂ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択する。
ｃ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成する。前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含む。
ｄ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成する。
ｅ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成する。
本発明は、様々な画像処理システムにおいて有用である。例えば、本発明を使用して、異なる色値をそれぞれ有するインタリーブされたピクセルのセットから、画像モザイクとして形成されたカラー画像をモザイク解除するよう役立たせることができる。このようなモザイクピクセルは、通常、異なる色値のピクセルを持つ画像モザイクの行及び列でインタリーブされ、少なくともいくつかの行及び／または列が少なくとも二色の画像ピクセルを含むように画像モザイクを形成する。ベイヤーパターンでは、各行及び各列が二色の画像ピクセルを含む。
【００１５】
詳細には、無彩色高周波数コンテンツと合成される前に、カラー画像のカラーコンテンツを処理して高周波数コンテンツを除去することができる。従って本方法は、ステップｖで、元の画像ピクセルから高空間周波数輝度画像を生成するステップと、高空間周波数輝度画像を補正されたみのまたは未補正の平滑化画像ピクセルのセットと合成して、補正されたフルカラー画像を形成するステップを含むことができる。
【００１６】
無彩色高空間周波数画像を使用して画像モザイクから開始して画像ディテールを追加し戻す場合、高空間周波数輝度画像は、その色値の画像モザイクのピクセル位置にわたってのみ各色値について生成されることが好ましい。次いで、各高空間周波数輝度画像は、対応する補正された平滑化画像ピクセルのセットと、またはこのような補正されたセットがない場合には対応する平滑化画像ピクセルのセットと合成される。
【００１７】
中間平滑化画像ピクセルは、行及び列に沿って同様に並べることができる。低周波数画像にわたるカラーコンテンツの変化率が低減されるため、色補正は、すべてのピクセル位置において完全に計算する必要はない。これにより、要求される処理能力、時間及び関連するハードウェアコストが大幅に節約される。この結果、本発明は、画像処理スキームの一部として中間の低空間周波数画像が生成される場合は、常に有用となる。
【００１８】
本発明の第２の態様によれば、カラー画像の色を補正する画像処理方法が提供される。画像は複数の画像ピクセルで構成され、各画像ピクセルは少なくとも２つの色値のうちの一方を有し、また画像におけるそのピクセルについての色値の強度を表す輝度値を有している。この方法は、以下に述べるステップＩ〜ＩＶを含む。
Ｉ）各色値について、平滑化された画像ピクセルからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップ。
ＩＩ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成するステップであって、前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含むステップ。
ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝度画像を生成するステップ。
ＩＶ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成するステップ。
【００１９】
この手法は、色補正で使用される画像、すなわち低空間周波数モノクロ画像における雑音を低減する。従って、１つまたは複数のチャネルにおける雑音の影響は、対応して色補正プロセスについての影響を低減する。
【００２０】
本発明の第１の態様の場合、上記ステップＩＩにおける色補正は、低空間周波数画像ピクセルのサブセットに対してのみ適用することができる。次いで、ステップＩＶの前に、上記補正された低空間周波数モノクロ画像は、補正された平滑化画像ピクセルのサブセットからの内挿及び／または外挿によって完成されて、元の補正された平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成する。
【００２１】
本発明の第２の態様によれば、プロセッサ、ソフトウェア及びメモリを含むカラー画像の色補正を行う画像処理装置が提供される。メモリは複数の画像ピクセルを表す画像データを格納し、各画像ピクセルは少なくとも２つの色値のうちの一方を有し、各ピクセルは画像におけるそのピクセルの色値の強度を表す輝度値を有する。これらのプロセッサ、ソフトウェア及びメモリは、以下のＡ〜Ｄを実行するように動作する。
Ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成する。
Ｂ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成する。前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含む。
Ｃ）前記画像から１つまたは複数の高空間周波数輝度画像を生成する。
Ｄ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成する。
【００２２】
以下の説明は、本発明の第１の態様及び第２の態様に等しく当てはまる。
【００２３】
一般的な色補正方式では、各色値について１つの色補正された平滑化画像を生成するが、より少数のまたはただ１つの平滑化画像を色補正するべきである場合もありうる。
【００２４】
用途によっては、例えば画像モザイクデータからフルカラー画像を再構築する場合は、各色について生成される低周波数モノクロ画像が元のカラー画像のすべてのピクセル位置に広がることが好ましいこともある。
【００２５】
画像モザイクの場合では、１つの色値のピクセルが、元のカラー画像のすべてのピクセル位置を占めることはない。従って、元の平滑化画像を生成する際に、少なくとも１つの色値の元の画像ピクセルの間を内挿して同じ色値の画像ピクセルをさらに作成し、該色値について対応する内挿画像を生成することが便利であることがある。このような内挿は、色補正関数に必要な計算と比べて比較的少ない計算で実施することができる。
【００２６】
ベイヤーパターン状に配列されたモザイクピクセルのような、多くの画像モザイク方式では、１つの色値のピクセルの数が他の色値のピクセルと比較して優勢であり、各行及び各列はその優勢な色と他の色のうち１つの色の両方の画像ピクセルを含んでいる。
【００２７】
本発明の好ましい実施形態では、平滑化画像ピクセルは、１つおきの行及び１つおきの列の両方にある画像ピクセルから構成される。すべての平滑化画像ピクセルを色補正することと比較して、これは、大きな画像について７５％に近い量だけ色補正計算を低減する。同時に、各内挿した平滑化画像ピクセルまたは外挿した平滑化画像ピクセルは、色補正された平滑化画像ピクセルの１つに隣接する。
【００２８】
【発明の実施の形態】
図１は、民生用撮像デバイス、ここではハンドヘルド型デジタルカメラ１の一例を示す。このようなカメラは、撮像素子またはピクセル４の規則的な二次元アレイを有するカラー画像センサ２を備える。典型的な民生用センサアレイは、幅２５００ピクセル、高さ１６００ピクセルの矩形アレイ状に配列された、最大４メガピクセルの解像度を持つ。
【００２９】
撮像素子は、広範囲の色のスペクトルについて光を感知するので、センサアレイ２には、モザイク様パターンのカラーフィルタ６が重ねられる。通常は色は赤（Ｒ）、緑（Ｇ）及び青（Ｂ）（ＲＧＢ）の三色しかなく、また色はセンサアレイ２の端から端まで繰り返されるパターンでインタリーブされる。従って、フィルタ６の各色の下のアレイ素子４は、それぞれ対応するフィルタ６によって透過された波長を有する光のみを感知する。
【００３０】
多くのフィルタ・パターンが存在するが、最も一般的なものはベイヤー・フィルタ・パターンである。ベイヤー・フィルタ・パターンは、表１に示すような矩形状格子パターンに配列されたカラーフィルタを持つピクセルから構成される。
【００３１】
【表１】
ＧＲＧＲ・ ・ ・ＧＲＧＲ
ＢＧＢＧ・ ・ ・ＢＧＢＧ
ＧＲＧＲ・ ・ ・ＧＲＧＲ
・ ・ ・ ・ ・ ・ ・
ＢＧＢＧ・ ・ ・ＢＧＢＧ
ＧＲＧＲ・ ・ ・ＧＲＧＲ
ＢＧＢＧ・ ・ ・ＢＧＢＧ
ここで、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青色のカラーフィルタを表す。ベイヤー・パターンでは、センサアレイの中で緑色ピクセルの数が多くフルセンサ解像度の半分に寄与しており、赤色ピクセル及び青色ピクセルはそれぞれ解像度の１／４に寄与する。
【００３２】
図２は、デジタル・カメラ１で撮像されるシンボル「・ＵＰ」からなる元の白黒テキスト１０の例を示す。テキスト１０は、デスクトップ型の文書撮像アプリケーションで撮像されるより大きな文書（図示せず）の一部である。図３は、３５個の水平方向のピクセル及び２９個の垂直方向のピクセルからなるセンサアレイ２の小部分内のＲＧＢモザイク１２として、テキスト１０がどのように撮像されるかを示している。
【００３３】
ベイヤー・パターンは、３つの色値である赤１６、緑１７及び青１９について示す図４において最も明確に観察することができる。緑色ピクセル１４は、赤色ピクセル１３または青色ピクセル１５の２倍存在する。元のテキスト１０は、輝度レベルの異なるピクセル１３、１４、１５として見ることができる。
【００３４】
図５は、画像モザイク１２をどのように処理して、色補正されモザイク解除されたフルカラー画像２０を得られるかを示している。まず、各色値１６、１７、１８について、平滑化画像３３、３４、３５が形成される。次に、３つの色値１６、１７、１８について、その特定の色値１６、１７、１８の個々の各ピクセル１３、１４、１５の輝度レベルと、同じ色値の平滑化画像の対応する点の輝度レベルの間の差２６、２７、２８がとられる。この差２６、２７、２８を使用して無彩色高周波数画像が生成される。無彩色高周波数画像は、その他の２つの色値の同様の差と合成されると、元のＲＧＢ画像モザイク１２のすべてのピクセル位置に広がる合成無彩色高周波数画像３０になる。
【００３５】
従って、得られた合成画像３０は、元のＲＧＢ画像１２の白黒高周波数バージョンである。最も便利なことには、高周波数画像３０は、元のＲＧＢモザイク画像１２での対応するピクセルのセット１３、１４、１５の位置と一致する合成画像３０での位置における３つの高周波数画像ピクセルのセット４３、４４、４５から構成される。図５から分かるように、３つのピクセル４３、４４、４５は異なる輝度値を持つ。
【００３６】
平滑化モノクロ画像３３、３４、３５は、低域通過フィルタリングと組み合わせた二次元内挿によって形成される（低域通過フィルタまたは平滑化フィルタを含む空間フィルタの例は、Gonzalez及びWoodsによる「Digital Image Processing」（Addison＆Wesley,pp189-201,1992）に記載されている。ここで、平滑化画像３３、３４、３５は、双一次内挿を前処理ステップとして用いて、３つの色値１６、１７、１８それぞれについて個別に形成される。そして、３つの平滑化画像３３、３４、３５はすべて、ＲＧＢモザイクパターン１２のすべての要素に対応する位置に広がる。
【００３７】
次に、色値１６、１７、１８の３つの低空間周波数画像ピクセルのセット３３、３４、３５のうちの１つまたは複数が以下のように処理され、最大３つの対応する色補正された低空間周波数画像ピクセル５３、５４、５５が生成される。図５は、元の３つの平滑化画像ピクセルのセット３３、３４、３５のすべてが処理され色補正が行われる一般的な場合を示す。色補正では、平滑化画像の実際の色を変更する必要はなく、通常は、最大３つの平滑化ピクセルのセットにおける強度値を補正である。
【００３８】
例えば、はじめに述べたように、画像中の１点における改良された緑色信号は、その点における赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）を重み付けして組み合わせたものから求められる。
【００３９】
Ｃｇ（Ｇ）＝ａＲ＋ｂＧ＋ｃＢ
ここで、Ｃｇ（ｍ）は値ｍの緑色ピクセルの補正値である。
【００４０】
画像のその点におけるすべての色を補正するには、３×３行列の乗算を用いることができる。
【００４１】
【数２】
ここで、Ｃ（ｎ）はＲＧＢの三つ組ｎの補正値である。
【００４２】
色補正は３つの色値１６、１７、１８のすべてについて必要だが、簡潔のために、緑の色値１７についての一色のみの補正の詳細について以下に述べる。計算要件を低減するために、本発明は、完全な平滑化画像ピクセルのセット３３、３４、３５のサブセット６３、６４、６５に対してのみ色補正を実行することを提示する。
【００４３】
ここで、値Ｇ１〜Ｇ９で表される３×３ブロックの未補正の低空間周波数平滑化された緑色の画像ピクセルを考える。
【００４４】
【表２】
Ｇ１ Ｇ２ Ｇ３
Ｇ４ Ｇ５ Ｇ６
Ｇ７ Ｇ８ Ｇ９
対応する色補正された低空間周波数の緑色の値ｇ１〜ｇ９は、以下のように表すことができる。
【００４５】
【表３】
ｇｌ ｇ２ ｇ３
ｇ４ ｇ５ ｇ６
ｇ７ ｇ８ ｇ９
角にある値Ｇ１、Ｇ３、Ｇ７及びＧ９からなる平滑化画像ピクセルＧ１〜Ｇ９のサブセットが選択される。色補正計算は、これら４つの画像ピクセルに対してのみ行われ、他の画像ピクセルは以下のように内挿される。
【００４６】
【表４】
【００４７】
当然であるが、選択可能なサブセットは他にも多く考えられ、また選択されたサブセットにおいてではない補正された画像ピクセルを計算するためには他にも多くの内挿または外挿方式がある。しかし、選択された平滑化画像ピクセルが１つおきの行及び１つおきの列の両方からとられる本例では、要求される計算を大幅に節約するという優れた結果が得られる。
【００４８】
本明細書で述べる方法では、従来の色補正方法と比べて必要な計算がはるかに少ない。例えば、上記方法で必要な計算はおよそ１／４であり、検出可能な画質の低下はわずかかまたは全くない。
【００４９】
さらに、色補正は任意のカラーチャネルの雑音が平滑化される低空間周波数ピクセルに対して行われるため、色補正に際して色平面の間で雑音が混合されることがなく、または色補正された画像の雑音量が増大することがない。
【００５０】
色補正後、画像を以下のようにしてモザイク解除することができる。各高周波数ピクセル４３、４４、４５について、無彩色高周波数輝度値が３つの色補正された平滑化画像５３、５４、５５の対応する部分に加えられ（５０）、モザイク解除されたフルカラー画像２０が生成される。色値１６、１７、１８のうちの１つまたは２つが色補正を必要としない場合は、補正されない色値についての計算のこの段階において、元の未補正平滑化画像ピクセルのセット３３、３４、３５が対応する高周波数ピクセル４３、４４、４５と合成される。
【００５１】
この方法は、電子ハードウェアでの計算が比較的容易であるという利点を持ち、その一方色補正された画像の再構築された画質も優れている。
【００５２】
平滑化を行う前に個々の色平面を全解像度まで内挿して、その後に色補正のために平滑化したバージョンをサンプリングするよりも、モザイクパターンを空間的にフィルタリングして低空間解像度画像を生成するモザイクピクセル位置の数を低減することによって、必要な計算をさらに低減することが可能である。この結果、他の場合よりも低い空間周波数を持つ平滑化画像が生成される（平滑化の程度自体が、空間解像度の変化に適応するように低減されない限り）が、上述したように、高周波数を加えることで画像のディテールが再度取り入れられるので、情報コンテンツが最終的に大きく失われることはない。例えば図４に示す緑色ピクセル１４と赤色ピクセル１３の両方を持つ列５４（または行）における緑色ピクセルのような、緑色ピクセル１４のサブセットについてのみ、平滑化画像が計算されることが好ましい。ベイヤー・パターンについては、平滑化に必要な計算の１／４が必要となり、その一方画質は略一定に保たれる。
【００５３】
赤色ピクセル１３及び青色ピクセル１５については、初期の内挿段階を回避し、また未処理の赤色及び青色のピクセルだけから形成される画像に対する平滑化を行うことになる。
【００５４】
従って、各高空間周波数画像４４、４５、４６は、その色値の画像モザイクピクセル１６、１７、１８の輝度値と、同じ色値１６、１７、１８の平滑化モノクロ画像３３、３４、３５の対応する部分の輝度値の間の差２６、２７、２８から、色値１６、１７、１８について形成される。
【００５５】
言い換えると、各モザイクピクセルの高周波数成分は、同じ色値についての平滑化画像バージョンの対応する位置からモザイク値を差し引くことによって与えられる。
【００５６】
そして、各高空間周波数画像３０を、その色値の色補正された平滑化モノクロ画像５３、５４、５５の対応する部分に加えることによって、色補正されモザイク解除されたフルカラー画像２０が各色値１６、１７、１８について形成される。
【００５７】
このプロセスはハードウェアで容易に実現することができ、図６のブロック図と図７のフローチャートに示されている。
【００５８】
シャッタ解放機構８は、ユーザによって起動されると、デジタル信号プロセッサ（ＤＳＰ）を含むマイクロプロセッサ・ユニット７２に信号７１を送る。マイクロプロセッサは初期化信号７３をタイミング発生器７４に送り、これによってタイミング発生器７４は、トリガ信号７５を電子画像センサユニット７６に送る。
【００５９】
センサ７６は、検出素子（典型的にフォトゲート（photogate）またはフォトダイオード構造）のアレイからなる撮像領域７７とシリアル読み出しレジスタ７８から構成される。シリアル読み出しレジスタ７８では、増幅器８０を介してアナログ信号７９が生成される。この信号７９は、センサユニット７６がトリガ信号７５を受信したときに生成される。
【００６０】
増幅されたアナログ信号７９は、Ａ／Ｄユニット８２によってデジタル信号８１に変換される。得られた未処理のデジタル画像データは、揮発性メモリ８４に一時的に格納される。
【００６１】
本発明による画像処理はマイクロプロセッサ・ユニット７２によって実行することができる。マイクロプロセッサは、ハードウェアの専用ブロックの形態で追加のＤＳＰ機能を含み、特定の機能を実行することができる。または、別のより汎用的なＤＳＰコプロセッサを含むこともできる。
【００６２】
処理自体は、図７のフローチャートで説明するステップに従って実行することができる。これらのステップには前処理段階９２が含まれる。事前処理段階９２には、一般にセンサのＯＥＣＦ（光電子変換機能）の補正と照明のばらつきを補償するホワイトバランシングの補正が含まれる。上述の色補正とモザイク解除段階９４の後に、後続する後処理段階９６には、露出補正（前処理段階で行うこともできる）とｓＲＧＢ等の標準の色空間への変換（IEC61966-2-1に記載のように）が含まれる。最後に、ユビキタスＪＰＥＧ方式等の標準的な画像圧縮方式を使用して、再構築されたＲＧＢ画像データを圧縮して（９８）、長期メモリ８８に格納することができる。
【００６３】
さらに、表示装置９０を設計に組み込んでもよい。画像をライブで表示して、さらなる復元処理段階１００を必要とする長期メモリからのビューファインディングまたはレビューを容易に行うことができる。
【００６４】
本発明の好ましい実施形態をベイヤー・パターンの画像ピクセルを参照して説明してきたが、本発明は、すべての行及び／または列が少なくとも二色の画像ピクセルを含むわけではない場合にも適用することができる。例えば、モザイクの中には、赤／青の行または列でインタリーブされた全て緑の行及び列を持つものがある。本発明は、このような画像モザイクにも等しく適用することができる。
【００６５】
未処理の画像フレーム全体を揮発性メモリに格納することは必ずしも必要ではない。画像処理は実行中に（on the fly）行うことができるため、必要となるのは画像パイプラインの実行に必要な量のメモリだけである。従って、最初の数行の画像データがセンサからメモリに読み出された後に、画像の開始のために圧縮画像データを生成し、これを長期メモリに格納することが可能である。これは、すべてのプロセスが本質的に局所的であり、画像の限られた領域に対してのみ作用するということから生ずる。
【００６６】
言い換えると、プロセスの各段階で構築される「画像」は画像全体に広がるデータの完全なセットであるが、実用的には、これにより、メモリ及び可能なスループットに関するコストが付加される。従って、プロセスの各段階で使用される「画像」は、一般に局所的に動作するプロセスを使用して別個に作成される。制限内で、隣接するピクセルから単一ピクセルについてのすべての計算を実行することができる。
【００６７】
本発明は、完全なＲＧＢ画像を再構築する間、すべてのセンサ素子からの画像のディテールを維持する。本発明は、無彩色高周波数画像と低周波数の赤、緑及び青（または他の原色の組み合わせ）の画像との合成に基づいている任意の方式に組み込まれることができる。本発明は、加算（additive）再構築方式に組み込まれるのが好ましく、これによって無彩色高周波数が各低周波数カラーチャネルに加えられる。
【００６８】
色を補正し、画像モザイクデータからフルカラー画像を再構築する上記方法は、演算処理上魅力的であり、モザイクの３つの色値すべてを利用して高解像度カラー画像を生成する。この方法はまた、色補正プロセスにおける元のカラーチャネルの雑音の影響を大幅に低減する。
【００６９】
色補正計算では、低周波数画像の１つおきのピクセル行及び列について色補正が計算され、その結果が他の近隣ピクセルへと内挿されるとき、速度と品質の間で好ましい折り合いが得られる。
【００７０】
本発明は、カラー・モザイク・センサからの画像データをモザイク解除するという状況で特に有用であるが、色補正または色空間変換が必要な他の状況においても（補正すべき画像がすでに各ピクセルについて赤、緑及び青の値を有する場合ですらも）、適用することが可能である。例えば、印刷のために異なる色空間にマッピングされるべき画像を、３つの低周波数色区分と１つまたは複数の高周波数成分に変換することができる。低周波数区分は低減された空間解像度で色補正され、続いて高周波成分と再合成される前に内挿して元の解像度に戻すことができる。このように、計算量が低減されかつ潜在的に画質が改善された変換を実行することができる。
【００７１】
さらに、上述の例では画像データは画像モザイクのものであったが、本発明は、元のカラー画像で各位置が重なっている場合や、複数の色値のピクセルが同時発生する場合にも適用することができる。このような画像は、３つのＣＣＤセンサを有する撮像システムによって、フラットベッド・カラー・スキャナによって、または別の登録されたＲＧＢ画像のセットからカラー画像を形成する他の撮像システムによって生成することができる。
【００７２】
本発明は、赤、緑及び青の各カラーチャネルにおけるフルセンサ解像度で高品質の画像を色補正し再構築する、画像雑音に対する感度を低減した効率的な方法を提供する。
【００７３】
本発明には、例として以下の実施形態が含まれる。
【００７４】
（１）少なくとも２つの画像ピクセルのセットから構成されるカラー画像の色を補正する画像処理方法であって、前記セットはそれぞれ別個の色値を有し、前記ピクセルは前記カラー画像におけるそのピクセルの色値の強度を表す輝度値を有しており、
前記方法は、
ｉ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップと、
ｉｉ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択するステップと、
ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成するステップであって、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含む、ステップと、
ｉｖ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成するステップと、
ｖ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成するステップと、
を含む画像処理方法。
【００７５】
（２）前記ステップｖは、前記元の画像ピクセルから高空間周波数輝度画像を生成するステップと、前記高空間周波数輝度画像を前記補正されたまたは未補正の平滑化画像ピクセルのセットと合成して、前記補正されたフルカラー画像を形成するステップを含む、上記(１)に記載の画像処理方法。
【００７６】
（３）前記カラー画像は画像モザイクであり、各色値についての前記画像モザイクのピクセル位置にのみ広がる高空間周波数輝度画像が各色値について生成され、前記高空間周波数輝度画像は、前記対応する補正された平滑化画像ピクセルのセットと、またはこのような補正されたセットがない場合には前記対応する平滑化画像ピクセルのセットと合成される、上記(２)に記載の方法。
【００７７】
（４）複数の画像ピクセルから構成されるカラー画像の色を補正する画像処理方法であって、各画像ピクセルは少なくとも２つの色値のうちの一方と、前記画像におけるそのピクセルの前記色値の強度を表す輝度値とを有しており、
前記方法は、
Ｉ）各色値について、平滑化された画像ピクセルからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップと、
ＩＩ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成するステップであって、前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含む、ステップと、
ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝度画像を生成するステップと、
ＩＶ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成するステップと、
を含む画像処理方法。
【００７８】
（５）Ｖ）前記ステップＩＩにおいて、前記色補正は低空間周波数画像ピクセルのサブセットにのみ適用され、
ＶＩ）前記ステップＩＶの前に、前記補正された平滑化画像ピクセルのサブセットから内挿及び／または外挿を行うことによって前記補正された低空間周波数モノクロ画像が完成されて、前記元の補正された平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成する、上記(４)に記載の画像処理方法。
【００７９】
（６）前記カラー画像は画像モザイクであり、各色値のピクセルは異なる色値のピクセルを持つ前記画像モザイクの端から端まで行及び列でインタリーブされて、少なくともいくつかの行及び／または列が少なくとも２色の画像ピクセルを含むように前記画像モザイクを形成する、上記(１)ないし(５)のいずれかに記載の画像処理方法。
【００８０】
（７）１つの色値のピクセルはその他の色値のピクセルと比較して多数であり、各行及び各列は前記多数の色とその他の色のうち１つの色の両方の画像ピクセルを含む、上記(６)に記載の画像処理方法。
【００８１】
（８）前記平滑化画像ピクセルは１つおきの行及び１つおきの列の両方にある画像ピクセルからなる、上記(７)に記載の画像処理方法。
【００８２】
（９）前記低周波数モノクロ画像は、前記元のカラー画像のすべてのピクセル位置に広がる、上記(１)ないし(８)のいずれかに記載の画像処理方法。
【００８３】
（１０）前記色値は赤、緑及び青を含み、前記画像モザイクでは緑ピクセルが多数である、上記(１)ないし(９)のいずれかに記載の画像処理方法。
【００８４】
（１１）プロセッサ、ソフトウェア及びメモリを備えるカラー画像の補正を行う画像処理装置であって、前記メモリは少なくとも２つの画像ピクセルのセットを有するカラー画像を表す画像データを格納し、前記セットはそれぞれ別個の色値を有し、前記ピクセルは前記カラー画像におけるそのピクセルの色値の強度を表す輝度値を有しており、
前記プロセッサ、ソフトウェア及びメモリは、
ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成し、
ｂ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択し、
ｃ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成し、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含み、
ｄ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成し、
ｅ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成するように動作する、画像処理装置。
【００８５】
（１２）プロセッサ、ソフトウェア及びメモリを備えるカラー画像の補正を行う画像処理装置であって、前記メモリは複数の画像ピクセルを表す画像データを格納し、前記画像ピクセルは少なくとも２つの色値のうちの一方と、前記画像におけるそのピクセルの色値の強度を表す輝度値とを有しており、
前記プロセッサ、ソフトウェア及びメモリは、
Ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成し、
Ｂ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成し、前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含み、
Ｃ）前記画像から１つまたは複数の高空間周波数輝度画像を生成し、
Ｄ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成するように動作する、画像処理装置。
【図面の簡単な説明】
【図１】赤、緑、及び青（ＲＧＢ）の撮像素子を有するカラー・センサ・アレイを備える従来の電子カメラの内部構成要素のいくつかを概略的に示す図である。
【図２】図１に示したようなカラー・センサ・アレイで撮像される白黒テキストの例を示す図である。
【図３】ＲＧＢモザイク画像として取り込まれたテキストを示す図である。
【図４】図３の画像モザイクにおける赤色ピクセル、緑色ピクセル及び青色ピクセルの配列を示す図である。
【図５】赤色ピクセル、緑色ピクセル及び青色ピクセルが本発明による方法でどのように処理され各色値について１つの色補正されたの中間平滑化画像を生じるか、及び補正された画像をどのように使用して、モザイク解除され色補正されたフルカラー画像を生成するかを概略的に示す図である。
【図６】プロセッサ、ソフトウェア及びメモリを備えた、画像モザイクをモザイク解除してフルカラー画像を形成する本発明による装置の回路略図である。
【図７】画像モザイクをモザイク解除してフルカラー画像をもたらす本発明による方法の好ましい実施形態を示すフローチャートである。
【発明の属する技術分野】
本発明は、電子カラー画像の色を補正する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
個々のセンサ素子からなるアレイに交互パターンのカラーフィルタを採用することによって民生用カラーセンサを製造することは一般的である。これは多くの場合カラーモザイクと呼ばれ、一般に使用される変形は、規則正しい格子上に緑／赤ピクセルの行と青／緑ピクセルの行が交互になっているＲＧＢベイヤー（Bayer）パターンである（従って、緑のピクセルは赤及び青のピクセルの２倍ある）。カラー平面の再構築（モザイク解除（de-mosaicing）とも呼ばれる）の目標は、そのようなセンサを用いて取り込んだ画像からフルＲＧＢ画像を生成することである。
【０００３】
単一のカラー平面でフル画像解像度を有するものはない。ピクセルの総数に関して、ベイヤーパターンを用いると、緑が解像度の半分を占め、赤及び青がそれぞれ１／４を占める。
【０００４】
人間の目のスペクトル特性に厳密に一致するセンサ用のカラーフィルタや、画像を表現または表示するためにコンピュータで使用される原色に厳密に一致するセンサ用のカラーフィルタを構築することは非常に難しい。この理由により、取り込んだ画像を処理して、検出された色を所望の表色系にマッピングする必要がある。
【０００５】
取り込んだ画像における色を、人間が同じシーンで知覚した色により厳密に一致するように補正するため、検出された各色を他の二色の検出された色と適切な割合で混ぜ合わせることができる。例えば、画像中のある１つの点における赤色信号の改良は、その点における赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）を重み付けして組み合わせることで求めることができる。
【０００６】
Ｃｒ（Ｒ）＝ａＲ＋ｂＧ＋ｃＢ
ここで、Ｃｒ（ｍ）は、値ｍの赤ピクセルの補正値である。
【０００７】
画像のその点におけるすべての色を補正するには、３×３行列の乗算を用いることができる。
【０００８】
【数１】
【０００９】
行列値ａ、ｂ、．．．、ｉは、対比される人間またはコンピュータの表色系の他、センサの特性、カメラの光学系、及びシーンの照明に応じて決まる。これらの値の導出は、本発明の範囲外である。
【００１０】
色補正プロセスでは、各ピクセル位置における３つの色値すべてが必要なため、通常はセンサデータをモザイク解除した後に色補正プロセスを適用する。補正では、各色値についてかなりの量の計算、すなわち各画像においてピクセルごとに９回の乗算と６回の加算が必要となる。
【００１１】
多くの場合、１つのカラーチャネルがその他のカラーチャネルよりも多くの雑音を有している。例えば、スチル電子カメラまたはビデオ電子カメラにおいて一般に使用されるカラー・センサ・アレイは、カラー画像を生成するために赤色フィルタ、緑色フィルタ及び青色フィルタを有する。画像における青色チャネルは、青色フィルタの製造方法のせいで、他のチャネルよりも暗いことが多い。このため、青色チャネルの信号対雑音特性は劣る。色補正は異なる色平面を混合し、従って雑音の多い青色情報が赤色チャネル及び緑色チャネルに混合されてしまう。この状況は、スペクトル特性の広い低飽和フィルタ（low saturation filter）の場合はさらに悪化する。これは、色補正の計算には雑音増幅作用を有する大きな軸外成分（off-axis component）を持つ行列を伴うためである。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、例えば、フィルタモザイクから画像を再構築するとき、色補正ステップを実行する効率的な方法を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の第１の態様によれば、カラー画像の色を補正する画像処理方法が提供される。カラー画像は少なくとも２つの画像ピクセルのセットで構成され、セットはそれぞれ別個の色値を有し、各ピクセルはカラー画像におけるそのピクセルの色値の強度を表す輝度値を有している。この方法は、以下に述べるステップｉ〜ｖを含む。
ｉ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップ。
ｉｉ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択するステップ。
ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成するステップであって、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含むステップ。
ｉｖ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成するステップ。
ｖ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成するステップ。
【００１４】
また、本発明の第１の態様によれば、プロセッサ、ソフトウェア及びメモリを含む、カラー画像の色補正を行う画像処理装置が提供される。メモリは少なくとも２つの画像ピクセルのセットを有するカラー画像を表す画像データを格納し、各セットはそれぞれ別個の色値を有し、各ピクセルはカラー画像におけるそのピクセルの色値の強度を表す輝度値を有する。これらのプロセッサ、ソフトウェア及びメモリは、以下のａ〜ｅを実行するように動作する。
ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成する。
ｂ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択する。
ｃ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成する。前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含む。
ｄ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成する。
ｅ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成する。
本発明は、様々な画像処理システムにおいて有用である。例えば、本発明を使用して、異なる色値をそれぞれ有するインタリーブされたピクセルのセットから、画像モザイクとして形成されたカラー画像をモザイク解除するよう役立たせることができる。このようなモザイクピクセルは、通常、異なる色値のピクセルを持つ画像モザイクの行及び列でインタリーブされ、少なくともいくつかの行及び／または列が少なくとも二色の画像ピクセルを含むように画像モザイクを形成する。ベイヤーパターンでは、各行及び各列が二色の画像ピクセルを含む。
【００１５】
詳細には、無彩色高周波数コンテンツと合成される前に、カラー画像のカラーコンテンツを処理して高周波数コンテンツを除去することができる。従って本方法は、ステップｖで、元の画像ピクセルから高空間周波数輝度画像を生成するステップと、高空間周波数輝度画像を補正されたみのまたは未補正の平滑化画像ピクセルのセットと合成して、補正されたフルカラー画像を形成するステップを含むことができる。
【００１６】
無彩色高空間周波数画像を使用して画像モザイクから開始して画像ディテールを追加し戻す場合、高空間周波数輝度画像は、その色値の画像モザイクのピクセル位置にわたってのみ各色値について生成されることが好ましい。次いで、各高空間周波数輝度画像は、対応する補正された平滑化画像ピクセルのセットと、またはこのような補正されたセットがない場合には対応する平滑化画像ピクセルのセットと合成される。
【００１７】
中間平滑化画像ピクセルは、行及び列に沿って同様に並べることができる。低周波数画像にわたるカラーコンテンツの変化率が低減されるため、色補正は、すべてのピクセル位置において完全に計算する必要はない。これにより、要求される処理能力、時間及び関連するハードウェアコストが大幅に節約される。この結果、本発明は、画像処理スキームの一部として中間の低空間周波数画像が生成される場合は、常に有用となる。
【００１８】
本発明の第２の態様によれば、カラー画像の色を補正する画像処理方法が提供される。画像は複数の画像ピクセルで構成され、各画像ピクセルは少なくとも２つの色値のうちの一方を有し、また画像におけるそのピクセルについての色値の強度を表す輝度値を有している。この方法は、以下に述べるステップＩ〜ＩＶを含む。
Ｉ）各色値について、平滑化された画像ピクセルからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップ。
ＩＩ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成するステップであって、前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含むステップ。
ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝度画像を生成するステップ。
ＩＶ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成するステップ。
【００１９】
この手法は、色補正で使用される画像、すなわち低空間周波数モノクロ画像における雑音を低減する。従って、１つまたは複数のチャネルにおける雑音の影響は、対応して色補正プロセスについての影響を低減する。
【００２０】
本発明の第１の態様の場合、上記ステップＩＩにおける色補正は、低空間周波数画像ピクセルのサブセットに対してのみ適用することができる。次いで、ステップＩＶの前に、上記補正された低空間周波数モノクロ画像は、補正された平滑化画像ピクセルのサブセットからの内挿及び／または外挿によって完成されて、元の補正された平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成する。
【００２１】
本発明の第２の態様によれば、プロセッサ、ソフトウェア及びメモリを含むカラー画像の色補正を行う画像処理装置が提供される。メモリは複数の画像ピクセルを表す画像データを格納し、各画像ピクセルは少なくとも２つの色値のうちの一方を有し、各ピクセルは画像におけるそのピクセルの色値の強度を表す輝度値を有する。これらのプロセッサ、ソフトウェア及びメモリは、以下のＡ〜Ｄを実行するように動作する。
Ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成する。
Ｂ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成する。前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含む。
Ｃ）前記画像から１つまたは複数の高空間周波数輝度画像を生成する。
Ｄ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成する。
【００２２】
以下の説明は、本発明の第１の態様及び第２の態様に等しく当てはまる。
【００２３】
一般的な色補正方式では、各色値について１つの色補正された平滑化画像を生成するが、より少数のまたはただ１つの平滑化画像を色補正するべきである場合もありうる。
【００２４】
用途によっては、例えば画像モザイクデータからフルカラー画像を再構築する場合は、各色について生成される低周波数モノクロ画像が元のカラー画像のすべてのピクセル位置に広がることが好ましいこともある。
【００２５】
画像モザイクの場合では、１つの色値のピクセルが、元のカラー画像のすべてのピクセル位置を占めることはない。従って、元の平滑化画像を生成する際に、少なくとも１つの色値の元の画像ピクセルの間を内挿して同じ色値の画像ピクセルをさらに作成し、該色値について対応する内挿画像を生成することが便利であることがある。このような内挿は、色補正関数に必要な計算と比べて比較的少ない計算で実施することができる。
【００２６】
ベイヤーパターン状に配列されたモザイクピクセルのような、多くの画像モザイク方式では、１つの色値のピクセルの数が他の色値のピクセルと比較して優勢であり、各行及び各列はその優勢な色と他の色のうち１つの色の両方の画像ピクセルを含んでいる。
【００２７】
本発明の好ましい実施形態では、平滑化画像ピクセルは、１つおきの行及び１つおきの列の両方にある画像ピクセルから構成される。すべての平滑化画像ピクセルを色補正することと比較して、これは、大きな画像について７５％に近い量だけ色補正計算を低減する。同時に、各内挿した平滑化画像ピクセルまたは外挿した平滑化画像ピクセルは、色補正された平滑化画像ピクセルの１つに隣接する。
【００２８】
【発明の実施の形態】
図１は、民生用撮像デバイス、ここではハンドヘルド型デジタルカメラ１の一例を示す。このようなカメラは、撮像素子またはピクセル４の規則的な二次元アレイを有するカラー画像センサ２を備える。典型的な民生用センサアレイは、幅２５００ピクセル、高さ１６００ピクセルの矩形アレイ状に配列された、最大４メガピクセルの解像度を持つ。
【００２９】
撮像素子は、広範囲の色のスペクトルについて光を感知するので、センサアレイ２には、モザイク様パターンのカラーフィルタ６が重ねられる。通常は色は赤（Ｒ）、緑（Ｇ）及び青（Ｂ）（ＲＧＢ）の三色しかなく、また色はセンサアレイ２の端から端まで繰り返されるパターンでインタリーブされる。従って、フィルタ６の各色の下のアレイ素子４は、それぞれ対応するフィルタ６によって透過された波長を有する光のみを感知する。
【００３０】
多くのフィルタ・パターンが存在するが、最も一般的なものはベイヤー・フィルタ・パターンである。ベイヤー・フィルタ・パターンは、表１に示すような矩形状格子パターンに配列されたカラーフィルタを持つピクセルから構成される。
【００３１】
【表１】
ＧＲＧＲ・ ・ ・ＧＲＧＲ
ＢＧＢＧ・ ・ ・ＢＧＢＧ
ＧＲＧＲ・ ・ ・ＧＲＧＲ
・ ・ ・ ・ ・ ・ ・
ＢＧＢＧ・ ・ ・ＢＧＢＧ
ＧＲＧＲ・ ・ ・ＧＲＧＲ
ＢＧＢＧ・ ・ ・ＢＧＢＧ
ここで、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青色のカラーフィルタを表す。ベイヤー・パターンでは、センサアレイの中で緑色ピクセルの数が多くフルセンサ解像度の半分に寄与しており、赤色ピクセル及び青色ピクセルはそれぞれ解像度の１／４に寄与する。
【００３２】
図２は、デジタル・カメラ１で撮像されるシンボル「・ＵＰ」からなる元の白黒テキスト１０の例を示す。テキスト１０は、デスクトップ型の文書撮像アプリケーションで撮像されるより大きな文書（図示せず）の一部である。図３は、３５個の水平方向のピクセル及び２９個の垂直方向のピクセルからなるセンサアレイ２の小部分内のＲＧＢモザイク１２として、テキスト１０がどのように撮像されるかを示している。
【００３３】
ベイヤー・パターンは、３つの色値である赤１６、緑１７及び青１９について示す図４において最も明確に観察することができる。緑色ピクセル１４は、赤色ピクセル１３または青色ピクセル１５の２倍存在する。元のテキスト１０は、輝度レベルの異なるピクセル１３、１４、１５として見ることができる。
【００３４】
図５は、画像モザイク１２をどのように処理して、色補正されモザイク解除されたフルカラー画像２０を得られるかを示している。まず、各色値１６、１７、１８について、平滑化画像３３、３４、３５が形成される。次に、３つの色値１６、１７、１８について、その特定の色値１６、１７、１８の個々の各ピクセル１３、１４、１５の輝度レベルと、同じ色値の平滑化画像の対応する点の輝度レベルの間の差２６、２７、２８がとられる。この差２６、２７、２８を使用して無彩色高周波数画像が生成される。無彩色高周波数画像は、その他の２つの色値の同様の差と合成されると、元のＲＧＢ画像モザイク１２のすべてのピクセル位置に広がる合成無彩色高周波数画像３０になる。
【００３５】
従って、得られた合成画像３０は、元のＲＧＢ画像１２の白黒高周波数バージョンである。最も便利なことには、高周波数画像３０は、元のＲＧＢモザイク画像１２での対応するピクセルのセット１３、１４、１５の位置と一致する合成画像３０での位置における３つの高周波数画像ピクセルのセット４３、４４、４５から構成される。図５から分かるように、３つのピクセル４３、４４、４５は異なる輝度値を持つ。
【００３６】
平滑化モノクロ画像３３、３４、３５は、低域通過フィルタリングと組み合わせた二次元内挿によって形成される（低域通過フィルタまたは平滑化フィルタを含む空間フィルタの例は、Gonzalez及びWoodsによる「Digital Image Processing」（Addison＆Wesley,pp189-201,1992）に記載されている。ここで、平滑化画像３３、３４、３５は、双一次内挿を前処理ステップとして用いて、３つの色値１６、１７、１８それぞれについて個別に形成される。そして、３つの平滑化画像３３、３４、３５はすべて、ＲＧＢモザイクパターン１２のすべての要素に対応する位置に広がる。
【００３７】
次に、色値１６、１７、１８の３つの低空間周波数画像ピクセルのセット３３、３４、３５のうちの１つまたは複数が以下のように処理され、最大３つの対応する色補正された低空間周波数画像ピクセル５３、５４、５５が生成される。図５は、元の３つの平滑化画像ピクセルのセット３３、３４、３５のすべてが処理され色補正が行われる一般的な場合を示す。色補正では、平滑化画像の実際の色を変更する必要はなく、通常は、最大３つの平滑化ピクセルのセットにおける強度値を補正である。
【００３８】
例えば、はじめに述べたように、画像中の１点における改良された緑色信号は、その点における赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）を重み付けして組み合わせたものから求められる。
【００３９】
Ｃｇ（Ｇ）＝ａＲ＋ｂＧ＋ｃＢ
ここで、Ｃｇ（ｍ）は値ｍの緑色ピクセルの補正値である。
【００４０】
画像のその点におけるすべての色を補正するには、３×３行列の乗算を用いることができる。
【００４１】
【数２】
【００４２】
色補正は３つの色値１６、１７、１８のすべてについて必要だが、簡潔のために、緑の色値１７についての一色のみの補正の詳細について以下に述べる。計算要件を低減するために、本発明は、完全な平滑化画像ピクセルのセット３３、３４、３５のサブセット６３、６４、６５に対してのみ色補正を実行することを提示する。
【００４３】
ここで、値Ｇ１〜Ｇ９で表される３×３ブロックの未補正の低空間周波数平滑化された緑色の画像ピクセルを考える。
【００４４】
【表２】
Ｇ１ Ｇ２ Ｇ３
Ｇ４ Ｇ５ Ｇ６
Ｇ７ Ｇ８ Ｇ９
対応する色補正された低空間周波数の緑色の値ｇ１〜ｇ９は、以下のように表すことができる。
【００４５】
【表３】
ｇｌ ｇ２ ｇ３
ｇ４ ｇ５ ｇ６
ｇ７ ｇ８ ｇ９
角にある値Ｇ１、Ｇ３、Ｇ７及びＧ９からなる平滑化画像ピクセルＧ１〜Ｇ９のサブセットが選択される。色補正計算は、これら４つの画像ピクセルに対してのみ行われ、他の画像ピクセルは以下のように内挿される。
【００４６】
【表４】
当然であるが、選択可能なサブセットは他にも多く考えられ、また選択されたサブセットにおいてではない補正された画像ピクセルを計算するためには他にも多くの内挿または外挿方式がある。しかし、選択された平滑化画像ピクセルが１つおきの行及び１つおきの列の両方からとられる本例では、要求される計算を大幅に節約するという優れた結果が得られる。
【００４８】
本明細書で述べる方法では、従来の色補正方法と比べて必要な計算がはるかに少ない。例えば、上記方法で必要な計算はおよそ１／４であり、検出可能な画質の低下はわずかかまたは全くない。
【００４９】
さらに、色補正は任意のカラーチャネルの雑音が平滑化される低空間周波数ピクセルに対して行われるため、色補正に際して色平面の間で雑音が混合されることがなく、または色補正された画像の雑音量が増大することがない。
【００５０】
色補正後、画像を以下のようにしてモザイク解除することができる。各高周波数ピクセル４３、４４、４５について、無彩色高周波数輝度値が３つの色補正された平滑化画像５３、５４、５５の対応する部分に加えられ（５０）、モザイク解除されたフルカラー画像２０が生成される。色値１６、１７、１８のうちの１つまたは２つが色補正を必要としない場合は、補正されない色値についての計算のこの段階において、元の未補正平滑化画像ピクセルのセット３３、３４、３５が対応する高周波数ピクセル４３、４４、４５と合成される。
【００５１】
この方法は、電子ハードウェアでの計算が比較的容易であるという利点を持ち、その一方色補正された画像の再構築された画質も優れている。
【００５２】
平滑化を行う前に個々の色平面を全解像度まで内挿して、その後に色補正のために平滑化したバージョンをサンプリングするよりも、モザイクパターンを空間的にフィルタリングして低空間解像度画像を生成するモザイクピクセル位置の数を低減することによって、必要な計算をさらに低減することが可能である。この結果、他の場合よりも低い空間周波数を持つ平滑化画像が生成される（平滑化の程度自体が、空間解像度の変化に適応するように低減されない限り）が、上述したように、高周波数を加えることで画像のディテールが再度取り入れられるので、情報コンテンツが最終的に大きく失われることはない。例えば図４に示す緑色ピクセル１４と赤色ピクセル１３の両方を持つ列５４（または行）における緑色ピクセルのような、緑色ピクセル１４のサブセットについてのみ、平滑化画像が計算されることが好ましい。ベイヤー・パターンについては、平滑化に必要な計算の１／４が必要となり、その一方画質は略一定に保たれる。
【００５３】
赤色ピクセル１３及び青色ピクセル１５については、初期の内挿段階を回避し、また未処理の赤色及び青色のピクセルだけから形成される画像に対する平滑化を行うことになる。
【００５４】
従って、各高空間周波数画像４４、４５、４６は、その色値の画像モザイクピクセル１６、１７、１８の輝度値と、同じ色値１６、１７、１８の平滑化モノクロ画像３３、３４、３５の対応する部分の輝度値の間の差２６、２７、２８から、色値１６、１７、１８について形成される。
【００５５】
言い換えると、各モザイクピクセルの高周波数成分は、同じ色値についての平滑化画像バージョンの対応する位置からモザイク値を差し引くことによって与えられる。
【００５６】
そして、各高空間周波数画像３０を、その色値の色補正された平滑化モノクロ画像５３、５４、５５の対応する部分に加えることによって、色補正されモザイク解除されたフルカラー画像２０が各色値１６、１７、１８について形成される。
【００５７】
このプロセスはハードウェアで容易に実現することができ、図６のブロック図と図７のフローチャートに示されている。
【００５８】
シャッタ解放機構８は、ユーザによって起動されると、デジタル信号プロセッサ（ＤＳＰ）を含むマイクロプロセッサ・ユニット７２に信号７１を送る。マイクロプロセッサは初期化信号７３をタイミング発生器７４に送り、これによってタイミング発生器７４は、トリガ信号７５を電子画像センサユニット７６に送る。
【００５９】
センサ７６は、検出素子（典型的にフォトゲート（photogate）またはフォトダイオード構造）のアレイからなる撮像領域７７とシリアル読み出しレジスタ７８から構成される。シリアル読み出しレジスタ７８では、増幅器８０を介してアナログ信号７９が生成される。この信号７９は、センサユニット７６がトリガ信号７５を受信したときに生成される。
【００６０】
増幅されたアナログ信号７９は、Ａ／Ｄユニット８２によってデジタル信号８１に変換される。得られた未処理のデジタル画像データは、揮発性メモリ８４に一時的に格納される。
【００６１】
本発明による画像処理はマイクロプロセッサ・ユニット７２によって実行することができる。マイクロプロセッサは、ハードウェアの専用ブロックの形態で追加のＤＳＰ機能を含み、特定の機能を実行することができる。または、別のより汎用的なＤＳＰコプロセッサを含むこともできる。
【００６２】
処理自体は、図７のフローチャートで説明するステップに従って実行することができる。これらのステップには前処理段階９２が含まれる。事前処理段階９２には、一般にセンサのＯＥＣＦ（光電子変換機能）の補正と照明のばらつきを補償するホワイトバランシングの補正が含まれる。上述の色補正とモザイク解除段階９４の後に、後続する後処理段階９６には、露出補正（前処理段階で行うこともできる）とｓＲＧＢ等の標準の色空間への変換（IEC61966-2-1に記載のように）が含まれる。最後に、ユビキタスＪＰＥＧ方式等の標準的な画像圧縮方式を使用して、再構築されたＲＧＢ画像データを圧縮して（９８）、長期メモリ８８に格納することができる。
【００６３】
さらに、表示装置９０を設計に組み込んでもよい。画像をライブで表示して、さらなる復元処理段階１００を必要とする長期メモリからのビューファインディングまたはレビューを容易に行うことができる。
【００６４】
本発明の好ましい実施形態をベイヤー・パターンの画像ピクセルを参照して説明してきたが、本発明は、すべての行及び／または列が少なくとも二色の画像ピクセルを含むわけではない場合にも適用することができる。例えば、モザイクの中には、赤／青の行または列でインタリーブされた全て緑の行及び列を持つものがある。本発明は、このような画像モザイクにも等しく適用することができる。
【００６５】
未処理の画像フレーム全体を揮発性メモリに格納することは必ずしも必要ではない。画像処理は実行中に（on the fly）行うことができるため、必要となるのは画像パイプラインの実行に必要な量のメモリだけである。従って、最初の数行の画像データがセンサからメモリに読み出された後に、画像の開始のために圧縮画像データを生成し、これを長期メモリに格納することが可能である。これは、すべてのプロセスが本質的に局所的であり、画像の限られた領域に対してのみ作用するということから生ずる。
【００６６】
言い換えると、プロセスの各段階で構築される「画像」は画像全体に広がるデータの完全なセットであるが、実用的には、これにより、メモリ及び可能なスループットに関するコストが付加される。従って、プロセスの各段階で使用される「画像」は、一般に局所的に動作するプロセスを使用して別個に作成される。制限内で、隣接するピクセルから単一ピクセルについてのすべての計算を実行することができる。
【００６７】
本発明は、完全なＲＧＢ画像を再構築する間、すべてのセンサ素子からの画像のディテールを維持する。本発明は、無彩色高周波数画像と低周波数の赤、緑及び青（または他の原色の組み合わせ）の画像との合成に基づいている任意の方式に組み込まれることができる。本発明は、加算（additive）再構築方式に組み込まれるのが好ましく、これによって無彩色高周波数が各低周波数カラーチャネルに加えられる。
【００６８】
色を補正し、画像モザイクデータからフルカラー画像を再構築する上記方法は、演算処理上魅力的であり、モザイクの３つの色値すべてを利用して高解像度カラー画像を生成する。この方法はまた、色補正プロセスにおける元のカラーチャネルの雑音の影響を大幅に低減する。
【００６９】
色補正計算では、低周波数画像の１つおきのピクセル行及び列について色補正が計算され、その結果が他の近隣ピクセルへと内挿されるとき、速度と品質の間で好ましい折り合いが得られる。
【００７０】
本発明は、カラー・モザイク・センサからの画像データをモザイク解除するという状況で特に有用であるが、色補正または色空間変換が必要な他の状況においても（補正すべき画像がすでに各ピクセルについて赤、緑及び青の値を有する場合ですらも）、適用することが可能である。例えば、印刷のために異なる色空間にマッピングされるべき画像を、３つの低周波数色区分と１つまたは複数の高周波数成分に変換することができる。低周波数区分は低減された空間解像度で色補正され、続いて高周波成分と再合成される前に内挿して元の解像度に戻すことができる。このように、計算量が低減されかつ潜在的に画質が改善された変換を実行することができる。
【００７１】
さらに、上述の例では画像データは画像モザイクのものであったが、本発明は、元のカラー画像で各位置が重なっている場合や、複数の色値のピクセルが同時発生する場合にも適用することができる。このような画像は、３つのＣＣＤセンサを有する撮像システムによって、フラットベッド・カラー・スキャナによって、または別の登録されたＲＧＢ画像のセットからカラー画像を形成する他の撮像システムによって生成することができる。
【００７２】
本発明は、赤、緑及び青の各カラーチャネルにおけるフルセンサ解像度で高品質の画像を色補正し再構築する、画像雑音に対する感度を低減した効率的な方法を提供する。
【００７３】
本発明には、例として以下の実施形態が含まれる。
【００７４】
（１）少なくとも２つの画像ピクセルのセットから構成されるカラー画像の色を補正する画像処理方法であって、前記セットはそれぞれ別個の色値を有し、前記ピクセルは前記カラー画像におけるそのピクセルの色値の強度を表す輝度値を有しており、
前記方法は、
ｉ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップと、
ｉｉ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択するステップと、
ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成するステップであって、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含む、ステップと、
ｉｖ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成するステップと、
ｖ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成するステップと、
を含む画像処理方法。
【００７５】
（２）前記ステップｖは、前記元の画像ピクセルから高空間周波数輝度画像を生成するステップと、前記高空間周波数輝度画像を前記補正されたまたは未補正の平滑化画像ピクセルのセットと合成して、前記補正されたフルカラー画像を形成するステップを含む、上記(１)に記載の画像処理方法。
【００７６】
（３）前記カラー画像は画像モザイクであり、各色値についての前記画像モザイクのピクセル位置にのみ広がる高空間周波数輝度画像が各色値について生成され、前記高空間周波数輝度画像は、前記対応する補正された平滑化画像ピクセルのセットと、またはこのような補正されたセットがない場合には前記対応する平滑化画像ピクセルのセットと合成される、上記(２)に記載の方法。
【００７７】
（４）複数の画像ピクセルから構成されるカラー画像の色を補正する画像処理方法であって、各画像ピクセルは少なくとも２つの色値のうちの一方と、前記画像におけるそのピクセルの前記色値の強度を表す輝度値とを有しており、
前記方法は、
Ｉ）各色値について、平滑化された画像ピクセルからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップと、
ＩＩ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成するステップであって、前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含む、ステップと、
ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝度画像を生成するステップと、
ＩＶ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成するステップと、
を含む画像処理方法。
【００７８】
（５）Ｖ）前記ステップＩＩにおいて、前記色補正は低空間周波数画像ピクセルのサブセットにのみ適用され、
ＶＩ）前記ステップＩＶの前に、前記補正された平滑化画像ピクセルのサブセットから内挿及び／または外挿を行うことによって前記補正された低空間周波数モノクロ画像が完成されて、前記元の補正された平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成する、上記(４)に記載の画像処理方法。
【００７９】
（６）前記カラー画像は画像モザイクであり、各色値のピクセルは異なる色値のピクセルを持つ前記画像モザイクの端から端まで行及び列でインタリーブされて、少なくともいくつかの行及び／または列が少なくとも２色の画像ピクセルを含むように前記画像モザイクを形成する、上記(１)ないし(５)のいずれかに記載の画像処理方法。
【００８０】
（７）１つの色値のピクセルはその他の色値のピクセルと比較して多数であり、各行及び各列は前記多数の色とその他の色のうち１つの色の両方の画像ピクセルを含む、上記(６)に記載の画像処理方法。
【００８１】
（８）前記平滑化画像ピクセルは１つおきの行及び１つおきの列の両方にある画像ピクセルからなる、上記(７)に記載の画像処理方法。
【００８２】
（９）前記低周波数モノクロ画像は、前記元のカラー画像のすべてのピクセル位置に広がる、上記(１)ないし(８)のいずれかに記載の画像処理方法。
【００８３】
（１０）前記色値は赤、緑及び青を含み、前記画像モザイクでは緑ピクセルが多数である、上記(１)ないし(９)のいずれかに記載の画像処理方法。
【００８４】
（１１）プロセッサ、ソフトウェア及びメモリを備えるカラー画像の補正を行う画像処理装置であって、前記メモリは少なくとも２つの画像ピクセルのセットを有するカラー画像を表す画像データを格納し、前記セットはそれぞれ別個の色値を有し、前記ピクセルは前記カラー画像におけるそのピクセルの色値の強度を表す輝度値を有しており、
前記プロセッサ、ソフトウェア及びメモリは、
ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成し、
ｂ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択し、
ｃ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成し、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含み、
ｄ）前記補正された平滑化画像ピクセルから内挿及び／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成し、
ｅ）前記補正された平滑化画像ピクセルのセットを使用して補正されたカラー画像を生成するように動作する、画像処理装置。
【００８５】
（１２）プロセッサ、ソフトウェア及びメモリを備えるカラー画像の補正を行う画像処理装置であって、前記メモリは複数の画像ピクセルを表す画像データを格納し、前記画像ピクセルは少なくとも２つの色値のうちの一方と、前記画像におけるそのピクセルの色値の強度を表す輝度値とを有しており、
前記プロセッサ、ソフトウェア及びメモリは、
Ａ）各色値について、平滑化された画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成し、
Ｂ）１つまたは複数の色値について色補正関数を前記平滑化画像ピクセルに適用して、１つまたは複数の対応する補正された平滑化画像を生成し、前記関数は、各色値について、１つまたは複数のその他の色値を有する対応する平滑化画像ピクセルからの寄与を含み、
Ｃ）前記画像から１つまたは複数の高空間周波数輝度画像を生成し、
Ｄ）前記高空間周波数輝度画像を前記補正された低空間周波数モノクロ画像と合成してフルカラー画像を形成するように動作する、画像処理装置。
【図面の簡単な説明】
【図１】赤、緑、及び青（ＲＧＢ）の撮像素子を有するカラー・センサ・アレイを備える従来の電子カメラの内部構成要素のいくつかを概略的に示す図である。
【図２】図１に示したようなカラー・センサ・アレイで撮像される白黒テキストの例を示す図である。
【図３】ＲＧＢモザイク画像として取り込まれたテキストを示す図である。
【図４】図３の画像モザイクにおける赤色ピクセル、緑色ピクセル及び青色ピクセルの配列を示す図である。
【図５】赤色ピクセル、緑色ピクセル及び青色ピクセルが本発明による方法でどのように処理され各色値について１つの色補正されたの中間平滑化画像を生じるか、及び補正された画像をどのように使用して、モザイク解除され色補正されたフルカラー画像を生成するかを概略的に示す図である。
【図６】プロセッサ、ソフトウェア及びメモリを備えた、画像モザイクをモザイク解除してフルカラー画像を形成する本発明による装置の回路略図である。
【図７】画像モザイクをモザイク解除してフルカラー画像をもたらす本発明による方法の好ましい実施形態を示すフローチャートである。
Claims (8)
- 少なくとも２つの画像ピクセルのセットから構成されるカラー画像の色を補正する画像処理方法であって、前記セットはそれぞれ別個の色値を有し、前記ピクセルは前記カラー画像におけるそのピクセルの色値の強度を表す輝度値を有しており、
前記方法は、
ｉ）各色値について、平滑化画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成するステップと、
ｉｉ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択するステップと、
ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成するステップであって、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含む、ステップと、
ｉｖ）前記補正された平滑化画像ピクセルから内挿および／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成するステップと、
ｖ）元の画像ピクセルから生成された高空間周波数輝度画像を、前記補正された平滑化画像ピクセルのセットと合成して、前記補正されたフルカラー画像を形成するステップと、
を含む画像処理方法。 - 前記カラー画像は画像モザイクであり、各色値についての前記画像モザイクのピクセル位置にのみ広がる高空間周波数輝度画像が各色値について生成され、前記高空間周波数輝度画像は、前記対応する補正された平滑化画像ピクセルのセットと、またはこのような補正されたセットがない場合には前記対応する平滑化画像ピクセルのセットと合成される、請求項１に記載の方法。
- 前記カラー画像は画像モザイクであり、各色値のピクセルは異なる色値のピクセルを持つ前記画像モザイクの端から端まで行及び列でインタリーブされて、少なくともいくつかの行および／または列が少なくとも２色の画像ピクセルを含むように前記画像モザイクを形成する、請求項１または２に記載の画像処理方法。
- １つの色値のピクセルはその他の色値のピクセルと比較して多数であり、各行および各列は前記多数の色とその他の色のうち１つの色の両方の画像ピクセルを含む、請求項３に記載の画像処理方法。
- 前記平滑化画像ピクセルは１つおきの行および１つおきの列の両方にある画像ピクセルからなる、請求項４に記載の画像処理方法。
- 前記低周波数モノクロ画像は、前記元のカラー画像のすべてのピクセル位置に広がる、請求項１から５のいずれかに記載の画像処理方法。
- 前記色値は赤、緑及び青を含み、前記画像モザイクでは緑ピクセルが多数である、請求項１から６のいずれかに記載の画像処理方法。
- プロセッサ、ソフトウェアおよびメモリを備えるカラー画像の補正を行う画像処理装置であって、前記メモリは少なくとも２つの画像ピクセルのセットを有するカラー画像を表す画像データを格納し、前記セットはそれぞれ別個の色値を有し、前記ピクセルは前記カラー画像におけるそのピクセルの色値の強度を表す輝度値を有しており、
前記プロセッサ、ソフトウェア及びメモリは、
ａ）各色値について、平滑化画像ピクセルのセットからなる低空間周波数モノクロ画像をその色値のピクセルから生成し、
ｂ）少なくとも１つの色値について、前記平滑化画像ピクセルのサブセットを選択し、
ｃ）前記平滑化画像ピクセルのサブセットに色補正関数を適用して、１つまたは複数の対応する補正された平滑化画像ピクセルのサブセットを生成し、前記関数は、各色値について、平滑化画像ピクセルの１つまたは複数の他のセットにおける対応する平滑化画像ピクセルからの寄与を含み、
ｄ）前記補正された平滑化画像ピクセルから内挿および／または外挿を行うことによって、１つまたは複数の補正された平滑化画像ピクセルのセットを完成させて、元の平滑化画像ピクセルのサブセットにはない補正された平滑化画像ピクセルを同様に生成し、
ｅ）元の画像ピクセルから生成された高空間周波数輝度画像を、前記補正された平滑化画像ピクセルのセットと合成して、補正されたカラー画像を生成するように動作する、画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB0118456A GB2378077A (en) | 2001-07-27 | 2001-07-27 | Electronic image colour plane reconstruction |
| GB0118456.3 | 2001-07-27 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003108999A JP2003108999A (ja) | 2003-04-11 |
| JP2003108999A5 JP2003108999A5 (ja) | 2005-09-08 |
| JP4142360B2 true JP4142360B2 (ja) | 2008-09-03 |
Family
ID=9919389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002207634A Expired - Lifetime JP4142360B2 (ja) | 2001-07-27 | 2002-07-17 | 電子カラー画像の色を補正する画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7072509B2 (ja) |
| JP (1) | JP4142360B2 (ja) |
| GB (2) | GB2408888B (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| US7082218B2 (en) * | 2001-07-27 | 2006-07-25 | Hewlett-Packard Development Company, L.P. | Color correction of images |
| GB2408888B (en) | 2001-07-27 | 2006-02-22 | Hewlett Packard Co | Electronic image colour plane reconstruction |
| US6992707B2 (en) * | 2002-03-06 | 2006-01-31 | Hewlett-Packard Development Company, L.P. | Delayed encoding based joint video and still image pipeline with still burst mode |
| JP2003274264A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 撮像装置及び映像信号生成方法 |
| JP4133029B2 (ja) * | 2002-06-25 | 2008-08-13 | 富士フイルム株式会社 | 画像処理方法および装置 |
| JP4115220B2 (ja) * | 2002-09-19 | 2008-07-09 | キヤノン株式会社 | 撮像装置 |
| TWI225362B (en) * | 2003-06-19 | 2004-12-11 | Benq Corp | Color correcting device and method for image forming apparatus |
| US20060023217A1 (en) * | 2004-05-28 | 2006-02-02 | Chemimage Corporation | Method and apparatus for producing a mosaic image |
| GB2415565B (en) * | 2004-06-24 | 2007-10-31 | Hewlett Packard Development Co | Image processing |
| US7656441B2 (en) * | 2005-01-05 | 2010-02-02 | Eastman Kodak Company | Hue correction for electronic imagers |
| JP4869653B2 (ja) * | 2005-08-03 | 2012-02-08 | オリンパス株式会社 | 画像処理装置 |
| IL173418A (en) * | 2006-01-29 | 2013-10-31 | Rafael Advanced Defense Sys | Correction of unevenness of characters produced by staring detectors |
| US7609307B2 (en) * | 2006-09-13 | 2009-10-27 | National Chiao Tung University | Heterogeneity-projection hard-decision interpolation method for color reproduction |
| KR101493694B1 (ko) * | 2008-08-01 | 2015-02-16 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체 |
| KR101538655B1 (ko) * | 2008-11-21 | 2015-07-22 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
| EP2700235B1 (en) | 2011-04-19 | 2018-03-21 | Dolby Laboratories Licensing Corporation | High luminance projection displays and associated methods |
| JP5242750B2 (ja) * | 2011-09-09 | 2013-07-24 | オリンパス株式会社 | 画像処理装置 |
| JP6083678B2 (ja) * | 2013-12-25 | 2017-02-22 | パナソニックＩｐマネジメント株式会社 | 画像処理装置 |
| US20150363916A1 (en) * | 2014-06-12 | 2015-12-17 | Samsung Electronics Co., Ltd. | Low power demosaic with intergrated chromatic aliasing repair |
| TWI600324B (zh) * | 2014-06-23 | 2017-09-21 | Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels | |
| DE102016112968B4 (de) * | 2016-07-14 | 2018-06-14 | Basler Ag | Bestimmung von Farbwerten für Pixel an Zwischenpositionen |
| US11423515B2 (en) * | 2019-11-06 | 2022-08-23 | Canon Kabushiki Kaisha | Image processing apparatus |
| JP7437921B2 (ja) | 2019-11-22 | 2024-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5189511A (en) * | 1990-03-19 | 1993-02-23 | Eastman Kodak Company | Method and apparatus for improving the color rendition of hardcopy images from electronic cameras |
| DE19509345A1 (de) * | 1995-03-15 | 1996-09-19 | Ver Glaswerke Gmbh | Verfahren zum Erkennen und Bewerten von Fehlern in teilreflektierenden Oberflächenschichten |
| JP3830598B2 (ja) * | 1996-12-19 | 2006-10-04 | 大日本印刷株式会社 | 色調修正方法 |
| US5965875A (en) | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
| EP1011262A1 (en) * | 1998-12-10 | 2000-06-21 | Interuniversitair Micro-Elektronica Centrum Vzw | Method and device for determining corrected colour aspects of a pixel in an imaging device |
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| US6724945B1 (en) * | 2000-05-24 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | Correcting defect pixels in a digital image |
| GB2408888B (en) | 2001-07-27 | 2006-02-22 | Hewlett Packard Co | Electronic image colour plane reconstruction |
| US6982752B2 (en) | 2001-08-23 | 2006-01-03 | Motorola, Inc | Circuit and method for correcting a digital color sampled signal |
| US6642932B2 (en) * | 2001-09-13 | 2003-11-04 | The Hong Kong University Of Science And Technology | Method and system for interpolation in color images |
-
2001
- 2001-07-27 GB GB0428147A patent/GB2408888B/en not_active Expired - Fee Related
- 2001-07-27 GB GB0118456A patent/GB2378077A/en not_active Withdrawn
-
2002
- 2002-04-30 US US10/134,491 patent/US7072509B2/en not_active Expired - Lifetime
- 2002-07-17 JP JP2002207634A patent/JP4142360B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7072509B2 (en) | 2006-07-04 |
| JP2003108999A (ja) | 2003-04-11 |
| GB0118456D0 (en) | 2001-09-19 |
| GB2408888B (en) | 2006-02-22 |
| GB2408888A (en) | 2005-06-08 |
| US20030021474A1 (en) | 2003-01-30 |
| GB0428147D0 (en) | 2005-01-26 |
| GB2378077A (en) | 2003-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4142360B2 (ja) | 電子カラー画像の色を補正する画像処理方法 | |
| US7082218B2 (en) | Color correction of images | |
| US7006686B2 (en) | Image mosaic data reconstruction | |
| JP5045421B2 (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
| JP3871072B2 (ja) | 適応カラー補間単一センサカラー電子カメラ | |
| JP7349806B2 (ja) | 画像処理方法及びフィルタアレイ | |
| US20030086606A1 (en) | Electronic image colour plane reconstruction | |
| US7065246B2 (en) | Image processing apparatus | |
| US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
| JP2004343685A (ja) | 重み付け勾配ベースの色補正された補間 | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| CN101375589A (zh) | 用于过滤图像信息的自适应图像过滤器 | |
| US8086032B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
| JPH10243408A (ja) | 撮像装置 | |
| US20070292022A1 (en) | Weighted gradient based and color corrected interpolation | |
| US7071978B2 (en) | Image mosaic data reconstruction | |
| JP4936686B2 (ja) | 画像処理 | |
| KR20080106585A (ko) | 컬러 비디오 신호 생성 방법 및 장치 | |
| US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
| JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
| US20070035636A1 (en) | Method and system of eliminating color noises caused by an interpolation | |
| GB2456492A (en) | Image processing method | |
| WO1994018801A1 (en) | Color wide dynamic range camera using a charge coupled device with mosaic filter | |
| WO2007082289A2 (en) | Color filter array with neutral elements and color image formation | |
| JP2004064227A (ja) | 映像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080109 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080612 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4142360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |