JP3793121B2 - 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体 - Google Patents
撮像装置及び画像信号処理方法及びプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP3793121B2 JP3793121B2 JP2002195787A JP2002195787A JP3793121B2 JP 3793121 B2 JP3793121 B2 JP 3793121B2 JP 2002195787 A JP2002195787 A JP 2002195787A JP 2002195787 A JP2002195787 A JP 2002195787A JP 3793121 B2 JP3793121 B2 JP 3793121B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- color
- lookup table
- image
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元ルックアップテーブル演算処理部を有する画像処理装置及び方法及びプログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、デジタルカメラなどの撮像装置によって撮像された画像の色再現を向上させるため、ＣＣＤからＡ／Ｄ変換して得られる画像データを最終出力画像へと変換するための画像処理演算がより複雑化している。例えば、この画像処理演算として、人間の色知覚特性である色の順応性に対応する色変換処理、および、人間が好ましいと感じる記憶色に変換する色変換処理などがそれである。
【０００３】
【発明が解決しようとする課題】
出願人は、上記の画像処理に３次元ルックアップテーブル処理を用いた処理方法を開発している。しかしながら、上記の色の順応性に対応する色変換処理においては、撮影光源（色温度）の変化に応じて色再現を変化させるために、撮影光源（色温度）に対応する光源に応じた数の３次元ルックアップテーブルデータを保有する必要があった。しかしながら、この３次元ルックアップテーブルデータの容量が非常に大きいため、３次元ルックアップテーブルデータを複数保有するためには、撮像装置内部のメモリを増やさなければならず、コスト的にみて、光源の数に応じた数だけの３次元ルックアップテーブルデータを保有するということは現実的ではなかった。また、最低限の光源の色温度に対応するだけの数の３次元ルックアップテーブルデータを保有し、その３次元ルックアップテーブルを用いて撮影時の光源の色温度に応じて補間演算して、その撮影時の光源色温度に応じた３次元ルックアップテーブルデータを作成する方法もあるが、３次元ルックアップテーブルの数が少くなればなるほど正確な色変換ができず、また、数も最低でも２つ必要となるため、メモリ容量もその分増やさなければならない。
【０００４】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、３次元ルックアップテーブルに要するメモリ容量を削減することである。
【０００５】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像素子と、前記撮像素子出力をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から得られるデジタル画像データを画像処理する画像処理部と、前記画像処理部において画像処理することにより前記デジタル画像データを出力画像データに変換するフォーマット変換部と、前記出力画像データを記録媒体に記録する画像記録部を有する撮像装置において、
前記画像処理部は、
前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理部、
前記ホワイトバランス処理部によって求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理部、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理部を有し、
前記画像処理部は、前記３次元ルックアップテーブル演算処理部の前に、前記ホワイトバランス処理部、前記マトリクス演算処理部の順に処理を実行することによって、前記３次元ルックアップテーブル演算処理部による色変換の実行の前に前記ホワイトバランス処理部と前記マトリクス演算部で色温度に基づいた色順応性に合わせた色変換を行い、後段の前記３次元ルックアップテーブル演算処理部において特定色の色変換処理を行うことを特徴とする。
【０００６】
また、本発明に係わる画像信号処理方法は、被写体の像を撮像した撮像素子の出力をＡ／Ｄ変換して得られるデジタル画像データを画像処理する画像処理演算工程と、を有し、前記画像処理演算工程において画像処理演算することで出力画像データに変換する画像信号処理方法において、
前記画像処理演算工程は、前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理工程と、
前記ホワイトバランス処理工程において求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理工程と、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理工程とを有し、
前記画像処理演算工程は、前記３次元ルックアップテーブル演算処理工程の前に、前記ホワイトバランス処理工程、前記マトリクス演算処理工程を順に処理することによって、前記３次元ルックアップテーブル演算処理工程の前段に配置された前記ホワイトバランス処理工程と前記マトリクス演算工程で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行い、後段の前記３次元ルックアップテーブル演算処理工程において特定色の色変換処理を行うことを特徴とする。
【００１３】
また、本発明に係わるプログラムは、上記の画像信号処理方法をコンピュータに実行させることを特徴とする。
【００１４】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。
【００１６】
図１は本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。
【００１７】
撮像部１０１にはレンズ系、絞り、シャッターが含まれ、被写体の像をＣＣＤ１０２の撮像面に結像する。ＣＣＤ１０２上に結像された被写体像は光電変換されてアナログ信号となり、Ａ／Ｄ変換部１０３へと送られ、デジタル画像信号へと変換される。Ａ／Ｄ変換部１０３で作成されたデジタル画像信号は、画像処理部１０４へと送られ、出力画像信号へと変換される。さらに、出力画像信号は、フォーマット変換部１０５においてＪＰＥＧフォーマット等へのフォーマット変換が行われ、画像記録部１０６においてて撮像装置内のメモリ、もしくはコンパクトフラッシュメモリ（登録商標）等の外部メモリへと書き込まれる。以上が撮像装置内のデータの簡単な流れである。
【００１８】
ここで、さらに画像処理部１０４について詳しく説明する。
【００１９】
図２は図１の画像処理部１０４の中に含まれる処理部を示すブロック図である。以下に図２に示すブロック図を用いて本実施形態の撮像装置における画像処理の流れを説明する。
【００２０】
図１のＡ／Ｄ変換部１０３より出力されるデジタル画像信号は図２のホワイトバランス処理部２０１へと送られ、デジタル画像信号から光源の色温度を検出し、画像中の白が白信号となるようなホワイトバランス係数が求められる。そして、求められたホワイトバランス係数によってデジタル画像信号のゲインが調整される。ホワイトバランス処理されたデジタル画像信号は、エッジ強調処理部２０７、及び補間処理部２０２へと送られる。補間処理部２０２では図３のような単板ＣＣＤの画素配列から、それぞれＲ、Ｇ１、Ｇ２、Ｂ位置の画素それぞれを用いて、補間演算により図４のようなＲ、Ｇ１、Ｇ２、Ｂの面データを作成する。
【００２１】
ここで、人間の色知覚特性である色の順応性は色温度によって異なることが知られている。例えば、夕焼けや白熱灯下などでは人間の目は順応しきれなくて白い被写体を白と認識せず、オレンジ色っぽく見える。マトリクス演算部２０３では、このような人間の目の色順応性に合わせて（光源の色温度変化による色再現性の変化に対応するため）、ホワイトバランス処理部２０１において求められた光源の色温度から、マトリクス演算に用いるマトリクス係数を決定し、マトリクス演算が行われる。マトリクス演算は式(１)を用いて画素ごとに行われる。
【００２２】
【数１】
以下にマトリクス係数の求め方について簡単に説明する。
【００２３】
マトリクス演算部にはあらかじめ色温度に応じたマトリクス係数、光源色温度３０００Ｋ以下用のマトリクス係数MTX3K、４０００Ｋ用マトリクスMTX4K、５０００Ｋ用マトリクスMTX5K、６０００Ｋ用マトリクスMTX6K、７０００Ｋ以上用MTX7Kが用意されている。ここでは光源の色温度が５３００Ｋであった場合のマトリクス係数MTXを求める。まず光源の色温度の上下のマトリクス係数が選ばれる。ここでは５０００Ｋ用マトリクスMTX5K、６０００Ｋ用マトリクスMTX6Kとなる。これらのマトリクス係数を用いて光源に応じたマトリクス係数は式(２)によって求められる。
【００２４】
ただし、光源の色温度が３０００Ｋ以下であった場合は、
MTX＝MTX3K …式(３)
また、光源の色温度が７０００Ｋ以上であった場合は、
MTX＝MTX7K …式(４)
となる。
【００２５】
マトリクス演算処理されたデジタル画像信号はガンマ処理部２０４へと送られる。ガンマ処理部２０４では以下の式を用いてデータ変換する。ただしGammaTableは１次元ルックアップテーブルである。
【００２６】
Rg = GammaTable[Rm] …式(５)
Gg = GammaTable[Gm] …式(６)
Bg = GammaTable[Bm] …式(７)
ガンマ処理されたデジタル画像信号は３次元ルックアップテーブル演算処理部２０５へと送られる。
【００２７】
以下に３次元ルックアップテーブル演算処理について説明する。本実施形態における３次元ルックアップテーブル演算処理は、ＲＧＢの３次元データをマトリクス演算されたＲＧＢ信号から記憶色再現を考慮したＲＧＢ信号へと変換するものである。すなわち、人間が好ましいと記憶している色、例えば、青空は青から青緑へ、芝生は黄緑から緑へ、そして、肌色はピンクよりに再現するようにＲＧＢ信号を変換する。本実施形態においては、３次元ルックアップテーブルの容量を減らすため、Ｒ、Ｇ、Ｂ信号の最小値から最大値までを９分割した、９×９×９の７２９の３次元代表格子点を用意し、代表格子点以外のＲＧＢ信号は補間により求める。補間演算は以下の式により行われる。そして、予め色温度に応じてマトリクス演算されているため、色温度ごとに３次元ルックアップテーブルを持たせる必要がない。
【００２８】
ただし入力信号ＲＧＢをR、G、B、そのときの出力ＲＧＢ信号をRout(R,G,B)、Gout(R,G,B)、Bout(R,G,B)、入力信号R、G、Bそれぞれの信号値より小さく、かつ一番近い値の代表格子点の信号をRi、Gi、Bi、代表格子点出力信号をRout(Ri,Gi,Bi)、Gout(Ri,Gi,Bi)、Bout(Ri,Gi,Bi)、代表格子点のステップ幅をStepとする。
【００２９】
以上のような演算を用いて入力ＲＧＢ信号（Rg、Gg、Bg）を出力ＲＧＢ信号（Rt、Gt、Bt）に変換する。
【００３０】
３次元ルックアップテーブル演算処理されたデジタル画像信号はエッジ合成処理部２０６へと送られる。
【００３１】
エッジ強調処理部２０７では、ホワイトバランス処理部２０１から送られてくるホワイトバランス処理されたデジタル画像信号を元にエッジ検出し、エッジ信号のみが抽出される。抽出されたエッジ信号はゲインアップにより増幅されてエッジ合成処理部２０６へと送られる。エッジ合成処理部２０６では３次元ルックアップテーブル演算処理部２０５から送られてきたRt、Gt、Bt信号にエッジ信号を加える。
【００３２】
本実施形態においてマトリクス演算処理部にあらかじめ用意されているマトリクス係数の組は３０００Ｋから７０００Ｋまで１０００Ｋ毎に用意されているものを使用したが、この色温度および、あらかじめ用意するマトリクス係数の数はこれに限られるものではなく、より高精度に光源の色温度の変化による色再現性の変化に対応するのであれば、マトリクス係数の組の数を増やしてもよい。たとえマトリクス係数の組を増やしたとしても、１組のマトリクス係数のデータ量が少ないため、メモリの増大には必ずしもつながらない。
【００３３】
また、３次元ルックアップテーブル演算処理部２０５におけるテーブルは９×９×９の格子点を用いたが、これに限られるものではなく、撮像装置のメモリ容量および必要とされる色変換精度に応じて変化させることも可能である。また近傍の格子点からの補間演算も上記の式(８),(９),(１０)に限られるものではなく、四面体補間等の補間演算であれば、どのような補間演算であってもかまわない。
【００３４】
また本実施形態においてはガンマ処理を３次元ルックアップテーブル演算処理の前に行っているが、この順番はこれに限られるものではなく、演算精度と撮像装置のバッファメモリの関係により、前後どちらに設定してもよい。例えばバッファメモリの容量を少なくするためにはガンマ処理を前にして、デジタル画像信号のビット数をガンマ処理により落として、３次元ルックアップテーブル演算処理するようにすれば、３次元ルックアップテーブルの格子点データのビット数も減らすことが可能になり、３次元ルックアップテーブルデータの容量を減らすことが可能になる。また逆に、先にビット数の多い状態で３次元ルックアップテーブル演算処理を行えば演算精度を落とさずに高精度に変換演算が可能になる。
【００３５】
以上説明したように、上記の実施形態によれば、ＣＣＤ１０２からＡ／Ｄ変換して得られるデジタル画像データ（ＲＧＢ信号）は、３次元ルックアップテーブル演算処理部２０５よりも先にマトリクス演算処理部２０３により処理されているため、色温度ごとに３次元ルックアップテーブルを有する必要がなく、３次元ルックアップテーブルデータを１つのテーブルのみで記憶色の変換を行うことが可能となる。
【００３６】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、デジタル画像信号に対して、３次元ルックアップテーブルによる色変換処理の前に、ホワイトバランス処理とホワイトバランス処理で求められた光源の色温度に応じてマトリクス演算係数を変化させるマトリクス演算を順に処理することによって、３次元ルックアップテーブル演算の前段に配置されたホワイトバランス処理とマトリクス演算で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行うことになるため、後段に配置された３次元ルックアップテーブル演算処理では、色温度に依存しない特定色の局所的な色変換を適切に行うことが可能になる。さらに、予め色温度に応じて用意されているマトリクス係数によってマトリクス演算処理することが可能になるため、容量の大きい３次元ルックアップテーブルを色温度に応じて複数用意する必要がなくなり、回路規模及びメモリ容量を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】Ａ／Ｄ変換後のデジタル信号の概念図である。
【図４】補間処理後のデジタル画像信号の概念図である。
【発明の属する技術分野】
本発明は、３次元ルックアップテーブル演算処理部を有する画像処理装置及び方法及びプログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、デジタルカメラなどの撮像装置によって撮像された画像の色再現を向上させるため、ＣＣＤからＡ／Ｄ変換して得られる画像データを最終出力画像へと変換するための画像処理演算がより複雑化している。例えば、この画像処理演算として、人間の色知覚特性である色の順応性に対応する色変換処理、および、人間が好ましいと感じる記憶色に変換する色変換処理などがそれである。
【０００３】
【発明が解決しようとする課題】
出願人は、上記の画像処理に３次元ルックアップテーブル処理を用いた処理方法を開発している。しかしながら、上記の色の順応性に対応する色変換処理においては、撮影光源（色温度）の変化に応じて色再現を変化させるために、撮影光源（色温度）に対応する光源に応じた数の３次元ルックアップテーブルデータを保有する必要があった。しかしながら、この３次元ルックアップテーブルデータの容量が非常に大きいため、３次元ルックアップテーブルデータを複数保有するためには、撮像装置内部のメモリを増やさなければならず、コスト的にみて、光源の数に応じた数だけの３次元ルックアップテーブルデータを保有するということは現実的ではなかった。また、最低限の光源の色温度に対応するだけの数の３次元ルックアップテーブルデータを保有し、その３次元ルックアップテーブルを用いて撮影時の光源の色温度に応じて補間演算して、その撮影時の光源色温度に応じた３次元ルックアップテーブルデータを作成する方法もあるが、３次元ルックアップテーブルの数が少くなればなるほど正確な色変換ができず、また、数も最低でも２つ必要となるため、メモリ容量もその分増やさなければならない。
【０００４】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、３次元ルックアップテーブルに要するメモリ容量を削減することである。
【０００５】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像素子と、前記撮像素子出力をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から得られるデジタル画像データを画像処理する画像処理部と、前記画像処理部において画像処理することにより前記デジタル画像データを出力画像データに変換するフォーマット変換部と、前記出力画像データを記録媒体に記録する画像記録部を有する撮像装置において、
前記画像処理部は、
前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理部、
前記ホワイトバランス処理部によって求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理部、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理部を有し、
前記画像処理部は、前記３次元ルックアップテーブル演算処理部の前に、前記ホワイトバランス処理部、前記マトリクス演算処理部の順に処理を実行することによって、前記３次元ルックアップテーブル演算処理部による色変換の実行の前に前記ホワイトバランス処理部と前記マトリクス演算部で色温度に基づいた色順応性に合わせた色変換を行い、後段の前記３次元ルックアップテーブル演算処理部において特定色の色変換処理を行うことを特徴とする。
【０００６】
また、本発明に係わる画像信号処理方法は、被写体の像を撮像した撮像素子の出力をＡ／Ｄ変換して得られるデジタル画像データを画像処理する画像処理演算工程と、を有し、前記画像処理演算工程において画像処理演算することで出力画像データに変換する画像信号処理方法において、
前記画像処理演算工程は、前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理工程と、
前記ホワイトバランス処理工程において求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理工程と、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理工程とを有し、
前記画像処理演算工程は、前記３次元ルックアップテーブル演算処理工程の前に、前記ホワイトバランス処理工程、前記マトリクス演算処理工程を順に処理することによって、前記３次元ルックアップテーブル演算処理工程の前段に配置された前記ホワイトバランス処理工程と前記マトリクス演算工程で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行い、後段の前記３次元ルックアップテーブル演算処理工程において特定色の色変換処理を行うことを特徴とする。
【００１３】
また、本発明に係わるプログラムは、上記の画像信号処理方法をコンピュータに実行させることを特徴とする。
【００１４】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。
【００１６】
図１は本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。
【００１７】
撮像部１０１にはレンズ系、絞り、シャッターが含まれ、被写体の像をＣＣＤ１０２の撮像面に結像する。ＣＣＤ１０２上に結像された被写体像は光電変換されてアナログ信号となり、Ａ／Ｄ変換部１０３へと送られ、デジタル画像信号へと変換される。Ａ／Ｄ変換部１０３で作成されたデジタル画像信号は、画像処理部１０４へと送られ、出力画像信号へと変換される。さらに、出力画像信号は、フォーマット変換部１０５においてＪＰＥＧフォーマット等へのフォーマット変換が行われ、画像記録部１０６においてて撮像装置内のメモリ、もしくはコンパクトフラッシュメモリ（登録商標）等の外部メモリへと書き込まれる。以上が撮像装置内のデータの簡単な流れである。
【００１８】
ここで、さらに画像処理部１０４について詳しく説明する。
【００１９】
図２は図１の画像処理部１０４の中に含まれる処理部を示すブロック図である。以下に図２に示すブロック図を用いて本実施形態の撮像装置における画像処理の流れを説明する。
【００２０】
図１のＡ／Ｄ変換部１０３より出力されるデジタル画像信号は図２のホワイトバランス処理部２０１へと送られ、デジタル画像信号から光源の色温度を検出し、画像中の白が白信号となるようなホワイトバランス係数が求められる。そして、求められたホワイトバランス係数によってデジタル画像信号のゲインが調整される。ホワイトバランス処理されたデジタル画像信号は、エッジ強調処理部２０７、及び補間処理部２０２へと送られる。補間処理部２０２では図３のような単板ＣＣＤの画素配列から、それぞれＲ、Ｇ１、Ｇ２、Ｂ位置の画素それぞれを用いて、補間演算により図４のようなＲ、Ｇ１、Ｇ２、Ｂの面データを作成する。
【００２１】
ここで、人間の色知覚特性である色の順応性は色温度によって異なることが知られている。例えば、夕焼けや白熱灯下などでは人間の目は順応しきれなくて白い被写体を白と認識せず、オレンジ色っぽく見える。マトリクス演算部２０３では、このような人間の目の色順応性に合わせて（光源の色温度変化による色再現性の変化に対応するため）、ホワイトバランス処理部２０１において求められた光源の色温度から、マトリクス演算に用いるマトリクス係数を決定し、マトリクス演算が行われる。マトリクス演算は式(１)を用いて画素ごとに行われる。
【００２２】
【数１】
【００２３】
マトリクス演算部にはあらかじめ色温度に応じたマトリクス係数、光源色温度３０００Ｋ以下用のマトリクス係数MTX3K、４０００Ｋ用マトリクスMTX4K、５０００Ｋ用マトリクスMTX5K、６０００Ｋ用マトリクスMTX6K、７０００Ｋ以上用MTX7Kが用意されている。ここでは光源の色温度が５３００Ｋであった場合のマトリクス係数MTXを求める。まず光源の色温度の上下のマトリクス係数が選ばれる。ここでは５０００Ｋ用マトリクスMTX5K、６０００Ｋ用マトリクスMTX6Kとなる。これらのマトリクス係数を用いて光源に応じたマトリクス係数は式(２)によって求められる。
【００２４】
MTX＝MTX3K …式(３)
また、光源の色温度が７０００Ｋ以上であった場合は、
MTX＝MTX7K …式(４)
となる。
【００２５】
マトリクス演算処理されたデジタル画像信号はガンマ処理部２０４へと送られる。ガンマ処理部２０４では以下の式を用いてデータ変換する。ただしGammaTableは１次元ルックアップテーブルである。
【００２６】
Rg = GammaTable[Rm] …式(５)
Gg = GammaTable[Gm] …式(６)
Bg = GammaTable[Bm] …式(７)
ガンマ処理されたデジタル画像信号は３次元ルックアップテーブル演算処理部２０５へと送られる。
【００２７】
以下に３次元ルックアップテーブル演算処理について説明する。本実施形態における３次元ルックアップテーブル演算処理は、ＲＧＢの３次元データをマトリクス演算されたＲＧＢ信号から記憶色再現を考慮したＲＧＢ信号へと変換するものである。すなわち、人間が好ましいと記憶している色、例えば、青空は青から青緑へ、芝生は黄緑から緑へ、そして、肌色はピンクよりに再現するようにＲＧＢ信号を変換する。本実施形態においては、３次元ルックアップテーブルの容量を減らすため、Ｒ、Ｇ、Ｂ信号の最小値から最大値までを９分割した、９×９×９の７２９の３次元代表格子点を用意し、代表格子点以外のＲＧＢ信号は補間により求める。補間演算は以下の式により行われる。そして、予め色温度に応じてマトリクス演算されているため、色温度ごとに３次元ルックアップテーブルを持たせる必要がない。
【００２８】
ただし入力信号ＲＧＢをR、G、B、そのときの出力ＲＧＢ信号をRout(R,G,B)、Gout(R,G,B)、Bout(R,G,B)、入力信号R、G、Bそれぞれの信号値より小さく、かつ一番近い値の代表格子点の信号をRi、Gi、Bi、代表格子点出力信号をRout(Ri,Gi,Bi)、Gout(Ri,Gi,Bi)、Bout(Ri,Gi,Bi)、代表格子点のステップ幅をStepとする。
【００２９】
【００３０】
３次元ルックアップテーブル演算処理されたデジタル画像信号はエッジ合成処理部２０６へと送られる。
【００３１】
エッジ強調処理部２０７では、ホワイトバランス処理部２０１から送られてくるホワイトバランス処理されたデジタル画像信号を元にエッジ検出し、エッジ信号のみが抽出される。抽出されたエッジ信号はゲインアップにより増幅されてエッジ合成処理部２０６へと送られる。エッジ合成処理部２０６では３次元ルックアップテーブル演算処理部２０５から送られてきたRt、Gt、Bt信号にエッジ信号を加える。
【００３２】
本実施形態においてマトリクス演算処理部にあらかじめ用意されているマトリクス係数の組は３０００Ｋから７０００Ｋまで１０００Ｋ毎に用意されているものを使用したが、この色温度および、あらかじめ用意するマトリクス係数の数はこれに限られるものではなく、より高精度に光源の色温度の変化による色再現性の変化に対応するのであれば、マトリクス係数の組の数を増やしてもよい。たとえマトリクス係数の組を増やしたとしても、１組のマトリクス係数のデータ量が少ないため、メモリの増大には必ずしもつながらない。
【００３３】
また、３次元ルックアップテーブル演算処理部２０５におけるテーブルは９×９×９の格子点を用いたが、これに限られるものではなく、撮像装置のメモリ容量および必要とされる色変換精度に応じて変化させることも可能である。また近傍の格子点からの補間演算も上記の式(８),(９),(１０)に限られるものではなく、四面体補間等の補間演算であれば、どのような補間演算であってもかまわない。
【００３４】
また本実施形態においてはガンマ処理を３次元ルックアップテーブル演算処理の前に行っているが、この順番はこれに限られるものではなく、演算精度と撮像装置のバッファメモリの関係により、前後どちらに設定してもよい。例えばバッファメモリの容量を少なくするためにはガンマ処理を前にして、デジタル画像信号のビット数をガンマ処理により落として、３次元ルックアップテーブル演算処理するようにすれば、３次元ルックアップテーブルの格子点データのビット数も減らすことが可能になり、３次元ルックアップテーブルデータの容量を減らすことが可能になる。また逆に、先にビット数の多い状態で３次元ルックアップテーブル演算処理を行えば演算精度を落とさずに高精度に変換演算が可能になる。
【００３５】
以上説明したように、上記の実施形態によれば、ＣＣＤ１０２からＡ／Ｄ変換して得られるデジタル画像データ（ＲＧＢ信号）は、３次元ルックアップテーブル演算処理部２０５よりも先にマトリクス演算処理部２０３により処理されているため、色温度ごとに３次元ルックアップテーブルを有する必要がなく、３次元ルックアップテーブルデータを１つのテーブルのみで記憶色の変換を行うことが可能となる。
【００３６】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、デジタル画像信号に対して、３次元ルックアップテーブルによる色変換処理の前に、ホワイトバランス処理とホワイトバランス処理で求められた光源の色温度に応じてマトリクス演算係数を変化させるマトリクス演算を順に処理することによって、３次元ルックアップテーブル演算の前段に配置されたホワイトバランス処理とマトリクス演算で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行うことになるため、後段に配置された３次元ルックアップテーブル演算処理では、色温度に依存しない特定色の局所的な色変換を適切に行うことが可能になる。さらに、予め色温度に応じて用意されているマトリクス係数によってマトリクス演算処理することが可能になるため、容量の大きい３次元ルックアップテーブルを色温度に応じて複数用意する必要がなくなり、回路規模及びメモリ容量を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】Ａ／Ｄ変換後のデジタル信号の概念図である。
【図４】補間処理後のデジタル画像信号の概念図である。
Claims (14)
- 撮像素子と、前記撮像素子出力をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から得られるデジタル画像データを画像処理する画像処理部と、前記画像処理部において画像処理することにより前記デジタル画像データを出力画像データに変換するフォーマット変換部と、前記出力画像データを記録媒体に記録する画像記録部を有する撮像装置において、
前記画像処理部は、
前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理部、
前記ホワイトバランス処理部によって求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理部、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理部を有し、
前記画像処理部は、前記３次元ルックアップテーブル演算処理部の前に、前記ホワイトバランス処理部、前記マトリクス演算処理部の順に処理を実行することによって、前記３次元ルックアップテーブル演算処理部による色変換の実行の前に前記ホワイトバランス処理部と前記マトリクス演算部で色温度に基づいた色順応性に合わせた色変換を行い、後段の前記３次元ルックアップテーブル演算処理部において特定色の色変換処理を行うことを特徴とする撮像装置。 - さらに、前記画像信号のビット数を落とすことによってガンマ処理を行うガンマ処理部を有し、
前記ガンマ処理部は、前記色変換マトリクス演算処理部と前記３次元ルックアップテーブル演算処理部の間に配置することを特徴とする請求項１に記載の撮像装置。 - さらに、複数の色から構成される色フィルタを配置された前記撮像素子からの出力を補間する補間処理部を有し、前記補間処理部を前記３次元ルックアップテーブル演算処理部の前に配置したことを特徴とする請求項２に記載の撮像装置。
- 前記３次元ルックアップテーブル演算処理部は、３つの入力信号に対して、３つの出力信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
- 前記３次元ルックアップテーブル演算処理部は、Ｌ×Ｍ×Ｎ（Ｌ、Ｍ、Ｎは任意の整数）の格子点から構成された３次元ルックアップテーブルを含み、前記格子点の間のデータを補間演算により算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
- 前記３次元ルックアップテーブル演算処理部は、入力された色信号の記憶色が考慮された色信号を格納していることを特徴とする１乃至５のいずれか１項に記載の撮像装置。
- 被写体の像を撮像した撮像素子の出力をＡ／Ｄ変換して得られるデジタル画像データを画像処理する画像処理演算工程と、を有し、前記画像処理演算工程において画像処理演算することで出力画像データに変換する画像信号処理方法において、
前記画像処理演算工程は、前記デジタル画像データにホワイトバランス係数によってホワイトバランス処理を施すホワイトバランス処理工程と、
前記ホワイトバランス処理工程において求められた光源の色温度に応じて係数を変化させたマトリクス演算処理を行うマトリクス演算処理工程と、
３つの色信号によって構成された各格子点を用いて特定の色の色変換を行う３次元ルックアップテーブル演算処理工程とを有し、
前記画像処理演算工程は、前記３次元ルックアップテーブル演算処理工程の前に、前記ホワイトバランス処理工程、前記マトリクス演算処理工程を順に処理することによって、前記３次元ルックアップテーブル演算処理工程の前段に配置された前記ホワイトバランス処理工程と前記マトリクス演算工程で色温度に基づいた人間の目の色順応性に合わせた色変換処理を行い、後段の前記３次元ルックアップテーブル演算処理工程において特定色の色変換処理を行うことを特徴とする画像信号処理方法。 - さらに、前記画像信号のビット数を落とすことによってガンマ処理を行うガンマ処理工程を有し、前記ガンマ処理工程は、前記色変換マトリクス演算処理工程と前記３次元ルックアップテーブル演算処理工程の間に配置することを特徴とする請求項７に記載の画像信号処理方法。
- 前記３次元ルックアップテーブル演算処理工程では、３個の入力信号に対して、３個の出力信号を出力することを特徴とする請求項７又は８に記載の画像信号処理方法。
- 更に複数の色から構成される色フィルタを配置された前記撮像素子からの出力を補間する補間処理工程を有し、前記補間処理工程は前記３次元ルックアップテーブル演算処理工程の前に処理を行うことを特徴とする請求項７乃至９のいずれか１項に記載の画像信号処理方法。
- 前記３次元ルックアップテーブル演算処理工程では、入力された色信号の記憶色を考慮した色信号に変換することを特徴とする請求項７乃至１０のいずれか１項に記載の画像信号処理方法。
- 前記３次元ルックアップテーブル演算処理工程では、Ｌ×Ｍ×Ｎ（Ｌ、Ｍ、Ｎは任意の整数）の格子点から構成された３次元ルックアップテーブルを含み、前記格子点の間のデータを補間演算により算出することを特徴とする請求項７に記載の画像信号処理方法。
- 請求項７に記載の画像信号処理方法をコンピュータに実行させるためのプログラム。
- 請求項１３に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002195787A JP3793121B2 (ja) | 2002-07-04 | 2002-07-04 | 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体 |
| EP03254147.6A EP1381221B1 (en) | 2002-07-04 | 2003-06-30 | Image sensing apparatus and method, program, and storage medium |
| US10/613,733 US7236627B2 (en) | 2002-07-04 | 2003-07-02 | Image sensing apparatus and method, program, and storage medium |
| CNB031482295A CN1311675C (zh) | 2002-07-04 | 2003-07-03 | 摄影装置、方法、程序以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002195787A JP3793121B2 (ja) | 2002-07-04 | 2002-07-04 | 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004040544A JP2004040544A (ja) | 2004-02-05 |
| JP2004040544A5 JP2004040544A5 (ja) | 2004-12-02 |
| JP3793121B2 true JP3793121B2 (ja) | 2006-07-05 |
Family
ID=29728400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002195787A Expired - Lifetime JP3793121B2 (ja) | 2002-07-04 | 2002-07-04 | 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7236627B2 (ja) |
| EP (1) | EP1381221B1 (ja) |
| JP (1) | JP3793121B2 (ja) |
| CN (1) | CN1311675C (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100548611B1 (ko) * | 2003-08-07 | 2006-01-31 | 삼성전기주식회사 | 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법 |
| CN1326404C (zh) * | 2004-02-23 | 2007-07-11 | 四川长虹电器股份有限公司 | 自动色温调整方法及装置 |
| JP4721415B2 (ja) * | 2005-08-17 | 2011-07-13 | キヤノン株式会社 | 撮像装置、情報処理装置、情報処理システム及び画像処理方法並びに制御プログラム及びコンピュータ読み取り可能な記憶媒体 |
| JP4534932B2 (ja) * | 2005-09-29 | 2010-09-01 | ソニー株式会社 | 色域圧縮装置、色域圧縮方法、プログラム、記録媒体 |
| US7505069B2 (en) * | 2005-10-26 | 2009-03-17 | Hewlett-Packard Development Company, L.P. | Method and apparatus for maintaining consistent white balance in successive digital images |
| US8334910B2 (en) * | 2007-02-09 | 2012-12-18 | Canon Kabushiki Kaisha | Image capturing apparatus, information processing apparatus, and control methods thereof |
| JP4933385B2 (ja) * | 2007-09-03 | 2012-05-16 | キヤノン株式会社 | 情報処理装置 |
| KR101448531B1 (ko) * | 2007-10-31 | 2014-10-13 | 삼성전자주식회사 | 디지털 촬영장치 |
| JP4751428B2 (ja) | 2008-08-12 | 2011-08-17 | 株式会社東芝 | 画像処理装置及びイメージセンサ |
| US8963947B2 (en) | 2011-01-25 | 2015-02-24 | Dolby Laboratories Licensing Corporation | Enhanced lookup of display driving values |
| JP5138057B2 (ja) * | 2011-03-07 | 2013-02-06 | キヤノン株式会社 | 撮像装置及び情報処理装置及び画像処理方法 |
| JP6063092B2 (ja) * | 2014-03-31 | 2017-01-18 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4745467A (en) * | 1985-10-28 | 1988-05-17 | Kabushiki Kaisha Toshiba | Color image-processing apparatus |
| US5202756A (en) * | 1988-11-09 | 1993-04-13 | Canon Kabushiki Kaisha | Color signal processing apparatus using plural luminance signals |
| US5198890A (en) * | 1989-03-30 | 1993-03-30 | Canon Kabushiki Kaisha | White balance correcting device for an image sensing |
| US5253046A (en) * | 1991-03-07 | 1993-10-12 | Canon Kabushiki Kaisha | Color image pickup apparatus for object image conversion |
| EP0528433B1 (en) * | 1991-08-21 | 2002-03-06 | Canon Kabushiki Kaisha | Video camera provided with a plurality of photographing modes |
| JP3501472B2 (ja) * | 1992-06-23 | 2004-03-02 | キヤノン株式会社 | 撮像装置 |
| US5420630A (en) * | 1992-09-11 | 1995-05-30 | Canon Kabushiki Kaisha | Image pickup apparatus performing white balance control based on data from regions of a frame |
| JPH07203228A (ja) | 1993-12-27 | 1995-08-04 | Canon Inc | カラー画像読取装置 |
| JPH089241A (ja) | 1994-06-17 | 1996-01-12 | Canon Inc | 撮像装置 |
| JP3665100B2 (ja) * | 1995-03-02 | 2005-06-29 | 富士写真フイルム株式会社 | 電子スチルカメラの信号処理装置 |
| US5920358A (en) * | 1997-01-30 | 1999-07-06 | Fuji Photo Film Co., Ltd. | Method of transforming colors of image |
| JP3887060B2 (ja) * | 1997-04-09 | 2007-02-28 | ペンタックス株式会社 | 電子スチルカメラの画像補正情報記録装置および画像復元処理装置 |
| DE69835638T2 (de) * | 1997-07-09 | 2006-12-28 | Canon K.K. | Farbbildverarbeitungsgerät und -verfahren |
| JPH11112819A (ja) * | 1997-09-30 | 1999-04-23 | Fuji Photo Film Co Ltd | 色変換ルックアップテーブル並びにその作成方法および装置並びにそれを用いた画像の色変換方法および装置 |
| US6791716B1 (en) * | 2000-02-18 | 2004-09-14 | Eastmas Kodak Company | Color image reproduction of scenes with preferential color mapping |
| JP2001346218A (ja) | 2000-03-27 | 2001-12-14 | Nikon Corp | 画像処理装置及び電子カメラ |
| JP3825963B2 (ja) * | 2000-08-30 | 2006-09-27 | キヤノン株式会社 | 画像形成装置及び画像形成方法 |
| JP2002152541A (ja) | 2000-11-16 | 2002-05-24 | Nikon Corp | 画像処理装置、および画像処理用記録媒体 |
-
2002
- 2002-07-04 JP JP2002195787A patent/JP3793121B2/ja not_active Expired - Lifetime
-
2003
- 2003-06-30 EP EP03254147.6A patent/EP1381221B1/en not_active Expired - Lifetime
- 2003-07-02 US US10/613,733 patent/US7236627B2/en active Active
- 2003-07-03 CN CNB031482295A patent/CN1311675C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1381221A3 (en) | 2007-04-25 |
| CN1481155A (zh) | 2004-03-10 |
| EP1381221A2 (en) | 2004-01-14 |
| CN1311675C (zh) | 2007-04-18 |
| US20040012691A1 (en) | 2004-01-22 |
| EP1381221B1 (en) | 2014-06-18 |
| JP2004040544A (ja) | 2004-02-05 |
| US7236627B2 (en) | 2007-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7453598B2 (en) | Image processing method and apparatus, and color conversion table generation method and apparatus | |
| JP2004304712A (ja) | 画像処理方法及び装置 | |
| JP4533287B2 (ja) | 色処理方法およびその装置 | |
| JP3793121B2 (ja) | 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体 | |
| US9083890B2 (en) | Image capturing apparatus, image processing apparatus and image processing method | |
| JP6974156B2 (ja) | 画像色変換装置、画像色変換プログラム、画像色変換方法 | |
| US10600170B2 (en) | Method and device for producing a digital image | |
| JP2010081048A (ja) | 画像処理装置、プログラムおよび撮像装置 | |
| JP2005354372A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム | |
| JP3950822B2 (ja) | 撮像装置、撮像方法、制御プログラム及びコンピュータ可読メモリ | |
| JP5552795B2 (ja) | 撮像装置、画像処理装置およびプログラム | |
| JP2004289450A (ja) | 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体 | |
| JP2004080099A (ja) | 撮像装置及び画像処理方法 | |
| JP4767525B2 (ja) | 撮像システム及び撮像処理プログラム | |
| JP6413210B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP4784097B2 (ja) | 信号処理方法、信号処理装置、信号処理手順を格納した記憶媒体 | |
| JP6318497B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP2007221685A (ja) | デジタルカメラ及びその制御方法 | |
| JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
| JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP2010273012A (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP5056006B2 (ja) | 撮像装置およびプログラム | |
| JP2004178428A (ja) | 画像処理方法 | |
| JP2019022228A (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP2004023347A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060127 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |