JP4392891B2 - Imaging apparatus and image processing method in the imaging apparatus - Google Patents

Imaging apparatus and image processing method in the imaging apparatus Download PDF

Info

Publication number
JP4392891B2
JP4392891B2 JP05338399A JP5338399A JP4392891B2 JP 4392891 B2 JP4392891 B2 JP 4392891B2 JP 05338399 A JP05338399 A JP 05338399A JP 5338399 A JP5338399 A JP 5338399A JP 4392891 B2 JP4392891 B2 JP 4392891B2
Authority
JP
Japan
Prior art keywords
color
signal
image data
image
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05338399A
Other languages
Japanese (ja)
Other versions
JP2000253414A (en
Inventor
正已 杉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP05338399A priority Critical patent/JP4392891B2/en
Priority to US09/484,989 priority patent/US6958772B1/en
Priority to DE60045785T priority patent/DE60045785D1/en
Priority to EP00300408A priority patent/EP1022912B1/en
Publication of JP2000253414A publication Critical patent/JP2000253414A/en
Priority to US11/200,377 priority patent/US7542076B2/en
Priority to US12/428,898 priority patent/US7929026B2/en
Application granted granted Critical
Publication of JP4392891B2 publication Critical patent/JP4392891B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、例えばデジタルカメラやデジタルビデオ等の撮像装置及び前記撮像装置における画像処理方法に関するものである。
【0002】
【従来の技術】
従来の単板のデジタルカメラにおいてレンズを交換できるカメラはほとんどなく、ほとんどレンズ一体型のシステムとなっている。そのため予め光学的ローパスフィルタやIRカットフィルタ等は、レンズを通った光により画像信号を生成するCCDの前に設けられていて、モアレや偽色に対してある程度の効果が得られている。しかし、レンズを交換できるカメラの場合には、IRカットフィルタはCCDのガラス面上に薄膜で形成することにより、CCDの前段に配置することは可能である。しかし、光学的ローパスフィルタをCCDの前段に配置するためのスペースを取ると実質的にカメラ本体のサイズが大きくなってしまう。また、このような光学的ローパスフィルタを挿入することによってモアレや偽色はある程度軽減できるが、画像の空間周波数が低下するという問題があり、その結果、銀塩写真のようなピントの鋭さがなくなってしまう。そのような理由により、光学的ローパスフィルタを設けない光学系の重要性が高まっている。
【0003】
また、このような光学的ローパスフィルタを設けても、単板CCDのデジタルカメラの場合にはベイヤー配列に代表されるように、G(緑)に対してR(赤)とB(青)の画像が少なく色の間隔が広くなり色補間する際に偽色が発生することになる。また従来の色補間の方法として、デジタルフィルタ等によって3つのカラープレーンを作る方法もあるが、ハードウェア的にフィルタのタップ数が制限されてしまい、本来持っている画像データの解像力を十分に引き出すことができなかった。
【0004】
そこで従来は、米国特許第5373322号や米国特許第5629734号に代表されるような画像処理、特に色補間処理を行うことにより解像力の高い画像データを得ることが提案されている。これらの手法はモアレに対しては改善されないが、偽色を減少させることに対しては効果があるとされている。
【0005】
【発明が解決しようとする課題】
しかし、このような従来の手法を採用しても、色補間する際の偽色を完全に消去することはできなかった。これについて以下に説明する。
【0006】
まず図9に示すように、画素ピッチの間隔で縦縞の白い線がCCDのGとRのライン上で露光されると、従来の色補間処理を施すことにより、赤(R)、黄色(Y)の縦縞の画像になってしまう(図9において、斜線部は黒でデータ“0”とする)。又同様に、図10のように、画素ピッチの間隔で縦縞の白い線がCCDの緑(G)と青(B)のライン上で露光されると、上記色補間処理によって、青(B)とシアン(C)の縦縞の画像になってしまう。尚、図9と図10において、縦縞でなく横縞でも同様の結果が得られ、赤(R)、黄色(Y)、又は、青(B)とシアン(C)の縦縞の画像ができあがってしまう。
【0007】
更に別のパターンとして、図11に示すように、チェッカーフラグパターンのような白い画像をCCDのRとBで露光すると、上記色補間処理により、白であるにも拘らずマゼンタ(M)の画像になってしまう。又同様に図12に示すように、チェッカーフラグパターンのような白い画像をCCDのGで露光すると、上記色補間処理により、白であるにも拘らず、緑(G)の画像になってしまう。
【0008】
そこで、このような偽色を除去するために、パーソナルコンピュータ上のアプリケーション・プログラムにより、色空間を例えばRGBからL*a*b*に変換し、a*,b*のそれぞれにフィルタを掛けるなどの処理を施すことにより、偽色に対する処理を行っている。但し、図11、図12に示すされるチェッカーフラグパターンの場合、緑もしくはマゼンタの低周波の画像と区別することはできず、偽色として判別することができない。又このままJPEGで圧縮するからといって無理に色差の周波数の帯域を制限してしまうと画像が眠くなってしまい、偽色のレベルは下がるものの、その偽色成分が周辺画素に広がってしまうという問題があった。
【0009】
本発明は上記従来例に鑑みてなされたもので、色補間処理によって発生する偽色を減少させることができる撮像装置及び前記撮像装置における画像処理方法を提供することを目的とする。
【0010】
また本発明の目的は、撮像装置の大型化やコストアップを防止して偽色を減少させることができる撮像装置及び前記撮像装置における画像処理方法を提供することにある。
【0011】
また本発明の目的は、比較的簡易な構成で偽色を減少させることができる撮像装置及び前記撮像装置における画像処理方法を提供することにある。
【0012】
【課題を解決するための手段】
上記目的を達成するために本発明の撮像装置は以下のような構成を備える。即ち、
撮像素子と、
前記撮像素子に像を結像させるための結像手段と、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、
前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離手段と、
前記分離手段により分離された輝度信号の高周波成分を抽出する抽出手段と、
記色差信号から得られる色相信号に基づいて前記色補間手段で発生する偽色の色範囲かどうかを判定する判定手段と、
前記判定手段により判定された色範囲の色差信号を、前記抽出手段により抽出された前記輝度信号の高周波成分の大きさに応じて低下させる手段とを有することを特徴とする。
【0013】
上記目的を達成するために本発明の撮像装置は以下のような構成を備える。即ち、
撮像素子と、
前記撮像素子に像を結像させるための結像手段と、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、
前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換手段と、
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出手段と、
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出手段と、
記検出手段により検出された色相信号に基づいて偽色の色範囲かどうかを判定する判定手段と、
前記別の表色系の色空間の画像データの色差信号のうち、前記判定手段により判定された色範囲の色差信号を、前記抽出手段により抽出された前記輝度信号の高周波成分の大きさに応じて低下させる手段とを有することを特徴とする。
【0014】
上記目的を達成するために本発明の撮像装置における画像処理方法は以下のような工程を備える。即ち、
撮像素子を有し、前記撮像素子に結像された映像に対応する画像信号を生成する撮像装置における画像処理方法であって、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換工程と、
A/D変換工程で変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間工程と、
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離工程と、
前記分離工程で分離された輝度信号の高周波成分を抽出する抽出工程と、
記色差信号から得られる色相信号に基づいて前記色補間工程で発生する偽色の色範囲かどうかを判定する判定工程と、
前記判定工程で判定された色範囲の色差信号を、前記抽出工程で抽出された前記輝度信号の高周波成分の大きさに応じて低下させる工程とを有することを特徴とする。
【0015】
上記目的を達成するために本発明の撮像装置における画像処理方法は以下のような工程を備える。即ち、
撮像素子を有し、前記撮像素子に結像された映像に対応する画像信号を生成する撮像装置における画像処理方法であって、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換工程と、
A/D変換工程で変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間工程と、
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換工程と、
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出工程と、
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出工程と、
記検出工程で検出された色相信号に基づいて偽色の色範囲かどうかを判定する判定工程と、
前記別の表色系の色空間の画像データの色差信号のうち、前記判定工程で判定された色範囲の色差信号を、前記抽出工程で抽出された前記輝度信号の高周波成分の大きさに応じて低下させる工程とを有することを特徴とする。
【0016】
【発明の実施の形態】
本発明の実施の形態に係る具体例を説明する前に、本実施の形態に係る特徴を説明すると、上述した偽色をなくすためには、RGBの各色成分毎にCCDを配した3板カメラを使用するのが理想的であるが、このような構成にするとカメラ自体のサイズが増大してしまう。そこで、赤(R)から黄色(Y)と、青(B)からシアン(C)への偽色は高周波であることに着目し、輝度の周波数成分が高く、色相が所定範囲の場合に、その色差信号のゲインを低下させることにより、その偽色の発生を抑制する点にある。
【0017】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0018】
[実施の形態1]
図1は、本実施の形態1のデジタルカメラにおける画像処理回路の構成を中心に示すブロック図である。
【0019】
カメラに入射される光1はレンズ2を通過し、絞り3で光量調節が行われ、シャッタ(不図示)が開いている時間だけCCD5に露光される。また光1はCCD5に露光される前に、CCD5が赤外領域の光を検出しない様にIRフィルタ4によって長波長側の周波数領域(帯域)がカットされる。そしてCCD5に露光された光1は電荷量としてCCD5内に蓄積されて電気信号として出力される。この電気信号はCDS・AGC回路6で所定のゲインに増幅され、A/D変換器7でデジタルデータに変換される。このデジタルデータに変換された画像データは、ホワイトバランス回路8でRGBのゲインが調整され、図2に示すように、色補間回路9で、例えばRGB3つのカラープレーンに生成される。また、RGB3プレーンで表された画像データは、マスキング処理回路10でRGBの色相に関する調整が行われ、ガンマ変換回路11でディスプレイ等に表示するのに必要な処理が施される。次に、画像データは、RGB3プレーンのままだとデータ数が多いので、JPEG等の圧縮処理が行われる。
【0020】
まず、RGB/YUV変換回路12で色空間をRGBからY色差に変換する。これは例えば、以下の式に基づいて行われる。
【0021】
Y= 0.29900×R+0.58700×G+0.11400×B …(1)
U= -0.16874×R−0.33126×G+0.50000×B …(2)
V= 0.50000×R−0.41869×G−0.08131×B …(3)
また、色補間回路9で得られたRGB3プレーンの画像は、高周波成分と色相を検出するために、まず、RGB/Y変換回路17において、上記式(1)を用いて輝度信号Yを計算する。次に、この求められた輝度信号Yの高周波成分を検出するために、空間ハイパスフィルタ(HPF)18により、図3に示すような空間ハイパスフィルタ演算が行われる。また、RGB/Y変換回路17により求められた輝度信号Yは、色相を検出するために色相検出回路19に送られ、ここで色差信号R−Y、B−Yが計算される。尚、図3において、入力信号はマトリクス300で乗算された後、減算器301でこの乗算結果から入力信号を減算することにより、空間ハイパスフィルタ演算が行われている。
【0022】
偽色抑圧回路13では、空間ハイパスフィルタ18で得られた輝度信号Yの高周波成分と、色相検出回路19で得られた色相情報とから、RGB/YUV変換回路12から出力される色差信号のUとVのゲインを下げることによって、偽色を抑圧する。
【0023】
この偽色抑圧処理について図4及び図5を参照して説明する。
【0024】
まず、注目画素の色がY、R−Y、B−Yの色空間において所定の範囲(図5の斜線で示される領域)に有るかどうか判断し、もし偽色と思われる範囲の領域の色であれば、空間ハイパスフィルタ18で得られる輝度信号の高周波成分の値に応じて、図4に示されるように、ある値“of1”以上ならば、色差信号UとVのゲインを下げる。これにより偽色を抑圧することができる。
【0025】
上記構成について説明すると、空間HPF18により、例えば図9乃至図12で説明したような縦縞或はチェッカーフラグパターンのような高周波成分を抽出し、その高周波領域で、図9乃至図12で説明したような偽色が発生するような(例えば図9の例ではRとY成分の所定領域、図10の例ではCとB成分の所定領域、図11,203ではRとB成分の所定領域で、これらは図5の斜線部に相当している)色差信号UとVのゲインを下げることにより、前述した偽色の発生を防止するものである。
【0026】
次に、ローパスフィルタ(LPF)14a,14bで、水平或は垂直方向にローパスフィルタをかけ、間引き回路15で、Y:U:V=4:4:4から、Y:U:V=4:2:2ないしはY:U:V=4:1:1といった所定のJPEGフォーマットに従った色差信号の間引きを行う。そしてJPEG回路16で、JPEG圧縮を行う。これによって、偽色の少ない圧縮された画像を作ることができる。
【0027】
また、ここでは輝度信号Yを計算するに当り、上記式(1)式を用いているが、簡易的な輝度信号Yeを用いても可能である。たとえば、
Ye=R+2×G+B (4)
により求めてもよい。
【0028】
また、これら輝度信号を計算せずに、緑(G)の信号成分を用いて輝度信号として採用することも可能である。
【0029】
図6は、本実施の形態1に係る偽色除去処理を説明するフローチャートである。
【0030】
図において、まずステップS1で、色補間処理を実行した後のRGB信号を入力し、そのRGB信号から輝度成分Yを生成し、ステップS2で、空間ハイパスフィルタ(HPF)18により、輝度信号Yの高周波成分を取り出す。ステップS3でRB信号は、この輝度信号Yとの差分がとられ色差信号R−Y,B−Yが生成される。ステップS4で色差信号から色相信号を生成し、その色相信号が、偽色となり得る色範囲にあるか否かを判定する。そして、ステップS5で偽色であるときはステップS6に進み、その偽色部分の色差信号の利得をその画素の高周波成分の量に応じて低下させる。これにより、例えば図5で示すような色空間において、色補正により生じた偽色成分を抑えることができる。
【0031】
このように本実施の形態1によれば、赤から黄色及び青からシアンへの偽色の発生を防止できるという効果がある。
【0032】
[実施の形態2]
前述の実施の形態1においては、偽色を検出する手段を色補間回路9の後に設け、RGB3プレーンになった信号を用いて行った。これは色補間回路9の後に、マスキング処理、γ変換といった色相が変化する処理要因があるため、検出される偽色の色相範囲が変化する可能性があるためである。従って、輝度信号Yを計算して色差信号R−Y、B−Yを求めていた。しかし、この偽色検出手段は、この位置に限らない。例えば、JPEG圧縮するためにはRGBから輝度、色差の色空間に変換する必要があるので、これらの信号から偽色を検出することも可能である。本実施の形態2は、これに関するものである。但し、上記で説明したように、偽色の色範囲が画像によって変わる可能性が考えられる。
【0033】
そこで、本発明の実施の形態2に係るデジタルカメラの画像処理部の構成を図7に示す。尚、この図7では、前述の図1と共通する部分は同じ番号で示し、それらの説明を省略する。
【0034】
このカメラに入射される光1はレンズ2を通過し、絞り3で光量調節が行われ、シャッタ(不図示)が開いている時間だけCCD5に露光される。また光1はCCD5に露光される前に、CCD5が赤外領域の光を検出しない様にIRフィルタ4によって長波長側の領域がカットされる。そしてCCD5で露光された光はCCD5内で電荷量として蓄積されて電気信号として出力され、CDS・AGC回路6で所定のゲインに増幅された後、A/D変換器7でデジタルデータに変換される。こうしてデジタルデータに変換された画像データは、ホワイトバランス回路8でRGBのゲインが調整され、前述の図2に示すように色補間回路9で例えばRGB3つのカラープレーンに生成される。このRGB3プレーンからなる画像データは、マスキング処理回路10でRGBの色の色相に関する調整が行われ、ガンマ変換回路11でディスプレイ等に表示するのに必要な処理が施される。この画像データは、RGB/YUV変換回路12により、RGBからY色差の色空間に変換される。
【0035】
この内、輝度信号Yは、その高周波成分を検出するために空間HPF18に送られて、図3の様なフィルタ演算が施され、色相検出回路19で偽色の色相範囲に注目画素が存在しているか否かを判断する。ここでは、前述の図5の色空間R−Y、B−Yでなく、図8に示すように、RGB/YUV変換回路12から出力されたUとVを用いている。
【0036】
そこで、上述の実施の形態1と同様に、注目画素の色が偽色の色相の範囲内に入っていれば、前述の図4に示すように、偽色抑圧回路13で空間HPF18の出力に応じて、値が「of1」 以上であれば、UとVのゲインを下げる。
【0037】
この時、例えば、ホワイトバランスによって、色相範囲を変える必要があることが考えられる。例えば、赤のゲインをあげた場合、色相範囲を赤側に寄せることを行ったり、色相角を広げたりすることである。
【0038】
次に、LPF14a,14bで、水平あるいは垂直方向にローパスフィルタをかける。次に、間引き回路15で、Y:U:V=4:4:4から、Y:U:V=4:2:2ないしはY:U:V=4:1:1といった所定のJPEGフォーマットに従った色差信号の間引きを行い、JPEG16でJPEG圧縮を行う。
【0039】
これによって、偽色の少ない圧縮された画像を作ることができる。
【0040】
尚、本発明は、複数の機器(例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0041】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0042】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0043】
以上説明したように本実施の形態によれば、輝度信号の高周波成分と色相の赤から黄色と青からシアンの間の色を検出し、式差信号U、Vのゲインを落とすことによって色補間で発生する偽色を抑圧することができる。
【0044】
【発明の効果】
以上説明したように本発明によれば、色補間処理によって発生する偽色を減少させることができる。
【0045】
また本発明によれば、撮像装置の大型化やコストアップを防止して偽色を減少させることができる。
【0046】
また本発明によれば、比較的簡易な構成で偽色を減少させることができるという効果がある。
【0047】
また、本発明は、特にRGBの色空間を輝度信号と色差信号に分けてから色相を求めているが、必ずしもそれに限るものではない。例えば、RGBの色空間において、(R/G)/(B/G)の計算を行うことによって色相信号とすることも可能である。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係るデジタルカメラの画像処理部の構成を示すブロック図である。
【図2】本実施の形態に係る色補間を説明するための概念図である。
【図3】本実施の形態における高周波フィルタの構成を示すブロック図である。
【図4】本実施の形態の偽色抑圧部における処理を説明するグラフ図である。
【図5】本実施の形態に係る偽色抑制における偽色の色相範囲例を示す図である。
【図6】本実施の形態に係る偽色抑圧処理を説明するフローチャートである。
【図7】本発明の実施の形態2に係るデジタルカメラの画像処理部の構成を示すブロック図である。
【図8】本実施の形態2に係る偽色抑制における偽色の色相範囲例を示す図である。
【図9】一般的な偽色の発生プロセスを説明する概念図である。
【図10】一般的な偽色の発生プロセスを説明する概念図である。
【図11】一般的な偽色の発生プロセスを説明する概念図である。
【図12】一般的な偽色の発生プロセスを説明する概念図である。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus such as a digital camera or a digital video, and an image processing method in the imaging apparatus.
[0002]
[Prior art]
In conventional single-plate digital cameras, there are few cameras capable of exchanging lenses, and almost all systems are integrated with a lens. For this reason, an optical low-pass filter, an IR cut filter, or the like is provided in advance in front of the CCD that generates an image signal by light that has passed through the lens, and has some effects on moire and false colors. However, in the case of a camera whose lens can be exchanged, the IR cut filter can be arranged in front of the CCD by forming a thin film on the glass surface of the CCD. However, if a space for arranging the optical low-pass filter in front of the CCD is provided, the size of the camera body is substantially increased. Also, by inserting such an optical low-pass filter, moire and false colors can be reduced to some extent, but there is a problem that the spatial frequency of the image is lowered, and as a result, the sharpness like silver halide photography is lost. End up. For these reasons, the importance of an optical system that does not include an optical low-pass filter is increasing.
[0003]
Even if such an optical low-pass filter is provided, in the case of a single-chip CCD digital camera, as represented by the Bayer array, R (red) and B (blue) with respect to G (green). The number of images is small, the color interval is wide, and false colors are generated when color interpolation is performed. In addition, as a conventional color interpolation method, there is a method of creating three color planes with a digital filter or the like, but the number of filter taps is limited by hardware, and the resolution of image data that is originally possessed can be sufficiently extracted. I couldn't.
[0004]
Therefore, conventionally, it has been proposed to obtain image data with high resolving power by performing image processing represented by US Pat. No. 5,373,322 and US Pat. No. 5,629,734, particularly color interpolation processing. These methods are not improved against moiré, but are said to be effective in reducing false colors.
[0005]
[Problems to be solved by the invention]
However, even if such a conventional method is employed, the false color at the time of color interpolation cannot be completely erased. This will be described below.
[0006]
First, as shown in FIG. 9, when vertical stripes of white lines are exposed on the G and R lines of the CCD at pixel pitch intervals, red (R) and yellow (Y ) (In FIG. 9, the hatched portion is black and the data is “0”). Similarly, as shown in FIG. 10, when white lines of vertical stripes are exposed on the green (G) and blue (B) lines of the CCD at the pixel pitch interval, blue (B) is obtained by the above color interpolation processing. And cyan (C) vertical stripes. 9 and 10, the same result is obtained with horizontal stripes instead of vertical stripes, and red (R), yellow (Y), or blue (B) and cyan (C) vertical stripe images are produced. .
[0007]
As another pattern, as shown in FIG. 11, when a white image such as a checker flag pattern is exposed with R and B of the CCD, an image of magenta (M) despite being white is obtained by the above color interpolation processing. Become. Similarly, as shown in FIG. 12, when a white image such as a checker flag pattern is exposed with G of the CCD, the color interpolation process results in a green (G) image even though it is white. .
[0008]
Therefore, in order to remove such false colors, the color space is converted from RGB to L * a * b * by an application program on the personal computer, and a * and b * are respectively filtered. By performing this process, the process for false colors is performed. However, in the case of the checker flag pattern shown in FIGS. 11 and 12, it cannot be distinguished from a green or magenta low-frequency image and cannot be identified as a false color. Moreover, if the band of the color difference frequency is forcibly limited even if it is compressed with JPEG as it is, the image becomes sleepy and the false color level is lowered, but the false color component spreads to surrounding pixels. There was a problem.
[0009]
The present invention has been made in view of the above conventional example, and an object thereof is to provide an imaging apparatus capable of reducing false colors generated by color interpolation processing and an image processing method in the imaging apparatus.
[0010]
It is another object of the present invention to provide an imaging apparatus that can prevent an increase in size and cost of the imaging apparatus and reduce false colors, and an image processing method in the imaging apparatus.
[0011]
Another object of the present invention is to provide an imaging apparatus capable of reducing false colors with a relatively simple configuration and an image processing method in the imaging apparatus.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, the imaging apparatus of the present invention has the following configuration. That is,
An image sensor;
An imaging means for forming an image on the image sensor;
A / D conversion means for converting an image signal output from the image sensor into a digital signal;
Color interpolation means for color-interpolating the digital signal converted by the A / D conversion means to create image data of a plurality of color planes;
Separating means for separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
Extraction means for extracting high-frequency components of the luminance signal separated by the separation means;
Determination means for determining whether a false color color range generated by the color interpolation means based on the hue signals obtained from the previous Kiirosa signal,
Means for reducing the color difference signal of the color range determined by the determining means in accordance with the magnitude of the high frequency component of the luminance signal extracted by the extracting means .
[0013]
In order to achieve the above object, the imaging apparatus of the present invention has the following configuration. That is,
An image sensor;
An imaging means for forming an image on the image sensor;
A / D conversion means for converting an image signal output from the image sensor into a digital signal;
Color interpolation means for color-interpolating the digital signal converted by the A / D conversion means to create image data of a plurality of color planes;
Color space conversion means for converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
Detecting means for detecting a hue signal from a color difference signal of image data in the color space of the other color system;
Extracting means for extracting a high-frequency component of a luminance signal of image data in the color space of the other color system;
Determination means for determining whether the color range of a false color based on the color signal detected by the pre-Symbol detection means,
Of the color difference signals of the image data in the color space of the other color system, the color difference signal in the color range determined by the determination unit is determined according to the magnitude of the high frequency component of the luminance signal extracted by the extraction unit. And a means for lowering.
[0014]
In order to achieve the above object, an image processing method in an imaging apparatus of the present invention includes the following steps. That is,
An image processing method in an imaging apparatus having an imaging device and generating an image signal corresponding to a video imaged on the imaging device,
An A / D conversion step of converting an image signal output from the image sensor into a digital signal;
A color interpolation step of color-interpolating the digital signal converted in the A / D conversion step to create image data of a plurality of color planes;
A separation step of separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
An extraction step of extracting a high-frequency component of the luminance signal separated in the separation step;
A determination step of determining whether the false color color range generated by the color interpolation process on the basis of the hue signals obtained from the previous Kiirosa signal,
And a step of reducing the color difference signal in the color range determined in the determination step according to the magnitude of the high frequency component of the luminance signal extracted in the extraction step .
[0015]
In order to achieve the above object, an image processing method in an imaging apparatus of the present invention includes the following steps. That is,
An image processing method in an imaging apparatus having an imaging device and generating an image signal corresponding to a video imaged on the imaging device,
An A / D conversion step of converting an image signal output from the image sensor into a digital signal;
A color interpolation step of color-interpolating the digital signal converted in the A / D conversion step to create image data of a plurality of color planes;
A color space conversion step of converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
A detection step of detecting a hue signal from a color difference signal of image data in the color space of the other color system;
An extraction step of extracting a high-frequency component of the luminance signal of the image data in the color space of the other color system;
A determination step of determining whether the false color color range based on the hue signal detected in the previous Symbol detection step,
Of the color difference signals of the image data in the color space of the other color system, the color difference signal in the color range determined in the determination step is determined according to the magnitude of the high frequency component of the luminance signal extracted in the extraction step. characterized by a step of lowering Te.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Before describing the specific example according to the embodiment of the present invention, the feature according to the present embodiment will be described. To eliminate the false color described above, a three-plate camera in which a CCD is arranged for each color component of RGB Is ideal, but such a configuration increases the size of the camera itself. Therefore, paying attention to the fact that false colors from red (R) to yellow (Y) and blue (B) to cyan (C) have high frequencies, when the frequency component of luminance is high and the hue is within a predetermined range, By reducing the gain of the color difference signal, the generation of the false color is suppressed.
[0017]
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
[0018]
[Embodiment 1]
FIG. 1 is a block diagram mainly showing a configuration of an image processing circuit in the digital camera according to the first embodiment.
[0019]
The light 1 incident on the camera passes through the lens 2, the light amount is adjusted by the diaphragm 3, and is exposed to the CCD 5 for the time when the shutter (not shown) is open. Further, before the light 1 is exposed to the CCD 5, the frequency region (band) on the long wavelength side is cut by the IR filter 4 so that the CCD 5 does not detect light in the infrared region. The light 1 exposed to the CCD 5 is accumulated in the CCD 5 as a charge amount and is output as an electric signal. This electric signal is amplified to a predetermined gain by the CDS / AGC circuit 6 and converted to digital data by the A / D converter 7. The image data converted into the digital data is adjusted in RGB gain by the white balance circuit 8 and is generated in, for example, three color planes of RGB by the color interpolation circuit 9 as shown in FIG. Further, the image data represented by the RGB3 plane is adjusted by the masking processing circuit 10 regarding the RGB hue, and the gamma conversion circuit 11 performs processing necessary for displaying on the display or the like. Next, since the image data has a large number of data if it remains in the RGB3 plane, compression processing such as JPEG is performed.
[0020]
First, the RGB / YUV conversion circuit 12 converts the color space from RGB to Y color difference. This is done, for example, based on the following equation:
[0021]
Y = 0.29900 x R + 0.58700 x G + 0.11400 x B (1)
U = -0.16874 × R−0.33126 × G + 0.50000 × B (2)
V = 0.50000 x R-0.41869 x G-0.08131 x B (3)
Further, in order to detect a high frequency component and a hue of the RGB3 plane image obtained by the color interpolation circuit 9, first, the RGB / Y conversion circuit 17 calculates the luminance signal Y using the above equation (1). . Next, in order to detect the high-frequency component of the obtained luminance signal Y, a spatial high-pass filter operation as shown in FIG. 3 is performed by the spatial high-pass filter (HPF) 18. The luminance signal Y obtained by the RGB / Y conversion circuit 17 is sent to the hue detection circuit 19 to detect the hue, and the color difference signals RY and BY are calculated here. In FIG. 3, after the input signal is multiplied by the matrix 300, the subtractor 301 subtracts the input signal from the multiplication result, thereby performing a spatial high-pass filter operation.
[0022]
In the false color suppression circuit 13, the U of the color difference signal output from the RGB / YUV conversion circuit 12 is calculated from the high frequency component of the luminance signal Y obtained by the spatial high-pass filter 18 and the hue information obtained by the hue detection circuit 19. By reducing the gains of V and V, false colors are suppressed.
[0023]
This false color suppression process will be described with reference to FIGS.
[0024]
First, it is determined whether or not the color of the pixel of interest is within a predetermined range (region indicated by hatching in FIG. 5) in the Y, RY, and BY color space. If it is a color, the gain of the color difference signals U and V is lowered if it is greater than a certain value “of1” as shown in FIG. 4 in accordance with the value of the high frequency component of the luminance signal obtained by the spatial high-pass filter 18. As a result, false colors can be suppressed.
[0025]
The above configuration will be described. A high-frequency component such as a vertical stripe or a checker flag pattern as described with reference to FIGS. 9 to 12 is extracted by the space HPF 18, and the high-frequency region is described with reference to FIGS. 9 to 12. (For example, in the example of FIG. 9, in the predetermined region of the R and Y components, in the example of FIG. 10, in the predetermined region of the C and B components, in FIGS. 11 and 203, in the predetermined region of the R and B components, (These correspond to the shaded portions in FIG. 5) The gains of the color difference signals U and V are lowered to prevent the aforementioned false color from occurring.
[0026]
Next, a low-pass filter (LPF) 14a, 14b is applied with a low-pass filter in the horizontal or vertical direction, and Y: U: V = 4: 4: 4 to Y: U: V = 4: Color difference signals are thinned out according to a predetermined JPEG format such as 2: 2 or Y: U: V = 4: 1: 1. The JPEG circuit 16 performs JPEG compression. This makes it possible to create a compressed image with less false colors.
[0027]
In this case, when calculating the luminance signal Y, the above equation (1) is used, but a simple luminance signal Ye can also be used. For example,
Ye = R + 2 × G + B (4)
You may ask for.
[0028]
Moreover, it is also possible to employ | adopt as a luminance signal using a green (G) signal component, without calculating these luminance signals.
[0029]
FIG. 6 is a flowchart for explaining the false color removal process according to the first embodiment.
[0030]
In the figure, first, in step S1, the RGB signal after color interpolation processing is input, and a luminance component Y is generated from the RGB signal. In step S2, the spatial high-pass filter (HPF) 18 outputs the luminance signal Y. Extract high frequency components. In step S3, the difference between the RB signal and the luminance signal Y is taken to generate color difference signals RY and BY. In step S4, a hue signal is generated from the color difference signal, and it is determined whether or not the hue signal is in a color range that can be a false color. If the color is false in step S5, the process proceeds to step S6, and the gain of the color difference signal of the false color portion is reduced according to the amount of the high frequency component of the pixel. Thereby, for example, in a color space as shown in FIG. 5, false color components generated by color correction can be suppressed.
[0031]
As described above, according to the first embodiment, it is possible to prevent the occurrence of false colors from red to yellow and from blue to cyan.
[0032]
[Embodiment 2]
In the first embodiment described above, a means for detecting a false color is provided after the color interpolation circuit 9 and is performed using a signal that is an RGB3 plane. This is because the hue range of the false color to be detected may change because there are processing factors that change the hue such as masking processing and γ conversion after the color interpolation circuit 9. Therefore, the luminance signal Y is calculated to obtain the color difference signals RY and BY. However, the false color detection means is not limited to this position. For example, since JPEG compression requires conversion from RGB to a luminance and color difference color space, it is possible to detect false colors from these signals. The second embodiment relates to this. However, as described above, there is a possibility that the false color range may change depending on the image.
[0033]
FIG. 7 shows the configuration of the image processing unit of the digital camera according to Embodiment 2 of the present invention. In FIG. 7, the same parts as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
[0034]
The light 1 incident on the camera passes through the lens 2, the light amount is adjusted by the diaphragm 3, and is exposed to the CCD 5 for the time when the shutter (not shown) is open. Further, before the light 1 is exposed to the CCD 5, the region on the long wavelength side is cut by the IR filter 4 so that the CCD 5 does not detect light in the infrared region. The light exposed by the CCD 5 is accumulated as a charge amount in the CCD 5 and output as an electrical signal. After being amplified to a predetermined gain by the CDS / AGC circuit 6, it is converted into digital data by the A / D converter 7. The The image data thus converted into digital data is adjusted in RGB gain by the white balance circuit 8 and is generated in, for example, three color planes of RGB by the color interpolation circuit 9 as shown in FIG. The image data composed of the RGB3 plane is adjusted by the masking processing circuit 10 with respect to the hue of the RGB color, and the gamma conversion circuit 11 performs processing necessary for displaying on the display or the like. This image data is converted from RGB to a Y color difference color space by the RGB / YUV conversion circuit 12.
[0035]
Among these, the luminance signal Y is sent to the space HPF 18 in order to detect the high-frequency component and subjected to the filter operation as shown in FIG. 3, and the hue detection circuit 19 has a pixel of interest in the false color hue range. Judge whether or not. In this case, U and V output from the RGB / YUV conversion circuit 12 are used as shown in FIG. 8 instead of the color spaces RY and BY shown in FIG.
[0036]
Thus, as in the first embodiment, if the color of the pixel of interest falls within the false hue range, the false color suppression circuit 13 outputs the output to the spatial HPF 18 as shown in FIG. Accordingly, if the value is “of1” or more, the gains of U and V are lowered.
[0037]
At this time, for example, it may be necessary to change the hue range by white balance. For example, when the gain of red is increased, the hue range is shifted toward the red side or the hue angle is increased.
[0038]
Next, a low-pass filter is applied in the horizontal or vertical direction by the LPFs 14a and 14b. Next, the thinning circuit 15 changes the Y: U: V = 4: 4: 4 to a predetermined JPEG format such as Y: U: V = 4: 2: 2 or Y: U: V = 4: 1: 1. Accordingly, the color difference signal is thinned out and JPEG compression is performed by JPEG16.
[0039]
This makes it possible to create a compressed image with less false colors.
[0040]
Note that the present invention can be applied to a system (for example, a copier, a facsimile machine, etc.) composed of a single device even if it is applied to a system composed of a plurality of devices (for example, host computer, interface device, reader, printer, etc.). You may apply.
[0041]
Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. (MPU) can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
[0042]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. This includes a case where the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0043]
As described above, according to the present embodiment, the color interpolation is performed by detecting the high-frequency component of the luminance signal and the hue from red to yellow and from blue to cyan, and reducing the gains of the equation difference signals U and V. Can suppress false colors generated in
[0044]
【The invention's effect】
As described above, according to the present invention, false colors generated by color interpolation processing can be reduced.
[0045]
In addition, according to the present invention, it is possible to reduce the false color by preventing an increase in the size and cost of the imaging apparatus.
[0046]
Moreover, according to the present invention, there is an effect that false colors can be reduced with a relatively simple configuration.
[0047]
In the present invention, the hue is obtained after the RGB color space is divided into the luminance signal and the color difference signal, but the present invention is not necessarily limited thereto. For example, in the RGB color space, a hue signal can be obtained by calculating (R / G) / (B / G).
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing unit of a digital camera according to Embodiment 1 of the present invention.
FIG. 2 is a conceptual diagram for explaining color interpolation according to the present embodiment;
FIG. 3 is a block diagram showing a configuration of a high frequency filter in the present embodiment.
FIG. 4 is a graph illustrating processing in a false color suppression unit according to the present embodiment.
FIG. 5 is a diagram illustrating an example of a false color hue range in false color suppression according to the present embodiment;
FIG. 6 is a flowchart illustrating false color suppression processing according to the present embodiment.
FIG. 7 is a block diagram showing a configuration of an image processing unit of a digital camera according to Embodiment 2 of the present invention.
FIG. 8 is a diagram illustrating an example of a false color hue range in false color suppression according to the second embodiment;
FIG. 9 is a conceptual diagram illustrating a general false color generation process.
FIG. 10 is a conceptual diagram illustrating a general false color generation process.
FIG. 11 is a conceptual diagram illustrating a general false color generation process.
FIG. 12 is a conceptual diagram illustrating a general false color generation process.

Claims (30)

撮像素子と、
前記撮像素子に像を結像させるための結像手段と、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、
前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離手段と、
前記分離手段により分離された輝度信号の高周波成分を抽出する抽出手段と、
記色差信号から得られる色相信号に基づいて前記色補間手段で発生する偽色の色範囲かどうかを判定する判定手段と、
前記判定手段により判定された色範囲の色差信号を、前記抽出手段により抽出された前記輝度信号の高周波成分の大きさに応じて低下させる手段と、
を有することを特徴とする撮像装置。
An image sensor;
An imaging means for forming an image on the image sensor;
A / D conversion means for converting an image signal output from the image sensor into a digital signal;
Color interpolation means for color-interpolating the digital signal converted by the A / D conversion means to create image data of a plurality of color planes;
Separating means for separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
Extraction means for extracting high-frequency components of the luminance signal separated by the separation means;
Determination means for determining whether a false color color range generated by the color interpolation means based on the hue signals obtained from the previous Kiirosa signal,
Means for reducing the color difference signal of the color range determined by the determination means according to the magnitude of the high-frequency component of the luminance signal extracted by the extraction means ;
An imaging device comprising:
前記分離手段は、前記画像データを、前記輝度信号としてY信号,前記色差信号としてR−Y信号,B−Y信号に分離することを特徴とする請求項1に記載の撮像装置。  The imaging apparatus according to claim 1, wherein the separation unit separates the image data into a Y signal as the luminance signal and an RY signal and a BY signal as the color difference signal. 撮像素子と、
前記撮像素子に像を結像させるための結像手段と、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、
前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換手段と、
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出手段と、
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出手段と、
記検出手段により検出された色相信号に基づいて偽色の色範囲かどうかを判定する判定手段と、
前記別の表色系の色空間の画像データの色差信号のうち、前記判定手段により判定された色範囲の色差信号を、前記抽出手段により抽出された前記輝度信号の高周波成分の大きさに応じて低下させる手段と、
を有することを特徴とする撮像装置。
An image sensor;
An imaging means for forming an image on the image sensor;
A / D conversion means for converting an image signal output from the image sensor into a digital signal;
Color interpolation means for color-interpolating the digital signal converted by the A / D conversion means to create image data of a plurality of color planes;
Color space conversion means for converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
Detecting means for detecting a hue signal from a color difference signal of image data in the color space of the other color system;
Extracting means for extracting a high-frequency component of a luminance signal of image data in the color space of the other color system;
Determination means for determining whether the color range of a false color based on the color signal detected by the pre-Symbol detection means,
Of the color difference signals of the image data in the color space of the other color system, the color difference signal in the color range determined by the determination unit is determined according to the magnitude of the high frequency component of the luminance signal extracted by the extraction unit. Means to lower
An imaging device comprising:
前記色空間変換手段は、前記画像データを、YUVの色空間に変換することを特徴とする請求項3に記載の撮像装置。  The imaging apparatus according to claim 3, wherein the color space conversion unit converts the image data into a YUV color space. 前記偽色が除去された色信号における高周波成分を除去する低周波通過フィルタ手段を更に有することを特徴とする請求項1又は3に記載の撮像装置。  4. The imaging apparatus according to claim 1, further comprising a low-frequency pass filter unit that removes a high-frequency component in the color signal from which the false color is removed. 前記偽色の色範囲は、赤から黄色を含む色領域と、青からシアンを含む色領域を含むことを特徴とする請求項1又は3に記載の撮像装置。  The imaging apparatus according to claim 1, wherein the false color range includes a color region including red to yellow and a color region including blue to cyan. 撮像素子を有し、前記撮像素子に結像された映像に対応する画像信号を生成する撮像装置における画像処理方法であって、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換工程と、
A/D変換工程で変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間工程と、
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離工程と、
前記分離工程で分離された輝度信号の高周波成分を抽出する抽出工程と、
記色差信号から得られる色相信号に基づいて前記色補間工程で発生する偽色の色範囲かどうかを判定する判定工程と、
前記判定工程で判定された色範囲の色差信号を、前記抽出工程で抽出された前記輝度信号の高周波成分の大きさに応じて低下させる工程と、
を有することを特徴とする撮像装置における画像処理方法。
An image processing method in an imaging apparatus having an imaging device and generating an image signal corresponding to a video imaged on the imaging device,
An A / D conversion step of converting an image signal output from the image sensor into a digital signal;
A color interpolation step of color-interpolating the digital signal converted in the A / D conversion step to create image data of a plurality of color planes;
A separation step of separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
An extraction step of extracting a high-frequency component of the luminance signal separated in the separation step;
A determination step of determining whether the false color color range generated by the color interpolation process on the basis of the hue signals obtained from the previous Kiirosa signal,
Reducing the color difference signal of the color range determined in the determination step according to the magnitude of the high frequency component of the luminance signal extracted in the extraction step ;
An image processing method in an imaging apparatus, comprising:
撮像素子を有し、前記撮像素子に結像された映像に対応する画像信号を生成する撮像装置における画像処理方法であって、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換工程と、
A/D変換工程で変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間工程と、
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換工程と、
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出工程と、
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出工程と、
記検出工程で検出された色相信号に基づいて偽色の色範囲かどうかを判定する判定工程と、
前記別の表色系の色空間の画像データの色差信号のうち、前記判定工程で判定された色範囲の色差信号を、前記抽出工程で抽出された前記輝度信号の高周波成分の大きさに応じて低下させる工程と、
を有することを特徴とする撮像装置における画像処理方法。
An image processing method in an imaging apparatus having an imaging device and generating an image signal corresponding to a video imaged on the imaging device,
An A / D conversion step of converting an image signal output from the image sensor into a digital signal;
A color interpolation step of color-interpolating the digital signal converted in the A / D conversion step to create image data of a plurality of color planes;
A color space conversion step of converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
A detection step of detecting a hue signal from a color difference signal of image data in the color space of the other color system;
An extraction step of extracting a high-frequency component of the luminance signal of the image data in the color space of the other color system;
A determination step of determining whether the false color color range based on the hue signal detected in the previous Symbol detection step,
Of the color difference signals of the image data in the color space of the different color system, the color difference signal in the color range determined in the determination step is determined according to the magnitude of the high frequency component of the luminance signal extracted in the extraction step. a step of lowering Te,
An image processing method in an imaging apparatus, comprising:
前記分離工程は、前記画像データを、Y信号、R−Y信号,B−Y信号に分離することを特徴とする請求項7に記載の画像処理方法。  The image processing method according to claim 7, wherein the separation step separates the image data into a Y signal, an RY signal, and a BY signal. 前記色空間変換工程では、前記画像データを、YUVの色空間に変換することを特徴とする請求項9に記載の画像処理方法。  The image processing method according to claim 9, wherein in the color space conversion step, the image data is converted into a YUV color space. 前記偽色が除去された色信号における高周波成分を除去する工程を更に有することを特徴とする請求項8に記載の画像処理方法。  The image processing method according to claim 8, further comprising a step of removing a high-frequency component in the color signal from which the false color is removed. 前記偽色の色範囲は、赤から黄色を含む色領域と、青からシアンを含む色領域を含むことを特徴とする請求項7又は8に記載の画像処理方法。  The image processing method according to claim 7 or 8, wherein the false color range includes a color region including red to yellow and a color region including blue to cyan. 撮像素子と、
前記撮像素子に像を結像させるための結像手段と、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、
前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離手段と、
前記分離手段により分離された輝度信号の高周波成分を抽出する抽出手段と、
前記分離手段により分離された色差信号から得られる色相信号に基づいて前記色補間手段で発生する偽色の色範囲を判定する判定手段と、
前記複数のカラープレーンの画像データを色空間変換して得られた色差信号のうち前記判定手段により判定された色範囲の色差信号を、前記抽出手段により抽出された輝度信号の高周波成分の大きさに応じて低下させる抑圧手段と、
を有することを特徴とする撮像装置。
An image sensor;
An imaging means for forming an image on the image sensor;
A / D conversion means for converting an image signal output from the image sensor into a digital signal;
Color interpolation means for color-interpolating the digital signal converted by the A / D conversion means to create image data of a plurality of color planes;
Separating means for separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
Extraction means for extracting high-frequency components of the luminance signal separated by the separation means;
A determination unit for determining a color range of a false color generated by the color interpolation unit based on a hue signal obtained from the color difference signal separated by the separation unit;
Among the color difference signals obtained by color space conversion of the image data of the plurality of color planes, the magnitude of the high frequency component of the luminance signal extracted by the extraction means is the color difference signal in the color range determined by the determination means. Suppression means to reduce according to,
An imaging device comprising:
前記分離手段は、前記画像データを、Y信号,R−Y信号,B−Y信号に分離し、前記抑圧手段は、前記色空間変換して得られたU及びV信号のうち前記色範囲のU及びV信号を、前記Y信号の高周波成分の大きさに応じて低下させることを特徴とする請求項13に記載の撮像装置。  The separation unit separates the image data into a Y signal, an RY signal, and a BY signal, and the suppression unit has a color range of the U and V signals obtained by the color space conversion. The imaging apparatus according to claim 13, wherein the U and V signals are reduced in accordance with a magnitude of a high frequency component of the Y signal. 撮像素子と、
前記撮像素子に像を結像させるための結像手段と、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、
前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換手段と、
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出手段と、
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出手段と、
前記検出手段により検出された色相信号に基づいて偽色の色範囲を判定する判定手段と、
前記別の表色系の色空間の画像データの色差信号のうち前記判定手段により判定された色範囲の色差信号を、前記抽出手段により抽出された輝度信号の高周波成分の大きさに応じて低下させる抑圧手段と、
を有することを特徴とする撮像装置。
An image sensor;
An imaging means for forming an image on the image sensor;
A / D conversion means for converting an image signal output from the image sensor into a digital signal;
Color interpolation means for color-interpolating the digital signal converted by the A / D conversion means to create image data of a plurality of color planes;
Color space conversion means for converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
Detecting means for detecting a hue signal from a color difference signal of image data in the color space of the other color system;
Extracting means for extracting a high-frequency component of a luminance signal of image data in the color space of the other color system;
Determination means for determining a false color range based on the hue signal detected by the detection means;
The color difference signal in the color range determined by the determination unit among the color difference signals of the image data in the color space of the other color system is reduced according to the magnitude of the high frequency component of the luminance signal extracted by the extraction unit. Repression means,
An imaging device comprising:
前記色空間変換手段は、前記画像データを、YUVの色空間に変換することを特徴とする請求項15に記載の撮像装置。  16. The imaging apparatus according to claim 15, wherein the color space conversion unit converts the image data into a YUV color space. 撮像素子を有し、前記撮像素子に結像された映像に対応する画像信号を生成する撮像装置における画像処理方法であって、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換工程と、
前記A/D変換工程で変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間工程と、
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離工程と、
前記分離工程で分離された輝度信号の高周波成分を抽出する抽出工程と、
前記分離工程で分離された色差信号から得られる色相信号に基づいて前記色補間工程で発生する偽色の色範囲を判定する判定工程と、
前記複数のカラープレーンの画像データを色空間変換して得られた色差信号のうち前記判定工程で判定された色範囲の色差信号を、前記抽出工程で抽出された輝度信号の高周波成分の大きさに応じて低下させる抑圧工程と、
を有することを特徴とする撮像装置における画像処理方法。
An image processing method in an imaging apparatus having an imaging device and generating an image signal corresponding to a video imaged on the imaging device,
An A / D conversion step of converting an image signal output from the image sensor into a digital signal;
A color interpolation step of color-interpolating the digital signal converted in the A / D conversion step to create image data of a plurality of color planes;
A separation step of separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
An extraction step of extracting a high-frequency component of the luminance signal separated in the separation step;
A determination step of determining a false color range generated in the color interpolation step based on a hue signal obtained from the color difference signal separated in the separation step;
Among the color difference signals obtained by color space conversion of the image data of the plurality of color planes, the color difference signal in the color range determined in the determination step is the magnitude of the high frequency component of the luminance signal extracted in the extraction step A suppression process that decreases according to
An image processing method in an imaging apparatus, comprising:
撮像素子を有し、前記撮像素子に結像された映像に対応する画像信号を生成する撮像装置における画像処理方法であって、
前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換工程と、
前記A/D変換工程で変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間工程と、
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換工程と、
前記別の表色系の色空間の画像データの色差信号から色相信号を検出分離する検出工程と、
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出工程と、
前記検出工程で検出された色相信号に基づいて偽色の色範囲を判定する判定工程と、
前記別の表色系の色空間の画像データの色差信号のうち前記判定工程で判定された色範囲の色差信号を、前記抽出工程で抽出された輝度信号の高周波成分の大きさに応じて低下させる抑圧工程と、
を有することを特徴とする撮像装置における画像処理方法。
An image processing method in an imaging apparatus having an imaging device and generating an image signal corresponding to a video imaged on the imaging device,
An A / D conversion step of converting an image signal output from the image sensor into a digital signal;
A color interpolation step of color-interpolating the digital signal converted in the A / D conversion step to create image data of a plurality of color planes;
A color space conversion step of converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
A detection step of detecting and separating a hue signal from a color difference signal of image data in the color space of the other color system;
An extraction step of extracting a high-frequency component of the luminance signal of the image data in the color space of the other color system;
A determination step of determining a false color range based on the hue signal detected in the detection step;
The color difference signal in the color range determined in the determination step among the color difference signals of the image data in the color space of the other color system is reduced according to the magnitude of the high frequency component of the luminance signal extracted in the extraction step. The suppression process
An image processing method in an imaging apparatus, comprising:
前記分離工程は、前記画像データを、Y信号,R−Y信号,B−Y信号に分離し、前記抑圧工程は、前記色空間変換して得られたU及びV信号のうち前記色範囲のU及びV信号を、前記Y信号の高周波成分の大きさに応じて低下させることを特徴とする請求項17に記載の画像処理方法。  In the separation step, the image data is separated into a Y signal, an RY signal, and a BY signal, and in the suppression step, the U and V signals obtained by the color space conversion are included in the color range. 18. The image processing method according to claim 17, wherein the U and V signals are reduced according to the magnitude of the high frequency component of the Y signal. 前記色空間変換工程では、前記画像データを、YUVの色空間に変換することを特徴とする請求項18に記載の画像処理方法。  19. The image processing method according to claim 18, wherein in the color space conversion step, the image data is converted into a YUV color space. 撮像素子と、前記撮像素子に像を結像させるための結像手段と、前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、を有する撮像装置により生成された前記複数のカラープレーンの画像データを処理する画像処理方法であって、Imaging device, imaging means for forming an image on the imaging device, A / D conversion means for converting an image signal output from the imaging element into a digital signal, and conversion by the A / D conversion means An image processing method for processing the image data of the plurality of color planes generated by the imaging device, and color interpolation means for color-interpolating the digital signal thus generated and generating image data of the plurality of color planes,
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離工程と、A separation step of separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
前記分離工程で分離された前記輝度信号の高周波成分を抽出する抽出工程と、An extraction step of extracting a high-frequency component of the luminance signal separated in the separation step;
前記色差信号から得られる色相信号に基づいて前記色補間工程で発生する偽色の色範囲かどうかを判定する判定工程と、A determination step of determining whether a color range of a false color generated in the color interpolation step based on a hue signal obtained from the color difference signal;
前記判定工程で判定された前記色範囲の色差信号を、前記抽出工程により抽出された前記輝度信号の高周波成分の大きさに応じて低下させる工程と、Reducing the color difference signal of the color range determined in the determination step according to the magnitude of the high frequency component of the luminance signal extracted in the extraction step;
を有することを特徴とする画像処理方法。An image processing method comprising:
撮像素子と、前記撮像素子に像を結像させるための結像手段と、前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、を有する撮像装置により生成された前記複数のカラープレーンの画像データを処理する画像処理方法であって、Imaging device, imaging means for forming an image on the imaging device, A / D conversion means for converting an image signal output from the imaging element into a digital signal, and conversion by the A / D conversion means An image processing method for processing the image data of the plurality of color planes generated by the imaging device, and color interpolation means for color-interpolating the digital signal thus generated and generating image data of the plurality of color planes,
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換工程と、A color space conversion step of converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出工程と、A detection step of detecting a hue signal from a color difference signal of image data in the color space of the other color system;
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出工程と、An extraction step of extracting a high-frequency component of the luminance signal of the image data in the color space of the other color system;
前記検出工程で検出された前記色相信号に基づいて偽色の色範囲かどうかを判定する判定工程と、A determination step of determining whether the color range is a false color based on the hue signal detected in the detection step;
前記別の表色系の色空間の画像データの色差信号のうち、前記判定工程で判定された前記色範囲の色差信号を、前記抽出工程により抽出された前記輝度信号の高周波成分の大きさに応じて低下させる工程と、Among the color difference signals of the image data in the color space of the other color system, the color difference signal in the color range determined in the determination step is set to the magnitude of the high frequency component of the luminance signal extracted in the extraction step. A step of lowering accordingly,
を有することを特徴とする画像処理方法。An image processing method comprising:
前記分離工程は、前記画像データを、Y信号、R−Y信号,B−Y信号に分離することを特徴とする請求項21に記載の画像処理方法。The image processing method according to claim 21, wherein the separation step separates the image data into a Y signal, an RY signal, and a BY signal. 前記色空間変換工程は、前記画像データを、YUVの色空間に変換することを特徴とする請求項22に記載の画像処理方法。The image processing method according to claim 22, wherein the color space conversion step converts the image data into a YUV color space. 前記偽色が除去された色信号における高周波成分を除去する工程を更に有することを特徴とする請求項22に記載の画像処理方法。The image processing method according to claim 22, further comprising a step of removing a high-frequency component in the color signal from which the false color is removed. 前記偽色の色範囲は、赤から黄色を含む色領域と、青からシアンを含む色領域を含むことを特徴とする請求項21又は22に記載の画像処理方法。The image processing method according to claim 21 or 22, wherein the false color range includes a color region including red to yellow and a color region including blue to cyan. 撮像素子と、前記撮像素子に像を結像させるための結像手段と、前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、を有する撮像装置により生成された前記複数のカラープレーンの画像データを処理する画像処理方法であって、Imaging device, imaging means for forming an image on the imaging device, A / D conversion means for converting an image signal output from the imaging element into a digital signal, and conversion by the A / D conversion means An image processing method for processing the image data of the plurality of color planes generated by the imaging device, and color interpolation means for color-interpolating the digital signal thus generated and generating image data of the plurality of color planes,
前記複数のカラープレーンの画像データを輝度信号と色差信号とに分離する分離工程と、A separation step of separating the image data of the plurality of color planes into a luminance signal and a color difference signal;
前記分離工程で分離された前記輝度信号の高周波成分を抽出する抽出工程と、An extraction step of extracting a high-frequency component of the luminance signal separated in the separation step;
前記分離工程で分離された前記色差信号から得られる色相信号に基づいて前記色補間工程で発生する偽色の色範囲を判定する判定工程と、A determination step of determining a false color range generated in the color interpolation step based on a hue signal obtained from the color difference signal separated in the separation step;
前記複数のカラープレーンの画像データを色空間変換して得られた色差信号のうち前記判定工程で判定された前記色範囲の色差信号を、前記抽出工程で抽出された前記輝度信号の高周波成分の大きさに応じて低下させる抑圧工程と、Among the color difference signals obtained by performing color space conversion on the image data of the plurality of color planes, the color difference signals in the color range determined in the determination step are converted into high-frequency components of the luminance signal extracted in the extraction step. A suppression process that decreases according to the size,
を有することを特徴とする画像処理方法。An image processing method comprising:
撮像素子と、前記撮像素子に像を結像させるための結像手段と、前記撮像素子から出力される画像信号をデジタル信号に変換するA/D変換手段と、前記A/D変換手段により変換されたデジタル信号を色補間し、複数のカラープレーンの画像データを作成する色補間手段と、を有する撮像装置により生成された前記複数のカラープレーンの画像データを処理する画像処理方法であって、Imaging device, imaging means for forming an image on the imaging device, A / D conversion means for converting an image signal output from the imaging element into a digital signal, and conversion by the A / D conversion means An image processing method for processing the image data of the plurality of color planes generated by the imaging device, and color interpolation means for color-interpolating the digital signal thus generated and generating image data of the plurality of color planes,
前記複数のカラープレーンの色空間から別の表色系の色空間に変換し輝度信号と色差信号を出力する色空間変換工程と、A color space conversion step of converting a color space of the plurality of color planes into a color space of another color system and outputting a luminance signal and a color difference signal;
前記別の表色系の色空間の画像データの色差信号から色相信号を検出する検出工程と、A detection step of detecting a hue signal from a color difference signal of image data in the color space of the other color system;
前記別の表色系の色空間の画像データの輝度信号の高周波成分を抽出する抽出工程と、An extraction step of extracting a high-frequency component of the luminance signal of the image data in the color space of the other color system;
前記検出工程で検出された前記色相信号に基づいて偽色の色範囲を判定する判定工程と、A determination step of determining a false color range based on the hue signal detected in the detection step;
前記別の表色系の色空間の画像データの色差信号のうち前記判定工程で判定された前記色範囲の色差信号を、前記抽出工程で抽出された前記輝度信号の高周波成分の大きさに応じて低下させる抑圧工程と、According to the magnitude of the high frequency component of the luminance signal extracted in the extraction step, the color difference signal in the color range determined in the determination step among the color difference signals of the image data in the color space of the other color system The suppression process to be reduced,
を有することを特徴とする画像処理方法。An image processing method comprising:
前記分離工程は、前記画像データを、Y信号,R−Y信号,B−Y信号に分離し、前記抑圧工程は、前記色空間変換で得られたU及びV信号のうち前記色範囲のU及びV信号を、前記Y信号の高周波成分の大きさに応じて低下させることを特徴とする請求項27に記載の画像処理方法。The separation step separates the image data into a Y signal, an RY signal, and a BY signal, and the suppression step includes a U of the color range among the U and V signals obtained by the color space conversion. 28. The image processing method according to claim 27, wherein the V signal and the V signal are reduced in accordance with a magnitude of a high frequency component of the Y signal. 前記色空間変換工程では、前記画像データを、YUVの色空間に変換することを特徴とする請求項28に記載の画像処理方法。29. The image processing method according to claim 28, wherein in the color space conversion step, the image data is converted into a YUV color space.
JP05338399A 1999-01-20 1999-03-01 Imaging apparatus and image processing method in the imaging apparatus Expired - Fee Related JP4392891B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP05338399A JP4392891B2 (en) 1999-03-01 1999-03-01 Imaging apparatus and image processing method in the imaging apparatus
US09/484,989 US6958772B1 (en) 1999-01-20 2000-01-18 Image sensing apparatus and image processing method therefor
DE60045785T DE60045785D1 (en) 1999-01-20 2000-01-20 Imaging device
EP00300408A EP1022912B1 (en) 1999-01-20 2000-01-20 Image sensing apparatus
US11/200,377 US7542076B2 (en) 1999-01-20 2005-08-08 Image sensing apparatus having a color interpolation unit and image processing method therefor
US12/428,898 US7929026B2 (en) 1999-01-20 2009-04-23 Image sensing apparatus and image processing method thereof using color conversion and pseudo color removing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05338399A JP4392891B2 (en) 1999-03-01 1999-03-01 Imaging apparatus and image processing method in the imaging apparatus

Publications (2)

Publication Number Publication Date
JP2000253414A JP2000253414A (en) 2000-09-14
JP4392891B2 true JP4392891B2 (en) 2010-01-06

Family

ID=12941310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05338399A Expired - Fee Related JP4392891B2 (en) 1999-01-20 1999-03-01 Imaging apparatus and image processing method in the imaging apparatus

Country Status (1)

Country Link
JP (1) JP4392891B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717294B2 (en) * 2001-09-20 2011-07-06 キヤノン株式会社 Image processing method, imaging apparatus, and program
JP4867204B2 (en) * 2005-06-01 2012-02-01 株式会社日立製作所 Imaging device
JP4861667B2 (en) * 2005-09-20 2012-01-25 ルネサスエレクトロニクス株式会社 Image processing apparatus and image processing method
KR101143833B1 (en) 2007-05-29 2012-07-12 삼성테크윈 주식회사 Image signal processing apparatus generating brightness signal of high reproducibility
JP5474586B2 (en) * 2010-01-25 2014-04-16 オリンパス株式会社 Image processing device
WO2013099792A1 (en) 2011-12-28 2013-07-04 富士フイルム株式会社 Image processing device and method, and imaging device

Also Published As

Publication number Publication date
JP2000253414A (en) 2000-09-14

Similar Documents

Publication Publication Date Title
US7542076B2 (en) Image sensing apparatus having a color interpolation unit and image processing method therefor
JP5045421B2 (en) Imaging apparatus, color noise reduction method, and color noise reduction program
JP4186699B2 (en) Imaging apparatus and image processing apparatus
JP5280448B2 (en) Image processing apparatus, image processing method, image processing program, and semiconductor integrated circuit
US20070268379A1 (en) Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP4803178B2 (en) Image processing apparatus, computer program product, and image processing method
JP4717294B2 (en) Image processing method, imaging apparatus, and program
JP2002084547A (en) Image data size converting processor, digital camera, and image data size converting processing record medium
JP5084366B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
JP4392891B2 (en) Imaging apparatus and image processing method in the imaging apparatus
US8259188B2 (en) Image processing apparatus and method thereof
Lukac Single-sensor digital color imaging fundamentals
JP3633561B2 (en) Image processing apparatus, image processing method, and program
JP2001307079A (en) Image processor, image processing method and recording medium
JP2000217123A (en) Image pickup device and image processing method for image pickup device
JP2000253411A (en) Image pickup device and method for processing image for the image pickup device
JPH1169226A (en) Electronic camera
JP4306687B2 (en) Image processing method, image processing program, and image processing apparatus
JP5912586B2 (en) Image signal processing method, image signal processing circuit, and imaging apparatus
JP3617455B2 (en) Image processing apparatus, image processing method, and recording medium
JP2000217124A (en) Image pickup device and image processing method for the image pickup device
JP2013055459A (en) Imaging device, image processing device, and program
JP4021306B2 (en) False color reduction device
JP4155559B2 (en) Signal processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060228

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20060228

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080716

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080724

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091013

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees