JP4342773B2 - Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus - Google Patents

Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus Download PDF

Info

Publication number
JP4342773B2
JP4342773B2 JP2002197988A JP2002197988A JP4342773B2 JP 4342773 B2 JP4342773 B2 JP 4342773B2 JP 2002197988 A JP2002197988 A JP 2002197988A JP 2002197988 A JP2002197988 A JP 2002197988A JP 4342773 B2 JP4342773 B2 JP 4342773B2
Authority
JP
Japan
Prior art keywords
background
level
color
pixels
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002197988A
Other languages
Japanese (ja)
Other versions
JP2004040672A (en
Inventor
ファン,フェン シャオ
マシュー,スパイグル ジョン
チャールズ,ダルリンプル ジョン
チーシン,チャン ジェームス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2002197988A priority Critical patent/JP4342773B2/en
Publication of JP2004040672A publication Critical patent/JP2004040672A/en
Application granted granted Critical
Publication of JP4342773B2 publication Critical patent/JP4342773B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラー複写機等のカラー再生装置に係り、特に、複写機における背景色を調整する方法および装置に関するものである。
【0002】
【従来の技術】
複写機やファックス機のようなカラー再生装置は、通常、走査された画像をデータに変換する処理系を有し、そのデータを印刷の適正なフォーマットに処理する。例えば、ユーザがカラー複写機のプラテン上またはファックス機のトレイにカラー原稿を置くと、装置は、赤、緑および青(RGB)センサのセットを用いて原稿を走査し、画素グリッドの各位置でRGB信号で表されるデータを生成する。多くの応用分野では、RGBデータは、その後、輝度−クロミナンス色空間に変換され、この空間が色彩情報と光強度情報とを分離して処理することを可能にする。さらに、異なる分解能で色彩情報と光強度情報とを表現することができるので、輝度−クロミナンス色空間における画像は、RGB空間におけるよりコンパクトに表現することができる。
【0003】
輝度−クロミナンス色空間は、通常、3つの成分を有している。色空間のこのタイプの一例は、CIE Labである。“L”は暗から明への明度の大きさを表し、“a”および“b”はクロミナンス成分を表す。CIE LABは、また、空間における点の間の等しい距離が知覚された色空間に関してほぼ等しくなるように設計されるものの、この特徴は問題の核心ではない。他の輝度−クロミナンス色空間は、この特性が存在しないところで用いることができる。技術的には、CIE L値は明るさであり、正確な定義はルミナンスの定義と異なっている。いずれの定義も、画素での光強度情報を符号化するために用いることができる。その光強度は、ここでは明るさまたはL値として言及される。
【0004】
ある場合、原画像を有する用紙が白くなければ、LAB画像の背景画素は着色印刷される。これは、背景色の印刷のために長時間を要すると共にトナーまたはインクを消費するので、望ましくない。着色された1枚の用紙から複写を行う多数のユーザは、そのような色再生を望まない。通常、ユーザが着色紙上での複写を望む場合、原稿を複写する前に複写機に色紙を装填する。
【0005】
一般には、ほとんどの複写機が用紙の背景色を除去するために背景を抑制する機能を用いている。この抑制機能は、ほとんど明度成分についてのみ実行される。背景画素の明度は、通常、その明度値を複写機の対応白レベルに設定する白色に変換される。ほとんどの複写機において、明度は、0から255の範囲で8ビット処理された値の255で白に設定される。
【0006】
LAB空間が一旦背景を抑制するように調整されると、そのLABデータは、プリントエンジンによる印刷のために適正な色空間に変換される。これらは、通常、シアン−マゼンタ−イエロー(CMY)空間またはシアン−マゼンタ−イエロー−ブラック(CMYK)空間である。
【0007】
【発明が解決しようとする課題】
しかしながら、原画像の一部が強調部分を有する場合に問題が生じる。その強調部分では、より明るい色が、より暗い対象物を引き立たせるために用いられる。他の例もあるが、最も一般的なのは、テキストが、テキストキャラクタを取り囲む明るい黄色、ピンクまたは青の明るい部分で強調されるタイプである。強調色もまた変換においてよく用いられる。通常の色処理方法を用いると、テキストキャラクタを取り囲むこれらの画素の明度が白色に変換され、強調部分が色複写においては保存されない。
【0008】
したがって、本発明は、これらの強調色の保存を可能にする背景の抑制方法を有用にする一方、原稿の用紙として着色紙を用いたときに生じる不要な処理やトナー/インクの使用を回避することを目的としている。
【0009】
【課題を解決するための手段】
本発明のカラー再生装置における背景調整方法は、a)原画像の背景明度レベルを評価するステップとb)前記原画像における画素を輝度−クロミナンス色空間に変換するステップと、前記背景明度のレベルを有する背景画素について、その明度値を白色の明度レベルに設定するステップと、d)前記背景画素について、彩度値をしきい値と比較するステップと、e)前記しきい値を越える彩度値を有する前記背景画素についての色を保存するステップと、f)前記しきい値未満の彩度値を有する前記背景画素から彩度を除去し、彩度調整された画素を生成するステップと、g)色が保存された画素および彩度調整された画素を含む全ての画素を出力装置の色空間へ変換するステップとを含むことを特徴としている。
【0010】
また、本発明のカラー再生装置における背景調整のためのプログラムは、a)原画像の背景明度レベルの評価と、b)前記原画像における画素の輝度−クロミナンス色空間への変換と、c)前記背景明度のレベルを有する背景画素についての明度値の白色の明度レベルへの設定と、d)前記背景画素について、彩度値としきい値との比較と、e)前記しきい値を越える彩度値を有する前記背景画素についての色の保存と、f)前記しきい値未満の彩度値を有する前記背景画素から彩度を除去することによる彩度調整された画素の生成と、g)色が保存された画素および色調整された画素を含む全ての画素の出力空間への変換とをコンピュータに実行させる。
【0011】
本発明のカラー再生装置は、a)原画像の色を走査すると共に、該原画像の色を表す入力データを生成する走査手段と、b)前記入力データの画素を輝度−クロミナンス色空間に変換する色空間変換手段と、c)前記原画像の背景明度レベルを決定し、前記背景明度のレベルを有する背景画素について、その明度値を白色の明度レベルに設定する背景抑制手段と、d)前記背景画素の彩度値としきい値と比較し、前記しきい値を越える彩度値を有する前記背景画素についての色を保存し、前記しきい値未満の彩度値を有する背景画素から彩度を除去する彩度調整手段と、e)前記輝度−クロミナンス色空間における色が保存された画素および彩度調整された画素を含む全ての画素を出力空間に変換する出力変換手段とを備えていることを特徴としている。
【0012】
上記の構成では、原画像における背景明度のレベルが評価され、画素が、LABのような輝度−クロミナンス色空間に変換される。多くの輝度−ルミナンス色空間は、従来技術としてよく知られ、また応用も可能である。背景明度レベルに等しい明度レベルを有する画素は、背景画素として白色に応じた値に変換される。背景画素の彩度値は、しきい値と比較されると共に、必要に応じて調整される。そして、LABデータは出力空間に変換される。
【0013】
【発明の実施の形態】
図1は、カラー複写機の典型的なデータ処理のための構成を示す。原稿は、赤−緑−青(RGB)値を得るためにスキャナ12上で走査される。そのRGB値は、RGB−LAB変換モジュール14(色空間変換手段)で、LABのような輝度−ルミナンス色空間に変換される。ここで、Lは輝度/明度成分を表し、aおよびbはときにクロミナンス成分を表すC1およびC2として参照される。ここでは、混乱を避けるために、この特定の色空間をLabよりもむしろLABとする。個別に言及する場合、クロミナンス成分“a”および“b”と表す。ほとんどの原稿は完全に白色ではなく、1つの用紙のタイプから他のタイプに変化するので、背景抑制モジュール16(背景抑制手段)で、用紙背景を白色に変換するために、背景の抑制が行なわれる。この処理を実行しなかった場合、プリンタが明るい背景色を与えることになり、不要なリソースを用いると共に、望ましくない結果をもたらす。
【0014】
背景抑制モジュール16は、RGB−LAB変換モジュール14による変換の結果で得られた輝度−クロミナンスデータ(輝度−クロミナンス色空間)において、背景明度レベルを評価(推定)して決定すると共に、背景明度レベルにほぼ等しい明度レベルを有する画素を背景画素とすると共に、その明度値を白色に応じた値にほぼ等しく設定する。
【0015】
低コスト複写機について、背景抑制は、通常、明度成分のみを用いて行なわれ、用紙そものもの明度が白色に変換される。通常の8ビット印刷を用いる場合、この値はL=255に設定される。現在のカラー再生装置では、背景抑制されたデータはプリンタ変換モジュール20(出力変換手段)で出力装置空間に変換される。この出力装置空間は、プリンタでは、通常シアン−マゼンタ−イエロー−ブラック(CMYK)またはシアン−マゼンタ−イエロー(CMY)である。ここで用いる出力装置空間は、プリンタエンジン22(出力装置)によって用いられる色空間であり、それはまた出力空間でもある。そして、カラー再生装置において、プリントエンジン22は出力空間データを印刷する。現在のシステムは、以下により詳細に説明する図1に示す彩度調整モジュール18を含まない。
【0016】
前述のRGB−LAB変換モジュール14、背景抑制モジュール16、プリンタ変換モジュール20および後述の彩度調整モジュール18は、ハードウェアで構成されてもよいが、ソフトウェアで構成されていてもよい。そのソフトウェアは、以下に述べる図2および図3のフローチャートの処理手順を実行するプログラムを含んでいる。このプログラムは、カラー再生装置にダウンロード可能なファイルであってもよいし、また、カラー再生装置のためのプロセッサに利用されるファームウェアであってもよい。
【0017】
上記のプログラムは、上記の各モジュールの機能を、カラー再生装置においてコンピュータとして機能するプロセッサに実行させると共に、プロセッサが読み取り可能となるように記録媒体に記録されている。この記録媒体としては、磁気ディスク、光ディスク、半導体メモリ等が利用可能であり、プロセッサが読み取り可能であれば、特に限定されない。
【0018】
図2は、本発明の背景色抑制をしながら、明るい色を保存するために彩度値を調整する方法の一実施例を示す。一旦背景レベルが決定されると、図3、図4および図5について説明するように、その背景レベルが背景抑制モジュール16において白色に変換される。
【0019】
明度変換機能は、白色に応じた値に前述の8ビットの例(255の値)で背景明度を変換する。しかしながら、その明度変換機能は、いくつかの強調部分の色の明度も同様に白色に変換する。これは、その強調部分の色の保存を困難にしている。加えて、多くの原稿そのものはわずかに着色しており、aおよびbのゼロでないクロミナンスを有するものである。このような背景の着色は、再生において生じた背景の着色が原因となって複写されてしまう。通常、これは、複写物の背景領域において印刷されたカラードットとして現れる。これらのカラードットは、トナーまたはインクの不要な消費だけでなく、プリンタが白空間を飛び越すことを防止するので、印刷速度を低下を招来する。
【0020】
図1の彩度調整モジュール18は、この問題を解決するために提供される。彩度調整モジュール18は、背景画素の彩度値がしきい値を超えているかどうかを決定し、そのしきい値を超える彩度値を有する背景画素を白色に応じた明度と異なる明度レベルに調整し、しきい値未満の彩度値を有する背景画素から彩度を除去する。
【0021】
ステップ24でRGB値がLAB空間に変換された後、一旦、図2のステップ26で背景が変換されると、明度の値がステップ28で白色(L=白)に応じた値にほぼ等しいとき、その値が確認のためにチェックされる。明度の値が白色に応じた明度値に等しい程度は、システム設計者によって決定される。ステップ28でNOの場合、画素値がステップ36で出力空間に変換される。明度が白色に応じた値に等しいとき、ステップ30で、彩度調整モジュール18によって、彩度値が少なくとも1つのしきい値と比較される。
【0022】
1つの実施例では、彩度値Cはほぼ√(a2 +b2)に等しい。彩度の他の式は、C=|a|+|b|またはC=max(|a|,|b|)のように表される。各画素では、彩度が第1しきい値より大きいとき、その画素の色が保存される。その画素の明度は、ステップ32で、彩度調整モジュール18によって、低い値Lに設定される。上記の詳細は、単に説明した目的のためのものであって、本発明の範囲を限定することを意図するものではない。
【0023】
彩度値を保存するかどうかを決定するための第1しきい値、および彩度を除去するかどうかを決定するための第2しきい値の2つのしきい値は、等しいかまたは異なる。これらの2つのしきい値が等しければ、1つのしきい値のみが有効に用いられる。この選択は、システム設計者に委ねられている。
【0024】
このプロセスから分かるように、明度値の変換および背景レベルの決定が、ステップ26で背景抑制モジュール16によって非常に綿密に行なわれる。背景の除去において、第1ステップは、背景明度レベルの評価(推定)である。図3は、ステップ26でリードエッジデータを用いて背景レベルを評価するプロセスの1つの可能な展開を示す。このリードエッジは、ほとんどの原稿が上部に余白を有する場合、通常、ページの最初の半インチである。効率的にハードウェアを動作させるために、ステップ38で、背景の評価がライン毎に処理される。データのラインは、図2のステップ24と同じプロセスでLAB空間に変換される。
【0025】
すなわち、入力RGBデータは、通常、3×3マトリクスまたは3−Dルックアップテーブル(LUT)を用いて、RGB−LAB変換モジュール14によって、LABに変換される。このLUTは、白色に応じた値以外の値を有する画素上でのみ用いられる。明度は、背景抑制モジュール16によって以下の関数にしたがって変換される。
【0026】
out =Lin *255/Lw in≦Lw
out =255 Lin>Lw
ここで、Lw =白オフセットである。ある実施例では、オフセットは、背景ヒストグラムの広がりに応じて5〜20の間で選択される。この明度変換関数の例を図4に示す。
【0027】
各ラインについて、ヒストグラムは、ステップ42で背景レベルを評価するために作成される。例えば、背景レベルは、図5のヒストグラムに示すように、ステップ44で背景ピーク値(ハイピーク)を与えるように定められる。
【0028】
印刷された写真のように、いくつかの原稿では、リードエッジにおける余白のないものもある。この場合、検出された白色は、背景よりむしろ画像ヒストグラムのピークとなる。この評価された白色が背景除去のために用いられると、強調部分のほとんどが同様に除去される。このような不都合を防止するために、検出されたか、あるいは現在の白色レベルが最小の白色レベル未満である場合、その最小の白色レベルが原稿の背景レベルの評価に用いられることはないように、最小の白色レベルが用いられる。これは、図3のステップ46で示される。ステップ48で、現在の白色レベルが最小の白色レベルを超えると判定された場合、現在の白色レベルが前の背景レベルを超えるかどうかを決定するために、さらなるチェックを実行する。これは、どの適応定数を用いるかを決定する。
【0029】
新たな背景は、次の関数で与えられる。
新しい白色レベル=前の白色レベル*(1−k)+k*現在の白レベル
例えば、ある実施例では、現在の白色レベルが前の白色レベルよりも低いとき、kの値は0.25に設定され、現在の白色レベルが前の白色レベルより高いとき、0.125の値が用いられる。数値を用いる部分は、システム設計者によって決定され、例としてのみ示される。これは、ステップ49で示すように背景を更新する。第1ラインについては、前の白色レベルが評価されていないので、初期の白値が用いられる。その初期の白値は、最もありふれた原画像が適正に再生されるように設定される。また、初期の白値は、印刷された写真の場合のように原画像のリードエッジが暗すぎるとき、デフォルトの白値となる。例としては、初期の白値は230に設定され、最小の白値は220に設定される。
【0030】
そして、図1に示すように、この背景変換関数が実行された後に、彩度調整プロセスが用いられる。彩度調整モジュール18は、上述したように、強調色を保存するために必要なLAB値をシフトする。プリンタ変換モジュール20は、調整されたLABデータをCMYK,CMY,RGBまたは他の所望の出力空間に変換する。
【0031】
例えば、LAB−CMYKモジュールにおいて、各画素は3次元LUTを介してCMYK値に変換される。背景およびいくつかの強調色については、最上L水準(L=255)が色再生を定める。図6は、最上L水準の色テーブル値の中央部分を示す。例えば、17×17×17テーブルを用いることを想定すると、16の間隔をおいたグリッド点が得られる。色テーブルは、背景(L=255,a=0およびb=0)をC=0,M=0,Y=0およびK=0に変換するように設計される。図6に示すように、円の範囲内での255のLとaおよびbを有する入力画素が中央(L=255,a=0およびb=0)に変換される。これは、CMYK点を印刷せずに、背景をきれいに再生することを確実にする。
【0032】
他の方法は、255より小さい(L<255)明度値を有する画素を処理することのみである。L=255の画素については、出力は特定の出力空間における適正な値に自動的に設定される。例えば、上記のLAB−CMYKモジュールにおいて、L=255が自動的に出力値を有する画素は、ルックアップテーブルをバイパスして、C=0,M=0,Y=0およびK=0に設定される。
【0033】
いくつかの強調色は、図6の円の外側の、しきい値を超えた彩度値を有している。式C=√(a2 +b2 )、クロミナンス(aおよびb)は、彩度調整モジュール18によって保存されるが、そのL値はL’に変換する明度によって圧縮される。強調色を再生するために、L’(最上L水準)に応じた色水準は、除去されなかった色を保存するように調整される。これは、測色再生法に応じて要求されるよりも高い値に適合するために中立軸の近くに入る色テーブルを設定することによって達成される。これによって、どの色も、容易に可視化されるべき適正の濃度で再生する彩度調整モジュール18によって確実に除去されなくなる。この方法では、プリンタリソースが、むだな背景色の再生をすることはなく、同時に強調色が保護される。
【0034】
このように、色再生が要求される場合の背景除去のための方法および装置の詳細な実施例についての説明を述べたが、そのような詳細な参考例は、特許請求の範囲の記載以外の本発明の範囲に基づく限定として考慮されることを意図するものではない。
【0035】
【発明の効果】
以上のように、本発明の背景調整の方法、そのプログラムおよび背景調整機能を有するカラー再生装置は、原画像の背景明度レベルを評価し、原画像における画素を輝度−クロミナンス色空間に変換し、前記背景明度のレベルを有する背景画素について、その明度値を白色の明度レベルに設定し、背景画素の彩度値をしきい値と比較し、当該しきい値を超える彩度値を有する背景画素についての色を保存すると共に、前記しきい値未満の彩度値を有する背景画素から彩度を除去して彩度調整し、色保存または彩度調整された画素を含む全ての画素を出力装置の色空間に変換する構成である。
【0036】
これにより、強調色の保存を可能にする背景の抑制方法を有用にする一方、着色紙を用いたときに生じる不要な処理やトナー/インクの使用を回避することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の一形態に係るカラー再生装置を示すブロック図である。
【図2】本発明の実施の一形態に係る背景調整の方法を示すブロック図である。
【図3】本発明の実施の一形態に係る背景明度レベルを決定する方法を示すフローチャートである。
【図4】背景抑圧処理における明度の変換を示すグラフである。
【図5】背景明度レベルを決定するハイピーク値を表すヒストグラムを示すグラフである。
【図6】色テーブルの最高の明度水準を示すグラフである。
【符号の説明】
12 スキャナ(走査手段)
14 RGB−LAB変換モジュール(色空間変換手段)
16 背景抑制モジュール(背景抑制手段)
18 彩度調整モジュール(彩度調整手段)
20 プリンタ変換モジュール(出力変換手段)
22 プリントエンジン
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color reproduction apparatus such as a color copying machine, and more particularly to a method and apparatus for adjusting a background color in a copying machine.
[0002]
[Prior art]
A color reproduction apparatus such as a copying machine or a fax machine usually has a processing system for converting a scanned image into data, and processes the data into an appropriate format for printing. For example, when a user places a color document on the platen of a color copier or on the tray of a fax machine, the device scans the document using a set of red, green and blue (RGB) sensors and at each position in the pixel grid. Data represented by RGB signals is generated. For many applications, the RGB data is then converted to a luminance-chrominance color space, which allows color information and light intensity information to be processed separately. Furthermore, since color information and light intensity information can be expressed with different resolutions, an image in the luminance-chrominance color space can be expressed more compactly in the RGB space.
[0003]
The luminance-chrominance color space typically has three components. An example of this type of color space is CIE Lab. “L” represents the magnitude of lightness from dark to light, and “a” and “b” represent chrominance components. Although CIE LAB is also designed so that equal distances between points in space are approximately equal with respect to the perceived color space, this feature is not the heart of the problem. Other luminance-chrominance color spaces can be used where this property does not exist. Technically, the CIE L value is brightness, and the exact definition differs from the definition of luminance. Either definition can be used to encode light intensity information at a pixel. The light intensity is referred to herein as brightness or L value.
[0004]
In some cases, if the paper with the original image is not white, the background pixels of the LAB image are colored and printed. This is undesirable because it takes a long time to print the background color and consumes toner or ink. Many users who make copies from a single colored sheet do not want such color reproduction. Usually, when the user desires to copy on colored paper, the copying machine is loaded with colored paper before copying the original.
[0005]
In general, most copiers use a function to suppress the background in order to remove the background color of the paper. This suppression function is performed almost only for the brightness component. The brightness of the background pixel is usually converted to white that sets the brightness value to the corresponding white level of the copier. In most copiers, the lightness is set to white with a value of 255 processed 8 bits in the range of 0 to 255.
[0006]
Once the LAB space has been adjusted to suppress the background, the LAB data is converted to an appropriate color space for printing by the print engine. These are typically cyan-magenta-yellow (CMY) space or cyan-magenta-yellow-black (CMYK) space.
[0007]
[Problems to be solved by the invention]
However, a problem occurs when a part of the original image has an emphasized part. In that highlight, lighter colors are used to enhance darker objects. Although there are other examples, the most common is the type in which the text is highlighted with bright yellow, pink or blue light areas surrounding the text character. Emphasized colors are also often used in transformations. If a normal color processing method is used, the brightness of these pixels surrounding the text character is converted to white, and the emphasized portion is not preserved in color copying.
[0008]
Accordingly, the present invention makes use of a background suppression method that enables the preservation of these emphasized colors, while avoiding unnecessary processing and the use of toner / ink that occur when colored paper is used as the original paper. The purpose is that.
[0009]
[Means for Solving the Problems]
The background adjustment method in the color reproduction apparatus of the present invention includes: a) evaluating a background brightness level of an original image; b) converting a pixel in the original image into a luminance-chrominance color space; and the background brightness level. A background pixel having a lightness value set to a white lightness level ; d) a step of comparing the saturation value with a threshold value for the background pixel; and e) a saturation value exceeding the threshold value. Preserving color for the background pixel having: f) removing saturation from the background pixel having a saturation value less than the threshold to generate a saturation-adjusted pixel; g ) Converting all pixels including color-preserved pixels and saturation-adjusted pixels to the color space of the output device.
[0010]
The program for background adjustment in the color reproduction apparatus of the present invention includes a) evaluation of the background brightness level of the original image, b) conversion of the pixel in the original image into luminance-chrominance color space, and c) it exceeds the setting of the white brightness level of lightness values for the background pixels having a level of the background brightness, for d) the background pixel, and comparison with the saturation and threshold values, e) the threshold Storing color for the background pixel having a saturation value; f) generating a saturation-adjusted pixel by removing saturation from the background pixel having a saturation value less than the threshold ; g ) Let the computer perform the conversion of all pixels, including the color-saved pixels and the color-adjusted pixels, to the output space.
[0011]
The color reproduction apparatus of the present invention includes: a) scanning means for scanning the color of the original image and generating input data representing the color of the original image; and b) converting the pixels of the input data into a luminance-chrominance color space. Color space conversion means for performing c) a background suppression means for determining a background lightness level of the original image and setting the lightness value to a white lightness level for a background pixel having the background lightness level ; d) compared to saturation and threshold values of the background pixels, and save the color for the background pixels having a saturation value that exceeds the threshold value, saturation of the background pixels having a saturation value less than the threshold value A saturation adjusting means for removing the degree; and e) an output converting means for converting all the pixels including the pixel in which the color in the luminance-chrominance color space is stored and the saturation-adjusted pixel into the output space. Features that It is.
[0012]
In the above configuration, the background brightness level in the original image is evaluated, and the pixels are converted into a luminance-chrominance color space such as LAB. Many luminance-luminance color spaces are well known in the art and can be applied. A pixel having a lightness level equal to the background lightness level is converted into a value corresponding to white as a background pixel. The saturation value of the background pixel is compared with a threshold value and adjusted as necessary. Then, the LAB data is converted into an output space.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a typical data processing configuration of a color copier. The document is scanned on the scanner 12 to obtain red-green-blue (RGB) values. The RGB values are converted into a luminance-luminance color space such as LAB by the RGB-LAB conversion module 14 (color space conversion means). Here, L represents the luminance / lightness component, and a and b are sometimes referred to as C1 and C2 representing the chrominance component. Here, to avoid confusion, this particular color space is LAB rather than Lab. When referred to individually, they are denoted as chrominance components “a” and “b”. Since most originals are not completely white and change from one paper type to another, the background suppression module 16 (background suppression means) suppresses the background in order to convert the paper background to white. It is. If this process is not performed, the printer will give a light background color, using unnecessary resources and producing undesirable results.
[0014]
The background suppression module 16 evaluates (estimates) and determines the background lightness level in the luminance-chrominance data (luminance-chrominance color space) obtained as a result of the conversion by the RGB-LAB conversion module 14, and also determines the background lightness level. A pixel having a brightness level substantially equal to is set as a background pixel, and its brightness value is set to be approximately equal to a value corresponding to white.
[0015]
For low cost copiers, background suppression is usually performed using only the brightness component, and the brightness of the sheet itself is converted to white. When using normal 8-bit printing, this value is set to L = 255. In the current color reproduction device, the background-suppressed data is converted into the output device space by the printer conversion module 20 (output conversion means). In the printer, this output device space is usually cyan-magenta-yellow-black (CMYK) or cyan-magenta-yellow (CMY). The output device space used here is a color space used by the printer engine 22 (output device), which is also an output space. In the color reproduction device, the print engine 22 prints output space data. The current system does not include the saturation adjustment module 18 shown in FIG. 1, which will be described in more detail below.
[0016]
The RGB-LAB conversion module 14, the background suppression module 16, the printer conversion module 20, and the later-described saturation adjustment module 18 may be configured by hardware, but may be configured by software. The software includes a program for executing the processing procedure of the flowcharts of FIGS. 2 and 3 described below. This program may be a file that can be downloaded to the color reproduction device, or may be firmware used for a processor for the color reproduction device.
[0017]
The above program is recorded on a recording medium so that the function of each module described above is executed by a processor functioning as a computer in the color reproduction apparatus and the processor can read the program. The recording medium is not particularly limited as long as a magnetic disk, an optical disk, a semiconductor memory, and the like can be used and the processor can read the recording medium.
[0018]
FIG. 2 illustrates one embodiment of a method for adjusting saturation values to preserve bright colors while suppressing background colors of the present invention. Once the background level is determined, the background level is converted to white in the background suppression module 16, as will be described with respect to FIGS.
[0019]
The lightness conversion function converts the background lightness to a value corresponding to white using the above 8-bit example (value of 255). However, the lightness conversion function also converts the lightness of the colors of some emphasized parts to white as well. This makes it difficult to preserve the color of the emphasized portion. In addition, many originals themselves are slightly colored and have a non-zero chrominance of a and b. Such background coloring is copied due to background coloring that occurs during reproduction. This usually appears as a color dot printed in the background area of the reproduction. These color dots not only cause unnecessary consumption of toner or ink, but also prevent the printer from jumping over the white space, leading to a reduction in printing speed.
[0020]
The saturation adjustment module 18 of FIG. 1 is provided to solve this problem. The saturation adjustment module 18 determines whether the saturation value of the background pixel exceeds a threshold value, and sets the background pixel having the saturation value exceeding the threshold value to a brightness level different from the brightness corresponding to white. Adjust to remove saturation from background pixels with saturation values below the threshold.
[0021]
After the RGB value is converted to the LAB space in step 24, once the background is converted in step 26 of FIG. 2, the lightness value is substantially equal to the value corresponding to white (L = white) in step 28. , Its value is checked for confirmation. The degree to which the brightness value is equal to the brightness value according to white is determined by the system designer . If NO in step 28, the pixel value is converted into output space at step 36. When the lightness is equal to a value corresponding to white, at step 30, the saturation adjustment module 18 compares the saturation value to at least one threshold value.
[0022]
In one embodiment, the saturation value C is approximately equal to √ (a 2 + b 2 ). Other expressions of saturation are expressed as C = | a | + | b | or C = max (| a |, | b |). For each pixel, when the saturation is greater than the first threshold, the color of that pixel is preserved. The brightness of the pixel is set to a low value L by the saturation adjustment module 18 at step 32 . Details on Symbol of, merely for the purpose described are not intended to limit the scope of the present invention.
[0023]
The two thresholds, a first threshold for determining whether to save the saturation value and a second threshold for determining whether to remove the saturation, are equal or different. If these two thresholds are equal, only one threshold is effectively used. This choice is left to the system designer.
[0024]
As can be seen from this process, the conversion of lightness values and the determination of the background level are performed very carefully by the background suppression module 16 at step 26. In background removal, the first step is the evaluation (estimation) of the background brightness level. FIG. 3 illustrates one possible development of the process of evaluating background levels using lead edge data at step 26. This lead edge is usually the first half inch of the page when most documents have a margin at the top. In order to operate the hardware efficiently, in step 38 the background evaluation is processed line by line. The line of data is converted to LAB space in the same process as step 24 in FIG.
[0025]
That is, the input RGB data is usually converted to LAB by the RGB-LAB conversion module 14 using a 3 × 3 matrix or a 3-D look-up table (LUT). This LUT is used only on pixels having values other than those corresponding to white. The lightness is converted by the background suppression module 16 according to the following function.
[0026]
L out = L in * 255 / L w L in ≦ L w
L out = 255 L in > L w
Here, L w = white offset. In one embodiment, the offset is selected between 5 and 20 depending on the spread of the background histogram. An example of this brightness conversion function is shown in FIG.
[0027]
For each line, a histogram is created at step 42 to evaluate the background level. For example, the background level is determined to give a background peak value (high peak) in step 44 as shown in the histogram of FIG.
[0028]
Some originals, such as printed photographs, have no margin at the lead edge. In this case, the detected white color is the peak of the image histogram rather than the background. When this estimated white color is used for background removal, most of the enhancement is removed as well. To prevent such inconvenience, if the detected white level is less than the minimum white level, the minimum white level is not used to evaluate the background level of the document. The minimum white level is used. This is indicated by step 46 in FIG. If it is determined at step 48 that the current white level exceeds the minimum white level, a further check is performed to determine whether the current white level exceeds the previous background level. This determines which adaptation constant is used.
[0029]
The new background is given by the function
New white level = previous white level * (1−k) + k * current white level For example, in one embodiment, when the current white level is lower than the previous white level, the value of k is set to 0.25 When the current white level is higher than the previous white level, a value of 0.125 is used. The part using numerical values is determined by the system designer and is shown only as an example. This updates the background as shown in step 49. For the first line, since the previous white level has not been evaluated, the initial white value is used. The initial white value is set so that the most common original image is properly reproduced. Also, the initial white value becomes the default white value when the leading edge of the original image is too dark as in the case of a printed photograph. As an example, the initial white value is set to 230 and the minimum white value is set to 220.
[0030]
Then, as shown in FIG. 1, after the background conversion function is executed, a saturation adjustment process is used. As described above, the saturation adjustment module 18 shifts the LAB value necessary for storing the emphasized color. The printer conversion module 20 converts the adjusted LAB data into CMYK, CMY, RGB, or other desired output space.
[0031]
For example, in the LAB-CMYK module, each pixel is converted into a CMYK value via a three-dimensional LUT. For the background and some highlight colors, the top L level (L = 255) defines the color reproduction. FIG. 6 shows the central portion of the color table value at the top L level. For example, assuming that a 17 × 17 × 17 table is used, grid points with 16 intervals are obtained. The color table is designed to convert the background (L = 255, a = 0 and b = 0) to C = 0, M = 0, Y = 0 and K = 0. As shown in FIG. 6, an input pixel having 255 L and a and b within a circle is converted to the center (L = 255, a = 0 and b = 0). This ensures that the background is reproduced cleanly without printing CMYK points.
[0032]
The other method is only to process pixels with lightness values less than 255 (L <255). For pixels with L = 255, the output is automatically set to a proper value in a specific output space. For example, in the LAB-CMYK module described above, pixels for which L = 255 automatically has an output value are set to C = 0, M = 0, Y = 0 and K = 0, bypassing the lookup table. The
[0033]
Some highlight colors have saturation values that exceed the threshold outside the circle in FIG. The expression C = √ (a 2 + b 2 ), chrominance (a and b) is stored by the saturation adjustment module 18, but its L value is compressed by the lightness to convert to L ′. In order to reproduce the emphasized color, the color level corresponding to L ′ (the highest L level) is adjusted to preserve the color that has not been removed. This is accomplished by setting a color table that comes near the neutral axis to fit higher values than required depending on the colorimetric reproduction method. This ensures that no color is removed by the saturation adjustment module 18 that reproduces at the proper density to be easily visualized. In this method, the printer resource does not reproduce the wasteful background color, and the emphasized color is protected at the same time.
[0034]
As described above, the detailed embodiment of the method and apparatus for removing the background when color reproduction is required has been described. However, such a detailed reference example is not described in the scope of claims. It is not intended to be considered as a limitation on the scope of the invention.
[0035]
【The invention's effect】
As described above, the background adjustment method of the present invention, the program thereof, and the color reproduction apparatus having the background adjustment function evaluate the background brightness level of the original image, convert the pixels in the original image into the luminance-chrominance color space, for background pixels having a level of the background brightness, and set the brightness value to the white brightness level, the chroma value of the background pixel is compared with the threshold value, the background pixels having a saturation value greater than the threshold value And a color adjustment method by removing the saturation from the background pixels having a saturation value less than the threshold value, and outputting all the pixels including the color-saved or saturated pixels The color space is converted into a color space.
[0036]
This makes it possible to use a background suppression method that enables preservation of emphasized colors, while avoiding unnecessary processing and use of toner / ink that occur when colored paper is used.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a color reproduction apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a background adjustment method according to an embodiment of the present invention.
FIG. 3 is a flowchart illustrating a method for determining a background lightness level according to an embodiment of the present invention.
FIG. 4 is a graph showing lightness conversion in background suppression processing;
FIG. 5 is a graph showing a histogram representing a high peak value for determining a background lightness level.
FIG. 6 is a graph showing the highest brightness level of the color table.
[Explanation of symbols]
12 Scanner (scanning means)
14 RGB-LAB conversion module (color space conversion means)
16 Background suppression module (background suppression means)
18 Saturation adjustment module (Saturation adjustment means)
20 Printer conversion module (output conversion means)
22 Print Engine

Claims (13)

a)原画像における画素を明度−クロミナンス色空間に変換するステップと、
b)前記原画像の背景明度レベルを推定するステップと
c)前記背景明度レベルを有すると推定された背景画素について、その明度値を白色の明度レベルに設定するステップと、
d)前記背景画素について、彩度値をしきい値と比較するステップと、
e)前記しきい値を越える彩度値を有する前記背景画素についての色を保存するステップと、
f)前記しきい値以下の彩度値を有する前記背景画素から彩度を除去し、彩度調整された画素を生成するステップと、
g)色が保存された画素および彩度調整された画素を含む全ての画素を出力装置の色空間へ変換するステップと
前記背景明度レベルを推定するステップは、さらに原稿の各ラインのヒストグラムを作成し、各ラインのヒストグラムにおけるハイピーク値として白色レベルを検出するステップを有し、
前記白色レベルを検出するステップは、前記ハイピーク値として検出された白色レベルが、背景明度レベルの推定に用いられない最小の白色レベル未満であるとき、当該白色レベルを背景明度レベルの推定に用いない一方、検出された白色レベルが、前記最小の白色レベル以上であるとき、当該白色レベルを背景明度レベルの推定に用いるステップとを含むことを特徴とする背景調整方法。
a) converting pixels in the original image to a lightness-chrominance color space;
b) wherein the estimated background pixels to have a step and c) the background bright Any bell to estimate the background intensity level of the original image, a step of setting the brightness values in the white brightness level,
d) comparing the saturation value with a threshold for the background pixel;
e) storing a color for the background pixel having a saturation value that exceeds the threshold;
f) removing saturation from the background pixels having a saturation value less than or equal to the threshold to generate a saturation adjusted pixel;
g) converting all pixels, including color-preserved pixels and saturation-adjusted pixels, to the output device color space ;
The step of estimating the background lightness level further includes creating a histogram of each line of the document and detecting a white level as a high peak value in the histogram of each line,
In the step of detecting the white level, when the white level detected as the high peak value is less than a minimum white level that is not used for estimating the background brightness level, the white level is not used for estimating the background brightness level. On the other hand, when the detected white level is equal to or higher than the minimum white level, the method includes a step of using the white level for estimating the background brightness level .
前記白色の明度レベルが暗から明への明度レベルが0〜255段階で表現されたときの255であることを特徴とする請求項1に記載の背景調整方法。Background adjustment method according to claim 1, wherein the white brightness level to the brightness level of dark to light is characterized in that it is a 255 when expressed in 0 to 255 steps. 前記出力装置の色空間がCMYK空間であることを特徴とする請求項1に記載の背景調整方法。  The background adjustment method according to claim 1, wherein a color space of the output device is a CMYK space. 前記出力装置の色空間がCMY空間であることを特徴とする請求項1に記載の背景調整方法。  The background adjustment method according to claim 1, wherein a color space of the output device is a CMY space. 前記出力装置の色空間がRGB空間であることを特徴とする請求項1に記載の背景調整方法。  The background adjustment method according to claim 1, wherein a color space of the output device is an RGB space. a)原画像における画素の明度−クロミナンス色空間への変換と、
b)前記原画像の背景明度レベルの推定と、
c)前記背景明度レベルを有すると推定された背景画素についての明度値の白色の明度レベルへの設定と、
d)前記背景画素について、彩度値としきい値との比較と、
e)前記しきい値を越える彩度値を有する前記背景画素についての色の保存と、
f)前記しきい値未満の彩度値を有する前記背景画素から彩度を除去することによる彩度調整された画素の生成と、
g)色が保存された画素および色調整された画素を含む全ての画素の出力空間への変換とをコンピュータに実行させるプログラムであって、
前記背景明度レベルの推定は、さらに原稿の各ラインのヒストグラムを作成し、各ラインのヒストグラムにおけるハイピーク値として白色レベルを検出し、
前記白色レベルの検出は、前記ハイピーク値として検出された白色レベルが、背景明度レベルの推定に用いられない最小の白色レベル未満であるとき、当該白色レベルを背景明度レベルの推定に用いない一方、検出された白色レベルが、前記最小の白色レベル以上であるとき、当該白色レベルを背景明度レベルの推定に用いることをコンピュータに実行させるプログラム
a) conversion of pixel brightness in the original image to chrominance color space;
b) estimating the background brightness level of the original image;
setting of the white brightness level of the brightness values for the estimated background pixels as having c) the background bright Any Bell,
d) for the background pixel, comparing the saturation value with a threshold;
e) storing a color for the background pixel having a saturation value exceeding the threshold;
f) generating a saturation-adjusted pixel by removing saturation from the background pixel having a saturation value less than the threshold;
g) a program for causing a computer to execute conversion of all pixels including color-saved pixels and color-adjusted pixels to an output space ,
The estimation of the background lightness level further creates a histogram of each line of the document, detects a white level as a high peak value in the histogram of each line,
In the detection of the white level, when the white level detected as the high peak value is less than the minimum white level that is not used for estimation of the background brightness level, the white level is not used for estimation of the background brightness level. When the detected white level is equal to or greater than the minimum white level, the program causes the computer to execute the use of the white level for estimating the background brightness level .
前記コンピュータにダウンロード可能なファイルである請求項に記載のプログラム。The program according to claim 6 , wherein the program is a file that can be downloaded to the computer . 前記コンピュータのためのプロセッサにおけるファームウェアである請求項に記載のプログラム。The program according to claim 6 , which is firmware in a processor for the computer . 請求項ないしのいずれか1項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which the program according to any one of claims 6 to 8 is recorded. a)原画像の色を走査すると共に、該原画像の色を表す入力データを生成する走査手段と、
b)前記入力データの画素を明度−クロミナンス色空間に変換する色空間変換手段と、
c)前記原画像の背景明度レベルを決定し、
前記背景明度レベルを有すると推定された背景画素について、その明度値を白色の明度レベルに設定する背景抑制手段と、
d)前記背景画素の彩度値としきい値と比較し、
前記しきい値を越える彩度値を有する前記背景画素についての色を保存し、
前記しきい値未満の彩度値を有する背景画素から彩度を除去する彩度調整手段と、
e)前記明度−クロミナンス色空間における色が保存された画素および彩度調整された画素を含む全ての画素を出力空間に変換する出力変換手段とを備え
前記背景抑制手段は、さらに原稿の各ラインのヒストグラムを作成し、各ラインのヒストグラムにおけるハイピーク値として白色レベルを検出し、
さらに、前記ハイピーク値として検出された白色レベルが、背景明度レベルの推定に用いられない最小の白色レベル未満であるとき、当該白色レベルを背景明度レベルの推定に用いない一方、検出された白色レベルが、前記最小の白色レベル以上であるとき、当該白色レベルを背景明度レベルの推定に用いることを特徴とするカラー再生装置。
a) scanning means for scanning the color of the original image and generating input data representing the color of the original image;
b) color space conversion means for converting pixels of the input data into a lightness -chrominance color space;
c) determining the background brightness level of the original image;
For the estimated background pixels to have the background bright Any bell, and background suppression means for setting the brightness value in the white brightness level,
d) comparing the saturation value of the background pixel with a threshold value;
Storing a color for the background pixel having a saturation value exceeding the threshold;
Saturation adjusting means for removing saturation from background pixels having a saturation value less than the threshold;
e) output conversion means for converting all the pixels including the pixels in which the color in the lightness -chrominance color space is stored and the saturation-adjusted pixels into an output space ;
The background suppression means further creates a histogram of each line of the document, detects a white level as a high peak value in the histogram of each line,
Furthermore, when the white level detected as the high peak value is less than the minimum white level that is not used for estimation of the background brightness level, the white level is not used for estimation of the background brightness level, while the detected white level is detected. Is equal to or greater than the minimum white level, the white level is used for estimating the background brightness level .
前記装置が複写機であることを特徴とする請求項10に記載のカラー再生装置。The color reproduction apparatus according to claim 10 , wherein the apparatus is a copying machine. 前記装置がファックス機であることを特徴とする請求項10に記載のカラー再生装置。The color reproduction apparatus according to claim 10 , wherein the apparatus is a fax machine. 前記色空間変換手段は、入力データの画素を明度−クロミナンス色空間に変換するルックアップテーブルを含んでいることを特徴とする請求項10に記載のカラー再生装置。11. The color reproduction apparatus according to claim 10 , wherein the color space conversion means includes a lookup table for converting pixels of input data into a lightness -chrominance color space.
JP2002197988A 2002-07-05 2002-07-05 Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus Expired - Fee Related JP4342773B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002197988A JP4342773B2 (en) 2002-07-05 2002-07-05 Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002197988A JP4342773B2 (en) 2002-07-05 2002-07-05 Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus

Publications (2)

Publication Number Publication Date
JP2004040672A JP2004040672A (en) 2004-02-05
JP4342773B2 true JP4342773B2 (en) 2009-10-14

Family

ID=31705579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002197988A Expired - Fee Related JP4342773B2 (en) 2002-07-05 2002-07-05 Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus

Country Status (1)

Country Link
JP (1) JP4342773B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1898625A3 (en) 2006-09-06 2009-10-14 Murata Machinery Ltd. Apparatus and method for deciding image color
JP6001983B2 (en) * 2012-10-01 2016-10-05 株式会社沖データ Image processing device

Also Published As

Publication number Publication date
JP2004040672A (en) 2004-02-05

Similar Documents

Publication Publication Date Title
US6995866B2 (en) Method and apparatus for background adjustment in color reproduction devices
US7903872B2 (en) Image-processing apparatus and method, computer program, and storage medium
JP4139834B2 (en) Image processing apparatus, image forming apparatus, image reading apparatus, image processing method, image processing program, and computer-readable recording medium recording image processing program
US20080181491A1 (en) Color to grayscale conversion method and apparatus
JP6379794B2 (en) Image processing apparatus, image processing method, and image processing system
JPH09168091A (en) Image processor and method
JP3964297B2 (en) Image processing apparatus, image processing method, and program executed by computer
US20050078867A1 (en) System and method for generating black and white reproductions of color documents
KR102072887B1 (en) Image processing apparatus, image processing method, and storage medium
JP2010093684A (en) Image processor
JP4226278B2 (en) Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium recording the same
JP2021106056A (en) Image processing apparatus and image processing method
JP2008268620A (en) Image forming apparatus
JP3929030B2 (en) Image processing device
JP2007088741A (en) Image processing apparatus and image processing method
JP2005286571A (en) Image processing apparatus, image forming apparatus provided with image processing apparatus, image processing method, image processing program, and recording medium with image processing program recorded thereon
JP4596964B2 (en) Image processing apparatus, image forming apparatus, image processing method, computer program, and recording medium
JP4342773B2 (en) Background adjustment method in color reproduction apparatus, program for background adjustment, and color reproduction apparatus
JP2004187119A (en) Device, system, and method for processing image
JP6474315B2 (en) Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium therefor
JP7266462B2 (en) IMAGE PROCESSING APPARATUS, IMAGE FORMING APPARATUS, IMAGE PROCESSING METHOD AND PROGRAM
JP2009005068A (en) Image processing apparatus and image processing method
JP3965647B2 (en) Image processing apparatus, image processing method, program for executing the method, and recording medium storing the program
JP7495660B2 (en) Image processing device and computer program
JP4029997B2 (en) Color conversion apparatus, color conversion method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071108

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071119

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080321

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4342773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees