JP4878008B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP4878008B2
JP4878008B2 JP2007190318A JP2007190318A JP4878008B2 JP 4878008 B2 JP4878008 B2 JP 4878008B2 JP 2007190318 A JP2007190318 A JP 2007190318A JP 2007190318 A JP2007190318 A JP 2007190318A JP 4878008 B2 JP4878008 B2 JP 4878008B2
Authority
JP
Japan
Prior art keywords
color
space
distance
signal
lightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007190318A
Other languages
English (en)
Other versions
JP2009027570A (ja
Inventor
誠司 宮原
博顕 鈴木
寿夫 白沢
博一 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007190318A priority Critical patent/JP4878008B2/ja
Publication of JP2009027570A publication Critical patent/JP2009027570A/ja
Application granted granted Critical
Publication of JP4878008B2 publication Critical patent/JP4878008B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、ある色空間の色信号を別の色空間の色信号へ変換する画像処理装置及び画像処理方法に係り、特に、変換の際に明度補正を含む色域圧縮処理を行う画像処理装置及び画像処理方法に関する。
一般に、テレビジョンやCRTディスプレイ、液晶ディスプレイ等の色再現範囲に比べ、電子写真方式プリンタ、インクジェット方式プリンタ等の出力デバイスの色再現範囲は狭い。従来から、入力カラー画像の色再現範囲と出力デバイスの色再現範囲との違いに対応するための多くの色補正方法が知られている。これらの色補正では、色みの補正としてRGBデータの各成分や色相や彩度の調整、明るさやコントラストの補正として輝度もしくは明度の調整が行われる。
明るさやコントラストの補正に関しては、特許文献1に記載されている輝度調整方法が知られている。この方法では、輝度調整すべき入力画像データの各画素の輝度値と、その画素全ての入力輝度範囲とを算出し、入力輝度範囲と予め用意された出力デバイスの輝度範囲とを比較し、入力輝度範囲が出力デバイスの輝度範囲と合っていない場合に、入力画像データの全画素の輝度値を出力デバイスの輝度範囲に合わせて、かつ入力画像データの各画素の彩度が大きいほど輝度調整量が小さくなるように輝度調整量を補正し、その輝度調整量を用いて入力画像データの各画素の輝度値を調整する。
また、特許文献2には、RGB表色系の画像データをLab表色系の画像データに変換し、変換後のLab表色系の画像データにおける明度情報であるL成分に基づき補正パラメータを算出し、この補正パラメータに基づき、そのLab表色系の画像データのL成分に明度補正処理を行う画像処理装置が記載されている。
また、特許文献3には、色度を一定にして明度圧縮を行い、中明度領域では圧縮前後の色信号の変動を抑え、最高明度付近及び最低明度付近では、圧縮率を大きくする信号処理装置が記載されている。
特開2004−336655号公報 特開2004−96199号公報 特開2000−188694号公報
前記従来技術には解決すべき点がある。すなわち、通常、入出力デバイスの明度レンジを合わせるのであれば、白色点(WP)と黒色点(BP)の明度補正量が最大となるべきである。しかし、特許文献1では、彩度が大きいほど明度補正量を小さくするため、WPやBPの彩度が0ではない場合、WPやBP以外の色信号の方が大きく圧縮され、出力デバイスの色域が無駄になるという問題がある。
例えば、図11に示すように、入力色信号の色域のBPがほぼ知覚量空間(図ではCIELAB空間を想定し明度L*軸を縦軸としている)の無彩色軸上にあり、出力デバイスの色域のBPが無彩色軸上から少し離れている場合(通常、プリンタ等の出力デバイスのBPは知覚量空間では彩度は全くの0にはならない)、入力色信号の色域のBPが出力デバイスの色域の輝度範囲内に収まるような補正を行い、それよりも高彩度になるほど補正量を小さくする明度補正を行ったのでは、出力デバイスの色域のBP近傍の領域を利用できない。逆に、図12に示すように、出力デバイスの色域のBPがCIELAB空間の無彩色軸上にあり、入力色信号の色域のBPが無彩色軸からずれている場合には、無彩色軸上の色信号の明度圧縮量が最大になるため、入力色信号の色域の彩度が0でないBPが出力デバイスの色域の輝度範囲内に収まらない。
また、特許文献2では、彩度情報を利用していないため、出力デバイスの色域の中彩度から高彩度の領域でも無彩色軸付近と同様に明度が補正されることから色再現性に難点がある。
また、特許文献3では、中明度領域においては明度補正量を抑制するため忠実な色再現が可能であるが、彩度に応じた補正を行わないため、高明度領域及び低明度領域の中彩度部から高彩度部での色再現性に難点がある。
本発明は、上記問題点に鑑み、ある色空間の色信号から出力デバイス用の色空間の色信号への変換の際に明度補正を含む色域圧縮を行う画像処理装置又は方法において、出力デバイスの色域の損失を抑制した適切な明度補正を行い、良好な色再現を可能にすることを目的とする。
請求項記載の発明に係る画像処理装置は、
第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換手段と、
前記知覚量空間色信号の明度補正を行う明度補正処理手段と、
前記明度補正処理手段による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング手段とを有し、
前記明度補正処理手段は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出手段と、HSL空間において前記知覚量空間色信号と同一色相での前記第1色空間の最高彩度点と前記第1色空間の無彩色軸上の1点を結ぶ線と、当該知覚量空間色信号との明度方向の距離を算出する第2の距離算出手段とを含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出手段により算出された距離及び前記第2の距離算出手段により算出された距離に応じて調整することを特徴とする。
請求項記載の発明は、請求項に記載の発明に係る画像処理装置において、前記第1の距離算出手段は、明度補正前の前記知覚量空間色信号のHSL空間又はHSV空間での飽和度を、当該知覚量空間色信号と前記第1色空間の無彩色軸との距離として算出することを特徴とする。
請求項記載の発明は、請求項に記載の発明に係る画像処理装置において、前記知覚量空間として、観察環境の違いによらない色の見えを考慮した色空間を用いることを特徴とする。
請求項記載の発明に係る画像処理方法は、
第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換工程と、
前記知覚量空間色信号の明度補正を行う明度補正処理工程と、
前記明度補正処理工程による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング工程とを有し、
前記明度補正処理工程は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出工程と、HSL空間において前記知覚量空間色信号と同一色相での前記第1色空間の最高彩度点と前記第1色空間の無彩色軸上の1点を結ぶ線と、当該知覚量空間色信号との明度方向の距離を算出する第2の距離算出工程とを含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出工程により算出された距離及び前記第2の距離算出工程により算出された距離に応じて調整することを特徴とする。
請求項記載の発明は、請求項に記載の発明に係る画像処理方法において、前記第1の距離算出工程は、明度補正前の前記知覚量空間色信号のHSL空間又はHSV空間での飽和度を、当該知覚量空間色信号と前記第1色空間の無彩色軸との距離として算出することを特徴とする。
請求項記載の発明は、請求項に記載の発明に係る画像処理方法において、前記知覚量空間として、観察環境の違いによらない色の見えを考慮した色空間を用いることを特徴とする。
請求項記載の発明は、請求項4乃至6のいずれか1項に記載の発明に係る画像処理方法の各工程をコンピュータに実行させるプログラムを提供する。
本発明によれば、第1色空間の無彩色軸又は第2色空間の所定の色域(出力デバイスの色域)の無彩色軸からの知覚量空間色信号の距離が大きいほど、その知覚量空間色信号に対する明度補正量を小さくするように明度補正量を調整することにより、出力デバイスの色域の損失、特に無彩色軸近傍領域の損失を防止もしくは抑制した適切な明度補正を行うことができる。HSL空間において、知覚量空間色信号の、それと同一色相での第1色空間の最高彩度点と第1色空間の無彩色軸上の1点を結ぶ線からの明度方向の距離を算出し、この距離及び無彩色軸からの距離に応じて明度補正量を調整することにより、出力デバイスの色域の無彩色軸近傍のみならず中彩度から高彩度の領域についても、その損失を防止もしくは抑制した適切な明度補正を行うことができる。したがって、より良好な色再現が可能になる。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る画像処理装置の全体的構成を示すブロック図である。この画像処理装置は、第1の色空間(ここでは例えばsRGB空間)の入力色信号1を、出力デバイス用の第2の色空間(ここでは例えばCMY空間)の出力色信号9へ変換するものであり、この変換の過程において知覚量空間上で明度補正を含む色域圧縮処理を行う。
画像処理装置は、色信号(sRGB信号)1を知覚量空間の色信号(ここでは例えばCIELAB空間のL*a*b*信号)へ変換する第1色変換部2、CIELAB空間におけるsRGB空間の無彩色軸に関する情報を設定する無彩色軸設定部3、CIELAB空間における第2の色空間の所定の色域(出力デバイスの色域)に関する情報を保持している色域情報保持部7を備える。また、知覚量空間色信号であるL*a*b*信号に対する明度補正量ΔLを算出する明度補正量算出部4、L*a*b*信号の明度L*を明度補正量ΔLだけ補正する明度補正部5、色域情報保持部7に保持されている色域情報に基づいて、CIELAB空間において明度補正後のL*a*b*信号を第2の色空間の色域(出力デバイスの色域)へ圧縮する色域マッピング処理を行うマッピング部6、色域マッピング処理後のL*a*b*信号を例えば3D−LUTを用いた補間演算などの方法を用いて第2の色空間であるCMY空間の色信号9へ変換する第2色変換部8から構成される。
無彩色軸設定部3は、第1の色空間であるsRGB空間の無彩色に相当する色信号(例えばR=G=B=0,1,・・・255等)を第1色変換部2へ入力し、それに対応したL*a*b*値を第1色変換部2より受け取り、CIELAB空間におけるsRGB空間の無彩色軸情報を設定し、それを明度補正量算出部4へ送る。なお、第1の色空間の種類が固定している場合には、無彩色軸設定部3を省き、予め用意した無彩色軸情報を明度補正量算出部4に固定的に設定することも可能である。また、第2の色空間とその色域(出力デバイスの色域)が固定している場合には、色域情報保持部7を省き、予め用意した色域情報をマッピング部6及び明度補正量算出部4に固定的に設定することも可能である。
明度補正量算出部4は、図2のブロック図に示すように、距離算出部41、明度補正量補正係数算出部42及び補正量算出部43から成る。
距離算出部41では、第1色変換部2から送られてきたL*a*b*信号と、無彩色軸設定部3から送られてきた無彩色軸情報とに基づいて、L*a*b*信号の無彩色軸からの距離を算出し、距離情報をL*a*b*信号と共に明度補正量補正係数算出部42に送る。
明度補正量補正係数算出部42は、受け取った距離情報を基に明度補正量補正係数を算出し、この明度補正量補正係数をL*a*b*信号と共に補正量算出部43へ送る。
補正量算出部43では、所定の算出方法に従ってL*a*b*信号に対する仮の明度補正量を算出し、この仮の明度補正量を明度補正量補正係数を用いて補正することによりL*a*b*信号に対する明度補正量ΔLを算出し、それをL*a*b*信号とともに明度補正部5へ送る。明度補正部5では、明度補正量ΔLでL*a*b*信号の明度L*を補正する。
以下、本実施形態のいくつかの実施例について、より詳細に説明する。
[実施例1A]
無彩色軸設定部3は、第1色変換部2に第1の色空間の無彩色に相当する色信号を送り、それに対応したL*a*b*値を受け取る。ここでは第1の色空間をsRGB空間としているので、例えば、(R,G,B)=(0,0,0),(1,1,1),・・・,(255,255,255)といったR=G=Bの信号が該当する。また、無彩色信号をホワイトポイント(WP)に対応した(R=G=B=255)と、ブラックポイント(BP)に対応した(R=G=B=0)のみとしてもよい。このようにして第1色変換部2より取得した無彩色信号に対応したL*a*b*値から、(1)式の計算を行い、明度Lを細かく刻んだ無彩色軸の情報を設定する。
(L*,a*,b)=(L*bp,a*bp,b*bp)+u(L*d,a*d,b*d)
・・・(1)
但し、
(L*,a*,b*):任意のL*におけるL*a*b*
(L*bp,a*bp,b*bp):BPのL*a*b*
(L*d,a*d,b*d):WP⇒BPもしくはBP⇒WPの方向ベクトル
u:係数
より具体的には、(1)式において、a*b*を求めたいL*(=0.0,0.1,0.2,0.3,・・・,100.0)を設定すると、uの値が決定し、a*b*の値が求まる。これにより、例えば明度L*が0.1刻みのL*a*b*値のデータセットとして無彩色軸情報が設定され、明度補正量算出部4内の距離算出部41へ送られる。
距離算出部41では、無彩色軸情報を参照し、第1色変化部2から入力されたL*a*b*信号(以下、入力L*a*b*信号と呼ぶ)と最も近い明度Lの無彩色軸上の点のL*a*b*値(L*_gray,a*_gray,b*_gray)を求め、入力L*a*b*信号と無彩色軸との距離dを(2)式により算出する。
d=((L*_in-L*_gray)^2+(a*_in-a*_gray)^2+(b*_in-b*_gray)^2)^(1/2)
・・・(2)
但し、
d:入力L*a*b*信号と無彩色軸との距離
L*_in,a*_in,b*_in:入力L*a*b*信号のL*a*b*値
L*_gray,a*_gray,b*_gray:無彩色軸上の点のL*a*b*値
なお、入力L*a*b*信号と明度の近い無彩色軸上の2点を選び、その2点のL*a*b*値の補間演算により、入力L*a*b*信号と同一明度の無彩色軸上の点のa*b*値(a*_gray,b*_tray)を求め、これを用いて入力L*a*b*信号と無彩色軸との距離を求めることも可能である。この場合、L*_in=L*_grayであるので、(2)式における(L*_in−L*_gray)^2の項は不要である。
また、入力L*a*b*信号を、例えば元のsRGB信号に逆変換してからHSV空間又はHSL空間へ変換し、そのS値すなわち飽和度を(これは通常、無彩色軸との距離とは一致しないが便宜的に)無彩色軸との距離として用いることも可能である(請求項)。これは後記実施例1Bでも同様である。なお、RGBからHSV又はHSLへの変換やその逆変換は周知であるので、その変換式の説明は省略する(例えば、URL:http://www.easyrgb.com/math.html のWEBサイト等参照)。
このようにして算出した入力L*a*b*信号の無彩色軸との距離dは、入力L*a*b*信号とともに明度補正量補正係数算出部42へ送られる。
明度補正量補正係数算出部42は、無彩色軸からの距離dを用い、例えば(3)式により明度補正量補正係数αを算出し、これを入力L*a*b*信号と共に補正量算出部43へ送る。
α=1−(d/50)^2
但し、α<0のときはα=0 ・・・(3)
補正量算出部43では、まず、(4)式により入力L*a*b*信号に対する仮の明度補正量ΔL_tempを算出する。
L*_temp=L*_in×(WP_L2−BP_L2)/(WP_L1−BP_L1)+BP_L2
ΔL_temp=L*_in−L*_temp ・・・(4)
但し、
L*_in:入力L*a*b*信号の明度L*
WP_L1,BP_L1:第1の色空間(sRGB空間)のWPとBPの明度L*
WP_L2,BP_L2:出力デバイスの色域のWPとBPの明度L*
そして、(5)式により仮の明度補正量ΔL_tempを明度補正量補正係数αで補正した最終的な明度補正量ΔLを算出し、それを入力L*a*b*信号とともに明度補正部5へ送る。
ΔL=α×ΔL_temp ・・・(5)
明度補正部5では、明度補正量ΔLを用いて入力L*a*b*信号に明度補正を施す。すなわち、
L*'=L*+ΔL
a*'=a*
b*'=b* ・・・(6)
明度補正後の入力L*a*b*信号(L*'a*'b*')をマッピング部6へ送る。
マッピング部6では、明度補正後の入力L*a*b*信号が出力デバイスの色域内に含まれるか否か判定し、色域外であった場合は色域内へ圧縮する色域マッピング処理を行う。この圧縮は主として彩度成分の圧縮である。より具体的に説明すると、明度補正後の入力L*a*b*信号から、その彩度Cと色相角hを算出する。
C=(a*×a*+b*×b*)^(1/2) ・・・(7)
h=(180/π)×atan2(b*,a*) ・・・(8)
但し、算出されたhが負値となったときは、その値に360.0を加算する。
そして、算出した彩度C及び色相角hと、色域情報保持部7に保持されている色域情報とから、明度補正後の入力L*a*b*信号が出力デバイスの色域に含まれるか否かを判定する。例えば図3に示すような色域情報が色域情報保持部7に保持されているものとする。ここに示した色域情報は、出力デバイスの色域の最外郭情報と、その色域のWP及びBPのL*a*b*値からなる。この例では、色域の最外殻情報として、色域を明度方向に1刻み、色相角方向に1度刻みに分割し、各分割領域における最高彩度が設定されている。
明度補正後の入力L*a*b*信号の明度L*、彩度C、色相角hが、例えばL*=50、C=30、h=238だとすると、図3の色域外殻情報における明度50、色相角238度の領域の最高彩度Cmaxを参照する。参照した最高彩度Cmaxに比べ、明度補正後の入力L*a*b*信号の彩度C=30のほうが大きかった場合に色域外であると判定し、そうでない場合に色域内であると判定する。
そして、色域外であると判定した場合には、明度補正後の入力L*a*b*信号の彩度Cを当該最高彩度Cmaxで置き換える。すなわち、(LCh)を(LCmaxh)へマッピングするわけである。この際、明度補正後の入力L*a*b*信号の彩度C及び色相角hに近い彩度及び色相角を持つ複数の分割領域の最高彩度から補間によりマッピング先の彩度Cを求めるようにしてもよい。なお、明度補正後の入力L*a*b*信号の明度を保ったまま、出力デバイスの色域のBPのa*b*へ向かう方向に圧縮するような色域マッピング処理を行ってもよい。
マッピング部6では、最後に、マッピング後の(LCh)を前記(7)式及び(8)式の逆計算によってL*a*b*値に戻す。すなわち、
L*=L
a*=C×cos(h×π/180)
b*=C×sin(h×π/180)
このようにして得られた色域マッピング後のL*a*b*信号が第2色変換部8へ送られる。なお、マッピング部6は、色域内であると判定した入力L*a*b*信号については格別な処理をせず、そのまま第2色変換部8へ送ることは当然である。
第2色変換部8では、例えば、L*a*b*値に対する出力デバイス依存のCMY値が設定された3D−LUTを用いる補間演算等による公知の手法によって、色域マッピング後のL*a*b*信号をCMY信号に変換する。
本実施例における明度補正の例を図4に示す。この例では、図11に示した例と同様、CIELAB空間における第1の色域(=sRGB空間)のBPがほぼL*軸上にあり、CIELAB空間における第2の色域(出力デバイスの色域)のBPが、L*軸から少し離れている場合である。本実施例によれば、入力L*a*b*信号に対する明度補正量は、無彩色軸からの距離に応じて、その距離が大きいほど抑制されるため、明度補正後の第1の色域に第2の色域のBP近傍領域のほぼ全部が含まれている。このように第2の色域のBP近傍領域の損失を防止もしくは抑制することができるため(その領域を利用可能となるため)、中彩度部から高彩度部における色信号の変化が抑制され、忠実な色再現が可能になる。
ここまでの説明から理解されるように、本実施例は、第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換手段と、前記知覚量空間色信号の明度補正を行う明度補正処理手段と、前記明度補正処理手段による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング手段とを有し、前記明度補正処理手段は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出手段を含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出手段により算出された距離に応じて調整することを特徴とする画像処理装置の一実施例に相当する。そして「色変換手段」は第1色変換部2に対応し、「明度補正処理手段」は明度補正量算出部4と明度補正部5の組み合わせに対応し、「マッピング手段」はマッピング部6に対応する。また、「第1の距離算出手段」は距離算出部41に対応する。そして、「明度補正処理手段」における明度補正量の距離に応じた調整は、明度補正量補正係数算出部42と補正量算出部43の組み合わせにより遂行される。なお、本実施例では第1の色空間の無彩色軸との距離を計算したが、第2の色空間の色域(=出力デバイスの色域)の無彩色軸との距離を算出し(後記第2の実施形態参照)、この距離を用いて同様の明度補正量の調整を行うことも可能であり、かかる態様も本実施形態に包含される。
[実施例1B]
本実施例は、明度補正量算出部4における処理が前記実施例1Aと異なる。以下、明度補正量算出部4について説明する。
明度補正量算出部4において、距離算出部41では、第1色変換部2からの入力L*a*b*信号と無彩色軸設定部3から送られてきた無彩色軸情報とから、入力L*a*b*信号の無彩色軸からの距離を算出する。この距離算出方法は前記実施例1Aと同様である。算出された距離の情報は、入力L*a*b*信号とともに明度補正量補正係数算出部42に送られる。明度補正量補正係数算出部42は、受け取った距離情報を基に補正係数αを算出するが、その算出方法は前記実施例1Aと同様である。算出された補正係数αは入力L*a*b*信号とともに補正量算出部43に送られる。
補正量算出部43における処理は、前記実施例1Aの場合と異なる。すなわち、補正量算出部43では、まず、無彩色軸設定部3により設定された無彩色軸上に中間明度点を設定する。この中間明度点は、第1の色空間の無彩色軸上で中程度の明度を持つ1点を選んでもよいし、HSL空間でH=任意,S=0.0,L=0.5(Lは0〜1の範囲の値を取るが、あまり両端の値に近くない方が望ましい)といった値の点を選んでもよい。前者の中間明度点の場合、L*a*b*値(L*_mid,a*_mid,b*_mid)をsRGB値に変換し、さらにHSL空間のHSL値(H_mid,S_mid,L_mid)を算出する。後者の中間明度点の場合、HSL値(H_mid,S_mid,L_mid)をsRGB値に変換し、さらにL*a*b*値(L*_mid,a*_mid,b*_mid)を算出する。
そして、入力L*a*b*信号に対し、例えば(9)式により、ハイライト側の仮の明度補正量ΔL_temp_hiとシャドウ側の仮の明度補正量ΔL_temp_shをそれぞれ算出する。
L*_temp_hi=(L*_in−L*_mid)×(WP_L2−L*_mid)/(WP_L1−L*_mid)
+L*_mid
L*_temp_sh=(L*_in−BP_L1)×(L*_mid−BP_L2)/(L*_mid−BP_L1)
+BP_L2
ΔL_temp_hi=L*_in−L*_temp_hi
ΔL_temp_sh=L*_in−L*_temp_sh ・・・(9)
但し、
L_in:入力L*a*b*信号の明度L*
WP_L1,BP_L1:第1の色空間(sRGB空間)のWP,BPの明度L*
WP_L2,BP_L2:出力デバイスの色域のWP,BPの明度L*
hi,sh:ハイライト側,シャドウ側を表す添え字
このように、入力L*a*b*信号がハイライト側である場合とシャドウ側である場合について、異なった算出方法によって別個に仮の明度補正量を算出する。
続いて、入力L*a*b*信号からHSL値(H_in_hsl,S_in_hsl,L_in_hsl)を計算する。そして、前記無彩色軸上の中間明度点と、入力L*a*b*信号と同一色相での第1の色空間の最高彩度点を結ぶ直線と、入力L*a*b*信号とのHSL空間での明度方向の距離L_dist_hslを以下のように算出する。
中間明度点の明度Lが0.5であれば、その距離は次式で求める。
L_dist_hsl=|L_in_hsl−0.5|
中間明度点の明度Lが0.5でない場合は、まず、(10)式のyを求める。
y−L_mid_hsl=0.5−L_mid_hsl×S_in_hsl ・・・(10)
但し、
L_mid_hsl:中間明度点のHSL空間での明度
S_in_hsl:入力L*a*b*信号のHSL空間での飽和度
そして、このy値を用い距離を次式により求める。
L_dist_hsl=|L_in_hsl−y|
図6は、以上のHSL空間における明度方向の距離の算出方法の説明図であり、また、本実施例による明度補正例を示す図である。
補正量算出部43は、以上のようにして、無彩色軸上の中間明度点と最高彩度点を結ぶ直線と、入力L*a*b*信号とのHSL空間での明度方向の距離L_dist_hslの値を算出し、この値に対応した補正係数βを求める。例えば、図5に示したような距離が0の時に0、距離が増加するに従い増加し、距離が1.0よりも小さな値で1.0に収束するような距離L_dist_hslの関数によって補正係数βを算出することができる。あるいは、図5のような関係のテーブルを用意しておき、算出した距離値によって参照したテーブル値又はその値を補間した値を補正係数βとして用いることができる。
このようにして求めた明度方向距離に対応した補正係数βと、明度補正量補正係数算出部42から受け取った無彩色軸からの距離に対応した補正係数αを用い、仮の明度補正量を補正することにより、最終的な明度補正量ΔLを決定する。すなわち
ΔL=α×β×ΔL_temp_hi (L_in_hsl≧y すなわちハイライト側の場合)
ΔL=α×β×ΔL_temp_sh (L_in_hsl<y すなわちシャドゥ側の場合)
・・・(11)
但し、中間明度点のLが0.5の場合にはy=0.5。
このようにして2種類の距離に応じて補正された明度補正量ΔLは、入力L*a*b*信号とともに明度補正部5へ送られる。明度補正部5では、入力L*a*b*信号の明度L*に明度補正量ΔLを加算することによって、明度補正されたL*a*b*信号を得る。
以上に説明したように、本実施例においては、無彩色軸とのL*a*b*信号の距離に応じて明度補正量を調整し、さらに、無彩色軸上の中間明度点と入力L*a*b*信号と同一色相での第1の色空間の最高彩度点を結ぶ直線と、入力L*a*b*信号とのHSL空間での明度方向の距離に応じて明度補正量を調整する。したがって、無彩色軸近傍に限らず、中彩度から高彩度の領域まで、より適切な明度補正が可能となる(図6参照)。また、ハイライト側とシャドウ側とで異なった算出方法により別々に仮の明度補正量を算出するため、ハイライト側とシャドウ側の両方についてより適切な明度補正が可能となり、さらに、複数の出力デバイスの異なった色域に色域圧縮する場合にも、高明度側にBPの明度の違いの影響がほとんどなくなるため、高明度領域においてデバイス間の違いの少ない色再現が可能となる。
以上の説明から明らかなように、本実施例は、第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換手段と、前記知覚量空間色信号の明度補正を行う明度補正処理手段と、前記明度補正処理手段による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング手段とを有し、前記明度補正処理手段は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出手段と、HSL空間において前記知覚量空間色信号と同一色相での前記第1色空間の最高彩度点と前記第1色空間の無彩色軸上の1点とを結ぶ線と、当該知覚量空間色信号との明度方向の距離を算出する第2の距離算出手段とを含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出手段により算出された距離及び前記第2の距離算出手段により算出された距離に応じて調整することを特徴とする画像処理装置の一実施例に相当する。その「第2の距離算出手段」は補正量算出部43に含まれている。無彩色軸からの距離と明度方向の距離による明度補正量の調整は、補正量算出部43で行われる。
さて、前記実施例1A,1Bにおいては、明度補正を含む色域圧縮を行うための知覚量空間としてCIELAB空間を用いたが、それに代えて、観察環境の違いによらない色の見えを考慮した色空間を用いても良い(請求項)。そのような色空間として、国際照明委員会(CIE)によって勧告された色の見えモデルCIECAM97、CIECAM97s、CIECAM02等に基づく色空間がある。このような色の見えモデルは、観察条件をパラメータとして変換することにより、より知覚的に忠実な色再現を可能にする。このような色の見えモデルの色信号は、中彩度部から高彩度部における忠実な色再現をするという目的に適うものである。
具体的には、第1色変換部2で、そのような色の見えモデルによる色順応変換のうちの入力観察条件に応じた順方向変換を行う。この場合、その変換値とL*a*b*値を次のように対応させ同様の処理を行うことができる。
L*:J又はQ
a*:aC又はaM
b*:bC又はbM
そして、第2色変換部8では、色の見えモデルの色順応変換のうちの出力観察条件に応じた逆方向変換を行った後に出力デバイス用の色信号への変換を行うようにすればよい。
このような色の見えモデルに基づく色空間を知覚量空間として用いる態様も本実施形態に包含される。後記の第2の実施形態についても同様である。
<第2の実施形態>
図7は、本発明の第2の実施形態に係る画像処理装置の全体的構成を示すブロック図である。図7において、図1と対応する部分には同一の符号が付されている。明度補正量算出部4は図2に示したブロック構成であるが、明度補正量算出部4における処理内容は前記第1の実施形態と相違する点がある。
全体的な処理の流れに沿って、この画像処理装置の処理動作を説明する。まず、第1色変換部2は、第1の色空間の色信号1(ここではsRGB信号)をCIELAB色空間のL*a*b*信号に変換して明度補正量算出部4へ送る。
無彩色軸設定部3は、色域情報保持部7から出力デバイスの色域の無彩色情報(例えばWPとBPのL*a*b*値)を取得し、その無彩色情報に基づいて無彩色軸情報を設定し、明度補正量算出部4へ送る。このように、本実施形態では、知覚量空間であるCIELAB空間における出力デバイスの色域の無彩色軸情報を設定する点が前記第1の実施形態と異なる。ただし、出力デバイスの色域の無彩色情報から無彩色軸情報を設定する方法そのものは、前記第1の実施形態の場合と同様である。すなわち、前記実施例1Aに関連して説明したように、出力デバイスの色域の無彩色情報(BP,WPのL*a*b*値)を用い(1)式により無彩色軸情報を設定する。なお、出力デバイスの色域が固定している場合、無彩色軸設定部3を省き、予め用意した無彩色時情報を距離算出部41に固定的に設定するようにしてもよい。
明度補正量算出部4において、距離算出部41(図2)は、入力L*a*b*信号の無彩色軸からの距離を算出する。この距離としては、前記実施例1Aに述べた(2)式のユークリッド距離を用いることができる。算出された距離の情報は入力L*a*b*信号とともに明度補正量補正係数算出部42(図2)へ送られる。
明度補正量補正係数算出部42(図2)では、距離に対応した補正係数αを算出する。この補正係数αの算出は、前記実施例1Aの場合と同様に(3)式により行われる。この補正係数αは、入力L*a*b*信号とともに補正量算出部43(図2)へ送られる。
補正量算出部43(図2)では、入力L*a*b*信号に対する仮の明度補正量を算出し、この仮の明度補正量を補正係数αで補正することにより最終的な明度補正量ΔLを算出するが、以下に説明するように仮の明度補正量の算出方法が前記第1の実施形態とは異なる。図8は、仮の明度補正量の算出方法(下記(12)式)の説明図である。
補正量算出部43において、出力デバイスの色域のBPのL*a*b*値(L*_BP_lab_2,a*_BP_lab_2,b*_BP_lab_2),WPのL*a*b*値(L*_WP_lab_2,a*_WP_lab_2,
b*_WP_lab_2)を、sRGB値へ変換し、さらにHSL空間のHSL値に変換する。このHLS値が図8中のH_BP_hsl_2,S_BP_hsl_2,L_BP_hsl_2である。
そして、(12)式により、図8中のxを算出する。
x=L_BP_hsl×(1−S_BP_hsl) ・・・(12)
かくして、出力デバイスの色域のBPと同じ色度を持つ、第1の色空間(sGRB空間)のシャドウ側の最外郭点のHSL値
L_sh_hsl_1=L_BP_hsl−x
S_sh_hsl_1=1.0
H_sh_hsl_1=H_BP_hsl_2
が求まる。
同様にして、出力デバイスの色域のWPと同じ色度を持つ、第1の色空間のハイライト側の最外郭点のHSL値(H_hi_hsl_1,S_hi_hsl_1,L_hi_hsl_1)を求める。
以上のようにして求めたシャドウ側とハイライト側の最外殻点のHSL値をLab値(L*_sh_lab_1,a*_sh_lab_1,b*_sh_lab_1),(L*_hi_lab_1,a*_hi_lab_1,b*_hi_lab_1)に変換する。
そして、(13)式により仮の明度補正量ΔL_tempを算出する。
L*_temp=(L*_in−L_sh_lab_1)×
(L*_WP_lab_2−L*_BP_lab_2)/(L*_hi_lab_1−L*_sh_lab_1)
+L*_sh_lab_2
ΔL_temp=L*_in−L*_temp ・・・(13)
但し、L*_inは入力L*a*b*信号のL*値である。
以上のようにして算出された仮の明度補正量ΔL_tempを、補正係数αを用いて前記(5)式により補正し、最終的な明度補正量ΔLを算出する。この明度補正量ΔLは入力L*a*b*信号とともに明度補正部5へ送られる。明度補正部5では、明度補正量ΔLを用い前記(6)式により入力L*a*b*信号を補正してマッピング部6へ送る。
マッピング部6の処理は前記第1の実施形態の場合と同様である。ただし、本実施形態の場合、明度補正後のL*a*b*信号が、出力デバイスの色域のWPからBPまでの明度範囲に収まらない場合がある。このような場合、出力デバイスの色域のWPの明度以上のL*a*b*信号はWPへマッピングし、出力デバイスの色域のBPの明度以下のL*a*b*信号はBPへマッピングするようにする。つまり、この場合には明度成分の圧縮も行われる。WPからBPまでの明度範囲に収まるL*a*b*信号は、前記第1の実施形態の場合と同様に主として彩度を圧縮するマッピングを行う。第2色変換部8については、前記第1の実施形態の場合と同様であるので説明を省略する。
本実施形態によっても、出力デバイスの色域のWP及びBPの近傍領域等を無駄にすることなく、中彩度部から高彩度部において忠実な色再現が可能な明度補正を行うことができる。
以上の説明から明らかなように、本実施形態は、第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換手段と、前記知覚量空間色信号の明度補正を行う明度補正処理手段と、前記明度補正処理手段による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング手段とを有し、前記明度補正処理手段は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出手段を含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出手段により算出された距離に応じて調整することを特徴とする画像処理装置のもう1つの実施形態である。
なお、前記各実施形態に係る画像処理装置の処理についての説明は、請求項4乃至6に係る画像処理方法の処理手順の説明でもある。よって、前記各実施形態に対応した画像処理方法の説明は繰り返さない。
<第3の実施形態>
前記第1又は第2の実施形態に係る画像処理装置は、例えば図9に簡略化して示すようなコンピュータシステム上でソフトウェアにより実現することも可能である。
図9に示すコンピュータシステムは、プログラム読取装置10a、システム全体の制御や各種処理を実行するCPU10b、CPU10bのワークエリア等として使用されるRAM10c、CPU10bの制御プログラム等が記憶されているROM10d、ハードディスク10e、ネットワーク・インターフェース10f、マウス10g、キーボード10h、画像データを表示するほかユーザが画面に直接触れることで情報を入力することができるディスプレイ11、カラープリンタ12、ユーザが情報や指令を入力するためのキーボード10hやマウス10gを備える一般的なコンピュータ(例えばワークステーション、パーソナルコンピュータ等)と同様の構成のものである。
このようなコンピュータシステム上で前記第1又は第2の実施形態に係る画像処理装置を実現するためのプログラム、すなわち、該画像処理装置の各構成部分としてコンピュータシステムを機能させるためのプログラムは、それが記録されている磁気ディスク、光ディスク、光磁気ディスク、半導体メモリカード等の記録媒体からプログラム読取装置10aによって読み込まれてハードディスク10eにインストールされ、必要な時にRAM10cにロードされCPU10bにより実行される。このようなプログラムをネットワーク上のサーバの記憶媒体に保存しておき、必要な時にサーバからネットワーク経由でコンピュータシステムに取り込むようにしてもよい。処理対象の画像データは、例えばネットワーク・インターフェース10fを介しネットワークを通じて入力される。色域情報保持部7としては、例えばRAM10c,ROM10d又はハードディスク10eが利用される。色域情報保持部7に保持させる情報は、必要に応じてネットワーク経由で入力するようにしてもよい。
図10は、このようなコンピュータシステムにおける処理フローを簡略化して示すフローチャートである。図10において、ステップS10は第1色変換部2による処理に対応する処理ステップである。ステップS11は無彩色軸設定部3の処理に対応する処理ステップである。ステップS12は明度補正量算出部4の処理に対応する処理ステップである。ステップS13は明度補正部5の処理に対応する処理ステップである。ステップS14はマッピング部6の処理に対応する処理ステップである。ステップS15は第2色変換部8の処理に対応する処理ステップである。
なお、図10は、前記第1又は第2の実施形態に係る画像処理装置における画像処理方法の手順を簡略化して示すものでもある。したがって、本実施形態は、本発明に係る画像処理方法の工程を、コンピュータを利用して実行する一実施形態でもある。そのためのプログラムは、請求項に係るプログラムに相当する。
本発明の第1の実施形態に係る画像処理装置の全体的構成を示すブロック図である。 明度補正量算出部の内部構成を示すブロック図である。 色域情報保持部の保持情報の例を示す図である。 実施例1Aにおける明度補正の例を示す模式図である。 実施例1Bにおける補正係数βの説明図である。 実施例1Bにおける明度方向距離の算出方法を説明するとともに明度補正例を示す模式図である。 本発明の第2の実施形態に係る画像処理装置の全体的構成を示すブロック図である。 第2の実施形態における(12)式の説明のための模式図である。 本発明の第3の実施形態に係るコンピュータシステムの一例を示す概略ブロック図である。 第3の実施形態における概略処理フローを示すフローチャートである。 従来技術による明度補正の一例を示す模式図である。 従来技術による明度補正の別の一例を示す模式図である。
符号の説明
1 第1の色空間の色信号
2 第1色変換部
3 無彩色軸設定部
4 明度補正量算出部
5 明度補正部
6 マッピング部
7 色域情報保持部
8 第2色変換部
9 第2の色空間の色信号
41 距離算出部
42 明度補正量補正係数算出部
43 補正量算出部

Claims (7)

  1. 第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換手段と、
    前記知覚量空間色信号の明度補正を行う明度補正処理手段と、
    前記明度補正処理手段による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング手段とを有し、
    前記明度補正処理手段は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出手段と、HSL空間において前記知覚量空間色信号と同一色相での前記第1色空間の最高彩度点と前記第1色空間の無彩色軸上の1点とを結ぶ線と、当該知覚量空間色信号との明度方向の距離を算出する第2の距離算出手段とを含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出手段により算出された距離及び前記第2の距離算出手段により算出された距離に応じて調整することを特徴とする画像処理装置。
  2. 前記第1の距離算出手段は、前記知覚量空間色信号のHSL空間又はHSV空間での飽和度を、当該知覚量空間色信号と前記第1色空間の無彩色軸との距離として算出することを特徴とする請求項に記載の画像処理装置。
  3. 前記知覚量空間として、観察環境の違いによらない色の見えを考慮した色空間を用いることを特徴とする請求項に記載の画像処理装置。
  4. 第1色空間の色信号を知覚量空間の色信号(以下、知覚量空間色信号と記す)に変換する色変換工程と、
    前記知覚量空間色信号の明度補正を行う明度補正処理工程と、
    前記明度補正処理工程による明度補正後の前記知覚量空間色信号を、前記知覚量色空間において第2色空間の所定の色域に圧縮する色域マッピング処理を行うマッピング工程とを有し、
    前記明度補正処理工程は、前記知覚量空間において前記第1色空間の無彩色軸又は前記第2色空間の前記色域の無彩色軸と前記知覚量空間色信号との距離を算出する第1の距離算出工程と、HSL空間において前記知覚量空間色信号と同一色相での前記第1色空間の最高彩度点と前記第1色空間の無彩色軸上の1点を結ぶ線と、当該知覚量空間色信号との明度方向の距離を算出する第2の距離算出工程とを含み、前記知覚量空間色信号に対する明度補正量を、当該知覚量空間色信号について前記第1の距離算出工程により算出された距離及び前記第2の距離算出工程により算出された距離に応じて調整することを特徴とする画像処理方法。
  5. 前記第1の距離算出工程は、前記知覚量空間色信号のHSL空間又はHSV空間での飽和度を、当該知覚量空間色信号と前記第1色空間の無彩色軸との距離として算出することを特徴とする請求項に記載の画像処理方法。
  6. 前記知覚量空間として、観察環境の違いによらない色の見えを考慮した色空間を用いることを特徴とする請求項に記載の画像処理方法。
  7. 請求項4乃至6のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
JP2007190318A 2007-07-23 2007-07-23 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP4878008B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007190318A JP4878008B2 (ja) 2007-07-23 2007-07-23 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007190318A JP4878008B2 (ja) 2007-07-23 2007-07-23 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2009027570A JP2009027570A (ja) 2009-02-05
JP4878008B2 true JP4878008B2 (ja) 2012-02-15

Family

ID=40398925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007190318A Expired - Fee Related JP4878008B2 (ja) 2007-07-23 2007-07-23 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4878008B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785462B2 (en) 2018-09-04 2020-09-22 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112004075A (zh) * 2020-09-03 2020-11-27 北京印刷学院 邻域色差补偿方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636548B2 (ja) * 1985-06-17 1994-05-11 キヤノン株式会社 カラ−画像信号処理方法
JP2004336656A (ja) * 2003-05-12 2004-11-25 Konica Minolta Photo Imaging Inc 輝度及び彩度調整方法、輝度及び彩度調整装置並びに画像出力装置
JP2006081080A (ja) * 2004-09-13 2006-03-23 Canon Inc カラー処理装置及びその色変換方法
JP2006303984A (ja) * 2005-04-21 2006-11-02 Fuji Photo Film Co Ltd 色変換定義作成装置、色変換定義作成プログラム、色変換定義作成プログラム記憶媒体、および、色変換定義作成方法
JP4592089B2 (ja) * 2005-06-02 2010-12-01 キヤノン株式会社 画像処理方法、プロファイル作成方法および画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785462B2 (en) 2018-09-04 2020-09-22 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
JP2009027570A (ja) 2009-02-05

Similar Documents

Publication Publication Date Title
US6362808B1 (en) Arrangement for mapping colors between imaging systems and method therefor
JP4803666B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US6088038A (en) Arrangement for mapping colors between imaging systems and method therefor
US7403205B2 (en) Fast primary mapping and gamut adaptation to construct three dimensional lookup tables
US20080136836A1 (en) Method for mapping colors between imaging systems and method therefor
JP4536431B2 (ja) カラー出力装置を制御するための方法及びシステム
JP2002252785A (ja) 色変換装置、画像処理装置、色変換方法、及び記録媒体並びに画像処理システム
JP4971948B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5257158B2 (ja) 色変換装置、色変換方法およびプログラム
US20100156929A1 (en) Ridge-based color gamut mapping
WO2009093294A1 (ja) 画像信号処理装置及び画像信号処理プログラム
JP4878008B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4145022B2 (ja) 輝度調整装置およびその動作制御方法
JP2008078737A (ja) 画像処理装置、画像処理方法、及び記録媒体
JP4423226B2 (ja) 色調整方法及び装置
JP4633806B2 (ja) 色プロファイルのための色補正テクニック
JP2008072550A (ja) 色処理方法、色処理装置、画像形成装置、プログラムおよび記録媒体
JP5206428B2 (ja) 色処理装置及びプログラム
JP4051919B2 (ja) カラー画像信号処理装置、カラー画像信号処理方法およびカラー画像信号処理プログラム
JP7230481B2 (ja) 色変換テーブル修正部および色変換テーブル修正プログラム
JP4569484B2 (ja) 画像処理装置
JP4810471B2 (ja) 色変換装置、色変換方法、及びプログラム
JP4864821B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2006270518A (ja) 色データ処理方法、色データ処理システム、色データ処理プログラム及びこれを記録した記録媒体
JP2005341500A (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111124

R151 Written notification of patent or utility model registration

Ref document number: 4878008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees