JP4178732B2 - 色情報正規化方法、並びに色情報交換方法及びその装置 - Google Patents

色情報正規化方法、並びに色情報交換方法及びその装置 Download PDF

Info

Publication number
JP4178732B2
JP4178732B2 JP2000252111A JP2000252111A JP4178732B2 JP 4178732 B2 JP4178732 B2 JP 4178732B2 JP 2000252111 A JP2000252111 A JP 2000252111A JP 2000252111 A JP2000252111 A JP 2000252111A JP 4178732 B2 JP4178732 B2 JP 4178732B2
Authority
JP
Japan
Prior art keywords
color
centroid
mapping
distance
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000252111A
Other languages
English (en)
Other versions
JP2001203905A5 (ja
JP2001203905A (ja
Inventor
秀人 本村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2000252111A priority Critical patent/JP4178732B2/ja
Priority to DE60041622T priority patent/DE60041622D1/de
Priority to EP00124663A priority patent/EP1100256B1/en
Priority to KR1020000066706A priority patent/KR20010051599A/ko
Priority to US09/709,436 priority patent/US6995865B1/en
Publication of JP2001203905A publication Critical patent/JP2001203905A/ja
Publication of JP2001203905A5 publication Critical patent/JP2001203905A5/ja
Application granted granted Critical
Publication of JP4178732B2 publication Critical patent/JP4178732B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラ、スキャナ、モニタ、プリンタなど、あらゆる入力画像機器あるいは出力画像機器をつなぐカラーマネジメントシステムに使用できる色情報正規化方法、並びに色情報交換方法及びその装置に関する技術である。
【0002】
【従来の技術】
画像機器のディジタル化とインターネットを中心としたネットワーク技術の進歩により、様々な画像機器がオープンシステム上で接続されるクロスメディアシステムが本格的に普及してきた。オープンシステムでは、個々の画像機器、アプリケーションが共通インターフェイスを持ち、汎用性、拡張性の高い構成を取る必要がある。色再現の観点から見ると、色情報を発信する画像機器、つまりカメラやスキャナーは取りこんだ色情報を正確にオープンシステムへ配信する必要があり、一方、色情報を受信し表示する画像機器、つまりディスプレイやプリンタは受け取った色情報を正確に表示する必要がある。
【0003】
たとえば、カメラが正確に色情報を取得したとしても、ディスプレイが不適切な色情報を表示することにより、システム全体の色再現性は劣化する。インターネットを介した電子商取引では、たとえばディスプレイ上で見た商品の色が現物と異なるという課題を有していた。
【0004】
クロスメディアシステム上で色情報を管理するカラーマネジメントシステムは、システム全体に渡って色情報を正確に交換するために、以下の3つの観点からシステムを最適化する必要がある。
(1)システムに接続される各画像機器の入出力特性(デバイスドライブ信号と測色値の関係)を把握する。
(2)視環境に左右される視覚系の入出力特性を把握する。
(3)システム上で接続される画像機器の色表示範囲(色域)の違いを考慮して、受信色空間へのマッピングを色再現性の観点から最適化する。
【0005】
まず、第一の観点について説明する。カラーマネジメントを実現するためにまず必要なのが、画像機器の入出力特性である。カメラやスキャナのような入力画像機器では、取り込んだ被写体の色(CIEXYZ三刺激値)と入力画像機器が出力したディジタルカウントとの関係である。ディスプレイやプリンタのような出力画像機器では、出力画像機器をドライブするディジタルカウントと表示された色の関係である。IEC(International Electrotechnical Commission)は、CRT、LCD、PDP、スキャナ、デジタルカメラ、プリンタなど様々な機器の入出力特性をモデル化する標準仕様の作成を進めており、実用的なレベルに迫りつつある。
【0006】
次に、第2の観点について説明する。CIEXYZ三刺激値は、光の物理量に人間の目の感度特性(等色関数)を掛け合わせた心理物理量であり、XYZが同じ2つの色は人間に対して同じ色に見える。しかし、人間の目の感度特性を表す等色関数は視環境によって変化し、目の順応状態が異なる視環境下では同じXYZを持つ2つの色が異なった色に見える場合がある。カラーマネジメントの目的は、発信された色情報を受信デバイス上で同じ色として再現するところにある。
【0007】
そこで、同じ色に見えるXYZの対を探すために、視覚系の入出力特性が受ける視環境の影響を把握しておく必要がある。国際照明委員会CIEのTC1-34は、順応状態を左右する白色点のXYZ値や背景の明るさなどを考慮に入れた色の見えモデルCIECAM97sをまとめ、活動報告書(TC1-34, Testing Colour Appearance Models, Report on CIECAM97s, April, (1998))としてまとめた。色の見えモデルCIECAM97sは、任意の照明下で色の見えの属性(Brightness、 Colorfulness、 Lightness、 Chroma、 Hue、 Saturation)の度合いを記述し、色の見えが一致する色、いわゆる対応色を予測することができる。
【0008】
各画像機器の入出力特性がモデル化されて測色値XYZが推定され、かつ視環境を考慮に入れて色の属性に変換された後は、発信デバイスから受信デバイスへ色情報が伝達される。色情報の伝達とは具体的には、発信された色属性と同一の色属性を持つ色を受信デバイスに出力するような受信デバイスのドライブレベルを算出することに値する。たとえば、発信デバイスが、カメラで受信デバイスがCRTディスプレイの場合、カメラが取り込んだ被写体の色が持つ色属性を出力するようなCRTディスプレイのドライブレベルを探し出すことになる。このとき、被写体の色がCRTの色表示範囲、いわゆる色域の中に存在する場合はカラーマッチングが成立するが、CRTの色域外の色がカメラで取りこまれた場合は同じ色を探し出すことは不可能である。
【0009】
次に、第3の観点について説明する。そこで、同じ色に見えないができるだけ色再現性を落とさないような色をCRT色域内から探し出す必要がある。いわゆる色域マッピングが必要である。色域マッピングは発信デバイスの色域をすべて、より小さな受信デバイスの色域へ納めるため、どのように発信デバイスの色域を圧縮するかという問題になる。色域圧縮方法に関しては多くの研究者から様々な方法(たとえばJan Morovic、 To Develop a Universal Gamut Mapping)が提案され、国際照明委員会CIEを中心に標準化が進められている。
【0010】
上記、色域マッピングを設計する際、色名の一致を基準として色を制御する方法は有効である。色域マッピングでは、各デバイス間で根本的に同じ色を呈示できないため、それぞれのデバイスにおける画像の全体的な印象ができるだけ異ならないように色情報を交換することが目標となる。たとえば色合いで表現すれば、CRT上で「赤い花」は印刷物上でも「赤い花」であるべきで、「黄色い花」や「オレンジ色の花」のように花の持つ色のカテゴリが異なることは好ましくない。さらにCRT上で「花の赤の方がりんごの赤より強い」とすると印刷物上でも「花の赤の方がりんごの赤より強い」方が好ましく、「花の赤の方がりんごの赤より弱い」場合は好ましくない。
【0011】
このように色域マッピングにおいて画像の全体的な印象ができるだけ異ならないようにするには、色情報を発信する発信デバイスと色情報を受信する受信デバイス間で、色名を一致させ、かつ彩度の大小関係を保存することが重要である。言い換えると、色情報を色名としてとらえた色カテゴリカル特性を発信デバイスと受信デバイスで記述し、前記色カテゴリカル特性が発信デバイスと受信デバイスの間で保存されるように色情報を交換することが有効である。今、発信デバイスの色空間内にある色差を持った2点の色を考える。この2点間の色差を忠実に保ち、受信デバイスにマッピングした場合、2つの色の違いは色差の観点では発信デバイスでも受信デバイスでも同一である。しかし、色カテゴリカルな制御が組み込まれない場合、発信デバイスで同じ色カテゴリを持った2つの色が、受信デバイスでは色カテゴリの境界をまたぐ位置にマッピングされて、色名が異なる2つの色で再現される可能性がある。
【0012】
色名の一致を基準に色調整を行う方法として、たとえば特開平8−191400号公報がある。ディスプレイ上に呈示された画像の色をオペレータが調整する際に、画像上で指定した基準色の色名が、予め定義した目標色の色名と一致するように調整を行う方法である。
【0013】
具体的には画像の画素ごとの測色値を明度L*、彩度C*、色相Hを極座標系で表わし、基準色のL*と目標色のL*の差分ΔL*、基準色のC*と目標色のC*の差分ΔC*、基準色のHと目標色のHの差分ΔHを調整前の色に加算して調整後の色を得る。ただし、調整後の色のうち、目標色の色名と異なる色に関しては、再度、差分量ΔL*、ΔC*、ΔHに変更して再調整を行う。再調整においては,差分値としてΔL*/n、ΔC*/n、ΔH/nが与えられ、nは10前後の値を使用する。再調整後も目標色の色名に一致しない場合は、nを大きくしたり小さくしたりして、色名が一致するまで差分量の調整を繰り返すもので、色域マッピングに適用できるものではない。
【0014】
【発明が解決しようとする課題】
しかしながら上記の従来方法による色調整方法には以下のような課題を残す。第1に、色名が一致するように調整される差分量ΔL*、ΔC*、ΔHが試行錯誤による繰り返し処理で決まる点である。試行錯誤による繰り返し処理は作業時間の増大を招き、かつ同じ作業を繰り返しても色調整後の画像にばらつきが発生しやすい。
【0015】
第2に、差分量ΔL*、ΔC*、ΔHで調整された色の色名が目標色の色名と異なり、差分値ΔL*/n、ΔC*/n、ΔH/nで再調整される際に、nが試行錯誤による繰り返し処理で決まる点である。試行錯誤による繰り返し処理は作業時間の増大を招き、かつ同じ作業を繰り返しても色調整後の画像にばらつきが発生しやすい。さらに再調整された色が複数個あった場合、nを試行錯誤で決めると、調整後の色の色空間内の位置が反転したり、あるいは飛びが発生する可能性がある。これは画像上では偽輪郭のように観察され、色再現性を落とす原因となる。
【0016】
本発明は、上記従来技術の課題を解決するもので、色名の一致と色空間内での相対的あるいは絶対的な関係を保持して色情報を交換し、かつ観察者のカラーネーミングからテスト色の測色値あるいはデバイスドライブレベルを色名ごとに分類し、各色名ごとに統計処理を用いて正規化した正規化色空間内に設けた同一色名の制御点をマッピングして色情報交換を行うことから、色名と色再現性の関係を記述する定量的設計指針に基づいて色域マッピングの方法を効率的に決定し、かつ様々な観察条件下で対応色を高精度に予測することを目的とする。
【0017】
【課題を解決するための手段】
この目的を達成するために本発明は、発信デバイスと受信デバイスのそれぞれで少なくとも1人の観察者によるカラーネーミングを実施し、前記カラーネーミングに用いたテスト色の測色値あるいはデバイスドライブレベルを同一色名で分類し、各色名ごとに前記測色値あるいは前記デバイスドライブレベルから重心ベクトルと分散共分散行列を算出し、前記重心ベクトルと前記分散共分散行列を用いて正規化した正規化色空間内に設けた同一色名の制御点をマッピングして色情報を交換する。
【0018】
カラーネーミングに使用する色名は、たとえばカテゴリカル基本色や記憶色、また観察者が設定した色名などを使用する。カテゴリカル基本色はBerlin and Kayが言語学的に見出した11個の色名であり、white、 black、 red、 green、 yellow、 blue、 purple、 pink、 orange、 gray、 brownである(参考文献:"Basic Color Terms, Their Universality and Evolution", University of California Press, Berkley, 1969)。これらの色名は多くの言語において共通に使われていて、かつ重複がない。そこで色空間の色カテゴリ特性を観察者からカラーネーミングで求める際、非常に有効な道具となる。記憶色は、空の青、草の緑、肌色など、現物を見なくても記憶のなかに保持されている色であり、これらは多くの人の間で共通している。したがって、記憶色は被写体が観察者の手元にない場合の色再現、つまり好ましい色再現を設計する際、重要な評価項目となる。さらに色名は文化的影響から生まれているため、観察者ごとに最適な色名を使うことも重要である。そこで、観察者自身が色名を設定し、これに基づいて色カテゴリカルな正規化を行うことも有効である。
【0019】
観察者のカラーネーミングの結果は、発信デバイスと受信デバイスのガマットの違いを反映し、かつ色彩情報の入出力特性の違いも含んでいる。したがってデバイスモデルではカバーしきれないすべての要因がカラーネーミングに反映され、より観察者に対して最適な色域マッピングを設計できる。また照明や背景視野などの観察条件の違いも観察者によるカラーネーミングの結果に反映される。したがって、本発明は視覚系の順応状態の違いなどに起因する色の見えを制御でき、見た目に一致して見える色のペアを探し出す対応色予測を実現できる。
【0020】
発信デバイスから受信デバイスへのマッピングは同一色カテゴリ間で実施する。具体的には同一色カテゴリの重心(重心制御点)どうしをマッピングし、またガマット表面に設けられた制御点(表面制御点)を同一色カテゴリ間でマッピングする。重心制御点と表面制御点以外の色は、発信デバイスの色空間において入力点が重心制御点及び表面制御点と持つ位置関係に基づいて重心制御点のスケーリング情報と表面制御点のスケーリング情報を重み付けして求める。重心制御点と表面制御点がともに測色的に一致していれば、発信デバイスから受信デバイスへのマッピングは色カテゴリカルな特性を絶対的に保持できる。重心制御点と表面制御点がともに相対的に一致する関係(たとえばCIEXYZ三刺激値のYが視感反射率の場合)を持っていれば、発信デバイスから受信デバイスへのマッピングは色カテゴリカルな特性を相対的に保持できる。さらに重心制御点は絶対的に一致し、表面制御点は相対的に一致するなら、色空間の一部は色カテゴリカルな特性が絶対的に保持されてマッピングが行われ、その他の領域は色カテゴリカルな特性が相対的に保持されてマッピングが行われる。
【0021】
なお発信デバイスの表面制御点を1次色、2次色、ホワイト、ブラックに設けた場合、受信デバイスの表面制御点を観察者によるカラーマッチング実験で求めるとき、テスト色は受信デバイスのガマットのカスプ(Cusp:デバイスガマットのうち、彩度の最も高い尖った部分)付近に求まることが多い。なぜならば、デバイスガマットの形状の違いから、発信デバイスと受信デバイスの間で同じ色が見つからないときは、色相、彩度、明度のそれぞれを調節して、誤差を適当に分配することになる。従って、マッピング点は受信デバイスでもカスプを離れることは考えづらく、かつ明度と彩度に関しては、発信デバイスのカスプと受信デバイスのカスプの間に求まる可能性が高い。そこで観察者を用いた等色実験のテスト色を発信デバイスのカスプと受信デバイスのカスプの間から供給することによって、無駄を少なくして、等色実験を実施することができる。
【0022】
以上、本発明によれば、色名の一致と色空間内での相対的あるいは絶対的な関係を保持して色情報を交換し、かつ観察者が実行したカラーネーミングからテスト色の測色値あるいはデバイスドライブレベルを色名ごとに分類し、各色名ごとに前記測色値あるいは前記デバイスドライブレベルから重心ベクトルと分散共分散行列を算出し、前記重心ベクトルと前記分散共分散行列を用いて正規化した正規化色空間内に設けた同一色名の制御点をマッピングして色情報交換を行うことから、色名と色再現性の関係を記述する定量的設計指針に基づいて色域マッピングの方法を効率的に決定し、かつ様々な観察条件下で対応色を高精度に予測するための色情報正規化方法、並びに色情報交換方法及び装置を実現できる。
【0023】
【発明の実施の形態】
本発明の請求項1に記載の発明は、画像入力装置あるいは画像出力装置の色彩特性を制御する方法において、呈示された1つ以上のテスト色に対して少なくとも1人の観察者のカラーネーミングにより得られたテスト色の測色値あるいはデバイスドライブレベルを同一色名ごとに分類し、各色名ごとに統計処理を用いて色空間を正規化するものであり、色名と色再現性の関係を定量的に把握して色域マッピングの方法を設計でき、 かつ観察条件の異なる画像の色再現性の向上などを実現できるという作用を有する。
【0024】
請求項2に記載の発明は、請求項1記載の色情報正規化方法において、色空間を正規化する統計処理は、各色名ごとに前記測色値あるいは前記デバイスドライブレベルから重心ベクトルと分散共分散行列を算出し、前記重心ベクトルと前記分散共分散行列を用いることを特徴とするもので、統計処理により重心ベクトルと前記分散共分散行列を用いることにより色名と色再現性の関係を定量的に把握して色域マッピングの方法を設計でき、 かつ観察条件の異なる画像の色再現性の向上などを実現できるという作用を有する。
【0025】
請求項3に記載の発明は、請求項1または2記載の色情報正規化方法において、観察者のカラーネーミングは、観察者が応答する色名としてカテゴリカル基本色を用いることを特徴とするもので、カラーネーミングデータはカテゴリカル基本色に従って分類され、重心ベクトルと分散共分散行列はカテゴリカル基本色の単位で色空間を正規化し、色空間内に欠落や重複なく色カテゴリカルな特性を記述できるという作用を有する。
【0026】
請求項4に記載の発明は、請求項3記載の色情報正規化方法において、カテゴリカル基本色は、赤、茶、ピンク、オレンジ、黄、緑、青、紫、白、灰色、あるいは黒のいずれかであることを特徴とするもので、重心ベクトルと分散共分散行列は赤、茶、ピンク、オレンジ、黄、緑、青、紫、白、灰色、あるいは黒のいずれかの単位で色空間を正規化し、色空間内に欠落や重複なく色カテゴリカルな特性を記述できるという作用を有する
請求項5に記載の発明は、請求項1乃至4のいずれかに記載の色情報正規化方法において、観察者のカラーネーミングは、観察者が応答する色名として記憶色を用いることを特徴とするもので、カラーネーミングデータは記憶色に従って分類され、重心ベクトルと分散共分散行列は記憶色の単位で色空間の正規化を実現し、好ましい色再現の良し悪しを大きく左右する記憶色を優先的に制御して色再現性を効率的に高めるという作用を有する。
【0027】
請求項6に記載の発明は、請求項1乃至4のいずれかに記載の色情報正規化方法において、観察者のカラーネーミングは、観察者が応答する色名として観察者が設定した色名を用いることを特徴とするもので、カラーネーミングデータは観察者が設定した色名に従って分類され、重心ベクトルと分散共分散行列は観察者が設定した色名の単位で色空間を正規化し、観察者固有の色カテゴリカル特性に則って観察者固有の色再現性を高めることができる作用を有する。
【0028】
請求項7記載の発明は、発信デバイスから受信デバイスへ色情報を伝達する方法において、請求項1乃至6のいずれかに記載の色情報正規化方法により正規化した正規化色空間内に設けた同一色名の制御点をマッピングして色情報を交換することを特徴とするもので、色カテゴリカルな特性の保持を実現するマッピング方法を幾何学的に特定するという作用を有する。
【0029】
請求項8記載の発明は、請求項7記載の色情報交換方法において、正規化色空間内に設置した制御点は、観察者のカラーネーミングに基づいてテスト色の測色値あるいはデバイスドライブレベルを同一色名で分類し、各色名ごとに前記測色値あるいは前記デバイスドライブレベルから算出された重心ベクトルであることを特徴とするもので、幾何学的に設計されたマッピング方法に観察者のカラーネーミングに基づいて分類された色知覚情報を与えるという作用を有する。
【0030】
請求項9記載の発明は、請求項7記載の色情報交換方法において、正規化色空間内に設置した制御点は、デバイス色域表面、あるいは表面付近に設けられていることを特徴とするもので、幾何学的に設計されたマッピング方法にデバイスの色域形状情報を与えるという作用を有する。
【0031】
請求項10記載の発明は、請求項7記載の色情報交換方法において、正規化色空間内に設置した制御点の一部は、観察者のカラーネーミングに基づいて分類された色情報から算出された重心ベクトルであり、かつ残りの制御点がデバイス色域表面、あるいは表面付近に設けられていることを特徴とするもので、幾何学的に設計されたマッピング方法に観察者のカラーネーミングに基づいて分類された色知覚情報とデバイスの色域形状情報を与えるという作用を有する。
【0032】
請求項11記載の発明は、請求項7記載の色情報交換方法において、発信デバイスの色空間内に設置した制御点と受信デバイスの色空間内に設置した制御点は、測色的に一致していることを特徴とするもので、幾何学的に設計されたマッピング方法に測色マッチングの効果を与えるという作用を有する。
【0033】
請求項12記載の発明は、請求項7記載の色情報交換方法において、発信デバイスの色空間内に設置した制御点と受信デバイスの色空間内に設置した制御点は、色の見えとして一致していることを特徴とするもので、幾何学的に設計されたマッピング方法に色の見えマッチングの効果を与えるという作用を有する。
【0034】
請求項13記載の発明は、請求項7記載の色情報交換方法において、発信デバイスの色空間内に設置した制御点の一部は、受信デバイスの色空間内に設置した制御点の一部と測色的に一致し、かつ発信デバイスの色空間内に設置したその他の制御点が受信デバイスの色空間内に設置したその他の制御点と色の見えとして一致していることを特徴とするもので、幾何学的に設計されたマッピング方法に測色マッチングの効果と色の見えマッチング効果を与えるという作用を有する。
【0035】
請求項14記載の発明は、請求項7記載の色情報交換方法において、発信デバイスの色空間内に設置した制御点と受信デバイスの色空間内に設置した制御点の測色的距離は、発信デバイスと受信デバイスの色再現範囲内において最小化されていることを特徴とするもので、幾何学的に設計されたマッピング方法に測色的違いを最小化する効果を与えるという作用を有する。
【0036】
請求項15記載の発明は、請求項7記載の色情報交換方法において、発信デバイスの色空間内に設置した制御点と受信デバイスの色空間内に設置した制御点の色の見えの違いが、発信デバイスと受信デバイスの色再現範囲内において最小化されていることを特徴とするもので、幾何学的に設計されたマッピング方法に色の見えの違いを最小化する効果を与えるという作用を有する。
【0037】
請求項16記載の発明は、請求項7記載の色情報交換方法において、発信デバイスの色空間内に設置した制御点の一部と受信デバイスの色空間内に設置した制御点の一部の測色的距離が、発信デバイスと受信デバイスの色再現範囲内において最小化され、かつ発信デバイスの色空間内に設置したその他の制御点と受信デバイスの色空間内に設置したその他の制御点の色の見えの違いが発信デバイスと受信デバイスの色再現範囲内において最小化されていることを特徴とするもので、幾何学的に設計されたマッピング方法の一部に測色的違いを最小化する効果を与え、その他に色の見えの違いを最小化する効果を与えるという作用を有する。
【0038】
請求項17記載の発明は、請求項11乃至16のいずれかに記載の色情報交換方法において、色の見えが一致する制御点、あるいは色の見えの違いが最小化された制御点を求める際に、発信デバイスと受信デバイスの色域のカスプの間にある色をテスト色として観察者に与え、観察者が特定した色を受信デバイスの重心制御点あるいは表面制御点を用いることを特徴とするもので、短時間で色の見えが一致する色あるいは色の見えの違いが最も小さい色を特定できるという作用を有する。
【0039】
請求項18記載の発明は、請求項17記載の色情報交換方法において、重心制御点間のマッピングは、発信デバイスにおける重心ベクトル間の距離を受信デバイスにおける重心ベクトル間の距離に変換するスケーリング係数を算出し、かつ前記スケーリング係数を入力点の位置に応じて重み付けしてマッピング点を決定することを特徴とするもので、任意の入力色に対して重心マッピングが機能する具体的方法を特定して色カテゴリカルな特性を保持したマッピングを実現するという作用を有する。
【0040】
請求項19記載の発明は、請求項17記載の色情報交換方法において、表面制御点間のマッピングは、重心マッピングよってマッピングされた発信デバイスの表面制御点を受信デバイスの表面制御点に再マッピングされるようにスケーリング係数を算出し、かつ前記スケーリング係数を入力点が重心制御点及び表面制御点と持つ位置関係に応じて重み付けしてマッピング点を決定することを特徴とするもので、重心マッピングによってマッピングした任意のマッピング点に対して表面制御点間のマッピングによる再マッピングが色域情報を付加し、色カテゴリカルな特性を保持したマッピングを実現するという作用を有する。
【0041】
請求項20記載の発明は、請求項19記載の色情報交換方法において、重心制御点及び表面制御点と入力点が持つ位置関係に応じた重み付けが、入力ベクトルと重心制御点が持つ距離の逆数の比によって与えられることを特徴とするもので、重心制御点間が持つ重心マッピングの情報を任意点で内挿するという作用を有する。
【0042】
請求項21記載の発明は、請求項19記載の色情報交換方法において、重心制御点及び表面制御点と入力点が持つ位置関係に応じた重み付けが、入力ベクトルと重心制御点が持つ距離の逆数、および表面制御点と持つ距離の逆数の比によって与えられることを特徴とするもので、表面制御点間が持つマッピングの情報を任意点で内挿するという作用を有する。
【0043】
請求項22記載の発明は、発信デバイスから受信デバイスへ色情報を伝達する装置において、発信デバイス上に色刺激を呈示して、前記色刺激の色名を少なくとも1人の観察者が応答した結果を格納した発信デバイス用カラーネーミングデータベースと、受信デバイス上に色刺激を呈示して、前記色刺激の色名を観察者が応答した結果を格納した受信デバイス用カラーネーミングデータベースと、前記発信デバイス用カラーネーミングデータベースから観察者の色名応答結果を呼び出して、各色名ごとに発信デバイスから与えられる入力色ベクトルから前記重心ベクトルまでの距離を正規化する発信デバイス用色情報正規化部と、前記発信デバイス用色情報正規化部が出力した正規化距離を発信デバイスと受信デバイスの色空間内に設置した重心制御点どうしがマッピングされるようにマッピング点を決める重心マッピング制御部と、前記重心マッピング制御部が出力した正規化距離を発信デバイスと受信デバイスの色空間内に設置した表面制御点どうしがマッピングされるようにマッピング点を決めるダイナミックレンジマッピング制御部と、前記ダイナミックレンジマッピング制御部が出力した目標正規化距離を持つ測色値を受信色空間内で探索する目標正規化距離探索部とを備えたことを特徴とするもので、色属性と色再現性の関係を色カテゴリの観点から定量的に把握して色域マッピングの方法を設計でき、 かつ観察条件の異なる画像の色再現性の向上などを実現できるという作用を有する。
【0044】
以下、本発明の実施の形態について、図を用いて説明する。
【0045】
(実施の形態1)
図1は、本発明の実施の形態1におけるCRTディスプレイの画像をプリンタに出力する際を例としたカラーマネジメントシステムの構成を示し、以下に説明する。
【0046】
図1において、色情報交換装置101はCRTディスプレイ102を駆動するCRTディスプレイ駆動装置103から発信デバイスの色情報を取得してプリンタ104に出力するためにプリンタ駆動装置105に色情報を送出する。CRTディスプレイ駆動装置103はCRTディスプレイ用プロファイル106に記述されているCRTディスプレイの入出力特性に基づいてCRTディスプレイ102に測色的に適切なドライブ信号を与える。一方、プリンタ駆動装置105はプリンタ用プロファイル107に記述されているプリンタの入出力特性に基づいてプリンタ104に測色的に適切なドライブ信号を与えるものである。
【0047】
本発明の考え方について説明する。カラーマネジメントシステムでは、CRTディスプレイ102とプリンタ104の色域の違いを考慮して色域マッピングを実行する必要があり、さらに照明の色温度の違いについても考慮しなければならない。
【0048】
まず、CRTディスプレイとプリンタの色表示範囲について説明する。
図2は、CRTディスプレイの色表示範囲とプリンタの色表示範囲の一例である。図2(a)は、CIELAB色空間のa*-b*面への投影図であり、201はCRTディスプレイの色域境界を、202はプリンタの色域境界を示す。図2(b)は横軸に彩度C*を縦軸に明度L*を取った色相角0度での切断面であり、203はCRTディスプレイの色域境界を、204はプリンタの色域境界を示す。全般的にCRTディスプレイの方が色表示範囲が広く、CRTディスプレイの画像をプリンタに出力する場合は色域マッピングが必要になることが理解できる。
【0049】
次に、照明の色温度の違いであるが、CRTディスプレイの典型的な白色点色温度は9300Kであり、プリントを観察する標準観測条件ISO13655の5000Kと異なることが常である。実用上は室内灯の色温度が5000Kに一致することは希であり、またCRTディスプレイは室内灯下で観察することが多いため、CRTディスプレイ自身が発する光と室内灯の光が混合される都合上、任意の色温度に対する対応が必要とある。このような意味合いで、CRTディスプレイとプリンタの間で測色値の互換性が保たれないケースが多く、したがって対応色予測が必須となる。
【0050】
これらの課題を解決する本発明の具体的な方法の考え方について説明する。 図3は、観察者を用いたカテゴリカルカラーネーミングの結果である。CIELAB空間でランダムに3次元ベクトルを発生させ、色再現範囲に入った3次元ベクトルをテスト色としてカラーネーミングを行った。色名には、以下の11個を使用し、観察者はこのうちのひとつを用いて色名を答えた。
1. white(shiro)
2. black(kuro)
3. red(aka)
4. green(midori)
5. yellow(ki)
6. blue(ao)
7. purple(murasaki)
8. pink(momo)
9. orange(daidai)
10. gray(hai)
11. brown(cha)
図3には、redと答えた色(黒点)とpinkと答えた色(白点)のみがCIELAB色空間のa*-b*面にプロットされている。図3(a)は、CRTディスプレイ上の色でのネーミング結果であり、図3(b)はプリントした色でのネーミング結果である。図3(a)と図3(b)を比較すると、両デバイスが共有する色域内においても色カテゴリカルな分布の違いがあり、CIELAB値をそのまま、CRTディスプレイからプリンタに渡した場合、色カテゴリカルなミスマッチングが発生することが理解できる。たとえば、CRTディスプレイ上の色301とプリント上の色302は同じCIELAB値を持つ色であるが、CRTディスプレイ上では「red」と知覚され、プリント上では「pink」と知覚されている。したがってCRTディスプレイのCIELAB値をそのままプリンタへ与えるとマッピングされる色の対が異なる色名を持ってしまい色再現性低下を引き起こすことが理解できる。したがって、マッピング対が同じ色名を持つようにマッピングを制御することは、色再現性向上の鍵となる。
【0051】
図4は、Kellyが示した色の領域である(参考文献:「色彩工学の基礎」P110、池田光男著)。全可視光域の光を23の色領域に区分している。また、図5にMacAdamが調べた色弁別楕円(参考文献;「色彩工学の基礎 」P137、池田光男 著)を示す。2°の二分視野(48cd/m2)を標準光源C(24cd/m2)が取り囲むような刺激呈示で求めた色弁別楕円で、楕円内の色はすべて同じ色に見えることを表わす。ただし、結果を見やすくするため、楕円の大きさは実際のものの10倍で表示してある。
【0052】
この結果から、ある色のまとまり、たとえばKellyが用いた「緑」や「黄味緑」、「青味緑」などの色のまとまりは、それぞれ楕円形状を持っていると予想できる。そしてKellyが求めた色領域の境界線は図6に示すようにそれぞれの楕円の交線であると予測できる。図6において、601は「緑」と知覚される色のまとまりを表わし、602は「黄味緑」と知覚される色のまとまりを表わし、603は「青味緑」と知覚される色のまとまりを表わし、604は「緑」と「黄味緑」の知覚の境界を表わし、605は「緑」と「青味緑」の知覚の境界を表わし、606はCRTディスプレイの色表示限界を表わす。
【0053】
以上の考え方から本発明は、CRTディスプレイとプリンタの色空間をともに被験者が知覚する色によって複数の色カテゴリに分類し、同一の色カテゴリ間でマッピング点を決定する。そこで、まずCRTディスプレイとプリンタの両色空間の色カテゴリカルな特性を把握しなければならない。色空間内の代表色を被験者に呈示し、カラーネーミングによって複数の色カテゴリへの分類を実行させ、同一色カテゴリに分類された色信号データ群ごとに色カテゴリカルに正規化した距離を用いてマッピング制御を行うものである。
【0054】
次に、色情報交換装置101の内部構成図を図7に示し、以下に説明する。
CRTディスプレイに表示された色の測色値が色情報入力部701から入力される。発信デバイス用カラーネーミングデータベース702には、CRTディスプレイ上に呈示された色の色名を少なくとも1人の観察者が応答した結果として、色名に対する測色値が格納されている。
【0055】
発信デバイス用色情報正規化部703は、発信デバイス用カラーネーミングデータベース702から色名ごとの測色値を読み出し、色名ごとに重心ベクトルと分散共分散行列を算出し、重心ベクトルと分散共分散行列に基づいて、CRTディスプレイの測色値と重心ベクトル間の正規化距離を計算する。正規化距離は、重心マッピング制御部704とダイナミックレンジマッピング制御部705を経て目標正規化距離へ変換され、目標正規化距離探索部706へ与えられる。
【0056】
受信デバイス用カラーネーミングデータベース707には、複数のプリント色の色名を観察者が応答した結果として、色名ごとの測色値が格納されている。
【0057】
目標正規化距離探索部706では、受信デバイス用カラーネーミングデータベース707から色名ごとの測色値を読み出し、各色名ごとに重心ベクトルと分散共分散行列を計算し、出力候補色と受信デバイス色空間内の重心ベクトルとの正規化距離を計算して目標正規化距離を持つ測色を見つけ出す。見つけ出された測色値は色情報出力部708からプリンタ測色値として出力される。
【0058】
次に、発信デバイス用色情報正規化部703の正規化距離の計算方法について、詳細に説明する。
正規化距離は以下の式で求める。
【0059】
【数1】
Figure 0004178732
【0060】
ここでΣiは色カテゴリiの分散共分散行列Σiの行列式を、Σi -1は分散共分散行列Σiの逆行列をそれぞれ表わす。Diは色カテゴリiの重心から色ベクトルXまでの距離で、色名iと名づけられた色データ群の広がりを表す分散共分散行列Σiで正規化された距離である。
【0061】
色ベクトルXを
【0062】
【数2】
Figure 0004178732
【0063】
とし、色カテゴリiの重心ベクトルμi
【0064】
【数3】
Figure 0004178732
【0065】
とすると、色カテゴリiの分散共分散行列Σi
【0066】
【数4】
Figure 0004178732
【0067】
で与えられる。ここでnは色信号データ群の要素数を表わす。カラーネーミングにq個の色名を用いた場合、色ベクトルXはq個の正規化距離を持つことになる。
【0068】
正規化距離は、色カテゴリの広がりを加味しているため、正規化距離の比較で被験者が色ベクトルXを何色と知覚しているかを推定することができる。つまり、色カテゴリredに対する正規化距離が色カテゴリpinkに対する正規化距離より小さければ、被験者は色ベクトルXをpinkよりはredと知覚している可能性が高いと判断できる。図3にあるように、色カテゴリredは色カテゴリpinkにくらべて分布範囲が狭い。そこで、CIELAB空間のユークリッド距離をそのまま使って距離比較すると色カテゴリredは過小評価され、距離と観察者の色カテゴリカル知覚の関係がうまく結びつかない。一方、正規化距離は分散共分散行列によって色カテゴリの3次元的な広がりの違いを吸収しているため、距離と観察者の色カテゴリカル知覚との対応が取れている。これが正規化距離を用いる利点である。
【0069】
次に、重心マッピング制御部704の内部構成図を図8に示し、詳細に説明する。図7の発信デバイス用色情報正規化部703で算出された発信デバイス色の正規化距離は、発信デバイス用正規化距離入力部801から入力される。発信デバイス用カラーネーミングデータベース入力部802は、発信デバイス用カラーネーミングデータベース702に格納された色名ごとの測色値を入力する。受信デバイス用カラーネーミングデータベース入力部803は、受信デバイス用カラーネーミングデータベース707に格納された色名ごとの測色値を入力する。重心マッピングスケーリング係数行列算出部804は、発信デバイス用カラーネーミングデータベース入力部802と受信デバイス用カラーネーミングデータベース入力部803の測色値から算出された重心ベクトルと分散共分散行列から重心マッピングスケーリング係数行列を算出する。
【0070】
重心マッピングスケーリング係数行列用重み付け係数算出部805は、発信デバイス用正規化距離入力部801から供給された発信デバイス色の正規化距離に基づいて重心マッピングスケーリング係数を色カテゴリごとに重み付けする重み付け係数を算出する。発信デバイス用正規化距離入力部801から供給された発信デバイス色の正規化距離は、中間正規化距離算出部806において、重心マッピングスケーリング係数行列算出部802の出力である重心マッピングスケーリング係数行列と重心マッピングスケーリング係数行列用重み付け係数算出部805の出力である重心マッピングスケーリング係数行列用重み付け係数を用いて中間正規化距離に変換される。、中間正規化距離算出部806の出力は、中間正規化距離出力部807を介して、図7のダイナミックレンジマッピング制御部705へ出力される。
【0071】
次に、図9にダイナミックレンジマッピング制御部705の内部構成図を示し、詳細に説明する。ダイナミックレンジマッピング制御部705の出力である中間正規化距離は中間正規化距離入力部901から入力される。発信デバイス用カラーネーミングデータベース入力部902は、発信デバイス用カラーネーミングデータベース702に格納された色名ごとの測色値を入力する。受信デバイス用カラーネーミングデータベース入力部903は、受信デバイス用カラーネーミングデータベース707に格納された色名ごとの測色値を入力する。また発信デバイス色入力部904は発信デバイスの色の測色値を入力する。
【0072】
ダイナミックレンジマッピングスケーリング係数行列算出部905は、発信デバイス用カラーネーミングデータベース入力部902から供給される色名ごとの測色値から算出される重心ベクトルと分散共分散行列と、受信デバイス用カラーネーミングデータベース入力部903から供給される色名ごとの測色値から算出される重心ベクトルと分散共分散行列からダイナミックレンジマッピングスケーリング係数行列を算出する。
【0073】
一方、ダイナミックレンジマッピング抑制係数算出部906は、発信デバイス用カラーネーミングデータベース入力部902と受信デバイス用カラーネーミングデータベース入力部903からの測色値で算出した重心ベクトルと分散共分散行列と、発信デバイス色入力部904から供給される発信色の測色値からダイナミックレンジマッピング抑制係数を算出する。ダイナミックレンジマッピングスケーリング係数行列用重み付け係数算出部907は、発信デバイス色入力部904から供給された発信色の測色値より、ダイナミックレンジマッピングスケーリング係数行列用重み付け係数を算出する。
【0074】
目標正規化距離算出部908は、中間正規化距離入力部901から供給された中間正規化距離を、ダイナミックレンジマッピング抑制係数算出部906の出力であるダイナミックレンジマッピング抑制係数と、ダイナミックレンジマッピングスケーリング係数行列用重み付け係数算出部907の出力であるダイナミックレンジマッピングスケーリング係数行列用重み付け係数を用いて目標正規化距離に変換する。目標正規化距離算出部908の算出結果である目標正規化距離は目標正規化距離出力部909を介して、図7の目標正規化距離探索部706へ出力される。
【0075】
次に、発信デバイス用カラーネーミングデータベース702あるいは受信デバイス用カラーネーミングデータベース707の作成方法について、図10を用いて説明する。
【0076】
CRTディスプレイあるいはプリンタの出力プリント1001上に予め測色値を測定しておいた少なくとも1つ以上のテスト刺激のカラーパッチ1002を呈示し、被験者1003はこれを見て、複数の色名を用いてカラーネーミングを行う。具体的には、被験者の応答としてCRTディスプレイあるいはプリンタの出力プリント1001に表示されているカラーパッチ1002の色名をマウス1004等用いて計算機1005へ入力する。計算機1005への色名の入力方法は、これに限定されるものではなく、音声認識を用いてもよい。また、被験者は、1人または複数の被験者によりカラーネーミングを行っても良い。
【0077】
カラーパッチ1002がCRTディスプレイ1001に表示された場合は、被験者1003によりマウス1004から入力された色名に応じて、計算機1005は呈示されたカラーパッチの1002の測色値あるいはデバイスドライブレベルを発信デバイス用カラーネーミングデータベース702に蓄積する。また、カラーパッチ1002がプリンタの出力プリントとして表示された場合は、被験者1003によりマウス1004から入力された色名に応じて、計算機1005は呈示されたカラーパッチの1002の測色値あるいはデバイスドライブレベルを受信デバイス用カラーネーミングデータベース707に蓄積する。
【0078】
カラーネーミングに用いる色名は、色再現の目的に応じて選択的に設定すると効果的である。たとえば、画像機器が持つ色空間全体において色カテゴリカル特性を記述する場合はBerlin and Kayが見出した以下の11個の基本色名(参考文献;「Basic Color Terms. Their Universality and Evolution」, Univ. of California Press, Berkley, 1969)が有効である。
1. white(shiro)
2. black(kuro)
3. red(aka)
4. green(midori)
5. yellow(ki)
6. blue(ao)
7. purple(murasaki)
8. pink(momo)
9. orange(daidai)
10. gray(hai)
11. brown(cha)
これら11個の基本色名は、100種近くの言語を調べ、発達した言語ならばどの言語でも共通した11個のカテゴリカルな基本色名があることから導き出された。Crawfordは、基本色名の定義を以下のようにまとめた(参考文献;「Defining basic color terms」, Anthropol Linguist, 24, 338-343, 1982年)。
1. すべての人の語彙に含まれること。
【0079】
2. 人によらず、使うときによらず安定して用いられること。
【0080】
3. その意義が他の単語に含まれないこと。
【0081】
4. 特定の対象物にしか用いられないことがないこと。
また、内川は、日本語の11個の基本カテゴリ色を導出した(参考文献;「色のカテゴリカル知覚と記憶」, 第7回色彩工学コンファレンス, 1990年)。このように色カテゴリカル基本色を用いれば、画像機器が持つ色空間全体に渡って過不足なく色名を答えることができる。
【0082】
また、色再現性を決める大きな要因のひとつ、「記憶色」の制御に重きを置く場合は、色名に記憶色を用いると有効である。色名を設定するということは幾何学的に見ると、色空間内に重心を設定することに値する。そこで、空の青や草の緑などの記憶色を色名に用いた場合、色再現上、重要な記憶色を起点にマッピング点が制御されるため、色再現性の向上が見こまれる。
【0083】
また、観察者がテスト画像を見て知覚した色名をカラーネーミングに用いた場合は、画像ガマットに重きを置いてマッピング制御できるため、デバイスガマット全体を網羅する場合に比べてより無駄のない適切な色情報交換が実現できる。
【0084】
以上、カラーネーミングに使用する色名に「カテゴリカル基本色名」、「記憶色」そして「観察者が知覚した色」を用いた場合の有効性を説明したが、本発明は本実施形態に制限されるものでなく、色カテゴリの設定方法は任意であることを特筆しておく。
【0085】
次にCRTディスプレイの色空間の色カテゴリカル特性を保持しながらプリンタの色空間へマッピングを実行する方法を図11に示し詳細に説明する。色カテゴリの数は、便宜上9つとしておく(色名White、 Black、 Grayは色味を持たない無彩色であるため、ひとつのカテゴリAchromaticにまとめると色カテゴリは9つとなる)。
【0086】
まず、CRTディスプレイのドライブ信号を入力し(S1101)、前記CRTディスプレイのドライブ信号を発光色の測色値に変換する(S1102)。発光色の測色値を都度測色するのは非効率的であるため、IEC TC100 / PT61966(Colour Management and Measurement in Multimedia systems and Equipment)などが提案するデバイスモデルを使ってドライブレベルから測色値を推定する形態が通常、有効である。
【0087】
カラーネーミングによって予め求められたCRTディスプレイの重心ベクトルμs,iと分散共分散行列Σs,iを入力し(S1103)、さらにプリンタの重心ベクトルμd,iと分散共分散行列Σd,iを入力する(S1104)。処理S1102で求めたCRTディスプレイの測色値は、CRTディスプレイの重心ベクトルμs,iと分散共分散行列Σs,iを用いて(数1)により9つの色カテゴリの重心ベクトルに対して正規化距離が算出される(S1105)。
処理S1105で求められた9つの正規化距離は、重心マッピングオペレータで中間正規化距離に変換され(S1106)、さらにダイナミックレンジマッピングオペレータによって最適なマッピング点が持つべき目標正規化距離に変換される(S1107)。処理S1107により、発信デバイスの色は9つの正規化距離として受信デバイスにマッピングされたことになる。
【0088】
次は、プリンタの色空間内で目標正規化距離を持つ測色値を探索する(S1108)。探索された測色値を印刷するようなドライブレベルをプリンタのデバイスモデルで算出し(S1109)、前記ドライブ信号を受信デバイスであるプリンタに出力する(S1110)。
【0089】
次に、処理S1106の重心マッピングオペレータと処理S1107のダイナミックレンジマッピングオペレータについて詳細に説明する。
【0090】
処理S1106の重心マッピングオペレータは、CRTディスプレイの重心ベクトルとプリンタの重心ベクトルの位置関係に基づいてCRTディスプレイの正規化距離を中間正規化距離に一旦変換し、ダイナミックレンジマッピングオペレータはガマット表面あるいはガマット表面付近に設けられた表面制御点のマッピング情報に基づいて中間正規化距離を目標正規化距離に変換する。(数5)はCRTディスプレイの正規化距離ベクトルDsを重心マッピングオペレータVとダイナミックレンジマッピングオペレータRで目標正規化距離ベクトルDtに変換する。
【0091】
【数5】
Figure 0004178732
【0092】
重心マッピングオペレータVでCRTディスプレイの正規化距離ベクトルDsを変換した距離ベクトルDb,tが中間正規化距離ベクトルである。
【0093】
重心マッピングオペレータVの要素V1, V2, …, V9は(数6)によって与えられる。
【0094】
【数6】
Figure 0004178732
【0095】
ここで、Φは、重心マッピングスケーリング係数行列と呼ばれ、(数7)で与えられる。また、[wv, 1, wv,2, …, wv,9]t は重心マッピングスケーリング係数用の重み付けベクトルであり、各要素は(数8)で与えられる。
【0096】
【数7】
Figure 0004178732
【0097】
【数8】
Figure 0004178732
【0098】
重心マッピングスケーリング係数行列Φは、CRTディスプレイの重心をプリンタの同一色カテゴリの重心にマッピングするオペレータである。幾何学的にはCRTディスプレイが持つ9つの重心の互いの位置関係をプリンタが持つ9つの重心の互いの位置関係に置きかえる役割を持つ。重心マッピングスケーリング係数行列Φの要素vlmは、CRTディスプレイの色空間で色カテゴリlの重心から色カテゴリmの重心を見た正規化距離Ns,lmをプリンタの色空間で色カテゴリlの重心から色カテゴリmの重心を見た正規化距離Nd,lmに変換するスケーリング係数である。重心マッピングスケーリング係数行列Φは、9つの色カテゴリすべての組み合わせに対するスケーリング係数を持つため、CRTディスプレイ色空間内の重心ベクトルはすべて同一色カテゴリの重心点にマッピングされる。ただし、(数7)に示すように、自身の距離に対するスケーリング係数(l = mのとき)は0とする。
【0099】
重心以外に対する重心マッピングのオペレーションは、重心が持つマッピング情報を色ベクトルXと重心ベクトルμとの位置関係に応じて内挿して実行する。(数6)において、重心マッピングスケーリング係数行列Φの列ベクトル要素[v1i, v2i, …, v9i]は色カテゴリiにおいて重心点間のマッピングを実現するスケーリング係数であり、これらを重み付け係数wv,iで重み付けする。重み付け係数wv,iは、(数8)に示すように、色ベクトルXが9つの色カテゴリの重心点と持つ正規化距離の逆数の和に対する色カテゴリiの重心点と持つ正規化距離の逆数との割合で定義される。従って、色ベクトルXに近い色カテゴリの重心ほどスケーリング係数が重視され、色ベクトルXに遠い色カテゴリの重心ほどスケーリング係数が軽視される。
【0100】
以上、重心マッピングオペレータVは、(数6)から(数8)によって与えられ、CRTディスプレイの正規化距離ベクトルDsを中間正規化距離ベクトルDb,tに変換する。
【0101】
次に、処理S1107のダイナミックレンジマッピングオペレータRについて詳細に説明する。(数5)に示したように、ダイナミックレンジマッピングオペレータRは中間正規化距離ベクトルDb,tを目標正規化距離ベクトルDtに変換する。その機能は、重心マッピングオペレータVによって重心間のマッピングのみが施された中間正規化距離ベクトルDb,tにさらに、発信デバイス(CRTディスプレイ)と受信デバイス(プリンタ)のガマット形状の違いを組み入れるもので、ダイナミックレンジ変換に値する。ダイナミックレンジマッピングオペレータRは、(数5)に示すように、発信デバイスと受信デバイスのダイナミックレンジを対応させるダイナミックレンジ補正係数Uiと、前記ダイナミックレンジ補正係数Uiの働きを抑える抑制係数Fとからなる。
【0102】
まず、ダイナミックレンジ補正係数Uiから詳細に説明する。ダイナミックレンジ補正係数Uiを設計するために表面制御点を定義する。表面制御点は、デバイス色域の表面あるいはデバイス色域表面付近に設定し、ダイナミックレンジマッピングのマッピング目標として機能する。ここでは、説明を容易にするために、8つの表面制御点を定義するが、本発明は本実施例の表面制御点の個数に制約されるものではなく、表面制御点の個数は任意に設定できることを特筆しておく。
【0103】
8つの表面制御点は、デバイスのディジタルカウントで定義し、1次色のR: (dr, dg, db)=(255, 0, 0)、 G: (dr, dg, db)=(0, 255, 0)、 B: (dr, dg, db)=(0, 0, 255)と、2次色のY: (dr, dg, db)=(255, 255, 0)、 M: (dr, dg, db)=(255, 0, 255)、 C: (dr, dg, db)=(0, 255, 255)、ホワイトW: (dr, dg, db)=(255, 255, 255)、ブラックK: (dr, dg, db)=(0, 0, 0)とする。これら8点はデバイス色域の8つの頂点に位置し、デバイス色域表面上にある。これらの表面制御点を発信デバイス(CRTディスプレイ)と受信デバイス(プリンタ)の両方に設定し、同じ色の表面制御点間でマッピングを実現するのがダイナミックレンジ補正係数Uiである。したがって、ダイナミックレンジ補正係数Uiは重心マッピングオペレータVによって一旦マッピングされた発信デバイス(CRTディスプレイ)の表面制御点を受信デバイス(プリンタ)の表面制御点へ再マッピングする機能を持つ。
【0104】
ダイナミックレンジ補正係数Uiは(数9)で与えられる。
【0105】
【数9】
Figure 0004178732
【0106】
ここでΨは、ダイナミックレンジマッピングスケーリング係数行列と呼ばれ、(数10)で与えられる。また、[wr, 1, wr,2, …, wr,9]t はダイナミックレンジマッピングスケーリング係数用の重み付けベクトルであり、各要素は(数11)で与えられる。
【0107】
【数10】
Figure 0004178732
【0108】
【数11】
Figure 0004178732
【0109】
ここでpは、色カテゴリの種類を表し、qは表面制御点の種類を表す。ダイナミックレンジマッピングスケーリング係数行列Ψは、CRTディスプレイの表面制御点をプリンタの同一色の表面制御点にマッピングするオペレータであり、重心どうしをマッピングする重心マッピングオペレータVと幾何学的に同等に動作する。つまり、ダイナミックレンジマッピングスケーリング係数行列ΨはCRTディスプレイが持つ8つの表面制御点の互いの位置関係をプリンタが持つ8つの表面制御点の互いの位置関係に置きかえる。ダイナミックレンジマッピングスケーリング係数行列Ψの要素ψpqは、CRTディスプレイの色空間で色カテゴリpの重心から見た色qの表面制御点までの中間正規化距離Dd,a,b,pqをプリンタの色空間で色カテゴリpの重心から見た色qの表面制御点の中間正規化距離Dd,a,c,pqに変換するスケーリング係数である。ダイナミックレンジマッピングスケーリング係数行列Ψは9つの色カテゴリと8つの表面制御点すべての組み合わせに対するスケーリング係数を持つため、CRTディスプレイ色空間内の表面制御点はすべて同一色の表面制御点にマッピングされる。ただし、(数11)に示すように、自身の距離に対するスケーリング係数(p= qのとき)は0とする。
【0110】
表面制御点以外に対するダイナミックレンジマッピングのオペレーションは、表面制御点が持つマッピング情報を色ベクトルXと表面制御点との位置関係に応じて内挿して実行する。(数9)において、ダイナミックレンジマッピングスケーリング係数行列Ψの列ベクトル要素[ψ1i, ψ2i, …, ψ9i]は色カテゴリiの重心点から表面制御点への中間正規化距離をスケーリングする係数であり、これらを重み付け係数wr,iで重み付けする。重み付け係数wr,iは、(数11)に示すように、発信デバイスの色空間において色ベクトルXが8つの表面制御点と持つCIELAB空間内のユークリッド距離の逆数の和に対する色カテゴリiの表面制御点と持つユークリッド距離の逆数との割合で定義される。従って、色ベクトルXに近い表面制御点ほどスケーリング係数が重視され、色ベクトルXに遠い表面制御点ほどスケーリング係数が軽視される。
【0111】
次にダイナミックレンジマッピングオペレータRのもうひとつの要素、抑制係数Fについて詳細に説明する。
【0112】
ダイナミックレンジ補正係数Uiは、発信デバイス(CRTディスプレイ)の表面制御点を受信デバイス(プリンタ)の表面制御点へマッピングするが、重心マッピングオペレータVで受信デバイスの重心にマッピングされた発信デバイスの重心もダイナミックレンジマッピングオペレータRによって再マッピングされ、受信デバイスの重心以外に移動してしまう。発信デバイスと受信デバイスの間で、重心どうしをマッピングし、表面制御点どうしをマッピングする設計方針を貫くには、重心マッピングオペレータVで受信デバイスの重心に一旦マッピングされた色ベクトルは、ダイナミックレンジマッピングオペレータRによる再マッピングの影響を受けず、重心から動かないように制御しなくてはならない。
【0113】
(数5)で解釈し直すならば、色ベクトルXが発信デバイスの重心と一致した場合は、重心マッピングオペレータVで変換された中間正規化距離ベクトルDb,tがそのまま目標正規化距離ベクトルDtになることに値する。従って、ダイナミックレンジ補正係数Uiは色ベクトルXが発信デバイスの重心に一致した場合、全く効力を発揮せず、表面制御点に一致した場合は最大限に効力を発揮する必要がある。これを実現するには、色ベクトルXと発信デバイスの重心点との位置関係からダイナミックレンジ補正係数Uiの効力を重み付けする必要がある。この機能を担うのが抑制係数Fであり、(数12)で与えられる。
【0114】
【数12】
Figure 0004178732
【0115】
ただし、fiは(数13)で与えられ、wm,iは(数14)で与えられる。
【0116】
【数13】
Figure 0004178732
【0117】
【数14】
Figure 0004178732
【0118】
Es,m,iは、色カテゴリiの重心ベクトルμiと色ベクトルXとのCIELAB空間におけるユークリッド距離を表わし、Es,a,iは表面制御点iと色ベクトルXとのCIELAB空間におけるユークリッド距離を表わす。ただし、Es,m,i、Es,a,iともに発信色空間(CRTディスプレイ色空間)内での距離を示す。(数13)によってfiは色カテゴリiの重心ベクトルが8つの表面制御点に対して与えるダイナミックレンジ補正係数Uiへの拘束力として働き、Es,m,i = 0のとき、つまり色ベクトルXが重心ベクトルμiと一致した場合、fi = 1となって拘束力最大となる。逆にEs,a,i = 0のとき、つまりテスト色が表面制御点と一致した場合、fi = 0となって拘束力はなくなる。
【0119】
一方、(数14)において、 Ds,m,iは色カテゴリiの重心ベクトルμiと色ベクトルXとの正規化距離を表わす。ただし発信色空間内での距離である。色ベクトルXが色カテゴリiの重心ベクトルμiと一致した場合、wm,i = 1となり、色カテゴリi以外の重み係数wm,k!=i = 0となる。したがってwm,iは、色ベクトルXの位置に従って決定される拘束力fiへの重み付け係数の意味を持つ。9つの重心ベクトルが持つ拘束力fiそれぞれがwm,iによって重み付けされて、抑制係数Fに反映される。
【0120】
以上の処理によって、CRTディスプレイの入力測色値は目標正規化距離に変換され、正規化距離の形態においてマッピングが完了したことになる。
【0121】
次に、プリンタ色空間における測色値のうち、目標正規化距離を持つ測色値を見つけ出す処理S1108について詳細に説明する。
【0122】
受信デバイスの色空間内で重心ベクトルと目標正規化距離を持つ測色値を探し出す手順を図12に示し説明する。
【0123】
目標正規化距離が入力され(S12001)、さらに受信デバイスの重心ベクトルと分散共分散行列が入力されて(S12002)、設定された出力候補色(S12003)が重心ベクトルと持つ正規化距離が算出される(S12004)。前記正規化距離は(数15)で与えられる出力候補色評価関数に与えられ(S12005)、前記出力候補色評価関数の値とあらかじめ設定された閾値と比較する(S12006)。
【0124】
【数15】
Figure 0004178732
【0125】
ここで、Dp,iは出力候補色が色カテゴリiの重心と持つ正規化距離を表わす。(数15)の値が前記閾値より小さい場合は探索を終了し、出力候補色を出力測色値として(S12007)受信デバイスへ送出する。一方、(数15)の値が前記閾値より大きい場合は出力候補色を更新し(S12008)、処理S12004へ戻る。処理S12008の出力候補色の更新方法は本発明が拘束する部分ではないため、任意の方法を適応すればよく、たとえばシンプレックス法などが有効である。
【0126】
以上、図11における重心マッピングオペレータV(処理S1106)の詳細とダイナミックレンジマッピングオペレータR(処理S1107)の詳細を説明した。
【0127】
ところで、色再現システムは色再現の目標に従って形態を変える必要がある。たとえば測色マッチングを色再現の目標とした場合、発信色と受信色はCIEXYZ値、あるいはCIELAB値が一致することを基準としてシステムが最適化される。また、色の見えのマッチングを色再現の目標とした場合は、発信色と受信色の色の見えの属性(絶対的にはBrightness、 Colorfulness、相対的にはHue、 Lightness、 Chroma)が一致することが基準となる。
【0128】
好ましい色再現では、記憶色の一致を中心に、観察者の知覚色に準じた色再現が必要になる。本発明は重心ベクトルからなる重心制御点と色域表面あるいは色域表面付近に設置した表面制御点を用いて、様々な色再現への選択的適応が可能である。すなわち、受信デバイスの制御点に発信デバイスと測色的に一致するベクトルを用いれば制御点間は測色マッチングが確保され、色域マッピングのためのカテゴリカルな特性の保持と測色マッチングをミックスしたマッピングが実現できる。
【0129】
一般に、色域内部のグレー軸に近い部分では測色マッチングを実現し、色域表面では色域圧縮に伴う非線形な処理が有効と言われているが、本発明では色域内部に存在する重心制御点を測色マッチングペアにし、表面制御点を知覚色マッピングペアとすれば実現できる。
【0130】
また、全制御点ペアで色の見えの違いを最小化すれば、照明の違いなどに起因する色順応を考慮した色域マッピングが設計でき、任意の視環境で色カテゴリカルに最適化された色域マッピング方法が設計できる。色域圧縮が発生しない場合は色の見えマッチングを実現する色情報交換として働き、対応色予測を任意の視環境下で実行できる。
【0131】
なお、発信デバイスの色と見えが一致する色を受信デバイスにおいて特定するには観察者に複数のテスト色を与えて観察者に選択させる工程が必要になる。
【0132】
また、発信デバイスと受信デバイスの色域の違いから見えが一致する色は特定できず、見えの違いが最小となる色を探し出す工程が必要となる。この際、図13(a)に示すような発信デバイスの色域のカスプ1301と受信デバイスの色域のカスプ1302の間にある色をテスト色に用いると短時間に前記工程を終了できる効果がある。横軸は色相で、縦軸は明度である。
【0133】
図13(b)は、色相角200度における発信デバイスの色域境界1303と受信デバイスの色域境界1304を彩度C*−明度L*面で示している。発信デバイスの表面制御点を発信デバイスの色域境界1303上の最も彩度の高いカスプ1305に取った場合、これと色の見えの違いが最小になる色は受信デバイスの色域境界1304上の最も彩度の高いカスプ1306付近であると考えられる。
【0134】
もし、カスプ1306そのものが選ばれない場合は、カスプ1306より暗い部分よりも発信デバイスのカスプ1305により近い明るい部分から選ばれると考える方が自然である。従って色の見えの違いが最小となる色は発信デバイスの色域のカスプ1301と受信デバイスの色域のカスプ1302の間にある可能性が高く、ここからテスト色を選べば、短時間で見えの違いが最小となる色や見えが一致する色を探し出せる。
【0135】
【発明の効果】
以上のように本発明は、少なくとも1人の観察者のカラーネーミングからテスト色の測色値あるいはデバイスドライブレベルを色名ごとに分類し、各色名ごとに統計処理を用いて正規化した正規化色空間内に設けた同一色名の制御点をマッピングして色情報交換を行うことによって、色属性と色再現性の関係を定量的に把握した上で設計できる色域マッピングと、かつ観察条件の違いを吸収する実用的な対応色予測を実現できる優れた色情報交換方法である。
【図面の簡単な説明】
【図1】本発明の実施の形態1におけるカラーマネジメントシステムの構成図
【図2】(a)CRTディスプレイとプリンタの色表示範囲(a*-b*平面投影図)の一例を示す図
(b)CRTディスプレイとプリンタの色表示範囲(色相角0度におけるC*-L*切断面)の一例を示す図
【図3】(a)CRTディスプレイ呈示色のredカテゴリとpinkカテゴリの分布図
(b)プリンタ印刷色のredカテゴリとpinkカテゴリの分布図
【図4】 Kellyが示した色の領域を示す図
【図5】 MacAdamが求めた色弁別楕円を示す図
【図6】 MacAdamの色弁別楕円の交線とKellyの色領域の境界線の関係を説明する図
【図7】本発明の実施の形態1における色情報交換装置101の内部構成図
【図8】同重心マッピング制御部704の内部構成図
【図9】同ダイナミックレンジマッピング制御部705の内部構成図
【図10】カラーネーミング実験の方法を説明する図
【図11】 CRTディスプレイの色空間の色カテゴリカル特性を保持しながらプリンタの空間へマッピングを実行する手順を説明する図
【図12】目標正規化距離を持つ測色値を受信デバイスの色空間内で探索する手順を説明する図
【図13】(a)発信デバイスの色域のカスプと受信デバイスの色域のカスプを示す図
(b)発信デバイスの色域境界と受信デバイスの色域境界を彩度C*−明度L*面で示した図
【符号の説明】
101 色情報交換装置
102 CRTディスプレイ
103 画像表示装置
104 プリンタ
105 プリンタ駆動装置
106 CRTディスプレイ用プロファイル
107 プリンタ用プロファイル
201 CRTディスプレイの色域境界
202 プリンタの色域境界
203 CRTディスプレイの色域境界
204 プリンタの色域境界
301 CRTディスプレイ上の色
302 プリント上の色
601 「緑」と知覚される色のまとまり
602 「黄味緑」と知覚される色のまとまり
603 「青味緑」と知覚される色のまとまり
604 「緑」と「黄味緑」の知覚の境界
605 「緑」と「青味緑」の知覚の境界
606 CRTディスプレイの色表示限界
701 色情報入力部
702 発信デバイス用カラーネーミングデータベース
703 発信デバイス用色情報正規化部
704 重心マッピング制御部
705 ダイナミックレンジマッピング制御部
706 目標正規化距離探索部
707 受信デバイス用カラーネーミングデータベース
708 色情報出力部
801 発信デバイス用正規化距離入力部
802 発信デバイス用カラーネーミングデータベース入力部
803 受信デバイス用カラーネーミングデータベース入力部
804 重心マッピングスケーリング係数行列算出部
805 重心マッピングスケーリング係数行列用重み付け係数算出部
806 中間正規化距離算出部
807 中間正規化距離出力部
901 中間正規化距離入力部901
902 発信デバイス用カラーネーミングデータベース入力部
903 受信デバイス用カラーネーミングデータベース入力部
904 発信デバイス色入力部
905 ダイナミックレンジマッピングスケーリング係数行列算出部
906 ダイナミックレンジマッピング制御係数算出部
907 ダイナミックレンジマッピングスケーリング係数行列用重み付け係数算出部
908 目標正規化距離算出部
909 目標正規化距離出力部
1001 CRTディスプレイあるいはプリンタ
1002 テスト刺激のカラーパッチ
1003 観察者
1004 観察者の応答を計算機へ入力する応答操作
1005 計算機
1301 発信デバイスの色域のカスプ
1302 受信デバイスの色域のカスプ
1303 色相角200度の発信デバイスの色域境界
1304 色相角200度の受信デバイスの色域境界
1305 発信デバイスの表面制御点
1306 受信デバイスのカスプ

Claims (6)

  1. 発信デバイスからの色情報である色空間内の測色値を受信デバイスの色空間にマッピングして伝達する色情報交換方法であって、
    発信デバイスが有する色カテゴリの分布ごとに、前記発信デバイスが有する色カテゴリの分布の重心ベクトルと分散共分散行列とに基き、前記測色値と前記色カテゴリの分布の前記重心ベクトル間の正規化距離を算出する正規化距離算出ステップと、
    前記正規化距離算出ステップで算出された色カテゴリの分布の重心ベクトル間の距離を、前記受信デバイスにおける重心ベクトル間の距離に変換するスケーリング係数を算出するスケーリング係数算出ステップと、
    前記スケーリング係数を前記測色値の位置に応じて重み付けして、前記受信デバイスにおける色空間でのマッピング点を決定する決定ステップと、
    を有する色情報交換方法。
  2. 前記スケーリング係数算出ステップは、
    発信デバイスにおける第1の色カテゴリの分布の重心と第2の色カテゴリの分布の重心との第1の距離と、前記受信デバイスにおける前記第1の色カテゴリの分布と第2の色カテゴリの分布との第2の距離と、の比を、前記スケーリング係数とする、請求項1記載の色情報交換方法。
  3. 前記決定ステップは、
    前記スケーリング係数算出ステップによって算出された、前記発信デバイス中の全ての色カテゴリの分布における、前記測色値から第1の色カテゴリの分布の重心までの前記正規化距離の逆数と、前記測色値から前記発信デバイス中のすべての色カテゴリの分布の重心までの前記正規化距離の逆数の和と、の比を用いて、
    前記受信デバイスにおける色空間でのマッピング点を決定する、請求項1記載の色情報変換方法。
  4. 発信デバイスからの色情報である色空間内の測色値を受信デバイスの色空間にマッピングして伝達する色情報交換装置であって、
    発信デバイスが有する色カテゴリの分布ごとに、前記発信デバイスが有する色カテゴリの分布の重心ベクトルと分散共分散行列とに基き、前記測色値と前記色カテゴリの分布の前記重心ベクトル間の正規化距離を算出する発信デバイス用色情報正規化部と、
    前記色分布の重心ベクトル間の距離を、前記受信デバイスにおける重心ベクトル間の距離に変換するスケーリング係数を算出する重心マッピングスケーリング係数行列算出部と、
    重み付け係数を算出する重心マッピングスケーリング係数行列用重み付け係数算出部と、
    前記スケーリング係数を、前記測色値の位置に応じて前記重み付け係数で重み付けしたものに対する、前記受信デバイスにおける色空間でのマッピング点を決定する目標正規化距離探索部と、
    を有する色情報交換装置。
  5. 前記重心マッピングスケーリング係数行列用重み付け係数算出部は、
    発信デバイスにおける第1の色カテゴリの分布の重心と第2の色カテゴリの分布の重心との第1の距離と、前記受信デバイスにおける前記第1の色カテゴリの分布と第2の色カテゴリの分布との第2の距離と、の比を、前記スケーリング係数として算出する、請求項4記載の色情報交換装置。
  6. 前記目標正規化距離探索部は、
    前記重心マッピングスケーリング係数行列用重み付け係数算出部によって算出された、前記発信デバイス中の全ての色カテゴリの分布における、前記測色値から第1の色カテゴリの分布の重心までの前記正規化距離の逆数と、前記測色値から前記発信デバイス中のすべての色カテゴリの分布の重心までの前記正規化距離の逆数の和と、の比を用いて、
    前記受信デバイスにおける色空間でのマッピング点を決定する、請求項4記載の色情報変換装置。
JP2000252111A 1999-11-11 2000-08-23 色情報正規化方法、並びに色情報交換方法及びその装置 Expired - Fee Related JP4178732B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000252111A JP4178732B2 (ja) 1999-11-11 2000-08-23 色情報正規化方法、並びに色情報交換方法及びその装置
DE60041622T DE60041622D1 (de) 1999-11-11 2000-11-10 Farbtonübereinstimmungsverfahren und -vorrichtung
EP00124663A EP1100256B1 (en) 1999-11-11 2000-11-10 Method and apparatus for gamut mapping
KR1020000066706A KR20010051599A (ko) 1999-11-11 2000-11-10 색 정보 정규화 방법과 색 정보 교환 방법 및 그 장치
US09/709,436 US6995865B1 (en) 1999-11-11 2000-11-13 Method of normalizing color information, method of exchanging color information using the same method and device using the same methods

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-320538 1999-11-11
JP32053899 1999-11-11
JP2000252111A JP4178732B2 (ja) 1999-11-11 2000-08-23 色情報正規化方法、並びに色情報交換方法及びその装置

Publications (3)

Publication Number Publication Date
JP2001203905A JP2001203905A (ja) 2001-07-27
JP2001203905A5 JP2001203905A5 (ja) 2007-09-20
JP4178732B2 true JP4178732B2 (ja) 2008-11-12

Family

ID=26570115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000252111A Expired - Fee Related JP4178732B2 (ja) 1999-11-11 2000-08-23 色情報正規化方法、並びに色情報交換方法及びその装置

Country Status (1)

Country Link
JP (1) JP4178732B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590543B1 (ko) * 2004-02-26 2006-06-19 삼성전자주식회사 영상 화소의 밝기에 따라 보정 기능을 구비한 색온도 변환방법 및 장치
CN104796679A (zh) * 2014-01-22 2015-07-22 中能激光显示技术(上海)有限公司 一种激光显示的色彩调整方法及其装置
CN113968088B (zh) * 2021-12-22 2022-03-11 杭州宏华数码科技股份有限公司 用于打印待呈色对象的方法、设备和存储介质

Also Published As

Publication number Publication date
JP2001203905A (ja) 2001-07-27

Similar Documents

Publication Publication Date Title
KR20010051599A (ko) 색 정보 정규화 방법과 색 정보 교환 방법 및 그 장치
JP4120841B2 (ja) プロジェクタの色補正方法
JP3242251B2 (ja) カラー・イメージ再現方法
US6859551B2 (en) Image processing apparatus and method, and profile generating method
US7415153B2 (en) Color naming, color categorization and describing color composition of images
US6608925B1 (en) Color processing
US7043385B2 (en) Method of achieving high color fidelity in a digital image capture device and a capture device incorporating same
US8379267B2 (en) Method to retrieve a gamut mapping strategy
EP1558019A2 (en) Image-processing apparatus, image-capturing apparatus, image-processing method and image-processing program
JP2003087591A (ja) 画像処理方法及び画像処理装置
JP4068673B2 (ja) 画像処理装置および方法
JP2009159580A (ja) 画質評価装置及びその方法
US7230737B1 (en) Image processing method and apparatus
JP4178732B2 (ja) 色情報正規化方法、並びに色情報交換方法及びその装置
Moroney Usage guidelines for CIECAM97s
JP7119322B2 (ja) 表示装置判別システム、表示装置判別方法及びプログラム
Tastl et al. ICC color management and CIECAM02
JP4360019B2 (ja) 色情報交換方法及びその装置
JPH0678947B2 (ja) Crtカラーディスプレイの発光制御信号と物体色cie三刺激値の相互変換法
KR20050117862A (ko) 칼라 디바이스의 색역검출 장치와 방법 및 이를 이용한색공간역변환함수를 구하는 방법
Finlayson et al. Optimization for hue constant rgb sensors
JP3260293B2 (ja) 色情報交換方法およびデバイス特性調整方法
US8422102B2 (en) Preferred hue selection method for optimizing color image reproduction
Zhao Implementing an ICC printer profile visualization software
Plataniotis et al. Color spaces

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070808

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees