JP4221584B2 - 色処理装置および色処理方法、色処理プログラム - Google Patents

色処理装置および色処理方法、色処理プログラム Download PDF

Info

Publication number
JP4221584B2
JP4221584B2 JP2003277674A JP2003277674A JP4221584B2 JP 4221584 B2 JP4221584 B2 JP 4221584B2 JP 2003277674 A JP2003277674 A JP 2003277674A JP 2003277674 A JP2003277674 A JP 2003277674A JP 4221584 B2 JP4221584 B2 JP 4221584B2
Authority
JP
Japan
Prior art keywords
color conversion
color
conversion coefficient
condition
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003277674A
Other languages
English (en)
Other versions
JP2004072758A (ja
Inventor
泰樹 山内
潤吾 針貝
博章 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2003277674A priority Critical patent/JP4221584B2/ja
Publication of JP2004072758A publication Critical patent/JP2004072758A/ja
Application granted granted Critical
Publication of JP4221584B2 publication Critical patent/JP4221584B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理のうち、特に色処理に関するものであり、例えば入力画像を可視化する際に観察条件に応じた画像信号への色変換を行う処理に関するものである。
DTP(Desktop Publishing)システムでは、通常、CRT(Cathode Ray Tube)などのディスプレイ上で画像の作成・編集を行い、最終的なドキュメントをハードコピーの形で出力している。このようなシステムにおいては、画像の作成・編集を行うディスプレイと、最終的なドキュメントを出力するプリンタのように、異なるデバイスを用いることになる。このとき、それぞれのデバイスの特性が異なるため、ディスプレイ等の表示装置に表示された画像と、プリンタ等の出力装置から出力された画像の色が異なってしまうという問題が発生していた。
このようなデバイス間の色の違いを防ぎ、各デバイスの色を統一的に管理するために、CMS(Color Management System)が導入されてきた。とりわけ、ICC(International Color Consortium)で制定されているプロファイル形式による色管理は、事実上の標準になっている。
図7は、ICCで提案されている従来の色管理方法の一例の説明図である。図中、101は入力色変換部、102は入力デバイスプロファイル、103は色温度変換部、104は色の見えモデル、105は出力色変換部、106は出力デバイスプロファイルである。システム内ではデバイスに依存しない色空間(Device Independent Color)に変換されて色管理される。この時の色空間としては、CIE1931XYZ色度やCIE1976L* * * 均等色空間などが用いられる。入力色変換部101では、このような入力側の色空間からシステム内で用いるデバイスに依存しない色空間への変換を行うとともに、入力装置の特性の影響を排除するため入力デバイスプロファイル102を用いて色変換を行う。なお、入力される画像が既に入力装置の特性を排除したものである場合には、入力デバイスプロファイル102を用いた色変換処理は不要である。また、入力された画像がデバイスに依存しない色空間の画像である場合には、色空間の変換も不要である。
次に、色温度変換部103では、色の見えモデル104を用いて、出力デバイスが設定もしくは想定している色温度へ変換する。このときの色の見えモデルとしては、von KriesやHuntらの提案したモデルが有名であるが、近年ではこれらのモデルの特徴を生かしたCIECAM97sが提案されている。
次いで、出力色変換部105において、ICCで定められた出力デバイスプロファイル106に格納された色変換係数を用いて、出力デバイスに固有の色空間に変換される。
例えば表示装置に画像を表示する場合を考えると、表示装置がユーザによる色温度の調整ができない普通のタイプであるなら、9300K前後の色温度になっていることがほとんどである。また、電子原稿などの入力画像が想定する色温度はD50やD65の常用光源であることが多い。仮に入力画像がD50の色温度を持っているなら、色の見えモデルを用いて色温度変換部103で入力画像をD50から9300Kの色温度に変換する。このあと、出力色変換部105にて表示装置固有の色空間に変換して、表示装置上に表示する。
また、反射型の出力装置はD50照明下を想定して出力される場合が多い。そのため、入力画像の色温度がD50であるなら、そのまま出力デバイスプロファイル106中の色変換係数を用いて出力色変換部105で反射型の出力装置固有の色空間に変換する。また、入力画像の設定色温度がD65なら、色の見えモデル104を用いて色温度変換部103で一度D50に変換してから、その後に出力デバイスプロファイル106中の色変換係数を用いて出力色変換部105で反射型の出力装置固有の色空間へと変換する。
しかしながら、このような色管理方法では、基準となる白色色温度を個々のデバイスの設定条件に合わせているため、デバイス間で異なる色温度に設定された条件下で同時に比較した場合には色の一致が保証されておらず、色の見えが一致しないという問題がある。また、環境光が変化した場合にも色の一致は保証されない。例えば、D50の照明条件を基準として設定されているとき、D65の照明下では色の見えが一致しない。
このような問題点に対して、例えば特許文献1に提案されているように、環境光などの観察条件を獲得し、さらに入力画像の色温度情報を認識し、それらの情報に応じて色変換処理を行うことによってカラーマッチングを良好に行うことが考えられている。図8は、従来の色処理方法を適用した装置の一例の説明図である。図中、111は入力画像色温度情報認識部、112は色補正変換部、113は出力装置、114は入力画像である。入力画像色温度情報認識部111は、入力画像114の色温度情報を認識し、色補正変換部112に伝える。色補正変換部112では、入力画像色温度情報認識部111で認識された入力画像114の色温度情報に基づいて、入力画像114に対応する記録物や表示画像を観察する光源下で入力画像114の色がほぼ正しく再現されるように色変換を行う。色変換された画像信号をもとに出力装置113で画像を形成し、あるいは表示する。これによって、どのような環境下でも入力画像114の色をほぼ正確に再現することが可能になった。
しかし、このように環境光のような観察条件や入力画像のもつ色温度情報を用いてカラーマネージメントを行う方法を用いても、画像表示装置の表示条件によっては、色の見えが一致しないということが問題になってきた。確かに、環境光といった観察条件をパラメータとして扱うことにより、表示媒体や観察条件の色温度の違い等をハンドリングすることが可能になった。特に、入力画像がディスプレイの全面に表示されている場合には、ディスプレイの設定白色色温度が異なっていても、同じ色空間上で取り扱い、それらが同じ値になるような処理を行えばよかった。しかしながら、今日のDTPの作業は、現在、ほとんどがパーソナルコンピュータ上においてマルチウィンドウを利用して行われる場合がほとんどである。すなわち、作業の対象である電子情報を表示装置上の一つのウィンドウに割り付けて表示している。その際に、全画面を用いてそのウィンドウを表示している場合もあるが、通常は他のウィンドウや背景、メニューバーなどが混在して表示されている場合が多く、またその電子情報を表示しているウィンドウの枠が同時に表示されていることが多い。
色処理を所望の画像に対して行った場合、そのウィンドウ内の画像情報は、上述のようにして見えが等しくなるように処理されている。しかし、ウィンドウの枠やウィンドウ外の画像情報や色情報までは必ずしも補正されていない。ウィンドウ枠としては、灰色や白色が用いられることが多い。この時に表示される白色は、ディスプレイとして設定された色温度の白色である。すなわち、9300Kで設定されたようなディスプレイでは、その色温度の白色が表示されることになる。一方で、このような周辺に表示された色が注目色の見えに影響を与えることは「色対比(chromatic contrast)」や「色誘導(chromatic induction)」という現象として知られている。すなわち、単純な色パッチの見えであっても、周辺刺激の有無で色みが変化してしまうというものである。例えば、表示装置の設定色温度が9300Kであり、入力画像がD65であった場合に、表示画像内の白色をD65の色度で表示しても、表示装置上に9300Kの色温度の白色が枠や背景部に表示されていた場合には、それが黄色っぽく見えてしまう。
図9は、周囲の画像による色の見えの違いの概念図である。図9では、上述のように異なる色温度の白色枠を付与したときの、色の見えの変化を一定の条件下で実際に測定した結果の例を示している。図中、黒丸が表示画像内の白色(D65)の色度を示し、黒三角が白色枠(9300K)の色度を示している。このような場合、黒丸で示した表示画像内の白色の実際の色の見えは、点Aや点Bに示すように、白色枠の影響で色の見えが変化してしまっている。
また、白色枠が小さい場合を点Aとして示し、白色枠が大きい場合を点Bとして示しており、白色枠の面積が大きくなるに従って色の見えの変化も大きくなることが分かる。なお、白色枠の幅が一定以上になるまでは、枠の存在による色の見えの変化は増大するが、一定以上になるとそれ以上は色の見えの変化は変わらなくなる。また、このような色の見えの変化は、白色ほど顕著である。
このように、注目領域以外の情報が期せずして編集対象の色の見えに影響を与えてしまう現象は、色の見えの一致を目指しているカラーマネージメントの精度をさらに改善するためには無視できない問題となる。また、これはディスプレイの全面を用いて編集を行っている場合には生じない問題であり、編集作業を行う条件に依存したものといえる。
以上のように、これまでに提案されてきたカラーマネージメントの方法では、ディスプレイ上の表示条件の全情報を考慮して色補正処理がなされていなかった。視覚系が色の見えを決定するのに用いている手がかり情報を活用していなかったので、色補正処理において、それらの情報に依存する色の見えの一致具合が低下してしまい、ユーザが意図した色になるまでその調整に多くの時間と労力を要するとともに、従来の予測式を用いた色変換では意図した色が得られないという問題があった。
特開2001−128021号公報
本発明は、上述した事情に鑑みてなされたもので、表示装置において、設定された作業環境下で入力画像本来の色を忠実に再現することができる色処理装置及び色処理方法、色処理プログラムを提供することを目的とするものである。
本発明は、入力画像からその入力画像を可視化するための画像信号への変換を行う色処理装置、色処理方法、色処理プログラムにおいて、入力画像を表示する表示領域を限定するために表示される枠や、表示領域外の周辺表示領域の条件による入力画像における色の見えの変化を補正するための設定条件の入力を受け付け、その設定条件に従って色変換係数を決定し、決定された色変換係数に基づいて入力画像に色変換処理を施すことを特徴とするものである。
このように、入力画像を表示する領域の枠や領域外の条件を考慮して色変換処理を行うので、周囲の色による入力画像の見えへの影響を排除し、入力画像本来の色を忠実に再現することが可能となる。
なお、これらの本発明の構成において、さらに、入力画像を表示する表示装置における白色に関する情報を加味して色変換係数を決定することができる。また、色変換係数の決定の際には、予め色変換係数を複数組保持しておいて、認識された設定条件に従って1組の色変換係数を決定するか、あるいは複数組の色変換係数から決定することができる。または、予め表示装置に依存する色変換係数を保持しておき、認識された設定条件に従って色変換係数に対して変換処理を施し、色変換処理時に用いる色変換係数を決定することもできる。さらに、色変換処理に使用すると決定した色変換係数を記憶しておき、後で記憶されている色変換係数を利用した色変換処理を可能とすることものできる。これにより、簡単に前回以前の条件での色変換処理を実行させることができる。
本発明によれば、入力画像の周囲の表示条件、例えば入力画像を表示したときの枠や入力画像の表示領域外の画像などの状態を認識し、あるいはユーザが設定し、そのような表示条件に合わせて入力画像に対して色処理を施すので、入力画像として用いられる入力画像等に記述されている色の見えを観察する光源の下で、入力画像の色の見えを表示装置上に忠実に再現することができるという効果がある。
図1は、本発明の第1の実施の形態における基本的な構成を示すブロック図である。図中、1は入力画像、2は周辺条件認識部、3は表示装置設定色温度取得部、4は周辺条件補正用色変換係数記憶部、5は周辺条件補正色変換係数決定部、6は周辺条件補正色変換部、7は表示装置である。周辺条件認識部2は、入力画像1を表示する領域の周辺部の表示領域に関する設定条件を認識し、周辺条件補正色変換係数決定部5へ出力する。認識する設定条件としては、例えば入力画像1を表示する領域を限定するために表示される枠に関する色度情報と面積情報などとすることができる。あるいは、入力画像1の表示領域外の領域の色度情報及び面積情報を認識するように構成してもよい。
表示装置設定色温度取得部3は、表示装置がどのような色温度で設定されているか(例えば白色表示時など)を検出し、その情報を周辺条件補正色変換係数決定部5へ出力するとともに、色変換部2へもその情報を出力する。
周辺条件補正用色変換係数記憶部4には、周辺条件補正色変換部6において色処理を行う際に用いる色変換係数が複数組保持されている。周辺条件補正色変換係数決定部5は、周辺条件認識部2と表示装置設定色温度取得部3からの出力を受けて、入力画像1が表示装置7に表示されたとき、その周辺部の条件による色の見えの変化を予測し、周辺条件補正色変換部6において色処理を行う際に用いる色変換係数を決定する。色変換係数の決定は、周辺条件認識部2と表示装置設定色温度取得部3からの出力から、周辺条件補正用色変換係数記憶部4に保持されている色変換係数のうちの1組を選択することによって行うことができる。または、複数組の色変換係数を選択し、それらの色変換係数から周辺条件補正色変換部6で用いる色変換係数を生成してもよい。あるいは、入力画像を表示する表示装置に依存する基本的な色変換係数を周辺条件補正用色変換係数記憶部4に記憶させておき、その色変換係数に対して周辺条件認識部2と表示装置設定色温度取得部3からの出力に基づいて変換処理を施し、変換処理後の色変換係数を周辺条件補正色変換部6に出力するようにしてもよい。
周辺条件補正色変換部6は、周辺条件補正色変換係数決定部5から出力される色変換係数を受け取り、その色変換係数に基づいて入力画像1に対して色変換処理を施す。そして表示装置7に対して色変換後の画像信号を出力する。上述のように、使用する色変換係数は周辺条件補正色変換係数決定部5において周辺条件認識部2で認識した当該画像周辺の設定条件に従って決定されたものであるので、周辺条件補正色変換部6では周辺条件補正色変換係数決定部5から渡された色変換係数を用いて色変換を行うだけで、画像の周辺条件に起因する色の見えを補正することができる。表示装置7において周辺条件補正色変換部6による色変換処理後の画像信号に基づいて画像を表示すれば、当該画像の周囲の環境によらず、忠実に色再現された画像を得ることができる。
図1に示した例では表示領域の周辺の条件による色変換処理と他の色変換処理と同時に行うように示しているが、例えば表示領域の周辺の条件による色変換処理と他の色変換処理を別々に行うこととしても何ら問題はない。
図2は、本発明の第2の実施の形態を含む基本的な構成を示すブロック図である。図中、図1と同様の部分には同じ符号を付して重複する説明を省略する。8は入力画像色温度情報認識部、11は周辺条件対応色変換係数記憶部、12は周辺条件対応色変換係数管理部、13は周辺条件対応色変換部、21は色の見え変換用色変換係数記憶部、22は色域圧縮用色変換係数記憶部、23はデバイス補正用色変換係数記憶部、31は色の見え変換部、32は色域圧縮部、33はデバイス補正部である。図2に示す例では、入力画像の持つ色温度情報に従って色変換係数を作成し、色変換処理を行い、表示装置上に表示された出力画像をその色温度の環境下で観察することを想定している。その際に、画像表示に際しての周辺条件や表示条件に従って画像を表示装置上に忠実に再現するための変換を行うものである。また図2に示した例では、周辺条件による色変換処理を、色の見えの変換や色域圧縮処理、表示装置7の特性に応じたデバイス補正処理などとともに行う例を示している。もちろん、周辺条件による色変換処理としてどのような処理を行うかは任意であるし、周辺条件による色変換処理を他の色変換処理とともに行うような構成でもよい。
入力画像色温度情報認識部8は、表示装置7上で入力画像1を観察する際の光源の色温度を認識し、取得した入力画像1の色温度情報を周辺条件対応色変換係数管理部12へと渡す。認識方法は任意であるが、例えば入力画像に付与されている色温度情報を取得したり、あるいは、ユーザによる指示を受けるように構成することができる。ここでは入力画像1の色温度情報として三刺激値を取得するものとする。もちろん色温度情報は、色温度名(D50、F8など)でも、CIE1931XYZ色度情報でも、光源の分光特性データでも構わない。また、ディジタルカメラに代表されるレッド、グリーン、ブルーのRGB加法混色系の信号である場合には、その情報を認識して、自動的にsRGBで規定されるD65光源の設定としてもよい。
周辺条件認識部2は、ユーザが利用している表示装置7における周辺条件から、入力情報が表示されている領域の周辺条件を認識し、その各種情報を周辺条件対応色変換係数管理部12へ渡す。周辺条件認識部2は、この例では、システムの設定から画像領域を規定する枠の表示の有無や、その設定色情報、面積情報等を抽出するものとする。もしも、ユーザが全画面を用いて入力画像1の編集作業を行っているのであれば、周辺条件認識部2はその情報を周辺条件対応色変換係数管理部12へと渡す。また表示装置設定色温度取得部3は、表示装置7がどのような色温度に設定されているかを示す情報を取得し、それを周辺条件対応色変換係数管理部12へと送出する。
周辺条件対応色変換係数記憶部11は、周辺条件対応色変換部13の各部で色処理を行う際に用いる色変換係数を記憶している。この例では、周辺条件対応色変換係数記憶部11は、色の見え変換用色変換係数記憶部21、周辺条件補正用色変換係数記憶部4、色域圧縮用色変換係数記憶部22、デバイス補正用色変換係数記憶部23等を有している。
色の見え変換用色変換係数記憶部21は、周辺条件対応色変換部13内の色の見え変換部31で色の見えの変換処理を行う際に用いる色の見え変換用色変換係数を記憶している。色の見え変換用色変換係数は、環境光の色温度の影響や、画像表示媒体に依存する色の見えの違いを補正するためのものである。表示装置7のような発光体と反射物体のような反射物は、例えばD50光源下やD65光源下では、色度を合わせれば見た目の色もほぼ一致して、あまり違いは目立たない。しかし、一般のオフィスで使われるような4000K前後の色温度の光源下では、色度を一致させても、見えの違いが目立ってくる。入力画像1が特に反射物体を基に作成されたものであるような場合には、見えの一致を図るために色の見え変換が必要になる。こうした色の見えの違いを吸収するため、専用の実験ブースの中で等色実験を行い、そこで得た複数の色について測色値と等色値を求め、色の見え変換用色変換係数を決定する。色の見え変換用色変換係数の形態は、3×3マトリクスや3次元ルックアップテーブル(LUT)等、色の見え変換部31において行う変換方式に合わせればどのような形態でも構わない。また、精度的にやや劣るが、例えば特開平10−65930号公報に開示されているように、こうした等色実験を白色のみに限定し、その他の色は色の見えモデルを利用して予測することによって色の見え変換用色変換係数の決定を行っても構わない。
周辺条件補正用色変換係数記憶部4は、周辺条件対応色変換部13内の周辺条件補正色変換部6で周辺条件を考慮した変換処理を行う際に用いる周辺条件補正用色変換係数を記憶している。周辺条件補正用色変換係数は、画像領域を規定する枠や背景部に存在する他の色が編集中の画像へ及ぼす影響を補正するためのものである。上述の図9を用いて説明したように、表示画像の周囲の例えば枠の存在の有無やその大きさなどによって、表示画像内の色の見えが変化してしまう。この補正を行う色変換係数が周辺条件補正用色変換係数である。この周辺条件補正用色変換係数の決定は、例えば、あらかじめ実験ブースでの等色実験を行い、そこで得た複数の色についての測色値と等色値を求め、これらを用いて決定することができる。また、この色の見えの違いは白色近傍が顕著であるため、色変換係数の決定の際には、その影響が及ぶ領域として入力画像1の色情報近傍に限定しても構わない。また、枠の幅が一定以上になるまでは、枠の存在による色の見えの変化は増大するが、一定以上になるとそれ以上は色の見えの変化は変わらない。そのため、周辺条件補正用色変換係数は、枠の幅や面積に応じて数組準備しておき、周辺条件に応じて選択することも可能である。
色域圧縮用色変換係数記憶部22は、周辺条件対応色変換部13内の色域圧縮部32で色域圧縮処理を行う際に用いる色域圧縮用色変換係数を記憶している。色域圧縮用色変換係数は、表示装置7の周囲の環境光が表示装置7の管面上に映り込むことにより、表示装置7の実質的な色域(色再現域)が縮小するため、この再現域に収まらない画像データの値を再現可能な領域にマッピングし直すものである。例えば、特開平10−2313号公報にあるような明度を圧縮する方法を用いて作成することができる。これは、CIEL* * * 色空間上、白色点(空間上で最もL* の高い点)と黒色点(空間上で最もL* の低い点)を、処理したい画像データと出力デバイス(表示装置7)の色再現域で一致させ、それに従ってL* のみを圧縮するものである。この他にも色域圧縮のための方法として様々な方法が提案されており、それらのいずれの方法を使っても構わない。
デバイス補正用色変換係数記憶部23は、周辺条件対応色変換部13内のデバイス補正部33でデバイスに応じた色変換処理を行う際に用いるデバイス補正用色変換係数を記憶している。デバイス補正用色変換係数は、入力画像1が有する色温度情報から算出したCIEL* * * 色空間上のデータをデバイスに依存した色空間R(赤)G(緑)B(青)に変換するためのものである。なお、ここでは、プリンタモデル(ニューラルネット法、統計的な手法等。それぞれ特開平8−2865号公報、特開平10−262157号公報に開示されている方法など)に従って、L* * * とRGBを関係付ける色変換係数をあらかじめ求めておき、デバイス補正用色変換係数記憶部23に3次元ルックアップテーブルの形で記憶しておくこととする。
図3は、3次元ルックアップテーブルの説明図である。3次元ルックアップテーブルは、例えば図3(A)に示すようにL* * * 空間等の色空間を分割したときの格子点の座標に変換先の値を対応づけたものであり、格子点の座標に基づく値アドレスとし、当該アドレスに変換先の値を格納したテーブルである。この場合、格子点については対応する値が存在するが、そのほかの座標値については対応する値を有していない。このように格子点以外の座標の場合には、格子点の内分点としてとらえ、周囲の格子点における変換先の値から例えば補間することによって値を得る。例えば図3(B)に示す座標Qの変換先の値については、周囲8点の格子点Q0〜Q7の変換先の値の荷重和として得ることができる。すなわち、変換後の値をDとして、周囲8点の格子点Q0〜Q7の変換後の値をDi(i=0〜7)とすると、
D=(1−α)(1−β)(1−γ)D0+(1−α)β(1−γ)D1
+(1−α)βγD2+(1−α)(1−β)γD3
+α(1−β)(1−γ)D4+αβ(1−γ)D5
+αβγD6+α(1−β)γD7
となる。α、β、γは0以上、1以下の値であり、格子点間の内分比である。なお、この例では立方体補間を用いているが、四面体補間、ピラミッド補間、プリズム補間など、様々な方法を適用することができる。こうした3次元ルックアップテーブルを使った色変換方法は例えば特公昭55−016180号公報などに開示されている。
周辺条件対応色変換係数管理部12は、入力画像色温度情報認識部8から渡される入力画像色温度情報と、周辺条件認識部2から渡される周辺条件情報と、表示装置設定色温度取得部3から渡される表示装置7の色温度設定情報などに基づいて、色の見え変換用色変換係数記憶部21、周辺条件補正用色変換係数記憶部4、色域圧縮用色変換係数記憶部22、デバイス補正用色変換係数記憶部23が記憶している複数の色変換係数の中から適切な色変換係数のセットを選択し、周辺条件対応色変換部13に渡す。なお、この周辺条件対応色変換係数管理部12は、図1に示した第1の実施の形態における周辺条件補正色変換係数決定部5の機能を含んでいるものである。
周辺条件対応色変換部13は、周辺条件対応色変換係数管理部12から渡される色変換係数を用いて入力画像1に対して色変換処理を行い、表示装置7に対して出力する。周辺条件対応色変換部13は、色の見え変換部31、周辺条件補正色変換部6、色域圧縮部32、デバイス補正部33などを含んで構成されている。色の見え変換部31、周辺条件補正色変換部6、色域圧縮部32、デバイス補正部33は、それぞれ、周辺条件対応色変換係数管理部12から渡される色変換係数に基づいて各処理を行い、最終的に出力可能な信号に変換して表示装置7に出力する。
なお、この例では周辺条件対応色変換部13は全部で4つの変換手段から構成されているが、周辺条件対応色変換係数記憶部11に記憶されている色変換係数が3次元ルックアップテーブルの場合には、これら各処理で用いる色変換係数を合成した色変換係数を記憶しておき、また周辺条件対応色変換部13をそれに対応した色変換手段だけで構成してもよい。これにより、合計の演算量が減少し、3次元ルックアップテーブルを複数回適用することにより起こる色変換時の誤差を減らすことができるとともに、処理速度を向上させることができる。特に、色の見えの変換である前段2つの色変換を、あらかじめ等色実験を行って1つの色変換係数として求めておくことも可能であるし、環境光が影響を及ぼす色補正処理の色変換係数を合成して求めておき、デバイス補正部33との2段の構成にしても構わない。
次に、本発明の第3の実施の形態について説明する。なお、基本的な構成は図2に示した第2の実施の形態と同様であるので、図示を省略するとともに重複する説明を省略する。この第3の実施の形態が上述の第2の実施の形態と異なるのは、周辺条件認識部2の動作である。
すなわち、この第3の実施の形態における周辺条件認識部2は、表示装置7の表示画面上の全情報から、色処理を行っている対象画像情報が表示された画像ウィンドウ以外からの情報を抽出する。その中に、色処理を行っている対象画像情報の色の見えに強く影響を及ぼす色情報がある場合に、その影響量を計算し、その演算結果を周辺条件対応色変換係数管理部12へと渡す。
例えば、表示装置7に表示されている対象画像情報の画像ウィンドウ以外の背景部分に、その表示装置7の設定色温度で表示された白色が存在する場合、その白色部分の位置情報を抽出し、その面積と、対象画像情報の表示領域までの距離を算出する。それ以外にも、対象画像情報の表示に影響を及ぼす原色等が背景部分に表示されるときには、その原色などの影響を及ぼす色についても色補正を行うように設定を行うことも可能である。なお、表示装置7の設定色温度の情報は、表示装置設定色温度取得部3によって取得することができる。
周辺条件対応色変換係数管理部12は、周辺条件認識部2で算出された、対象画像情報に影響する背景部分の色領域(例えば白色領域)の面積情報及び対象画像情報までの距離情報を受け取る。そして、それらの情報から、対象画像情報に影響する背景部分の色領域が、対象画像情報の色の見えに及ぼす影響を計算する。この計算結果に従い、周辺条件補正用色変換係数記憶部4から、あらかじめ等色実験などによって定められた最適な周辺条件補正用色変換係数を取得する。取得した周辺条件補正用色変換係数は周辺条件対応色変換部13に渡され、周辺条件対応色変換部13の周辺条件補正色変換部6において必要な色処理が入力画像1に対して施される。
なお、ユーザが表示装置7上の全画面を利用して入力画像情報の編集作業を行っている場合には、周辺条件認識部2はその旨の情報を周辺条件対応色変換係数管理部12に出力すればよい。周辺条件対応色変換係数管理部12では、周辺条件に影響されない色変換係数を選択して周辺条件補正色変換部6に渡し、周辺条件補正色変換部6では、入力画像1に対して周辺の状態についての補正を行うことなく出力すればよい。この場合、他の色変換処理については従来と同様に行うことになる。
図4は、本発明の第4の実施の形態を含む基本的な構成を示すブロック図である。図中、図2と同様の部分には同じ符号を付して重複する説明を省略する。41はユーザ条件設定部、42は色変換係数条件記憶部である。上述の第1ないし第3の実施の形態では、周辺条件認識部2において入力画像1を表示する領域の周辺部の表示領域に関する設定条件を自動的に認識し、その認識結果に従って、周辺条件補正色変換係数決定部5または周辺条件対応色変換係数管理部12が周辺条件補正用色変換係数記憶部4に記憶されている周辺条件補正用色変換係数やその他の色変換係数を選択した。本発明はこれに限らず、色変換係数の選択をユーザが選択するように構成することもでき、この第4の実施の形態ではそのような構成例を示している。
ユーザ条件設定部41は、周辺条件補正用色変換係数記憶部4に記憶されている周辺条件補正用色変換係数やその他の色変換係数をユーザが選択するためのユーザインタフェースを提供する。図5は、ユーザ条件設定部がユーザに提供するユーザインタフェースの一例の説明図である。この例では、表示装置設定色温度取得部3についてもユーザが設定するものとして同じユーザインタフェースにおいて設定可能とした例を示している。最上段の表示装置設定色温度の操作バーが表示装置設定色温度取得部3を設定するためのものである。なお、表示装置の設定色温度を変更する機能が表示装置に備わっていない場合には表示装置設定色温度を固定にすればよく、あるいは設定項目自体を表示しないようにしてもよい。
図5に示した例では、上述の表示装置設定色温度のほか、画像枠表示条件、画像枠幅設定条件、表示色補正量調整の各設定が可能である。画像枠表示条件としては、画像の周囲に枠を表示するか否かを設定する。上述のように、枠が存在する場合、その画像の色の見えに影響する。そのため、枠が存在する場合には、周辺条件補正用の色変換係数を用いることになる。画像枠幅設定条件は、画像の周囲に枠を表示する場合に、その枠の幅を設定する。この枠の幅の設定によって、周辺条件の補正量を調整することができる。さらに表示色補正量調整は、ユーザが意図的に周辺条件の補正量を変更する際に、その補正量を設定することができる。ここでは、補正なしから標準よりも強く補正をかける設定まで、行うことができる。
このほかにも、色相調整機能(黄色みの増減(青み減増)、赤み増減(緑み減増))を設定できるようにしたり、彩度の増加(減少)を設定できるようにしてもよい。また、調整の際の表示や調整の際の操作方法も図5に示した例に限られるものではなく、例えば数値入力などを含め、種々の表示方法や操作方法を適用することができる。
このようなユーザインタフェースによってユーザが設定した各値をもとに、周辺条件対応色変換係数管理部12は、周辺条件対応色変換係数記憶部11に複数記憶されている周辺条件補正用色変換係数を含む各種色変換係数から最適な色変換係数を選択し、周辺条件対応色変換部13で色変換を行えばよい。
図6は、ユーザ条件設定部がユーザに提供するユーザインタフェースの別の例の説明図である。この例では、簡易的に色の見えがどのようになるかを観察しながら色調整を行うことができるユーザインタフェースの例を示している。この例においては、図6の上部に示した2つの円の環状部分が画像周辺の枠を示し、その中に色票の色を表示する。2つの円のうち、左側は表示条件である枠となる白色の色温度で枠がつけられ、右側にはそのような枠が提示されず,黒枠で覆われている条件を示している。なお、背景は例えばグレーなど、色の見えになるべく影響しない色とすることが望まれる。
このような2つの円を表示したとき、それぞれが周辺の枠の色に影響され、同じ色を表示していても異なった色としてユーザに感知されることがある。その場合には、下部の各設定を調整することによって、左右の中心部の色の見えが略等しくなるように色を調整する。調整項目としては、この例では赤み/緑み、黄色み/青み、明るさの3条件を示しており、それぞれ、例えばマウスなどによってスライドバーを移動させ、調整することができる。そして、色の調整が終了したら、「OK」ボタンを操作する。このときの設定を装置内で記憶しておく。
このような色の調整を、複数色(10〜20色)について行う。そして、それぞれの色における調整量から、例えば最小二乗法などを用いて、周辺条件対応色変換係数管理部12において最適な周辺条件補正用色変換係数を算出し、もしくは既に蓄えられている周辺条件補正用色変換係数の中から最適なものを選択して、他の色変換係数とともに用いて周辺条件対応色変換部13で色変換を行えばよい。
なお、図6に示した例では、色の見えを合わせるために円を表示しているが、形状は任意であり、矩形でも、他の形状であってもよい。また、枠の太さや色、明るさなどを設定可能に構成してもよい。また、図5の場合と同様にスライドバー以外にも、種々の操作方式や表示方式を適用することができる。
ここではユーザ条件設定部がユーザに提供するユーザインタフェースの例としては、図5、図6に示した例に限らず、種々のユーザインタフェースを提供することができる。例えばいくつかの色変換を施した色と枠のない場合の色とを表示して、いずれが見えが類似しているかを選択するようにしたり、そのような選択を繰り返してゆき、次第に絞り込んでゆくといった手法も適用可能である。また、上述の第1ないし第3の実施の形態で述べた周辺条件認識部2を用いるか否かを設定可能として、自動的な色変換係数の選択とユーザによる色変換係数の選択が可能なように構成してもよい。
図4に戻り、色変換係数条件記憶部42は、周辺条件対応色変換係数管理部12で選択した色変換係数を保存しておくことができる。この場合、例えばユーザIDなどのユーザを特定する情報と対応づけておくことができる。例えば上述のユーザ条件設定部41で設定操作を行った場合に、そのときの操作設定された条件や、その時の条件で選択された周辺条件補正用色変換係数あるいはその他の色変換係数を含めて、色変換係数条件記憶部42に記憶させておく。そして、次回以降では、記憶させておいた内容を呼び出して用いることによって、同じ色変換係数を用いた色変換を簡単に行うことができる。この色変換係数条件記憶部42は、上述の第1ないし第3の実施の形態における構成に付加することも可能である。
なお、ユーザを特定する情報を付加しておけば、それぞれのユーザごとに1ないし複数の条件や色変換係数などを登録しておき、それぞれのユーザがそれぞれの登録内容を利用することができる。ユーザを特定する情報と対応づけておくほか、例えばそれぞれの登録内容に名前を付与しておいて、その名前で選択し、あるいはさらに検索できるように構成してもよい。
なお、上述の各実施の形態における各部の機能は、コンピュータプログラムによっても実現することが可能であり、コンピュータに色処理プログラムを実行させることによって上述のような機能を実現することができる。このとき、色処理プログラムは、例えばデバイスドライバに実装してもよいし、OS内のCMM(Color Matching Module)を利用する形態であってもかまわないし、表示装置の画像処理手段の一部として実装してもよい。
また、このようなコンピュータプログラムや、プログラムが用いるデータ等は、コンピュータが読み取り可能な記憶媒体に記憶させておくことも可能である。記憶媒体にプログラムを格納しておき、例えば本発明の色処理装置として動作させるコンピュータにこれらの記憶媒体を装着することによって、コンピュータからプログラムを読み出し、上述の各実施の形態で説明した機能を実行することができる。もちろん、ネットワークなどを介してプログラムをコンピュータに転送し、実行させてもよい。
本発明の第1の実施の形態における基本的な構成を示すブロック図である。 本発明の第2の実施の形態を含む基本的な構成を示すブロック図である。 3次元ルックアップテーブルの説明図である。 本発明の第4の実施の形態を含む基本的な構成を示すブロック図である。 ユーザ条件設定部がユーザに提供するユーザインタフェースの一例の説明図である。 ユーザ条件設定部がユーザに提供するユーザインタフェースの別の例の説明図である。 ICCで提案されている従来の色管理方法の一例の説明図である。 従来の色処理方法を適用した装置の一例の説明図である。 周囲の画像による色の見えの違いの概念図である。
符号の説明
1…入力画像、2…周辺条件認識部、3…表示装置設定色温度取得部、4…周辺条件補正用色変換係数記憶部、5…周辺条件補正色変換係数決定部、6…周辺条件補正色変換部、7…表示装置、8…入力画像色温度情報認識部、11…周辺条件対応色変換係数記憶部、12…周辺条件対応色変換係数管理部、13…周辺条件対応色変換部、21…色の見え変換用色変換係数記憶部、22…色域圧縮用色変換係数記憶部、23…デバイス補正用色変換係数記憶部、31…色の見え変換部、32…色域圧縮部、33…デバイス補正部、41…ユーザ条件設定部、42…色変換係数条件記憶部。

Claims (24)

  1. 入力画像から該入力画像を可視化するための画像信号への変換を行う色処理装置において、前記入力画像を表示する表示領域を限定するために表示される枠や該表示領域外の周辺表示領域の条件による前記入力画像における色の見えの変化を補正するための設定条件の入力を受け付けるユーザ条件設定手段と、前記ユーザ条件設定手段で入力された前記設定条件に従い色変換係数を決定する色変換係数決定手段と、前記色変換係数決定手段により決定された色変換係数に基づき前記入力画像に色変換処理を施す色変換処理手段を有することを特徴とする色処理装置。
  2. 前記ユーザ条件設定手段は、少なくとも周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示して両者の色の見えが略等しくなるような前記設定条件をユーザから受け取ることを特徴とする請求項1に記載の色処理装置。
  3. 前記ユーザ条件設定手段は、前記周辺条件を含めた画像として複数の色変換係数による変換結果を提示することを特徴とする請求項2に記載の色処理装置。
  4. 前記色変換係数決定手段は、前記入力画像を表示する表示装置における白色に関する情報を加味して前記色変換係数を決定することを特徴とする請求項1ないし請求項3のいずれか1項に記載の色処理装置。
  5. さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶手段を有し、色変換係数決定手段は、前記設定条件に従って前記周辺条件補正用色変換係数記憶手段から1組の色変換係数を決定することを特徴とする請求項1ないし請求項4のいずれか1項に記載の色処理装置。
  6. さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶手段を有し、色変換係数決定手段は、前記周辺条件認識手段によって認識された前記設定条件に従って前記周辺条件補正用色変換係数記憶手段から複数組の色変換係数を取り出して前記色変換処理手段で用いる色変換係数を決定することを特徴とする請求項1ないし請求項4のいずれか1項に記載の色処理装置。
  7. さらに、前記入力画像を表示する表示装置に依存する色変換係数を保持する色変換係数記憶手段を有し、色変換係数決定手段は、前記設定条件に従って前記色変換係数記憶手段に保持されている前記色変換係数に対して変換処理を施し、前記色変換処理手段で用いる色変換係数を決定することを特徴とする請求項1ないし請求項4のいずれか1項に記載の色処理装置。
  8. さらに、前記色変換係数決定手段で決定した前記色変換係数を記憶する色変換係数記憶手段を有し、前記色変換係数決定手段は、ユーザからの指示に従って前記色変換係数記憶手段が記憶している前記色変換係数を読み出して使用するものと決定することを特徴とする請求項1ないし請求項7のいずれか1項に記載の色処理装置。
  9. 入力画像から該入力画像を可視化するための画像信号への変換を行う色処理方法において、前記入力画像を表示する表示領域を限定するために表示される枠や該表示領域外の周辺表示領域の条件による前記入力画像における色の見えの変化を補正するための設定条件の入力をユーザ条件設定手段がユーザから受け取り、受け取った前記設定条件に従い色変換係数を色変換係数決定手段が決定し、決定された色変換係数に基づき色変換処理手段が前記入力画像に色変換処理を施すことを特徴とする色処理方法。
  10. 前記設定条件の入力は、少なくとも周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示し、両者の色の見えが略等しくなるような前記設定条件をユーザから受け取ることを特徴とする請求項9に記載の色処理方法。
  11. 前記設定条件の入力時には、前記周辺条件を含めた画像として複数の色変換係数による変換結果をユーザに提示することを特徴とする請求項10に記載の色処理方法。
  12. 前記色変換係数の決定の際に、前記入力画像を表示する表示装置における白色に関する情報を加味して前記色変換係数を決定することを特徴とする請求項9ないし請求項11のいずれか1項に記載の色処理方法。
  13. 予め複数組の色変換係数を周辺条件補正用色変換係数記憶手段が保持しておき、色変換係数決定手段が色変換係数を決定する際に、前記設定条件に従って1組の色変換係数を決定することを特徴とする請求項9ないし請求項12のいずれか1項に記載の色処理方法。
  14. 予め複数組の色変換係数を周辺条件補正用色変換係数記憶手段が保持しておき、色変換係数決定手段が色変換係数を決定する際に、前記設定条件に従って複数組の色変換係数を取り出して色変換処理時に用いる色変換係数を決定することを特徴とする請求項9ないし請求項12のいずれか1項に記載の色処理方法。
  15. さらに、前記入力画像を表示する表示装置に依存する色変換係数を色変換係数記憶手段が保持しておき、色変換係数決定手段が色変換係数を決定する際に、前記設定条件に従って前記色変換係数に対して変換処理を施して色変換処理時に用いる色変換係数を決定することを特徴とする請求項9ないし請求項14のいずれか1項に記載の色処理方法。
  16. さらに、決定した前記色変換係数を色変換係数記憶手段に記憶させておき、その後の色変換時にはユーザからの指示に従って前記色変換係数記憶手段が記憶している前記色変換係数を読み出して色変換処理に使用するものと決定することを特徴とする請求項9ないし請求項15のいずれか1項に記載の色処理方法。
  17. コンピュータに入力画像から該入力画像を可視化するための画像信号への変換を行わせる色処理プログラムにおいて、前記入力画像を表示する表示領域を限定するために表示される枠や該表示領域外の周辺表示領域の条件による前記入力画像における色の見えの変化を補正するための設定条件の入力を受け付けるユーザ条件設定機能と、前記ユーザ条件設定機能で入力された前記設定条件に従い色変換係数を決定する色変換係数決定機能と、前記色変換係数決定機能により決定された色変換係数に基づき前記入力画像に色変換処理を施す色変換処理機能を実行させることを特徴とする色処理プログラム。
  18. 前記ユーザ条件設定機能は、少なくとも周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示して両者の色の見えが略等しくなるような前記設定条件をユーザから受け取ることを特徴とする請求項17に記載の色処理プログラム。
  19. 前記ユーザ条件設定機能は、前記周辺条件を含めた画像として複数の色変換係数による変換結果を提示することを特徴とする請求項18に記載の色処理プログラム。
  20. 前記色変換係数決定機能は、前記入力画像を表示する表示装置における白色に関する情報を加味して前記色変換係数を決定することを特徴とする請求項17ないし請求項19のいずれか1項に記載の色処理プログラム。
  21. さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶機能を有し、色変換係数決定機能は、前記設定条件に従って前記周辺条件補正用色変換係数記憶機能によって保持されている色変換係数の組から1組の色変換係数を決定することを特徴とする請求項17ないし請求項20のいずれか1項に記載の色処理プログラム。
  22. さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶機能を有し、色変換係数決定機能は、前記設定条件に従って前記周辺条件補正用色変換係数記憶機能により保持されている色変換係数の組のうちから複数組の色変換係数を取り出して前記色変換処理機能で用いる色変換係数を決定することを特徴とする請求項17ないし請求項20のいずれか1項に記載の色処理プログラム。
  23. さらに、前記入力画像を表示する表示装置に依存する色変換係数を保持する色変換係数記憶機能を有し、色変換係数決定機能は、前記設定条件に従って前記色変換係数記憶機能により保持されている前記色変換係数に対して変換処理を施し、前記色変換処理手段で用いる色変換係数を決定することを特徴とする請求項17ないし請求項22のいずれか1項に記載の色処理プログラム。
  24. さらに、前記色変換係数決定機能で決定した前記色変換係数を記憶する色変換係数記憶機能を有し、前記色変換係数決定機能は、ユーザからの指示に従って前記色変換係数記憶機能が記憶している前記色変換係数を読み出して使用するものと決定することを特徴とする請求項17ないし請求項23のいずれか1項に記載の色処理プログラム。
JP2003277674A 2002-07-24 2003-07-22 色処理装置および色処理方法、色処理プログラム Expired - Fee Related JP4221584B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003277674A JP4221584B2 (ja) 2002-07-24 2003-07-22 色処理装置および色処理方法、色処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002215081 2002-07-24
JP2003277674A JP4221584B2 (ja) 2002-07-24 2003-07-22 色処理装置および色処理方法、色処理プログラム

Publications (2)

Publication Number Publication Date
JP2004072758A JP2004072758A (ja) 2004-03-04
JP4221584B2 true JP4221584B2 (ja) 2009-02-12

Family

ID=32032698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003277674A Expired - Fee Related JP4221584B2 (ja) 2002-07-24 2003-07-22 色処理装置および色処理方法、色処理プログラム

Country Status (1)

Country Link
JP (1) JP4221584B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081581A (ja) * 2005-09-12 2007-03-29 Canon Inc 色処理方法及びその装置
JP4853303B2 (ja) * 2007-01-22 2012-01-11 富士ゼロックス株式会社 色変換装置及びプログラム
JP4751428B2 (ja) 2008-08-12 2011-08-17 株式会社東芝 画像処理装置及びイメージセンサ
JP6554887B2 (ja) * 2015-04-14 2019-08-07 富士ゼロックス株式会社 画像生成装置、評価システムおよびプログラム

Also Published As

Publication number Publication date
JP2004072758A (ja) 2004-03-04

Similar Documents

Publication Publication Date Title
JP5481021B2 (ja) 異機種間色域マッピング方法および装置
EP1294177B1 (en) Image processing method and apparatus
US7061505B2 (en) Image processing device, image processing system, output device, computer readable recording medium and image processing method
JP3993644B2 (ja) 色分離による色域修正及びその方法及びその実行装置
KR101990956B1 (ko) 색역 변환 장치 및 그 방법
JP4592090B2 (ja) 色処理方法およびその装置
US8731288B2 (en) Image processing techniques for color correction
JP2008011293A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN110767198B (zh) 色域校正方法和系统以及显示驱动集成电路
KR100834766B1 (ko) 색 관리 장치 및 방법
JP2004304793A (ja) 色変換装置及び色変換方法
JP4221584B2 (ja) 色処理装置および色処理方法、色処理プログラム
JP2008177783A (ja) 色変換装置及びプログラム
JP2008042711A (ja) 色変換装置、色変換方法、色変換プログラム、色変換係数作成装置、色変換係数作成方法、及び色変換係数作成プログラム
JP2009071618A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2002027263A (ja) 画像処理方法
JP2000134487A (ja) 色変換装置
JP2006238335A (ja) 情報処理方法
JP3535778B2 (ja) 画像処理方法、装置および記録媒体
JPH0628437A (ja) 画像入出力装置
JP2002077652A (ja) 画像処理方法および記録媒体
JP3667171B2 (ja) 画像処理方法、装置および記録媒体
JPH11275372A (ja) 出力デバイス色設定装置
JP2011009878A (ja) 画像処理装置及びその色再現評価方法
JP2003087590A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081022

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees