JP3548223B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP3548223B2 JP3548223B2 JP07885294A JP7885294A JP3548223B2 JP 3548223 B2 JP3548223 B2 JP 3548223B2 JP 07885294 A JP07885294 A JP 07885294A JP 7885294 A JP7885294 A JP 7885294A JP 3548223 B2 JP3548223 B2 JP 3548223B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- color matching
- image data
- processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像処理方法及び装置に関し、特に、画像入出力部の性能によらない色表現を実現するためにカラーマッチング処理を行うカラーマネジメントシステムを適用した画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
従来より、画像処理装置を構成する画像入出力部で固有である色表現特性を補正し、画像入出力部の性能によらない色表現を可能とするカラーマネジメントシステム（Color Management System）を採用した画像処理装置が提案されている。このような画像処理装置においては、例えばスキャナやスチルビデオ等、どのような画像入力部から入力した画像データでも、ＣＲＴや液晶ディスプレイ等のどのような表示部、又はプリンタ、印刷機等のどのような画像出力部に対して出力を行う際に、その画像が持つ本来の色再現性を保ったままでの出力が可能となる。
【０００３】
上述した従来の画像処理装置におけるカラーマネジメントシステムとは、画像入出力部の色再現能力情報に従って画像データに色空間圧縮処理を施すことにより、色再現性を制御する機能である。画像入出力部の色再現能力情報とは、画像入出力部毎の色再現特性を示す情報であり、画像入力部及び画像出力部を選択することにより、一義的に決定される。該色再現能力情報は、画像処理装置内の所定の処理部に格納される。
【０００４】
また、色空間圧縮処理とは、画像データの本来の色情報を、色再現範囲の狭い画像出力部の色再現特性に合わせるための処理（以下、「カラーマッチング処理」と称する）である。従来の画像処理装置におけるカラーマッチング処理では、彩度保存圧縮法や色相保存圧縮法等、種々の方法が存在し、選択可能であった。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像処理装置におけるカラーマッチング処理では、選択可能な複数の方法のうち、処理対象である画像データの種類（イメージデータ、コンピュータグラフィックス等）や、使用されている色数、色あい等によって、最適なカラーマッチング処理方法が異なる。そのため、操作者は複数のカラーマッチング処理を切り替えてそれぞれ実行した後に、処理後の画像を表示部上に表示し、かつ画像出力部から出力して逐一比較することにより、最適なカラーマッチング処理方法を決定する必要があった。
【０００６】
従って、最適なカラーマッチング処理方法を選択するために操作者は煩雑な作業を余儀なくされ、時間的な無駄が生ずるばかりでなく、記録用紙等の消耗品を余分に消費してしまっていた。そして、操作者の視覚に頼って最適なカラーマッチング処理方法を選択するため、作業時の照明の条件や操作者の個人差等によって、選択基準が曖昧となっていしまっていた。
【０００７】
また、画像のなかで特に優先してカラーマッチング処理を行いたい色範囲が存在した場合にも、同様に選択基準が曖昧であった。
【０００８】
また、カラーマッチング処理方法を選択する別の方法として、対象画像全体についての各カラーマッチング処理前後の画像の色差の最大値や分散を比較し、カラーマッチング方法を選択する方法もある。しかしながらこの選択方法においては、優先してカラーマッチング処理を行いたい色範囲が存在した場合においても、優先したい色範囲も他の色範囲と同じ重みで扱われてしまうため、操作者の所望する最適なカラーマッチング処理は行えなかった。
【０００９】
従って従来の画像処理装置においては、最適なカラーマッチング処理方法を選択するために、結局は操作者の視覚に頼らざるを得ず、全てのカラーマッチング処理方法を実際に一度行う必要があった。
【００１０】
【課題を解決するための手段】
本発明は上述した課題を解決するためになされたものであり、上述した課題を解決するために、以下の構成を備える。
【００１１】
即ち、カラーマッチング処理方法を選択する処理方法選択手段と、前記処理方法選択手段により選択されたカラーマッチング処理方法を評価する評価方法を決定する評価方法決定手段と、画像データに対して前記処理方法選択手段により選択されたカラーマッチング処理を施すカラーマッチング処理手段と、前記カラーマッチング処理手段でカラーマッチング処理を施された画像データを前記評価方法決定手段で決定された評価方法で評価した結果に基づいてカラーマッチング処理方法を決定する処理方法決定手段とを有することを特徴とする。
【００１２】
例えば、前記評価方法はカラーマッチング処理前後の画像の色差の平均値に基づいて評価することを特徴とする。
【００１３】
また例えば、前記評価方法はカラーマッチング処理前後の画像の最大色差に基づいて評価することを特徴とする。
【００１４】
また例えば、前記評価方法はカラーマッチング処理前後の画像の分散に基づいて評価することを特徴とする。
【００１５】
更に、各種情報を表示することにより報知可能な表示手段と、選択指示入力を行う指示入力手段と、少なくとも２つのカラーマッチング処理方法を保持する保持手段とを有し、前記処理方法選択手段は前記保持手段に保持された処理方法を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする。
【００１６】
更に、前記保持手段は少なくとも２つのカラーマッチング処理評価方法を保持し、前記評価方法決定手段は前記保持手段に保持された評価方法を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより評価方法を決定することを特徴とする。
【００１７】
更に、注目色を選択する注目色選択手段を含み、前記処理方法決定手段は前記注目色選択手段により選択された注目色に対してのみカラーマッチング処理を施してカラーマッチング処理方法を決定することを特徴とする。
【００１８】
更に、各種情報を表示することにより報知可能な表示手段と、選択指示入力を行う指示入力手段とを有し、前記注目色選択手段は前記画像データに使用されている色情報を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする。
【００１９】
更に、少なくとも１つの画像データを保持する画像データ保持手段と、前記画像データ保持手段に保持された画像データから１つの画像データを選択する画像データ選択手段とを有し、前記カラーマッチング処理手段は前記画像データ選択手段により選択された画像データに対してカラーマッチング処理を施すことを特徴とする。
【００２０】
更に、各種情報を表示することにより報知可能な表示手段と、選択指示入力を行う指示入力手段とを有し、前記画像データ選択手段は前記画像データ保持手段に保持された画像データを前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする。
【００２１】
また例えば、前記カラーマッチング処理手段は画像データ中に使用されている各色に対してカラーマッチング処理を施して処理前後の各色の情報を得る色変換情報取得手段と、処理前の画像データの色情報を前記色変換情報取得手段で得られた処理後の色情報に置換することによりカラーマッチング処理を行う色情報置換手段とを含み、前記色情報置換手段は前記処理方法決定手段により決定されたカラーマッチング処理方法を用いることを特徴とする。
【００２２】
【作用】
以上の構成により、画像データに対して最適なカラーマッチング処理方法を決定することができる画像処理装置を提供する。
【００２３】
更に、操作者が一度カラーマッチング処理方法の候補及びその選択方法を選択することにより、後は操作者が介在すること無く、最適なカラーマッチング処理を施した画像データを出力する画像処理装置を提供する。
【００２４】
更に、注目色を選択させることにより、注目色に最適なカラーマッチング処理方法を簡単に選択することができる画像処理装置を提供する。
【００２５】
更に、種々の選択処理の際に複数の候補を表示することにより、一定の基準を満たした選択ができるばかりでなく、操作性においても優れた画像処理装置を提供することができるという特有の作用効果が得られる。
【００２６】
【実施例】
以下、図面を参照して本発明に係る一実施例を詳細に説明する。
【００２７】
＜第１実施例＞
図１は、本実施例の画像処理装置の構成例を示すブロック図である。
【００２８】
図１において、２０１はＣＰＵ等の制御部であり、データや命令の演算、判断、制御を行い、本実施例の画像処理装置における大部分の処理を制御する。尚、制御部２０１には処理プログラム等を格納したＲＯＭや、作業領域となるＲＡＭ等が含まれている。２０２はキーボードやマウス等の入力装置であり、操作者が画像処理装置に対してコマンド等の入力を行う。２０３はメモリやハードディスク等の記憶部であり、本実施例において後述する色再現能力情報やカラーマッチング処理方法等もここに格納される。２０４はＣＲＴや液晶ディスプレイ等の表示部であり、即時的に画像を表示するが、次の表示が行われた場合には以前の表示を失ってしまう。２０５はスキャナやスチルビデオカメラ等の画像入力部であり、本実施例でカラーマッチング対象となる画像データを入力する。２０６はプリンタやイメージセッタ等の画像出力部であり、本実施例では記録用紙やフィルム等の記録媒体に対して画像を最終的に出力する。２０７はカラーマッチング処理部であり、本実施例におけるカラーマッチング処理を制御する。
【００２９】
本実施例において表示部２０４は、あくまでも一時的に画像を表示して、操作者が確認するために備えられているものとし、画像出力部２０６とは異なり画像を最終的に出力するためのものではない。
【００３０】
上述した構成をなす本実施例の画像処理装置において、そのカラーマッチング処理について以下詳細に説明する。尚、画像出力装置２０６としてカラープリンタが接続・選択されており、また、記憶部２０３にはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類を含む複数のカラーマッチング処理方法が格納されているものとする。この時、画像出力部２０６の色再現特性を示す色再現能力情報に従えば、記憶部２０３に格納されているＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類の方法によるカラーマッチング処理が実行可能であるとする。
【００３１】
図２は、本実施例におけるカラーマッチング処理を示すフローチャートである。図２において、まずステップＳ１０１で最終的に画像出力部２０６に出力させる画像データを画像入力部２０５から入力する。そしてステップＳ１０２で入力した画像データを表示部２０４に表示する。
【００３２】
次にステップＳ１０３において、操作者は表示部２０４に表示された画像を確認して、該画像に対してカラーマッチング処理を行うか否かを入力部２０２から適当な入力を行うことにより、判断する。ステップＳ１０３において、カラーマッチング処理を行うと判断されると処理はステップＳ１０４に進む。一方、カラーマッチング処理を行わないと判断されると、処理はステップＳ１１５に進み、画像データは画像出力部２０６にそのまま出力される。
【００３３】
ステップＳ１０４においては、記憶部２０３に予め登録されている複数のカラーマッチング処理方法のうち、画像出力部２０６の色再現能力情報に基づいて有効となる方法のみを抽出し、その一覧を表示部２０４に表示する。即ち、本実施例においてはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４通りのカラーマッチング処理方法が、表示部２０４に一覧表示される。尚、画像出力部２０６の色再現能力情報も予め記憶部２０３に格納されている。
【００３４】
そしてステップＳ１０５において、表示されたカラーマッチング処理方法の一覧から、操作者は画像に適用するカラーマッチング処理方法を目的に応じて少なくとも１つ選択する。例えば、原色をできるだけ忠実に再現したいのであれば、原色保存方式のカラーマッチング方式を候補として選択する。本実施例では、ＣＭ１、ＣＭ２、ＣＭ３の３通りの方法が選択されたとする。選択されたＣＭ１，ＣＭ２，ＣＭ３のカラーマッチング処理方法は、カラーマッチング処理方法の選択候補として記憶部２０３に保管される。
【００３５】
そして処理はステップＳ１０６に進み、ステップＳ１０５で選択された少なくとも１つのカラーマッチング処理方法から最終的に１つの方法を選択するための評価方法が、表示部２０４に一覧表示される。尚、この評価方法も予め記憶部２０３に格納されている。そしてステップＳ１０７で操作者は表示された評価方法一覧を参照して、入力部２０２より適切な評価方法を１つ決定する。そして、決定されたカラーマッチング処理方法の評価方法は、記憶装置２０３に格納される。
【００３６】
本実施例におけるカラーマッチング処理方法の評価方法としては、例えば、「ＣＩＥＬＡＢ表色空間におけるカラーマッチング処理前後の画像の色差の平均値が最小となる方法」や、「同色差の最大値が最小となる方法」や、また、「同色差の分散が最小となる方法」等が考えられる。本実施例においては、ステップＳ１０７で「ＣＩＥＬＡＢ表色空間での処理前後の画像の色差の最大値が最小となるカラーマッチング方法を選択する」という評価方法が決定されたものとする。
【００３７】
続いて処理はステップＳ１０８に進み、ステップＳ１０１で入力された画像データが複数であった場合、操作者がカラーマッチング処理を行う対象となる画像を最終的に入力部２０２より選択・確認・決定する。
【００３８】
尚、ステップＳ１０８で選択される画像データは上述した様にステップＳ１０１で入力された画像データに限らず、記憶部２０３に格納されたＲＧＢ色空間上の画像データであれば良く、例えば表示部２０４にそれぞれ表示して操作者が選択できるようにしても良い。また、本実施例において予め記憶部２０３に格納されたＲＧＢ色空間上の画像データに対してカラーマッチング処理を行うのであれば、上述したＳ１０１における画像データ入力処理は行わなくてもよい。
【００３９】
次にステップＳ１０９では、カラーマッチング処理方法を選択するのにさきだって、そのための前準備処理を行う。例えば、本実施例においてはステップＳ１０７で決定されたように、「ＣＩＥＬＡＢ表色空間での処理前後の画像の色差の最大値が最小となるカラーマッチング方法を選択する」という評価方法を採用した。この評価処理の際に、画像中に同じ色が存在していた場合そのまま単純に全ての画素について処理前後の画素の色差を計算すると、同じ計算を何度も行うことになってしまう。この無駄を避けるため、ステップＳ１０９において、原画像データに含まれている色のヒストグラム Ｃ（r,g,b）を生成して記憶部２０３上に保存する。このヒストグラム Ｃ（r,g,b）により、画像中にどの色が使用されているかを即座に調べることができる。尚、（r,g,b）は色座標で示された色を示す。
【００４０】
但し、ステップＳ１０９における前準備処理は、ステップＳ１０７で選択された評価方法によっては必要でない場合も想定できる。もちろん、そのような場合にはステップＳ１０９の処理は行わない。
【００４１】
そしてステップＳ１１０において、ステップＳ１０５で選択した少なくとも１つのカラーマッチング処理方法（ＣＭ１，ＣＭ２，ＣＭ３）のうち、未実行であるものを１つ、例えばＣＭ１を選択し、ＣＭ１方法を用いてカラーマッチング処理部２０７でカラーマッチング処理を実行する。この時、ステップＳ１０９で生成したヒストグラム Ｃ（r,g,b）から画像中で使用されている色（r,g,b） を判断して、その色についてカラーマッチング処理を実行して、カラーマッチング処理後の色（r',g',b'）を得る。ここで、カラーマッチング処理による変換をｆとすると、処理後の色（r',g',b'）は以下の様に表わせる。
【００４２】
（r',g',b'）＝ｆ（r,g,b）
カラーマッチング処理後の色（r',g',b'）は、元の色（r,g,b）と対応させて記憶部２０３に格納する。また、記憶部２０３に格納されているカラーマッチング処理方法の候補一覧に、ＣＭ１についてカラーマッチング処理を実行したことを例えばフラグ等を用いて記録する。
【００４３】
次にステップＳ１１１に進み、ステップＳ１０９で生成したヒストグラムＣ（r,g,b） から判断される画像中で使用されている色（r,g,b） と、ステップＳ１１０で得られたカラーマッチング処理後の色（r',g',b'）により、ステップＳ１０７で決定した評価方法により、カラーマッチング処理方法ＣＭ１の評価を行う。カラーマッチング処理前後の画素のＣＩＥＬＡＢ表色空間での色差の最大値をＥmax とすると、Ｅmax は以下の式で表わされる。
【００４４】
Ｅmax ＝ ｍａｘ（ΔＥ(r,g,b)）
但し、Ｃ（r,g,b）＞０ であるような（r,g,b） について、
ΔＥ(r,g,b)＝｛（ｌ(r',g',b')-ｌ(r,g,b)）^2 +（ａ(r',g',b')-ａ(r,g,b)）^2 +（ｂ(r',g',b')-ｂ(r,g,b)）^2 ｝^(1/2)
（ｍ^n は、ｍのｎ乗を示す）
r,g,b：原画像の色座標
r',g',b'：r,g,bをカラーマッチング処理を施した後の色座標
ｌ(r,g,b)，ａ(r,g,b)，ｂ(r,g,b)：(r,g,b)に対するＲＧＢ表色空間からＣＩＥＬＡＢ表色空間への変換関数
上述したようにして求められた色差の最大値Ｅmax は、記憶部２０３に格納されているカラーマッチング処理方法の候補一覧に、ＣＭ１についての評価値として記録する。
【００４５】
次にステップＳ１１２に進み、ステップＳ１０５で選択したカラーマッチング処理方法（ＣＭ１，ＣＭ２，ＣＭ３）の全てについて、ステップＳ１１０及びステップＳ１１１におけるカラーマッチング処理の評価が終了しているかを、記録部２０３に格納されたカラーマッチング処理方法の候補一覧より判断する。例えば、ＣＭ２，ＣＭ３についてカラーマッチング処理が未評価であれば、処理はステップＳ１１０へ戻り、今度はＣＭ２について上述した処理を繰り返す。
【００４６】
一方、ステップＳ１１２において全てのカラーマッチング処理方法について評価が終了したと判断されると、処理はステップＳ１１３に進む。ステップＳ１１３においては、ステップＳ１１１で求められた各カラーマッチング処理方法における色差の最大値Ｅmax を比較して、Ｅmax が最も小さいカラーマッチング処理方法を最適であるとして選択する。
【００４７】
そしてステップＳ１１４において、原画像データの各色（r,g,b） をステップＳ１１０で記憶部２０３に格納されたカラーマッチング処理後の色（r',g',b'）のうち、ステップＳ１１３で選択された最適なカラーマッチング処理方法に対応するものに置き替える。この処理により、原画像データに対して、実質的に最適なカラーマッチング処理を施したのと同様の画像データを得ることができる。
【００４８】
そしてステップＳ１１５において画像出力部２０６に、ステップＳ１１４で得られたカラーマッチング処理済みの画像データを最適な画像データとして出力する。
【００４９】
尚、ステップＳ１０５におけるカラーマッチング処理方法の選択、及びステップＳ１０７における最適なカラーマッチング処理方法の評価方法の選択、及びステップＳ１０８における対象画像データの確定処理の実行順序は、この例に限定されるものではなく、どのような順番で行ってもよい。例えば、メニュー等を表示して操作者に各処理を選択させることによって、処理順序を任意としてもよい。
【００５０】
また、ステップＳ１０５においてカラーマッチング処理方法を操作者が１つしか選択しなかった場合には、無条件にその方法を用いてカラーマッチング処理を施し、画像データを出力する。
【００５１】
以上説明したように本実施例によれば、操作者が一度カラーマッチング処理方法の候補及びその選択方法を選択することにより、後は操作者が介在すること無く、最適なカラーマッチング処理を施した画像データを出力することができる。
【００５２】
従って、最適なカラーマッチング処理方法を選択するための時間及びコストが削減できるばかりでなく、操作者の主観による判断を無くすことができる。
【００５３】
＜第２実施例＞
以下、本発明に係る第２実施例について、詳細に説明する。第２実施例においては、カラーマッチング処理を行う際に、特に優先して処理したい色範囲が存在している場合について説明を行う。
【００５４】
第２実施例における画像処理装置の構成は上述した第１実施例の図１に示す構成と同様であるため、説明を省略する。
【００５５】
次に、第２実施例の画像処理装置におけるカラーマッチング処理について以下詳細に説明するが、画像出力装置２０６としてカラープリンタが接続・選択されており、また、記憶部２０３にはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類を含む複数のカラーマッチング処理方法が格納されているものとする。この時、画像出力部２０６の色再現特性を示す色再現能力情報に従えば、記憶部２０３に格納されているＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類の方法によるカラーマッチング処理が実行可能であるとする。
【００５６】
第２実施例においては、図３に示す画像をカラーマッチング処理の対象画像として、説明する。図３は、ＲＧＢ空間（０≦Ｒ≦２５５，０≦Ｇ≦２５５，０≦Ｂ≦２５５）で示される色座標データを持つ画像データであり、樹木を背景とする人物が描写されている。
【００５７】
図４は、第２実施例におけるカラーマッチング処理方法の選択処理を示すフローチャートである。
【００５８】
図４において、まずステップＳ３０１で操作者がカラーマッチング処理の対象となる画像を入力部２０２からの入力により特定する。第２実施例においては、図３に示す画像データを特定したとする。そしてステップＳ３０２に進み、ステップＳ３０１で特定された図３に示す画像データについて、使用されている色
（r,g,b）（0≦r≦255，0≦g≦255，0≦b≦255）及びその使用頻度ｃ（r,g,b）を求め、記憶部２０３に格納する。
【００５９】
次にステップＳ３０３において、操作者はカラーマッチング処理を行う際に特に優先して処理を行いたい色を注目色として選択する。画像データで使用されている色の情報は、既にステップＳ３０２で記憶部２０３に格納されているため、この使用色情報及び使用頻度情報を表示部２０４に表示する。また、使用色数が多い場合には、使用頻度の高い色が狭い色空間内に固まる現象が起こるため、色空間上で使用頻度がピークとなる色を求めて、表示装置２０４に付加情報として表示する。例えば、使用色数が２５６色を越えるような場合には、使用色の中から使用頻度分布のピークとなる色、又はその近傍の色の情報 ｐ（r,g,b）を付加情報として表示する。尚、ピーク色情報 ｐ（r,g,b）は、その値が「１」の時にピークであることを示し、「０」でピークでないことを示す。
【００６０】
ここで、図５に表示部２０４における表示例を示す。図５の（ａ）は、ＸＹＺ表色系色度図にプロットされた対象画像（図３）中に使用されている色範囲を示す図である。また、図５の（ｂ）は、ＸＹＺ表色系色度図にプロットされた対象画像（図３）中に使用されている色の使用頻度を示す図である。また、図５の（ｃ）は、ＸＹＺ表色系色度図にプロットされた対象画像（図３）中に使用されている色の使用頻度ピークを示す図である。
【００６１】
ステップＳ３０３においては、図５に示すような色情報を参照して、カラーマッチング処理の際の注目色を入力部２０２より選択する。図３に示す画像データであれば、人及び樹木が描写されているため肌色及び緑色の部分の色の使用頻度が高く、同時にピークを持っている。従って、操作者は肌色及び緑色のピークの中から、注目色を複数選択する。そして、選択された注目色情報 ｓ（r,g,b）は、記憶部２０３に格納される。尚、注目色情報 ｓ（r,g,b）は、上述したピーク色情報 ｐ（r,g,b）に対応しており、その値が「１」の時に注目色であることを示し、「０」で注目色でないことを示す。また、ステップＳ３０３で、選択する注目色が１色であってももちろん構わない。
【００６２】
尚、ステップＳ３０３における注目色の選択の際には、例えば使用頻度上位数色や、使用頻度ピークの上位数色を所定数選択する方法や、同時に注目色の選択／解除を行う方法も用意しても良い。また、表示部２０４における使用色情報等を表示方法も、操作者が注目色を選択することができれば、操作性を考慮してどのような表示形式で表示しても良い。
【００６３】
次に処理はステップＳ３０４に進み、カラーマッチング処理方法を最終的に選択・決定するための選択方法を選択する。第２実施例におけるカラーマッチング処理方法の選択方法としては、上述した第１実施例と同様に、「ＣＩＥＬＡＢ表色空間におけるカラーマッチング処理前後の画像の色差の平均値が最小となる方法」や、「同色差の最大値が最小となる方法」や、また、「同色差の分散が最小となる方法」等がまず考えられる。第２実施例においては、「ＣＩＥＬＡＢ表色空間での処理前後の画像の色差の平均値が最小となるカラーマッチング処理方法を選択する」という選択方法がまず決定されたものとする。
【００６４】
すると、色差の平均値を求めねばならないが、この平均値の求める方法、即ち、どのような重みづけ ｗ（r,g,b）で平均値を算出するかも選択する。色差の平均値の算出方法としては、例えば「均等な重み付けによる算出」や、「使用頻度による重み付けによる算出」や、「任意の重み付けによる算出」等がある。第２実施例では、「肌色を注目色とした重み付けによる算出」（任意の重み付け）を選択したものとする。そして、選択された選択方法は、記憶部２０３に格納される。
【００６５】
尚、ステップＳ３０４における選択は、複数の選択肢を表示装置２０４に表示し、その中から操作者が入力装置２０２より選択入力を行うことにより、また、必要に応じて何らかの値を入力することにより、実行される。
【００６６】
続いて処理はステップＳ３０５に進み、カラーマッチング処理方法の候補を選択する。
【００６７】
ステップＳ３０５においては、記憶部２０３に予め登録されている複数のカラーマッチング処理方法のうち、画像出力部２０６の色再現能力情報に基づいて有効となる方法のみを抽出し、その一覧を表示部２０４に表示する。即ち、本実施例においてはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４通りのカラーマッチング処理方法が、表示部２０４に一覧表示される。尚、画像出力部２０６の色再現能力情報も予め記憶部２０３に格納されている。
【００６８】
そしてステップＳ３０５において、表示されたカラーマッチング処理方法の一覧から、操作者は画像に適用するカラーマッチング処理方法を目的に応じて少なくとも１つ選択する。例えば、原色をできるだけ忠実に再現したいのであれば、原色保存方式のカラーマッチング方式を候補として選択する。本実施例では、ＣＭ１、ＣＭ２、ＣＭ３の３通りの方法が選択されたとする。選択されたＣＭ１，ＣＭ２，ＣＭ３のカラーマッチング処理方法は、カラーマッチング処理方法の選択候補として記憶部２０３に保管される。
【００６９】
そして処理はステップＳ３０６に進み、まずステップＳ３０３で選択した注目色に対して、ステップＳ３０５で選択した各カラーマッチング処理方法（ＣＭ１，ＣＭ２，ＣＭ３）をカラーマッチング処理部２０７においてステップＳ３０２で求めた使用色（r,g,b）と使用頻度ｃ（r,g,b）を用いて実行し、そしてステップＳ３０４で設定した選択方法（カラーマッチング処理前後のＣＩＥＬＡＢ空間での色差を求め、肌色に重みづけを行った平均値が最小となるものを選択する方法）を用いて、各カラーマッチング処理方法の評価を行う。即ち、各カラーマッチング処理方法についての色差の平均値Ｅv を計算する。尚、ステップＳ３０３、Ｓ３０４、Ｓ３０５の各ステップで注目する色、選択方法、カラーマッチング処理方法の選択が行われていない場合には、それぞれ省略時の設定を予め決定しておき、その設定を用いて評価値を計算する。
【００７０】
ここで、色差の平均値をＥv は、
，色差の平均値をとる際の重み付けをｗ（r,g,b）とすると、Ｅv
は以下の式で表わされる。
【００７１】
Ｅv＝Σ（ｓ（r,g,b）・ｗ（r,g,b）・ｃ（r,g,b）・ΔＥ（r,g,b））／Σ（ｓ（r,g,b）・ｃ（r,g,b））
但し、ΔＥ(r,g,b)＝｛（ｌ(r',g',b')-ｌ(r,g,b)）^2 +（ａ(r',g',b')-ａ(r,g,b)）^2 +（ｂ(r',g',b')-ｂ(r,g,b)）^2 ｝^(1/2)
（ｍ^n は、ｍのｎ乗を示す）
r,g,b：原画像の色座標
r',g',b'：r,g,bをカラーマッチング処理を施した後の色座標
ｌ(r,g,b)，ａ(r,g,b)，ｂ(r,g,b)：(r,g,b)に対するＲＧＢ表色空間からＣＩＥＬＡＢ表色空間への変換関数
ｗ（r,g,b）： 色差の重み付け情報関数
ｓ（r,g,b）： 選択色情報関数
ｃ（r,g,b）： 使用色の使用頻度
【００７２】
次にステップＳ３０７において、ステップＳ３０６で得られた各カラーマッチング処理方法に応じた色差の平均値Ｅv はその値の小さい順、即ち、評価値の良い順に並べ替えて、表示部２０４に表示するか、又は画像出力部２０６に出力する。
【００７３】
尚、ステップＳ３０３，Ｓ３０４，Ｓ３０５については、その処理順序は上述した例に限定されるものではなく、例えば表示部２０４にメニュー等を表示して操作者が入力部２０２より任意に選択することにより、処理順序を変更してもよく、または処理を省略することも可能である。
【００７４】
以上説明したように、第２実施例では図４に示すフローチャートに基づいてカラーマッチング方法を簡単に選択可能となる。第２実施例では、このようにカラーマッチング処理方法を選択した後、自動的にカラーマッチング処理を行って出力してもよいし、また、操作者の指示を待ってから、カラーマッチング処理を行ってもよい。
【００７５】
以上説明したように第２実施例によれば、操作者が一度カラーマッチング処理の注目色及び選択方法及びカラーマッチング処理方法の選択方法式を選択することにより、後は操作者が介在すること無く、客観的に注目色に最適なカラーマッチング処理方法が選択できる。
【００７６】
従って、最適なカラーマッチング処理方法を選択するための時間及びコストが削減できるばかりでなく、操作者の主観による判断を無くすことができる。
【００７７】
尚、本発明は、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用しても良い。また、本発明は、システム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【発明の効果】
以上説明したように本発明によれば、操作者が一度カラーマッチング処理方法の候補及びその選択方法を選択することにより、後は操作者が介在すること無く、最適なカラーマッチング処理を施した画像データを出力することができる。
【００７８】
更に、注目色を選択させることにより、注目色に最適なカラーマッチング処理方法を簡単に選択することができる。
【００７９】
更に、種々の選択処理の際に複数の候補を表示することにより、一定の基準を満たした選択ができるばかりでなく、操作性においても優れた画像処理装置を提供することができる。
【００８０】
従って、最適なカラーマッチング処理方法を選択するための時間及びコストが削減できるばかりでなく、操作者の主観による判断を無くし、客観的に最適なカラーマッチング処理を施すことができる。
【００８１】
【図面の簡単な説明】
【図１】本発明に係る一実施例の画像処理装置の構成を示す図である。
【図２】本実施例におけるカラーマッチング処理を示すフローチャートである。
【図３】本発明に係る第２実施例におけるカラーマッチング処理対象の画像の例を示す図である。
【図４】第２実施例におけるカラーマッチング処理方法の選択処理を示すフローチャートである。
【図５】第２実施例における画像中で使用されている色情報を示す図である。
【符号の説明】
２０１ 制御部
２０２ 入力部
２０３ 記憶部
２０４ 表示部
２０５ 画像入力部
２０６ 画像出力部
２０７ カラーマッチング部
【産業上の利用分野】
本発明は画像処理方法及び装置に関し、特に、画像入出力部の性能によらない色表現を実現するためにカラーマッチング処理を行うカラーマネジメントシステムを適用した画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
従来より、画像処理装置を構成する画像入出力部で固有である色表現特性を補正し、画像入出力部の性能によらない色表現を可能とするカラーマネジメントシステム（Color Management System）を採用した画像処理装置が提案されている。このような画像処理装置においては、例えばスキャナやスチルビデオ等、どのような画像入力部から入力した画像データでも、ＣＲＴや液晶ディスプレイ等のどのような表示部、又はプリンタ、印刷機等のどのような画像出力部に対して出力を行う際に、その画像が持つ本来の色再現性を保ったままでの出力が可能となる。
【０００３】
上述した従来の画像処理装置におけるカラーマネジメントシステムとは、画像入出力部の色再現能力情報に従って画像データに色空間圧縮処理を施すことにより、色再現性を制御する機能である。画像入出力部の色再現能力情報とは、画像入出力部毎の色再現特性を示す情報であり、画像入力部及び画像出力部を選択することにより、一義的に決定される。該色再現能力情報は、画像処理装置内の所定の処理部に格納される。
【０００４】
また、色空間圧縮処理とは、画像データの本来の色情報を、色再現範囲の狭い画像出力部の色再現特性に合わせるための処理（以下、「カラーマッチング処理」と称する）である。従来の画像処理装置におけるカラーマッチング処理では、彩度保存圧縮法や色相保存圧縮法等、種々の方法が存在し、選択可能であった。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像処理装置におけるカラーマッチング処理では、選択可能な複数の方法のうち、処理対象である画像データの種類（イメージデータ、コンピュータグラフィックス等）や、使用されている色数、色あい等によって、最適なカラーマッチング処理方法が異なる。そのため、操作者は複数のカラーマッチング処理を切り替えてそれぞれ実行した後に、処理後の画像を表示部上に表示し、かつ画像出力部から出力して逐一比較することにより、最適なカラーマッチング処理方法を決定する必要があった。
【０００６】
従って、最適なカラーマッチング処理方法を選択するために操作者は煩雑な作業を余儀なくされ、時間的な無駄が生ずるばかりでなく、記録用紙等の消耗品を余分に消費してしまっていた。そして、操作者の視覚に頼って最適なカラーマッチング処理方法を選択するため、作業時の照明の条件や操作者の個人差等によって、選択基準が曖昧となっていしまっていた。
【０００７】
また、画像のなかで特に優先してカラーマッチング処理を行いたい色範囲が存在した場合にも、同様に選択基準が曖昧であった。
【０００８】
また、カラーマッチング処理方法を選択する別の方法として、対象画像全体についての各カラーマッチング処理前後の画像の色差の最大値や分散を比較し、カラーマッチング方法を選択する方法もある。しかしながらこの選択方法においては、優先してカラーマッチング処理を行いたい色範囲が存在した場合においても、優先したい色範囲も他の色範囲と同じ重みで扱われてしまうため、操作者の所望する最適なカラーマッチング処理は行えなかった。
【０００９】
従って従来の画像処理装置においては、最適なカラーマッチング処理方法を選択するために、結局は操作者の視覚に頼らざるを得ず、全てのカラーマッチング処理方法を実際に一度行う必要があった。
【００１０】
【課題を解決するための手段】
本発明は上述した課題を解決するためになされたものであり、上述した課題を解決するために、以下の構成を備える。
【００１１】
即ち、カラーマッチング処理方法を選択する処理方法選択手段と、前記処理方法選択手段により選択されたカラーマッチング処理方法を評価する評価方法を決定する評価方法決定手段と、画像データに対して前記処理方法選択手段により選択されたカラーマッチング処理を施すカラーマッチング処理手段と、前記カラーマッチング処理手段でカラーマッチング処理を施された画像データを前記評価方法決定手段で決定された評価方法で評価した結果に基づいてカラーマッチング処理方法を決定する処理方法決定手段とを有することを特徴とする。
【００１２】
例えば、前記評価方法はカラーマッチング処理前後の画像の色差の平均値に基づいて評価することを特徴とする。
【００１３】
また例えば、前記評価方法はカラーマッチング処理前後の画像の最大色差に基づいて評価することを特徴とする。
【００１４】
また例えば、前記評価方法はカラーマッチング処理前後の画像の分散に基づいて評価することを特徴とする。
【００１５】
更に、各種情報を表示することにより報知可能な表示手段と、選択指示入力を行う指示入力手段と、少なくとも２つのカラーマッチング処理方法を保持する保持手段とを有し、前記処理方法選択手段は前記保持手段に保持された処理方法を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする。
【００１６】
更に、前記保持手段は少なくとも２つのカラーマッチング処理評価方法を保持し、前記評価方法決定手段は前記保持手段に保持された評価方法を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより評価方法を決定することを特徴とする。
【００１７】
更に、注目色を選択する注目色選択手段を含み、前記処理方法決定手段は前記注目色選択手段により選択された注目色に対してのみカラーマッチング処理を施してカラーマッチング処理方法を決定することを特徴とする。
【００１８】
更に、各種情報を表示することにより報知可能な表示手段と、選択指示入力を行う指示入力手段とを有し、前記注目色選択手段は前記画像データに使用されている色情報を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする。
【００１９】
更に、少なくとも１つの画像データを保持する画像データ保持手段と、前記画像データ保持手段に保持された画像データから１つの画像データを選択する画像データ選択手段とを有し、前記カラーマッチング処理手段は前記画像データ選択手段により選択された画像データに対してカラーマッチング処理を施すことを特徴とする。
【００２０】
更に、各種情報を表示することにより報知可能な表示手段と、選択指示入力を行う指示入力手段とを有し、前記画像データ選択手段は前記画像データ保持手段に保持された画像データを前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする。
【００２１】
また例えば、前記カラーマッチング処理手段は画像データ中に使用されている各色に対してカラーマッチング処理を施して処理前後の各色の情報を得る色変換情報取得手段と、処理前の画像データの色情報を前記色変換情報取得手段で得られた処理後の色情報に置換することによりカラーマッチング処理を行う色情報置換手段とを含み、前記色情報置換手段は前記処理方法決定手段により決定されたカラーマッチング処理方法を用いることを特徴とする。
【００２２】
【作用】
以上の構成により、画像データに対して最適なカラーマッチング処理方法を決定することができる画像処理装置を提供する。
【００２３】
更に、操作者が一度カラーマッチング処理方法の候補及びその選択方法を選択することにより、後は操作者が介在すること無く、最適なカラーマッチング処理を施した画像データを出力する画像処理装置を提供する。
【００２４】
更に、注目色を選択させることにより、注目色に最適なカラーマッチング処理方法を簡単に選択することができる画像処理装置を提供する。
【００２５】
更に、種々の選択処理の際に複数の候補を表示することにより、一定の基準を満たした選択ができるばかりでなく、操作性においても優れた画像処理装置を提供することができるという特有の作用効果が得られる。
【００２６】
【実施例】
以下、図面を参照して本発明に係る一実施例を詳細に説明する。
【００２７】
＜第１実施例＞
図１は、本実施例の画像処理装置の構成例を示すブロック図である。
【００２８】
図１において、２０１はＣＰＵ等の制御部であり、データや命令の演算、判断、制御を行い、本実施例の画像処理装置における大部分の処理を制御する。尚、制御部２０１には処理プログラム等を格納したＲＯＭや、作業領域となるＲＡＭ等が含まれている。２０２はキーボードやマウス等の入力装置であり、操作者が画像処理装置に対してコマンド等の入力を行う。２０３はメモリやハードディスク等の記憶部であり、本実施例において後述する色再現能力情報やカラーマッチング処理方法等もここに格納される。２０４はＣＲＴや液晶ディスプレイ等の表示部であり、即時的に画像を表示するが、次の表示が行われた場合には以前の表示を失ってしまう。２０５はスキャナやスチルビデオカメラ等の画像入力部であり、本実施例でカラーマッチング対象となる画像データを入力する。２０６はプリンタやイメージセッタ等の画像出力部であり、本実施例では記録用紙やフィルム等の記録媒体に対して画像を最終的に出力する。２０７はカラーマッチング処理部であり、本実施例におけるカラーマッチング処理を制御する。
【００２９】
本実施例において表示部２０４は、あくまでも一時的に画像を表示して、操作者が確認するために備えられているものとし、画像出力部２０６とは異なり画像を最終的に出力するためのものではない。
【００３０】
上述した構成をなす本実施例の画像処理装置において、そのカラーマッチング処理について以下詳細に説明する。尚、画像出力装置２０６としてカラープリンタが接続・選択されており、また、記憶部２０３にはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類を含む複数のカラーマッチング処理方法が格納されているものとする。この時、画像出力部２０６の色再現特性を示す色再現能力情報に従えば、記憶部２０３に格納されているＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類の方法によるカラーマッチング処理が実行可能であるとする。
【００３１】
図２は、本実施例におけるカラーマッチング処理を示すフローチャートである。図２において、まずステップＳ１０１で最終的に画像出力部２０６に出力させる画像データを画像入力部２０５から入力する。そしてステップＳ１０２で入力した画像データを表示部２０４に表示する。
【００３２】
次にステップＳ１０３において、操作者は表示部２０４に表示された画像を確認して、該画像に対してカラーマッチング処理を行うか否かを入力部２０２から適当な入力を行うことにより、判断する。ステップＳ１０３において、カラーマッチング処理を行うと判断されると処理はステップＳ１０４に進む。一方、カラーマッチング処理を行わないと判断されると、処理はステップＳ１１５に進み、画像データは画像出力部２０６にそのまま出力される。
【００３３】
ステップＳ１０４においては、記憶部２０３に予め登録されている複数のカラーマッチング処理方法のうち、画像出力部２０６の色再現能力情報に基づいて有効となる方法のみを抽出し、その一覧を表示部２０４に表示する。即ち、本実施例においてはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４通りのカラーマッチング処理方法が、表示部２０４に一覧表示される。尚、画像出力部２０６の色再現能力情報も予め記憶部２０３に格納されている。
【００３４】
そしてステップＳ１０５において、表示されたカラーマッチング処理方法の一覧から、操作者は画像に適用するカラーマッチング処理方法を目的に応じて少なくとも１つ選択する。例えば、原色をできるだけ忠実に再現したいのであれば、原色保存方式のカラーマッチング方式を候補として選択する。本実施例では、ＣＭ１、ＣＭ２、ＣＭ３の３通りの方法が選択されたとする。選択されたＣＭ１，ＣＭ２，ＣＭ３のカラーマッチング処理方法は、カラーマッチング処理方法の選択候補として記憶部２０３に保管される。
【００３５】
そして処理はステップＳ１０６に進み、ステップＳ１０５で選択された少なくとも１つのカラーマッチング処理方法から最終的に１つの方法を選択するための評価方法が、表示部２０４に一覧表示される。尚、この評価方法も予め記憶部２０３に格納されている。そしてステップＳ１０７で操作者は表示された評価方法一覧を参照して、入力部２０２より適切な評価方法を１つ決定する。そして、決定されたカラーマッチング処理方法の評価方法は、記憶装置２０３に格納される。
【００３６】
本実施例におけるカラーマッチング処理方法の評価方法としては、例えば、「ＣＩＥＬＡＢ表色空間におけるカラーマッチング処理前後の画像の色差の平均値が最小となる方法」や、「同色差の最大値が最小となる方法」や、また、「同色差の分散が最小となる方法」等が考えられる。本実施例においては、ステップＳ１０７で「ＣＩＥＬＡＢ表色空間での処理前後の画像の色差の最大値が最小となるカラーマッチング方法を選択する」という評価方法が決定されたものとする。
【００３７】
続いて処理はステップＳ１０８に進み、ステップＳ１０１で入力された画像データが複数であった場合、操作者がカラーマッチング処理を行う対象となる画像を最終的に入力部２０２より選択・確認・決定する。
【００３８】
尚、ステップＳ１０８で選択される画像データは上述した様にステップＳ１０１で入力された画像データに限らず、記憶部２０３に格納されたＲＧＢ色空間上の画像データであれば良く、例えば表示部２０４にそれぞれ表示して操作者が選択できるようにしても良い。また、本実施例において予め記憶部２０３に格納されたＲＧＢ色空間上の画像データに対してカラーマッチング処理を行うのであれば、上述したＳ１０１における画像データ入力処理は行わなくてもよい。
【００３９】
次にステップＳ１０９では、カラーマッチング処理方法を選択するのにさきだって、そのための前準備処理を行う。例えば、本実施例においてはステップＳ１０７で決定されたように、「ＣＩＥＬＡＢ表色空間での処理前後の画像の色差の最大値が最小となるカラーマッチング方法を選択する」という評価方法を採用した。この評価処理の際に、画像中に同じ色が存在していた場合そのまま単純に全ての画素について処理前後の画素の色差を計算すると、同じ計算を何度も行うことになってしまう。この無駄を避けるため、ステップＳ１０９において、原画像データに含まれている色のヒストグラム Ｃ（r,g,b）を生成して記憶部２０３上に保存する。このヒストグラム Ｃ（r,g,b）により、画像中にどの色が使用されているかを即座に調べることができる。尚、（r,g,b）は色座標で示された色を示す。
【００４０】
但し、ステップＳ１０９における前準備処理は、ステップＳ１０７で選択された評価方法によっては必要でない場合も想定できる。もちろん、そのような場合にはステップＳ１０９の処理は行わない。
【００４１】
そしてステップＳ１１０において、ステップＳ１０５で選択した少なくとも１つのカラーマッチング処理方法（ＣＭ１，ＣＭ２，ＣＭ３）のうち、未実行であるものを１つ、例えばＣＭ１を選択し、ＣＭ１方法を用いてカラーマッチング処理部２０７でカラーマッチング処理を実行する。この時、ステップＳ１０９で生成したヒストグラム Ｃ（r,g,b）から画像中で使用されている色（r,g,b） を判断して、その色についてカラーマッチング処理を実行して、カラーマッチング処理後の色（r',g',b'）を得る。ここで、カラーマッチング処理による変換をｆとすると、処理後の色（r',g',b'）は以下の様に表わせる。
【００４２】
（r',g',b'）＝ｆ（r,g,b）
カラーマッチング処理後の色（r',g',b'）は、元の色（r,g,b）と対応させて記憶部２０３に格納する。また、記憶部２０３に格納されているカラーマッチング処理方法の候補一覧に、ＣＭ１についてカラーマッチング処理を実行したことを例えばフラグ等を用いて記録する。
【００４３】
次にステップＳ１１１に進み、ステップＳ１０９で生成したヒストグラムＣ（r,g,b） から判断される画像中で使用されている色（r,g,b） と、ステップＳ１１０で得られたカラーマッチング処理後の色（r',g',b'）により、ステップＳ１０７で決定した評価方法により、カラーマッチング処理方法ＣＭ１の評価を行う。カラーマッチング処理前後の画素のＣＩＥＬＡＢ表色空間での色差の最大値をＥmax とすると、Ｅmax は以下の式で表わされる。
【００４４】
Ｅmax ＝ ｍａｘ（ΔＥ(r,g,b)）
但し、Ｃ（r,g,b）＞０ であるような（r,g,b） について、
ΔＥ(r,g,b)＝｛（ｌ(r',g',b')-ｌ(r,g,b)）^2 +（ａ(r',g',b')-ａ(r,g,b)）^2 +（ｂ(r',g',b')-ｂ(r,g,b)）^2 ｝^(1/2)
（ｍ^n は、ｍのｎ乗を示す）
r,g,b：原画像の色座標
r',g',b'：r,g,bをカラーマッチング処理を施した後の色座標
ｌ(r,g,b)，ａ(r,g,b)，ｂ(r,g,b)：(r,g,b)に対するＲＧＢ表色空間からＣＩＥＬＡＢ表色空間への変換関数
上述したようにして求められた色差の最大値Ｅmax は、記憶部２０３に格納されているカラーマッチング処理方法の候補一覧に、ＣＭ１についての評価値として記録する。
【００４５】
次にステップＳ１１２に進み、ステップＳ１０５で選択したカラーマッチング処理方法（ＣＭ１，ＣＭ２，ＣＭ３）の全てについて、ステップＳ１１０及びステップＳ１１１におけるカラーマッチング処理の評価が終了しているかを、記録部２０３に格納されたカラーマッチング処理方法の候補一覧より判断する。例えば、ＣＭ２，ＣＭ３についてカラーマッチング処理が未評価であれば、処理はステップＳ１１０へ戻り、今度はＣＭ２について上述した処理を繰り返す。
【００４６】
一方、ステップＳ１１２において全てのカラーマッチング処理方法について評価が終了したと判断されると、処理はステップＳ１１３に進む。ステップＳ１１３においては、ステップＳ１１１で求められた各カラーマッチング処理方法における色差の最大値Ｅmax を比較して、Ｅmax が最も小さいカラーマッチング処理方法を最適であるとして選択する。
【００４７】
そしてステップＳ１１４において、原画像データの各色（r,g,b） をステップＳ１１０で記憶部２０３に格納されたカラーマッチング処理後の色（r',g',b'）のうち、ステップＳ１１３で選択された最適なカラーマッチング処理方法に対応するものに置き替える。この処理により、原画像データに対して、実質的に最適なカラーマッチング処理を施したのと同様の画像データを得ることができる。
【００４８】
そしてステップＳ１１５において画像出力部２０６に、ステップＳ１１４で得られたカラーマッチング処理済みの画像データを最適な画像データとして出力する。
【００４９】
尚、ステップＳ１０５におけるカラーマッチング処理方法の選択、及びステップＳ１０７における最適なカラーマッチング処理方法の評価方法の選択、及びステップＳ１０８における対象画像データの確定処理の実行順序は、この例に限定されるものではなく、どのような順番で行ってもよい。例えば、メニュー等を表示して操作者に各処理を選択させることによって、処理順序を任意としてもよい。
【００５０】
また、ステップＳ１０５においてカラーマッチング処理方法を操作者が１つしか選択しなかった場合には、無条件にその方法を用いてカラーマッチング処理を施し、画像データを出力する。
【００５１】
以上説明したように本実施例によれば、操作者が一度カラーマッチング処理方法の候補及びその選択方法を選択することにより、後は操作者が介在すること無く、最適なカラーマッチング処理を施した画像データを出力することができる。
【００５２】
従って、最適なカラーマッチング処理方法を選択するための時間及びコストが削減できるばかりでなく、操作者の主観による判断を無くすことができる。
【００５３】
＜第２実施例＞
以下、本発明に係る第２実施例について、詳細に説明する。第２実施例においては、カラーマッチング処理を行う際に、特に優先して処理したい色範囲が存在している場合について説明を行う。
【００５４】
第２実施例における画像処理装置の構成は上述した第１実施例の図１に示す構成と同様であるため、説明を省略する。
【００５５】
次に、第２実施例の画像処理装置におけるカラーマッチング処理について以下詳細に説明するが、画像出力装置２０６としてカラープリンタが接続・選択されており、また、記憶部２０３にはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類を含む複数のカラーマッチング処理方法が格納されているものとする。この時、画像出力部２０６の色再現特性を示す色再現能力情報に従えば、記憶部２０３に格納されているＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４種類の方法によるカラーマッチング処理が実行可能であるとする。
【００５６】
第２実施例においては、図３に示す画像をカラーマッチング処理の対象画像として、説明する。図３は、ＲＧＢ空間（０≦Ｒ≦２５５，０≦Ｇ≦２５５，０≦Ｂ≦２５５）で示される色座標データを持つ画像データであり、樹木を背景とする人物が描写されている。
【００５７】
図４は、第２実施例におけるカラーマッチング処理方法の選択処理を示すフローチャートである。
【００５８】
図４において、まずステップＳ３０１で操作者がカラーマッチング処理の対象となる画像を入力部２０２からの入力により特定する。第２実施例においては、図３に示す画像データを特定したとする。そしてステップＳ３０２に進み、ステップＳ３０１で特定された図３に示す画像データについて、使用されている色
（r,g,b）（0≦r≦255，0≦g≦255，0≦b≦255）及びその使用頻度ｃ（r,g,b）を求め、記憶部２０３に格納する。
【００５９】
次にステップＳ３０３において、操作者はカラーマッチング処理を行う際に特に優先して処理を行いたい色を注目色として選択する。画像データで使用されている色の情報は、既にステップＳ３０２で記憶部２０３に格納されているため、この使用色情報及び使用頻度情報を表示部２０４に表示する。また、使用色数が多い場合には、使用頻度の高い色が狭い色空間内に固まる現象が起こるため、色空間上で使用頻度がピークとなる色を求めて、表示装置２０４に付加情報として表示する。例えば、使用色数が２５６色を越えるような場合には、使用色の中から使用頻度分布のピークとなる色、又はその近傍の色の情報 ｐ（r,g,b）を付加情報として表示する。尚、ピーク色情報 ｐ（r,g,b）は、その値が「１」の時にピークであることを示し、「０」でピークでないことを示す。
【００６０】
ここで、図５に表示部２０４における表示例を示す。図５の（ａ）は、ＸＹＺ表色系色度図にプロットされた対象画像（図３）中に使用されている色範囲を示す図である。また、図５の（ｂ）は、ＸＹＺ表色系色度図にプロットされた対象画像（図３）中に使用されている色の使用頻度を示す図である。また、図５の（ｃ）は、ＸＹＺ表色系色度図にプロットされた対象画像（図３）中に使用されている色の使用頻度ピークを示す図である。
【００６１】
ステップＳ３０３においては、図５に示すような色情報を参照して、カラーマッチング処理の際の注目色を入力部２０２より選択する。図３に示す画像データであれば、人及び樹木が描写されているため肌色及び緑色の部分の色の使用頻度が高く、同時にピークを持っている。従って、操作者は肌色及び緑色のピークの中から、注目色を複数選択する。そして、選択された注目色情報 ｓ（r,g,b）は、記憶部２０３に格納される。尚、注目色情報 ｓ（r,g,b）は、上述したピーク色情報 ｐ（r,g,b）に対応しており、その値が「１」の時に注目色であることを示し、「０」で注目色でないことを示す。また、ステップＳ３０３で、選択する注目色が１色であってももちろん構わない。
【００６２】
尚、ステップＳ３０３における注目色の選択の際には、例えば使用頻度上位数色や、使用頻度ピークの上位数色を所定数選択する方法や、同時に注目色の選択／解除を行う方法も用意しても良い。また、表示部２０４における使用色情報等を表示方法も、操作者が注目色を選択することができれば、操作性を考慮してどのような表示形式で表示しても良い。
【００６３】
次に処理はステップＳ３０４に進み、カラーマッチング処理方法を最終的に選択・決定するための選択方法を選択する。第２実施例におけるカラーマッチング処理方法の選択方法としては、上述した第１実施例と同様に、「ＣＩＥＬＡＢ表色空間におけるカラーマッチング処理前後の画像の色差の平均値が最小となる方法」や、「同色差の最大値が最小となる方法」や、また、「同色差の分散が最小となる方法」等がまず考えられる。第２実施例においては、「ＣＩＥＬＡＢ表色空間での処理前後の画像の色差の平均値が最小となるカラーマッチング処理方法を選択する」という選択方法がまず決定されたものとする。
【００６４】
すると、色差の平均値を求めねばならないが、この平均値の求める方法、即ち、どのような重みづけ ｗ（r,g,b）で平均値を算出するかも選択する。色差の平均値の算出方法としては、例えば「均等な重み付けによる算出」や、「使用頻度による重み付けによる算出」や、「任意の重み付けによる算出」等がある。第２実施例では、「肌色を注目色とした重み付けによる算出」（任意の重み付け）を選択したものとする。そして、選択された選択方法は、記憶部２０３に格納される。
【００６５】
尚、ステップＳ３０４における選択は、複数の選択肢を表示装置２０４に表示し、その中から操作者が入力装置２０２より選択入力を行うことにより、また、必要に応じて何らかの値を入力することにより、実行される。
【００６６】
続いて処理はステップＳ３０５に進み、カラーマッチング処理方法の候補を選択する。
【００６７】
ステップＳ３０５においては、記憶部２０３に予め登録されている複数のカラーマッチング処理方法のうち、画像出力部２０６の色再現能力情報に基づいて有効となる方法のみを抽出し、その一覧を表示部２０４に表示する。即ち、本実施例においてはＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４通りのカラーマッチング処理方法が、表示部２０４に一覧表示される。尚、画像出力部２０６の色再現能力情報も予め記憶部２０３に格納されている。
【００６８】
そしてステップＳ３０５において、表示されたカラーマッチング処理方法の一覧から、操作者は画像に適用するカラーマッチング処理方法を目的に応じて少なくとも１つ選択する。例えば、原色をできるだけ忠実に再現したいのであれば、原色保存方式のカラーマッチング方式を候補として選択する。本実施例では、ＣＭ１、ＣＭ２、ＣＭ３の３通りの方法が選択されたとする。選択されたＣＭ１，ＣＭ２，ＣＭ３のカラーマッチング処理方法は、カラーマッチング処理方法の選択候補として記憶部２０３に保管される。
【００６９】
そして処理はステップＳ３０６に進み、まずステップＳ３０３で選択した注目色に対して、ステップＳ３０５で選択した各カラーマッチング処理方法（ＣＭ１，ＣＭ２，ＣＭ３）をカラーマッチング処理部２０７においてステップＳ３０２で求めた使用色（r,g,b）と使用頻度ｃ（r,g,b）を用いて実行し、そしてステップＳ３０４で設定した選択方法（カラーマッチング処理前後のＣＩＥＬＡＢ空間での色差を求め、肌色に重みづけを行った平均値が最小となるものを選択する方法）を用いて、各カラーマッチング処理方法の評価を行う。即ち、各カラーマッチング処理方法についての色差の平均値Ｅv を計算する。尚、ステップＳ３０３、Ｓ３０４、Ｓ３０５の各ステップで注目する色、選択方法、カラーマッチング処理方法の選択が行われていない場合には、それぞれ省略時の設定を予め決定しておき、その設定を用いて評価値を計算する。
【００７０】
ここで、色差の平均値をＥv は、
，色差の平均値をとる際の重み付けをｗ（r,g,b）とすると、Ｅv
は以下の式で表わされる。
【００７１】
Ｅv＝Σ（ｓ（r,g,b）・ｗ（r,g,b）・ｃ（r,g,b）・ΔＥ（r,g,b））／Σ（ｓ（r,g,b）・ｃ（r,g,b））
但し、ΔＥ(r,g,b)＝｛（ｌ(r',g',b')-ｌ(r,g,b)）^2 +（ａ(r',g',b')-ａ(r,g,b)）^2 +（ｂ(r',g',b')-ｂ(r,g,b)）^2 ｝^(1/2)
（ｍ^n は、ｍのｎ乗を示す）
r,g,b：原画像の色座標
r',g',b'：r,g,bをカラーマッチング処理を施した後の色座標
ｌ(r,g,b)，ａ(r,g,b)，ｂ(r,g,b)：(r,g,b)に対するＲＧＢ表色空間からＣＩＥＬＡＢ表色空間への変換関数
ｗ（r,g,b）： 色差の重み付け情報関数
ｓ（r,g,b）： 選択色情報関数
ｃ（r,g,b）： 使用色の使用頻度
【００７２】
次にステップＳ３０７において、ステップＳ３０６で得られた各カラーマッチング処理方法に応じた色差の平均値Ｅv はその値の小さい順、即ち、評価値の良い順に並べ替えて、表示部２０４に表示するか、又は画像出力部２０６に出力する。
【００７３】
尚、ステップＳ３０３，Ｓ３０４，Ｓ３０５については、その処理順序は上述した例に限定されるものではなく、例えば表示部２０４にメニュー等を表示して操作者が入力部２０２より任意に選択することにより、処理順序を変更してもよく、または処理を省略することも可能である。
【００７４】
以上説明したように、第２実施例では図４に示すフローチャートに基づいてカラーマッチング方法を簡単に選択可能となる。第２実施例では、このようにカラーマッチング処理方法を選択した後、自動的にカラーマッチング処理を行って出力してもよいし、また、操作者の指示を待ってから、カラーマッチング処理を行ってもよい。
【００７５】
以上説明したように第２実施例によれば、操作者が一度カラーマッチング処理の注目色及び選択方法及びカラーマッチング処理方法の選択方法式を選択することにより、後は操作者が介在すること無く、客観的に注目色に最適なカラーマッチング処理方法が選択できる。
【００７６】
従って、最適なカラーマッチング処理方法を選択するための時間及びコストが削減できるばかりでなく、操作者の主観による判断を無くすことができる。
【００７７】
尚、本発明は、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用しても良い。また、本発明は、システム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【発明の効果】
以上説明したように本発明によれば、操作者が一度カラーマッチング処理方法の候補及びその選択方法を選択することにより、後は操作者が介在すること無く、最適なカラーマッチング処理を施した画像データを出力することができる。
【００７８】
更に、注目色を選択させることにより、注目色に最適なカラーマッチング処理方法を簡単に選択することができる。
【００７９】
更に、種々の選択処理の際に複数の候補を表示することにより、一定の基準を満たした選択ができるばかりでなく、操作性においても優れた画像処理装置を提供することができる。
【００８０】
従って、最適なカラーマッチング処理方法を選択するための時間及びコストが削減できるばかりでなく、操作者の主観による判断を無くし、客観的に最適なカラーマッチング処理を施すことができる。
【００８１】
【図面の簡単な説明】
【図１】本発明に係る一実施例の画像処理装置の構成を示す図である。
【図２】本実施例におけるカラーマッチング処理を示すフローチャートである。
【図３】本発明に係る第２実施例におけるカラーマッチング処理対象の画像の例を示す図である。
【図４】第２実施例におけるカラーマッチング処理方法の選択処理を示すフローチャートである。
【図５】第２実施例における画像中で使用されている色情報を示す図である。
【符号の説明】
２０１ 制御部
２０２ 入力部
２０３ 記憶部
２０４ 表示部
２０５ 画像入力部
２０６ 画像出力部
２０７ カラーマッチング部
Claims (22)
- カラーマッチング処理方法によって処理された画像データを評価する評価方法を決定する評価方法決定工程と、
画像データに対してカラーマッチング処理を施すカラーマッチング処理工程と、
前記カラーマッチング処理工程でカラーマッチング処理を施された画像データを前記評価方法決定工程で決定された評価方法で評価した結果に基づいてカラーマッチング処理方法を決定する処理方法決定工程とを有することを特徴とする画像処理方法。 - 前記評価方法はカラーマッチング処理前後の画像の色差の平均値に基づいて評価することを特徴とする請求項１記載の画像処理方法。
- 前記評価方法はカラーマッチング処理前後の画像の最大色差に基づいて評価することを特徴とする請求項１記載の画像処理方法。
- 前記評価方法はカラーマッチング処理前後の画像の分散に基づいて評価することを特徴とする請求項１記載の画像処理方法。
- 少なくとも２つのカラーマッチング処理方法を保持し、
前記処理方法選択工程は前記保持された処理方法を表示して操作者が選択することを特徴とする請求項１記載の画像処理方法。 - 少なくとも２つのカラーマッチング処理評価方法を保持し、
前記評価方法決定工程は前記保持された評価方法を表示して操作者が選択することにより評価方法を決定することを特徴とする請求項５記載の画像処理方法。 - 注目色を選択する注目色選択工程を更に含み、
前記処理方法決定工程は前記注目色選択工程により選択された注目色に対してのみカラーマッチング処理を施してカラーマッチング処理方法を決定することを特徴とする請求項１記載の画像処理方法。 - 前記注目色選択工程は前記画像データに使用されている色情報を表示して操作者が選択することを特徴とする請求項７記載の画像処理方法。
- 保持された画像データから１つの画像データを選択する画像データ選択工程とを更に有し、
前記カラーマッチング処理工程は前記画像データ選択工程により選択された画像データに対してカラーマッチング処理を施すことを特徴とする請求項１記載の画像処理方法。 - 前記画像データ選択工程は前記保持された画像データを表示して操作者が選択することを特徴とする請求項９記載の画像処理方法。
- 前記カラーマッチング処理工程は画像データ中に使用されている各色に対してカラーマッチング処理を施して処理前後の各色の情報を得る色変換情報取得工程と、
処理前の画像データの色情報を前記色変換情報取得工程で得られた処理後の色情報に置換することによりカラーマッチング処理を行う色情報置換工程とを含み、
前記色情報置換工程は前記処理方法決定工程により決定されたカラーマッチング処理方法を用いることを特徴とする請求項１記載の画像処理方法。 - カラーマッチング処理方法を選択する処理方法選択手段と、
前記処理方法選択手段により選択されたカラーマッチング処理方法を評価する評価方法を決定する評価方法決定手段と、
画像データに対して前記処理方法選択手段により選択されたカラーマッチング処理を施すカラーマッチング処理手段と、
前記カラーマッチング処理手段でカラーマッチング処理を施された画像データを前記評価方法決定手段で決定された評価方法で評価した結果に基づいてカラーマッチング処理方法を決定する処理方法決定手段とを有することを特徴とする画像処理装置。 - 前記評価方法はカラーマッチング処理前後の画像の色差の平均値に基づいて評価することを特徴とする請求項１２記載の画像処理装置。
- 前記評価方法はカラーマッチング処理前後の画像の最大色差に基づいて評価することを特徴とする請求項１２記載の画像処理装置。
- 前記評価方法はカラーマッチング処理前後の画像の分散に基づいて評価することを特徴とする請求項１２記載の画像処理装置。
- 各種情報を表示することにより報知可能な表示手段と、
選択指示入力を行う指示入力手段と、
少なくとも２つのカラーマッチング処理方法を保持する保持手段とを更に有し、
前記処理方法選択手段は前記保持手段に保持された処理方法を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする請求項１２記載の画像処理装置。 - 前記保持手段は少なくとも２つのカラーマッチング処理評価方法を更に保持し、
前記評価方法決定手段は前記保持手段に保持された評価方法を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより評価方法を決定することを特徴とする請求項１６記載の画像処理装置。 - 注目色を選択する注目色選択手段を更に含み、
前記処理方法決定手段は前記注目色選択手段により選択された注目色に対してのみカラーマッチング処理を施してカラーマッチング処理方法を決定することを特徴とする請求項１２記載の画像処理装置。 - 各種情報を表示することにより報知可能な表示手段と、
選択指示入力を行う指示入力手段とを更に有し、
前記注目色選択手段は前記画像データに使用されている色情報を前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする請求項１８記載の画像処理装置。 - 少なくとも１つの画像データを保持する画像データ保持手段と、
前記画像データ保持手段に保持された画像データから１つの画像データを選択する画像データ選択手段とを更に有し、
前記カラーマッチング処理手段は前記画像データ選択手段により選択された画像データに対してカラーマッチング処理を施すことを特徴とする請求項１２記載の画像処理装置。 - 各種情報を表示することにより報知可能な表示手段と、
選択指示入力を行う指示入力手段とを更に有し、
前記画像データ選択手段は前記画像データ保持手段に保持された画像データを前記表示手段に表示して前記指示入力手段から選択指示入力を行うことにより選択を行うことを特徴とする請求項２０記載の画像処理装置。 - 前記カラーマッチング処理手段は画像データ中に使用されている各色に対してカラーマッチング処理を施して処理前後の各色の情報を得る色変換情報取得手段と、
処理前の画像データの色情報を前記色変換情報取得手段で得られた処理後の色情報に置換することによりカラーマッチング処理を行う色情報置換手段とを含み、
前記色情報置換手段は前記処理方法決定手段により決定されたカラーマッチング処理方法を用いることを特徴とする請求項１２記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07885294A JP3548223B2 (ja) | 1994-04-18 | 1994-04-18 | 画像処理方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07885294A JP3548223B2 (ja) | 1994-04-18 | 1994-04-18 | 画像処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07287748A JPH07287748A (ja) | 1995-10-31 |
| JP3548223B2 true JP3548223B2 (ja) | 2004-07-28 |
Family
ID=13673364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07885294A Expired - Fee Related JP3548223B2 (ja) | 1994-04-18 | 1994-04-18 | 画像処理方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3548223B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3790881B2 (ja) | 1999-09-10 | 2006-06-28 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| JP2001086361A (ja) | 1999-09-17 | 2001-03-30 | Minolta Co Ltd | 画像処理装置 |
| JP2001094806A (ja) | 1999-09-21 | 2001-04-06 | Minolta Co Ltd | 画像処理装置 |
| JP4879508B2 (ja) * | 2005-04-21 | 2012-02-22 | 富士フイルム株式会社 | 変換パラメータ算出方法、変換パラメータ算出プログラム及び画像処理装置 |
| JP4480160B2 (ja) * | 2005-06-08 | 2010-06-16 | キヤノン株式会社 | 印刷装置、印刷装置の制御方法、印刷装置の制御プログラム、記憶媒体、並びに、Ｗｅｂサーバ |
| JP5907474B2 (ja) * | 2011-10-19 | 2016-04-26 | 富士ゼロックス株式会社 | 画像形成装置及びプログラム |
| JP6315284B2 (ja) * | 2015-04-28 | 2018-04-25 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
-
1994
- 1994-04-18 JP JP07885294A patent/JP3548223B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07287748A (ja) | 1995-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6031543A (en) | Image processing apparatus for correcting color space coordinates and method | |
| US6778186B2 (en) | Method of and apparatus for carrying out gray conversion on color image | |
| JP4408858B2 (ja) | 画像処理装置およびその方法 | |
| US6476793B1 (en) | User interactive copy processing for selective color conversion or adjustment without gradation loss, and adjacent non-selected-color areas are not affected | |
| US7180632B2 (en) | Image processing device, image processing method, and record medium | |
| US7134797B2 (en) | Image processor, image processing method, and computer product | |
| JP4899919B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH1132227A (ja) | 画像処理方法及び装置及び記憶媒体 | |
| US20030035157A1 (en) | Image processing apparatus, image processing method and storage medium | |
| JP2006013836A (ja) | カラー画像のカラー画像データを処理する画像データ処理 | |
| JP2007274584A (ja) | 色処理方法およびその装置 | |
| EP1107176B1 (en) | Monotone converting device, monotone converting method, and medium on which monotone converting program is recorded | |
| JP3548223B2 (ja) | 画像処理方法及び装置 | |
| US20040001229A1 (en) | Printer driver, color transform method, recording medium, and color image forming system | |
| JP2010062674A (ja) | 色処理装置およびその方法 | |
| JPH11196285A (ja) | 画像処理方法、装置および記録媒体 | |
| JPH11146219A (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
| JP4910557B2 (ja) | 色変換装置、色変換方法、色変換プログラム、色変換係数作成装置、色変換係数作成方法、及び色変換係数作成プログラム | |
| JP3595600B2 (ja) | 画像処理方法及び装置 | |
| JP2001069362A (ja) | 色補正装置 | |
| JP2011049833A (ja) | 色変換条件設定プログラム、色変換条件設定方法、および色変換条件設定装置 | |
| JP4853296B2 (ja) | 色変換装置、色変換方法、色変換プログラム、色変換係数作成装置、色変換係数作成方法、及び色変換係数作成プログラム | |
| JP3194341B2 (ja) | カラー画像処理装置 | |
| JP3492016B2 (ja) | 画像処理システム及び画像処理方法 | |
| JP2000187722A (ja) | 画像処理パラメータの決定方法およびその処理を実行するためのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |