JP4224933B2 - 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 - Google Patents

画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4224933B2
JP4224933B2 JP2000248814A JP2000248814A JP4224933B2 JP 4224933 B2 JP4224933 B2 JP 4224933B2 JP 2000248814 A JP2000248814 A JP 2000248814A JP 2000248814 A JP2000248814 A JP 2000248814A JP 4224933 B2 JP4224933 B2 JP 4224933B2
Authority
JP
Japan
Prior art keywords
color
image data
pixel value
digital image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000248814A
Other languages
English (en)
Other versions
JP2002064720A (ja
Inventor
庸生 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2000248814A priority Critical patent/JP4224933B2/ja
Publication of JP2002064720A publication Critical patent/JP2002064720A/ja
Application granted granted Critical
Publication of JP4224933B2 publication Critical patent/JP4224933B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体に関し、特に、デジタルカメラやイメージスキャナから出力されるカラーデジタル画像データの彩度強調を簡便かつ自然に行うための画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体に関するものである。
【0002】
【従来の技術】
デジタルカメラやイメージスキャナなどで取得されたカラーデジタル画像データは、撮像系のダイナミックレンジ性能や光源などの外部環境の影響により、必ずしも最適な状態で取得されているとは限らない。このため、取得したカラーデジタル画像データの彩度が不足し、被写体本来の鮮やかさを十分に反映していないことがある。一般のカラーマネージメントシステムにおいて、カラーデジタル画像データの色変換処理を行った場合でも、観察者の眼には鮮やかさが不足していると感じられることが多い。
【0003】
このような問題点を解決する従来手法として、次のような画像処理手法が知られている。
【0004】
まず、画像処理の対象となるカラーデジタル画像データの表色系を、通常用いられる赤,緑,青(RGB)系やイエロー,マゼンダ,シアン(YMC)系などから、画素値を色情報成分と明るさ情報成分とに分離できるLab系やYCC系などに変換する。次に、変換後のカラーデジタル画像データにおいて、色情報成分のみに強調率を乗じる処理を行い、彩度を強調したカラーデジタル画像データを得る。最後に、彩度を強調したカラーデジタル画像データの表色系を再びRGB系やYMC系へと逆変換処理することにより、元の表色系のカラーデジタル画像データを得る画像処理手法である。
【0005】
【発明が解決しようとする課題】
しかし、上記従来手法では、一旦、カラーデジタル画像データの表色系を、通常のRGB系などからLab系などに変換する必要があるうえに、彩度強調後のカラーデジタル画像データを元の表色系に戻すためには、さらに逆変換処理を行う必要があり、煩雑な計算処理と多大な処理時間とを必要としていた。
【0006】
また、従来の彩度強調処理では、一般に、元のカラーデジタル画像データにおける彩度の強弱に拘わらず、一定レベルの彩度強調を行っており、このため、肌色などの彩度の弱い色が不必要に強調されて、不自然に着色してしまうという問題点も存在していた。
【0007】
本発明は、以上のような課題を解決するためになされたもので、その目的は、デジタルカメラやイメージスキャナから出力されるカラーデジタル画像データの彩度強調を簡便かつ自然に行うための画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体を提供することにある。
【0008】
【課題を解決するための手段】
請求項1の発明に係る画像処理方法は、上記の課題を解決するために、三色の画素から構成される第1のカラーデジタル画像データの少なくとも一部の画素値に、強調率に応じた色補正処理を行い、第2のカラーデジタル画像データを得る画像処理方法において、 記強調率は、上記第1のカラーデジタル画像データの各画素値に上記色補正処理を行う度合いであり、上記強調率wk1は、wk1=b+a×exp[1−(|V|/c) n ]の数式により算出され、上記Vは上記第1のカラーデジタル画像データの着目画素値と基準画素値との差、上記expは指数関数、上記a,bはパラメータ定数をあらわし、上記c,nは任意の正数であり、|は絶対値記号であり、上記パラメータ定数a,bは、彩度強調率rを用いて、a=(1−r)/[exp(1)−1]、b=[exp(1)*r−1]/[exp(1)−1]の式で定められ、上記彩度強調率rは、上記強調率の大きさを定めるための指標値であることを特徴としている。
【0009】
上記の構成において、三色の画素から構成される第1のカラーデジタル画像データとは、RGBやYMCなどの三色画素を一単位とするカラー画素の集合体のことである。また、第1のカラーデジタル画像データの少なくとも一部の画素値とは、画像内の所定部分にあるカラー画素における三色の画素値のことである。
【0010】
着目画素値とは、対応する上記強調率を設定する対象として着目される画素値のことをいい、基準画素値とは、着目画素値に対する画像処理の尺度基準となる所定の画素値のことである。例えば、一つのカラー画素(R,G,B)における一つの画素値(例えば、Gの画素値)を、上記三色画素のいずれかを着目画素とする場合の基準画素値として設定したり、特定の色(例えば、人の肌色)をあらわす三色画素値の組み合わせを、三色画素それぞれを着目画素とする場合の基準画素値として設定することができる
【0011】
記の構成によれば、上記第1のカラーデジタル画像データにおいて、上記基準画素値に近い着目画素値は変化が小さく、上記基準画素値と離れた着目画素値は変化が大きくなるように、上記強調率に応じた色補正処理が行われ、上記第2のデジタル画像データが得られる。
【0012】
従来のように、上記第1のカラーデジタル画像データの各画素値に色補正処理を行うための強調率を、単に、着目画素値と基準画素値との差の絶対値に比例する値としたのでは、上記着目画素値のあらわす色における彩度の強弱に拘わらず、一定レベルで色補正処理を行うことになる。このため、彩度の弱い色が不必要に強調され、上記第2のカラーデジタル画像データが不自然に着色してしまう。
【0013】
発明では、上記第1のカラーデジタル画像データの着目画素値と基準画素値とが離れるほど、上記強調率を大きくするだけでなく、着目画素値と基準画素値との差の絶対値に対する、上記強調率の変化率、すなわち、上記強調率の変化の割合をも大きくすることができる。それゆえ、上記第1のカラーデジタル画像データにおいて、彩度に大きく寄与する着目画素値に対して、より重点的な色補正処理が施される。
【0014】
着目画素値と基準画素値とが離れるとは、着目画素値と基準画素値との差の絶対値が大きくなることをいい、着目画素値と基準画素値とが離れるほど上記強調率の変化率が大きくなるとは、上記絶対値に対する上記強調率の変化の割合が、単調変化または局所的な不変状態にあることをいう。
【0015】
これにより、第1のカラーデジタル画像データにおいて、彩度の高い色ほど色補正処理の度合いが強くなるため、観察者の眼に自然で色鮮やかな第2のカラーデジタル画像データを得られる。また、第1のカラーデジタル画像データをLab系などに変換することなく、簡便かつ高速に、彩度強調処理された第2のカラーデジタル画像データを得ることが可能となる
【0016】
記の構成において、彩度強調率とは、上記強調率の大きさを定めるための指標値のことである。例えば、所定の上記着目画素値と基準画素値との差に対する所望強調率の値を、上記彩度強調率として採用することができる。上記彩度強調率は、単一の数値に限定されるものではなく、上記強調率の大きさを定めるための指標値となるパラメータ群であってもよく、該パラメータ群を一括して格納したファイルやプログラムであってもよい。
【0017】
上記の構成によれば、彩度強調率、および着目画素値と基準画素値との差のみを変数とする各種関数などを用いることにより、第1のカラーデジタル画像データの着目画素値と基準画素値とが離れるほど、その変化率が大きくなる上記強調率の設定を行うことが可能となる。
【0018】
これにより、強調率の算出に必要とするパラメータが少なくなるため、より簡便かつ高速に彩度強調処理を行うことができる。
【0019】
請求項の発明に係る画像処理方法は、上記の課題を解決するために、請求項の構成において、上記強調率の算出は、各色毎に異なる数式に基づくことを特徴としている。
【0020】
一般に、異なる色に対する観察者の視感度には差があるため、各色画素に同程度の色補正処理を行う場合に、各色画素値に対応させるべき上記強調率も厳密には異なる。例えば、上記三色画素が赤,緑,青の各画素である場合、各色について観察者に同レベルと感じられる色補正処理を行うためには、赤色に対する強調率を他色に対する強調率より大きくする必要があることが知られている。
【0021】
そこで、上記の構成では、各色の視感度等に応じた最適な強調率を各色毎に設定するものとした。結果的には、各色のうち、例えば2色の画素における上記強調率が全く同じであってもよい。
【0022】
これにより、第1のカラーデジタル画像データを構成する三色それぞれの視感度特性に応じた最適な色補正処理を行うことが可能となり、画像バランスなどを崩すことなく、適切な彩度強調処理を行うことができる。
【0023】
請求項の発明に係る画像処理方法は、上記の課題を解決するために、請求項1または2に記載の構成において、上記基準画素値は、上記三色の画素における平均画素値であることを特徴としている。
【0024】
前述のように、本発明は、上記第1のカラーデジタル画像データを構成する各三色の画素において、着目画素値と基準画素値とが離れている場合には、該着目画素値に大きな強調率に応じた色補正処理を行うことにより、彩度強調処理された上記第2のカラーデジタル画像データを得る構成である。
【0025】
しかし、上記三色画素における画素値の組み合わせによっては、上記色補正処理によって、上記三色画素のあらわす色の明度までが大きく変化することがある。例えば、いずれか1色の画素値が他2色の画素値と大きく異なり、かつ、該1色の画素値を基準画素値として設定している場合には、上記三色画素値の合計値や平均値は、上記色補正処理によって大きく変化し、上記三色画素があらわす色の明度は大きく変ってしまう。
【0026】
そこで、上記の構成では、1つのカラー画素を構成する上記三色の画素における平均画素値を基準画素値とした。それゆえ、上記三色の画素がそれぞれどのような画素値をとる場合であっても、上記色補正処理による上記カラー画素の明度変化が抑制される。また、上記平均画素値を基準画素値として採用するため、基準画素値は中間色に対応する画素値となる確率が高くなり、上記色補正処理による中間色の変動も最小限に抑制される。
【0027】
これにより、請求項1または2の効果に加えて、カラー画素の明度変化を抑制しながら、彩度強調を行うことができるため、第1のカラーデジタル画像データの画像明るさや画像バランスを大きく変化させることなく、被写体本来の鮮やかさを自然に強調した第2のカラーデジタル画像データを得ることができる。
【0028】
請求項の発明に係る画像処理方法は、上記の課題を解決するために、請求項1乃至のいずれか1項の構成において、上記第1のカラーデジタル画像データは、三色の画素を一単位のカラー画素として画像をあらわすものであり、着目画素から構成されるカラー画素の色が一次色に近いか二次色に近いかを判定し、着目画素から構成されるカラー画素の色が一次色に近い場合には比較的大きな微調整パラメータを選択し、着目画素から構成されるカラー画素の色が二次色に近い場合には比較的小さな微調整パラメータを選択し、選択された上記微調整パラメータを上記数式により算出された着目画素毎の上記強調率に乗じて最終的な強調率の値を得ることを特徴としている。
【0029】
前述のように、本発明は、上記第1のカラーデジタル画像データを構成する各三色の画素において、着目画素値と基準画素値とが離れている場合には、該着目画素値に大きな強調率に応じた色補正処理を行うことにより、彩度強調処理された上記第2のカラーデジタル画像データを得る構成である。
【0030】
しかし、上記第1のカラーデジタル画像データに上記強調率に応じた彩度強調処理を行うと、色バランスや画像バランスの崩れた上記第2のカラーデジタル画像データとなってしまうことがある。
【0031】
上記三色の画素が例えば、赤,緑,青の場合、主に単独画素の画素値によりあらわされる一次色としての赤,緑,青であるカラー画素は上記色補正処理によって明るさが暗くなる傾向にあり、主に二画素の画素値によりあらわされる二次色(補色)としてのイエロー,マゼンダ,シアンであるカラー画素は上記色補正処理によって明るさが明るくなる傾向にあるためである。
【0032】
そこで、上記の構成では、上記第1のカラーデジタル画像データは、三色の画素を一単位のカラー画素として画像をあらわすものであり、着目画素から構成されるカラー画素の色が一次色に近いか二次色に近いかを判定し、着目画素から構成されるカラー画素の色が一次色に近い場合には比較的大きな微調整パラメータを選択し、着目画素から構成されるカラー画素の色が二次色に近い場合には比較的小さな微調整パラメータを選択し、選択された上記微調整パラメータを上記数式により算出された着目画素毎の上記強調率に乗じて最終的な強調率の値を得るものとした。
【0033】
例えば、上記三色の画素が赤,緑,青であって、上記カラー画素の色が一次色としての赤,緑,青に近い場合には、比較的大きな強調率が選択され、上記カラー画素の色が二次色としてのイエロー,マゼンダ,シアンに近い場合には、比較的小さな強調率が選択されるものとする。選択される強調率は、各種ルックアップテーブルなどに設定されていてもよいし、パラメ−タ等を用いて、色補正処理を行う際に適宜算出されてもよい。
【0034】
また、上記の構成によれば、上記三色の画素のうち、上記基準画素値よりも大きな画素値を上記カラー画素のあらわす色における主成分、上記基準画素値よりも小さな画素値を上記カラー画素のあらわす色における濁り成分と判定して、主成分と濁り成分とのいずれかに対する上記強調率を選択的に増大させることも可能となる。
【0035】
これにより、請求項1乃至のいずれか1項の効果に加えて、第1のカラーデジタル画像データの各カラー画素が有する色相値に拘わらず、バランスのとれた彩度強調を行うことや、濁り成分としての画素値を抑制しながら彩度強調を行うことが可能となり、より自然で色鮮やかな第2のカラーデジタル画像データを得ることができる
【0036】
求項の発明に係る画像処理装置は、上記の課題を解決するために、上記請求項1乃至のいずれか1項に記載の画像処理方法により画像処理を行う画像処理手段を備えることを特徴としている。
【0037】
上記の構成によれば、請求項1乃至のいずれか1項に記載の効果のように、カラーデジタル画像データに彩度強調処理を行う際の計算負担や処理時間を軽減することが可能となるため、簡易な構成の画像処理手段により高速な画像処理を行うことができる。
【0038】
なお、上記画像処理手段には、カラーデジタル画像データを計算処理して、新たなカラーデジタル画像データを生成する演算手段などの他、カラーデジタル画像データを基にして、画像処理後のカラーデジタル画像データに対応した電気信号を出力する各種のD/Aコンバータなども含まれる。上記画像処理手段によって、一般の色変換処理と本発明の画像処理方法に係る画像処理とを同時に行うものとすれば、より高速な処理を行うことができる。
【0039】
請求項の発明に係る記録媒体は、上記の課題を解決するために、三色の画素から構成される第1のカラーデジタル画像データの少なくとも一部の画素値に、強調率に応じた色補正処理を行って、第2のカラーデジタル画像データを得る画像処理プログラムを記録した記録媒体であって、上記強調率は、上記第1のカラーデジタル画像データの各画素値に上記色補正処理を行う度合いであり、上記強調率wk1は、wk1=b+a×exp[1−(|V|/c) n ]の数式により算出され、上記Vは上記第1のカラーデジタル画像データの着目画素値と基準画素値との差、上記expは指数関数、上記a,bはパラメータ定数をあらわし、上記c,nは任意の正数であり、|は絶対値記号であり、上記パラメータ定数a,bは、彩度強調率rを用いて、a=(1−r)/[exp(1)−1]、b=[exp(1)*r−1]/[exp(1)−1]の式で定められ、上記彩度強調率rは、上記強調率の大きさを定めるための指標値であることを特徴としている。
【0040】
上記の構成によれば、上記画像処理プログラムを各種の計算機に実行させることにより、請求項1に記載の作用効果のように、カラーデジタル画像データに彩度強調処理を行う際の計算負担や処理時間を軽減することが可能となり、簡易な構成の画像処理手段によって、高速な画像処理を実現することができる。
【0041】
【発明の実施の形態】
本発明の実施の一形態について、図面に基づいて説明すれば、以下のとおりである。
【0042】
図2は、本実施形態に係る画像処理装置1の構成をあらわす説明図である。同図に示すように、画像処理装置1には、読み取り画像をカラーデジタル画像データD1 (第1のカラーデジタル画像データ)として出力する画像入力装置2と、カラーデジタル画像データD1 をカラーデジタル画像データD2 (第2のカラーデジタル画像データ)へと変換する画像処理プログラム(画像処理方法)を実行するCPU3(画像処理手段)と、カラーデジタル画像データD2 をプリントする画像出力装置4とが含まれている。画像入力装置2および画像出力装置4と、CPU3とは入出力インターフェース(図示せず)を介してそれぞれ接続されている。画像入力装置2の例としては、画像データとして写真を撮像するデジタルカメラや、写真フィルムや印刷物などから画像を読み取るスキャナなどがあり、画像出力装置4の例としては、デジタルプリンタなどが挙げられる。
【0043】
CPU3には、処理前後のデジタル画像データを格納したり、画像処理プログラムを記録するためのメモリ5(記録媒体)が接続されている。メモリ5は、典型的には、コンピュータに内蔵される半導体メモリやハードディスクであるが、コンピュータ本体と分離可能に構成される記録媒体、例えば、磁気テープやカセットテープ等のテープ媒体、フロッピーディスク(登録商標)やハードディスク等の外部磁気ディスク、CD−ROM等の光ディスクやICカードであってもよい。また、CPU3には、ユーザインタフェースを提供するキーボード6が接続されている。
【0044】
画像処理装置1の動作について簡単に説明する。画像入力装置2から出力されたカラーデジタル画像データD1 は、上記入出力インタフェースを介して、CPU3に入力され、CPU3によりメモリ5に格納される。メモリ5に格納されたカラーデジタル画像データD1 は、再び、CPU3に読み出され、画像処理プログラムに基づいた画像処理を施されることにより、カラーデジタル画像データD2 としてメモリ5に格納される。画像出力装置4は、CPU3の指令に従って、メモリ5に格納されたカラーデジタル画像データD2 を読み出し、画像としてプリントする。
【0045】
図1に、本実施形態において、CPU3によって実行される画像処理プログラムの概略フローを示す。上記画像処理プログラムは、S1〜S10の各ステップからなっており、カラーデジタル画像データD1 における、全てのまたは所望のカラー画素における画素値について、上記S1〜S10の処理が行われる。
【0046】
S1では、CPU3は彩度強調率rの値を取得する。彩度強調率rとは、第1のカラーデジタル画像データを彩度強調(色補正処理)する前記強調率の大きさを定めるための値である。彩度強調率rは、単一の数値に限定されるものではなく、彩度強調率をあらわすパラメータ群を一括して格納したファイルやプログラムであってもよい。彩度強調率rの値は、パラメータとしてあらかじめメモリ5に格納されていてもよいし、キーボード6から入力される値を採用してもよい。
【0047】
また、着目画素値とは、対応する上記強調率を設定する対象として着目される画素値のことである。本実施形態では、上記強調率の所望上限値を彩度強調率rとして採用するものとする。
【0048】
S2では、CPU3は、メモリ5に格納されたカラーデジタル画像データD1 を取得する。カラーデジタル画像データD1 は、赤,緑,青三色の画素集合体であり、三色画素を一単位のカラー画素として画像をあらわすものである。CPU3は、あらかじめメモリ5に格納されたカラーデジタル画像データD1 を読み出すほか、画像入力装置2から直接カラーデジタル画像データD1 を読み出してもよい。
【0049】
S3では、基準画素値sを設定する。基準画素値sとは、着目画素値に対する画像処理の尺度基準となる、所定の画素値のことである。例えば、1つのカラー画素を構成する赤,緑,青の三色画素のうち、緑画素の画素値を、上記三色画素のいずれかを着目画素とする場合の基準画素値として設定したり、人の肌色をあらわす三色画素値の組み合わせを、三色画素それぞれを着目画素とする場合の基準画素値として設定することができる。
【0050】
なお、カラーデジタル画像データD1 の全カラー画素について、同じ基準画素値sを採用してもよいが、上記カラー画素毎に最適な彩度強調を施すためには、該カラー画素毎に、固有の基準画素値、例えば上記三色画素における平均画素値などを設けることが望ましい。
【0051】
S4では、着目画素値VR (赤画素),VG (緑画素),VB (青画素)と基準画素値sとの差を算出する。すなわち、上記カラー画素を構成する赤,緑,青の画素において、赤画素についてはVR −s,緑画素についてはVG −s,青画素についてはVB −sの値を計算する。差の値をV=VR −s,VG −s,VB −sとすると、Vの値は、各色の着目画素値と基準画素値とが離れる程度の指標となるものであり、正負いずれの値をもとり得る。
【0052】
S5では、カラーデジタル画像データD1 の各カラー画素における色バランスを判定する。例えば、上記三色が赤,緑,青である場合に、上記カラー画素の色が一次色としての赤,緑,青に近いか、または、二次色としてのイエロー,マゼンダ,シアンに近いかを判定する。上記色バランス判定とは、このような一次色・二次色判定に限られず、さらに詳細な判定を行ってもよい。
【0053】
S6では、上記色バランス判定結果に応じて、カラーデジタル画像データD1 の各カラー画素における色バランスに応じた微調整用のパラメータを選択する。
【0054】
例えば、上記色バランス判定の結果、着目画素から構成される上記カラー画素のあらわす色が一次色として判定された場合には、一次色用の上記パラメータを選択する一方、着目画素から構成される上記カラー画素のあらわす色が二次色として判定された場合には、二次色用の上記パラメータを選択する。各カラー画素のあらわす色の違いに起因して、彩度強調の強度がばらつくことを抑制するために、一次色用パラメータとして、強調率をやや大きく微調整する係数パラメータを採用し、二次色用パラメータとして、強調率をやや小さく微調整する係数を採用する。
【0055】
S7では、上記強調率を算出するための強調率明示曲線を算出する。本実施形態における強調率明示曲線は、彩度強調率、および着目画素値と基準画素値との差のみをパラメータとする関数であって、着目画素値と基準画素値との差の絶対値が大きくなるほど、該絶対値に対する強調率の変化の割合が、単調変化または局所的な不変状態にあるものである。このような条件を満たすものであれば、上記強調率明示曲線として、任意の関数を採用することが可能であり、例えば、指数関数,双曲線関数,ベッジェ曲線,その他の数値テーブルなどを用いることができる。
【0056】
図3(a)(b)に、従来用いられていた強調率明示曲線の例と、本実施形態で採用する強調率明示曲線とを示す。同図(a)は、従来用いられていた強調率明示曲線の例であって、カラーデジタル画像データD1 の着目画素値と基準画素値との差に比例する値を強調率としたものである。しかし、同図(a)の強調率明示曲線を用いて強調率を決定したのでは、カラーデジタル画像データD1 のカラー画素における彩度の強弱に拘わらず一定レベルで彩度強調を行うことになり、この結果、彩度の弱い色が不必要に強調され、不自然に着色してしまう。
【0057】
一方、図3(b)は、本実施形態で採用する強調率明示曲線であって、着目画素値と基準画素値とが離れるほど、その変化率が大きくなる関数である。同図(b)の強調率明示曲線を用いて強調率を決定することにより、カラーデジタル画像データD1 において、基準画素値と大きく異なる着目画素値には強い彩度強調が、基準画素値に近い着目画素値には弱い彩度強調が行われる。本実施形態における上記強調率明示曲線は、各色毎に設定することができ、例えば、赤色の画素値に対する強調率を、他色の画素値に対する強調率より大きくしてもよい。
【0058】
S8では、カラーデジタル画像データD1 の着目画素値に対する強調率を算出する。すなわち、S1で取得した彩度強調率rと、S4で算出したVの値とを、S7で算出した強調率明示曲線に代入することにより、カラーデジタル画像データD1 の各画素値に対応する強調率を算出する。この際、上記強調率に、S6で選択された各色微調整用のパラメ−タを乗じることにより、上記強調率の設定を、三色の画素における色バランスに応じたものとすることができる。
【0059】
S9では、カラーデジタル画像データD1 における全ての、あるいは所望の着目画素値に、S8にて各色毎に設定された上記強調率に応じた色補正処理を行うことにより、カラーデジタル画像データD2 を得る。
【0060】
S10では、カラーデジタル画像データD2 のレンジ抑制処理を行う。例えば、カラーデジタル画像データD1 やカラーデジタル画像データD2 が8ビットデータである場合、カラーデジタル画像データD2 の画素値は、通常0〜255の値をとるが、S9でカラーデジタル画像データD1 の各画素値に上記強調率を加減乗除した結果、カラーデジタル画像データD2 の画素値が255を超えたり、0未満になる場合が生じる。
【0061】
このような場合には、カラーデジタル画像データD2 において、255を超える(0より小さい)画素値を一律に255(0)に揃えたり、カラーデジタル画像データD2 における画素値の最大値が255(最小値が0)となるように、カラーデジタル画像データD2 全体の画素値について規格化やスケール変換を行うことによって、カラーデジタル画像データD2 の全画素値が所定のレンジに収まるように処理を行う。
【0062】
【実施例】
(実施例1)
次に、図面に基づいて、本実施形態に係る画像処理方法における、S3〜S9の各処理の一具体例を説明する。
【0063】
本実施例において、カラーデジタル画像データD1 およびカラーデジタル画像データD2 の解像度はVGA(Video Graphics Array)である。すなわち、カラーデジタル画像データD1 とカラーデジタル画像データD2 とは、640×480=307200個のカラー画素を有しており、各カラー画素はRGB三色画素の画素値から構成されるため、カラーデジタル画像データD1 およびカラーデジタル画像データD2 は、総計640×480×3=921600個の画素値の集合体である。
【0064】
S3では、各カラー画素を構成する赤,緑,青の三色画素における平均画素値を、上記三色画素のいずれかを着目画素とする場合の基準画素値sとして設定する。本実施例では、カラーデジタル画像データD1 における640×480=307200個のカラー画素毎に、独立した基準画素値sが設定される。
【0065】
S4では、着目画素値VR ,VG ,VB と基準画素値sとの差Vを算出する。すなわち、前記カラー画素を構成する赤,緑,青の画素において、赤画素についてはV=VR −s,緑画素についてはV=VG −s,青画素についてはV=VB −sの値を計算する。
【0066】
S5では、カラーデジタル画像データD1 の各カラー画素における色バランスを判定する。具体的には、上記カラー画素を構成する赤,緑,青の三色画素における平均画素値と各色画素値とを比較して、該三色画素のうち、平均画素値より大きな画素値を有する画素が一つである場合には、上記カラー画素のあらわす色を一次色と判定し、平均画素値より大きな画素値を有する画素が二つである場合には、上記カラー画素のあらわす色を二次色と判定する。
【0067】
S6では、S5での判定結果に応じて、カラーデジタル画像データD1 の各カラー画素における色バランスに応じた微調整パラメータtR ,tG ,tB を選択する。本実施例では、各カラー画素のあらわす色の違いに起因する、彩度強調の強度ばらつきを抑制することを目的として、S5にて、着目するカラー画素のあらわす色が一次色として判定された場合には、比較的大きな微調整パラメータtR ,tG ,tB を選択し、着目するカラー画素のあらわす色が二次色として判定された場合には、比較的小さな微調整パラメータtR ,tG ,tB を選択する。
【0068】
S7では、強調率wk1を算出するための強調率明示曲線wk1=F(r,V)を算出する。以下、上記強調率明示曲線wk1=F(r,V)を定める手順について説明する。
【0069】
上記強調率明示曲線wk1=F(r,V)は、着目画素値と基準画素値との差Vの絶対値が大きくなるほど、該絶対値に対する強調率wk1の変化の割合が、単調変化または局所的な不変状態にあるものであり、このような曲線関数を(数1)式によって定義する。
(数1)
wk1=b+a×exp[1−(|V|/c)n
(数1)式において、expは指数関数、a,bはパラメ−タ定数、Vは着目画素値と基準画素値との差をあらわす。また、c,nは任意の正数であり、|は絶対値記号である。すなわち、(数1)式では、強調率wk1の算出に、着目画素値と基準画素値との差を含む項を引数とした指数関数を用いている。該指数関数によって、カラーデジタル画像データD1 の着目画素値と基準画素値とが離れるほど、その変化率が大きくなる、すなわち図4に示すような、強調率明示曲線が適切に表現される。
【0070】
(数1)式におけるc,nの値は特に限定されない。しかし、本実施例によって、自然かつ効果的な彩度強調を行うためには、cは着目画素値VR ,VG ,VB の値域の半分程度を、nは4程度の数値を採用することが好ましい。本実施例において、上記強調率明示曲線は各色画素毎に設定してもよく、例えば、上記c,nの値を赤,緑,青の画素毎に異なるものとすることができる。
【0071】
本実施例では、2つの条件を設定することにより、(数1)式におけるパラメ−タ定数a,bを消去する。まず、V=cのとき、wk1=rとの条件を設定することより、(数2)式が成立する。
(数2)
wk1=b+a=r
次に、V=0のとき、wk1=1.0、すなわち、着目画素値と基準画素値とが等しいとき、強調率wk1は最小値1.0になるとの条件を設定することにより、(数3)式が成立する。
(数3)
wk1=b+a×exp(1)=1.0
上記(数2)式,(数3)式を連立させて解くと、上記パラメータ定数a,bは、彩度強調率rを用いて、(数4)式のように定まる。
(数4)
a=(1−r)/[exp(1)−1]
b=[exp(1)*r−1]/[exp(1)−1]
これらパラメ−タ定数a,bを(数1)式に代入すれば、彩度強調率r、および着目画素値と基準画素値との差Vのみをパラメータとする強調率明示曲線wk1=F(r,V)により、強調率wk1の算出が行われることがわかる。図4に、上記の手順で算出した強調率明示曲線wk1=F(r,V)を、着目画素値と基準画素値との差Vを横軸、強調率wk1を縦軸としてあらわした。
【0072】
S8では、カラーデジタル画像データD1 の着目画素値に対する強調率を算出する。具体的には、S1で取得した彩度強調率rと、S4で算出したV=VR −s,VG −s,VB −sの値とを、S7で算出した強調率明示曲線に代入することによって、カラーデジタル画像データD1 の各着目画素に対応する強調率を算出する。すなわち、カラーデジタル画像データD1 のカラー画素を構成する赤,緑,青三色の各着目画素に対応する強調率を、それぞれwk1R ,wk1G ,wk1B とすれば、wk1R =F(r,VR −s),wk1G =F(r,VG −s),wk1B =F(r,VB −s)によって、カラーデジタル画像データD1 の各着目画素に対応する強調率が算出されることになる。
【0073】
また、上記wk1R ,wk1G ,wk1B に対して、S6で選択された微調整パラメータtR ,tG ,tB を乗じることにより、カラーデジタル画像データD1 の各カラー画素における色バランスをも考慮した最終的な強調率の値として、wk1R ’=wk1R ×tR ,wk1G ’=wk1G ×tG ,wk1B ’=wk1B ×tB を得る。
【0074】
上記wk1R ,wk1G ,wk1B に対し、S6で選択された微調整パラメ−タtR ,tG ,tB を乗じることにより、wk1R ’,wk1G ’,wk1B ’を得るかわりに、例えば、wk1R ’=F(r×tR ,VR −s),wk1G ’=F(r×tG ,VG −s),wk1B ’=F(r×tB ,VB −s)などの計算式に基づいて、wk1R ’,wk1G ’,wk1B ’を直接的に算出してもよい。
【0075】
S9では、S8にて着目画素毎かつ各色毎に設定された上記強調率wk1R ’,wk1G ’,wk1B ’を、カラーデジタル画像データD1 における全ての、あるいは所望の着目画素値VR ,VG ,VB から加減することにより、カラーデジタル画像データD2 を得る。上記着目画素値に上記強調率wk1R ’,wk1G ’,wk1B ’を加えるか、上記着目画素値から上記強調率wk1R ’,wk1G ’,wk1B ’を減じるかは、前記着目画素値と基準画素値との差Vの正負に応じて定められる。すなわち、V≧0の場合には、上記着目画素値に上記強調率を加え、V<0の場合には、上記着目画素値から上記強調率を減じる。
【0076】
図5は、本実施例の画像処理方法による彩度強調の概念をあらわす説明図である。同図によれば、カラーデジタル画像データD1 において、基準画素値としての三色平均値と離れている着目画素値(同図においては、RGBの各画素値)ほど、前記強調率に応じて強く彩度強調されることがわかる。また、該彩度強調において、濁り成分としての画素値は抑制されており、より自然で色鮮やかなカラーデジタル画像データを得ることができることも読み取れる。
【0077】
(実施例2)
次に、本実施形態に係る画像処理方法における、S9の処理の更なる具体例を説明する。
【0078】
本実施例に示すS9の処理では、前記(実施例1)のS8にて、着目画素毎かつ各色毎に設定された上記強調率wk1R ’,wk1G ’,wk1B ’を、カラーデジタル画像データD1 における全ての、あるいは所望の着目画素値VR ,VG ,VB に乗除することにより、カラーデジタル画像データD2 を得る。
【0079】
上記着目画素値に上記強調率wk1R ’,wk1G ’,wk1B ’を乗じるか、上記着目画素値を上記強調率wk1R ’,wk1G ’,wk1B ’で除するかは、前記着目画素値と基準画素値との差Vの正負に応じて定められる。すなわち、V≧0の場合には、上記着目画素値に上記強調率wk1R ’,wk1G ’,wk1B ’を乗じ、V<0の場合には、上記着目画素値を上記強調率wk1R ’,wk1G ’,wk1B ’で除する。
【0080】
これにより、前記(実施例1)で示した図5と同様に、カラーデジタル画像データD1 において、基準画素値としての三色平均値と離れている着目画素値(同図におけるRGBの各画素値)ほど、前記強調率に応じて強く彩度強調され、該彩度強調において、濁り成分としての画素値は抑制されることになる。
【0081】
【発明の効果】
請求項1の発明に係る画像処理方法は、以上のように、三色の画素から構成される第1のカラーデジタル画像データの少なくとも一部の画素値に、強調率に応じた色補正処理を行い、第2のカラーデジタル画像データを得る画像処理方法において、上記強調率は、上記第1のカラーデジタル画像データの各画素値に上記色補正処理を行う度合いであり、上記強調率wk1は、wk1=b+a×exp[1−(|V|/c) n ]の数式により算出され、上記Vは上記第1のカラーデジタル画像データの着目画素値と基準画素値との差、上記expは指数関数、上記a,bはパラメータ定数をあらわし、上記c,nは任意の正数であり、|は絶対値記号であり、上記パラメータ定数a,bは、彩度強調率rを用いて、a=(1−r)/[exp(1)−1]、b=[exp(1)*r−1]/[exp(1)−1]の式で定められ、上記彩度強調率rは、上記強調率の大きさを定めるための指標値である構成である。
【0082】
それゆえ、上記第1のカラーデジタル画像データにおいて、彩度に大きく寄与する着目画素値に対して、より重点的な色補正処理が施される。
【0083】
これにより、第1のカラーデジタル画像データにおいて、彩度の高い色ほど色補正処理の度合いが強くなるため、観察者の眼に自然で色鮮やかな第2のカラーデジタル画像データを得られる。また、第1のカラーデジタル画像データをLab系などに変換することなく、簡便かつ高速に、彩度強調処理された第2のカラーデジタル画像データを得ることが可能となるという効果を奏する
【0084】
れゆえ、彩度強調率、および着目画素値と基準画素値との差のみを変数とする関数などを用いることにより、第1のカラーデジタル画像データの着目画素値と基準画素値とが離れるほど、その変化率が大きくなる上記強調率の設定を行うことが可能となる。
【0085】
これにより、強調率の算出に必要とするパラメータが少なくなるため、より簡便かつ高速に彩度強調処理を行うことができるという効果を奏する。
【0086】
請求項の発明に係る画像処理方法は、以上のように、請求項の構成において、上記強調率の算出は、各色毎に異なる数式に基づくものとしている。
【0087】
それゆえ、第1のカラーデジタル画像データを構成する三色それぞれの視感度特性に応じた最適な色補正処理を行うことが可能となる。
【0088】
これにより、第1のカラーデジタル画像データの画像バランスなどを崩すことなく、適切な彩度強調処理を行うことができる。
【0089】
請求項の発明に係る画像処理方法は、以上のように、請求項1または2の構成において、上記基準画素値は、上記三色の画素における平均画素値であるものとしている。
【0090】
それゆえ、上記三色の画素がそれぞれどのような画素値をとる場合であっても、上記色補正処理による上記カラー画素の明度変化が抑制される。また、上記平均画素値を基準画素値として採用するため、基準画素値は中間色に対応する画素値となる確率が高くなり、上記色補正処理による中間色の変動も最小限に抑制される。
【0091】
これにより、請求項1または2の効果に加えて、カラー画素の明度変化を抑制しながら、彩度強調を行うことができるため、第1のカラーデジタル画像データの画像明るさや画像バランスを大きく変化させることなく、被写体本来の鮮やかさを自然に強調した第2のカラーデジタル画像データを得ることができるという効果を奏する。
【0092】
それゆえ、上記三色の画素のあらわす色の色バランスに応じた上記強調率が得られると共に、上記三色の画素のうち、主成分と濁り成分とのいずれかに対する上記強調率を選択的に増大させることも可能となる。
【0093】
これにより、請求項1乃至のいずれか1項の効果に加えて、第1のカラーデジタル画像データにおける各カラー画素の有する色相値に拘わらず、バランスのとれた彩度強調を行うことや、濁り成分としての画素値を抑制しながら彩度強調を行うことが可能となり、より自然で色鮮やかな第2のカラーデジタル画像データを得ることができるという効果を奏する
【0094】
求項の発明に係る画像処理装置は、以上のように、上記請求項1乃至のいずれか1項に記載の画像処理方法により画像処理を行う画像処理手段を備える構成である。
【0095】
これにより、請求項1乃至のいずれか1項に記載の効果のように、カラーデジタル画像データに彩度強調処理を行う際の計算負担や処理時間を軽減することが可能となるため、簡易な構成の画像処理手段により高速な画像処理を行うことができるという効果を奏する。
【0096】
請求項の発明に係る記録媒体は、以上のように、三色の画素から構成される第1のカラーデジタル画像データの少なくとも一部の画素値に、強調率に応じた色補正処理を行って、第2のカラーデジタル画像データを得る画像処理プログラムを記録した記録媒体であって、上記強調率は、上記第1のカラーデジタル画像データの各画素値に上記色補正処理を行う度合いであり、上記強調率wk1は、wk1=b+a×exp[1−(|V|/c) n ]の数式により算出され、上記Vは上記第1のカラーデジタル画像データの着目画素値と基準画素値との差、上記expは指数関数、上記a,bはパラメータ定数をあらわし、上記c,nは任意の正数であり、|は絶対値記号であり、上記パラメータ定数a,bは、彩度強調率rを用いて、a=(1−r)/[exp(1)−1]、b=[exp(1)*r−1]/[exp(1)−1]の式で定められ、上記彩度強調率rは、上記強調率の大きさを定めるための指標値である構成である。
【0097】
これにより、上記画像処理プログラムを各種の計算機に実行させることにより、請求項1に記載の効果のように、カラーデジタル画像データに彩度強調処理を行う際の計算負担や処理時間を軽減することが可能となり、簡易な構成の画像処理手段によって、高速な画像処理を実現することができるという効果を奏する。
【図面の簡単な説明】
【図1】 本実施形態における画像処理プログラムの概略を示すフローチャートである。
【図2】 本発明の一実施形態に係る画像処理装置の構成をあらわす説明図である。
【図3】 (a)は、従来用いられていた強調率明示曲線の一例をあらわすグラフである。
(b)は、本発明の一実施形態で採用する強調率明示曲線をあらわすグラフである。
【図4】 本発明の一実施例で採用する強調率明示曲線をあらわすグラフである。
【図5】 上記実施例による彩度強調の概念をあらわす説明図である。
【符号の説明】
1 画像処理装置
5 メモリ(記録媒体)

Claims (6)

  1. 三色の画素から構成される第1のカラーデジタル画像データの少なくとも一部の画素値に、強調率に応じた色補正処理を行い、第2のカラーデジタル画像データを得る画像処理方法において、
    上記強調率は、上記第1のカラーデジタル画像データの各画素値に上記色補正処理を行う度合いであり、
    上記強調率wk1は、
    wk1=b+a×exp[1−(|V|/c) n
    の数式により算出され、上記Vは上記第1のカラーデジタル画像データの着目画素値と基準画素値との差、上記expは指数関数、上記a,bはパラメータ定数をあらわし、上記c,nは任意の正数であり、|は絶対値記号であり、
    上記パラメータ定数a,bは、彩度強調率rを用いて、
    a=(1−r)/[exp(1)−1]
    b=[exp(1)*r−1]/[exp(1)−1]
    の式で定められ、上記彩度強調率rは、上記強調率の大きさを定めるための指標値であることを特徴とする画像処理方法。
  2. 上記強調率の算出は、各色毎に異なる数式に基づくことを特徴とする請求項に記載の画像処理方法。
  3. 上記基準画素値は、上記三色の画素における平均画素値であることを特徴とする請求項1または2に記載の画像処理方法。
  4. 上記第1のカラーデジタル画像データは、三色の画素を一単位のカラー画素として画像をあらわすものであり、
    着目画素から構成されるカラー画素の色が一次色に近いか二次色に近いかを判定し、着目画素から構成されるカラー画素の色が一次色に近い場合には比較的大きな微調整パラメータを選択し、着目画素から構成されるカラー画素の色が二次色に近い場合には比較的小さな微調整パラメータを選択し、選択された上記微調整パラメータを上記数式により算出された着目画素毎の上記強調率に乗じて最終的な強調率の値を得ることを特徴とする請求項1乃至のいずれか1項に記載の画像処理方法。
  5. 上記請求項1乃至のいずれか1項に記載の画像処理方法により画像処理を行う画像処理手段を備えることを特徴とする画像処理装置。
  6. 三色の画素から構成される第1のカラーデジタル画像データの少なくとも一部の画素値に、強調率に応じた色補正処理を行って、第2のカラーデジタル画像データを得る画像処理プログラムを記録した記録媒体であって、
    上記強調率は、上記第1のカラーデジタル画像データの各画素値に上記色補正処理を行う度合いであり、
    上記強調率wk1は、
    wk1=b+a×exp[1−(|V|/c) n
    の数式により算出され、上記Vは上記第1のカラーデジタル画像データの着目画素値と基準画素値との差、上記expは指数関数、上記a,bはパラメータ定数をあらわし、上記c,nは任意の正数であり、|は絶対値記号であり、
    上記パラメータ定数a,bは、彩度強調率rを用いて、
    a=(1−r)/[exp(1)−1]
    b=[exp(1)*r−1]/[exp(1)−1]
    の式で定められ、上記彩度強調率rは、上記強調率の大きさを定めるための指標値であることを特徴とする記録媒体。
JP2000248814A 2000-08-18 2000-08-18 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 Expired - Fee Related JP4224933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000248814A JP4224933B2 (ja) 2000-08-18 2000-08-18 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000248814A JP4224933B2 (ja) 2000-08-18 2000-08-18 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002064720A JP2002064720A (ja) 2002-02-28
JP4224933B2 true JP4224933B2 (ja) 2009-02-18

Family

ID=18738653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000248814A Expired - Fee Related JP4224933B2 (ja) 2000-08-18 2000-08-18 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4224933B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506703A (zh) * 2011-10-11 2012-06-20 中国烟草总公司郑州烟草研究院 一种测定烟用接装纸烫印面积比的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350899B2 (en) * 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506703A (zh) * 2011-10-11 2012-06-20 中国烟草总公司郑州烟草研究院 一种测定烟用接装纸烫印面积比的方法
CN102506703B (zh) * 2011-10-11 2014-02-12 中国烟草总公司郑州烟草研究院 一种测定烟用接装纸烫印面积比的方法

Also Published As

Publication number Publication date
JP2002064720A (ja) 2002-02-28

Similar Documents

Publication Publication Date Title
JP4725057B2 (ja) 画質調整情報の生成および画質調整情報を用いた画質調整
JP6415062B2 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
US20080253650A1 (en) Image Processing Device, Image Processing Method, Image Processing Program Product, and Image-Capturing Device
US20010035989A1 (en) Method, apparatus and recording medium for color correction
US20050243347A1 (en) Conversion of color image to monochrome image
WO2006064913A1 (ja) 画像処理方法
US8861849B2 (en) Image processing
US20020008762A1 (en) Method, apparatus and recording medium for image processing
US10764469B2 (en) Image processing apparatus, image processing method, and storage medium that convert an input luminance signal included in image data into an output signal for printing by using a conversion parameter
US6744920B1 (en) Method, apparatus, and recording medium for processing image data to obtain color-balance adjusted image data based on white-balance adjusted image data
JP4774757B2 (ja) 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP2008283291A (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
KR101006334B1 (ko) 영상 처리 장치 및 영상 처리 방법과, 영상 처리 방법이 기록된 기록 매체
JPH04336870A (ja) カラー画像記録装置
JP4244105B2 (ja) 画像処理方法および装置並びに記録媒体
JP3779927B2 (ja) 電子的に取得した画像の色彩度を修正する方法及び装置
US20050068587A1 (en) Monotone conversion process for color images
JP4752912B2 (ja) 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP4581999B2 (ja) 画像処理装置および画像処理方法
JP4224933B2 (ja) 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体
JP5070921B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
JP4006590B2 (ja) 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム
JP4321698B2 (ja) 画像出力方法および装置並びに記録媒体
JP3817371B2 (ja) 画像処理方法、装置および記録媒体
JP2004112494A (ja) 画像処理装置、画像処理方法および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees