JP4748333B2 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP4748333B2
JP4748333B2 JP2009067017A JP2009067017A JP4748333B2 JP 4748333 B2 JP4748333 B2 JP 4748333B2 JP 2009067017 A JP2009067017 A JP 2009067017A JP 2009067017 A JP2009067017 A JP 2009067017A JP 4748333 B2 JP4748333 B2 JP 4748333B2
Authority
JP
Japan
Prior art keywords
color
evaluation value
attribute evaluation
flat
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009067017A
Other languages
English (en)
Other versions
JP2010220113A (ja
Inventor
篤 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2009067017A priority Critical patent/JP4748333B2/ja
Priority to US12/548,048 priority patent/US8452085B2/en
Publication of JP2010220113A publication Critical patent/JP2010220113A/ja
Application granted granted Critical
Publication of JP4748333B2 publication Critical patent/JP4748333B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。
従来より、画像中に使用されている色数を低減する限定色化の処理が行われている。この限定色化の処理によって、画像中に含まれる各種のノイズやムラ、例えば画像が画像読取装置で原稿画像を読み取ったものである場合には、原稿の印刷ムラや読み取りの際のスキャンノイズ、手書き部分がある場合には手書きムラなどが低減される。また画像を圧縮する場合には、圧縮ノイズが低減され、また圧縮率が向上する。例えば特許文献1においては、色の頻度分布を生成し、その頻度分布中のピーク色を統合し、代表色の選択を行うことで、限定色化の処理を行っている。
限定色化の処理においては、表色数が予め設定されている個数に収まるように色を抽出したい場合がある。その手法として、例えば特許文献2においては、カラー画像から色空間頻度分布を生成し、色空間を均等に分割してセルに分け、頻度の多いセルから色空間上で隣接するセルを融合してゆく。この融合を、予め設定されている色数になるまで繰り返して行っている。
また特許文献3においては、カラー画像から色空間頻度分布を生成し、これまで選ばれた代表色から色空間上で最も遠い色を新たな代表色として加える。この処理を、予め設定されている色数になるまで繰り返して行っている。
特開2008−065803号公報 特開平9−127924号公報 特開平5−159050号公報
本発明は、画像中で使用されている主要な色の欠落を抑えて、予め設定されている色数の範囲内で色を抽出する画像処理装置及び画像処理プログラムを提供することを目的とするものである、
本願請求項1に記載の発明は、処理対象画像中で多くの画素で使用されている色を平坦色とし前記処理対象画像中で特徴的な色を特徴色としてそれぞれ抽出する色抽出手段と、前記特徴色同士の組み合わせ及び前記平坦色同士の組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の同属性評価値とする同属性評価値算出手段と、前記特徴色と前記平坦色との組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の異属性評価値とする異属性評価値算出手段と、前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に基づいて削除する抽出色削除手段を有し、前記抽出色削除手段は、前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい色から前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ削除することを特徴とする画像処理装置である。
本願請求項2に記載の発明は、処理対象画像中で多くの画素で使用されている色を平坦色とし前記処理対象画像中で特徴的な色を特徴色としてそれぞれ抽出する色抽出手段と、前記特徴色同士の組み合わせ及び前記平坦色同士の組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の同属性評価値とする同属性評価値算出手段と、前記特徴色と前記平坦色との組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の異属性評価値とする異属性評価値算出手段と、前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に基づいて削除する抽出色削除手段を有し、前記抽出色削除手段は、前記平坦色について前記同属性評価値算出手段で算出した同属性評価値と予め設定されている閾値とを比較し、評価値が閾値以下の平坦色が存在する場合には、前記平坦色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい前記平坦色から削除を行い、評価値が閾値以下の平坦色が存在しない場合には、前記平坦色及び特徴色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい特徴色から削除を行うことを特徴とする画像処理装置である。
本願請求項3に記載の発明は、処理対象画像中で多くの画素で使用されている色を平坦色とし前記処理対象画像中で特徴的な色を特徴色としてそれぞれ抽出する色抽出手段と、前記特徴色同士の組み合わせ及び前記平坦色同士の組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の同属性評価値とする同属性評価値算出手段と、前記特徴色と前記平坦色との組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の異属性評価値とする異属性評価値算出手段と、前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に基づいて削除する抽出色削除手段を有し、前記抽出色削除手段は、前記特徴色について前記同属性評価値算出手段で算出した同属性評価値と予め設定されている閾値とを比較し、評価値が閾値以下の特徴色が存在する場合には、前記特徴色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい前記特徴色から削除を行い、評価値が閾値以下の特徴色が存在しない場合には、前記平坦色及び特徴色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい平坦色から削除を行うことを特徴とする画像処理装置である。
本願請求項4に記載の発明は、請求項1から請求項3のいずれか1項に記載の画像処理装置における前記色抽出手段が、抽出した色のうち、予め設定されている範囲内に特徴色と平坦色が存在する場合に、該特徴色と該平坦色のあらかじめ決めておいた一方を削除することを特徴とする画像処理装置。
本願請求項5に記載の発明は、請求項1から請求項3のいずれか1項に記載の画像処理装置における前記色抽出手段が、抽出した色のうち、予め設定されている範囲内に特徴色と平坦色が存在する場合に、該特徴色の頻度と該平坦色の頻度からあらかじめ設定した評価関数により得られた評価値に従って特徴色と平坦色のいずれかを削除することを特徴とする画像処理装置である。
本願請求項6に記載の発明は、請求項1から請求項5のいずれか1項に記載の画像処理装置の構成に、さらに、利用者によりあらかじめ行われた設定により特徴色と平坦色のいずれを優先して残すかを判定する判定手段を有し、前記抽出色削除手段は、前記判定手段の判定結果に従って色抽出手段で抽出された色の削除を行うことを特徴とする画像処理装置である。
本願請求項7に記載の発明は、請求項1から請求項5のいずれか1項に記載の画像処理装置の構成に、さらに、特徴色と平坦色のいずれを優先して残すかを前記処理対象画像の文字部分または非地肌領域の画素数により判定を行う判定手段を有し、前記抽出色削除手段は、前記判定手段の判定結果に従って色抽出手段で抽出された色の削除を行うことを特徴とする画像処理装置である。
本願請求項8に記載の発明は、コンピュータに、請求項1から請求項7のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。
本願請求項1に記載の発明によれば、本構成を有しない場合に比べて処理対象画像中の主要な色の欠落を抑え、予め設定されている色数の範囲内で処理対象画像中の平坦色と特徴色とをバランスよく抽出することができるという効果がある。
本願請求項2に記載の発明によれば、処理対象画像中の特徴色を重視して色の抽出を行うことができる。
本願請求項3に記載の発明によれば、処理対象画像中の平坦色を重視して色の抽出を行うことができる。
本願請求項4に記載の発明によれば、平坦色と特徴色の重複を排除して色の抽出を行うことができる。
本願請求項5に記載の発明によれば、平坦色と特徴色の重複を排除して色の抽出を行うことができる。
本願請求項6に記載の発明によれば、本構成を有しない場合に比べて、平坦色と特徴色のいずれを優先するかを選択して色の抽出を行うことができる。
本願請求項7に記載の発明によれば、処理対象画像に応じて平坦色と特徴色のいずれを優先するかを判定して色の抽出を行うことができる。
本願請求項8に記載の発明によれば、本願請求項1から請求項7のいずれか1項に記載の発明の効果を得ることができる。
本発明の第1の実施の形態を示す構成図である。 本発明の第1の実施の形態における第1の動作例を示す流れ図である。 本発明の第1の実施の形態における第2の動作例を示す流れ図である。 本発明の第1の実施の形態における第3の動作例を示す流れ図である。 本発明の第1の実施の形態における第4の動作例を示す流れ図である。 本発明の第2の実施の形態を示す構成図である。 本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
図1は、本発明の第1の実施の形態を示す構成図である。図中、11は色抽出部、12は同属性評価値算出部、13は異属性評価値算出部、14は抽出色削除部、15は判定部、16は色置換部である。限定色化処理の対象となる処理対象画像はカラー画像であればどのような画像であってもよい。
色抽出部11は、処理対象画像中で使用されている色の中から1または複数の平坦色と、1または複数の特徴色を抽出する。平坦色は、例えば処理対象画像中において単色で塗られている色のように、多くの画素で構成される領域で使用されている色である。また特徴色は、例えば部分的に目立つ色が使用されている場合などのように、処理対象画像中で使用されている画素数は必ずしも多くはないものの、他の部分と大きく異なる色など、処理対象画像中で特徴的な色である。
平坦色及び特徴色の抽出方法としては、公知の方法を用いればよい。例えば処理対象画像中で使用されている色の頻度分布を生成し、頻度が極大となる色のうちから平坦色及び特徴色を選択すればよい。平坦色は、色の頻度分布において頻度が大きい極大色を抽出すればよい。例えば予め設定された頻度値までの極大色を抽出し、あるいは、頻度値が大きい順に予め設定された個数の極大色を抽出すればよい。また特徴色は、他の極大となる色との距離が離れている極大色を抽出すればよい。例えば他の極大となる色までの色空間における距離が予め設定されている距離よりも離れている極大色を抽出すればよい。別の方法としては、色空間における頻度分布形状の凸部、すなわち周囲の色の頻度よりも大きい頻度を有する色を抽出すればよい。例えば、極大色の周辺の色について頻度が予め設定した頻度値より小さい色を計数し、その計数値が予め設定した計数値より大きい場合に、その極大色を特徴色として抽出すればよい。さらに別の方法として、処理対象画像中で極大色が使用されている位置の周辺の画素を参照し、周辺の画素との色差が予め設定した色差よりも大きい極大色を特徴色として抽出してもよい。例えば処理対象画像の二次微分値を算出し、二次微分値が予め設定した二次微分値より大きい極大色を特徴色として抽出すればよい。なお、いずれの場合も生成した色の頻度分布についてクラスタリング処理を施しておくとよい。
なお、平坦色と特徴色とで類似した色が抽出されることがある。例えば、予め設定されている色範囲内に特徴色と平坦色が存在する場合には、その特徴色と平坦色のいずれかを削除しておくとよい。いずれを削除するかは予め決めておいた方法に従えばよい。例えば予め決めておいた一方を削除する方法や、予め設定した評価関数に従って得られた評価値をもとにいずれか一方を削除する方法などでもよい。予め設定した評価関数に従っていずれか一方を削除する場合、評価値Kijは例えば
Kij=w1・Fi−w2・Fj
で求めればよい。なお、Fiは特徴色の頻度、Fjは平坦色の頻度である。評価値Kijが正であれば平坦色を削除し、評価値Kijが負であれば特徴色を削除すればよい。もちろん評価関数はこの例に限られるものではない。
同属性評価値算出部12は、色抽出部11で抽出された特徴色同士の組み合わせ、及び、平坦色同士の組み合わせについて、少なくとも色の違いをもとにした評価値を同属性評価値として算出する。ここでは一例として、色の違いとして色差を用い、それとともに頻度を用いることとする。抽出された平坦色のうちの2つ、あるいは特徴色のうちの2つをCi、Cjとし、それぞれの頻度値をFi、Fjとした場合、評価値Hijは
Hij=|Ci−Cj|+(Fi−Fj)
で求めればよい。なお、|Ci−Cj|は色Ciと色Cjとの色空間における距離(色差)である。この評価値Hijを、平坦色のそれぞれの組み合わせ、及び、特徴色のそれぞれの組み合わせについて求めてゆく。例えば、ある色Ciについて評価値Hij(j=1,…,i−1,i+1,…,n)が得られた場合、そのうちの最小値を色Ciの同属性評価値Hiとすればよい。得られた同属性評価値Hiは、平坦色の中で、あるいは特徴色の中で、他の色と色差が大きく、他の色よりも頻度が大きければ大きな値となる。
もちろん評価値Hijは上述の方法に限られず、他の方法により求めてもよい。例えば色の違いとして色相、明度、彩度に分けて差を求め、また頻度とともに頻度分布から極大値のピーク度を求めておき、
Hij=w1・d(色相)+w2・d(明度)+w3・d(彩度)+w4・d(頻度)+w5・d(ピーク度)+w6
により求めてもよい。ここで、w1,w2,w3,w4,w5は重みであり、w6は常数である。またd()は2つの色の括弧内に記した量の差分を示す。この例のように色相、明度、彩度の3つを用いなくてもよく、例えば色相を用いる方法もある。このほかにも種々の要素を加味して評価を行ってもよい。
異属性評価値算出部13は、色抽出部11で抽出された特徴色と平坦色との組み合わせについて、少なくとも色の違いをもとにした評価値を異属性評価値として算出する。ここでは一例として、色の違いとして色差を用いる。抽出された平坦色のうちの1つと特徴色のうちの1つの組み合わせをCi、Cjとした場合、評価値Gijは
Gij=|Ci−Cj|
で求めればよい。なお、|Ci−Cj|は色Ciと色Cjとの色空間における距離(色差)である。この評価値Gijを、平坦色と特徴色との組み合わせについてそれぞれ求めてゆく。例えば、ある色Ciについて評価値Gij(j=1,…,i−1,i+1,…,n)が得られた場合、そのうちの最小値を色Ciの異属性評価値Giとすればよい。得られた異属性評価値Giは、平坦色であれば特徴色のいずれとも、特徴色であれば平坦色のいずれとも、色差が大きければ大きい値となる。もともと特徴色は平坦色よりも頻度値が小さいため、この異属性評価値の算出の際には頻度値を使用していない。
もちろん評価値Gijについても上述の方法に限られず、他の方法により求めてもよい。例えば色の違いとして色相、明度、彩度に分けて差を求め、
Gij=W1・d(色相)+W2・d(明度)+W3・d(彩度)+W4
により評価値Gijを求めてもよい。ここで、W1,W2,W3は重みであり、W4は常数である。またd()は2つの色の括弧内に記した量の差分を示す。この例のように色相、明度、彩度の3つを用いなくてもよく、例えば色相を用いる方法もある。このほかにも種々の要素を加味して評価を行ってもよい。
抽出色削除部14は、色抽出部11で抽出された色のうち予め設定されている個数を超える色数だけ、同属性評価値算出部12で算出した同属性評価値と異属性評価値算出部13で算出した異属性評価値に基づいて削除する。削除の際には、平坦色を重視して残すようにしたり、特徴色を重視して残すようにしたり、あるいは総合的に判断するなど、いくつかの処理方法がある。いずれかの処理方法を採用するほか、この例では判定部15によっていずれかの処理方法が選択されるように構成している。削除の具体的な処理については後述する。
判定部15は、特徴色と平坦色のいずれを優先して残すか、あるいは総合的に判断して削除するか判定する。この判定は、利用者により予め行われた設定を判定すればよい。あるいは、処理対象画像の解析結果に従って判定を行ってもよい。この場合、例えば処理対象画像を局所浮動二値化処理して文字領域を抽出し、文字部分の画素を計数した結果により判定したり、処理対象画像を面内浮動二値化処理により非地肌領域を抽出し、非地肌領域の画素数を計数した結果により判定したり、あるいは文字部分の画素の計数結果と非地肌領域の画素数の計数結果の大小関係により判定を行ってもよい。もちろん、他の方法により判定を行ってもよい。なお、ある方法に固定して削除処理を行う場合には、この判定部15を設けずに構成してもよい。
色置換部16は、処理対象画像の色を、残された予め設定されている個数以下の色に置換し、限定色化処理された画像を生成する。なお、この色置換部16を設けず、抽出色削除部14までの処理で得られた予め設定されている個数以内の色を出力するように構成してもよい。
以下、本発明の第1の実施の形態におけるいくつかの動作例について説明する。図2は、本発明の第1の実施の形態における第1の動作例を示す流れ図である。ここでは、1色を削除する毎に評価をやり直してゆく方法を示している。S51において、色抽出部11は、処理対象画像中で使用されている色の中から1または複数の平坦色と、1または複数の特徴色を抽出する。なお、この第1の実施の形態では、類似する色については抽出の際に削除する。
S52において、抽出された色数が予め設定されている個数以内であるか否かを判定する。抽出された色数が予め設定されている個数を超えている場合には、抽出された色のうち、予め設定されている個数を超える色数について、抽出色削除部14により削除する。
抽出色削除部14は、S53において、同属性評価値算出部12に対して特徴色及び平坦色について、同属性評価値Hiを算出させる。また抽出色削除部14は、S54において、異属性評価値算出部13に対して特徴色及び平坦色について、異属性評価値Giを算出する。同属性評価値Hi及び異属性評価値Giの算出は、それぞれ並行して行ってもよいし、順に行ってもよい。
さらに抽出色削除部14は、S55において、S53で得た同属性評価値Hiと、S54で得た異属性評価値Giをもとに、総合評価値を算出する。総合評価値Siは、例えば
Si=α・Hi+β・Gi
等で求めればよい。ここで、α,βは重みであり予め設定しておけばよい。例えばα>βとして同属性評価値Hiを重視したり、あるいはα<βとして異属性評価値Giを重視する総合評価を行ってもよい。α=β=1とすれば線形和を求めることになり、同属性評価値Hiと異属性評価値Giを対等に扱うことになる。
S56において、S55で得られた総合評価値Siをもとに、抽出された平坦色または特徴色のうちの1色を削除する。例えば抽出された色のうち、総合評価値Siが最も小さい色を削除する。色抽出部11で抽出された色のうち、色差が小さい色が存在する場合には同属性評価値Hiあるいは異属性評価値Giが小さい値となるため評価値Siが小さい値となる。従って総合評価値Siが小さい色ほど、他の色で代替してもよいと判断されるので、総合評価値Siが最も小さい色を削除の対象にしている。なお、この例では削除する色は平坦色または特徴色のいずれであってもよい。
S52へ戻り、予め設定されている個数となったか否かを判定し、予め設定されている個数を超えている場合には上述のS52からS56までの処理を繰り返す。繰り返す際には、S56において1色を削除していることから同属性評価値Hi及び異属性評価値Giが変化していることが考えられるため、改めて同属性評価値Hi及び異属性評価値Giを算出し直している。
S52で抽出された色が予め設定されている個数以下となったことが確認されたら、S57へ進み、色置換部16は処理対象画像の色を残された予め設定されている個数以下の色に置換し、限定色化処理された画像を生成する。なお、処理対象画像中で使用されている色を予め設定されている個数の範囲内で抽出する処理を行う場合には、このS57の処理を行わなくてもよい。
この第1の動作例の変形例として、S55、S56で抽出された色の削除を行う際に、平坦色を優先して削除し、あるいは特徴色を優先して削除するように処理してもよい。平坦色を優先して削除する場合の一例を説明する。まず、平坦色についての同属性評価値Hiのうち、Hi≦Thとなる平坦色が存在するか否かを判定する。なお、Thは予め設定されている閾値である。Hi≦Thとなる平坦色が存在する場合、または特徴色が存在しない場合には、平坦色について上述の総合評価値Siを算出し、得られた総合評価値Siが最も小さい平坦色を削除する。これにより、同属性評価値Hiが予め設定されている閾値以下である平坦色が優先して削除されることになる。
また、Hi≦Thとなる平坦色が存在しない場合、あるいはそもそも平坦色が存在しない場合には、特徴色について上述の総合評価値Siを算出し、得られた総合評価値Siが最も小さい特徴色を削除する。これにより、同属性評価値Hiが予め設定されている閾値以下の平坦色を削除しても予め設定されている個数を超える場合については、特徴色を削除することになる。もちろん、さらに特徴色についても閾値を設定しておき、削除され過ぎるのを防ぐようにしてもよい。
特徴色を優先して削除する場合の一例を説明する。まず、特徴色についての同属性評価値Hiのうち、Hi≦Tgとなる特徴色が存在するか否かを判定する。なお、Tgは予め設定されている閾値である。Hi≦Tgとなる特徴が存在する場合、または平坦色が存在しない場合には、特徴色について上述の総合評価値Siを算出し、得られた総合評価値Siが最も小さい特徴色を削除する。これにより、同属性評価値Hiが予め設定されている閾値以下である特徴色が優先して削除されることになる。
また、Hi≦Tgとなる特徴色が存在しない場合、あるいはそもそも特徴色が存在しない場合には、平坦色について上述の総合評価値Siを算出し、得られた総合評価値Siが最も小さい平坦色を削除する。これにより、同属性評価値Hiが予め設定されている閾値以下の特徴色を削除しても予め設定されている個数を超える場合については、平坦色を削除することになる。もちろん、さらに平坦色についても閾値を設定しておき、削除され過ぎるのを防ぐようにしてもよい。
平坦色または特徴色のいずれを優先して削除するのか、あるいは総合的に削除するのかは、判定部15の判定結果に従えばよい。
図3は、本発明の第1の実施の形態における第2の動作例を示す流れ図である。ここでは、簡易的に1回の同属性評価値Hi及び異属性評価値Giの算出結果に従って、抽出した色の削除を行う方法を示している。S51において、色抽出部11は、処理対象画像中で使用されている色の中から1または複数の平坦色と、1または複数の特徴色を抽出する。なお、この第1の実施の形態では、類似する色については抽出の際に削除する。
S52において、抽出された色数が予め設定されている個数以内であるか否かを判定する。抽出された色数が予め設定されている個数を超えている場合には、S53において同属性評価値算出部12で同属性評価値Hiを算出し、また、S54において異属性評価値算出部13で異属性評価値Giを算出する。同属性評価値Hi及び異属性評価値Giの算出は、それぞれ並行して行ってもよいし、順に行ってもよい。
さらに抽出色削除部14は、S61において、S53で得た同属性評価値Hiと、S54で得た異属性評価値Giをもとに、総合評価値を算出する。総合評価値Siは、図2のS55で説明した関数などにより算出すればよい。そしてS62において、得られた総合評価値Siが小さい順に、予め設定されている個数を超えた色数の抽出色を削除する。なお、この例では削除する色は平坦色または特徴色のいずれであってもよい。
S52で抽出された色が予め設定されている個数以下であると判定された場合、及びS62で予め設定されている個数まで抽出色を削除した場合には、S57へ進み、色置換部16は処理対象画像の色を残された予め設定されている個数以下の色に置換し、限定色化処理された画像を生成する。なお、処理対象画像中で使用されている色を予め設定されている個数の範囲内で抽出する処理を行う場合には、このS57の処理を行わなくてもよい。
なお、平坦色または特徴色のいずれかを優先して削除する場合には、得られた総合評価値に対して平坦色と特徴色とで異なる重み付けを行って、総合評価値Siの小さい順に削除すればよい。この場合、平坦色または特徴色のいずれを優先して削除するのか、あるいは総合的に削除するのかは、判定部15の判定結果に従えばよい。
図4は、本発明の第1の実施の形態における第3の動作例を示す流れ図である。ここでは特徴色を重視して残す場合の別の例を示しており、平坦色から削除してゆき、平坦色がなくなっても予め設定されている個数を超えている場合には特徴色を削除する例を示している。S51において、色抽出部11は、処理対象画像中で使用されている色の中から1または複数の平坦色と、1または複数の特徴色を抽出する。なお、この第1の実施の形態では、類似する色については抽出の際に削除する。
S71において、抽出されている色数が予め設定されている個数以内であるか否か、及び、平坦色が存在するか否かを判定する。抽出された色数が予め設定されている個数を超えており、平坦色が存在している場合には、S72において、それぞれの平坦色について、同属性評価値算出部12で同属性評価値Hiを算出するとともに、異属性評価値算出部13で異属性評価値Giを算出し、さらに抽出色削除部14は同属性評価値Hiと異属性評価値Giをもとに総合評価値Siを算出する。総合評価値Siは、図2のS55で説明した関数などにより算出すればよい。そしてS73において、得られた総合評価値Siが最小となる平坦色を削除する。S71へ戻り、抽出された色数が予め設定されている個数以内となるか、あるいは平坦色が存在しなくなるまでS72およびS73の処理を繰り返す。
S71で抽出された色数が予め設定されている個数以内となったか、あるいは平坦色が存在しないと判定された場合には、S74において、抽出されている色数が予め設定されている個数以内であるか否かを判定する。抽出された色数が予め設定されている個数を超えている場合には、S75において、それぞれの特徴色について、同属性評価値算出部12で同属性評価値Hiを算出する。この場合、平坦色は既に削除されているので、異属性評価値Gi及び総合評価値Siの算出は行わない。S76において、得られた同属性評価値Hiが最小となる特徴色を削除する。S74へ戻り、抽出された色数が予め設定されている個数以内となるまでS75およびS76の処理を繰り返す。
このようにして、S51で抽出された色数が予め設定されている個数を超えている場合に、平坦色から削除され、特徴色を重視した抽出が行われることになる。S74で抽出された色が予め設定されている個数以下であると判定された場合には、S57へ進み、色置換部16は処理対象画像の色を残された予め設定されている個数以下の色に置換し、限定色化処理された画像を生成する。なお、処理対象画像中で使用されている色を予め設定されている個数の範囲内で抽出する処理を行う場合には、このS57の処理を行わなくてもよい。
図5は、本発明の第1の実施の形態における第4の動作例を示す流れ図である。ここでは平坦色を重視して残す場合の別の例を示しており、特徴色から削除してゆき、特徴色がなくなっても予め設定されている個数を超えている場合には平坦色を削除する例を示している。S51において、色抽出部11は、処理対象画像中で使用されている色の中から1または複数の平坦色と、1または複数の特徴色を抽出する。なお、この第1の実施の形態では、類似する色については抽出の際に削除する。
S81において、抽出されている色数が予め設定されている個数以内であるか否か、及び、特徴色が存在するか否かを判定する。抽出された色数が予め設定されている個数を超えており、特徴色が存在している場合には、S82において、それぞれの特徴色について、同属性評価値算出部12で同属性評価値Hiを算出するとともに、異属性評価値算出部13で異属性評価値Giを算出し、さらに抽出色削除部14は同属性評価値Hiと異属性評価値Giをもとに総合評価値Siを算出する。総合評価値Siは、図2のS55で説明した関数などにより算出すればよい。そしてS83において、得られた総合評価値Siが最小となる特徴色を削除する。S81へ戻り、抽出された色数が予め設定されている個数以内となるか、あるいは特徴色が存在しなくなるまでS82およびS83の処理を繰り返す。
S81で抽出された色数が予め設定されている個数以内となったか、あるいは特徴色が存在しないと判定された場合には、S84において、抽出されている色数が予め設定されている個数以内であるか否かを判定する。抽出された色数が予め設定されている個数を超えている場合には、S85において、それぞれの平坦色について、同属性評価値算出部12で同属性評価値Hiを算出する。この場合、特徴色は既に削除されているので、異属性評価値Gi及び総合評価値Siの算出は行わない。S86において、得られた同属性評価値Hiが最小となる平坦色を削除する。S84へ戻り、抽出された色数が予め設定されている個数以内となるまでS85およびS86の処理を繰り返す。
このようにして、S51で抽出された色数が予め設定されている個数を超えている場合に、特徴色から削除され、平坦色を重視した抽出が行われることになる。S84で抽出された色が予め設定されている個数以下であると判定された場合には、S57へ進み、色置換部16は処理対象画像の色を残された予め設定されている個数以下の色に置換し、限定色化処理された画像を生成する。なお、処理対象画像中で使用されている色を予め設定されている個数の範囲内で抽出する処理を行う場合には、このS57の処理を行わなくてもよい。
なお、図4及び図5で説明した平坦色または特徴色のいずれかを優先して残す処理の場合に、図3で説明した1回の同属性評価値Hi及び異属性評価値Gi、総合評価値Siの算出結果に従って平坦色又は特徴色を削除して行くように構成してもよい。
図6は、本発明の第2の実施の形態を示す構成図である。図中、17は類似色削除部である。この第2の実施の形態では、特徴色と平坦色とで類似する色が抽出された場合に、抽出の際に削除せず、予め設定された個数の色まで絞った後に類似色削除部17で削除を行う場合の構成を示している。第1の実施の形態と異なる部分について主に説明する。
色抽出部11は処理対象画像中で使用されている色の中から1または複数の平坦色と1または複数の特徴色を抽出するが、この第2の実施の形態では類似色についての判定や削除は行わない。
抽出色削除部14は、色抽出部11で抽出された色のうち予め設定されている個数を超える色数だけ、同属性評価値算出部12で算出した同属性評価値と異属性評価値算出部13で算出した異属性評価値に基づいて削除する。色の削除は、第1の実施の形態で説明した方法で行えばよい。この第2の実施の形態では、削除した色を履歴として保存しておく。
類似色削除部17は、抽出色削除部14で色の削除を行って予め設定されている個数以内に収められた色のうち、予め設定されている色範囲内に特徴色と平坦色が存在する場合には、その特徴色と平坦色のいずれかを削除する。それとともに、削除した色数だけ、抽出色削除部14で削除した色を、保存しておいた履歴に従って復活させる。
色置換部16は、類似色削除部17で類似色を削除した後の色に、処理対象画像の色を置換し、限定色化処理された画像を生成する。なお、この色置換部16を設けずに、類似色削除部17までの処理で得られた予め設定されている個数以内の色を出力するように構成してもよい。
この第2の実施の形態における動作は、上述の第1の実施の形態における各動作例の説明のうち、色抽出部11が類似色の処理を行わず、色置換部16による色置換処理の前に、あるいは予め設定されている個数の色を出力する前に、類似色削除部17が類似色についての処理を行う点で異なっている。
図7は、本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、21はプログラム、22はコンピュータ、31は光磁気ディスク、32は光ディスク、33は磁気ディスク、34はメモリ、41はCPU、42は内部メモリ、43は読取部、44はハードディスク、45はインタフェース、46は通信部である。
上述の本発明の各実施の形態で説明した各部の機能の全部または部分的に、コンピュータにより実行可能なプログラム21によって実現してもよい。その場合、そのプログラム21およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部43に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部43にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク31,光ディスク32(CDやDVDなどを含む)、磁気ディスク33,メモリ34(ICカード、メモリカードなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
これらの記憶媒体にプログラム21を格納しておき、例えばコンピュータ22の読取部43あるいはインタフェース45にこれらの記憶媒体を装着することによって、コンピュータからプログラム21を読み出し、内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって、上述の本発明の各実施の形態で説明した機能の全部または部分的に実現される。あるいは、通信路を介してプログラム21をコンピュータ22に転送し、コンピュータ22では通信部46でプログラム21を受信して内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって実現してもよい。
コンピュータ22には、このほかインタフェース45を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば出力装置としての画像形成装置がインタフェース45を介して接続され、限定色化された画像を画像形成装置で形成するように構成してもよい。または、画像読取装置がインタフェース45を介して接続され、画像読取装置で読み取った画像を処理対象画像として限定色化の処理を行ってデータ量を削減し、ハードディスク44に記憶させ、あるいは通信部46を通じて外部に送信するように構成してもよい。あるいは、画像読取装置及び画像形成装置がインタフェース45に接続され、画像読取装置で読み取った画像に限定色化の処理を行い、画像形成装置で形成するように構成してもよい。
もちろん、部分的にハードウェアによって構成することもできるし、全部をハードウェアで構成してもよい。あるいは、他の構成とともに本発明の各実施の形態で説明した機能の全部または部分的に含めたプログラムとして構成してもよい。例えば複写機などの画像読取装置や画像形成装置を含む装置において制御プログラムとともに1つのプログラムとして構成し、あるいはプリンタなどの画像形成装置を含む装置において制御プログラムとともに1つのプログラムとして構成してもよい。もちろん、他の用途に適用する場合には、その用途におけるプログラムと一体化してもよい。
11…色抽出部、12…同属性評価値算出部、13…異属性評価値算出部、14…抽出色削除部、15…判定部、16…色置換部、17…類似色削除部、21…プログラム、22…コンピュータ、31…光磁気ディスク、32…光ディスク、33…磁気ディスク、34…メモリ、41…CPU、42…内部メモリ、43…読取部、44…ハードディスク、45…インタフェース、46…通信部。

Claims (8)

  1. 処理対象画像中で多くの画素で使用されている色を平坦色とし前記処理対象画像中で特徴的な色を特徴色としてそれぞれ抽出する色抽出手段と、前記特徴色同士の組み合わせ及び前記平坦色同士の組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の同属性評価値とする同属性評価値算出手段と、前記特徴色と前記平坦色との組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の異属性評価値とする異属性評価値算出手段と、前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に基づいて削除する抽出色削除手段を有し、前記抽出色削除手段は、前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい色から前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ削除することを特徴とする画像処理装置。
  2. 処理対象画像中で多くの画素で使用されている色を平坦色とし前記処理対象画像中で特徴的な色を特徴色としてそれぞれ抽出する色抽出手段と、前記特徴色同士の組み合わせ及び前記平坦色同士の組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の同属性評価値とする同属性評価値算出手段と、前記特徴色と前記平坦色との組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の異属性評価値とする異属性評価値算出手段と、前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に基づいて削除する抽出色削除手段を有し、前記抽出色削除手段は、前記平坦色について前記同属性評価値算出手段で算出した同属性評価値と予め設定されている閾値とを比較し、評価値が閾値以下の平坦色が存在する場合には、前記平坦色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい前記平坦色から削除を行い、評価値が閾値以下の平坦色が存在しない場合には、前記平坦色及び特徴色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい特徴色から削除を行うことを特徴とする画像処理装置。
  3. 処理対象画像中で多くの画素で使用されている色を平坦色とし前記処理対象画像中で特徴的な色を特徴色としてそれぞれ抽出する色抽出手段と、前記特徴色同士の組み合わせ及び前記平坦色同士の組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の同属性評価値とする同属性評価値算出手段と、前記特徴色と前記平坦色との組み合わせについて少なくとも色の違いをもとにした評価値を算出しそれぞれの色について得られた評価値のうちの最小値を当該色の異属性評価値とする異属性評価値算出手段と、前記色抽出手段で抽出された色のうち予め設定されている個数を超える色数だけ前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に基づいて削除する抽出色削除手段を有し、前記抽出色削除手段は、前記特徴色について前記同属性評価値算出手段で算出した同属性評価値と予め設定されている閾値とを比較し、評価値が閾値以下の特徴色が存在する場合には、前記特徴色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい前記特徴色から削除を行い、評価値が閾値以下の特徴色が存在しない場合には、前記平坦色及び特徴色について前記同属性評価値算出手段で算出した同属性評価値と前記異属性評価値算出手段で算出した異属性評価値に対して重み付けして加算して総合評価値を求め、該総合評価値が小さい平坦色から削除を行うことを特徴とする画像処理装置。
  4. 前記色抽出手段は、抽出した色のうち、予め設定されている範囲内に特徴色と平坦色が存在する場合に、該特徴色と該平坦色のあらかじめ決めておいた一方を削除することを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
  5. 前記色抽出手段は、抽出した色のうち、予め設定されている範囲内に特徴色と平坦色が存在する場合に、該特徴色の頻度と該平坦色の頻度からあらかじめ設定した評価関数により得られた評価値に従って特徴色と平坦色のいずれかを削除することを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
  6. さらに、利用者によりあらかじめ行われた設定により特徴色と平坦色のいずれを優先して残すかを判定する判定手段を有し、前記抽出色削除手段は、前記判定手段の判定結果に従って色抽出手段で抽出された色の削除を行うことを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。
  7. さらに、特徴色と平坦色のいずれを優先して残すかを前記処理対象画像の文字部分または非地肌領域の画素数により判定を行う判定手段を有し、前記抽出色削除手段は、前記判定手段の判定結果に従って色抽出手段で抽出された色の削除を行うことを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。
  8. コンピュータに、請求項1から請求項7のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。
JP2009067017A 2009-03-18 2009-03-18 画像処理装置および画像処理プログラム Expired - Fee Related JP4748333B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009067017A JP4748333B2 (ja) 2009-03-18 2009-03-18 画像処理装置および画像処理プログラム
US12/548,048 US8452085B2 (en) 2009-03-18 2009-08-26 Image processing apparatus, image processing method and computer readable medium for color extraction and deletion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009067017A JP4748333B2 (ja) 2009-03-18 2009-03-18 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2010220113A JP2010220113A (ja) 2010-09-30
JP4748333B2 true JP4748333B2 (ja) 2011-08-17

Family

ID=42737664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009067017A Expired - Fee Related JP4748333B2 (ja) 2009-03-18 2009-03-18 画像処理装置および画像処理プログラム

Country Status (2)

Country Link
US (1) US8452085B2 (ja)
JP (1) JP4748333B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5393574B2 (ja) * 2010-04-08 2014-01-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5595151B2 (ja) 2010-07-13 2014-09-24 キヤノン株式会社 画像処理装置、画像処理装置における圧縮方法、および、プログラム
JP5643574B2 (ja) 2010-08-26 2014-12-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP5206890B1 (ja) * 2012-03-23 2013-06-12 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05159050A (ja) 1991-12-09 1993-06-25 Hitachi Ltd 代表色選択方法
JP3088063B2 (ja) * 1994-10-25 2000-09-18 富士通株式会社 カラー画像処理方法及びカラー画像処理装置
JPH09127924A (ja) 1995-11-06 1997-05-16 Matsushita Electric Ind Co Ltd 画像減色表示方法
US6518981B2 (en) * 1997-11-12 2003-02-11 Canon Kabushiki Kaisha Generating and using a color palette
JP2002127393A (ja) * 2000-10-23 2002-05-08 Canon Inc 記録システムおよび記録方法
EP1355484B1 (en) * 2002-04-17 2017-03-01 Canon Kabushiki Kaisha Image compression method and apparatus, and image coding method and apparatus
JP2004246644A (ja) * 2003-02-14 2004-09-02 Pentax Corp 画像処理装置、画像処理方法および画像処理プログラム
EP1627332A2 (en) * 2003-04-23 2006-02-22 PolyOne Corporation Digitally mapped formulaic color space and method of making and using same
JP4248947B2 (ja) * 2003-06-11 2009-04-02 グローリー株式会社 画像減色装置、画像減色方法および画像減色プログラム
JP4631749B2 (ja) * 2006-03-03 2011-02-16 富士ゼロックス株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4835865B2 (ja) 2006-08-08 2011-12-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8189236B2 (en) * 2007-05-24 2012-05-29 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method and computer-readable medium
JP4993093B2 (ja) * 2007-05-31 2012-08-08 富士ゼロックス株式会社 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
US8452085B2 (en) 2013-05-28
JP2010220113A (ja) 2010-09-30
US20100239161A1 (en) 2010-09-23

Similar Documents

Publication Publication Date Title
JP4993093B2 (ja) 画像処理装置および画像処理プログラム
JP6440303B2 (ja) 対象認識装置、対象認識方法、およびプログラム
JP4745830B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP4748333B2 (ja) 画像処理装置および画像処理プログラム
JPWO2007063705A1 (ja) パターン認識装置、パターン認識方法、およびパターン認識プログラム
JP2005190474A5 (ja)
JP2008028717A (ja) 画像処理装置および方法、プログラム
CN107292315B (zh) 基于多尺度ltp特征的隐写分析方法和隐写分析装置
JP4831255B2 (ja) 画像識別子抽出装置
KR20070008210A (ko) 유해 멀티미디어 정보 차단 방법 및 장치
US8744179B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium that utilizes representative colors
JP5725276B2 (ja) 二値化処理装置、画像処理装置、二値化処理プログラム、画像処理プログラム
WO2023078264A1 (zh) 一种名片信息抽取系统训练方法及装置、计算机可读存储介质
Tang et al. Detection of various image operations based on CNN
JP4569785B2 (ja) 二値化装置及び二値化処理プログラム
JP4771087B2 (ja) 画像処理装置及び画像処理プログラム
JP5182523B2 (ja) 画像処理装置及び画像処理プログラム
JP5854210B2 (ja) 画像処理装置および画像処理プログラム
CN111127288B (zh) 可逆图像水印处理方法、装置及计算机可读存储介质
CN112434547B (zh) 一种用户身份稽核方法和设备
CN103426146A (zh) 图像处理设备、图像处理方法以及程序
JP6091400B2 (ja) 画像処理装置
JP2010224612A (ja) 画像処理装置、画像読取装置、画像形成装置及びプログラム
US9082197B2 (en) Local image translating method and terminal with touch screen
JP5110248B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110503

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees