JP4057223B2 - デジタル画像の二値化しきい値選択方法 - Google Patents

デジタル画像の二値化しきい値選択方法 Download PDF

Info

Publication number
JP4057223B2
JP4057223B2 JP2000197691A JP2000197691A JP4057223B2 JP 4057223 B2 JP4057223 B2 JP 4057223B2 JP 2000197691 A JP2000197691 A JP 2000197691A JP 2000197691 A JP2000197691 A JP 2000197691A JP 4057223 B2 JP4057223 B2 JP 4057223B2
Authority
JP
Japan
Prior art keywords
value
digital image
threshold
binarization
fixed threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000197691A
Other languages
English (en)
Other versions
JP2002016801A (ja
Inventor
和也 竹村
鉄也 水野
志保 児島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2000197691A priority Critical patent/JP4057223B2/ja
Publication of JP2002016801A publication Critical patent/JP2002016801A/ja
Application granted granted Critical
Publication of JP4057223B2 publication Critical patent/JP4057223B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル画像の二値化しきい値選択方法に関する。
【0002】
【従来の技術】
スキャナ等の画像読み取り装置により入力されるデジタル画像には、原稿の余白領域に対応する背景及びデバイス自体の色彩に対応する背景の2種類の背景並びに文字、図形及び写真の対象領域が含まれている。後者の背景は、デバイスの読み取り領域に対して原稿が小さい場合に生じ、フラットベッド型スキャナを例にとると、原稿カバーの原稿台ガラス対向面に対応する画像領域である。通常、原稿カバーの原稿台ガラス対向面は、これに対応する画像領域の濃度が最も淡くなるようにほぼ純白になっているのに対し、原稿の余白領域、すなわち紙等の素地は多少色づいている。デジタル画像から背景を切り出し、紙面上の文字、図形及び写真の対象領域を抽出するには二値化処理を行う。このような二値化処理では、前述の2種類の背景をともに背景として切り出すことができる二値化しきい値の選択が必要となる。
【0003】
従来、二値化処理に用いる固定しきい値の選択方法として、p−タイル法、判別分析法等が知られている。p−タイル法は入力画像の濃淡分布が既知である場合に適した固定しきい値の選択方法である。判別分析法は濃度値のヒストグラムの谷間を検出し、その谷間の濃度値を二値化しきい値として用い、入力画像の濃淡分布が未知である場合にも適用できる固定しきい値の選択方法である。
【0004】
【発明が解決しようとする課題】
しかし、p−タイル法は、入力画像の濃淡分布に共通の特徴がない場合、有効な二値化しきい値を選択することができない。また、判別分析法によると、濃度値のヒストグラムに互いに判別することが困難な複数の谷間がある場合、有効な二値化しきい値を選択することができない。したがって、p−タイル法及び判別分析法によると、前述の2種類の背景が存在するデジタル画像の二値化処理に用いる適切なしきい値を選択することができない場合があった。特に新聞紙や淡色の色紙に文字、図形及び写真が記載された原稿については、多くの場合、原稿余白部分が読み取り対象領域として抽出されていた。
また、場所によってしきい値を変える動的しきい値処理によると、処理時間が長くなり、また二値画像にノイズを含みやすいという問題があった。
【0005】
本発明は、これらの問題を解決するためになされたものであって、原稿の余白領域に対応する背景と、デバイス自体の色彩に対応する背景とをデジタル画像から切り出す二値化処理に最適なしきい値を選択するデジタル画像の二値化しきい値選択方法及び二値化しきい値選択プログラムを記録した記録媒体を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明の請求項1記載のデジタル画像の二値化しきい値選択方法及び請求項4記載の二値化しきい値選択プログラムによると、デジタル画像の輝度値の度数分布を求め、輝度値が0以上かつ第一固定しきい値以下の第一区間の累積度数をXとし、輝度値が第二固定しきい値以上かつ第一固定しきい値以下の第二区間の累積度数をYとするとき、Y/Xが第三固定しきい値より大きいか否かを判別することにより、原稿の余白領域の色彩に応じたしきい値の選択が必要か否かを判別する。適切な第一、第二及び第三固定値を設定することにより、Y/Xが第三固定しきい値より大きい場合、前記第二区間の最頻値近傍の輝度値を有する画像領域を原稿の余白領域として判別することができる。したがって、第二区間の最頻値から所定値を減じた値を二値化しきい値として選択することにより、原稿の余白領域に対応する背景とデバイス自体の色彩に対応する背景とをデジタル画像から切り出す二値化処理に最適なしきい値を選択することができる。尚、第二区間の最頻値から固定値を減じた値を二値化しきい値として選択することにより、処理時間を短縮し、また、輝度値の複雑な度数多角形を形成する画像に対しても常に最適なしきい値を選択することができる。尚、本明細書において輝度値とは画素の濃淡を表すスカラー量である。輝度値は画素が淡い色であるほどすなわち白色に近づくほど大きな値となり、画素が濃い色であるほどすなわち黒色に近づくほど小さな値となる。
【0007】
Y/Xが第三固定しきい値より小さい場合、第二区間の輝度値を有する画像領域には同等の輝度値を有する広い画像領域がないことから、第一区間より輝度値の高い画像領域に原稿の余白領域が存在し、或いは原稿に余白領域がないことが判別される。したがって、本発明の請求項2記載のデジタル画像の二値化しきい値選択方法及び請求項5記載の二値化しきい値選択プログラムでは、Y/Xが第三固定しきい値以下である場合に前記第一固定しきい値を二値化しきい値として選択し、原稿の余白領域に対応する背景とデバイス自体の色彩に対応する背景とをデジタル画像から切り出す二値化処理に実験から得られる経験則によって求められる第一固定しきい値を用いることとしている。
【0008】
本発明の請求項3記載のデジタル画像の二値化しきい値選択方法及び請求項7記載の二値化しきい値選択プログラムによると、256階調のデジタル画像に対し前記第二固定しきい値を160とする。この値は、種々の紙を読み取ったデジタル画像の輝度値の度数分布を解析することにより得た値である。第二固定しきい値を160とすることにより、読み取り対象となるほとんど全ての原稿について適切なしきい値を選択して正確な二値化処理を実施することができ、例えば比較的素地の色の濃い新聞等に対しても正確な二値化処理を実施することができる。
【0009】
本発明の請求項4記載のデジタル画像の二値化しきい値選択方法及び請求項8記載の二値化しきい値選択プログラムによると、256階調のデジタル画像に対し前記所定値を30とする。この値は、種々の原稿を読み取ったデジタル画像の輝度値の度数分布を解析することにより得た値である。所定値を30とすることにより、読み取り対象となるほとんど全ての原稿について適切なしきい値を選択して正確な二値化処理を実施することができ、例えば素地に色むらのある紙に印刷された原稿に対しても正確な二値化処理を実施することができる。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態を示す一実施例を図面に基づき説明する。図1に本発明の一実施例によるデジタル画像の二値化しきい値選択方法のフローチャートを示す。この方法はコンピュータにより二値化しきい値選択プログラムを実行することによって実施される。本実施例においてデジタル画像は各画素がR(赤)、G(緑)、B(青)の各色成分について0〜255までの256の階調値を有するものとする。
【0011】
はじめに、二値化処理の対象となるデジタル画像の全画素についてコンピュータを用いた次式の演算により輝度値Yを求め、輝度値の度数分布を求める。尚、次式においてR、G、Bは色成分の階調値を表すものとする。
Y=0.30R+0.59G+0.11B
【0012】
次に、処理装置を用いた演算により輝度値0以上200以下の累積度数F0 200、輝度値160以上200以下の累積度数F160 200を求め、次式を満たすか否かを判別する。
160 200/F0 200>0.4
この段階により、二値化しきい値として予め決められた固定値を選択するか、或いは演算によって求める固定値を選択するかを決定する。
【0013】
第一固定しきい値としての輝度値200は、読み取り領域に現れるスキャナ自体の色彩に対応する画素の輝度値を解析する実験を種々のスキャナに対して実施し、実用上最も正確に二値化処理を行うことができるように定めたものである。尚、実験結果によると、読み取り領域に現れるスキャナ自体の色彩に対応する画素の輝度値が200を下回るスキャナは見あたらなかった。第二固定しきい値としての輝度値160は、原稿の余白領域に対応する画素の輝度値を検査する実験を種々の原稿に対して実施し、実用上最も正確に二値化処理を行うことができるように定めたものである。尚、実験結果によると、原稿の余白領域に対応する画素の輝度値が160を下回る原稿は見あたらなかった。第三固定しきい値としての0.4は、余白部分の輝度値が160〜200になる種々の原稿を読み取って解析し、実用上最も正確に二値化処理を行うことができるように定めたものである。
【0014】
尚、第一、第二及び第三固定しきい値は本実施例で定める値に限定されるものではない。例えば、デジタル画像の階調が2分の1であればしきい値もそれぞれ2分の1に定め、階調が2倍であればしきい値も2倍にすることにより本実施例と同等の正確さで二値化しきい値を選択することができる。また、正確な二値化処理のできる範囲をどの程度に定めるかによって、第一、第二及び第三固定しきい値として設定すべき値が変動する。本実施例で採用した値を第一、第二及び第三固定しきい値として設定する場合、例えばアメリカ合衆国で発行されている比較的色の濃い紙に印刷されている新聞をスキャナで読んだ場合にも正確に背景領域を切り出し、文字、図形及び写真の対象領域を抽出することができる。
【0015】
(1)F160 200/F0 200>0.4である場合
処理装置を用いた演算により輝度値160〜200の区間における最頻値Ymaxを求める。この段階において、原稿の余白部分の輝度値がYmaxの近傍にあることが検出される。
次に処理装置を用いた次式の演算により選択すべき二値化しきい値Tを求める。この段階により、二値化処理で用いるしきい値として原稿の紙の色に応じた値が原稿ごとに選択される。
T=Ymax−30
所定値としての30は余白部分の輝度値のばらつきを考慮した値であって、実験により種々の原稿を読み取った画像データを解析することにより求めた値である。
【0016】
(2)F160 200/F0 200≦0.4である場合
二値化しきい値TをT=200とする。この段階により、二値化しきい値として予め決められた固定値が選択される。
【0017】
以上、本発明の一実施例によるデジタル画像の二値化しきい値選択方法を説明した。以下、フラットベッド型スキャナとパーソナルコンピュータ(以下、PCという。)とを備える画像処理システムにおいて、上記実施例によるデジタル画像の二値化しきい値選択方法を用いた対象領域の抽出処理の一例を説明する。
【0018】
画像処理システムは図2に示すようにフラットベッド型スキャナ20とPC10とから構成する。PC10はモニタ11、本体12及びキーボード13から構成されている。本体12には処理装置14、主記憶装置15、ハードディスク装置16及びフレキシブルディスク装置17が設けられ互いにバス接続されている。ハードディスク装置16にはフレキシブルディスク装置17から転送された二値化しきい値選択プログラム及び二値化処理プログラムを含むスキャナドライバプログラムが格納されている。フラットベッド型スキャナ20は透明な原稿台ガラス22が設けられている本体23と原稿カバー21とからなる。原稿カバー21は本体に揺動自在に支持されている。原稿カバー21の原稿台ガラス22対向面は白色のアクリル板で覆われている。
【0019】
原稿台ガラス22に原稿をセットし、スキャナドライバプログラムを実行して原稿を走査すると画像データがスキャナ20から主記憶装置15に転送される。二値化処理にあたっては、処理時間短縮のため、例えば30dpi(dot per inch)程度で低解像度のプレスキャンを行い、プレスキャンの結果得られる画像データを用いて二値化処理を実行することが望ましい。二値化しきい値選択プログラムが実行されると、主記憶装置15に格納された画像データに対し、上記実施例によるデジタル画像の二値化しきい値選択方法に基づくアルゴリズムに従って二値化しきい値が選択される。二値化しきい値選択プログラムの実行が終了し、二値化処理プログラムの実行に移行すると、二値化しきい値選択プログラムによって選択された二値化しきい値より輝度値の大きい画素には値1、輝度値の小さい画素には値0が与えられ、これらの1、0の値を用いて背景領域と対象領域との判別が行われる。
【0020】
原稿24が新聞紙の切り抜きである場合、すなわち紙が多少色づいている原稿の場合、主記憶装置15に格納される画像データはおよそ図3に示すような輝度値ヒストグラムを形成する。輝度値が200より大きい区間にある山は、原稿台ガラス22の原稿24に覆われていない領域を覆っている原稿カバー21の白色のアクリル板に対応する画素の集合を示している。輝度値が160〜200の第二区間にある山は、原稿24の余白に対応している画素の集合を示している。輝度値が160未満の区間にある画素の分布は原稿24に記載されている文字、図形及び写真に対応している画素の集合を示している。このヒストグラムを形成する原稿の場合、第一区間にある画素の総数に対する第二区間にある画素の総数の割合が40%を超えているため、二値化しきい値選択プログラムは第二区間の最頻値から二値化しきい値を求めるサブルーチンに分岐し、第二区間の最頻値から30を減じた値を二値化しきい値として選択する。
【0021】
原稿24が白色の上質コート紙に印刷されたパンフレットである場合、すなわち紙がほぼ純白の原稿である場合、主記憶装置15に格納される画像データはおよそ図4に示すような輝度値ヒストグラムを形成する。輝度値が200より大きい区間にある山は、原稿台ガラス22の原稿24に覆われていない領域を覆っている原稿カバー21の白色のアクリル板、または原稿24の余白に対応している画素の集合を示している。輝度値が200未満の区間にある画素の分布は原稿24に記載されている文字、図形及び写真に対応している画素の集合を示している。このヒストグラムを形成する原稿の場合、第一区間にある画素の総数に対する第二区間にある画素の総数の割合が40%以下であるため、二値化しきい値選択プログラムは第一固定しきい値を二値化しきい値として選択するサブルーチンに分岐し、第一固定しきい値である輝度値200を二値化しきい値として選択する。
【0022】
本発明の一実施例によるデジタル画像の二値化しきい値選択方法によると、新聞紙、再生紙、薄い色の色紙のように紙が多少色づいた原稿に対して適切な二値化しきい値を選択することができる。また、白色の上質コート紙のように紙が純白に近い原稿に対しては予め決められた固定しきい値を用いることにより二値化しきい値の選択時間を短縮している。また、原稿に応じて二値化しきい値を変更する際、最頻値近傍の度数分布の解析によってヒストグラムの谷を検出する処理によって二値化しきい値を選択することなしに最頻値から固定値を減じた値を二値化しきい値として選択しているため、ヒストグラムが複雑な形状を呈し、ヒストグラムの谷間が判別しにくい原稿に対しても適切な二値化しきい値を確実に選択することができる。
【図面の簡単な説明】
【図1】本発明の一実施例によるデジタル画像の二値化しきい値選択方法を示すフローチャートである。
【図2】本発明の一実施例によるデジタル画像の二値化しきい値選択方法を実施する画像処理システムを示す模式図である。
【図3】新聞紙を走査したときに得られる画像データの輝度値ヒストグラムである。
【図4】白色の上質コート紙に印刷されたパンフレットを走査したときに得られる画像データの輝度値ヒストグラムである。
【符号の説明】
10 パーソナルコンピュータ
11 モニタ
12 本体
13 キーボード
14 処理装置
15 主記憶装置
16 ハードディスク装置
17 フレキシブルディスク装置
20 フラットベッド型スキャナ
21 原稿カバー
22 原稿台ガラス
23 本体
24 原稿

Claims (8)

  1. デジタル画像の輝度値の度数分布を求める段階と、
    輝度値が0以上かつ第一固定しきい値以下の第一区間の累積度数をXとし、輝度値が第二固定しきい値以上かつ第一固定しきい値以下の第二区間の累積度数をYとするとき、Y/Xが第三固定しきい値より大きいか否かを判別する段階と、Y/Xが第三固定しきい値より大きい場合に前記第二区間の最頻値から所定値を減じた値を二値化しきい値として選択する段階と、
    を含むことを特徴とするデジタル画像の二値化しきい値選択方法。
  2. Y/Xが第三固定しきい値以下である場合に前記第一固定しきい値を二値化しきい値として選択する段階をさらに含むことを特徴とする請求項1記載のデジタル画像の二値化しきい値選択方法。
  3. 256階調のデジタル画像に対し前記第二固定しきい値を160とすることを特徴とする請求項1または2記載のデジタル画像の二値化しきい値選択方法。
  4. 256階調のデジタル画像に対し前記所定値を30とすることを特徴とする請求項1、2または3記載のデジタル画像の二値化しきい値選択方法。
  5. デジタル画像の輝度値の度数分布を求める手順と、
    輝度値が0以上かつ第一固定しきい値以下の第一区間の累積度数をXとし、輝度値が第二固定しきい値以上かつ第一固定しきい値以下の第二区間の累積度数をYとするとき、Y/Xが第三固定しきい値より大きいか否かを判別する手順と、
    Y/Xが第三固定しきい値より大きい場合に前記第二区間の最頻値から所定値を減じた値を二値化しきい値として選択する手順と、
    をコンピュータに実行させることを特徴とする二値化しきい値選択プログラムを記録した記録媒体。
  6. 前記二値化しきい値選択プログラムは、Y/Xが第三固定しきい値以下である場合に前記第一固定しきい値を二値化しきい値として選択する手順をコンピュータに実行させることを特徴とする請求項5記載の記録媒体。
  7. 前記二値化しきい値選択プログラムは、256階調のデジタル画像に対し前記第二固定しきい値を160としていることを特徴とする請求項5または6記載の記録媒体。
  8. 前記二値化しきい値選択プログラムは、256階調のデジタル画像に対し前記所定値を30としていることを特徴とする請求項5、6または7記載の記録媒体。
JP2000197691A 2000-06-30 2000-06-30 デジタル画像の二値化しきい値選択方法 Expired - Fee Related JP4057223B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000197691A JP4057223B2 (ja) 2000-06-30 2000-06-30 デジタル画像の二値化しきい値選択方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000197691A JP4057223B2 (ja) 2000-06-30 2000-06-30 デジタル画像の二値化しきい値選択方法

Publications (2)

Publication Number Publication Date
JP2002016801A JP2002016801A (ja) 2002-01-18
JP4057223B2 true JP4057223B2 (ja) 2008-03-05

Family

ID=18695979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000197691A Expired - Fee Related JP4057223B2 (ja) 2000-06-30 2000-06-30 デジタル画像の二値化しきい値選択方法

Country Status (1)

Country Link
JP (1) JP4057223B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302692B2 (en) 2002-05-31 2007-11-27 International Business Machines Corporation Locally providing globally consistent information to communications layers
US7426291B2 (en) 2002-07-29 2008-09-16 Seiko Epson Corporation Apparatus and method for binarizing images of negotiable instruments using a binarization method chosen based on an image of a partial area
JP5567421B2 (ja) * 2010-07-26 2014-08-06 株式会社セイコーアイ・インフォテック 画像読取装置、画像形成装置
JP6848290B2 (ja) * 2016-09-20 2021-03-24 コニカミノルタ株式会社 画像形成装置およびプログラム
JP6905210B2 (ja) * 2017-07-05 2021-07-21 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Also Published As

Publication number Publication date
JP2002016801A (ja) 2002-01-18

Similar Documents

Publication Publication Date Title
US6628833B1 (en) Image processing apparatus, image processing method, and recording medium with image processing program to process image according to input image
JP4926568B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8139849B2 (en) Image processing apparatus, image processing method, and image processing program
US6227725B1 (en) Text enhancement for color and gray-scale documents
EP1874032B1 (en) Image processing apparatus and image processing method
JP4471062B2 (ja) 適合画像強調フィルター及び強調画像データの生成方法
US8170275B2 (en) Determining document authenticity in a closed-loop process
JP2017175213A (ja) 原稿種認識装置、画像形成装置、原稿種認識方法およびプログラム
CN100477722C (zh) 图像处理装置、图像形成装置、图像读取处理装置及方法
CN101253760A (zh) 图像处理设备及其方法
JP4732314B2 (ja) 画像処理装置、及び画像処理方法
US8189236B2 (en) Image processing apparatus, image processing method and computer-readable medium
JP4093413B2 (ja) 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体
JP2010016628A (ja) 画像処理装置及び画像処理方法
JP2006303784A (ja) 画像読取装置及び方法
US9338310B2 (en) Image processing apparatus and computer-readable medium for determining pixel value of a target area and converting the pixel value to a specified value of a target image data
JP4057223B2 (ja) デジタル画像の二値化しきい値選択方法
JP2017175192A (ja) 画像圧縮装置、画像形成装置、画像圧縮方法およびプログラム
CN101166226B (zh) 低图像对比度区域中的图像补偿
JP3772262B2 (ja) 画像の型を識別する方法
JP3899872B2 (ja) 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
US20100021053A1 (en) Method and system for processing digital images
JP3717357B2 (ja) 2値化閾値算出方法および装置
JPH09238256A (ja) 画像処理方法及び画像処理装置
JP4257708B2 (ja) 影付き文字領域判定方法、画像処理方法、影付き文字領域判定装置、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061222

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061226

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees