JP4008093B2 - 孤立領域判定装置 - Google Patents

孤立領域判定装置 Download PDF

Info

Publication number
JP4008093B2
JP4008093B2 JP07310098A JP7310098A JP4008093B2 JP 4008093 B2 JP4008093 B2 JP 4008093B2 JP 07310098 A JP07310098 A JP 07310098A JP 7310098 A JP7310098 A JP 7310098A JP 4008093 B2 JP4008093 B2 JP 4008093B2
Authority
JP
Japan
Prior art keywords
determination
value
pixel
filter
isolated region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP07310098A
Other languages
English (en)
Other versions
JPH11250247A (ja
Inventor
尚史 成瀬
健 塩入
良文 高橋
Original Assignee
アンリツ産機システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンリツ産機システム株式会社 filed Critical アンリツ産機システム株式会社
Priority to JP07310098A priority Critical patent/JP4008093B2/ja
Publication of JPH11250247A publication Critical patent/JPH11250247A/ja
Application granted granted Critical
Publication of JP4008093B2 publication Critical patent/JP4008093B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、濃淡画像中の各画素が、近傍より濃度が高く孤立した領域である孤立領域であるか否かを判定する孤立領域判定装置に関するものであり、より詳細には、X線透過画像を用いて食品などの被測定物に混入する金属、石、ガラス等の微小異物を検出する異物検出機等に使用する、リアルタイムな画像のディジタル信号処理を行う孤立領域判定装置に関する。
【0002】
【従来の技術】
X線透過画像を用いて、被測定物への異物の混入の有無を判定する方法には、種々の画像処理手法が提案されている。X線透過画像中において異物は孤立領域とみなせる。そのため、ほとんどの手法は前記X線透過画像と、前記X線透過画像の各画素に平滑化フィルタ処理を行い平滑化した画像との差分値を算出し、前記差分値とあらかじめ定められた判定基準値とを比較し孤立領域であるか否かを判定する方法である。
【0003】
ここで、図10に平滑化フィルタに移動平均フィルタを用いた孤立領域判定装置の構成を示す。移動平均フィルタとは濃淡画像の各画素について注目画素を中心とした局所領域の領域平均値を前記注目画素の出力値とする処理であり、低域通過フィルタの一つである。移動平均フィルタは高速に処理を行えるため、リアルタイム処理が要求される場合によく使用される。
【0004】
移動平均フィルタを用いた孤立領域判定装置の動作を以下に示す。
入力端子1に入力されたX線透過画像は、平均値算出手段3で各画素について当該画素周辺の局所領域の領域平均値が計算される。この操作により平均値算出手段3から出力される画像は高周波成分が除去され、滑らかな画像になる。次に前記X線透過画像の各画素の濃度値と当該画素の前記領域平均値との差分値が差分値算出手段4により計算される。この操作により前記平均値算出手段3で除去された前記透過画像の高周波成分が抽出され、急峻な濃度変化をする孤立領域などが強調される。最後に、判定手段5で前記差分値とあらかじめ定められた判定基準値との比較を行い孤立領域であるか否かを判定し、判定結果が出力端子10から出力される。
【0005】
【発明が解決しようとする課題】
しかしながら、移動平均フィルタを用いた孤立領域判定装置は平均値を求める局所領域の大きさを大きくすると、孤立領域だけでなく、背景に含まれる被測定物のエッジなども強調してしまい、これが誤判定の要因となる。エッジなどを孤立領域と判定しないような判定基準値を設定して孤立領域の有無を判定すると、孤立領域である異物の検出感度が低下してしまうという問題がある。
【0006】
例えばエッジを強調することなく、孤立領域のみを強調するためには、孤立領域判定装置の平滑化フィルタに、注目画素を中心とした局所領域の領域中央値を前記注目画素の出力値とするメディアンフィルタ、あるいは、注目画素の周囲でエッジを含まない局所領域を探し、前記局所領域の領域平均値を前記注目画素の出力値とする選択的局所平均化、などの非線形フィルタを使用すれば良い。しかし、非線形フィルタは移動平均フィルタなどの線形フィルタに比べ処理が複雑になり、処理時間が長くなることが多い。
【0007】
本発明は、以上のような問題点を解決するためになされたもので、移動平均フィルタを用いた孤立領域判定装置とほぼ同等の処理時間で、エッジなどの影響による誤判定のない孤立領域判定が行える、高感度な孤立領域判定装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
本発明の孤立領域判定装置は、濃淡画像の注目画素の周辺の局所領域の画素の濃度値に所定の係数行列を用いて積和演算を行って第1のフィルタ出力値を算出する第1のフィルタ演算手段と、前記第1のフィルタ出力値を受けて、該第1のフィルタ出力値とあらかじめ定められた第1の判定基準値とを比較して、前記注目画素が前記濃淡画像において近傍より濃度が高く孤立した領域である孤立領域であるか否かを判定する第1の判定手段と、前記第1のフィルタ出力値を受けて、該第1のフィルタ出力値と前記第1の判定基準値より小さい値にあらかじめ定められた第2の判定基準値とを比較して、前記注目画素が前記濃淡画像において近傍より濃度が高い領域である孤立領域候補であるか否かを判定する第2の判定手段と、該第2の判定手段からの判定結果と前記濃淡画像の各画素のデータを受けて、前記各画素のうち、孤立領域候補と判定された画素については、当該画素の周辺の局所領域の画素の濃度値を用いてフィルタ演算を行って第2のフィルタ出力値を算出する第2のフィルタ演算手段と、前記第2のフィルタ出力値を受けて、該第2のフィルタ出力値とあらかじめ定められた第3の判定基準値とを比較して、前記注目画素が孤立領域であるか否かを判定する第3の判定手段と、前記第1の判定手段と判定結果と前記第3の判定手段の判定結果との論理和を算出する論理和算出手段とを備え、該論理和算出手段の算出結果を、前記注目画素が孤立領域であるか否かの最終判定結果とする
【0009】
【作用】
本発明の孤立領域判定装置は、濃淡画像の注目画素の周辺の局所領域の画素の濃度値に所定の係数行列を用いて積和演算を行って第1のフィルタ出力値を算出し、前記第1のフィルタ出力値と前記第1の判定基準値とを比較して前記注目画素が孤立領域であるか否かを判定するとともに、前記第1のフィルタ出力値と前記第2の判定基準値とを比較して前記注目画素が孤立領域候補であるか否かを高速に判定することができる。その後、孤立領域候補と判定された画素についてのみ前記注目画素の周辺の局所領域の濃度値を用いてフィルタ演算を行って第2のフィルタ出力値を算出し、孤立領域候補と判定されなかった画素については所定の値を第2のフィルタ出力値として出力する。前記第2のフィルタ出力値と前記第3の判定基準値とを比較して前記注目画素が孤立領域であるか否かを判定し、その判定結果と第1の判定基準値による判定結果との論理和を求めることにより、前記第1の判定基準値で孤立領域と判定されなかった検出すべき孤立領域を孤立領域と判定することができる。
【0010】
処理時間については、例として1フレームの濃淡画像のうちの1%の画素が孤立領域候補であったとし、前記第2のフィルタ演算手段が前記第1のフィルタ演算手段の5倍の処理時間であり、前記第1のフィルタ演算手段が従来の移動平均フィルタを用いたフィルタである場合について考える。このとき、本発明の孤立領域判定装置の1フレームの処理時間は判定処理などの時間を無視できるとすると,従来の移動平均フィルタを用いた孤立領域判定装置の、
1+1/100×5=1.05(倍)
となり、従来の移動平均フィルタを用いた孤立領域判定装置の処理時間とほとんど変わらず、高速である。
【0011】
【発明の実施の形態】
本発明の第1の実施の形態を図1を用いて説明する。
入力端子1に入力された濃淡画像は、第1のフィルタ演算手段2で各画素について当該画素周辺の局所領域の画素の濃度値に所定の係数行列を用いて積和演算を行って第1のフィルタ出力値が算出される。
【0012】
ここで移動平均フィルタを使用した第1のフィルタ演算手段2について説明する。
入力端子1に入力された濃淡画像は、平均値算出手段3で各画素について当該画素周辺の局所領域の領域平均値が計算される。次に前記濃淡画像の当該画素の濃度値と当該画素の前記領域平均値との差分値が差分値算出手段4により計算され、第1のフィルタ出力値として出力される。
【0013】
処理の例として図4に食品に異物が混入したX線透過画像を示す。図4(a)、(b)、(c)は異物、図4(d)は食品の重なり、図4(e)は食品のエッジである。図5に前記第1のフィルタ出力値により得られる濃淡画像を示す。ただし、負の値は0とし、前記濃淡画像中の最大値を255に規格化し、255を黒、0を白で表している。前記第1のフィルタ出力値は高域通過フィルタの出力値となり、図5(a)、(b)、(c)の異物、図5(d)の食品の重なり、図5(e)の食品のエッジなどのように急峻な濃度変化をする画素が強調されている。
【0014】
次に、第1の判定手段5で前記各画素について前記第1のフィルタ出力値とあらかじめ定められた第1の判定基準値とを比較して、当該画素が孤立領域であるか否かが判定され、出力される。第1の判定基準値はエッジなどが誤判定されないように設定する。また、第2の判定手段6で前記各画素について前記第1のフィルタ出力値とあらかじめ定められた第2の判定基準値とを比較して、当該画素が孤立領域候補であるか否かが判定され、出力される。第2の判定基準値によりエッジなどが誤判定されても構わない。
【0015】
第1の判定基準値の設定は、例えば異物検出機では異物の存在しない被判定画像を第1のフィルタ演算手段3で処理し、全ての画素の処理結果の値の中で最大の値に余裕をもたせた値を判定基準値に設定する方法等がある。また、第2の判定基準値の設定は、異物のみ存在する被判定画像を第1のフィルタ演算手段で処理し、異物画素の処理結果の値の中で最小の値に余裕をもたせた値を判定基準値に設定する方法等がある。
【0016】
処理の例として図6に図5の濃淡画像を第1の判定手段で孤立領域判定した画像を示す。本来は孤立領域であるか否かを判定するだけでよいが、視覚的にわかりやすいように孤立領域と判定された画素を黒とし、判定されなかった画素のうち、前記第1のフィルタ出力値が正のものを灰色とし、負のものを白とした。第1の判定基準値は誤判定されないように設定してあるため、図6(b)のように検出できない異物がある。また、図7に図5の濃淡画像を第2の判定手段で孤立領域候補判定した結果の画像を示す。図5と同様に孤立領域候補と判定された画素を黒とし、判定されなかった画素のうち、前記第1のフィルタ出力値が正のものを灰色とし、負のものを白とした。図6では検出できなかった図6(b)のような異物が図7では図7(b)のようにすべて検出できている。しかし、図7(d)のような食品の重なりや、図7(e)のような食品のエッジなどが誤判定されている。
【0017】
次に、入力端子1に入力された濃淡画像は、第2のフィルタ演算手段7で各画素について前記第2の判定手段6で孤立領域候補と判定された画素については当該画素周辺の局所領域の画素の濃度値を用いてフィルタ演算を行って第2のフィルタ出力値が算出され、第2の判定手段6で孤立領域候補と判定されなかった画素については、次に説明する第3の判定手段8で孤立領域であると判定されないような所定値が第2のフィルタ出力値として出力される。
【0018】
ここで、第2のフィルタ演算手段7の一例としてメディアンフィルタを使用したフィルタの構成を図2に示す。
入力端子11に入力された濃淡画像は、各画素について入力端子12に入力される第2の判定手段6で判定された孤立領域候補の判定結果を受けて、前記第2の判定手段6で孤立領域候補と判定された画素については選択手段13で13aの経路に送られ、中央値算出手段14で当該画素周辺の局所領域の領域中央値が計算される。次に前記濃淡画像の当該画素の濃度値と当該画素の前記領域中央値との差分値が差分値算出手段15で計算され、第2のフィルタ出力値として出力端子17に出力される。前記第2の判定手段で孤立領域と判定されなかった画素については選択手段13で13bの経路に送られ、零値出力手段16で0が出力され、出力端子17に出力される。0は次で説明する第3の判定手段8で孤立領域と判定されないような値の具体例である。
【0019】
処理の例として図8に図4のX線透過画像をフィルタ入力端子11に入力し、図7の異物候補判定結果を入力端子12に入力したときの前記第2のフィルタ出力値により得られる濃淡画像を示す。ただし、負の値は0とし、前記濃淡画像中の最大値を255に規格化し、255を黒、0を白で表している。前記第2のフィルタ出力値は図5の第1のフィルタ出力値による濃淡画像と比較すると、図8(a)、(b)のような異物は同じように強調されているが、図8(e)のような食品のエッジなどは強調されていないことがわかる。
【0020】
次に第3の判定手段8で前記第2のフィルタ出力値とあらかじめ定められた第3の判定基準値とを比較して、当該画素が孤立領域であるか否かが判定され、出力される。
第3の判定基準値は、例えば異物検出機では異物の存在しない被判定画像を第2のフィルタ演算手段7で処理し、全ての画素の処理結果の値の中で最大の値に余裕をもたせた値を判定基準値に設定する方法等がある。
【0021】
処理の例として図9に図8の濃淡画像を第3の判定手段8で孤立領域判定した結果の画像を示す。孤立領域と判定された画素を黒とし、判定されなかった画素のうち、前記第2のフィルタ出力値が正のものを灰色とし、負のものを白とした。図6の第1の判定手段5で検出することのできなかった図6(b)の異物が図9(b)のように検出できている。しかし、第1の判定手段5で検出できた図6(c)の異物は図9(c)のように検出できなくなっている。
【0022】
最後に論理和算出手段9で各画素について前記第1の判定手段5の孤立領域判定結果と前記第3の判定手段8の孤立領域判定結果の論理和が算出され、出力端子10に出力される。第1の判定手段5と第3の判定手段8のどちらか一方でも孤立領域と判定された画素が孤立領域と判定されるため、一つの判定手段で孤立領域判定を行うのに比べ、孤立領域の判定感度が向上する。
【0023】
本発明の第2の実施の形態を図3を用いて説明する。
第1の実施の形態との相違点は第2の判定手段6の孤立領域候補の判定結果が第2のフィルタ演算部7だけでなく、第3の判定手段8および論理和算出手段9にも送られることである。前記第2の判定手段6で孤立領域候補と判定された画素については当該画素の周辺の局所領域の画素の濃度値を用いてフィルタ演算を行って第2のフィルタ出力値が算出され、第3の判定手段8で前記第2のフィルタ出力値とあらかじめ定められた第3の判定基準値とを比較して、当該画素が孤立領域であるか否かが判定され、論理和算出手段9で前記第1の判定手段5の孤立領域判定結果と前記第3の孤立領域判定結果との論理和が算出され、出力端子10に出力される。前記第2の判定手段6で孤立領域と判定されなかった画素については第2のフィルタ演算部および第3の判定手段8では処理を行う必要はなく、論理和算出部9で前記第1の判定手段5での判定結果がそのまま出力され、出力端子10に出力される。
【0024】
上記の説明では移動平均フィルタを使用した第1のフィルタ演算手段について説明したが、すべての孤立領域を強調し、高速に演算を行うことができるフィルタであれば同様に実現できる。単純な移動平均フィルタは平均値算出を高速に行うアルゴリズムが知られているため、畳み込み演算を行う通常の線形フィルタよりも高速に演算を行うことができる。
【0025】
また、上記の説明ではメディアンフィルタを使用した第2のフィルタ演算手段について説明したが、孤立領域を強調するようなフィルタであれば同様に実現できる。例えば、モルフォロジー演算による孤立領域抽出フィルタとして、トップハット変換や輪なげフィルタ(Quoitフィルタ)などがある。第1のフィルタ演算手段のフィルタ演算を行う係数行列を変えたフィルタでも第1のフィルタ演算手段とフィルタ特性が異なるため、該フィルタを第2のフィルタ演算手段に使用しても、孤立領域の判定感度を向上させることができる。
【0026】
【発明の効果】
本発明によれば、濃淡画像の各画素について、高速な第1のフィルタ演算手段により算出される第1のフィルタ出力値とあらかじめ定められた第1の判定基準値とを比較して、孤立領域であるか否かを判定するとともに、前記第1のフィルタ出力値とあらかじめ定められた第2の判定基準値とを比較して孤立領域候補であるか否かを判定し、孤立領域候補と判定された画素についてのみ第2のフィルタ演算手段により第2のフィルタ出力値を算出し、前記第2のフィルタ出力値とあらかじめ定められた第3の判定基準値とを比較して、孤立領域であるか否かを判定し、第1の判定基準値と第3の判定基準値のどちらか一方でも孤立領域と判定された画素を孤立領域と判定することとしたから、従来の移動平均フィルタを用いた孤立領域判定装置と同様に処理が高速で、感度についてはより高感度な孤立領域判定装置を実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の構成を示す図である。
【図2】第2のフィルタ演算手段7の構成を示す図である。
【図3】本発明の第2の実施の形態の構成を示す図である。
【図4】異物を含んだ被測定物のX線透過画像を示す図である。
【図5】第1のフィルタ演算手段2の出力結果を示す図である。
【図6】第1の判定手段5の孤立領域の判定結果を示す図である。
【図7】第2の判定手段6の孤立領域候補の判定結果を示す図である。
【図8】第2のフィルタ演算手段7の出力結果を示す図である。
【図9】第3の判定手段8の孤立領域の判定結果を示す図である。
【図10】従来の孤立領域判定装置の概略構成図である。
【符号の説明】
1 入力端子
2 第1のフィルタ演算手段
3 平均値算出手段
4 差分値算出手段
5 第1の判定手段
6 第2の判定手段
7 第2のフィルタ演算手段
8 第3の判定手段
9 論理和算出手段
10 出力端子
11 入力端子
12 入力端子
13 選択手段
14 中央値算出手段
15 差分値算出手段
16 零値出力手段
17 出力端子

Claims (1)

  1. 濃淡画像の注目画素の周辺の局所領域の画素の濃度値に所定の係数行列を用いて積和演算を行って第1のフィルタ出力値を算出する第1のフィルタ演算手段(2)と、
    前記第1のフィルタ出力値を受けて、該第1のフィルタ出力値とあらかじめ定められた第1の判定基準値とを比較して、前記注目画素が前記濃淡画像において近傍より濃度が高く孤立した領域である孤立領域であるか否かを判定する第1の判定手段(5)と、
    前記第1のフィルタ出力値を受けて、該第1のフィルタ出力値と前記第1の判定基準値より小さい値にあらかじめ定められた第2の判定基準値とを比較して、前記注目画素が前記濃淡画像において近傍より濃度が高い領域である孤立領域候補であるか否かを判定する第2の判定手段(6)と、
    該第2の判定手段からの判定結果と前記濃淡画像の各画素のデータを受けて、前記各画素のうち、孤立領域候補と判定された画素については、当該画素の周辺の局所領域の画素の濃度値を用いてフィルタ演算を行って第2のフィルタ出力値を算出する第2のフィルタ演算手段(7)と、
    前記第2のフィルタ出力値を受けて、該第2のフィルタ出力値とあらかじめ定められた第3の判定基準値とを比較して、前記注目画素が孤立領域であるか否かを判定する第3の判定手段(8)と
    前記第1の判定手段と判定結果と前記第3の判定手段の判定結果との論理和を算出する論理和算出手段(9)とを有し、該論理和算出手段の算出結果を、前記注目画素が孤立領域であるか否かの最終判定結果とする孤立領域判定装置。
JP07310098A 1998-03-05 1998-03-05 孤立領域判定装置 Expired - Lifetime JP4008093B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07310098A JP4008093B2 (ja) 1998-03-05 1998-03-05 孤立領域判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07310098A JP4008093B2 (ja) 1998-03-05 1998-03-05 孤立領域判定装置

Publications (2)

Publication Number Publication Date
JPH11250247A JPH11250247A (ja) 1999-09-17
JP4008093B2 true JP4008093B2 (ja) 2007-11-14

Family

ID=13508579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07310098A Expired - Lifetime JP4008093B2 (ja) 1998-03-05 1998-03-05 孤立領域判定装置

Country Status (1)

Country Link
JP (1) JP4008093B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4394088B2 (ja) * 2006-05-18 2010-01-06 株式会社アクセル 画像処理装置および画像処理方法
JP4867564B2 (ja) * 2006-10-13 2012-02-01 富士ゼロックス株式会社 画像読取装置
FI121901B (fi) 2008-10-17 2011-05-31 Visidon Oy Objektien ilmaiseminen ja seuraaminen digitaalisissa kuvissa

Also Published As

Publication number Publication date
JPH11250247A (ja) 1999-09-17

Similar Documents

Publication Publication Date Title
Lashkia Defect detection in X-ray images using fuzzy reasoning
CN111833366A (zh) 一种基于Canny算法的边缘检测方法
CN114399522A (zh) 一种基于高低阈值的Canny算子的边缘检测方法
JPH06203154A (ja) 画像処理装置
US5237621A (en) Product appearance inspection methods and apparatus employing low variance filter
CN109492587B (zh) 图像处理方法及装置
JP4008093B2 (ja) 孤立領域判定装置
JPH07249128A (ja) 車両用画像処理装置
Le Négrate et al. An image enhancement technique and its evaluation through bimodality analysis
CN114693543B (zh) 图像降噪方法及装置、图像处理芯片、图像采集设备
Hossain et al. Hardware design and implementation of adaptive canny edge detection algorithm
JP3871292B2 (ja) 孤立領域強調フィルタ回路
CN114596210A (zh) 噪声估计方法、装置、终端设备及计算机可读存储介质
JP4247993B2 (ja) 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体
JP4253265B2 (ja) 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム
JPH04220885A (ja) 背景除去方法及びその実施装置
Nema et al. Edge detection operators on digital image
JP3779741B2 (ja) 文字画像の2値化方法
JP4230960B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JPH10208037A (ja) 目標検出装置
JP2940254B2 (ja) エッジ・領域検出方法及び装置
JP3091356B2 (ja) 移動体検出方法および装置
JPH05165963A (ja) 画像輪郭抽出
Singh et al. Robust edge detector using back propagation neural network with multi-thresholding
JP2798216B2 (ja) 文字列検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130907

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term