JP3576924B2 - 照合装置および方法 - Google Patents

照合装置および方法 Download PDF

Info

Publication number
JP3576924B2
JP3576924B2 JP2000137232A JP2000137232A JP3576924B2 JP 3576924 B2 JP3576924 B2 JP 3576924B2 JP 2000137232 A JP2000137232 A JP 2000137232A JP 2000137232 A JP2000137232 A JP 2000137232A JP 3576924 B2 JP3576924 B2 JP 3576924B2
Authority
JP
Japan
Prior art keywords
image
input
unit
fingerprint
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000137232A
Other languages
English (en)
Other versions
JP2001319233A (ja
Inventor
弘和 伊原
昌紀 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Software Chubu Ltd
Original Assignee
NEC Software Chubu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Software Chubu Ltd filed Critical NEC Software Chubu Ltd
Priority to JP2000137232A priority Critical patent/JP3576924B2/ja
Publication of JP2001319233A publication Critical patent/JP2001319233A/ja
Application granted granted Critical
Publication of JP3576924B2 publication Critical patent/JP3576924B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像の照合装置に関し、特に入力した画像の表面と裏面を自動反転させて照合する照合装置および方法に関する。
【0002】
【従来の技術】
犯罪は年々増加傾向にあり、遺留指紋照合の役割も大変重要視されている。
【0003】
指紋の照合では、特徴点の抽出が大変重要なポイントを占めている。指紋の照合は、機械化され自動的に特徴点を取得することも可能になっているが、遺留指紋においては不鮮明な指紋が多く、特徴点の抽出には、まだまだ熟練した遺留指紋試験官の力が不可欠である。
【0004】
採取した遺留指紋は、母印のように明確な形で残っていることは希で、ほとんどが、ミリ単位の小さな断片である。この遺留指紋を透明なプレートに貼ってしまうと、熟練した遺留指紋試験管でさえ表裏を識別するのは容易ではない。
【0005】
このため、遺留指紋試験官は、1回目の照合で十分な照合結果が得られない場合、採取した遺留指紋を裏返して再度特徴点の抽出を行って照合を行っている。
【0006】
【発明が解決しようとする課題】
しかし、上述の従来技術では、1回目の照合で十分な照合結果が得られない場合に採取した遺留指紋を裏返して再度特徴点の抽出を行って照合を行わなければならず、照合作業が煩雑で時間がかかってしまうという問題点がある。
【0007】
本発明の目的は、上述の問題点を解決するために、指紋画像を裏返したイメージに自動反転して照合する照合装置および方法を提供することにある。
【0008】
【課題を解決するための手段】
本願第1の発明の照合装置は、画像を入力する入力部と、前記入力部で入力した入力画像の特徴点を抽出して入力画像表示領域に表示する特徴点抽出部と、入力画像表示領域に表示された入力画像の指定された箇所に特徴点を設定する特徴点作成部と、前記特徴点抽出部で抽出した特徴点および前記特徴点作成部で設定した特徴点を基に前記入力画像と画像データベースに格納されている格納画像とを照合して予め定められた閾値を満足する格納画像をリストアップし、前記入力画像および前記特徴点をY軸で180度画像反転させ、反転させた画像と前記格納画像とを照合して予め定められた閾値を満足する格納画像をリストアップする画像照合部と、入力画像表示領域に表示する入力画像と候補画像表示領域に表示する候補画像との同一性を判定し同一候補画像を特定する画像特定部と、前記入力画像を入力画像表示領域に表示する入力表示部と、前記画像照合部で前記閾値を満足した格納画像を満足度の高い順に候補画像として候補画像表示領域に表示する候補表示部と、画像データを蓄積する画像データベースと、を備える。
【0009】
本願第2の発明の照合装置は、第1の発明において前記画像照合部は、前記入力画像と前記格納画像とを照合する手段と前記入力画像および前記特徴点をY軸で180度画像反転させ反転させた画像と前記格納画像とを照合する手段とを選択して照合する手段を有することを特徴とする。
【0010】
本願第3の発明の照合装置は、第1または第2の発明において前記画像が指紋画像であることを特徴とする。
【0011】
本願第4の発明の照合装置は、第1または第2の発明において前記画像が掌紋画像であることを特徴とする。
【0012】
本願第5の発明の照合方法は、画像入力部から取り込んだ入力画像を入力画像表示領域に表示し、前記入力画像の特徴点を抽出し、前記入力画像に対して指定された箇所に特徴点を設定し、前記抽出した特徴点および前記設定した特徴点を基に前記入力画像と画像データベースに格納されている格納画像データとを照合して予め定められた閾値を満足した格納画像データを候補としてリストアップし、前記入力画像および前記特徴点をY軸で180度画像反転させ、反転させた画像と前記格納画像とを照合して予め定められた閾値を満足する格納画像をリストアップし、前記閾値を満足した格納画像を満足度の高い順に候補画像として候補画像表示領域に表示し、前記入力画像表示領域に表示する入力画像と同一である候補画像を特定する、ことを特徴とする
【0013】
本願第6の発明の照合方法は、第5の発明において前記入力画像と前記格納画像とを照合する場合に、前記入力画像と前記格納画像とを照合することと前記入力画像および前記特徴点をY軸で180度画像反転させ反転させた画像と前記格納画像とを照合することとを選択して照合することを特徴とする。
【0014】
本願第7の発明の照合方法は、第5または第6の発明において前記画像が指紋画像であることを特徴とする。
【0015】
本願第8の発明の照合方法は、第5または第6の発明において前記画像が掌紋画像であることを特徴とする。
【0018】
【発明の実施の形態】
本発明の照合装置は、入力した画像を表裏に自動反転させ画像データベースに格納している格納画像と照合を行い同一画像を特定することを特徴としている。この自動反転照合により、煩雑な作業が解消され効率的で効果的な照合が可能となる。
【0019】
本発明の第1の実施の形態について、図面を用いて詳細に説明する。
【0020】
第1の実施の形態は、事件現場から採取した指紋(遺留指紋)の照合を行う指紋照合装置である。
【0021】
図1は、本発明の第1の実施の形態の構成を示す図である。
【0022】
図1を参照すると、指紋照合装置1は、入力部11と、特徴点抽出部12と、特徴点作成部14と、指紋照合部15と、指紋特定部16と、入力表示部17と、候補表示部18と、指紋データベース19と、から構成されている。
【0023】
入力部11は、高性能カメラなどの画像入力装置から指紋の画像を入力し、入力指紋表示領域171に表示する。
【0024】
特徴点抽出部12は、入力された指紋画像(表側)の特徴点を自動的に抽出し、入力指紋表示領域171に表示する。特徴点とは、指紋の紋様を描いている線(隆線)の端点および分岐点のことである。
【0025】
特徴点作成部14は、入力指紋表示領域171に表示された指紋画像(表側)に対して遺留指紋試験官が指定した箇所に、特徴点を設定する。
【0026】
指紋照合部15は、入力された指紋の照合面の指紋画像と指紋データベース19に格納されている指紋画像とを照合し、予め定められた閾値を満足する格納指紋画像をリストアップする。入力指紋画像と格納指紋画像を照合する場合に、入力指紋画像と格納指紋画像を照合し、入力指紋画像をY軸で180度反転させた画像と格納指紋画像を照合することを自動的に行う。
【0027】
指紋特定部16は、入力指紋表示領域171に表示する入力指紋画像と候補指紋表示領域181に表示する候補指紋画像とを重ね合わせ、入力指紋画像と候補指紋画像との同一性を判定し同一候補指紋画像を特定する。同一性の判定をより容易にするために、入力指紋表示領域171に表示する指紋画像を表面にするか裏面にするかの切替部を設けてもよい。
【0028】
入力表示部17は、入力部11が入力した指紋画像を入力指紋表示領域171に表示する。入力部11にセットされた指紋の面の画像をそのまま表示する場合を表面、画像反転して表示する場合を裏面、とする。表面を表示しているのか裏面を表示しているのかを表示するようにしてもよい。
【0029】
候補表示部18は、指紋照合部15で閾値を満足した格納画像を満足度の高い順に候補画像として候補指紋表示領域181に表示する。
【0030】
指紋データベース19は、収集した指紋の画像データを蓄積している装置である。指紋データベース19は、押捺指紋あるいは/および遺留指紋の画像データを格納している。
【0031】
本発明の第1の実施の形態の動作について、図2〜図3を用いて詳細に説明する。
【0032】
図2は、本発明の第1の実施の形態の動作の流れを示す図である。
【0033】
図2を参照すると、指紋照合の動作の流れは以下のようである。
【0034】
(1)アルミニウム粉末等を利用して、現場から採取した指紋を透明なプレートのようなものに貼り付ける。
【0035】
(2)高性能カメラなどの入力部11から指紋照合装置1内に指紋画像を取り込み、入力指紋表示領域171に表示する。
【0036】
(3)取り込んだ入力指紋画像について、指紋の特徴点を自動抽出する。
【0037】
(4)自動抽出した特徴点に対し、更に特徴点を作成追加する。
【0038】
(5)上記(3)〜(4)で抽出作成した特徴点を基に、入力指紋画像と指紋データベース19に格納されている指紋画像データとの照合を行い、予め定められた閾値を満足した指紋画像データを候補としてリストアップする。
【0039】
(6)上記(3)〜(4)で抽出作成した特徴点を裏返し(すなわち、入力指紋画像をY軸で180度反転させ)、再度、指紋データベース19の指紋画像データと照合を行い、予め定められた閾値を満足した指紋画像データを候補としてリストアップする。
【0040】
(7)上記(5)〜(6)でリストアップされた候補を満足度が高い順にマージする。
【0041】
(8)候補を満足度が高い順に候補指紋表示領域181に表示し候補指紋表示領域181に表示した候補指紋画像を入力指紋表示領域171に表示する入力指紋画像と重ね合わせ入力指紋画像と候補指紋画像との同一性を判定し、入力指紋画像と同一である候補指紋画像を遺留指紋試験官が特定する。
【0042】
図3は、入力指紋表示領域の表示例を示す図であり、(a)は入力した指紋画像を表示した例、(b)は(a)で表示した指紋画像をY軸で180度反転させ表示した例、である。
【0043】
図3(a)を参照すると、入力指紋表示領域171には、入力指紋画像に重ねる形で、入力指紋の中心点を原点とした隆線31、X軸32、Y軸33、特徴点34,35および36が表示されている。特徴点34〜36は特徴点抽出部12で自動抽出し特徴点作成部14で追加設定したものである。
【0044】
図3(b)は、図3(a)で表示している入力指紋画像をY軸33方向に垂直に180度回転させたものであり、特徴点もY軸33方向に垂直に180度回転させた形で内部的に作成されることを示している。すなわち、図3(a)で表示した特徴点34,特徴点35および特徴点36は、図3(b)の特徴点37,特徴点38および特徴点39に反転移動している。
【0045】
このように、1回の作業で得られる特徴点を基にした自動反転により、遺留指紋を裏返したイメージでの特徴点の作成を自動的に行って照合を行うので、遺留指紋試験官は、事件現場から採取した指紋(遺留指紋)について表裏を意識することなく照合を行うことで、煩雑な作業が解消され、効率的で効果的な照合が可能となる。限られた数の遺留指紋試験官がより多くの遺留指紋を処理することができるという効果をもたらす。
【0046】
本発明の第2の実施の形態について、図面を用いて詳細に説明する。
【0047】
第2の実施の形態は、事件現場から採取した掌紋(遺留掌紋)の照合を行う掌紋照合装置である。
【0048】
図4は、本発明の第2の実施の形態の構成を示す図である。
【0049】
図4を参照すると、掌紋照合装置2は、入力部21と、特徴点抽出部22と、特徴点作成部24と、掌紋照合部25と、掌紋特定部26と、入力表示部27と、候補表示部28と、掌紋データベース29と、から構成されている。
【0050】
入力部21は、高性能カメラなどの画像入力装置から掌紋の画像を入力し、入力掌紋表示領域271に表示する。
【0051】
特徴点抽出部22は、入力された掌紋画像(表側)の特徴点を自動的に抽出し、入力掌紋表示領域271に表示する。特徴点とは、掌紋の紋様を描いている線(隆線)の端点および分岐点のことである。
【0052】
特徴点作成部24は、入力掌紋表示領域271に表示された掌紋画像(表側)に対して遺留掌紋試験官が指定した特徴点を設定する。
【0053】
掌紋照合部25は、入力された掌紋の照合面の掌紋画像と掌紋データベース29に格納されている掌紋画像とを照合し、予め定められた閾値を満足する格納掌紋画像をリストアップする。入力掌紋画像と格納掌紋画像を照合する場合に、入力掌紋画像と格納掌紋画像を照合し、入力掌紋画像をY軸で180度反転させた画像と格納掌紋画像を照合することを自動的に行う。
【0054】
掌紋特定部26は、入力掌紋表示領域271に表示する入力掌紋画像と候補掌紋表示領域281に表示する候補掌紋画像とを重ね合わせ、入力掌紋画像と候補掌紋画像との同一性を判定し同一候補掌紋画像を特定する。同一性の判定をより容易にするために、入力掌紋表示領域271に表示する掌紋画像を表面にするか裏面にするかの切替部を設けてもよい。
【0055】
入力表示部27は、入力部21が入力した掌紋画像を入力掌紋表示領域271に表示する。入力部21にセットされた掌紋の面の画像をそのまま表示する場合を表面、画像反転して表示する場合を裏面、とする。表面を表示しているのか裏面を表示しているのかを表示するようにしてもよい。
【0056】
候補表示部28は、掌紋照合部25で閾値を満足した格納画像を満足度の高い順に候補画像として候補掌紋表示領域281に表示する。
【0057】
掌紋データベース29は、収集した掌紋の画像データを蓄積している装置である。掌紋データベース29は、押捺掌紋あるいは/および遺留掌紋の画像データを格納している。
【0058】
第2の実施の形態の動作は、第1の実施の形態の動作と同様である。
【0059】
上述の実施の形態では、照合部は、入力画像と格納画像を照合する場合に、入力画像と格納画像を照合し入力画像をY軸で180度反転させた画像と格納画像を照合することを自動的に行うが、入力指紋画像と格納指紋画像を照合することと入力指紋画像をY軸で180度反転させた画像と格納指紋画像を照合することを選択して照合するようにしてもよい。
【0060】
また、上述の実施の形態では、入力画像をY軸で180度自動反転して照合していたが、更にX軸で180度自動反転して照合および/あるいはY軸とX軸で180度自動反転して照合するようにしてもよい。
【0061】
【発明の効果】
第1の効果は、遺留指紋試験官の作業が効率化になることである。
【0062】
その理由は、表裏と2回行っていた遺留指紋の判別を1回にすることで遺留指紋試験官の作業が半減されるからである。
【0063】
第2の効果は、早急な事件解決がはかれることである。
【0064】
その理由は、遺留指紋照合のスピードアップを図ることで、犯人の特定の手掛かりとなる情報を早急に取得することが可能となるからである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の構成を示す図
【図2】本発明の第1の実施の形態の動作の流れを示す図
【図3】入力指紋表示領域の表示例を示す図
【図4】本発明の第2の実施の形態の構成を示す図
【符号の説明】
1 指紋照合装置
2 掌紋照合装置
11 入力部
12 特徴点抽出部
14 特徴点作成部
15 指紋照合部
16 指紋特定部
17 入力表示部
18 候補表示部
19 指紋データベース
21 入力部
22 特徴点抽出部
24 特徴点作成部
25 掌紋照合部
26 掌紋特定部
27 入力表示部
28 候補表示部
29 掌紋データベース
31 隆線
32 X軸
33 Y軸
34 特徴点
35 特徴点
36 特徴点
37 特徴点
38 特徴点
39 特徴点
171 入力指紋表示領域
181 候補指紋表示領域
271 入力掌紋表示領域
281 候補掌紋表示領域

Claims (8)

  1. 画像を入力する入力部と、
    前記入力部で入力した入力画像の特徴点を抽出して入力画像表示領域に表示する特徴点抽出部と、
    入力画像表示領域に表示された入力画像の指定された箇所に特徴点を設定する特徴点作成部と、
    前記特徴点抽出部で抽出した特徴点および前記特徴点作成部で設定した特徴点を基に前記入力画像と画像データベースに格納されている格納画像とを照合して予め定められた閾値を満足する格納画像をリストアップし、前記入力画像および前記特徴点をY軸で180度画像反転させ、反転させた画像と前記格納画像とを照合して予め定められた閾値を満足する格納画像をリストアップする画像照合部と、
    入力画像表示領域に表示する入力画像と候補画像表示領域に表示する候補画像との同一性を判定し同一候補画像を特定する画像特定部と、
    前記入力画像を入力画像表示領域に表示する入力表示部と、
    前記画像照合部で前記閾値を満足した格納画像を満足度の高い順に候補画像として候補画像表示領域に表示する候補表示部と、
    画像データを蓄積する画像データベースと、
    を備える照合装置。
  2. 前記画像照合部は、前記入力画像と前記格納画像を照合する手段と前記入力画像および前記特徴点をY軸で180度画像反転させ反転させた画像と前記格納画像を照合する手段とを選択して照合する手段を有することを特徴とする請求項1記載の照合装置。
  3. 前記画像が指紋画像であることを特徴とする請求項1または請求項2記載の照合装置。
  4. 前記画像が掌紋画像であることを特徴とする請求項1または請求項2記載の照合装置。
  5. 画像入力部から取り込んだ入力画像を入力画像表示領域に表示し、
    記入力画像の特徴点を抽出し、
    前記入力画像に対して指定された箇所に特徴点を設定し
    前記抽出した特徴点および前記設定した特徴点を基に前記入力画像と画像データベースに格納されている格納画像データとを照合して予め定められた閾値を満足した格納画像データを候補としてリストアップし、
    前記入力画像および前記特徴点をY軸で180度画像反転させ、
    反転させた画像と前記格納画像とを照合して予め定められた閾値を満足する格納画像をリストアップし、
    前記閾値を満足した格納画像を満足度の高い順に候補画像として候補画像表示領域に表示し、
    前記入力画像表示領域に表示する入力画像と同一である候補画像を特定する、
    ことを特徴とする照合方法。
  6. 前記入力画像と前記格納画像とを照合する場合に、前記入力画像と前記格納画像とを照合することと前記入力画像および前記特徴点をY軸で180度画像反転させ反転させた画像と前記格納画像とを照合することとを選択して照合することを特徴とする請求項記載の照合方法。
  7. 前記画像が指紋画像であることを特徴とする請求項5または請求項6記載の照合方法。
  8. 前記画像が掌紋画像であることを特徴とする請求項5または請求項6記載の照合方法。
JP2000137232A 2000-05-10 2000-05-10 照合装置および方法 Expired - Lifetime JP3576924B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000137232A JP3576924B2 (ja) 2000-05-10 2000-05-10 照合装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000137232A JP3576924B2 (ja) 2000-05-10 2000-05-10 照合装置および方法

Publications (2)

Publication Number Publication Date
JP2001319233A JP2001319233A (ja) 2001-11-16
JP3576924B2 true JP3576924B2 (ja) 2004-10-13

Family

ID=18645036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000137232A Expired - Lifetime JP3576924B2 (ja) 2000-05-10 2000-05-10 照合装置および方法

Country Status (1)

Country Link
JP (1) JP3576924B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078117A1 (ja) * 2007-12-18 2009-06-25 Nec Corporation 指紋特徴抽出装置、指紋照合装置、皮膚紋様特徴抽出装置、皮膚紋様照合装置、指紋特徴の抽出及び照合の方法
JP2021174149A (ja) * 2020-04-22 2021-11-01 日本電気株式会社 撮像装置、検出システム、および検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61220080A (ja) * 1985-03-26 1986-09-30 Nec Corp 画像入力照合確認装置
JPH0634224B2 (ja) * 1986-03-04 1994-05-02 松下電器産業株式会社 個人識別装置
JPH0535856A (ja) * 1991-07-29 1993-02-12 Nec Corp 指紋特徴抽出装置
JPH0975329A (ja) * 1995-09-18 1997-03-25 Nisshinbo Ind Inc 指紋採取用シ−ト
JP2000339455A (ja) * 1999-05-31 2000-12-08 Nec Corp 指紋照合装置

Also Published As

Publication number Publication date
JP2001319233A (ja) 2001-11-16

Similar Documents

Publication Publication Date Title
JP2821348B2 (ja) 指紋照合装置
CN105389554A (zh) 基于人脸识别的活体判别方法和设备
JP2020137070A5 (ja)
JP2008131330A (ja) 画像表示装置および画像表示方法
Yadav et al. Fingerprint based attendance system using microcontroller and LabView
CN108959884B (zh) 人证核验装置和方法
TWI751426B (zh) 影像處理系統、影像處理方法及程式產品
TW201044286A (en) Method and system for actively detecting and recognizing placards
Wang et al. Determining the sexual identities of prehistoric cave artists using digitized handprints: a machine learning approach
CN113677409A (zh) 寻宝游戏引导技术
JP3576924B2 (ja) 照合装置および方法
JP7020567B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
Farajzadeh et al. Vehicle logo recognition using image matching and textural features
CN110457998B (zh) 影像数据关联方法和设备、数据处理设备及介质
JP3505713B2 (ja) 曲線識別システム
JP2006330872A (ja) 指紋照合装置、方法およびプログラム
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2734245B2 (ja) 画像特徴抽出方法及びその装置
Pan et al. Topology-based character recognition method for coin date detection
Anand et al. Fingerprint Identification and Matching
JP2817730B2 (ja) 指紋照合結果表示制御装置
JP3673650B2 (ja) 指掌紋押捺装置
JP3090070B2 (ja) 帳票識別方法及び装置
JPH05242224A (ja) 指紋照合装置
JPS5858684A (ja) 手形等の画像処理による個人識別方式

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040708

R150 Certificate of patent or registration of utility model

Ref document number: 3576924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070716

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term