JP3504874B2 - 文字領域判定方法および装置および記録媒体 - Google Patents

文字領域判定方法および装置および記録媒体

Info

Publication number
JP3504874B2
JP3504874B2 JP36365198A JP36365198A JP3504874B2 JP 3504874 B2 JP3504874 B2 JP 3504874B2 JP 36365198 A JP36365198 A JP 36365198A JP 36365198 A JP36365198 A JP 36365198A JP 3504874 B2 JP3504874 B2 JP 3504874B2
Authority
JP
Japan
Prior art keywords
area
image
pixels
character
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP36365198A
Other languages
English (en)
Other versions
JP2000187732A (ja
Inventor
秀豪 桑野
啓之 新井
正治 倉掛
利明 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP36365198A priority Critical patent/JP3504874B2/ja
Publication of JP2000187732A publication Critical patent/JP2000187732A/ja
Application granted granted Critical
Publication of JP3504874B2 publication Critical patent/JP3504874B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Character Input (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、テレビ放
送の映像等のカラー動画像を構成する複数のフレーム画
像において、テレビ放送映像中のテロップ文字等の文字
が表示されているフレーム画像の中から文字部分を画素
連結領域として抽出する文字領域判定技術に関するもの
である。
【0002】
【従来の技術】カラー動画像を構成する複数のフレーム
画像の中の文字が表示されているフレーム画像、あるい
は文字が表示されている静止カラー画像から文字部分を
画素連結領域として抽出する文字領域判定技術に関して
は、従来から多くの研究が行われている。
【0003】参考文献[1]:桑野、倉掛、小高:“映
像データ検索のためのテロップ文字抽出法”、信学技
報、PRMU96−98、pp.39−46、(199
6−11)で提案されている方法(以下、従来手法
[1]と記す)は、最初に入力されたカラー画像を色空
間の分割処理により、連結画素領域に分割し、その後、
得られた領域に対し、文字領域かどうかの判別を行って
いる。従来手法[1]では、図6左に示すように、面積
値が一定値以下の領域、画像の枠に接しない領域、およ
び一定時間位置が変わらない領域を文字領域として判定
している。
【0004】
【発明が解決しようとする課題】しかしながら、前記の
従来手法[1]は、図6右に示すように、領域分割処理
後の文字領域判定処理において、文字と同程度の面積を
持ち、画像の枠に触れておらず、且つ一定時間位置が変
わらない文字以外の領域を残留させてしまう問題があ
る。
【0005】そこで、本発明は、例えば映像中におい
て、文字と同程度の面積を持ち、画像の枠に触れておら
ず、且つ一定時間位置が変わらない文字以外の領域を削
除することで、文字を含む画像中の文字領域の判別精度
を向上させる文字領域判別方法および装置を提供するこ
とを課題とする。
【0006】
【課題を解決するための手段】前記の課題を解決するた
めに、本発明による文字領域抽出方法は、文字が表示さ
れている画像を入力して原画像として記憶する第1の段
階と、該第1の段階で入力され記憶された原画像を予め
決めた方法を用いて、連結画素領域に分割し、領域分割
画像を得る第2の段階と、該第2の段階で得られた領域
分割画像中の各領域に対し、領域境界部における領域の
内側と領域の外側との明暗の差を表すコントラスト特徴
を計算し、コントラスト特徴が予め設定した値より大き
い領域を文字領域として該領域分割画像中に残し、そう
でない領域を該領域分割画像中から削除する第3の段階
と、該第3の段階で得られた文字領域として判定された
全ての連結画素領域を含む文字領域画像を蓄積する第4
の段階とを、有することを特徴とする。
【0007】あるいは、上記の文字領域判定方法におい
て、第3の段階は、入力された原画像に対し予め決めた
方法を用いて画像中のエッジ画素を検出する第3−1の
段階と、領域分割画像中の各領域の境界画素の個数を計
算する第3−2の段階と、該領域分割画像中の各領域
界画素のうち第3−1の段階により検出されたエッジ
である画素の個数を計算する第3−3の段階と、該第3
−2の段階で得られた各領域の境界画素の個数に対する
該第3−3の段階で得られた各領域の境界画素のうちの
エッジである画素の個数の比を計算する第3−4の段階
と、該第3−4の段階で得られた領域の境界画素の個数
に対する領域の境界画素のうちエッジである画素の個数
の比が予め設定した値より大きい場合は、該領域を文字
領域として判定し該領域分割画像中に残し、そうでない
場合は、該領域を背景ノイズ領域として判定し、該領域
分割画像中から削除する第3−5の段階とを、を有する
ことを特徴とする。
【0008】さらには、以上の文字領域判定方法におけ
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とする。
【0009】同じく前記の課題を解決するために、本発
明による文字領域判定装置は、文字が表示されている画
像を入力して原画像として記憶する画像入力記憶手段
と、該画像入力記憶手段により入力され記憶された原画
像を予め決めた方法を用いて、連結画素領域に分割し、
領域分割画像を得る画像領域分割手段と、該画像領域分
割手段により得られた領域分割画像中の各領域に対し、
領域境界部における領域の内側と領域の外側との明暗の
差を表すコントラスト特徴を計算し、コントラスト特徴
が予め設定した値より大きい領域を文字領域として該領
域分割画像中に残し、そうでない領域を該領域分割画像
中から削除する高コントラスト領域判定手段と、該高コ
ントラスト領域判定手段により得られた文字領域として
判定された全ての連結画素領域を含む文字領域画像を蓄
積する文字領域画像蓄積手段と、該画像入力記憶手段、
該画像領域分割手段、該高コントラスト領域判定手段お
よび文字領域画像蓄積手段の実行順序を制御する制御手
段とを、具備することを特徴とする。
【0010】あるいは、上記の文字領域判定装置におい
て、高コントラスト領域判定手段は、原画像に対し予め
決めた方法を用いて画像中のエッジ画素を検出するエッ
ジ検出手段と、領域分割画像中の各領域の境界画素の個
数を計算する領域周囲長計算手段と、該領域分割画像中
の各領域の境界画素のうち該エッジ検出手段により検出
されたエッジである画素の個数を計算する領域境界エッ
ジ計算手段と、該領域周囲長計算手段により得られた各
領域の境界画素の個数に対する該領域境界エッジ計算手
段により得られた各領域の境界画素のうちのエッジであ
る画素の個数の比を計算する領域周囲長/エッジ比計算
手段と、該領域周囲長/エッジ比計算手段により得られ
た領域の境界画素の個数に対する領域の境界画素のうち
エッジである画素の個数の比が予め設定した値より大き
い場合は、該領域を文字領域として判定し該領域分割画
像中に残し、そうでない場合は、該領域を背景ノイズ領
域として判定し、該領域分割画像中から削除する文字領
域判定手段とを、具備することを特徴とする。
【0011】一般に映像中に表示される文字は周囲との
輝度値コントラストが高い場合が多いという特徴を持
つ。従来手法[1]では、領域の周囲の輝度コントラス
トは評価していないため、文字と同程度の面積を持ち、
画像の枠に触れず、且つ一定時間位置が変わらない文字
以外の領域のうち境界部の輝度コントラストが低い一般
物体の領域も残留させてしまう。
【0012】そこで、本発明では、領域分割後に各領域
の境界部における輝度値のコントラスト特徴を計算し、
コントラストの高い領域だけを残留させることで、文字
領域の判別精度を向上させることを可能とする。
【0013】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態例を詳細に説明する。
【0014】図1は、本発明の一実施形態例による装置
の構成とともに処理の流れを示すブロック図である。
【0015】図1において、1はカラー画像入力記憶部
であり、文字が表示されているカラー画像等の画像デー
タを入力してメモリに記憶する。
【0016】2は画像領域分割部であり、カラー画像入
力記憶部1で入力され記憶されたカラー画像等の原画像
を予め決めた方法(例えば、従来手法[1]で提案され
ている方法等)を用いて、連結画素領域に分割する。
【0017】3は高コントラスト領域判定部であり、画
像領域分割部2で得られた領域分割画像中の各領域に対
し、領域境界部における輝度値のコントラスト特徴を計
算し、コントラスト特徴が予め設定した値より大きい領
域を文字領域として判別する。
【0018】4は文字領域画像蓄積部であり、高コント
ラスト領域判定部により得られた文字領域画像を蓄積す
る。
【0019】5は処理制御部であり、上記1〜4の各部
の実行順序を制御する。
【0020】図2は、図1中の高コントラスト領域判定
部3の構成の一例とともに処理の流れの一例を示すブロ
ック図である。
【0021】図2において、6はエッジ検出部であり、
カラー原画像等に対し予め決めた方法(例えば、Rob
insonのエッジ検出用オペレータを用いて行う等)
を用いて画像中のエッジ画素を検出する。
【0022】7は領域周囲長計算部であり、領域分割画
像中の各領域の内側の境界画素の個数を計算する。
【0023】8は領域境界エッジ計算部であり、領域分
割画像中の各領域の内側の境界画素のうちエッジ検出部
6により得られたエッジ画素の個数を計算する。
【0024】9は領域周囲長/エッジ比計算部であり、
領域周囲長計算部7により得られた各領域の内側の境界
画素の個数と領域境界エッジ計算部8により得られた各
領域の内側の境界画素のうちのエッジ画素の個数の比を
計算する。
【0025】10は文字領域判定部であり、領域周囲長
/エッジ比計算部9により得られた領域の内側境界にお
ける全周囲長とエッジ画素の個数の比が予め設定した値
より大きい場合は該領域を文字領域として判別し該領域
分割画像中に残し、そうでない場合は、該領域を背景ノ
イズ領域として該領域分割画像中から削除する。
【0026】11は、上記6〜10の各部の実行順序を
制御する処理制御部である。この処理制御部11は、図
1の処理制御部5が兼ねる構成であってもよい。
【0027】図3は、図2中の高コントラスト領域判定
部3の処理の実施形態を説明するためのフローチャート
である。
【0028】図3において、ステップ(31)は、カラ
ー原画像と領域分割画像をメモリ中に読み込む過程であ
る。
【0029】ステップ(32)は、原画像に対し、予め
決められた方法(例えばRobinsonのエッジ検出
用オペレータを用いて行う等)を用いてエッジ画素の検
出を行う過程である。
【0030】ステップ(33)は、領域分割画像中の領
域数用の変数nを1に初期化する過程である。
【0031】ステップ(34)は、変数nと領域分割画
像中の領域の総数Nを比較し、nの値がN以下の場合は
ステップ(35)に移り、nの値がNより大きい場合は
処理を終了する過程である。
【0032】ステップ(35)は、領域分割画像中のn
番目の領域について、領域の内側境界の画素の個数P
(n)を計算する過程である。
【0033】ステップ(36)は、ステップ(35)に
より得られたn番目の領域の内側境界画素のうち、ステ
ップ(32)により得られたエッジ画素の個数Q(n)
を計算する過程である。
【0034】ステップ(37)は、ステップ(35)お
よびステップ(36)により求めたP(n)とQ(n)
の比を計算し、得られた値が予め設定した値以上の場
合、ステップ(38)に移り、そうでなければステップ
(39)へ移る過程である。
【0035】ステップ(38)は、P(n)とQ(n)
の比が予め設定した値以上の場合、領域分割画像中のn
番目の領域を文字領域として判断し、該領域分割画像中
に残す過程である。
【0036】ステップ(39)は、P(n)とQ(n)
の比が予め設定した値より小さい場合、領域分割画像中
のn番目の領域を背景ノイズ領域として判断し、該領域
分割画像中から削除する過程である。
【0037】ステップ(40)は、変数nを1だけイン
クリメントした後、ステップ(34)へ戻る過程であ
る。
【0038】図4は、本発明による効果を示す図であ
る。本発明の主要な特徴点は、文字が含まれる映像等の
原画像から、文字領域を抽出する処理において、原画像
を領域分割し、領域境界部からエッジを検出して(図4
−(a))、周囲長とエッジ画素の比が閾値以上である
領域を、文字を含んでいる可能性が高い高コントラスト
領域として残し、それ以外の領域を低コントラスト領域
として捨てる処理を行うことにより、文字以外の領域
(例えば、低コントラストの静止画領域)を削除し文字
領域だけを高精度で残すことを可能とする(図4−
(b))ものである。これによって、文字認識の精度を
向上させることが可能となる。このような特徴的な構成
が図2の6〜10の各部での処理であり、その処理の詳
細が、図3のステップ(35)〜(39)での処理であ
る。
【0039】上記の実施形態例では、原画像としてカラ
ー画像に適用した場合を例に説明したが、本発明は、
(1)入力が二値化されている画像の場合、(2)二値
化されていない普通の画像の場合のどちらの場合におい
ても適用可能なものである。
【0040】本発明がもっとも効果を奏するのは、図5
に示すように、前処理として「文字領域抽出処理」を行
った後に本発明の「文字領域判定処理」を行い、その
後、さらに文字認識処理を行う構成においてである。
【0041】なお、図1、図2で示した手段の一部もし
くは全部を、コンピュータを用いて機能させることがで
きること、あるいは、図1、図2、図3で示した処理の
ステップ(段階)をコンピュータで実行させることがで
きることは言うまでもなく、コンピュータをその手段と
して機能させるためのプログラム、あるいは、コンピュ
ータでその処理のステップを実行させるためのプログラ
ムを、そのコンピュータが読み取り可能な記録媒体、例
えば、FD(フロッピーディスク)や、MO、ROM、
メモリカード、CD、DVD、リムーバブルディスクな
どに記録して提供し、配布することが可能である。
【0042】
【発明の効果】以上の説明のとおり、本発明によれば、
本発明では、領域分割後に各領域の境界部における輝度
値のコントラスト特徴を計算し、コントラストの高い領
域だけを残留させることで、文字領域の判別精度を向上
させる効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施形態例による文字領域判定装置
の構成とともに処理の流れを示すブロック図である。
【図2】上記実施形態例における高コントラスト領域判
定部の構成の一例とともに処理の流れの一例を示すブロ
ック図である。
【図3】図1中の高コントラスト領域判定部3の処理実
施の一例を示すフローチャートである。
【図4】(a),(b)は、本発明の実施形態例による
文字領域判定結果の一例を示す図である。
【図5】本発明の効果が最もよく発揮される適用例を説
明する図である。
【図6】従来手法[1]による文字領域判別結果の一例
を示す図である。
【符号の説明】
1…カラー画像入力記憶部 2…画像領域分割部 3…高コントラスト領域判定部 4…文字領域画像蓄積部 5…処理制御部 6…エッジ検出部 7…領域周囲長計算部 8…領域境界エッジ計算部 9…領域周囲長/エッジ比計算部 10…文字領域判定部 11…処理制御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉村 利明 東京都新宿区西新宿3丁目19番2号 日 本電信電話株式会社内 (56)参考文献 桑野秀豪,倉掛正治,小高和己,映像 データ検索のためのテロップ文字抽出 法,電子情報通信学会技術研究報告,日 本,社団法人電子情報通信学会,1996年 11月22日,Vol.96 No.385 (PRMU96−11),pp.39−46 (58)調査した分野(Int.Cl.7,DB名) G06T 7/40 G06T 7/20 G06K 9/36 H04N 5/278 H04N 9/74

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 文字が表示されている画像を入力して原
    画像として記憶する第1の段階と、 該第1の段階で入力され記憶された原画像を予め決めた
    方法を用いて、連結画素領域に分割し、領域分割画像を
    得る第2の段階と、 該第2の段階で得られた領域分割画像中の各領域に対
    し、入力された原画像に対し予め決めた方法を用いて画
    像中のエッジ画素を検出する第3−1の段階と、 領域分割画像中の各領域の境界画素の個数を計算する第
    3−2の段階と、 該領域分割画像中の各領域の境界画素のうち第3−1の
    段階により検出されたエッジである画素の個数を計算す
    る第3−3の段階と、 該第3−2の段階で得られた各領域の境界画素の個数に
    対する該第3−3の段階で得られた各領域の境界画素の
    うちのエッジである画素の個数の比を計算する第3−4
    の段階と、 該第3−4の段階で得られた領域の境界画素の個数に対
    する領域の境界画素のうちエッジである画素の個数の比
    が予め設定した値より大きい場合は、該領域を文字領域
    として判定し該領域分割画像中に残し、そうでない場合
    は、該領域を背景ノイズ領域として判定し、該領域分割
    画像中から削除する第3−5の段階と、 該第3−5の段階で得られた文字領域として判定された
    全ての連結画素領域を含む文字領域画像を蓄積する第4
    の段階と、 を有することを特徴とする文字領域判定方法。
  2. 【請求項2】 文字が表示されている画像を入力して原
    画像として記憶する画像入力記憶手段と、 該画像入力記憶手段により入力され記憶された原画像を
    予め決めた方法を用いて、連結画素領域に分割し、領域
    分割画像を得る画像領域分割手段と、 原画像に対し予め決めた方法を用いて画像中のエッジ画
    素を検出するエッジ検出手段と、 領域分割画像中の各領域の境界画素の個数を計算する領
    域周囲長計算手段と、 該領域分割画像中の各領域の境界画素のうち該エッジ検
    出手段により検出されたエッジである画素の個数を計算
    する領域境界エッジ計算手段と、 該領域周囲長計算手段により得られた各領域の境界画素
    の個数に対する該領域境界エッジ計算手段により得られ
    た各領域の境界画素のうちのエッジである画素の個数の
    比を計算する領域周囲長/エッジ比計算手段と、 該領域周囲長/エッジ比計算手段により得られた領域の
    境界画素の個数に対する領域の境界画素のうちエッジで
    ある画素の個数の比が予め設定した値より大きい場合
    は、該領域を文字領域として判定し該領域分割画像中に
    残し、そうでない場合は、該領域を背景ノイズ領域とし
    て判定し、該領域分割画像中から削除する文字領域判定
    手段と、からなる高コントラスト領域判定手段と、 該高コントラスト領域判定手段により得られた文字領域
    として判定された全ての連結画素領域を含む文字領域画
    像を蓄積する文字領域画像蓄積手段と、 該画像入力記憶手段、該画像領域分割手段、該高コント
    ラスト領域判定手段および文字領域画像蓄積手段の実行
    順序を制御する制御手段と、を具備することを特徴とす
    る文字領域判定装置。
  3. 【請求項3】 請求項1または請求項2記載の文字領域
    判定方法における段階をコンピュータに実行させるため
    のプログラムを、該コンピュータが読み取り可能な記録
    媒体に記録したことを特徴とする記録媒体。
JP36365198A 1998-12-22 1998-12-22 文字領域判定方法および装置および記録媒体 Expired - Lifetime JP3504874B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36365198A JP3504874B2 (ja) 1998-12-22 1998-12-22 文字領域判定方法および装置および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36365198A JP3504874B2 (ja) 1998-12-22 1998-12-22 文字領域判定方法および装置および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003358633A Division JP3825774B2 (ja) 2003-10-20 2003-10-20 文字領域判定方法および装置および記録媒体

Publications (2)

Publication Number Publication Date
JP2000187732A JP2000187732A (ja) 2000-07-04
JP3504874B2 true JP3504874B2 (ja) 2004-03-08

Family

ID=18479846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36365198A Expired - Lifetime JP3504874B2 (ja) 1998-12-22 1998-12-22 文字領域判定方法および装置および記録媒体

Country Status (1)

Country Link
JP (1) JP3504874B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154976A (ja) * 2004-11-25 2006-06-15 Sharp Corp 動画フレーム解析装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241074B2 (ja) * 2003-02-12 2009-03-18 富士ゼロックス株式会社 画像探索装置
JP6445775B2 (ja) * 2014-04-01 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
桑野秀豪,倉掛正治,小高和己,映像データ検索のためのテロップ文字抽出法,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1996年11月22日,Vol.96 No.385 (PRMU96−11),pp.39−46

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154976A (ja) * 2004-11-25 2006-06-15 Sharp Corp 動画フレーム解析装置

Also Published As

Publication number Publication date
JP2000187732A (ja) 2000-07-04

Similar Documents

Publication Publication Date Title
JP3461626B2 (ja) 特定画像領域抽出方法及び特定画像領域抽出装置
CN108882057B (zh) 视频摘要生成方法及装置
CN112990191B (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
US6819796B2 (en) Method of and apparatus for segmenting a pixellated image
US8254677B2 (en) Detection apparatus, detection method, and computer program
US6243419B1 (en) Scheme for detecting captions in coded video data without decoding coded video data
US6606409B2 (en) Fade-in and fade-out temporal segments
US6493042B1 (en) Feature based hierarchical video segmentation
JP4377887B2 (ja) 映像分割装置
KR100485594B1 (ko) 영상에서의 잡음을 제거하기 위한 잡음 처리 방법 및 그시스템
US7974470B2 (en) Method and apparatus for processing an image
CN111695540B (zh) 视频边框识别方法及裁剪方法、装置、电子设备及介质
KR20000076565A (ko) 다수의 영상 사이의 유사도 레벨을 결정하기 위한 시스템및 방법과, 그러한 결정을 인에이블하기 위한 세그먼트데이터 구조
CN109241345B (zh) 基于人脸识别的视频定位方法和装置
KR20110074107A (ko) 카메라를 이용한 오브젝트 검출 방법
US8311269B2 (en) Blocker image identification apparatus and method
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JP3504874B2 (ja) 文字領域判定方法および装置および記録媒体
JP3655110B2 (ja) 映像処理方法及び装置並びに映像処理手順を記録した記録媒体
JP3818044B2 (ja) ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体
JP3435334B2 (ja) 映像中文字領域抽出装置および方法および記録媒体
JP3379453B2 (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
JPH1196361A (ja) 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体
JP3825774B2 (ja) 文字領域判定方法および装置および記録媒体
JP7268848B2 (ja) コマーシャル検出装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081219

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091219

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101219

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101219

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term