JPH11177899A - 映像関係情報の検索方法と装置 - Google Patents

映像関係情報の検索方法と装置

Info

Publication number
JPH11177899A
JPH11177899A JP9340134A JP34013497A JPH11177899A JP H11177899 A JPH11177899 A JP H11177899A JP 9340134 A JP9340134 A JP 9340134A JP 34013497 A JP34013497 A JP 34013497A JP H11177899 A JPH11177899 A JP H11177899A
Authority
JP
Japan
Prior art keywords
information
video
character
search
search key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9340134A
Other languages
English (en)
Other versions
JP3524742B2 (ja
Inventor
Hiroyuki Arai
啓之 新井
Hidekatsu Kuwano
秀豪 桑野
Masaharu Kurakake
正治 倉掛
Kenji Ogura
健司 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP34013497A priority Critical patent/JP3524742B2/ja
Priority to US09/204,957 priority patent/US6366699B1/en
Publication of JPH11177899A publication Critical patent/JPH11177899A/ja
Priority to US09/967,431 priority patent/US6501856B2/en
Application granted granted Critical
Publication of JP3524742B2 publication Critical patent/JP3524742B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 テレビ画面上にWWWブラウザを共同して表
示し、WWW検索エンジンで所望のWWWを表示可能な
映像関係情報の検索方法と装置の提供。 【解決手段】 テレビ画面に文字放送のテロップあるい
はフリップを検出し、文字を検出し、認識した結果を格
納し、該認識結果とデータベースの類似語とからWWW
の検索キーワードを生成し、該キーワードをWWW検索
エンジンに入力して検索させ、その検索結果を表示す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像関係情報の検索
方法に関し、特に、テレビ画面上にWWWブラウザを共
同表示して検索する映像関係情報の検索方法に関する。
【0002】
【従来の技術】テレビ放送とWWWブラウザを同一画面
に表示できる環境として、インターネットブラウザ機能
付きテレビとテレビチューナ付きのPCとがある。これ
らはいずれもテレビとWWWブラウザは別個に動作する
ため、テレビ試聴中に発生した興味については、ユーザ
がWWWブラウザに手入力する必要があり、繁雑であっ
た。
【0003】また、他の方法としてTV放送信号の空い
た領域を利用してHTML(HiperText Markup Languag
e)情報を送信し、TBSのbitcastやテレビ朝
日のADAMSのようにブラウザ上に関連情報を表示す
る手法が実用化されている。
【0004】
【発明が解決しようとする課題】上述した従来の画像情
報検索方法では、上記の方式に合わせたHTMLコンテ
ンツを作るのには手間がかかるため、提供される情報が
少ないというのが問題点である。
【0005】本発明の目的は、TV映像とWWWブラウ
ザを同時に表示して利用できる環境を前提とし、テレビ
放送において、しばしば表示されるテロップやフリップ
といった文字情報を利用し、映像内容に関連するインタ
ーネット情報を自動的に検索して、表示する映像関係情
報の検索方法と装置を提供することである。
【0006】
【課題を解決するための手段】本発明の映像関係情報の
検索方法は、テレビ放送の表示とWWWブラウザの情報
表示を同時に行える映像表示装置を使用し、受信中のT
V映像に表示された文字情報を検知するステップと、検
知された文字表示画面中の文字の認識を行うステップ
と、認識されたテキスト情報を蓄積するステップと、
逐次蓄積されるテキスト情報と、新聞、雑誌等のテキス
トデータと必要に応じ予め視聴者によって指定された検
索のための付加情報とを用いて適切な検索キーを生成す
るステップと、生成された検索キーをブラウザに入力す
るステップと、入力されたキーワードを用いインターネ
ット情報を検索させ、表示するステップを有する。
【0007】また、前記既定の文字情報検出がテロッ
プ、またはフリップからであってもよい。
【0008】また、本発明の映像関係情報の検索装置
は、テレビ放送とWWWブラウザを同一画面に表示可能
なテレビ受像機の映像関係情報の検索装置において、映
像中に表示された文字を検出する手段と、前記により検
出された文字を認識する手段と、前記認識された結果を
格納する手段と、前記格納された認識結果とデータベー
スに登録されている様々なテキスト情報との関連を調べ
ることにより、認識結果に関連する検索キーを生成する
手段と、前記生成されたキーをWWWブラウザに入力す
る手段と、WWWブラウザの検索結果を表示する検索結
果表示手段とを有する。
【0009】また、前記文字情報を検出する手段がテロ
ップ、あるいはフリップを検出するのが本発明の映像関
係情報の検出装置の実施態様の一つである。
【0010】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0011】図2は本発明の映像関係情報の検索方法の
概念的フローチャートである。
【0012】事前にユーザの求める課題あるいは興味あ
る課題を処理装置に入力しておく(ステップ21)。次
に、終了操作をパスし(ステップ22)、テレビの文字
検知処理を行い(ステップ23)、文字を検知すると該
文字を取り込み検出をしステップ24)、文字の認識を
行い(ステップ25)、その認識結果を格納する(ステ
ップ26)。
【0013】次に、データベースを参照し、入力されて
いるユーザの課題をベースとして、データベースの類似
記事その他を参照比較して、検索キーを生成し(ステッ
プ27)、該検索キーの確認の上(ステップ29)、自
動検索モードとし、WWWブラウザに入力しWWW検索
エンジンを起動する(ステップ30)。
【0014】その後、WWW検索結果を表示し、保存し
て(ステップ31)、終了操作により(ステップ22)
終了する。
【0015】図3は放送画面中のテロップを利用して検
索語を集録する場合の映像関係情報の検索方法のフロー
チャートである。
【0016】先ず、図2に示す文字表示検出ステップ2
4該当として、テロップから文字を検出し(ステップ4
1)、検出された文字を認識して(ステップ42)、適
切な文字を格納する(ステップ43)。
【0017】次に、データベースを読みだして、順次格
納されている認識結果の文字と比較させ(ステップ4
4)、最適なWWWの検索キーワードを生成する(ステ
ップ45)。
【0018】その上で、該キーワードをWWWブラウザ
に入力して検索エンジンを起動させる(ステップ4
6)。その結果WWWで検索された情報をテレビ画面上
に表示させる(ステップ47)。
【0019】図4はTV画面内のフリップを利用して検
索語を集録する場合の映像関連情報の検索方法のフロー
チャートである。
【0020】先ず、図2に示す文字表示検出処理ステッ
プ24該当ステップとしてフリップから文字を検出し
(ステップ51)、検出された文字を認識して(ステッ
プ52)、適切な文字を格納スル(ステップ53)。
次に、データベースを読みだして、順次格納されている
認識結果の文字と比較させ(ステップ54)、最適なW
WWの検索キーワードを生成する(ステップ55)。
【0021】その上で、該キーワードをWWWブラウザ
に入力して検索エンジンを起動させる(ステップ5
6)。その結果WWWで検索された解説をテレビ画面上
に表示させる(ステップ57)。
【0022】図1は、本発明の映像関係情報の検索方法
を適用した映像関係情報の検索装置の一実施の形態のブ
ロック図である。
【0023】この映像関係情報の検索装置は、TV映像
とWWWブラウザを同時に利用できるTV受像機であ
り、インターネットTV、あるいはチューナ付きPC
か、データ放送受信機(bitcast、や ADAM
S対応のPC)が使用される。
【0024】電波から映像信号を受信し、チューナ部1
を介してTV画面表示部5に画面表示される。また、T
V映像の文字放送を利用して文字情報の表示を文字表示
検出部3で検知し、文字認識部3で文字画像の抽出認識
を行い、認識されたテキスト情報を認識結果メモリ9に
蓄積する。
【0025】これらのテキスト情報と、記事データベー
ス(新聞雑誌記事、百科事典等)を呼び出して一致度を
算出する。これにより、表示されているテキスト情報群
がどのような文脈(情報の主旨)に従っているかがわか
る。この内から事前に入力してある課題との一致度が高
い記事中に現れるキーワードを用いることにより、提供
される情報に関連し、かつ広がりのある検索結果を得る
ことができる。
【0026】この際、予め設定したユーザの興味に関す
る課題データ(例えばグルメ情報が欲しい、関連する書
籍の情報が欲しい等)を用いて上記検索キーと論理積
(AND)をとることにより、ユーザの興味に応じた検
索結果を得ることができる。
【0027】また、記事データベース10を用いて検索
キー生成部4により検索キーを生成することにより、文
字認識の不完全性を補うというメリットもある。
【0028】生成された検索キーはWWWブラウザに入
力し、WWW検索エンジンにより自動的に検索され、検
索結果が検索結果表示部8に表示される(自動モー
ド)。
【0029】上記の処理は、文字情報の表示をトリガー
にして自動的に行われる。この際検索キーをユーザが確
認修正することも可能にしておく(確認修正モード)。
【0030】ユーザは必要、あるいは興味に応じてWW
Wブラウザ上で関連情報を閲覧することができる。勿論
ユーザが手入力で検索することもできる。
【0031】
【実施例】図5は本発明の映像関係情報の検索装置の第
1の実施例のブロック図である。この装置はTV放送画
面内のテロップで、その中の文字情報を検出するテロッ
プ検出部12を有することが特徴となる。その他は図1
に示す映像関係情報の検索装置と同様である。
【0032】また、図6は本発明の映像関係情報検索装
置の第2の実施例のブロック図である。
【0033】この装置はTV放送画面内文字情報がフリ
ップの場合の本発明の映像関連情報の検索装置のブロッ
ク図で、文字情報がフリップであることだけが図1の装
置と異なるだけで、そのフリップ検出部16を有する点
が特徴であって、その他は図1に示す映像関係情報の検
索装置と同様である。
【0034】また、ユーザの入力する課題は事前に入力
することには限らず、文字情報の内容が各種テーマにつ
いてそれぞれ解説的に自動的に表示されるものがあり、
その視聴中にユーザが課題を選定して入力することも可
能である(図3のステップ48、図4のステップ5
8)。
【0035】
【発明の効果】以上説明したように本発明は様々な映像
情報に付加されているテロップまたはフリップといった
文字情報を利用してキーを生成しWWWブラウザをTV
の画像内に表示し、キーによりWWW検索エンジンを起
動することにより、簡単にWWWにアクセスできる効果
がある。
【図面の簡単な説明】
【図1】本発明の映像関係情報の検索方法が適用された
映像関係情報の検索装置の一実施の形態のブロック図で
ある。
【図2】本発明の映像関係情報の検索方法の概念的フロ
ーチャートである。
【図3】対称となる文字情報がテロップの場合の本発明
の映像関係情報の検索装置のブロック図である。
【図4】対称となる文字情報がフリップの場合の本発明
の映像関係情報の検索装置のブロック図である。
【図5】本発明の映像関係受方の検索装置の第1の実施
例のブロック図である。
【図6】本発明の映像関係情報の検索装置の第2の実施
例のブロック図である。
【符号の説明】
1 チューナ部 2 文字表示検出部 3 文字認識部 4 検索キー生成部 5 TV画面表示部 6 WWWブラウザ 7 ユーザ興味入力部 8 検索結果表示部 9 認識結果メモリ 10 記事データベース
フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 テレビ放送の表示とWWWブラウザの情
    報表示を同時に行える映像表示装置における映像関係情
    報の検索方法であって、 受信中のTV映像から文字情報が表示されたことを検知
    するステップと、 検知された文字表示画面中の文字の認識を行うステップ
    と、 認識されたテキスト情報を蓄積するステップと、 逐次蓄積されるテキスト情報と、新聞、雑誌記事等のテ
    キストデータと必要に応じ予め視聴者によって指定され
    た検索のための付加情報とを用いて適切な検索キーを生
    成するステップと、 生成された検索キーをWWWブラウザに入力するステッ
    プと、 入力されたキーワードを用いインターネット情報を検索
    した結果を表示するステップを有する映像関係情報の検
    索方法。
  2. 【請求項2】 前記文字表示画面中の文字を検出するス
    テップがテロップ内とフリップ内の何れか一方の文字の
    検出である請求項1記載の映像関係情報の検索方法。
  3. 【請求項3】 前記検索キーを生成するステップが、事
    前にユーザが入力した課題をベースとする請求項1乃ま
    たは2記載の映像関係情報の検索方法。
  4. 【請求項4】 前記検索キーを生成するステップが、前
    記検索された映像情報視聴中のユーザにより視聴中に選
    択的に入力された課題をベースとする請求項1乃至3の
    いずれか1項に記載の映像関係情報の検索方法。
  5. 【請求項5】 前記検索キーを生成をするステップが、
    映像中から逐次認識・蓄積されるテキスト情報と、新
    聞、雑誌、百科事典等の記事データベースとの記事全体
    の一致度の高い記事中に現れるキーワードを検索キーと
    する請求項1乃至3のいずれか1項に記載の映像関係情
    報の検索方法。
  6. 【請求項6】 テレビ放送とWWWブラウザを同一画面
    に表示可能なテレビ受像機の映像関係情報の検索装置で
    あって、 映像中に表示された文字を検出する手段と、 前記により検出された文字を認識する手段と、 前記認識された結果を格納する手段と、 前記格納された認識結果とデータベースに登録されてい
    る様々なテキスト情報との関連を調べることにより、認
    識結果に関連する検索キーを生成する手段と、 前記生成されたキーをWWW検索エンジンに入力する手
    段と、 WWW検索エンジンの検索結果を表示する検索結果表示
    手段とを有することを特徴とする画像情報検索装置。
  7. 【請求項7】 前記映像中から文字を検出する手段がテ
    ロップとフリップの何れか一方の検出である請求項6記
    載の映像関係情報の検索装置。
  8. 【請求項8】 前記検索キーを生成する手段が、事前に
    ユーザが入力した課題をベースとして関係する情報から
    検索キーを生成する請求項6または7記載の映像関係情
    報の検索装置。
  9. 【請求項9】 前記検索キーを生成するする手段が、前
    記検索された文字情報視聴中のユーザにより視聴中に選
    択的に入力された課題をベースとして関係する情報から
    検索キーを生成する請求項6または7記載の映像関係情
    報の検索方法。
  10. 【請求項10】 前記検索キーを生成をする手段が、映
    像中から逐次認識・蓄積されるテキスト情報と、新聞、
    雑誌、百科事典等の記事データベースとの記事全体の一
    致度の高い記事中に現れるキーワードを検索キーとする
    請求項6乃至9のいずれか1項に記載の映像関係情報の
    検索方法。
JP34013497A 1997-12-04 1997-12-10 映像関係情報の検索装置 Expired - Lifetime JP3524742B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP34013497A JP3524742B2 (ja) 1997-12-10 1997-12-10 映像関係情報の検索装置
US09/204,957 US6366699B1 (en) 1997-12-04 1998-12-03 Scheme for extractions and recognitions of telop characters from video data
US09/967,431 US6501856B2 (en) 1997-12-04 2001-09-28 Scheme for extraction and recognition of telop characters from video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34013497A JP3524742B2 (ja) 1997-12-10 1997-12-10 映像関係情報の検索装置

Publications (2)

Publication Number Publication Date
JPH11177899A true JPH11177899A (ja) 1999-07-02
JP3524742B2 JP3524742B2 (ja) 2004-05-10

Family

ID=18334059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34013497A Expired - Lifetime JP3524742B2 (ja) 1997-12-04 1997-12-10 映像関係情報の検索装置

Country Status (1)

Country Link
JP (1) JP3524742B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219391A (ja) * 2002-01-28 2003-07-31 Nippon Hoso Kyokai <Nhk> 対話型番組提示装置及び対話型番組提示プログラム
WO2007060968A1 (ja) * 2005-11-24 2007-05-31 Pioneer Corporation 放送受信装置、情報記録再生装置および情報抽出方法
JP2008236373A (ja) * 2007-03-20 2008-10-02 Nippon Hoso Kyokai <Nhk> メタ情報付加装置及びメタ情報付加プログラム
JP2009010797A (ja) * 2007-06-29 2009-01-15 Hitachi Ltd 情報提示方法及び装置
US7630979B2 (en) 2004-06-30 2009-12-08 Fujitsu Limited Information retrieval terminal
JP2011517223A (ja) * 2008-04-09 2011-05-26 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド テレビジョン受像機および方法
WO2011155350A1 (ja) * 2010-06-08 2011-12-15 シャープ株式会社 コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
JP2011259154A (ja) * 2010-06-08 2011-12-22 Sharp Corp コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
JP2011259156A (ja) * 2010-06-08 2011-12-22 Sharp Corp コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
WO2017008498A1 (zh) * 2015-07-13 2017-01-19 中兴通讯股份有限公司 搜索节目的方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219391A (ja) * 2002-01-28 2003-07-31 Nippon Hoso Kyokai <Nhk> 対話型番組提示装置及び対話型番組提示プログラム
US7630979B2 (en) 2004-06-30 2009-12-08 Fujitsu Limited Information retrieval terminal
WO2007060968A1 (ja) * 2005-11-24 2007-05-31 Pioneer Corporation 放送受信装置、情報記録再生装置および情報抽出方法
JP2008236373A (ja) * 2007-03-20 2008-10-02 Nippon Hoso Kyokai <Nhk> メタ情報付加装置及びメタ情報付加プログラム
JP2009010797A (ja) * 2007-06-29 2009-01-15 Hitachi Ltd 情報提示方法及び装置
JP2011517223A (ja) * 2008-04-09 2011-05-26 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド テレビジョン受像機および方法
WO2011155350A1 (ja) * 2010-06-08 2011-12-15 シャープ株式会社 コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
JP2011259154A (ja) * 2010-06-08 2011-12-22 Sharp Corp コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
JP2011259156A (ja) * 2010-06-08 2011-12-22 Sharp Corp コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体
US9582533B2 (en) 2010-06-08 2017-02-28 Sharp Kabushiki Kaisha Content reproduction device, control method for content reproduction device, control program, and recording medium
WO2017008498A1 (zh) * 2015-07-13 2017-01-19 中兴通讯股份有限公司 搜索节目的方法及装置

Also Published As

Publication number Publication date
JP3524742B2 (ja) 2004-05-10

Similar Documents

Publication Publication Date Title
JP3431789B2 (ja) 対話式表示および認識システム
US7616840B2 (en) Techniques for using an image for the retrieval of television program information
CN101778233B (zh) 数据处理装置以及数据处理方法
US8260795B2 (en) Method for providing multimedia to provide content related to keywords, and multimedia apparatus applying the same
US20070074254A1 (en) Locating content in a television environment
JP2005115790A (ja) 情報検索方法、情報表示装置及びプログラム
JP2004505563A (ja) ビデオ強調用のトランスクリプト・トリガー情報
WO2008051331B1 (en) Method and system to search viewable content
KR20030007727A (ko) 자동 비디오 리트리버 제니
JPH11177899A (ja) 映像関係情報の検索方法と装置
US20030237092A1 (en) Web page display apparatus
CN110309324B (zh) 一种搜索方法及相关装置
US20090046320A1 (en) Method and apparatus for forwarding media...
JPH096798A (ja) 情報処理システムおよび情報処理方法
KR100444995B1 (ko) 방송 프로그램 정보 검색 방법 및 장치
JP2008129884A (ja) 情報検索システム及びその方法並びにそれに用いる放送受信機
JP5335500B2 (ja) コンテンツ検索装置及びコンピュータプログラム
EP1661403B1 (en) Real-time media dictionary
KR100694423B1 (ko) 디지털 방송 수신기에 있어서 키워드 인덱스를 이용한전자프로그램가이드 정보 검색 방법 및 장치
JP2004312627A (ja) テレビジョン受像装置およびその番組情報検索方法
KR20020015123A (ko) 개인 멀티미디어 라이브러리 시스템과 이러한 시스템을이용한 개인 멀티미디어 라이브러리 저장 및 브라우징 방법
JP2002010151A (ja) 番組受信装置
KR102024179B1 (ko) 웹툰의 말풍선을 이용한 독자 편의 제공 시스템 및 그 제공방법
KR100481539B1 (ko) 캡션정보를 이용한 원 클릭 정보검색 시스템 및 방법
JP2001101216A (ja) 関連ウェブページ検索方法及び装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031212

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term