JP3565261B2 - データ検索方法、情報提供システム、および記録媒体 - Google Patents

データ検索方法、情報提供システム、および記録媒体 Download PDF

Info

Publication number
JP3565261B2
JP3565261B2 JP2000124643A JP2000124643A JP3565261B2 JP 3565261 B2 JP3565261 B2 JP 3565261B2 JP 2000124643 A JP2000124643 A JP 2000124643A JP 2000124643 A JP2000124643 A JP 2000124643A JP 3565261 B2 JP3565261 B2 JP 3565261B2
Authority
JP
Japan
Prior art keywords
voiceprint
data
public information
information
celebrities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000124643A
Other languages
English (en)
Other versions
JP2001306600A (ja
Inventor
謙一 北谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000124643A priority Critical patent/JP3565261B2/ja
Publication of JP2001306600A publication Critical patent/JP2001306600A/ja
Application granted granted Critical
Publication of JP3565261B2 publication Critical patent/JP3565261B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、データ検索システムに関し、特に、インターネットを介してサービスを提供するためのデータ検索システムに関する。
【0002】
【従来の技術】
データ検索システムを利用したさまざまなサービスがインターネットを介して提供されている。これを利用する場合に、ユーザはパーソナルコンピュータや携帯電話等の情報端末を、インターネットを介してデータ検索システムのサーバに接続し、検索したいことに関連するキーワードを入力して実行する。サーバは、キーワードをもとにデータベースを検索して、抽出されたキーワードに関連する情報をユーザの情報端末に送信する。これによって、ユーザは検索したいことに関する情報を入手することができる。このようなデータ検索サービスで提供される情報のひとつとして、音楽に関する情報がある。
【0003】
音楽情報を提供するための従来のデータ検索システムは、曲名や、演奏あるいは歌っているアーティスト名等をもとにデータベースを検索するものである。したがって、音楽情報を得るために、ユーザは少なくとも曲名やアーティスト名を予め知っている必要がある。
【0004】
【発明が解決しようとする課題】
テレビやラジオ等の公共の放送で流される音楽を聴くとき、その曲名や演奏または歌っているアーティスト名を知らずに聴くことが多い。そして、ユーザは、テレビやラジオで聴いた音楽に興味を持ち、それについて詳しく知りたいと思うことがある。しかし、通常のテレビやラジオの音楽番組では、まず、曲名やアーティスト名が紹介され、その後に音楽が流される場合が多い。その場合、興味を持った曲の曲名やアーティスト名を知ることができないことになる。その曲の曲名やアーティスト名を知るためには、再び偶然にその曲を聴く機会を待つしかないのが現状である。
【0005】
従来のデータ検索システムでは、このような場合に検索を行うことは困難であり、得たい情報を得ることができないことが多かった。
【0006】
また、同様に、テレビのニュース番組やワイドショーやドラマ、ラジオ番組などに出演している人物に興味を持ったとき、その人物の名前すら分からないままになることがある。このような場合に、データ検索システムでその人物に関する情報を得ることも困難であった。
【0007】
本発明の目的は、著名人に関する情報を容易に検索可能なデータ検索方法、情報提供システム、および記録媒体を提供することである。
【0008】
【課題を解決するための手段】
上記目的を達成するために、本発明の方法は、インターネットを介してサーバに接続されたデータベースを検索し、希望する情報を抽出するためのデータ検索方法であって、著名人およびその著名人が属するグループの公開情報とその著名人の声紋データとを対応付けてデータベースに予め蓄積しておき、インターネットを介して情報端末からの音データをサーバで受信し、音データから少なくとも1人の声を分離し、声から声紋をそれぞれ判別し、判別された声紋のデータの中で、データベースに対応付けされた公開情報がある声紋のデータのみを選択し、選択された声紋の著名人が全て同一のグループに属する場合に、そのグループの公開情報を抽出し、選択された声紋の著名人全てが同一のブループに属してはいない場合に、選択された声紋の著名人およびその著名人が属するグループの全ての公開情報を抽出し、抽出された公開情報をサーバから情報端末に送信するデータ検索方法である。
【0009】
声によってデータベースを検索するので、キーワードを全く知らなくても、著名人に関連する公開情報を得ることができる。
【0010】
また、データベースは声紋のデータによって判別可能に公開情報が蓄積されているので、声で著名人を判別するために莫大な音データを蓄積する必要がない。
【0013】
本発明の他の情報提供システムは、ユーザの希望する情報をインターネットを介して提供する情報提供システムであって、
著名人およびその著名人が属するグループの公開情報をその著名人の声紋データと対応付けて蓄積したデータベースと、
音データに含まれる声を、個々に分離する音声信号処理装置と、
音声信号処理装置で分離された声からそれぞれの声紋を判別する声紋判別装置と、
インターネットを介して音データを受信し、音声信号処理装置に出力し、声紋判別装置で判別されデータベースに対応付けされた公開情報がある声紋データを選択し、選択された声紋の全ての著名人が同一のグループに属する場合にそのグループの公開情報を抽出し、選択された声紋の著名人全てが同一のブループに属してはいない場合に、選択された声紋の著名人およびその著名人が属するグループの全ての公開情報を抽出するサーバと、
音データをインターネットを介してサーバに送信し、データベースから抽出された公開情報をサーバからインターネットを介して受信する情報端末を有している。
【0015】
本発明の他の記録媒体は、ユーザの希望する著名人の公開情報をインターネットを介して提供するためのプログラムであって、
ユーザの情報端末からインターネットを介して音データを受信する処理と、
音データから分離された声から判別された少なくとも1つの声紋データの中の、データベースに対応付けされた公開情報がある声紋データを選択する処理と、
選択された声紋の著名人が全て同一のグループ属する場合に、そのグループの公開情報をデータベースから抽出する処理と、
選択された声紋の著名人全てが同一のブループに属してはいない場合に、選択された声紋の著名人およびその著名人が属するグループの全ての公開情報をデータベースから抽出する処理と、
データベースから抽出された公開情報をインターネットを介して情報端末に送信する処理をコンピュータに実行させるためのプログラムを記録している。
【0016】
本発明の実施態様によれば、前記声は歌声であり、公開情報は著名人の音楽に関する公開情報である。
【0017】
【発明の実施の形態】
次に、本発明のデータ検索システムを利用して音楽情報を提供するサービスを実現する場合の実施形態について図面を参照して詳細に説明する。本実施形態のサービスは、曲名やアーティスト名をキーワードとして入力するのではなく、曲の音声そのもの入力することで、その曲やアーティストに関する情報を検索できるというサービスである。
【0018】
図1を参照すると、本発明の一実施形態のデータ検索システムは、ユーザ側にマイク2が付属されたパーソナルコンピュータ(PC)1、または携帯電話3を有し、サービス提供者側にサーバ5とアーティストデータベース6と音声信号処理装置7と声紋判別装置8を有している。そして、ユーザ側のパーソナルコンピュータ1や携帯電話3は、インターネット4を介してサービス提供者側のサーバ5に接続可能である。インターネット4によれば、世界中のパーソナルコンピュータ1や携帯電話3等の情報端末は、互いに文書、画像、音声などの情報をやり取りすることができる。
【0019】
パーソナルコンピュータ1は、インターネット4から音声データを送受信でき、また、音声を入力するためのマイク2あるいはラジオ、CD、MD等の再生装置から直接ライン入力できる端子を有している。そして、パーソナルコンピュータ1は、ユーザがデータ検索サービスを利用するときに、マイク2等から入力された音楽のデータをインターネット4を介してサーバ5に送信する。
【0020】
携帯電話3は、テレビやラジオ等から録音した音楽のデータを、パーソナルコンピュータ1と同様に、インターネット4を介してサーバ5に送信する。
【0021】
アーティストデータベース6は、あらゆるジャンルの音楽のアーティストを網羅しており、日々更新されて常に最新の音楽情報を蓄積している。このデータベースに蓄積されているデータには、各アーティストの声紋が含まれている。ただし、その声紋は検索に用いられるためのものであり、ユーザに公開されるものではない。アーティストデータベース6には、図2のように個人名データと声紋データとそのアーティストに関連する公開された情報の情報データが対応付けられて蓄積されている。
【0022】
音声信号処理装置7はアンミキサと呼ばれる音源分離を行なうシステムを有しており、音楽を演奏と歌声に分離して、歌声のデータのみを声紋判別装置8に出力する。現在、音源分離について様々な研究がなされており、日本音響学会誌Vol.53 No.11 pp.883−888,1997.11「音源分離による音声認識性能の改善」(武田、板倉)や、日本音響学会誌V0l.53 No.11 pp.889−894,1997.11「話者方向同定と雑音抑制による音声認識性能の改善」(浅野他)にその研究の成果を見ることができる。
【0023】
声紋判別装置8は、音声信号処理装置7から入力された歌声を解析し、その声紋を判別してサーバ5に出力する。現在、声による個人の判別について様々な研究が行われており、日本音響学会誌Vol.51 No.11 pp.876−881,1995「声の個人性の話」(古井)にその内容が示されている。
【0024】
サーバ5は、パーソナルコンピュータ1または携帯電話3(以下、パーソナルコンピュータ1等と称す)から受信した音声データを音声信号処理装置7に転送して歌声を分離させる。また、サーバ5は、声紋判別装置8から出力された声紋と一致する声紋をアーティストデータベース6から探し出し、その声紋を有するアーティストに関する情報をユーザ側のパーソナルコンピュータ1等に送信する。
【0025】
本実施形態のデータ検索システムの動作について説明する。
【0026】
まず、ユーザはテレビ、ラジオ、有線放送等の音楽をデータとしてパーソナルコンピュータ1に記録(録音)する。あるいは、図3に示すように携帯電話3で録音してもよく、また、携帯電話3で録音した音楽を再生して、さらにパーソナルコンピュータ1に録音してもよい。
【0027】
次に、ユーザは、インターネット4を介してパーソナルコンピュータ1等を音楽情報を提供するためのサーバ5に接続する。接続されたサーバ5はパーソナルコンピュータ1等に音楽を入力することを要求する。パーソナルコンピュータ1等は録音しておいた音楽のデータをサーバ5に送信する。
【0028】
サーバ5は、送られてきた音楽のデータを音声信号処理装置7に出力するとともに、その音楽から歌声を抽出するように音声信号処理装置7に指示する。
【0029】
指示を受けた音声信号処理装置7は、その音楽から歌声のみを抽出して、声紋判別装置8に出力する。その音楽に複数の歌声が含まれている場合にはそれぞれの歌声に分離して、複数の歌声を出力する。
【0030】
声紋判別装置8は、歌声の周波数の時間変化、すなわちサウンドスペクトログラム(声紋)を分析する。歌声が複数ある場合には、それぞれの歌声を分析する。声紋はその声の持ち主に固有のものであり、これによって人物の識別が可能となる。声紋判別装置8による分析の結果得られた声紋のデータはサーバ5に出力される。
【0031】
図4に示すように、サーバ5は、ステップ111に声紋判別装置8から与えられた声紋データでアーティストデータベース6を検索し、ステップ112に一致するデータが発見されたか否かを判定する。そして、データベース6内に声紋判別装置8から与えられた声紋データと一致するデータが発見された場合に、ステップ113にその声紋データに関連付けされた情報をパーソナルコンピュータ1等に送信し、発見されなかった場合にはステップ114に、検索不能である旨をパーソナルコンピュータ1等に送信する。
【0032】
複数の声紋データがある場合に、サーバ5はユニットやバンドなどのグループ名も考慮して情報を抽出する。
【0033】
ここでは、アーティストデータベース6の個人名データには、個人名の他にその個人が属するグループ名が含まれているものとする。図5に示すように、サーバ5は、まず、ステップ121〜122に、各声紋データによりデータベースをそれぞれ検索する。ステップ123に、アーティストデータベース6内に一致するデータが無かった声紋データを破棄する。ステップ124に、一致するデータが有った声紋データが有るか否かを判定する。
【0034】
一致するデータが有った声紋データが無かった場合には、ステップ125に、検索不能である旨をパーソナルコンピュータ1等に送信する。一致するデータが発見された声紋データが有った場合には、ステップ126に、全ての個人名データに同一グループ名が含まれているか否かを判定する。全ての個人名データに同一のグループ名が共通して含まれている場合には、ステップ127に、共通のグループ名に対応する情報を抽出し、パーソナルコンピュータ1等に送信する。共通のグループ名が無い場合には、ステップ128に、全ての個人名データに含まれる個人名、グループ名に対応する情報を抽出し、パーソナルコンピュータ1等に送信する。
【0035】
アーティストデータベース6の情報には、最新リリース曲や過去にリリースされたCDやMD、コンサート情報などが蓄積されている。したがって、声紋により特定されるアーティストに関連する情報を検索することができる。さらに、各アーティストの曲も音声データとして保管されており、該当するアーティストの曲あるいは曲の一部を得ることもできる。
【0036】
パーソナルコンピュータ1または携帯電話3で録音した音楽の音声によって、アーティストデータベース6を検索するので、曲名やアーティスト名等のキーワードを全く知らなくても、そのアーティストに関連する情報を得ることができる。
【0037】
また、アーティストデータベース6は声紋のデータによって判別可能に情報が蓄積されているので、アーティストを音声で判別するために全ての曲を蓄積するような莫大な音声データを蓄積する必要がなく、高速な検索が可能である。
【0038】
本発明は音楽情報のデータ検索システムに限定されるものではなく、例えば他の実施形態として、テレビドラマの出演者、ラジオ番組の司会者、ニュース番組の解説者、アナウンサーなどマスメディアに頻繁に登場する著名人のデータベースを声紋データによって作成することもできる。ユーザは興味を持った著名人の声を録音し、サーバにアクセスして音声データを送信する。サーバはデータベースを検索し、関連する情報をユーザに送信する。
【0039】
これにより、ユーザは興味を持った著名人の氏名等を全く知らなくても、関連する情報を得ることができる。
【0040】
図6を参照すると、本発明のさらに他の実施形態のサーバ50は、プロセッサ51とメモリ52と外部インタフェース53を有する情報処理装置であり、インターネット4、音声信号処理装置7および声紋判別装置8とは外部インタフェース53で接続されている。また、アーティストデータベースは外部記憶装置60内に構成される。記録媒体70は、フロッピーディスク、CD−ROM、光磁気ディスク等の記録媒体であり、図4または図5の処理を有するプログラムが記録されている。
【0041】
そして、プロセッサ51は記録媒体70からプログラムを読み取り、メモリ52に格納した後、これを実行する。
【0042】
なお、本実施形態においては、音声信号処理装置7および声紋判別装置8の処理はソフトウェアによって実現され、サーバ50の情報処理装置がそのプログラムを実行してもよい。その場合、サーバ50と音声信号処理装置7と声紋判別装置8は1つの情報処理装置で実現される。
【0043】
【発明の効果】
以上説明したように本発明は、声によってデータベースを検索するので、キーワードを全く知らなくても、著名人に関連する公開情報を得ることができる。
【0044】
また、データベースは声紋データによって判別可能に公開情報が蓄積しているので、声で著名人を判別するために莫大な音データを蓄積する必要がなく、高速な検索が可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態のデータ検索システムのシステム構成図である。
【図2】本実施形態のアーティストデータベースのデータ構成図である。
【図3】本発明の実施形態のデータ検索システムのユーザ側の動作を説明するための説明図である。
【図4】本実施形態のサーバのアーティストデータベース検索の動作を示すフローチャートである。
【図5】音声に複数の歌声が含まれる場合のアーティストデータベース検索の動作を示すフローチャートである。
【図6】本発明の他の実施形態のサーバの構成を示すブロック図である。
【符号の説明】
1 パーソナルコンピュータ
2 マイク
3 携帯電話
4 インターネット
5 サーバ
6 アーティストデータベース
7 音声信号処理装置
8 声紋判別装置
111〜114,121〜128 ステップ

Claims (6)

  1. インターネットを介してサーバに接続されたデータベースを検索し、希望する情報を抽出するためのデータ検索方法であって、
    著名人および該著名人が属するグループの公開情報と該著名人の声紋データとを対応付けて前記データベースに予め蓄積しておき、
    前記インターネットを介して情報端末からの音データをサーバで受信し、
    前記音データから少なくとも1人の声を分離し、
    前記声から声紋をそれぞれ判別し、
    判別された前記声紋のデータの中で、前記データベースに対応付けされた公開情報がある声紋のデータのみを選択し、
    選択された前記声紋の著名人が全て同一のグループに属する場合に、そのグループの前記公開情報を抽出し、
    前記選択された声紋の著名人全てが同一のブループに属してはいない場合に、前記選択された声紋の著名人および該著名人が属するグループの全ての前記公開情報を抽出し、
    抽出された前記公開情報を前記サーバから前記情報端末に送信するデータ検索方法。
  2. 前記声は歌声であり、前記公開情報は前記著名人の音楽に関する公開情報である、請求項1記載のデータ検索方法。
  3. ユーザの希望する情報をインターネットを介して提供する情報提供システムであって、
    著名人および該著名人が属するグループの公開情報を該著名人の声紋データと対応付けて蓄積したデータベースと、
    音データに含まれる声を、個々に分離する音声信号処理装置と、
    前記音声信号処理装置で分離された声からそれぞれの声紋を判別する声紋判別装置と、
    前記インターネットを介して音データを受信し、前記音声信号処理装置に出力し、前記声紋判別装置で判別され前記データベースに対応付けされた前記公開情報がある声紋データを選択し、前記選択された声紋の全ての著名人が同一のグループに属する場合に該グループの前記公開情報を抽出し、前記選択された声紋の著名人全てが同一のブループに属してはいない場合に、前記選択された声紋の著名人および該著名人が属するグループの全ての前記公開情報を抽出するサーバと、
    前記音データを前記インターネットを介して前記サーバに送信し、前記データベースから抽出された前記公開情報を前記サーバから前記インターネットを介して受信する情報端末を有する情報提供システム。
  4. 前記声は歌声であり、前記公開情報は前記著名人の音楽に関する公開情報である、請求項3記載の情報提供システム。
  5. ユーザの希望する著名人の公開情報をインターネットを介して提供するためのプログラムであって、
    前記ユーザの情報端末から前記インターネットを介して音データを受信する処理と、
    前記音データから分離された声から判別された少なくとも1つの声紋データの中の、前記データベースに対応付けされた前記公開情報がある声紋データを選択する処理と、
    前記選択された声紋の著名人が全て同一のグループ属する場合に、該グループの前記公開情報を前記データベースから抽出する処理と、
    前記選択された声紋の著名人全てが同一のブループに属してはいない場合に、前記選択された声紋の著名人および該著名人が属するグループの全ての前記公開情報を前記データベースから抽出する処理と、
    前記データベースから抽出された前記公開情報を前記インターネットを介して前記情報端末に送信する処理をコンピュータに実行させるためのプログラムを記録した記録媒体。
  6. 前記声は歌声であり、前記公開情報は著名人の音楽に関する公開情報である、請求項5記載の記録媒体。
JP2000124643A 2000-04-25 2000-04-25 データ検索方法、情報提供システム、および記録媒体 Expired - Fee Related JP3565261B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000124643A JP3565261B2 (ja) 2000-04-25 2000-04-25 データ検索方法、情報提供システム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000124643A JP3565261B2 (ja) 2000-04-25 2000-04-25 データ検索方法、情報提供システム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2001306600A JP2001306600A (ja) 2001-11-02
JP3565261B2 true JP3565261B2 (ja) 2004-09-15

Family

ID=18634738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000124643A Expired - Fee Related JP3565261B2 (ja) 2000-04-25 2000-04-25 データ検索方法、情報提供システム、および記録媒体

Country Status (1)

Country Link
JP (1) JP3565261B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4046176B2 (ja) * 2001-12-28 2008-02-13 財団法人新産業創造研究機構 遺伝子情報に基づく医薬品の適正使用ネットワーク

Also Published As

Publication number Publication date
JP2001306600A (ja) 2001-11-02

Similar Documents

Publication Publication Date Title
Cano et al. Robust sound modeling for song detection in broadcast audio
US6931451B1 (en) Systems and methods for modifying broadcast programming
KR100952186B1 (ko) 악곡들을 식별하는 방법
KR100776495B1 (ko) 오디오 데이터베이스에서의 검색 방법
KR100676863B1 (ko) 음악 검색 서비스 제공 시스템 및 방법
KR100615522B1 (ko) 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법
US20050249080A1 (en) Method and system for harvesting a media stream
US20080075303A1 (en) Equalizer control method, medium and system in audio source player
EP1457889A1 (en) Improved fingerprint matching method and system
US20050044561A1 (en) Methods and apparatus for identifying program segments by detecting duplicate signal patterns
US20100023328A1 (en) Audio Recognition System
JP2007519047A (ja) 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム
CN1636240A (zh) 利用音频内容标识来销售产品的系统
JP2005519336A (ja) 自動オーディオ録音・再生機及びその操作方法
JPWO2002047066A1 (ja) コンテンツ検索装置及び方法並びに通信システム及び方法
US20090271413A1 (en) Trial listening content distribution system and terminal apparatus
Neuschmied et al. Content-based identification of audio titles on the internet
KR20030059503A (ko) 사용자별 선호도에 따른 맞춤형 음악 서비스 시스템 및 방법
EP1403852A1 (en) Voice activated music playback system
WO2003091899A2 (en) Apparatus and method for identifying audio
JPH11282857A (ja) 音声検索装置および記録媒体
JP3565261B2 (ja) データ検索方法、情報提供システム、および記録媒体
JP2009147775A (ja) 番組再生方法、装置、プログラム及び媒体
JPH08249343A (ja) 音声情報取得装置及び音声情報取得方法
JP2006054517A (ja) 情報提示装置、方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040315

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040601

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees