JP3452783B2 - 振り付け採点機能を有するカラオケ装置 - Google Patents

振り付け採点機能を有するカラオケ装置

Info

Publication number
JP3452783B2
JP3452783B2 JP01439498A JP1439498A JP3452783B2 JP 3452783 B2 JP3452783 B2 JP 3452783B2 JP 01439498 A JP01439498 A JP 01439498A JP 1439498 A JP1439498 A JP 1439498A JP 3452783 B2 JP3452783 B2 JP 3452783B2
Authority
JP
Japan
Prior art keywords
karaoke
choreography
human body
data
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01439498A
Other languages
English (en)
Other versions
JPH11212582A (ja
Inventor
浩史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP01439498A priority Critical patent/JP3452783B2/ja
Publication of JPH11212582A publication Critical patent/JPH11212582A/ja
Application granted granted Critical
Publication of JP3452783B2 publication Critical patent/JP3452783B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はカラオケ装置に関
し、より具体的には利用者が振り付けに合わせて踊る所
作を採点する機能を付加したカラオケ装置に関する。
【0002】
【従来の技術】指定したカラオケ楽曲のカラオケデータ
を処理してその楽曲の伴奏音楽と歌詞画像をスピーカー
とディスプレイに同期して出力するカラオケ装置におい
て、歌唱者の歌唱状況を採点してその採点結果として得
点などをディスプレイに表示する歌唱採点機能が付加さ
れたものがある。この歌唱採点機能は、利用者がリクエ
ストしたカラオケ楽曲を歌唱しているとき、該当のカラ
オケデータから抽出した音程とマイクロホンに入力され
た利用者の音程を比較するなどして歌唱状態を解析し、
演奏処理中に逐次出力されるその解析結果を集計するこ
とで歌唱力に見合った得点を付けている。
【0003】
【発明が解決しようとする課題】カラオケの楽しみ方と
して、カラオケ楽曲の元歌歌手に似せて歌うことが挙げ
られる。その場合、歌唱状態のみを似せるよりも振り付
けに合わせて歌唱した方が元歌歌手のイメージを同伴者
にアピールしやすく、場の雰囲気も大きく盛り上げるこ
とができる。
【0004】しかし、従来の採点機能では歌唱力のみに
ついてその優劣を判定するため、元歌歌手にどのくらい
似ているかを判定するためには不十分な機能である。ま
た、歌唱力が劣っている人や振り付けに合わせて踊るこ
とでカラオケを楽しみたい人にとって舞踊演技力で「勝
負」することができれば、このような人たちにとっても
カラオケをさらに楽しむことができる。
【0005】そこで本発明は、利用者の振り付け所作を
採点する機能を備えたカラオケ装置を提供することを目
的としている。
【0006】
【課題を解決するための手段】この発明に係るカラオケ
装置は、つぎの事項(1)〜(6)により特定されるも
のである。 (1)記憶部と、モーション検出部と、採点部とを備
え、カラオケ楽曲の演奏を行うカラオケ装置であること (2)記憶部は、各カラオケ楽曲に個別に対応付けされ
た振り付けデータを記憶すること (3)振り付けデータは、人体部位の位置座標をカラオ
ケ楽曲の演奏時系列に対応させて記述されること (4)モーション検出部は、利用者の人体部位の位置座
標を検出し、その結果を舞踏者所作データとして逐次出
力すること (5)採点部は、カラオケ楽曲の演奏時、当該カラオケ
楽曲に対応付けされた振り付けデータと舞踏者所作デー
タを比較する際、ある時点と次の時点での各人体部位の
座標位置の変化分を計算し、各人体部位の方向、停止を
比較すること (6)採点部は、比較結果に基づいて採点を行うこと
【0007】前記モーション検出手段は、カラオケ利用
者の人体部位に取り付けられたセンサからの出力信号を
検出することで当該人体部位の座標位置データを特定す
るとともに、この座標位置データに基づいて前記舞踊者
所作データを作成して逐次出力することとしてもよい。
【0008】あるいは、前記モーション検出手段は、カ
ラオケ利用者の人体部位に取り付けられたマーカが出力
する適宜な標識信号を受信し、その受信強度や受信方向
などを解析したり、ビデオカメラが捕らえた映像を順次
画像処理したりすることで前記人体部位の座標位置を特
定してもよい。
【0009】さらに、前記振り付けデータを処理するこ
とでコンピュータグラフィクスによる振り付けアニメー
ション画像を生成するための手段と、この振り付けアニ
メーション画像をディスプレイに出力するための手段と
を備えることとしてもよい。
【0010】
【発明の実施の形態】===基本的な構成と動作=== 図1は本発明の実施例におけるカラオケ装置の構成図で
ある。中央制御部11は内部にCPU、RAM、ROM
を含み、この中央制御部11が周辺各構成部に対しデー
タバス60や制御バス70を介して適宜な情報通信や制
御を行うことでカラオケ装置1を統括している。なお、
本実施例においてカラオケ装置1は通信カラオケシステ
ムにおける演奏端末であり、カラオケホスト装置110
より電話回線100を通じて配信されるカラオケデータ
をモデム25を介して受け取り、ハードディスク装置1
2に蓄積していく。
【0011】中央制御部11は、操作パネル17やリモ
コン送信器20から入力された選曲情報を操作制御部1
9を介して受け取ると、適宜なカラオケデータをハード
ディスク装置12より取り出して処理する。カラオケデ
ータ中のMIDIデータなど伴奏音楽生成データはシン
セサイザ13に順次転送され、カラオケ楽曲の伴奏音楽
が生成される。伴奏音楽のオーディオ信号はミキシング
アンプ14でマイクロホン15からの歌唱者の音声信号
と混合されてスピーカ16に出力される。
【0012】また、カラオケデータ中の歌詞描出データ
はビデオRAM21に転送され、伴奏音楽に同期した歌
詞画像が順次ビットマップ展開される。この歌詞画像
は、映像制御部22でビデオCDチェンジャ23からの
背景映像にスーパーインポーズされてディスプレイ24
に出力される。
【0013】カラオケ装置1は、上述した基本機能のほ
かに、カラオケ楽曲に合わせて踊る模範演技者の所作と
利用者の所作とを比較し、振り付けにどれだけ似ている
かを採点する振り付け採点機能を備えている。以下、こ
の振り付け採点機能について説明する。
【0014】===振り付け採点機能=== 振り付け採点機能を達成するために、カラオケ装置1は
モーション検出部40とそれに付随したセンサ41と2
台のCCDカメラ42、および採点部50とを備えてい
る。さらに、カラオケ楽曲に合わせて踊る利用者(舞踊
者)の所作を採点するに当たり、基準となる各カラオケ
楽曲専用の振り付けデータがハードディスク装置12に
格納されている。以下に振り付け採点機能の概略につい
て説明する。
【0015】モーションキャプチャ技術 模範演技者および舞踊者の所作を比較するために、所作
をデータ化する必要がある。所作をデータ化するために
はモーションキャプチャ技術が利用される。この技術
は、人の頭や関節などの人体部位にそれぞれセンサを取
付け、このセンサが位置や移動に応じて出力する信号を
解析することで各センサの3次元的な座標位置を検出す
る。そして、各センサの位置と各人体部位とを人体構造
に合わせて対応づけることで所作をデータ化する。な
お、センサを使用したモーションキャプチャ技術にはセ
ンサの種類に応じて光学式、磁気式などの各種方式があ
る。
【0016】また、センサに代えて光や電波などによる
標識信号を発信するマーカを用い、各マーカからの標識
信号を受信してその強度や方向から各マーカの位置を特
定する方法もある。もちろん、ビデオカメラなどが捕ら
えた映像を順次画像処理することで各人体部位の座標変
化を検出することもできる。
【0017】振り付けデータ 振り付けデータは、模範演技者がカラオケ楽曲に合わせ
て踊ったときの所作を記述しており、模範演技者の各人
体部位の座標位置をカラオケ楽曲の演奏時系列に対応さ
せたものである。図2は振り付けデータの概略構造を示
している。カラオケ楽曲の演奏開始時点から所定の時間
間隔で経過時間(t0、t1、・・・)を設定し、各経
過時間毎に関節や頭などの各人体部位の3次元座標位置
を対応付けしている。また、本実施例では、人体部位と
して頭、両肘、両手、腰、両膝、両足を設定している。
【0018】舞踊者所作データの作成 この振り付けデータを基準として舞踊者の所作を採点す
るために、モーション検出部40は舞踊者の所作を先述
の振り付けデータにおける演奏経過時間(t0、t1、
・・・)毎に検出して適宜な形式の舞踊者所作データと
して出力する。
【0019】実際にカラオケ会場で舞踊者所作データを
作成するために、本実施例では光学式のモーションキャ
プチャ技術を採用している。この方式は、特殊な照明光
を選択的に反射する球状のミラーをセンサとして用い、
そのミラーからの反射光を複数台のビデオカメラで捕ら
え、三角測量の要領で各ミラーの位置を検出する。モー
ション検出部40は2台のCCDカメラ42からの映像
信号を演奏経過時間毎にサンプリングして画像処理し、
各ミラー41の座標位置を検出する。そして、その座標
位置を振り付けデータと同じ座標系に変換して舞踊者所
作データを作成する。作成された舞踊者所作データは舞
踊者の所作に従ってほぼリアルタイムで逐次出力され
る。
【0020】採点情報の出力 採点部50は、モーション検出部40が逐次出力する舞
踊者所作データと振り付けデータとを演奏時系列順に逐
次比較していく。具体的には、それぞれのデータにおい
て、各人体部位についてある演奏時点(tn)とその次
の時点(tn+1)での座標位置の変化分(ベクトル)
を計算し、各人体部位が所定の方向に移動しているか、
あるいは所定時間停止しているかなどを比較すること
で、模範演技者の所作と舞踊者の所作とを比較してい
る。
【0021】そして、2つのデータにおける各人体部位
についてベクトルの差分を演奏時系列順に逐次取得する
とともにその差分に応じて所定の点を加算していく。演
奏終了を認知すると、最終的な集計結果を100点満点
に換算した得点にして採点情報を出力する。次に、採点
機能におけるユーザインタフェース環境とカラオケ装置
1における動作について説明する。
【0022】振り付け採点機能の利用環境と動作 利用者があるカラオケ楽曲をリモコン送信器20などを
使ってリクエスト入力する。このとき、その楽曲の演奏
処理に際して振り付け採点機能を利用する旨のユーザ入
力も行う。中央制御部11はこの一連のユーザ入力を受
け取るとそのカラオケ楽曲を振り付け採点対象楽曲とし
て演奏予約する。
【0023】該当のカラオケ楽曲の演奏順が回ってくる
と、センサ(ミラー)41の装着を促す表示をディスプ
レイ24に出力させ、採点を開始する旨のユーザ入力を
受け取るまで演奏処理を一時休止状態とする。また、該
当の振り付けデータをハードディスク装置12から取り
出して採点部50に転送する。この振り付けデータは採
点部50内部のRAMなど適宜な記憶部に格納される。
【0024】舞踊者は所定のセンサ41を所定の人体部
位にそれぞれ取り付けてカラオケ会場内の所定の位置に
立ち、演奏処理の休止解除指令をリモコン送信器20な
どによって入力する。そして、舞踊者は演奏に合わせて
踊る。
【0025】中央制御部11は該当のカラオケ楽曲の演
奏処理に連動してモーション検出部40と採点部50を
作動させる。演奏中、モーション検出部40は舞踊者所
作データを順次出力し、採点部50はこの舞踊者所作デ
ータと振り付けデータとを逐次比較していく。採点部5
0は、演奏が終了した旨を中央制御部11から受け取る
と、採点情報を返送する。中央制御部11は取得した採
点情報を得点表示としてディスプレイに出力するための
処理と制御を行う。
【0026】===その他=== 上記実施例において振り付けデータ中に設定された人体
部位の数と舞踊者に装着されるセンサの数は同じである
が、振り付けデータに多数の人体部位を設定し、装着す
るセンサ数を適宜増減させることで難易度を自由に設定
できるようにしてもよい(センサ数を多くするほどより
振り付けデータに忠実に踊らないと高得点にならな
い。)。
【0027】模範演技者の所作と舞踊者の所作を振り付
けデータと舞踊者所作データにおける各人体部位のベク
トル方向によって比較して採点しているが、模範演技者
と舞踊者あるいは各舞踊者毎の体型の違いや振り付けデ
ータの作成時と振り付け採点時あるいはカラオケ会場毎
の測定機器の位置関係の違いなどによって測定誤差が生
じ、採点結果に公正さを欠く場合も想定される。このよ
うな場合、例えば人体部位について振り付けデータと舞
踊者所作データにおけるそれぞれの最大変化量を同じに
なるように正規化し、相対値によって採点するなど適宜
に補正することも可能である。
【0028】振り付けデータを利用してコンピュータグ
ラフィクスによるアニメーション表示をすることも可能
である。これによって、舞踊者が前もって振り付けを覚
えておく必要がなくなる。
【0029】なお、振り付け採点機能とともに従来の歌
唱採点機能も付加することは容易であり、カラオケ楽曲
の演奏に際してこの2つの採点機能を使用すれば歌唱と
振り付けの総合得点を表示するなど種々の応用が考えら
れる。
【0030】
【発明の効果】各カラオケ楽曲専用の振り付けに合わせ
て踊る模範演技者の所作を記述した振り付けデータと検
出した利用者の所作に基づいて作成した舞踊者所作デー
タとを比較することで利用者の舞踊演技力に対して得点
をつけることができる。これによって、歌唱力が劣る人
や振り付けに合わせて踊ることでカラオケを楽しむ人に
とってカラオケの娯楽性が増す。
【0031】また、振り付けデータを模範演技者の各人
体部位における座標位置の時間変化とし、舞踊者所作デ
ータをモーションキャプチャ技術によって作成すること
で、模範演技者と舞踊者の所作とを人体部位の座標変化
によって比較することができる。モーションキャプチャ
の方式としてセンサやマーカあるいは画像処理などの種
々の方法があり、カラオケ会場の大きさや形状などに応
じて最適な構成を採用することができる。
【0032】さらに、振り付けデータに基づいてコンピ
ュータグラフィクスによるアニメーション振り付け映像
をディスプレイに表示すれば、振り付けを前もって覚え
る必要がない。
【図面の簡単な説明】
【図1】本発明の実施例におけるカラオケ装置の構成図
である。
【図2】上記カラオケ装置で処理される振り付けデータ
の概略構成図である。
【符号の説明】
1 カラオケ装置 11 中央制御部 12 ハードディスク装置 40 モーション検出部 41 センサ 50 採点部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G10K 15/04 302 G06T 1/00 315

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 記憶部と、モーション検出部と、採点部
    とを備え、カラオケ楽曲の演奏を行うカラオケ装置であ
    って、 記憶部は、各カラオケ楽曲に個別に対応付けされた振り
    付けデータを記憶し、 振り付けデータは、人体部位の位置座標をカラオケ楽曲
    の演奏時系列に対応させて記述され、 モーション検出部は、利用者の人体部位の位置座標を検
    出し、その結果を舞踏者所作データとして逐次出力し、 採点部は、 カラオケ楽曲の演奏時、当該カラオケ楽曲に対応付けさ
    れた振り付けデータと舞踏者所作データを比較する際、
    ある時点と次の時点での各人体部位の座標位置の変化分
    を計算し、各人体部位の方向、停止を比較し、 比較結果に基づいて採点を行うカラオケ装置。
  2. 【請求項2】 モーション検出部は、利用者の人体部位
    に取り付けられたセンサからの出力信号により人体部位
    の位置座標を検出する 請求項1に記載のカラオケ装置。
  3. 【請求項3】 モーション検出部は、利用者の人体部位
    に取り付けられたマーカが出力する標識信号を受信し、
    その強度や方向などを解析することにより人体部位の位
    置座標を検出する 請求項1に記載のカラオケ装置。
  4. 【請求項4】 モーション検出部は、ビデオカメラが捕
    らえた利用者の映像を順次画像処理することにより人体
    部位の位置座標を検出する 請求項1に記載のカラオケ装置。
  5. 【請求項5】 振り付けデータに基づいて振り付けアニ
    メーション画像を生成する手段と、この振り付けアニメ
    ーション画像をディスプレイに出力する手段を備える 請求項1〜4に記載のカラオケ装置。
JP01439498A 1998-01-27 1998-01-27 振り付け採点機能を有するカラオケ装置 Expired - Fee Related JP3452783B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01439498A JP3452783B2 (ja) 1998-01-27 1998-01-27 振り付け採点機能を有するカラオケ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01439498A JP3452783B2 (ja) 1998-01-27 1998-01-27 振り付け採点機能を有するカラオケ装置

Publications (2)

Publication Number Publication Date
JPH11212582A JPH11212582A (ja) 1999-08-06
JP3452783B2 true JP3452783B2 (ja) 2003-09-29

Family

ID=11859852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01439498A Expired - Fee Related JP3452783B2 (ja) 1998-01-27 1998-01-27 振り付け採点機能を有するカラオケ装置

Country Status (1)

Country Link
JP (1) JP3452783B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162787A1 (ja) 2013-04-02 2014-10-09 Necソリューションイノベータ株式会社 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4108887B2 (ja) * 1999-10-28 2008-06-25 株式会社第一興商 ダンスゲーム機能を付加したカラオケ装置
KR20000024237A (ko) * 2000-01-31 2000-05-06 김완호 댄스 평가 및 지도 기능을 갖는 노래 반주 시스템 및 방법
KR100412932B1 (ko) * 2000-10-11 2003-12-31 주식회사 닷에이스 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법
KR100438044B1 (ko) * 2001-02-14 2004-07-03 도선미 오디션 기능이 첨가된 디브이디 동영상 음악 반주 장치 및방법
KR100430840B1 (ko) * 2001-11-19 2004-05-10 쓰리에스휴먼 주식회사 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체
JP2004208995A (ja) * 2002-12-30 2004-07-29 Casio Comput Co Ltd 競技用審判支援装置、競技結果表示装置及び競技用審判支援システム
JP4826509B2 (ja) * 2007-02-28 2011-11-30 ブラザー工業株式会社 カラオケ装置
US8380119B2 (en) * 2008-05-15 2013-02-19 Microsoft Corporation Gesture-related feedback in eletronic entertainment system
JP2010015325A (ja) * 2008-07-02 2010-01-21 Dainippon Printing Co Ltd 回答集計方法およびシステム
JP2010137097A (ja) * 2010-03-23 2010-06-24 Namco Bandai Games Inc ゲーム装置および情報記憶媒体
KR101276734B1 (ko) * 2011-10-10 2013-06-20 (주)레이딕스텍 신체 각부의 유연성 테스트 시스템 및 유연성 테스트 방법
JP2014133015A (ja) * 2013-01-11 2014-07-24 Akita Univ 身体動作学習支援装置
JP6431259B2 (ja) * 2013-11-19 2018-11-28 日本コントロールシステム株式会社 カラオケ装置、ダンス採点方法、およびプログラム
JP6186255B2 (ja) * 2013-11-20 2017-08-23 株式会社第一興商 手話の採点に特徴を有するカラオケ装置
JP6428066B2 (ja) * 2014-09-05 2018-11-28 オムロン株式会社 採点装置及び採点方法
JP6438869B2 (ja) * 2015-09-16 2018-12-19 株式会社エクシング カラオケ装置及びカラオケ用プログラム
CN106775102A (zh) * 2016-12-29 2017-05-31 王卫达 电子感应装置及系统
CN107978308A (zh) * 2017-11-28 2018-05-01 广东小天才科技有限公司 一种k歌评分方法、装置、设备及存储介质
JP7368178B2 (ja) * 2019-10-25 2023-10-24 エイベックス株式会社 評価装置、評価方法、及びプログラム
CN112272324B (zh) * 2020-10-15 2023-03-14 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162787A1 (ja) 2013-04-02 2014-10-09 Necソリューションイノベータ株式会社 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US10803762B2 (en) 2013-04-02 2020-10-13 Nec Solution Innovators, Ltd Body-motion assessment device, dance assessment device, karaoke device, and game device

Also Published As

Publication number Publication date
JPH11212582A (ja) 1999-08-06

Similar Documents

Publication Publication Date Title
JP3452783B2 (ja) 振り付け採点機能を有するカラオケ装置
TWI470473B (zh) 電子娛樂系統中之相關姿勢反饋
JP4247626B2 (ja) 再生装置および再生方法
WO2009007512A1 (en) A gesture-controlled music synthesis system
WO1998019294A2 (en) A method and apparatus for real-time correlation of a performance to a musical score
JP2005103240A (ja) プログラム、情報記憶媒体、及びゲームシステム
CN112487940B (zh) 视频的分类方法和装置
US6878869B2 (en) Audio signal outputting method and BGM generation method
KR20120081874A (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
JP2007072194A (ja) 人型映像制御装置
JP6268287B2 (ja) 動画像生成装置、動画像生成方法、プログラム
US9601118B2 (en) Amusement system
JP3817878B2 (ja) 制御装置およびカラオケ装置
JP2001215963A (ja) 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
JP2014023745A (ja) ダンス教習装置
Siegel Dancing the music: Interactive dance and music
JP3588883B2 (ja) カラオケ装置
JP5928279B2 (ja) 運動支援装置及びプログラム
JP5486941B2 (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
JP2007271739A (ja) 合奏パラメータ表示装置
JP2021140065A (ja) 処理システム、音響システム及びプログラム
JP5030668B2 (ja) 背景映像演出機能を備えるカラオケシステム
WO2016017623A1 (ja) リファレンス表示装置、リファレンス表示方法およびプログラム
JP2002035191A (ja) 踊り採点装置。
KR101400258B1 (ko) 음성 인식을 이용한 이미지 표시 방법

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees