JP4817388B2 - 楽曲情報算出装置及び楽曲再生装置 - Google Patents
楽曲情報算出装置及び楽曲再生装置 Download PDFInfo
- Publication number
- JP4817388B2 JP4817388B2 JP2006528621A JP2006528621A JP4817388B2 JP 4817388 B2 JP4817388 B2 JP 4817388B2 JP 2006528621 A JP2006528621 A JP 2006528621A JP 2006528621 A JP2006528621 A JP 2006528621A JP 4817388 B2 JP4817388 B2 JP 4817388B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- story
- calculating
- node
- inflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Description
楽曲の構成を示す楽曲情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、楽曲の音響信号を入力する音響信号入力ステップと、少なくとも楽曲の音量を示す第1音響パラメータを音響信号から算出する音響パラメータ算出ステップと、楽曲の抑揚を示す抑揚度を少なくとも第1音響パラメータに基づいて算出する抑揚度算出ステップと、少なくとも第1音響パラメータに基づいて、楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、算出されたストーリーノードとストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとをコンピュータに実行させるプログラムを記録している。
図1は、本発明の実施の形態1に係る楽曲情報算出装置の構成を示すブロック図である。図1において楽曲情報算出装置1は、音響信号入力手段11と、音響パラメータ算出手段12と、抑揚度算出手段13と、評価関数算出手段14と、ストーリーノード判定手段15と、ストーリー値算出手段16、判定規則格納手段17とを中心に構成される。楽曲情報算出装置は、例えばコンピュータの一部として実現される。
tlv(t)=rms(t)×zcr(t) (式1)
(式1)に示すように、「音量(短時間パワー平均値)が大きく、音色(ゼロクロス値)が高い」部分は、曲の盛り上がる部分であると判断することができる。このように、短時間パワー平均値とゼロクロス値とを乗じた値により、再生時刻における曲の盛り上がり度合いを把握することができるとともに、1楽曲全体に渡る楽曲の抑揚を把握することができる。図2(C)は、抑揚度算出手段13の出力信号の時間変化を示す。図2(C)は、抑揚度の数値が増大するに従い、楽曲は音楽的に高揚していることを示す。
fx1(t)=−(rms(t)−rms(t−1)) (式2)
一般に、音楽的な境界となるストーリーノードでは音量が大きく変動すると考えられる。したがって、評価関数として短時間パワー平均値の変化量を算出することにより、音楽的な境界、すなわちストーリーノードを検出することができる。図2(D)は、評価関数算出手段14の出力信号の時間変化を示す。図2(D)に示す例では、1楽曲中には評価関数の値が大きく変動する箇所が複数存在する。
(1)fx1(t)が極大値を示す再生時刻をノード候補とし、fx1の値を優先度とする。
(2)優先度順にノード候補を算出する際、算出対象となるノード候補の前後5秒間に、より優先度の高いノード候補が存在する場合には、算出対象となるノード候補は、ノード候補から除外される。
(3)上記(2)の手順でノードを順次算出し、あらかじめ定めた上限個数に達したらノード判定処理を終了する。
図6は、実施の形態2に係る楽曲再生装置500の構成を示す概略図である。図6において、楽曲再生装置500は楽曲データ蓄積手段51と、楽曲情報算出手段52と、演出パターン生成手段53と、演出テーブル格納手段54と、再生制御手段55と、楽曲再生手段56と、同期手段57と、画像データ蓄積手段58と、映像生成手段59と、表示手段510とを備える。この楽曲再生装置500は、楽曲の再生に合わせて画像を表示する装置であって、実施の形態1に係る方法によって得られるストーリー情報を用いて、画像の切り替えおよび/または編集等を行う装置である。
tlv(t)=rms(t) (式3)
これにより、式1を用いる場合と比較して演算量を抑えることができる。
11 音響信号入力手段
12 音響パラメータ算出手段
13 抑揚度算出手段
14 評価関数算出手段
15 ストーリーノード判定手段
16 ストーリー値算出手段
17 判定規則格納手段
51 楽曲データ蓄積手段
52 楽曲情報算出手段
53 演出パターン生成手段
54 演出テーブル格納手段
55 再生制御手段
56 楽曲再生手段
57 同期手段
58 画像データ蓄積手段
59 映像生成手段
500 楽曲再生装置
510 表示手段
Claims (14)
- 楽曲の音響信号を入力する音響信号入力手段と、
少なくとも前記楽曲の音量を示す第1音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、
前記楽曲の抑揚を示す抑揚度を少なくとも前記第1音響パラメータに基づいて算出する抑揚度算出手段と、
少なくとも前記第1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、
前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備えることを特徴とする、楽曲情報算出装置。 - 前記ストーリーノード算出手段は、前記第1音響パラメータの値の変化に基づいてストーリーノードを算出することを特徴とする、請求項1に記載の楽曲情報算出装置。
- 前記ストーリー情報算出手段は、前記算出された抑揚度に基づいてストーリーノードの種類を算出し、前記ストーリーノードと前記ストーリーノードの時刻における抑揚度と前記ストーリーノードの種類との対応を示す情報を、楽曲の構成を示すストーリー情報として算出することを特徴とする、請求項1に記載の楽曲情報算出装置。
- 前記音響パラメータ算出手段は、前記楽曲の音色を示す第2音響パラメータを前記音響信号からさらに算出し、
前記抑揚度算出手段は、前記第1音響パラメータと前記第2音響パラメータとに基づいて抑揚度を算出することを特徴とする、請求項1に記載の楽曲情報算出装置。 - 前記第1音響パラメータは、音響信号の短時間パワー平均値であり、
前記第2音響パラメータは、音響信号のゼロクロス値であり、
前記抑揚度算出手段は、前記抑揚度として音響信号の短時間パワー平均値とゼロクロス値との積を算出することを特徴とする、請求項4に記載の楽曲情報算出装置。 - 前記第2音響パラメータは、音響信号のゼロクロス値、メル周波数ケプストラム係数、およびスペクトラムセントロイドのうちいずれか1つであることを特徴とする、請求項4に記載の楽曲情報算出装置。
- 楽曲に合わせて映像を再生する楽曲再生装置であって、
楽曲の音響信号を蓄積する音響信号蓄積手段と、
画像データを蓄積する画像データ蓄積手段と、
少なくとも前記楽曲の音量を示す第1音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、
前記楽曲の抑揚を示す抑揚度を少なくとも前記第1音響パラメータに基づいて算出する抑揚度算出手段と、
少なくとも前記第1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、
前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段と、
前記楽曲の音響信号を再生する楽曲再生手段と、
前記画像データを用いて映像を生成する映像生成手段と、
前記映像生成手段によって生成された映像を前記楽曲再生手段による楽曲の再生に同期して表示する表示手段とを備え、
前記映像生成手段は、前記ストーリー情報に含まれるストーリーノードにより定められる時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの時点における抑揚度に基づいて当該所定の変化の種類を決定する、楽曲再生装置。 - 楽曲のストーリーノードの種類と、当該種類のストーリーノードにより定められる時点で映像に与えるべき変化の種類との対応を示す演出テーブルを格納する演出テーブル格納手段をさらに備え、
前記ストーリー情報算出手段は、ストーリーノードの種類を、当該ストーリーノードの時点における抑揚度に基づいて決定し、ストーリーノードと当該ストーリーノードの時刻における抑揚度と当該ストーリーノードの種類との対応を示す情報をストーリー情報として算出し、
前記映像生成手段は、前記ストーリー情報に含まれるストーリーノードの時点で映像の内容に所定の変化を与えるように映像を生成し、当該ストーリーノードの種類に基づいて当該所定の変化の種類を決定する、請求項7に記載の楽曲再生装置。 - 前記演出テーブル格納手段は、楽曲終了となるストーリーノードとフェードアウト処理との対応を含む演出テーブルを格納し、
前記映像生成手段は、前記算出されたストーリーノードの種類が楽曲終了となるストーリーノードの終了時点から所定時間前の時点より映像のフェードアウト処理を実行することを特徴とする、請求項8に記載の楽曲再生装置。 - 前記映像生成手段によって実行される、映像の内容に変化を与える処理は、フェードイン処理、フェードアウト処理、画像の切替処理および画像の回転処理のうちいずれか1つであることを特徴とする、請求項7に記載の楽曲再生装置。
- 楽曲の音響信号を入力する音響信号入力ステップと、
少なくとも前記楽曲の音量を示す第1音響パラメータを前記音響信号から算出する音響パラメータ算出ステップと、
前記楽曲の抑揚を示す抑揚度を少なくとも前記第1音響パラメータに基づいて算出する抑揚度算出ステップと、
少なくとも前記第1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、
前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出ステップとを備えることを特徴とする、楽曲情報算出方法。 - 楽曲の音響信号を入力する音響信号入力手段と、
少なくとも前記楽曲の音量を示す第1音響パラメータを前記音響信号から算出する音響パラメータ算出手段と、
前記楽曲の抑揚を示す抑揚度を少なくとも前記第1音響パラメータに基づいて算出する抑揚度算出手段と、
少なくとも前記第1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出手段と、
前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を、楽曲の構成を示すストーリー情報として算出するストーリー情報算出手段とを備えることを特徴とする、楽曲情報算出回路。 - 楽曲の構成を示すストーリー情報を算出する楽曲情報算出装置のコンピュータに実行させるためのプログラムであって、
楽曲の音響信号を入力する音響信号入力ステップと、
少なくとも前記楽曲の音量を示す第1音響パラメータを前記音響信号から算出する音響パラメータ算出ステップと、
前記楽曲の抑揚を示す抑揚度を少なくとも前記第1音響パラメータに基づいて算出する抑揚度算出ステップと、
少なくとも前記第1音響パラメータに基づいて、前記楽曲の構成が変化する時点を示すストーリーノードを算出するストーリーノード算出ステップと、
前記算出されたストーリーノードと前記ストーリーノードの時刻における抑揚度との対応を少なくとも示す情報を前記ストーリー情報として算出するストーリー情報算出ステップとを前記コンピュータに実行させる、プログラム。 - 請求項13に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006528621A JP4817388B2 (ja) | 2004-06-30 | 2005-06-24 | 楽曲情報算出装置及び楽曲再生装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004193645 | 2004-06-30 | ||
JP2004193645 | 2004-06-30 | ||
JP2006528621A JP4817388B2 (ja) | 2004-06-30 | 2005-06-24 | 楽曲情報算出装置及び楽曲再生装置 |
PCT/JP2005/011622 WO2006003848A1 (ja) | 2004-06-30 | 2005-06-24 | 楽曲情報算出装置及び楽曲再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2006003848A1 JPWO2006003848A1 (ja) | 2008-04-17 |
JP4817388B2 true JP4817388B2 (ja) | 2011-11-16 |
Family
ID=35782659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006528621A Expired - Fee Related JP4817388B2 (ja) | 2004-06-30 | 2005-06-24 | 楽曲情報算出装置及び楽曲再生装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7446252B2 (ja) |
JP (1) | JP4817388B2 (ja) |
CN (1) | CN1950879B (ja) |
WO (1) | WO2006003848A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4961300B2 (ja) * | 2006-08-14 | 2012-06-27 | 三洋電機株式会社 | 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム |
JP4871182B2 (ja) * | 2007-03-23 | 2012-02-08 | パイオニア株式会社 | 楽曲種類判別装置、楽曲種類判別方法、および楽曲種類判別プログラム |
JP2008241850A (ja) * | 2007-03-26 | 2008-10-09 | Sanyo Electric Co Ltd | 録音または再生装置 |
JP4877811B2 (ja) * | 2007-04-12 | 2012-02-15 | 三洋電機株式会社 | 特定区間抽出装置、音楽記録再生装置、音楽配信システム |
JP4864847B2 (ja) * | 2007-09-27 | 2012-02-01 | 株式会社東芝 | 音楽検出装置および音楽検出方法 |
JP5282548B2 (ja) * | 2008-12-05 | 2013-09-04 | ソニー株式会社 | 情報処理装置、音素材の切り出し方法、及びプログラム |
KR20150024650A (ko) * | 2013-08-27 | 2015-03-09 | 삼성전자주식회사 | 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치 |
CN107124624B (zh) * | 2017-04-21 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 视频数据生成的方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5048390A (en) * | 1987-09-03 | 1991-09-17 | Yamaha Corporation | Tone visualizing apparatus |
JPH06118982A (ja) * | 1992-10-02 | 1994-04-28 | Matsushita Electric Ind Co Ltd | 画像発生装置 |
JPH08265660A (ja) * | 1995-03-20 | 1996-10-11 | Nippon Telegr & Teleph Corp <Ntt> | 音楽管理方法および装置 |
JPH09230857A (ja) * | 1996-02-23 | 1997-09-05 | Yamaha Corp | 演奏情報分析装置及びそれを用いた自動編曲装置 |
JP2000148107A (ja) * | 1998-11-09 | 2000-05-26 | Olympus Optical Co Ltd | 画像処理装置および記録媒体 |
JP2004191780A (ja) * | 2002-12-12 | 2004-07-08 | Sony Corp | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム |
JP2004240077A (ja) * | 2003-02-05 | 2004-08-26 | Yamaha Corp | 楽音制御装置、映像制御装置及びプログラム |
JP2005107335A (ja) * | 2003-09-30 | 2005-04-21 | Yamaha Corp | カラオケ装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU1245333A1 (ru) * | 1985-01-04 | 1986-07-23 | Казанский Ордена Трудового Красного Знамени И Ордена Дружбы Народов Авиационный Институт Им.А.Н.Туполева | Устройство дл светового сопровождени музыки |
JPH04134496A (ja) * | 1990-09-27 | 1992-05-08 | Kawai Musical Instr Mfg Co Ltd | 電子楽器の表示装置 |
JP3077192B2 (ja) * | 1990-11-08 | 2000-08-14 | ヤマハ株式会社 | 演奏環境に対応する電子楽器 |
US5286908A (en) * | 1991-04-30 | 1994-02-15 | Stanley Jungleib | Multi-media system including bi-directional music-to-graphic display interface |
JP3733632B2 (ja) * | 1996-01-31 | 2006-01-11 | ヤマハ株式会社 | カラオケの背景画像表示装置 |
US5852251A (en) * | 1997-06-25 | 1998-12-22 | Industrial Technology Research Institute | Method and apparatus for real-time dynamic midi control |
JPH1173193A (ja) * | 1997-08-29 | 1999-03-16 | Brother Ind Ltd | カラオケ装置 |
JP3419290B2 (ja) * | 1997-12-27 | 2003-06-23 | ヤマハ株式会社 | 楽音・画像発生装置および記憶媒体 |
JP3982787B2 (ja) * | 1999-10-08 | 2007-09-26 | ヤマハ株式会社 | コンテンツデータ配布方法および電話端末装置 |
JP2002023716A (ja) | 2000-07-05 | 2002-01-25 | Pfu Ltd | プレゼンテーションシステムおよび記録媒体 |
US20020154787A1 (en) * | 2001-02-20 | 2002-10-24 | Rice Richard F. | Acoustical to optical converter for providing pleasing visual displays |
JP3680774B2 (ja) * | 2001-08-27 | 2005-08-10 | ヤマハ株式会社 | 色相により利得設定値を表示するための表示制御装置 |
-
2005
- 2005-06-24 WO PCT/JP2005/011622 patent/WO2006003848A1/ja active Application Filing
- 2005-06-24 US US11/587,769 patent/US7446252B2/en not_active Expired - Fee Related
- 2005-06-24 JP JP2006528621A patent/JP4817388B2/ja not_active Expired - Fee Related
- 2005-06-24 CN CN2005800138947A patent/CN1950879B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5048390A (en) * | 1987-09-03 | 1991-09-17 | Yamaha Corporation | Tone visualizing apparatus |
JPH06118982A (ja) * | 1992-10-02 | 1994-04-28 | Matsushita Electric Ind Co Ltd | 画像発生装置 |
JPH08265660A (ja) * | 1995-03-20 | 1996-10-11 | Nippon Telegr & Teleph Corp <Ntt> | 音楽管理方法および装置 |
JPH09230857A (ja) * | 1996-02-23 | 1997-09-05 | Yamaha Corp | 演奏情報分析装置及びそれを用いた自動編曲装置 |
JP2000148107A (ja) * | 1998-11-09 | 2000-05-26 | Olympus Optical Co Ltd | 画像処理装置および記録媒体 |
JP2004191780A (ja) * | 2002-12-12 | 2004-07-08 | Sony Corp | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム |
JP2004240077A (ja) * | 2003-02-05 | 2004-08-26 | Yamaha Corp | 楽音制御装置、映像制御装置及びプログラム |
JP2005107335A (ja) * | 2003-09-30 | 2005-04-21 | Yamaha Corp | カラオケ装置 |
Also Published As
Publication number | Publication date |
---|---|
US20070256548A1 (en) | 2007-11-08 |
WO2006003848A1 (ja) | 2006-01-12 |
US7446252B2 (en) | 2008-11-04 |
JPWO2006003848A1 (ja) | 2008-04-17 |
CN1950879B (zh) | 2011-03-30 |
CN1950879A (zh) | 2007-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4817388B2 (ja) | 楽曲情報算出装置及び楽曲再生装置 | |
US8492637B2 (en) | Information processing apparatus, musical composition section extracting method, and program | |
US7563975B2 (en) | Music production system | |
US20050190199A1 (en) | Apparatus and method for identifying and simultaneously displaying images of musical notes in music and producing the music | |
EP2772904A1 (en) | Apparatus and method for detecting music chords and generation of accompaniment | |
JP2008139426A (ja) | 評価用データのデータ構造、カラオケ装置及び記録媒体 | |
JP4650182B2 (ja) | 自動伴奏装置及びプログラム | |
JP2007310204A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
JP5151245B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP7367835B2 (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
JP2014035436A (ja) | 音声処理装置 | |
JP3750533B2 (ja) | 波形データ録音装置および録音波形データ再生装置 | |
JP2007322544A (ja) | 楽曲再生装置 | |
CN112825244B (zh) | 配乐音频生成方法和装置 | |
JP2007086571A (ja) | 曲情報表示装置及びプログラム | |
JP5838563B2 (ja) | 電子楽器及びプログラム | |
JPH11338480A (ja) | カラオケ装置 | |
JPH1115481A (ja) | カラオケ装置 | |
JPH08227296A (ja) | 音声信号処理装置 | |
JP4534926B2 (ja) | 画像表示装置及びプログラム | |
JP2007225916A (ja) | オーサリング装置、オーサリング方法およびプログラム | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム | |
JP4720858B2 (ja) | カラオケ装置 | |
JP4862772B2 (ja) | 採点機能を有するカラオケ装置 | |
JP2004206009A (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110804 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110826 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4817388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |