JP5243042B2 - 音楽編集装置及び音楽編集方法 - Google Patents
音楽編集装置及び音楽編集方法 Download PDFInfo
- Publication number
- JP5243042B2 JP5243042B2 JP2007549214A JP2007549214A JP5243042B2 JP 5243042 B2 JP5243042 B2 JP 5243042B2 JP 2007549214 A JP2007549214 A JP 2007549214A JP 2007549214 A JP2007549214 A JP 2007549214A JP 5243042 B2 JP5243042 B2 JP 5243042B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- beat
- remix
- metadata
- tempo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000012545 processing Methods 0.000 claims description 78
- 230000001360 synchronised effect Effects 0.000 claims description 78
- 230000005236 sound signal Effects 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 39
- 230000000694 effects Effects 0.000 description 31
- 230000033764 rhythmic process Effects 0.000 description 27
- 238000003860 storage Methods 0.000 description 26
- 239000000463 material Substances 0.000 description 23
- 230000006870 function Effects 0.000 description 13
- 239000011295 pitch Substances 0.000 description 11
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical group N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 4
- 238000005562 fading Methods 0.000 description 3
- 241001342895 Chorus Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000544061 Cuculus canorus Species 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/105—Composing aid, e.g. for supporting creation, edition or modification of a piece of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/131—Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
- G10H2210/136—Morphing interpolation, i.e. interpolating in pitch, harmony or time, tempo or rhythm, between two different musical pieces, e.g. to produce a new musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/375—Tempo or beat alterations; Music timing control
- G10H2210/391—Automatic tempo adjustment, correction or control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/016—File editing, i.e. modifying musical data files or streams as such
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/061—MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/066—MPEG audio-visual compression file formats, e.g. MPEG-4 for coding of audio-visual objects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/091—Info, i.e. juxtaposition of unrelated auxiliary information or commercial messages with or between music files
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
- G10H2240/295—Packet switched network, e.g. token ring
- G10H2240/305—Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Electrophonic Musical Instruments (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【0001】
本発明は、例えば、楽曲を楽曲パート、小節などに細分化することにより得られる音楽コンテンツなどを素材として用いて編集することにより、新たな楽曲(音楽コンテンツ)を生成する音楽編集装置及び音楽編集方法に関する。
【背景技術】
【0002】
メモリ型オーディオの普及とともにユーザは大量の楽曲を持ち歩くことが日常的になった。大量の楽曲をメディアの交換無く連続して聴けるメモリ型オーディオにおいては、もともとのCDアルバム単位で聴くだけではなく、すべての楽曲をアルバムをまたいでシャッフルして聴いたり、自分の気に入った曲だけをプレイリストとして再構成して聴くというスタイルが広まっている。予めアルバムに録音されている順番を守らずに、ユーザが自分で聴きたい曲を聴きたい順番で聴く自由が広まったとも言える。
【0003】
しかしながら、1曲1曲については先頭から最後まで聴くことが前提となっており、また曲と曲の間には無音部分ができてしまう。すなわち、曲は1曲という単位が最小になっており、その1曲で完結する聴き方しかできない。そのため、そこで集中、あるいはいわゆるノリが途切れてしまうことがあるので、ある一定のテンションを保ったまま楽曲を聴き続けることが難しい。
【0004】
第32図には楽曲Aと楽曲Bを用いた従来の音楽再生を示す。二つの楽曲はそれぞれ楽曲の持つオリジナルのテンポで再生される。もちろん、曲間には無音部分ができてしまう。
【0005】
そこで、複数の音楽素材を組み合わせて編集する技術が考えられた。特開2003−44046号公報には、キーボードやマウスを介したユーザ入力に応じて、複数の音素材を組み合わせて楽曲を対話的に編集したり再生して楽しむ技術が開示されている。キーボードの各キーに対して、サウンドパターンやワンショットなどの音片や、これら音片に適用するエフェクトなどからなるチップが割り当てられている。ユーザがキーを押下することによって、この押下キーに対応するチップが実行される。複数のキーを同時に押下操作することによって、該当するチップを合成出力する。また、各キーを順に押下してチップを時系列的に組み合わせて楽曲を構成する。
【0006】
しかし、特開2003−44046号公報の技術によっても、例えばディスクジョッキー(DJ)が行うリミックスのように曲の一部分を他の曲とつないで複数の曲からあたかも一つの曲を、ビートを揃えて繋ぐように再構成するということは困難であった。DJは現在では一般的な職業であり、リミックス音楽もそれ専用のレーベル会社がありそれを楽しんでいるユーザ層も規模が大きくなってきている。
【0007】
そこで、音楽編集装置における、音楽のリズムに着目した場合、現在再生している楽曲のリズムにリアルタイムに追従しながら、プロフェッショナルのDJが行なうように、各楽曲のリズムをうまく揃えながら、順または同時に複数の楽曲を再生することが望まれる。
【0008】
現在、DJと呼ばれる職種の人達は、レコード盤のターンテーブルを用いながら楽曲の再生開始タイミングや楽曲テンポを制御して、あたかもそれらが一連の曲であるかのように複数の楽曲を順につないで再生する事が出来る。一般にリミックスと呼ばれる手法である。このようなリズム同期再生を行なう事により、単純な音楽の聴き方から一歩進んだ新しい音楽の聴き方として、新たな感覚や感動をリスナーに与えている。それ故、近年、このDJリミックスという手法は新たな音楽表現手法として、一般化してきている。
【0009】
しかし、上記DJによる再生手法を機械により自動化するのは現在のところ極めて困難である。なぜなら、音楽のリズムやビートやテンポの感覚といったものは人間にとっては容易に知覚可能な感覚量であるが、機械にとってはその認識は極めて困難なものであるからである。また例え、自動認識技術があったとしても、その精度は100%に満たず、完璧性を要求される音楽アレンジという面に対しては実用性に乏しい。機械が音楽の構造そのものを理解する事ができないという結果、DJプレイのような音楽構造に根ざしたフレキシブルなアレンジ再生を自動で行なう事は出来ない。
【発明の概要】
【発明が解決しようとする課題】
【0010】
以上のような背景を鑑み、本発明は以下の問題や課題を解決するものである。DJは現在再生中の楽曲のビートや小節に合わせて、次の楽曲のビートや小節を揃えながらシームレスに再生開始する事が出来る。しかし、機械はビートや小節を認識する事が出来ないので、それが自動で出来ない。
【0011】
DJは現在再生中の楽曲のテンポに合わせて、次の楽曲のテンポを揃えながらシームレスに再生開始する事が出来る。機械はテンポを認識する事が出来ないので、それが自動で出来ない。
【0012】
DJは現在再生中の楽曲のテンポが揺らいでいても、次の楽曲のテンポを揃えながらシームレスに再生開始する事が出来る。機械はテンポを認識する事が出来ないので、それが自動で出来ない。
【0013】
DJは現在再生中の楽曲のメロディに合わせて、次の楽曲のメロディを揃えながらシームレスに再生開始する事が出来る。機械はメロディを認識する事が出来ないので、それが自動で出来ない。
【0014】
本発明は、上記実情に鑑みてなされたものであり、楽曲のビートやメロディ構造を予め記述したタイムラインメタデータというもの用い、これを利用する事により、自動的かつ低負荷にて自動DJリミックスプレイを実現する音楽編集装置の提供を目的とする。
【課題を解決するための手段】
【0015】
本発明に係る音楽編集装置は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行うリミックス処理部と、
マスタービートを生成し、このマスタービートをリミックス処理部に送るとともに、リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生する同期再生制御部と、
同期再生制御部にて再生された楽曲を混合する混合部とを備え、
同期再生制御部は、複数の楽曲の音声信号を生成する複数系統の音声信号生成部を備え、
複数系統の音声信号生成部ごとに、メタデータから生成したビートシンク信号とマスタービート信号との位相を比較する位相比較器と、位相比較器の位相比較出力を積分する積分回路と、積分回路の積分出力に基づいてテンポを補正するタイムストレッチ部とを備え、
複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、デコーダを備える。
【0016】
本発明に係る音楽編集方法は、課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行い、
マスタービートを生成し、このマスタービートをリミックス処理部に送るとともに、リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生し、
再生された楽曲を混合し、
複数系統の音声信号生成部ごとに複数の楽曲の音声信号を生成し、
複数系統の音声信号生成部ごとに、メタデータから生成したビートシンク信号とマスタービート信号との位相を比較し、位相比較出力を積分し、積分出力に基づいてテンポを補正し、
複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、圧縮音声信号をデコードする。
【発明の効果】
【0017】
本発明によれば、異なるテンポや異なるリズムの楽曲同士をリミックス再生する場合、元の音楽ビートに揺れがあっても、互いに一定のテンポや一定のリズムとなるよう、リアルタイムかつ自動的にビート同期再生することができる。
【0018】
したがって、本発明によれば、リアルタイムかつ自動的に音楽のDJリミックスプレイができるため、音楽再生装置において新たな音楽の聴き方を提供する事が可能となる。また発展系として、音楽のビートと他のメディアのシンクロが容易となり、新たなエンターテイメントを創造できる。
【図面の簡単な説明】
【0019】
【第1図】本発明による装置、方法の一実施の形態が適用される音楽編集装置1のブロック図である。
【第2図】同期再生制御部と音声ミキシング部の詳細な構成を示すブロック図である。
【第3図】音楽編集装置の機能ブロック図である。
【第4図】音楽編集装置がCPUによって実行する音楽編集プログラムの処理手順を示すフローチャートである。
【第5図】時間軸上のメタデータを示す図である。
【第6図】時間軸メタデータの具体例を示す図である。
【第7図】時間軸メタデータの他の具体例を示す図である。
【第8図】メタデータの格納方法を示す図である。
【第9図】リミックスパターンファイルの具体例を示す図である。
【第10図】効果音を用いたクロスフェードによるつなぎを説明するための図である。
【第11図】本発明による音楽再生を説明するための図である。
【第12図】クロスフェードによるつなぎを説明するための図である。
【第13図】カットインによるつなぎを説明するための図である。
【第14図】効果音を用いたつなぎを説明するための図である。
【第15図】同時同期再生を説明するための図である。
【第16図】エフェクトの適用を説明するための図である。
【第17図】部分再生を説明するための図である。
【第18図】第10図に示した楽曲Aと楽曲BとをクロスフェードでSEを挟むように編集し再生することを可能とする同期再生部の構成を示す図である。
【第19図】本発明の主要部となる同期再生制御部とリミックス処理部の機能を説明するための図である。
【第20図】ビート同期再生の仕組みを示す図である。
【第21図】詳細なビート同期再生タイミングチャートを示す図である。
【第22図】ある楽曲のテンポの変動例を示す図である。
【第23図】テンポの変動に伴う課題を説明するための図である。
【第24図】タイムラインメタデータの記述例を示す図である。
【第25図】常に変動する音楽ビートに同期して再生するシステムの構成図である。
【第26図】タイムラインメタデータを利用した同期方法を説明するためのPLLの出力波形図である。
【第27図】ネットワーク通信部を有する音楽編集装置の構成図である。
【第28図】ネットワーク通信部を有する音楽編集装置の機能ブロック図である。
【第29図】センサー値取得部を有する音楽編集装置の構成図である。
【第30図】センサー値取得部を有する音楽編集装置の機能ブロック図である。
【第31図】センサー値取得部を有する音楽編集装置の処理手順を示すフローチャートである。
【第32図】従来の音楽再生を説明するための図である。
【発明を実施するための形態】
【0020】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。第1図は本発明による部、方法の一実施の形態が適用される音楽編集装置1のブロック図である。
【0021】
この音楽編集装置1は、ハードディスク(HD)、コンパクトディスク(CD)、ミニディスク(MD)、ディジタルバーサタイルディスク(DVD)などの種々の記録媒体やインターネットなどのネットワークを通じて提供される楽曲の音楽コンテンツデータ(オリジナルデータ)に対して、後述するメタデータを用いて、例えば本来テンポが異なる楽曲Aと楽曲Bとをビートを揃えて再生したり、重ねて再生する自動DJ再生を行う部である。
【0022】
第1図に示すように、この音楽編集装置1は、中央演算処理部(CPU)2にバス3を介して記憶部4、同期再生部8を接続している。また、CPU2にバス3を介してROM13、RAM14、ユーザ操作I/F部15及びユーザインターフェース(U/I)表示部16を接続している。
【0023】
CPU2はリアルタイムに楽曲のつなぎ方を決定し、同期再生部8に対して必要な楽曲素材を必要なタイミングで与える。また、ユーザの操作に応じて同期再生部8に対し、テンポの指示やビート同期/非同期の指示を行う。
【0024】
記憶部4は、楽曲用記憶部5、楽曲メタデータ用記憶部6及びリミックスパターン用記憶部7からなる。楽曲用記憶部5は、複数の楽曲データを保持する記憶部である。据え置き用の音楽再生装置や、携帯用の音楽再生装置が持っているようなフラッシュメモリやハードディスクなどの記憶部を外部接続してもよい。なお、楽曲用記憶部5に記憶される楽曲データは圧縮されたものでも非圧縮のものでもかまわない。
【0025】
楽曲メタデータ用記憶部6は、フラッシュメモリやハードディスクなどの種々の記憶部であり、楽曲に付加されている、時間軸上のメタデータを記憶している。詳細は後述するが、メタデータは楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の先頭(単に頭と記す)位置情報、前奏(イントロ)やテーマ(サビ)などのメロディ情報が記述されている。
【0026】
リミックスパターン用記憶部7は、楽曲用記憶部5と同様に記憶部であれば特に制限を付ける必要はない。リミックスパターン指定方法を指示したリミックスパターンファイルを保持する記憶部である。リミックスパターンファイルについては、詳細を後述するが、曲順が書いてあるだけでなく、曲順+どういうふうに組み合わせるか、あるいは楽曲Aと楽曲Bのどこを使ってどこに組み合わせるかというような、ことが書いてあるファイルである。
【0027】
同期再生部8は、音楽編集装置1が自動的にDJ再生を行うための信号処理ブロックであり、CPU2のリミックス制御機能により指示された楽曲素材を基準ビートに同期して再生する。同期再生制御部9、音声ミキシング部10、デジタル/アナログ変換部(D/A)11及び音声出力部12からなる。
【0028】
同期再生制御部9は、複数の音声信号生成部を有し、複数の音楽信号を、自分の中で生成したクロック信号に同期して再生する。また、メタデータ用記憶部6からのメタデータに基づいて現在再生されている楽曲の位置を常に監視し、CPU2のリミックス処理機能部に、今どこを再生しているのかという位置(楽曲の再生をしているサンプル数とかの位置)や、何小節目の何拍目を再生しているとかの位置を返す。
【0029】
音声ミキシング部10は、同期再生制御部9内の複数の音声信号生成部で再生された複数系統の音声信号を合成して出力する。D/A11は音声ミキシング部10で再生されたデジタル信号をアナログ信号に変換する。音声出力部12は、D/A11からのアナログ音声信号を増幅し、スピーカやヘッドホンなどに出力する。
【0030】
ROM13は、本発明の音楽編集方法にしたがった処理手順からなる音楽編集プログラムを格納している。また、デフォルトの各種データを格納している。RAM14は、CPU2が上記音楽編集プログラムを実行するときのワークエリアになる。また、上記音楽編集プログラムを実行するときの各種更新データを記憶する。
【0031】
ユーザ操作I/F部15はユーザによる操作を受けつける例えばキーボードや、マウス、タッチパットなどである。U/I表示部16は、現在の操作状況、音楽編集処理状況、あるいはユーザによる操作を可能とするタッチパネルを含めた表示部であり、例えば液晶表示部である。もちろん、CRTでもよい。
【0032】
第2図は同期再生制御部9と音声ミキシング部10の詳細な構成を示すブロック図である。同期再生制御部9は、マスタービート生成部90と、3系統の音声信号生成部からなる。マスタービート生成部90は、ビートに相当するクロックを生成する。詳細には、リミックス時のテンポとそのテンポに同期したビート信号を出力する。マスタービート生成部90は指定された拍子(4/4拍子や3/4拍子など)にあわせて、小節の頭信号とそれ以外の通常のビート信号を生成し、出力する。
【0033】
3系統(トラック)の音声信号生成部は、リアルタイムにステレオの音を複数だせるようにするために、典型的な例として、楽曲A、楽曲B、効果音(Sound effect:SE)ということで3トラックとしているものである。もちろん、楽曲の構成数に応じて4トラック、5トラッあるいはそれ以上のトラック数でもかまわない。この音声信号生成部は、マスタービート生成部90が生成した同期信号(クロック、あるいはビート)をもとに楽曲の小節/ビート位置をマスタービートの小節/ビート位置に合わせて同期再生を行う。
【0034】
各トラックには、それぞれ、デコーダ(Decoder)91a、91b及び91cと、タイムストレッチ部(Time Stretch)92a、92b及び92cが備えられている。デコーダ91a、91b及び91cは、MP3やATRAC等の圧縮音声をデコードし、PCMデータとして出力する。ここで、SEは長さが短く、データサイズも小さいため必ずしも圧縮する必要は無い。そのため、このSEトラックのデコーダは省略してもよい。タイムストレッチ部92a、92b及び92cは、音程を一定に保ったまま再生速度を変換する部である。メタデータ用記憶部6からのメタデータに基づいて異なるテンポを持つ楽曲素材を基準ビートのテンポに合わせる。楽曲のオリジナルテンポとマスタービートとの比率に鑑みて、再生速度をリアルタイムに変化させるという処理を行う。これによって、楽曲のオリジナルテンポをマスタービートのテンポに合わせることができる。もちろん、上述したように音程を変えることはない。
【0035】
なお、これら音声信号生成部には、ピッチシフト(Pitch Shifter)機能を搭載してもよい。ピッチシフト機能は、再生速度を一定に保ったまま音程を変更する。これは異なるキーや音程を持つ楽曲素材を音楽的に調和させるのに利用されるが、必ずしも必要な機能ではなく付加的な機能である。
【0036】
音声ミキシング部10は、上記3トラックの音声信号生成部に対応して、3系統のエフェクト処理部100a、100b及び100cと、音量調整部101a、101b及び101cを備える。これら3系統の出力は音声ミックス部102によりミックスされてから音声出力部103により増幅されて外部のスピーカ、ヘッドホンに出力される。音声信号生成部の各トラックからの出力音声信号に対してそれぞれエフェクト処理と、音量調整処理ができる構成となっている。
【0037】
第3図は音楽編集装置1の機能ブロック図である。第1図にハードウェア構成として示したCPU2の機能が、リミックス処理部20として示してある。リミックス処理部20は、さらにメタデータ処理部21とリミックスパターン読み込み部22に分かれている。
【0038】
リミックス処理部20は、メタデータ用記憶部6に格納されたメタデータをメタデータ処理部21によって処理する。上述したように、楽曲には時間軸上のメタデータが付加されており、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報を保持している。
【0039】
メタデータ処理部21は、楽曲に対応した時間軸上のメタデータを読み込み、リミックスパターン読み込み部22で読み込んだリミックスパターン情報の指示に従って当該楽曲の位置情報を調査する。例えば、今、どこのビートに自分がいるのかとか、今組み合わせようとしている楽曲のビートはどこにあるのかということを把握したうえで、複数ある楽曲とか、効果音というものを、どの時点で、どういうふうに再生するかを決めている。
【0040】
また、リミックス処理部20は、リミックスパターン用記憶部7に格納されたリミックスパターンファイル7aをリミックスパターン読み込み部22で読み込む。リミックスパターンファイル7aは、フェードアウトするのか、カットインするのか、SEは何をかけるのか、というようなことを指定したファイルである。リミックスパターンは、ユーザあるいは第三者の手によって人為的に指示されたデータ列(この曲の後にはこういふうにつなげとか)でもよいし、自動生成アルゴリズムによって作られたものでもよい(勝手に機械側が決めるリミックスのようなもの)。
【0041】
同期再生制御部9は、マスタービート生成部90によりマスタービートを生成し、このマスタービートをリミックス処理部20に送るとともに、リミックス処理部20がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じ、メタデータ用記憶部6からの各メタデータを用いて複数の楽曲を再生する。
【0042】
第4図は音楽編集装置1がCPU2によって実行する音楽編集プログラムの処理手順である。この音楽編集プログラムは本発明の音楽編集方法の具体例である。
【0043】
まず、CPU2のリミックス処理部20はリミックスパターン用記憶部7からのリミックスパターンファイル7aをリミックパターン読み込み部22で読み込んで取得する(ステップS1)。次に、楽曲、例えば1曲目を同期再生制御部9に取得させる(ステップS2)。さらに、次の曲があれば(ステップS3にてYES)、同期再生制御部9のマスタービート生成部90のテンポを決定する(ステップS4)。これは、140なら140で固定でもいいし、ユーザが何か指定しているものでもよい。次に、つなぎかたパターン(これもパターンファイルに書いてある)を取得する(ステップS5)。
【0044】
これで、曲とつなぎ方のパターンが決まったので、楽曲のメタデータを取得する(ステップS6)。楽曲Aであれば楽曲Aのメタデータのことである。次に、エフェクト処理が必要かどうかをリミックスパターンファイルから判断する(ステップS7)し、必要であれば(YES)、エフェクト処理部100にて、しかるべきエフェクトをかけるように有効にする(ステップS8)。
【0045】
次に、音量フェード処理が必要かどうかをリミックスパターンファイルから判断する(ステップS9)。例えば楽曲Aと楽曲Bを編集して重ねるときに上げたり下げたりの音量フェードが必要かを選択する。もし必要があれば(YES)、フェードパラメータを設定する(ステップS10)。自動的に上げたり、下げたりを前提にして書いたが、そこにパラメータを設定しておく。
【0046】
次に、同期再生制御部9のマスタービート生成部90に対して、楽曲のオリジナルのテンポをセットする(ステップS11)。楽曲のオリジナルのテンポはメタデータに付与されている。そして、同期再生制御部9内の空いている音声信号生成部を取得する。3chの具体例を上述したが、空いているところを取得して再生させたい楽曲をセットする(ステップS13)。
【0047】
そして、各楽曲の現在の再生位置を取得してから(ステップS14)、次の楽曲を用意するポイントに到達したかを判断する(ステップS15)。例えば、SEがクロスフェードであれば、クロスフェードが終わるのはその小節の何小節か前であったり、カットインであれば、すぐに始まるので1小節前から準備しても間に合う。もちろん、同時再生は全く同時に再生である。そういうポイントに到達したかを見て、もし楽曲を用意するポイントに到達していないのであれば、ステップS14にもどり、到達するまで待っている。もし、次の楽曲を用意するポイントに到達したのであれば(YES)、ステップS2に戻る。
【0048】
第5図は時間軸上のメタデータ30を示す図である。メタデータ30は、上述したように、楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報が記述されている。小節/拍31は1小節目の何拍目かを表している。「11」は1小節目の1拍目を表す。「14」は1小節目の4拍目を表す。同様に、「21」は2小節目の1拍目を表す。特に、「11」、「21」は各小節の先頭の拍を表すことになる。属性32はその位置に何があるかを示している。小節の頭、普通の拍、メロディ、テーマ(サビ)等の位置を示す。「01800001」は小節の先頭であることを示す。前記「11」、「21」の属性として示している。サンプル位置は、例えば楽曲が44.1kHzでサンプリングされているのであれば、1秒間に44100サンプルであるが、その位置がサンプル単位で記述されていることになる。この第5図に示したようなメタデータ30はテキスト形式やバイナリ形式で記述されている。
【0049】
第6図は時間軸メタデータの具体例である。音楽信号40とビート信号41、42の時間軸のメタデータを同時に表示している。音声信号40は左から右に時間の経過とともに変化しているが、それとともにビートも乗っている。第6図においてビート信号の長い線41が小節の先頭ビート、短い線42が通常のビートを示している。小節の先頭ビート41とそれ以外のビート42(4拍子であれば小節頭のあとに4分音符のタイミングで3拍)位置を楽曲のサンプル位置に対応させて保持しているものである。
【0050】
第7図も時間軸メタデータの具体例を示す図である。音声信号50に、ビート位置55だけでなく楽曲のイントロ51や、Aメロディ52及び53、Bメロディ54、テーマ(サビ)といったメロディ構成を示す位置情報を付けることが可能である。この情報を利用して対象の楽曲の小節位置や特定のメロディの開始位置がわかる。
【0051】
上記第1図等に構成を示した音楽編集装置1では、メタデータは楽曲メタデータ用記憶部6に格納されていた。メタデータの格納方法は、第8図A、第8図B、及び第8図Cに示すようにしてもよい。第8図Aは、MP3のようにメタデータ71と楽曲データ72が論理的に別で物理的に同じメディアに存在する例である。また、第8図BはMPEG4のように楽曲データ74にメタデータ73が混在している例である。また、第8図Cは例えばネットワークを介して楽曲データ76に対応するメタデータ75が検索される例である。論理的にも物理的に楽曲データとメタデータは別々である。これは、後述する音楽編集装置80及び110のように、ネットワーク通信部を備え、インターネットなどのネットワークに接続する形態のときに適用される。楽曲IDに応じてネットワーク上のサイトからメタデータをダウンロードすることができる。
【0052】
第9図はリミックスパターンファイルの具体例を示す図である。楽曲のメタデータは楽曲に対して1対1のものであるが、リミックスパターンのほうは、ユーザが自由に作ることができ、楽曲とは何の依存関係もないようにすることもできる。楽曲間をどうつなぐかというファイルである。リミックスのパターン60における、曲ID(ファイル)61のID_A〜ID_Eは、曲名A〜Eと同じであってもよい。絶対的なファイル名やファイルパスでもよい。再生部分62は、それぞれの楽曲に対してどこを再生するかを示す。曲Aに対しては「サビ」、Bに対しては「イントロ」、Cに対しては「8小節目から20小節目」まで、Dに対しては全体、Eに対しては「サビ」という位置を指定する。再生時(エフェクト)63は、各曲の各部分に、それぞれどういうふうなエフェクトをかけるかを指定する。つなぎ方(パターン)44は、曲Aに対してクロスフェードとあるが、Bとつなぐときにクロスフェードでつなぎなさいということを示す。また、BからCはカットインで、CからDはクロスフェードで、DとEはサビの部分を同時再生でつなぐということを示す。また、つなぎ時(エフェクト)65はつなぎ時にエフェクトとしてリバーブ、ローカット、ディストーションをかけることを指定する。つなぎSE66は、効果音を指定する。
【0053】
第9図に示したパターンを指示した場合、実際の再生は次のように行われる。「ID_Aのサビが再生される。→ID_Aのサビ終わり付近でID_Bイントロがクロスフェードで入ってくる。→ID_Bのイントロ終わりと同時にID_Cの8小節目の再生が開始される→ID_C20小節の数小節からID_Dがクロスフェードで入ってくる。同時にSE_Aもミックスされる。→ID_DのサビがくるとID_Eのサビも同時に再生される。」という具合である。
【0054】
このように、リミックスパターンは概念的に従来のプレイリストに対し曲のどこをどのようにつなぐかという指示を追加したものであるともいえる。
【0055】
次に、第10図〜第17図を参照して楽曲をつなぐ方法の実例を概略的に説明する。従来の音楽再生では後述する第32図のように二つの楽曲Aと楽曲Bはそれぞれの楽曲のもつオリジナルのテンポで再生され、曲と曲の間には無音部分ができることがほとんどであった。再生部の仕組み的に無音部分なく繋ぐことができるものもあるが、楽曲の前後には多少なり無音部分がある曲も多く、それらの曲は曲の前後に曲の一部として無音部分を含んでいるためどうしても曲間に無音部分ができてしまう。
【0056】
第1図に構成を示した音楽編集装置1によれば、第10図のように、楽曲Aと楽曲Bが共に基準ビートに同期して再生できる。楽曲Aと楽曲Bは本来異なるテンポであるにも関わらず、共に同一のテンポにて再生されている。この同一テンポとなる基準ビートのテンポ(発振周波数)はユーザーからの設定等により決定することが出来る。
【0057】
第10図に示すように、楽曲A、楽曲Bはそれぞれ小節からなりたっている。小節と小節の長さが等しい。なおかつ、小節の先頭も合っている。さらに効果音(SE)も音楽であり、小節があっている。テンポが合っているので、小節の長さがすべてあっている。周波数と位相が両方あっているということになる。このようにつなぐことで、音楽的に違和感のない調和がとれたような聞き方ができる。
【0058】
さらに、第10図にあっては、楽曲Aから楽曲Bへの過渡部では、例えば、楽曲Aと楽曲Bのビートや小節の先頭位置が共に同期しながらクロスフェードされ、2つの楽曲が同時に発音される。更には上述したようにSEの音素材も付加され、楽曲Aから楽曲Bへの過渡部が更に音楽的に装飾される。このSEが持つテンポやビートも当然ながら基準ビートに同期している。
【0059】
尚、本発明はこの楽曲A、楽曲B、SEのみの構成に限定するものではない。楽曲Cや更なるSEが付加されるケースも当然有り得る。しかしながら、本説明では簡単のため、以後、楽曲A、楽曲B、SEの構成を用いて説明するものとする。
【0060】
第11図には、楽曲A、楽曲B、楽曲Cを連続して再生する例を示す。楽曲のオリジナルテンポによらずユーザあるいはシステムが決定したテンポにすべての楽曲のテンポを合わせ、そしてそれら楽曲の拍位置(ダウンビート位置)も合わせて再生することで、曲を違和感なくシームレスにノンストップに繋ぐことを可能にする。
【0061】
これは音楽編集装置1が楽曲Aと楽曲Bと楽曲Cを上述したようにビート同期再生することによる。異なるテンポの楽曲のビート(拍)を同期させて再生するためには、それぞれの楽曲のオリジナルのテンポと拍(ビート)位置を知らなくてはならない。また、再生時にはテンポとビート位置を揃えるために楽曲の再生速度を変化させなくてはならない。
【0062】
オリジナルのテンポとビート位置を知るために、音楽編集装置1では楽曲とペアとなった時間軸上のメタデータを用いている。再生時には楽曲のオリジナルテンポと現在のマスタービートテンポの比から再生速度を変化させたうえで、おのおのの楽曲の小節の頭位置を合わせて再生を開始する。
【0063】
上記のように複数の楽曲のテンポとビート位置を正確に扱って、リアルタイムに再生位置を制御して同期再生を行う。ここで説明する楽曲をシームレスにつなぐ手法はすべてこのビート同期再生という方法を用いることが前提となっている。
【0064】
第12図には、楽曲Aと楽曲Bをビートを揃えて重ねながら、クロスフェード処理によりつなぐという例を示す。現在の楽曲Aをフェードアウト(音量を徐々に小さくする)しながら次にくる楽曲Bをフェードイン(音量を徐々に大きくする)し、その両方を同時に再生することで双方の曲がシームレスに入れ替わる効果が得られる。クロスフェードは、従来からFMラジオ放送などでよく利用される手法であるが本発明のポイントはこれらの楽曲Aと楽曲Bのテンポとビート位置が揃えられているため違和感なくノンストップで楽曲がつながるところにある。
【0065】
音楽編集装置1では、第13図に概要を示すカットイン処理も行える。楽曲A、楽曲B、楽曲C間の繋ぎ目が音楽的に切れがよい場合などではクロスフェードを行うよりも第13図のようにそのまま繋いでしまった方がよい場合もある。また、楽曲のビートの切れ目で意図的に切って次のビートから次の曲に切換えることも考えられる。
【0066】
また、音楽編集装置1では、上述したように効果音(SE)を用いて楽曲をつないでいる。つまり、楽曲だけでなく、楽曲つなぎ部分や任意の部分に効果音(SE:Sound Effect)をはさむことができる。第14図は楽曲Aと楽曲Bと楽曲Cのそれぞれの楽曲間に効果音を挟んだ例である。もちろんこの場合の効果音もマスタービートテンポに同期させることが可能である。SEを挟んだり重ねたりすることで曲調が大きく異なる楽曲同士をつなぐ場合により自然につなぐことが可能となる。
【0067】
また、音楽編集装置1では、同時再生を行ってもよい。異なる楽曲をつなぐだけではなく、第15図に示すように、ビート同期を行い同時に再生を続ける。テンポとビート位置が同期しているため、あたかも最初からそのような1曲であったかのように錯覚することすらある。
【0068】
また、音楽編集装置1は、第16図に示すように、一つの楽曲A中にエフェクトを適用してもよい。楽曲Aの一部分もしくは全体にエフェクト(音響効果)を適用し音質を変化させる。単に低音や高音を強調するものだけでなく、リバーブ、ディレイ、ディストーション、マキシマイザといった音色そのものを変化させるものまでを含む。
【0069】
エフェクトは楽曲Aにはリバーブ、楽曲Bにはローカットフィルタをかけながら同時に再生したり上記さまざまなつなぎ方を同時に適用することによってより自然で魅力的なつなぎ方を実現することができる。
【0070】
また、音楽編集装置1は、上記つなぎ方を適用するには楽曲全体に限らず、第17図のように各楽曲のサビの部分であったり、イントロ部分であったりしてもかまわない。楽曲の部分をつなぐことで例えばサビだけリミックスするようなつなぎ方が可能となる。
【0071】
以上説明したように、音楽編集装置1によれば、リミックスパターンを記述したリミックスパターンファイルをもとに楽曲のリミックスをノンストップで行うことができる。その際ユーザが指定したテンポでマスタービートテンポを決定してもよいし、メインとなる楽曲のテンポに全体をあわせてもよい。または加速度センサー等を用いて、ユーザの歩行やジョギングのテンポを計測して、そのテンポに合うようにマスタービートテンポを決定してもよい。
【0072】
したがって、音楽編集装置1によれば、ユーザはこれまでの音楽の楽しみ方に加えて、次の新しい次元の楽しみ方ができる。これらの楽しみはこれまでのように受動的に音楽を聴いているだけでは決して得られないものであり、能動的に音楽にかかわり、自分自身に合った音楽の聴き方を創出したり自分自身の顕示欲を満たすものである。
【0073】
つまり、楽曲の好きな部分をかっこうよくつないでノンストップのリミックス音楽として聞くことができる。また、楽曲のつなぎ方を自分で試行錯誤して選んだカッコウのよいものを作るという創造欲を満たすことができる。
【0074】
第18図には、第10図に示した楽曲Aと楽曲BとをクロスフェードでSEを挟むように編集し再生することを可能とする同期再生部8の構成を示す。同期再生制御部9としては、第2図に示したように、3系統(トラック)の音声信号生成部と音声ミキシング部10を備えている。
【0075】
各トラックはそれぞれ、楽曲A、楽曲B、SEの再生を担当している。楽曲の構成数によりこのトラック数は変化する。各トラックには、それぞれ、デコーダ91a、91b、タイムストレッチ部92a、92b及び92c、ピッチシフト部94a、94b及び94cの機能が搭載されている。デコーダは、MP3やATRAC等の圧縮音声をデコードし、PCMデータとして出力する。ここで、SEは長さが短く、データサイズも小さいため必ずしも圧縮する必要は無い。そのため、このSEトラックのデコーダは省略し、PCMout91dを用いている。
【0076】
タイムストレッチ部は、音程を一定に保ったまま再生速度を変換する。これは異なるテンポを持つ楽曲素材を基準ビートのテンポに合わせるのに利用する。ピッチシフト部は、再生速度を一定に保ったまま音程を変更する。これは異なるキーや音程を持つ楽曲素材を音楽的に調和させるのに利用されるが、必ずしも必要な機能ではなく付加的な機能である。
【0077】
第19図は本発明の主要部となる同期再生制御部9とリミックス処理部20の機能を説明するための図である。リミックス処理部20は再生する楽曲を選択し、同期再生制御部9に再生の指示を行なう。この場合、楽曲全体の再生を指示する場合もあれば、楽曲の一部分のみを再生指示する場合もある。第10図の例で言えば、楽曲A、楽曲B、SEの選択、及び、その再生タイミングを指示する。
【0078】
同期再生制御部9はリミックス処理部20により指示された楽曲素材を基準ビートに同期して再生する。同期再生制御部9は、音楽信号を、自分の中で生成したクロック信号に同期して再生する。クロック信号というのは、ビートに相当するクロックを自分のなかで生成している。このクロックの立ち上がりエッジの割り込みをリミックス処理部20に割り込みとして与える。トリガーが入ることにより、頭から数えて何小節目の何拍目ということがこれをカウントすることで分かる。リミックス処理部20はこのクロックを割り込みでずっとカウントアップしているので、楽曲Aなり楽曲Bなりを投入する時期だというタイミングを知ることができるので、そのタイミングにしたがって同期再生制御部9に命令を投げる。
【0079】
従来の音楽編集装置1と違って同期再生制御部9は、単なる音声信号の再生部ではなくて、同時にクロックも生成していて、そのクロックはビートに相当するクロックであり、そのクロックをリミックス処理部20に与えて割り込みをかけるというのが特徴的である。
【0080】
このように、基準ビートは小節の先頭を示すトリガー信号と、拍を示すビート信号から構成される。1小節当たりの拍数は拍子(4/4拍子等)に依存する。基準ビートはリミックス処理部20へ割り込み信号として供給され、リミックス処理部20はこのクロックをカウントする事により、現在の再生位置が何小節目か、何拍目かという事を知る事が出来る。また、楽曲素材を投入するタイミング信号としても利用する事が出来る。
【0081】
第20図には、ビート同期再生の仕組みを示す。本例では音楽ビートの特に小節の先頭ビートに同期する例を示す。尚、これは小節の先頭に限ったものではなく、当然ながら通常の拍や、16ビートといった、更に細かい拍に関しても同様に同期再生可能である。
【0082】
リミックス処理部20は基準ビートとして小節の先頭ビートのタイミングを割り込み信号として得ている。リミックス処理部20は次に再生したい楽曲素材を予め選択しておき、再生開始したい次の小節の先頭ビートの少し前のタイミングで楽曲素材を同期再生制御部9へ投入する。
【0083】
すると同期再生制御部9は次の小節の先頭ビートタイミングにて、その楽曲素材の再生を開始する。全ての楽曲素材は同様にこの基準ビートに同期して再生開始されるため、例えば、楽曲A、楽曲B、SEは全て同期再生する事ができる。
【0084】
具体的に、第20図にあっては、楽曲A、楽曲B、SEをクロスフェードしている。つなぎ部分のクロスフェードをしている部分のタイミングチャートである。楽曲Aが頭から再生されてき、なおかつ次にクロスフェードして再生するときは、ちょうど小節の頭なので、楽曲Bの再生を揃えたい。SEも同じく先頭で再生したいが、実際にはセットアップタイムのような準備時間が必要になるので、今、必要といってもアクセス時間や他の要因があり、今すぐは再生はできない。ある程度準備状態が必要となる。つまり、空白部分が必要となる。リミックス処理部20が、1個まえの小節のタイミングで、次の小節の頭で再生を開始しろということで命令を投入すると、同期再生制御部9がタイミングを見計らって小節の頭で再生を開始する。
【0085】
つまり、リミックス処理部20はラフなタイミングで管理している。それに対して同期再生制御部9は非常に細かいタイミングで命令どおりに処理を行うという形になっている。
【0086】
このように、音楽編集装置1にあって、同期再生制御部9は自分でクロックを生成していて、なおかつそのクロックに正確に同期したタイミングで楽曲素材を再生する。リミックス処理部20は、全体を制御するシステム制御部のような働きをする。ラフなタイミングを制御している。ラフなタイミングで同期再生制御部9に指示を与えて、同期再生制御部9にて正確に動作する。
【0087】
第21図には、詳細なビート同期再生タイミングチャートを示す。リミックス処理部20は全3トラックにどの楽曲素材を投入するかを予め準備している。また、リミックス処理部20は基準ビートを割り込みとして受けているため、各楽曲素材を各トラックへ投入するタイミングを知る事が出来る。投入された楽曲素材SC1、SC2は一旦、同期再生制御部9の(a)ウェイティング(Waiting)領域内へ保持される。そして、次の小節の先頭ビートのタイミングにて、(b)カレントアイテム(Current Item)領域へロードされ、再生が開始される。この例では、SC1は(c)バーBar(小節)クロックの先頭ビートのタイミングにてフェードアウトを開始し、同時にSC2がフェードインにて再生を開始する。(d)投入タイミングに示すように、SC1はフェードアウト後に再生を停止するが、SC2は更に次の小節の先頭ビートにてループ再生を開始する。このフェードイン、フェードアウト、ループ再生ON/OFF、ループ再生の反復数等はリミックス処理部20が指示し、同期再生制御部9が実行する。投入された楽曲素材はリミックス処理部20からの除去指示(e)により、次の小節の先頭ビートにて再生停止する事も出来る。
【0088】
これらのリミックス処理部20からの指示は全て基準ビートに同期して、同期再生制御部9が実行する。基準ビートの同期モードとして、本例では小節の先頭ビートを例に挙げたが、これが拍であったり、16ビートといった、より細かいビートに同期するといった事も可能である。また同期モードがOFFの場合は、リミックス処理部20からの指示により即座に同期再生制御部9が再生を開始する。これら同期モードの指示はリミックス処理部20が同期再生制御部9に対して行なう。
【0089】
第22図には、ある楽曲のテンポの変動例を示す。横軸が拍を縦軸が瞬時BPMを示す。本発明が解決すべき課題を含んでいる。実際の音楽のテンポというものは演奏者の演奏能力や演奏意図により、かなり変動するものである。この例では平均BPM=約96であるが、実際には一曲を通して10BPMくらいの変動幅にて変動している。この変動幅や変動パターンは各楽曲により千差万別であり、一概に定量化、定性化出来るものではない。
【0090】
第21図の例のように各楽曲素材の再生開始タイミングを正確に制御する事は出来ても、実際の音楽のビートは常に変動しているため、再生が継続すると基準ビートから徐々にずれてくる。このずれは再生開始の数秒から数十秒後には数十m/secのずれに到達する事が多く、その結果、楽曲A、楽曲B、SE間のリズムのずれはリスナーである人間が知覚できるレベルにまで達してしまう。この音楽的に不自然なリズムのずれを何らかの方法で補正する事が必要である。
【0091】
第23図A、第23図B、及び第23図Cには、この問題を解決するための方法の概念を示す。まず実際の楽曲のテンポやビート間隔は常に変動しているため、それらのビートのタイムスタンプを記録したタイムラインメタデータというものを予め作成する。
【0092】
時間波形(第23図A)をスペクトル分析(第23図B)して、ピークをとることによってビート(第23図C)を抽出する。これが4分音符に相当する。その4分音符の位置をタイムスタンプとしてとって、そのビートの位置を記録することによってタイムラインメタデータ(単にメタデータともいう)を作る。実際には生の音楽データに含まれる揺れるビートも記録してやる。これも含めてメタデータとする。つまり、時間波形にビートの位置を含めたものをメタデータといっている。
【0093】
第24図にはタイムラインメタデータの記述例を示す。タイムラインメタデータにはその楽曲のPCM波形ファイルに一対一に対応する、ビート位置が記されている。小節の先頭ビートや各ビートの位置に相当する音楽波形上のタイムスタンプが、例えばタイムコード、例えば先頭からの何サンプル目といった単位にて記録されている。このデータサイズは単なるタイムスタンプを記録したものなので、元のPCMデータの数千分から数万分の一のサイズとなり、非常に小さいものである。具体的に、4/4拍子のとき、1曲の中に1回目から39回目のビートの位置は3323815というタイムスタンプがある。このタイムスタンプと音声信号を見て、同期再生制御部9はこのクロックを生成している。
【0094】
第25図には、本課題を解決するための、同期信号生成部210に対する解決案として、常に変動する音楽ビートに同期して再生するシステムの構成図を示す。同期信号生成部210(マスタービート生成部90、生体リズム取得部200、楽曲リズム取得部201)は基準ビートとなる小節シンク信号とビートシンク信号を生成して、同期再生部8の同期再生制御部9へ入力する。同期再生制御部9内では、楽曲リズム取得部206が現在再生中の楽曲のタイムラインメタデータから楽曲の再生に同期して、自分の楽曲のビートに相当するビートシンク信号を生成する。このタイムラインメタデータから生成されたビートシンク信号は位相比較器及び積分回路204にて基準ビートと位相比較され、位相誤差信号として出力される。位相誤差信号は同回路204内の積分回路にて積分され、テンポ補正量として、タイムストレッチ部92cに入力される。このテンポ補正量は系の位相誤差が最小となるように働き、系として負帰還を形成する。これは一般的なPLL回路に相当するものである。このPLL回路はトラック毎に形成され、各トラックの再生楽曲の音楽ビートが基準ビートに位相ロックするよう、常にフィードバック制御する。こうする事により、全てのトラックのビート位相が揃い、長時間再生してもテンポやビート位相が互いにずれない。
【0095】
いま、楽曲A、楽曲B、SEという3種類の音楽を同時に再生することを考える。その周波数と位相をロックするために、まずはマスタークロックを用意する。それが、マスタービート生成部90である。マスタービート生成部90は、同期信号生成部210内部にある。単なる発振回路であり、そのマスタークロックに同期するように同期再生部8の同期再生制御部9は自分の音楽のビートを追従する。マスタービットは、例えば120BPMで、それに追従するように、3種類の再生部はクロックに位相同期するように、再生テンポが誤差の累積がないようにフィードバック制御をかける。楽曲リズム取得部206がタイムラインメタデータからビートシンク信号を作る。この生成したビートとマスタークロックのビートの位相と周波数を位相比較器及び積分回路204で比較する。そのずれが累積しないように負帰還をかけてやる。そして、タイムストレッチのテンポを微妙に調整する。マスタークロックより遅れてきたらテンポを早くする。マスタークロックより早くなったらテンポを遅らすという具合である。つまり、マスタークロックに音楽再生を同期させることになる。
【0096】
第26図A、第26図B、第26図C、及び第26図Dには、タイムラインメタデータを利用した同期方法を説明するために、実際のPLL動作の出力波形を示す。基準ビートのビートシンク信号(第26図A)とタイムラインメタデータから生成されたビートシンク信号(第26図B)の位相比較を位相比較器が行なう。位相比較器の出力(第26図C)として、遅れ位相は正の出力パルス列、進み位相は負の出力パルス列を得る事ができる。この出力パルス列は積分回路にて積分され、DC値のテンポ補正入力値(第26図D)に変換される。このテンポ補正入力値はタイムストレッチ部に入力され、正の値でテンポUp、負の値でテンポDownするよう再生速度変換を行なう。これにより全ての楽曲のビートが基準ビートに位相ロックするよう負帰還制御が掛かる事になる。
【0097】
さらに説明すると、タイムラインメタデータを使って、自分の音楽のビートに相当するビートシンクを生成し、それとマスタークロックを比較し、位相がずれないようにフィードバックループをかける。これによって、何時間再生しても互いにずれなくなる。
【0098】
したがって、音楽編集装置1によれば、異なるテンポや異なるリズムの楽曲同士をリミックス再生する場合、元の音楽ビートに揺れがあっても、互いに一定のテンポや一定のリズムとなるよう、リアルタイムかつ自動的にビート同期再生する事ができる。
【0099】
なお、第27図には、本発明の実施の形態が適用される他の音楽編集装置80の構成を示す。第28図は、音楽編集装置80の機能ブロック図である。この音楽編集装置80は、ネットワーク通信部81を備え、インターネット82に接続できる。
【0100】
ネットワーク通信部81を有することで、リミックスパターンファイルをインターネット82などのネットワークで交換、共有することによってあるユーザが作成したリミックスを第三者がダウンロードして楽しむことができる。また、個人のユーザに限らずコンテンツサービス側が提供したリミックスパターンを用いてもよい。
【0101】
この音楽編集装置80によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。
【0102】
第29図及び第30図にはさらに他の音楽編集装置110のハードウェア構成及び機能ブロック図を示す。この音楽編集装置110は、A/Dコンバータ111を介してセンサー112からセンサー値を取得する構成であり、機能的にセンサー値取得部を備える。
【0103】
センサー値取得部113は、例えば、「再生様態制御装置及び再生様態制御方法(特開2005−156641)」の発明にあるように、加速度センサーを利用して歩行テンポを検出し、その歩行テンポに合わせて楽曲のテンポを変化させる技術を適用している。この例を応用すると、歩行テンポに合わせてマスタービート生成部のテンポを変更し、すべての楽曲を歩行やジョギングのテンポに合わせてリミックス再生することが可能となる。また、「オーディオ信号の再生機および再生方法」(特願2005−363094)にあるように歩行やジョギングのテンポに合わせて楽曲を選択する発明を適用してもよい。
【0104】
これらを使うためには、センサーが不可欠で、そのセンサーとこれら発明のアルゴリズムを本システムに適用することで、ユーザの状態に合わせて楽曲が選ばれ、さらにそれらがリミックスされてノンストップ再生することが可能である。
【0105】
第31図A及び第31図Bはセンサー優先モードを備えた音楽編集装置110の処理手順を示すフローチャートである。この処理手順は、リミックスパターン優先モードのほかに、センサー優先モードがあり、例えばユーザの選択に応じて処理を異ならせる。センサー優先モードでは、歩行とか、ジョギングとかのパターンをセンサーが検出し、そのパターンに応じてビートを変化させるものである。
【0106】
まず、センサー優先モードかパターン優先モードかを決定する(ステップS11)。この場合、センサー優先モードというのは、さきほどのユーザがジョギングするとか、歩くとかで選曲するという技術であり、曲の順番とか、選曲そのものはセンサーによって決定されるもので、パターンによって決定されるとはかぎらない。これは、動的にかわるというのを示唆しているとも言える。あらかじめフィックスされているパターンファイルを読むのではなくて、センサーからの値によって、パターンファイルを動的に作るというようなイメージである。
【0107】
ステップS311にてセンサー優先ではなくパターン優先モードが選択されたときには、上述した第4図の処理手順と同様である。
【0108】
ステップS311、ステップS312にてセンサー優先モードが選択されたときについて説明する。ジョギングに合わせて楽曲が自動的に選ばれてそれに合わせて楽曲を自動的につなぎましょうというような場合である。
【0109】
サブルーチンとなっているが、センサーの入力から楽曲とテンポを決める(ステップS313)。ステップS314にて次の曲があると判定すると、ステップS315にてマスタービートテンポを設定する。この場合、歩行のテンポから検出されて設定されたテンポとなる。この場合は、曲のつなぎかたがあらかじめ決められたものとはかぎらないので、自動的に決定する(ステップS316)。例えば、ジョギングモードならば全部クロスフェードでつなぐ安易なものもあるし、次の曲のメタデータを見て、フェードインしている曲なので、そのまま重ねる場合もある。ステップS317以降の処理については第4図のステップS6〜S15と同一であるため、説明を省略する。
【0110】
このように音楽編集装置110によれば、ジョギングのテンポに合わせた楽曲選択をし、さらにそれらをノンストップでつなぐことによってジョギングのテンションやテンポを狂わせることなく快適にジョギングを楽しむことができる。また、ジョギングに限らず、センサーによっては他のリズミカルな運動(ダンスなど)や心拍に合わせたリミックスなどが実現できる。
【0111】
センサーからの入力を使って、曲を選択してさらにそのテンポもジョギングのテンポに合わせてやって、リミックスしてやる。自分の好きな曲を自分のテンポに合わせて、楽しむことができる。
【0112】
また、タイマーリミックス再生を行うこともできる。例えば気に入ったアルバムの曲や自分で作ったプレイリストを通勤時間の30分の間に聞きたいという要求がある。従来であれば、アルバムが60分である場合、毎回30分再生したところで、曲を途中停止するしかなかったが、本発明のシステムを利用することで指定した楽曲集が30分にちょうどおさまるようにテンポおよび曲の使用する部分を選びリミックスすることが可能となる。
ジョギングと組み合わせることもできる。30分だけ走りたいときに、30分リミックスでジョギングテンポで曲がなっているが、30分でぴったり曲がおわるようにすることができる。
【0113】
サビだけを通勤時の30分に合うようにリミックスし、目的地についたときにちょうどリミックスが終わるようにすることが可能である。また、同時に到着時刻付近ではテンポをだんだん遅くしたり、特定のSEを重ねるなどしてそろそろ到着するという雰囲気を演出することもできる。
【0114】
以上に説明したように、音楽編集装置80及び110によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。また、センサーを利用して、より自分の状況や状態にあった音楽を聴くことができる。
【0115】
これらの特徴は、これまでのプロクリエータ、ミュージシャンが作った作品をそのまま楽しむことを当たり前としてきた世界に一石を投じ、それら作品を自分の表現のための素材として再利用し再構成して楽しむという新しい世界をユーザに体験させることができる。
【0116】
これにより、音楽に楽しみを見出すユーザが増えれば音楽業界全体が活性化される。また、音楽業界側から見てもユーザ側で新たに再構成することを前提とした楽曲作品とそれを創出する新たなクリエータが登場する可能性がある。業界とユーザによって新しい音楽文化創造の可能性がある。
【0117】
最後に、本発明の音楽編集装置の利用可能な特徴について記述する。まず、リアルタイムに音楽のリズムのビートにトラッキングする手段を有する事を特徴とする。また、予めタイムラインメタデータ(ビート位置等のタイムスタンプ情報等の時刻情報)を持つ事で、正確かつ精度良く、リアルタイムに音楽のリズムのビートにトラッキングする手段を有する事を特徴とする。また、タイムラインメタデータ(ビート位置等のタイムスタンプ情報等の時刻情報)から再生楽曲に同期したビートシンク信号を生成する手段を有する事を特徴とする。
【0118】
また、曲の途中でテンポの変更やリズムの揺れがある音楽に対しても、タイムラインメタデータからリアルタイムに音楽のリズムのビートにトラッキングする手段を有する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生するための複数の再生トラックを有する事を特徴とする。
【0119】
また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生するための複数の再生トラックを有し、再生楽曲の切替え過渡時に別の楽曲をオーバーラップして同期再生する手段を有する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生するための複数の再生トラックを有し、再生楽曲の切替え時の過渡状態にオーバーラップして同期再生する楽曲を選択する手段を有する事を特徴とする。
【0120】
また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生する手段を有する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生するための手段として、トラック毎にPLL回路を有する事を特徴とする。
【0121】
また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生するための手段として、各トラックに基準ビートを入力する事を特徴とする。また、異なるテンポや異なるリズムの複数の楽曲を連続または同時に再生する場合でも、お互いにずれることなく基準ビートに対して同期再生するための手段として、トラック毎にタイムラインメタデータからビートシンク信号を生成する手段を有する事を特徴とする。
【0122】
また、再生の同期マスターとなる基準ビートのテンポを決定する手段を有する事を特徴とする。また、リアルタイムに音楽のリズムのビートにトラッキングし、現在のビートカウント値を生成する手段を有することを特徴とする。また、リアルタイムに音楽のリズムのビートにトラッキングし、現在の小節カウント値を生成する手段を有することを特徴とする。
【符号の説明】
【0123】
1 音楽編集装置
2 CPU
4 記憶部
5 楽曲用記憶部
6 楽曲メタデータ用記憶部
7 リミックスパターン用記憶部
8 同期再生部
9 同期再生制御部
10 音声ミキシング部
20 リミックス処理部
21 メタデータ処理部
22 リミックスパターン読み込み部
90 マスタービート生成部
93 音声信号生成部
S1 リミックスパターンファイルを取得する
S2 次の楽曲を取得する
S3 次の曲があるか?
S4 マスタービートテンポを決定する
S5 つなぎ方パターンを取得する
S6 楽曲のメタデータを取得する
S7 エフェクト処理が必要か?
S8 エフェクト処理部を有効にする
S9 音量フェード処理が必要か?
S10 フェードパラメータを設定する
S11 同期再生制御部に楽曲のオリジナルテンポをセットする
S12 空いている音声信号生成部を取得する
S13 同期再生制御部に楽曲をセットする
S14 各楽曲の現在の再生位置を取得する
S15 次の楽曲を用意するポイントに到達したか?
S311 センサー優先モードかパターン優先モードかを決定する
S312 センサ優先モードか?
S313 センサーの入力から楽曲とテンポを決める
S314 次の曲があるか?
S315 マスタービートテンポを設定する
S316 つなぎ方パターンを自動で決定
S317 楽曲のメタデータを取得
S318 エフェクト処理が必要か?
S319 エフェクト処理部を有効にする
S320 音量フェード処理が必要か?
S321 フェードパラメータを設定する
S322 同期再生制御部に楽曲のオリジナルテンポをセットする
S323 空いている音声信号生成部を取得する
S324 同時再生制御部に楽曲をセットする
S325 各楽曲の現在の再生位置を取得
S326 次の楽曲を用意するポイントに到達したか?
S327 センサー優先モードか?
S328 リミックスパターンファイルを取得
S329 次の楽曲を取得
S330 次の曲があるか?
S331 マスタービートテンポを決定する
S332 つなぎ方パターンを取得
Claims (8)
- 楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行うリミックス処理部と、
マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生する同期再生制御部と、
上記同期再生制御部にて再生された楽曲を混合する混合部とを備え、
上記同期再生制御部は、複数の楽曲の音声信号を生成する複数系統の音声信号生成部を備え、
上記複数系統の音声信号生成部ごとに、上記メタデータから生成したビートシンク信号とマスタービート信号との位相を比較する位相比較器と、上記位相比較器の位相比較出力を積分する積分回路と、上記積分回路の積分出力に基づいてテンポを補正するタイムストレッチ部とを備え、
上記複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、デコーダを備える音楽編集装置。 - 上記リミックス処理部は、上記メタデータを処理するメタデータ処理部と、上記リミックスパターンファイルを読み込むリミックスパターン読み込み部を備える請求項1に記載の音楽編集装置。
- 上記タイムストレッチ部にて用いられるテンポ補正量は系の位相誤差が最小となるように働き、系として負帰還を形成する請求項1または2に記載の音楽編集装置。
- 上記楽曲は、楽曲全体あるいは一部分である請求項1乃至3のいずれか1に記載の音楽編集装置。
- ネットワーク通信部をさらに備え、上記メタデータをネットワーク上のサーバから取得する請求項1乃至4のいずれか1に記載の音楽編集装置。
- ネットワーク通信部をさらに備え、上記リミックスパターンファイルをネットワーク上で共有する請求項1乃至5のいずれか1に記載の音楽編集装置。
- ユーザの歩行又はジョギングのテンポを計測して取得するセンサー値取得部をさらに備え、上記同期再生制御部は上記計測されたテンポに基づいてマスタービートテンポを生成する請求項1乃至6のいずれか1に記載の音楽編集装置。
- 楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置情報および小節の先頭位置情報を含むメタデータと、楽曲同士のつなぎ方が規定されるリミックスパターンファイルに基づいてリミックス処理を行い、
マスタービートを生成し、このマスタービートをリミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンファイルとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生し、
上記再生された楽曲を混合し、
複数系統の音声信号生成部ごとに複数の楽曲の音声信号を生成し、
上記複数系統の音声信号生成部ごとに、上記メタデータから生成したビートシンク信号とマスタービート信号との位相を比較し、上記位相比較出力を積分し、積分出力に基づいてテンポを補正し、
上記複数系統の音声信号生成部のうち、少なくとも一の音声信号生成部は、圧縮音声信号をデコードする
音楽編集装置における音楽編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007549214A JP5243042B2 (ja) | 2005-12-09 | 2006-12-07 | 音楽編集装置及び音楽編集方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005356830 | 2005-12-09 | ||
JP2005356830 | 2005-12-09 | ||
JP2007549214A JP5243042B2 (ja) | 2005-12-09 | 2006-12-07 | 音楽編集装置及び音楽編集方法 |
PCT/JP2006/324889 WO2007066818A1 (ja) | 2005-12-09 | 2006-12-07 | 音楽編集装置及び音楽編集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007066818A1 JPWO2007066818A1 (ja) | 2009-05-21 |
JP5243042B2 true JP5243042B2 (ja) | 2013-07-24 |
Family
ID=38122952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007549214A Expired - Fee Related JP5243042B2 (ja) | 2005-12-09 | 2006-12-07 | 音楽編集装置及び音楽編集方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7855334B2 (ja) |
EP (1) | EP1959428A4 (ja) |
JP (1) | JP5243042B2 (ja) |
KR (1) | KR101287984B1 (ja) |
CN (1) | CN101326569B (ja) |
WO (1) | WO2007066818A1 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10164686B4 (de) * | 2001-01-13 | 2007-05-31 | Native Instruments Software Synthesis Gmbh | Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler |
EP1959428A4 (en) * | 2005-12-09 | 2011-08-31 | Sony Corp | MUSICAL EDITING DEVICE AND METHOD |
WO2008107994A1 (ja) * | 2007-03-08 | 2008-09-12 | Pioneer Corporation | 情報再生装置及び方法、並びにコンピュータプログラム |
US7956274B2 (en) * | 2007-03-28 | 2011-06-07 | Yamaha Corporation | Performance apparatus and storage medium therefor |
JP4311466B2 (ja) * | 2007-03-28 | 2009-08-12 | ヤマハ株式会社 | 演奏装置およびその制御方法を実現するプログラム |
US8269093B2 (en) * | 2007-08-21 | 2012-09-18 | Apple Inc. | Method for creating a beat-synchronized media mix |
BR122012006265B1 (pt) * | 2008-03-10 | 2024-01-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Equipamento e método para a manipulação de um sinal de áudio tendo um evento transiente |
US9014831B2 (en) * | 2008-04-15 | 2015-04-21 | Cassanova Group, Llc | Server side audio file beat mixing |
JP5217687B2 (ja) * | 2008-06-27 | 2013-06-19 | ヤマハ株式会社 | 曲編集支援装置およびプログラム |
JP5217685B2 (ja) * | 2008-06-27 | 2013-06-19 | ヤマハ株式会社 | 曲編集支援装置およびプログラム |
US7915512B2 (en) * | 2008-10-15 | 2011-03-29 | Agere Systems, Inc. | Method and apparatus for adjusting the cadence of music on a personal audio device |
JP5588129B2 (ja) * | 2009-06-29 | 2014-09-10 | Kddi株式会社 | 同期再生装置、同期再生方法および同期再生プログラム |
JP5614028B2 (ja) * | 2009-11-10 | 2014-10-29 | ヤマハ株式会社 | 曲編集支援装置およびプログラム |
JP2011257456A (ja) * | 2010-06-04 | 2011-12-22 | Panasonic Corp | 楽音再生装置及び楽音再生方法 |
WO2012007990A1 (ja) * | 2010-07-14 | 2012-01-19 | パイオニア株式会社 | 再生システム、再生方法およびそのプログラム |
US9024166B2 (en) * | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
JP5500058B2 (ja) | 2010-12-07 | 2014-05-21 | 株式会社Jvcケンウッド | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
JP5667005B2 (ja) * | 2011-07-20 | 2015-02-12 | パイオニア株式会社 | 再生装置、再生方法およびそのプログラム |
US9070352B1 (en) * | 2011-10-25 | 2015-06-30 | Mixwolf LLC | System and method for mixing song data using measure groupings |
US9111519B1 (en) * | 2011-10-26 | 2015-08-18 | Mixwolf LLC | System and method for generating cuepoints for mixing song data |
KR20130115653A (ko) * | 2012-04-12 | 2013-10-22 | 주식회사 제이디사운드 | 곡에 적합한 자동 디제잉 방법 및 장치 |
US9696884B2 (en) * | 2012-04-25 | 2017-07-04 | Nokia Technologies Oy | Method and apparatus for generating personalized media streams |
JP5962218B2 (ja) | 2012-05-30 | 2016-08-03 | 株式会社Jvcケンウッド | 曲順決定装置、曲順決定方法、および曲順決定プログラム |
CN104412320B (zh) * | 2012-06-26 | 2017-11-17 | 雅马哈株式会社 | 使用音频波形数据的自动演奏技术 |
JP2014052469A (ja) * | 2012-09-06 | 2014-03-20 | Sony Corp | 音声処理装置、音声処理方法、及び、プログラム |
WO2014064531A1 (en) | 2012-10-22 | 2014-05-01 | Spotify Ab | Systems and methods for pre-fetching media content |
CN102968995B (zh) * | 2012-11-16 | 2018-10-02 | 新奥特(北京)视频技术有限公司 | 一种音频信号的混音方法及装置 |
DK2808870T3 (en) | 2013-05-30 | 2016-04-18 | Spotify Ab | Crowdsourcing remix rules for streamed music |
US9411882B2 (en) | 2013-07-22 | 2016-08-09 | Dolby Laboratories Licensing Corporation | Interactive audio content generation, delivery, playback and sharing |
US9372925B2 (en) | 2013-09-19 | 2016-06-21 | Microsoft Technology Licensing, Llc | Combining audio samples by automatically adjusting sample characteristics |
US9798974B2 (en) * | 2013-09-19 | 2017-10-24 | Microsoft Technology Licensing, Llc | Recommending audio sample combinations |
US20160071524A1 (en) * | 2014-09-09 | 2016-03-10 | Nokia Corporation | Audio Modification for Multimedia Reversal |
EP3239982A4 (en) * | 2015-01-15 | 2018-01-03 | Huawei Technologies Co. Ltd. | Audio content segmentation method and apparatus |
CN104778221A (zh) * | 2015-03-20 | 2015-07-15 | 广东欧珀移动通信有限公司 | 一种歌曲串烧拼接的方法及装置 |
CN104778219B (zh) * | 2015-03-20 | 2018-05-29 | 广东欧珀移动通信有限公司 | 一种预设效果歌曲拼接的方法及装置 |
CN104778957B (zh) * | 2015-03-20 | 2018-03-02 | 广东欧珀移动通信有限公司 | 一种歌曲音频处理的方法及装置 |
CN104778220B (zh) * | 2015-03-20 | 2019-04-05 | Oppo广东移动通信有限公司 | 一种清唱歌曲拼接的方法及装置 |
CN104778216B (zh) * | 2015-03-20 | 2017-05-17 | 广东欧珀移动通信有限公司 | 一种预设风格歌曲处理的方法及装置 |
CN104780438A (zh) * | 2015-03-20 | 2015-07-15 | 广东欧珀移动通信有限公司 | 一种视频与歌曲音频拼接的方法及装置 |
CN104766601A (zh) * | 2015-03-28 | 2015-07-08 | 王评 | 啦啦操音乐自动混合器 |
US9606766B2 (en) * | 2015-04-28 | 2017-03-28 | International Business Machines Corporation | Creating an audio file sample based upon user preferences |
US9842577B2 (en) | 2015-05-19 | 2017-12-12 | Harmonix Music Systems, Inc. | Improvised guitar simulation |
GB2539875B (en) | 2015-06-22 | 2017-09-20 | Time Machine Capital Ltd | Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content |
ITUB20153140A1 (it) * | 2015-08-17 | 2017-02-17 | Marco Franciosa | Metodo e dispositivo per la gestione delle transizioni tra brani musicali |
US20170060520A1 (en) * | 2015-09-01 | 2017-03-02 | AudioCommon, Inc. | Systems and methods for dynamically editable social media |
US9773486B2 (en) | 2015-09-28 | 2017-09-26 | Harmonix Music Systems, Inc. | Vocal improvisation |
US9799314B2 (en) | 2015-09-28 | 2017-10-24 | Harmonix Music Systems, Inc. | Dynamic improvisational fill feature |
US9502017B1 (en) * | 2016-04-14 | 2016-11-22 | Adobe Systems Incorporated | Automatic audio remixing with repetition avoidance |
JP6414164B2 (ja) * | 2016-09-05 | 2018-10-31 | カシオ計算機株式会社 | 自動演奏装置、自動演奏方法、プログラムおよび電子楽器 |
GB2557970B (en) | 2016-12-20 | 2020-12-09 | Mashtraxx Ltd | Content tracking system and method |
US9880805B1 (en) | 2016-12-22 | 2018-01-30 | Brian Howard Guralnick | Workout music playback machine |
US11915722B2 (en) * | 2017-03-30 | 2024-02-27 | Gracenote, Inc. | Generating a video presentation to accompany audio |
CN108806655B (zh) * | 2017-04-26 | 2022-01-07 | 微软技术许可有限责任公司 | 歌曲的自动生成 |
US10453434B1 (en) * | 2017-05-16 | 2019-10-22 | John William Byrd | System for synthesizing sounds from prototypes |
CN110867174A (zh) * | 2018-08-28 | 2020-03-06 | 努音有限公司 | 自动混音装置 |
JP6802569B2 (ja) * | 2018-10-11 | 2020-12-16 | 株式会社コナミアミューズメント | ゲームシステム、ゲームプログラム、及びゲームシステムの制御方法 |
JP6683322B2 (ja) * | 2018-10-11 | 2020-04-15 | 株式会社コナミアミューズメント | ゲームシステム、ゲームプログラム、及び合成楽曲の作成方法 |
WO2020075533A1 (ja) * | 2018-10-11 | 2020-04-16 | 株式会社コナミアミューズメント | ゲームシステム、ゲームプログラム及びゲームシステムの制御方法 |
CN110517657B (zh) * | 2019-08-15 | 2024-01-16 | 上海若安文化传播有限公司 | 音乐文件的节拍配置/播放方法、系统、介质及设备 |
US20230267899A1 (en) * | 2020-03-11 | 2023-08-24 | Nusic Limited | Automatic audio mixing device |
CN115461809A (zh) * | 2020-09-04 | 2022-12-09 | 罗兰株式会社 | 信息处理装置以及信息处理方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58163998A (ja) * | 1982-03-25 | 1983-09-28 | ヤマハ株式会社 | 自動演奏装置 |
JPS63103490A (ja) * | 1986-10-20 | 1988-05-09 | Matsushita Electric Ind Co Ltd | 音楽信号再生装置 |
JPH06342282A (ja) * | 1993-04-08 | 1994-12-13 | Sony Corp | 音楽出力装置 |
JPH07295589A (ja) * | 1994-04-22 | 1995-11-10 | Yamaha Corp | 波形処理装置 |
JPH09230880A (ja) * | 1996-02-26 | 1997-09-05 | Yamaha Corp | カラオケ装置 |
JPH113077A (ja) * | 1997-06-13 | 1999-01-06 | Yamaha Corp | カラオケ装置 |
JP2000056780A (ja) * | 1998-08-05 | 2000-02-25 | Yamaha Corp | カラオケ装置 |
JP2001109470A (ja) * | 1999-10-13 | 2001-04-20 | Yamaha Corp | 自動演奏装置及び方法 |
JP2001188544A (ja) * | 1999-10-18 | 2001-07-10 | Roland Corp | オーディオ波形再生装置 |
JP2003050588A (ja) * | 2001-08-06 | 2003-02-21 | Pioneer Electronic Corp | コンテンツ提供システムの管理サーバ装置、および端末装置 |
JP2003108132A (ja) * | 2001-09-28 | 2003-04-11 | Pioneer Electronic Corp | オーディオ情報再生装置及びオーディオ情報再生システム |
JP2004198759A (ja) * | 2002-12-19 | 2004-07-15 | Sony Computer Entertainment Inc | 楽音再生装置及び楽音再生プログラム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4669024A (en) * | 1985-10-23 | 1987-05-26 | Westinghouse Electric Corp. | Multiphase frequency selective phase locked loop with multiphase sinusoidal and digital outputs |
US4862485A (en) * | 1987-10-14 | 1989-08-29 | National Semiconductor Corporation | Quotient phase-shift processor for digital phase-locked-loops |
US5015939A (en) * | 1990-08-10 | 1991-05-14 | Synektron Corporation | Control circuit for switched reluctance motor |
US5148113A (en) * | 1990-11-29 | 1992-09-15 | Northern Telecom Ltd. | Clock phase alignment |
FR2734967B1 (fr) * | 1995-05-31 | 1997-07-04 | Cit Alcatel | Procede de verrouillage de phase et boucle appliquant ce procede |
JP4186298B2 (ja) | 1999-03-17 | 2008-11-26 | ソニー株式会社 | リズムの同期方法及び音響装置 |
JP3066528U (ja) | 1999-08-11 | 2000-02-25 | 橘医療器株式会社 | 口腔内視鏡 |
JP3789326B2 (ja) | 2000-07-31 | 2006-06-21 | 松下電器産業株式会社 | テンポ抽出装置、テンポ抽出方法、テンポ抽出プログラム及び記録媒体 |
DE10123366C1 (de) | 2001-05-14 | 2002-08-08 | Fraunhofer Ges Forschung | Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen |
JP3778024B2 (ja) | 2001-07-30 | 2006-05-24 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに記憶媒体 |
JP3674950B2 (ja) | 2002-03-07 | 2005-07-27 | ヤマハ株式会社 | 音楽データのテンポ推定方法および装置 |
US20030205124A1 (en) * | 2002-05-01 | 2003-11-06 | Foote Jonathan T. | Method and system for retrieving and sequencing music by rhythmic similarity |
JP4243682B2 (ja) | 2002-10-24 | 2009-03-25 | 独立行政法人産業技術総合研究所 | 音楽音響データ中のサビ区間を検出する方法及び装置並びに該方法を実行するためのプログラム |
US7208672B2 (en) * | 2003-02-19 | 2007-04-24 | Noam Camiel | System and method for structuring and mixing audio tracks |
US7521623B2 (en) * | 2004-11-24 | 2009-04-21 | Apple Inc. | Music synchronization arrangement |
US7189913B2 (en) * | 2003-04-04 | 2007-03-13 | Apple Computer, Inc. | Method and apparatus for time compression and expansion of audio data with dynamic tempo change during playback |
US20040254660A1 (en) * | 2003-05-28 | 2004-12-16 | Alan Seefeldt | Method and device to process digital media streams |
JP2005156641A (ja) | 2003-11-20 | 2005-06-16 | Sony Corp | 再生態様制御装置及び再生態様制御方法 |
JP3888353B2 (ja) * | 2004-01-07 | 2007-02-28 | ソニー株式会社 | データ編集装置及びデータ編集方法 |
US7026536B2 (en) * | 2004-03-25 | 2006-04-11 | Microsoft Corporation | Beat analysis of musical signals |
MXPA06011670A (es) * | 2004-04-09 | 2007-04-13 | Micronas Semiconductors Inc | Aparato y metodo para controlar un desmodulador digital acoplado a un compensador. |
US7592534B2 (en) * | 2004-04-19 | 2009-09-22 | Sony Computer Entertainment Inc. | Music composition reproduction device and composite device including the same |
US7068110B2 (en) * | 2004-06-28 | 2006-06-27 | Silicon Laboratories Inc. | Phase error cancellation |
US7518053B1 (en) * | 2005-09-01 | 2009-04-14 | Texas Instruments Incorporated | Beat matching for portable audio |
US20070074618A1 (en) * | 2005-10-04 | 2007-04-05 | Linda Vergo | System and method for selecting music to guide a user through an activity |
EP1959428A4 (en) * | 2005-12-09 | 2011-08-31 | Sony Corp | MUSICAL EDITING DEVICE AND METHOD |
JP4264752B2 (ja) | 2005-12-16 | 2009-05-20 | ソニー株式会社 | オーディオ信号の再生機および再生方法 |
US20080097633A1 (en) * | 2006-09-29 | 2008-04-24 | Texas Instruments Incorporated | Beat matching systems |
-
2006
- 2006-12-07 EP EP06834644A patent/EP1959428A4/en not_active Withdrawn
- 2006-12-07 JP JP2007549214A patent/JP5243042B2/ja not_active Expired - Fee Related
- 2006-12-07 KR KR1020087013805A patent/KR101287984B1/ko not_active IP Right Cessation
- 2006-12-07 US US12/095,745 patent/US7855334B2/en not_active Expired - Fee Related
- 2006-12-07 CN CN2006800461745A patent/CN101326569B/zh not_active Expired - Fee Related
- 2006-12-07 WO PCT/JP2006/324889 patent/WO2007066818A1/ja active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58163998A (ja) * | 1982-03-25 | 1983-09-28 | ヤマハ株式会社 | 自動演奏装置 |
JPS63103490A (ja) * | 1986-10-20 | 1988-05-09 | Matsushita Electric Ind Co Ltd | 音楽信号再生装置 |
JPH06342282A (ja) * | 1993-04-08 | 1994-12-13 | Sony Corp | 音楽出力装置 |
JPH07295589A (ja) * | 1994-04-22 | 1995-11-10 | Yamaha Corp | 波形処理装置 |
JPH09230880A (ja) * | 1996-02-26 | 1997-09-05 | Yamaha Corp | カラオケ装置 |
JPH113077A (ja) * | 1997-06-13 | 1999-01-06 | Yamaha Corp | カラオケ装置 |
JP2000056780A (ja) * | 1998-08-05 | 2000-02-25 | Yamaha Corp | カラオケ装置 |
JP2001109470A (ja) * | 1999-10-13 | 2001-04-20 | Yamaha Corp | 自動演奏装置及び方法 |
JP2001188544A (ja) * | 1999-10-18 | 2001-07-10 | Roland Corp | オーディオ波形再生装置 |
JP2003050588A (ja) * | 2001-08-06 | 2003-02-21 | Pioneer Electronic Corp | コンテンツ提供システムの管理サーバ装置、および端末装置 |
JP2003108132A (ja) * | 2001-09-28 | 2003-04-11 | Pioneer Electronic Corp | オーディオ情報再生装置及びオーディオ情報再生システム |
JP2004198759A (ja) * | 2002-12-19 | 2004-07-15 | Sony Computer Entertainment Inc | 楽音再生装置及び楽音再生プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2007066818A1 (ja) | 2007-06-14 |
US20090272253A1 (en) | 2009-11-05 |
CN101326569A (zh) | 2008-12-17 |
KR20080074976A (ko) | 2008-08-13 |
CN101326569B (zh) | 2012-07-18 |
EP1959428A4 (en) | 2011-08-31 |
EP1959428A1 (en) | 2008-08-20 |
JPWO2007066818A1 (ja) | 2009-05-21 |
US7855334B2 (en) | 2010-12-21 |
KR101287984B1 (ko) | 2013-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5243042B2 (ja) | 音楽編集装置及び音楽編集方法 | |
US7678983B2 (en) | Music edit device, music edit information creating method, and recording medium where music edit information is recorded | |
JPWO2007066819A1 (ja) | 音楽編集装置及び音楽編集方法 | |
US20210326102A1 (en) | Method and device for determining mixing parameters based on decomposed audio data | |
US7626112B2 (en) | Music editing apparatus and method and program | |
US7534951B2 (en) | Beat extraction apparatus and method, music-synchronized image display apparatus and method, tempo value detection apparatus, rhythm tracking apparatus and method, and music-synchronized display apparatus and method | |
US8269092B2 (en) | Musical content reproducing device and musical content reproducing method | |
US11347475B2 (en) | Transition functions of decomposed signals | |
KR101136974B1 (ko) | 재생장치 및 재생방법 | |
US20040177746A1 (en) | Automatic generation of musical scratching effects | |
US20220284875A1 (en) | Method, device and software for applying an audio effect | |
JP2004212473A (ja) | カラオケ装置及びカラオケ再生方法 | |
US11488568B2 (en) | Method, device and software for controlling transport of audio data | |
US20230335091A1 (en) | Method and device for decomposing, recombining and playing audio data | |
JP2022040079A (ja) | オーディオエフェクトを適用するための方法、装置、およびソフトウェア | |
JP2021141586A (ja) | オーディオデータの分解、ミキシング、再生のためのaiベースのdjシステムおよび方法 | |
Huber | The Midi manual: A practical guide to Midi within Modern Music production | |
KR20090023912A (ko) | 음악 데이터 처리 시스템 | |
JP3613191B2 (ja) | 波形生成方法及び装置 | |
WO2024120810A1 (en) | Method, system and computer program for generating an audio output file |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111021 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120406 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120416 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20120615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130404 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5243042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |