JP3743079B2 - 演奏データ作成方法および装置 - Google Patents
演奏データ作成方法および装置 Download PDFInfo
- Publication number
- JP3743079B2 JP3743079B2 JP29927596A JP29927596A JP3743079B2 JP 3743079 B2 JP3743079 B2 JP 3743079B2 JP 29927596 A JP29927596 A JP 29927596A JP 29927596 A JP29927596 A JP 29927596A JP 3743079 B2 JP3743079 B2 JP 3743079B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- music
- performance
- effect
- melody
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、楽曲の演奏に合わせて演出効果を発生させることのできる演奏データを作成するための方法および装置に関する。
【０００２】
【従来の技術】
一般に、ステージや舞台においては、演奏される楽曲のフレーズが変化するタイミングで照明を変化させて演出効果を発生させることが行なわれている。この場合、舞台照明の専門家は、演奏される曲の曲調や歌詞などに応じて、その感性に基づいて照明パターンを選択して切り換えているのが通常である。
【０００３】
一方、カラオケ演奏装置等においても実際のステージや舞台の場合と同様に演出効果を発生させることが求められており、演奏する楽曲のリズムや音量、音程、和音などを検出して照明パターンを変更させるようにすることが提案されている。例えば、特開平５−２２４５８８号公報には、歌詞の文字コードのブロック毎に記憶されたイメージ情報に基づいて背景画像を選択して表示するとともに、照明器具を点灯制御して、舞台効果を演出することが記載されている。また、特開平６−７０３８６号公報には、演奏される楽曲のリズムに同期して照明器具を点滅制御するものが記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のような従来の装置においては、照明の切り換えタイミングやその照明パターンの選択が、楽曲データのリズムや音量、コードなどの断片的な情報を基準として行なわれていたので、音楽的な意味合いと一致していない場合が多かった。
【０００５】
そこで本発明は、曲にマッチしたきめ細かな演出ができ、より舞台演出性を高めることが可能な演奏データ作成方法および装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の演奏データ作成方法は、楽曲データを記憶する記憶手段と処理手段とを備えた演奏データ作成装置において、楽曲データと演出データとからなり、演奏時に前記楽曲データによる演奏に合わせて前記演出データによる演出効果を発生させることができる演奏データを作成する方法であって、（ａ）前記処理手段が前記記憶手段に記憶されている楽曲データのメロディを解析して該楽曲データをフレーズに応じたブロックに分割するステップ、（ｂ）前記処理手段が前記ステップ（ａ）において分割された各ブロックの音楽属性に基づいて、演出パターンデータが格納された演出制御ライブラリーを参照して演出パターンデータを抽出するステップ、（ｃ）前記処理手段が前記各ブロックに前記抽出した演出パターンデータを割り付けて、演出データを作成するステップ、および、（ｄ）前記処理手段が前記楽曲データと前記演出データとを結合するステップとを有する方法である。
【０００７】
そして、前記ステップ（ａ）は、楽曲データを構成するメロディパートと他のパートとを検出し、該他のパートを解析して前記フレーズに応じたブロックの分割位置を決定するものであり、また、前記演出制御ライブラリーは、楽曲のテンポと拍子を基準としてそれに対応する演出パターンが格納されているものであり、あるいは、フレーズに応じて分割されたブロックの音楽属性を基準としてそれに対応する演出パターンが格納されているものである。
【０００８】
さらにまた、本発明の演奏データ作成装置は、楽曲データと演出データとからなり、演奏時に前記楽曲データによる演奏に合わせて前記演出データによる演出効果を発生させることができる演奏データを作成する演奏データ作成装置であって、楽曲データのメロディを解析して該楽曲データをフレーズに応じたブロックに分割する手段と、前記分割された各ブロックの音楽属性に基づいて、演出パターンデータが格納された演出制御ライブラリーを参照して演出パターンデータを抽出する手段と、前記各ブロックに前記抽出した演出パターンデータを割り付けて、演出データを作成する手段と、前記楽曲データと前記演出データとを結合する手段とを有するものである。
【０００９】
さらにまた、前記分割する手段は、楽曲データを構成するメロディパートと他のパートとを検出し、該他のパートを解析して前記フレーズに応じたブロックの分割位置を決定するものであり、前記演出制御ライブラリーは、楽曲のテンポと拍子を基準としてそれに対応する演出パターンが格納されているもの、あるいは、フレーズに応じて分割されたブロックの音楽属性を基準としてそれに対応する演出パターンが格納されているものである。
【００１０】
【発明の実施の形態】
図１は本発明の演奏データ作成方法の一実施の形態が適用されるカラオケ演奏装置の構成例を示すブロック図である。この図において、１はこの装置全体の制御を行なう中央処理装置（ＣＰＵ）、２は制御プログラムなどが記憶されているリードオンリメモリ（ＲＯＭ）、３はＣＰＵ１のワークエリア等として使用されるランダムアクセスメモリ（ＲＡＭ）である。また、４は歌唱入力用のマイク、５は該マイクから入力される歌唱信号をアナログ／デジタル変換してバス１６に出力するマイクインターフェース回路、６はモード設定スイッチ等の各種設定用スイッチや演奏のスタート／ストップスイッチ、演奏データのロードスイッチなどが含まれている操作パネル、７は歌詞情報や背景画像などを表示するディスプレイ装置である。
【００１１】
８は外部装置との間でＭＩＤＩデータを入出力するためのＭＩＤＩインターフェース回路、９は楽曲データや歌詞データ、演奏データなどを格納する記憶装置であり、例えば、ビデオディスクやＣＤ−ＲＯＭ、ハードディスクなどの大容量記憶媒体が用いられている。
【００１２】
１０は楽曲データや前記マイクインターフェース回路５から入力されるデジタル化された歌唱信号が供給され、前記楽曲データに対応した楽音を発生するとともに、該発生された楽音および前記デジタル化された歌唱信号に対して所定のエフェクト処理を施し、アナログ信号に変換して出力する音源部である。該音源部１０から出力されるアナログ信号はアンプ１１において増幅され、スピーカ１２から放音されることとなる。
【００１３】
１３は演奏データの所定のトラックに含まれている演出データを照明制御器１４に出力するための照明インターフェース回路、１４は前記照明インターフェース回路１３から出力される演出データから照明灯の制御信号を生成し、照明器１５に供給する照明制御器、１５は該照明制御信号により制御される複数個の照明灯からなる例えばカラオケルーム内の照明器である。なお、１６は前記各構成要素間のデータの転送を行なうためのバスである。
【００１４】
図２に、このカラオケ演奏装置が使用されるカラオケルームの照明器の配置の一例を示す。この図において、２１は図示するように８個設けられた照明灯、２２は６個設けられた発光色を変化させることができる照明灯、２３は２個設けられた青、緑、赤の３色を発光することができる照明灯、２４は５個設けられた照明灯、２５は８個設けられたミニストロボである。このように、この例に示すカラオケルームには５種類の照明灯が合計２９個設けられており、それぞれ、図示するチャンネル（Ｃｈ）番号を有する制御チャンネルにより点灯制御され、また、前記照明灯２２の発光色はチャンネル（ｃｈ）４９〜５４により制御されるようになされている。
なお、以下の説明においては、これらの照明器を制御することにより演出を行なう場合を例にとって説明するが、前記ディスプレイ装置７における画面の色や表示するキャラクターの動き、色等を制御することによって演出することもできる。
【００１５】
さて、このように構成されたカラオケ演奏装置において実行される処理の流れについて図３を参照して説明する。このカラオケ演奏装置は、（１）前記記憶装置９に格納されている楽曲データや前記ＭＩＤＩインターフェース回路８を介して外部装置から入力され前記記憶装置９に一度格納された楽曲データを、読み出して解析し、その楽曲データに対応する演出データを生成し、該演出データと前記楽曲データとからなる演奏データを作成する演出データ作成処理モードと、（２）前記演奏データ中の楽曲データに基づいて楽曲を演奏するとともに、前記演出データに基づいて照明器やディスプレイ装置に表示される画像データを制御して所定の演出を行なう演奏モードとの２つの動作モードを有している。
【００１６】
まず、前記演出データ作成モードにおける動作が行なわれる。前記楽曲データは、例えばＭＩＤＩデータとされており、ＳＭＦ（standard MIDI file）のフォーマット０あるいはフォーマット１の形式のデータとされている。そこで、演奏の対象となる楽曲データを構成している曲パートの構成を解析し、ＭＩＤＩデータのどのチャンネルがメロディ、ベース、ドラムの主要３パートとその他のパートに対応するかを判定し、また、メロディデータの有無から間奏部とメロディ部とに大別する。
【００１７】
次に、前記メロディパートを解析して、フレーズに分解し、各フレーズの内容（イントロ、第１のメロディ、第２のメロディなど）を特定する。
一方、メロディ以外のパートを対象として曲をいくつかのブロックに分割する。
そして前記フレーズ構成の解析結果と前記ブロック分割の結果に基づいて、曲全体を複数個のブロックに分割する。
【００１８】
次に、このように分割した各ブロック毎にそのブロックにおけるリズムパターンを検出する。
そして、該検出したリズムパターンおよび拍子やテンポ、フレーズの内容等の音楽的属性データを用いて、照明ライブラリーから最もよく一致する照明パターンを選択する。この照明ライブラリーは予め照明の専門家により使用される代表的な照明パターンを曲のテンポ、拍子、フレーズ内容等に応じて分類して格納したものである。
このように各ブロックに対応して使用する照明パターンを特定し、この照明パターンを楽曲データに付加した演奏データを生成する。
【００１９】
続いて、上記のようにして生成された演奏データを再生する演奏モードの処理が実行される。この処理は、通常のマルチポート出力機能を有するシーケンサプログラムにおける処理と同様のものであり、前記演奏データ中の楽曲データに基づく楽音制御信号は前記音源部１０に出力されて、対応する楽音がスピーカ１２から出力される。また、前記演奏データ中の演出データは前記照明制御器１４に出力され、前記照明器１５が制御される。
このように、本発明によれば、、楽曲データから演出データを生成し、該演出データを当該楽曲データの演奏と同時に照明器等に出力して、曲にマッチした演出を自動的に行なうことができるようになる。
【００２０】
図４に、このように構成されたカラオケ演奏装置において実行されるメインルーチンの処理のフローチャートを示す。この図において、このカラオケ演奏装置が駆動されると、ステップＳ１１において各種パラメータの初期設定等の初期設定処理が行なわれる。次に、ステップＳ１２においてモード処理が行なわれる。
【００２１】
図５はこのモード処理のフローチャートであり、ステップＳ２１において動作モードが演出データ作成処理モードであるか否かを判定し、その結果に応じて、ステップＳ２２の演出データ作成処理あるいはステップＳ２３の演奏処理が実行される。これらの処理の詳細については後述する。
次に、ステップＳ１３（図４）において、前記操作パネル６に設けられた各操作スイッチの操作に対応する処理、例えば、選曲、音量やエフェクトの設定などの処理が行なわれる。
【００２２】
図６に前記演奏処理Ｓ２３のフローチャートを示す。この図に示すように、演奏処理が開始されると、まず、ステップＳ３１において前記記憶装置９から演奏すべき楽曲に対応する演奏データが前記ＲＡＭ３に読み込まれる。この演奏データは、後述するステップＳ２２の演出データ作成処理により作成された演出データがＭＩＤＩデータからなる当該楽曲データに付加されたもので、例えば、ＳＭＦ（Standard MIDI File）のフォーマット１形式のデータとされている。そして、元となる楽曲データがＳＭＦのフォーマット０の場合には、該演奏データのトラック１に当該楽曲データが格納され、それ以降のトラックに前記演出データが１トラック１チャンネル分として格納されている。また、元となる楽曲データがＳＭＦのフォーマット１の場合には、元の楽曲データが格納されていたトラック数分に該元の楽曲データ、それより後のトラックに演出データが格納されている。
【００２３】
このような演奏データを読み込んだ後、ステップＳ３２において、該演奏データの内の楽曲データに対応するトラックが前記音源１０に出力され、該音源１０から対応する楽音が発音される。また、ステップＳ３３において、前記演奏データ内の演出データが前記演出データインターフェース回路１３を介して前記照明制御器１４に出力され、該演出データに対応する照明器制御信号に応じて前記照明器１５が制御されることとなる。このようにして、楽曲の演奏と同時にそれに対応して演出が実行されることとなる。
【００２４】
図７は前記演出データ作成処理（ステップＳ２２）のフローチャートである。演出データ作成処理が開始されると、まず、ステップＳ４１において前記操作パネル６において選択された楽曲データがＲＡＭ３に読み込まれる。この楽曲データは前述したように、ＳＭＦのフォーマット０あるいはフォーマット１の形とされており、前記記憶装置９から読み込まれる。
【００２５】
次に、ステップＳ４２において、該読み込んだ楽曲データの各パートの構成が解析される。すなわち、まず、読み込んだ楽曲データから当該楽曲の拍子データおよびテンポデータを抽出する。これにより、曲の小節数を求めることができる。続いて、読み込んだデータをチャンネル毎に分割し、各チャンネルについて、ドラムパート、ベースパートおよびメロディパートの主要３パートと、その他のパートのいずれのパートであるかを判断する。
【００２６】
具体的には、次のような基準に基づいて判定することにより、各パートがどのようなのパートであるかを認識している。
（ａ）ドラムパート。
１）ＧＭ（General MIDI）オンまたはＧＳリセットがあるときには、第１０チャンネルをドラムパートとする。
２）バンクセレクトのＭＳＢが７Ｆ（１６進）とされているデータが書き込まれているチャンネルもドラムパートとする。
３）そのパートの発音比率が全小節の２０％を越えていたら、そのチャンネルをドラムパートと確定し、２０％に達していないときはドラムパートではないとする。
４）以上の条件によりドラムパートとされるチャンネルが２チャンネル以上あるときには、第１０チャンネルを優先し、それ以外のときにはチャンネル番号が小さいものから２チャンネルを選択してそれらをドラムパートであると決定する。
【００２７】
（ｂ）ベースパート。
ドラムパートとされなかったパートを対象として、以下の条件について調べる。
１）最初のノートオン以前のプログラムチェンジのプログラム番号が３３〜４０か？
２）ノートデータのある小節のうち、８０％以上が単音か？
３）ノートデータの９０％以上がＣ３より低い音高か？
４）ノートデータが全小節の７０％以上に存在するか？
以上の条件を全て満たすチャンネルがあれば、その中のチャンネル番号の小さなものをベースパートと決定する。
上記１）〜４）の全条件を満たすチャンネルがなければ、上記１）、２）、４）あるいは１）、３）、４）あるいは２）、３）、４）を満たすチャンネルを探し、その中のチャンネル番号の最も小さなものをベースパートと決定する。
それでも、上記条件をみたすチャンネルがないときには、ベースパートなしと決定する。
【００２８】
（ｃ）メロディパート。
上記２つの処理で残ったチャンネルを対象として、次の１）〜４）の条件について調べる。
１）プログラムチェンジのプログラム番号が１〜１１２か？
２）ノートデータがＣ２〜Ｃ６の範囲にあるか？
３）単音演奏又は２〜３音以内の和音演奏か？
４）ノートデータの存在する小節数が全小節数の５０％以上か？
その結果、すべての条件を満たすチャンネルがあれば、その中でチャンネル番号の小さなものをメロディパートとする。
また、上記４）の条件が欠けているときは、１）〜３）の条件を満たすチャンネルの中でチャンネル番号の小さなものを優先して２つ選ぶ。そして、この２つのチャンネルのノートデータの存在割合が全小節の５０％以上となるかをチェックして、この条件を満たすものがあれば、その２つのチャンネルの組み合わせをメロディパートとする。
【００２９】
（ｄ）サブパート。
今までの処理で残ったチャンネルに対して以下の条件をチェックする。
１）プログラムチェンジのプログラム番号が１〜３２、４１〜１１２か？
２）ノートデータがＣ２〜Ｃ６の範囲にあるか？
３）前記（ｃ）で決定したメロディパートにおいてノートデータがない小節にノートデータがあるか？
４）前記（ｃ）で決定したメロディパートにおいてノートデータがないすべての小節にノートデータがあるか？
そして、すべての条件を満たすチャンネルがあれば、その中でチャンネル番号の小さなものをサブパートであるとする。
また、上記４）の条件が欠けている場合には、上記１）〜３）の条件を満たすチャンネルの中から２つまで選んでサブパートであるとする。
【００３０】
以上のようにして、メロディ、ベース、ドラムの主要な３パートとその他のパートを特定することができる。
また、メロディパートにノートデータがあるか否により、間奏部とメロディ部とに大別することができる。
このようにして、上記ステップＳ４２における各曲パートの構成解析処理が行われる。
【００３１】
このようにして解析されたメロディ、ベース、ドラム等の曲パートに基づいて、曲をブロックに分割する処理を行う。まず、ステップＳ４３においてどのパートであるかを判定し、メロディパートの場合はステップＳ４４に進み、ベースパート及びドラムパートの場合はステップＳ４６に進む。
【００３２】
ステップＳ４４は、メロディパートのデータに対し構造解析処理を実行して、フレーズ構成を解析し、曲をイントロ、第１のメロディ（以下、Ａメロという）、第２のメロディ（以下、Ｂメロという）、エンディングなどの部分に分割する処理である。
【００３３】
この構造解析の手法としては、本出願人によりすでに提案されている音符長情報に基づく手法（特願平７−１２３１０５号公報）を採用することができる。この手法は、メロディパートの全区間または一部区間内の音符長情報に基づいて、該区間内の平均音符長を算出し、該算出された平均音符長に基づいて曲をフレーズに区切り、このように区切られた複数のフレーズについてメロディの類似度を算出するもので、曲の個性や人間のフレーズ感に適合したフレーズ分けができ、メロディの類似度が高いフレーズを他のフレーズから区別して、曲の構造解析を行うことができるものである。このステップＳ４４における処理の概要について説明する。
【００３４】
（１）まず、対象となるメロディパートのデータに対し、音符の次に位置する休符をサーチし、該休符の長さ情報をその前に位置する音符の長さ情報に加算する休符長加算処理を実行する。これは、ある音が鳴って休符となったときに、聴き手の耳には最後の音が色濃く残っていることを考慮した処理で、この処理の結果、メロディパートのデータは音高情報と音符長情報との２種類の情報となる。
【００３５】
（２）次に、メロディの全区間の音符長情報に基づいて平均音符長（音符長の平均値）Ｌを算出し、該算出した平均音符長Ｌに所定の定数Ｋ（例えばＫ＝２）を乗算し、積ＫＬに一致または近似したボーダー音符長を求める。そして、メロディパートのデータに対し、このボーダー音符長の終りを区切りとして各フレーズに区切り、該各フレーズごとにフレーズ番号を付与する。なお、このように区切ることにより、曲の個性に対応し、かつ、人間の感覚に近いフレーズ分けが可能となるが、メロディ全体の平均音符長を用いて区切っているため、１曲中の「早い部分」と「ゆっくりな部分」のいずれにおいても人間に近いフレーズ感を得ることは容易ではない。そこで、この処理においては、やや早い部分に対応した細かさで分けることとし、その後にゆったりした部分に対応するための修正を実行するようにしている。
【００３６】
（３）前記「ゆっくりな部分」に対応するためのフレーズ分け修正処理を行う。この処理においては、上記（２）において分けた各フレーズ毎にフレーズ内の音符長情報に基づいてその平均音符長を算出する。そして、連続する２つのフレーズにおいて、各フレーズ毎に平均音符長およびフレーズの終端の音符長が、「フレーズの平均音符長×２≦フレーズの終端音符長」という関係を満たしているか否かを判定し、この判定結果が否定的であるときは、その２つのフレーズ間の区切りを削除する。これにより、「ゆっくりな部分」に適合するようにフレーズ分けを修正することができる。
【００３７】
（４）次に、人間のフレーズ感に一層近づけるために、さらにフレーズ分け修正処理を行う。人間はメロディを聴くとき、同じメロディ部分をフレーズとして認識しており、これに対応するように、フレーズ分けを修正する。例えば、同じメロディ部分が２箇所に存在し、一方はその直前に長い音符があり、他方はその直前にあまり長くない音符があったときには、前記（２）および（３）の処理においては、前記一方のメロディ部分はフレーズとして認められるが、前記他方のメロディ部分はフレーズとしては認められずその前のフレーズの一部とされている。そこで、同じメロディ部分を検出してフレーズ分けの修正を行うのがこの処理である。
【００３８】
この処理においては、あるフレーズとメロディ同一の部分を含む他のフレーズを検出し、検出されたフレーズにおいてメロディ同一の部分以外の残部がフレーズの最小長さ（例えば２拍）以上か否かを判定し、この判定結果が肯定的であればメロディ同一部と残部とを各々フレーズとして分割する。また、判定結果が否定的であれば、アウフタクト（弱起）と判断し、分割しないようにしている。
【００３９】
（５）このようにして分割されたフレーズを分類する。この処理はメロディの類似度が高いフレーズを検出して１つの種類として分類するものである。
この処理においては、まず、前記（２）〜（４）の処理においてフレーズ分けされたメロディパートのデータを、メロディの音高情報を時間軸情報の単位長（フェーズ）毎に分解して並べたフェーズフォーマットに変換する。この単位長としては、連符と判断されなかった音符のうちで最も短い音符の長さが採用される。
【００４０】
次に、順次２つのフレーズをとり、それらの先頭から例えば３小節分のメロディの音高を比較し、音高一致率を算出する。この音高一致率が所定の値（例えば７０％）以上であるときは類似したメロディであると判定し、所定の分類番号を付与する。順次このようにして、全フレーズについて比較を行う。この結果得られた分類番号により、使用されているメロディの種類（Ａメロディ、Ｂメロディ等）を認識することができる。
【００４１】
以上のようにして、メロディパートのフレーズ構成を解析することができる。次に、このようにして解析されたフレーズの内容を特定する。これは、各フレーズにおけるＭＩＤＩデータの音量、すなわちベロシティデータに基づいて、前記分類された各フレーズが、それぞれ、Ａメロディ、Ｂメロディ、サビ、キメなどのどれに対応しているかを特定する処理である。
【００４２】
一方、ステップＳ４６においてメロディパート以外の全パートに基づいてブロック分割処理が実行される。この処理は、ベロシティデータに基づいて、曲をブロックに分割するものである。具体的に説明すると、
（１）１小節毎にＭＩＤＩデータの音量、すなわち、ベロシティの総和を算出する。
（２）続いて、最初の発音のある小節を探し、これ以後の小節で、２小節毎のＭＩＤＩデータ音量を算出する。そして、この結果の最大、最小の範囲を２０段階に分割する。
（３）次に、上記（２）の結果を４小節単位にして１０段階に分割し、音量差が３段階以上ある小節にマークを付す。
【００４３】
（４）そして、メロディパートにノートデータがあるか否かを小節毎にチェックし、その結果に応じて各小節にマークを付す。
（５）前記ステップＳ４４において解析したメロディパートのフレーズ解析結果を元にフレーズの先頭の小節にマークを付す。なお、その前後の１小節にマークがあれば、そのマークを削除する。
（６）このようにして付されたマークに基づいて、曲をブロックに分割し、各ブロックをナンバリングする。
（７）各ブロックのメロディパートにおけるＭＩＤＩデータ音量の情報から各ブロックを３つのタイプ（間奏部、平ウタ、サビ）に分ける。
（８）ドラムパート、ベースパートのオン、オフ情報を元にさらにブロック分けをする。このとき、タイプは、前記（７）において決定された直前のブロックのタイプを引き継ぐようにする。
【００４４】
以上の処理により、曲全体を複数個のブロックに分割することができた。次に、ステップＳ４７において、各ブロック毎のリズムパターンの抽出処理を実行する。この処理においては、まず、各パートを４分音符＝２４としてクオンタイズする。そして、各ブロックの先頭の２小節から、ドラムパートとベースパートの両方があるときにはその両者から、ベースパートのみの場合にはベースパートとメロディパートから、ドラムパートとベースパートの両方とも無いときにはメロディパートから、それぞれノートオンタイミングを抽出する処理である。これにより、各ブロックのリズムパターンを抽出することができる。
【００４５】
次に、ステップＳ４８において、照明ライブラリーを参照し演出パターンを確定する。ここで、本発明に用いられている照明ライブラリーについて説明する。照明ライブラリーは、次の３種類のライブラリーから構成されている。
（１）照明パターンライブラリー。
<cue xx> … xxは照明パターン番号、
＜照明パターン番号＞＝＜操作チャンネル数＞＜チャンネル番号＞＜レベル（ディマー値）＞・・・。
これは、どの灯体がどういう明るさで光るかを記述したデータの集まりであり、代表曲に照明専門家が実際にライティングしたデータをライブラリー化したものである。
【００４６】
（２）リズムパターンライブラリー。
<pattern xx> … xxはリズムパターン番号、
data0 ＝＜音数＞＜ドラムの発音タイミングの並び＞、
data1 ＝＜音数＞＜ベースの発音タイミングの並び＞。
これは、２小節（４分音符８つ）分のリズムの発音タイミングをドラム、ベース個々に記述したデータの集まりであり、抽出した代表曲の実際のＭＩＤＩデータから作成されたものである。
【００４７】
（３）リンクリストライブラリー。
＜種別コード＞＝＜対になったデータの組数＞＜pattern xx＞＜cue xx＞＜patern xx ＞＜cue xx＞・・・。
これは、拍子、テンポ、リズム形態、曲データ分割区分（ブロック属性）の４うの要素によって決定される種別コードことに、リズムパターンと照明パターンとの結びつきを記述したデータの集まりであり、前記種別コードによって選択される。
【００４８】
図８は、このような照明ライブラリーの概念を説明するための図である。この照明ライブラリーを参照するために、まず、照明パターンを付加すべき楽曲の拍子およびテンポに応じて、当該楽曲の拍子およびテンポがどの区分に属しているかが決定される。図９は、この拍子およびテンポの区分の一例を示す図表であり、図示するように、４種類の拍子（２／２、４／４、３／４、６／８）と３つに区分したテンポ（４０〜８０、８０〜１２０、１２０〜２００）との組合せにより、１〜１２の１２通りに区分されている。図８に示すように、当該楽曲の拍子が４／４、テンポが１２０以上であるときには、前記図９より、当該楽曲のこの区分は６であるとされる。
【００４９】
次に、当該楽曲にリズム形態による分類が行なわれる。これは、当該楽曲がドラムパートとベースパートの両方を有している、ベースパートを有している、あるいは、ドラムパートもベースパートも有していない弾き語りであるの３つの内のいずれであるかを分類するものである。
続いて、曲データ分割の単位、すなわち当該ブロックがどのような属性、すなわち、イントロ部、間奏部あるいはコーダ部であるか、Ａメロ部であるか、Ｂメロ部であるか、サビの部分であるか、キメの部分であるかを判定する。
【００５０】
以上により、当該ブロックの拍子、テンポ、リズム形態およびブロック属性が決定され、前記リンクリストライブラリーが参照される。前記リンクリストライブラリーには、前述したように、各種別コード毎にリズムパターンを照明パターンとの結びつきを記述したデータが格納されており、図８に示すように、種別コード毎に５〜２０パターンのデータが格納されている。
【００５１】
前記ステップＳ４７において抽出した当該ブロックのリズムパターンと上述のようにして選択された５〜２０の照明パターンに組み合わされたリズムパターンとを比較して評価値を算出し、最も評価値の高いリズムパターンを選択し、それに対応する照明パターンを当該ブロックの照明パターンとして決定する。
【００５２】
以上のようにして、使用する照明パターンが決定された後、ステップＳ４９において、該決定された照明データを前記ＭＩＤＩの楽曲データに付加して記録する。具体的には、選択された照明データを、各ブロックの先頭の２拍前からフェードイン、ブロックの終端から２拍かけてフェードアウトするといった形に展開する。ただし、順次点灯データの場合はフェードイン、フェードアウトは無しとする。このようにして全ブロックについての照明データを合成し、これを例えば、ＭＩＤＩのピッチベンドイベントとする。また、カラーチェンジはブロック先頭の２拍前で送出するようにし、これもピッチベンドイベントとする。
【００５３】
このように生成されたデータをＳＭＦのＦｏｒｍａｔ１の形で出力する。なお、このとき、元の曲データはそのままの形で出力する。すなわち、元の曲データがＳＭＦのＦｏｒｍａｔ０なら出力データのトラック１が曲データ、Ｆｏｒｍａｔ１なら音からのトラック数分が曲データとなり、それ以後のトラックに１トラック１チャンネル分として出力される。このデータは各トラックにトラックイベントとして出力されるので、前記演奏処理においては、このトラック情報を元に出力ポートを変更して再生する。これにより、楽曲データの部分は音源部に送出され、照明制御データは照明制御器に出力されることとなる。
【００５４】
なお、以上においては、演出の形態として照明器を制御する場合について説明したが、これに限られることはなく、前述したようにディスプレイ装置の表示色を変更したり表示されるキャラクタを動かすことによる演出を行なうようにすることもできる。
また、上記の説明においては、カラオケ演奏装置を例にとって説明したがこれに限られることはなく、汎用のパーソナルコンピュータなどにおいて楽曲を演奏させる場合にも全く同様に適用することができる。
【００５５】
【発明の効果】
以上説明したように、本発明の演奏データ作成方法および装置によれば、照明パターンを付加すべき個所を楽曲解析ルーチンにより正確に決定することができ、また、照明専門家の感性により作成された照明パターンを音楽属性の比較により選択することができるので、照明の専門家によるマニュアル照明に近い演出効果を与えることができる。
【図面の簡単な説明】
【図１】 本発明の演奏データ作成方法および装置が適用されるカラオケ演奏装置の構成を示すブロック図である。
【図２】 カラオケルームにおける照明灯の配置の一例を示す図である。
【図３】 本発明における処理の流れを説明するための図である。
【図４】 前記カラオケ演奏装置におけるメインルーチンのフローチャートである。
【図５】 モード処理を説明するためのフローチャートである。
【図６】 演奏処理を説明するためのフローチャートである。
【図７】 演出データ作成処理を説明するためのフローチャートである。
【図８】 照明ライブラリーの概念を説明するための図である。
【図９】 拍子およびテンポによる区分の一例を示す図表である。
【符号の説明】
１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ マイク、５ マイクインターフェース回路、６ 操作パネル、７ ディスプレイ装置、８ ＭＩＤＩインターフェース回路、９ 記憶装置、１０ 音源、１１ アンプ、１２ スピーカ、１３ 照明インターフェース回路、１４ 照明制御器、１５ 照明器、２１〜２５ 照明灯
【発明の属する技術分野】
本発明は、楽曲の演奏に合わせて演出効果を発生させることのできる演奏データを作成するための方法および装置に関する。
【０００２】
【従来の技術】
一般に、ステージや舞台においては、演奏される楽曲のフレーズが変化するタイミングで照明を変化させて演出効果を発生させることが行なわれている。この場合、舞台照明の専門家は、演奏される曲の曲調や歌詞などに応じて、その感性に基づいて照明パターンを選択して切り換えているのが通常である。
【０００３】
一方、カラオケ演奏装置等においても実際のステージや舞台の場合と同様に演出効果を発生させることが求められており、演奏する楽曲のリズムや音量、音程、和音などを検出して照明パターンを変更させるようにすることが提案されている。例えば、特開平５−２２４５８８号公報には、歌詞の文字コードのブロック毎に記憶されたイメージ情報に基づいて背景画像を選択して表示するとともに、照明器具を点灯制御して、舞台効果を演出することが記載されている。また、特開平６−７０３８６号公報には、演奏される楽曲のリズムに同期して照明器具を点滅制御するものが記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のような従来の装置においては、照明の切り換えタイミングやその照明パターンの選択が、楽曲データのリズムや音量、コードなどの断片的な情報を基準として行なわれていたので、音楽的な意味合いと一致していない場合が多かった。
【０００５】
そこで本発明は、曲にマッチしたきめ細かな演出ができ、より舞台演出性を高めることが可能な演奏データ作成方法および装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の演奏データ作成方法は、楽曲データを記憶する記憶手段と処理手段とを備えた演奏データ作成装置において、楽曲データと演出データとからなり、演奏時に前記楽曲データによる演奏に合わせて前記演出データによる演出効果を発生させることができる演奏データを作成する方法であって、（ａ）前記処理手段が前記記憶手段に記憶されている楽曲データのメロディを解析して該楽曲データをフレーズに応じたブロックに分割するステップ、（ｂ）前記処理手段が前記ステップ（ａ）において分割された各ブロックの音楽属性に基づいて、演出パターンデータが格納された演出制御ライブラリーを参照して演出パターンデータを抽出するステップ、（ｃ）前記処理手段が前記各ブロックに前記抽出した演出パターンデータを割り付けて、演出データを作成するステップ、および、（ｄ）前記処理手段が前記楽曲データと前記演出データとを結合するステップとを有する方法である。
【０００７】
そして、前記ステップ（ａ）は、楽曲データを構成するメロディパートと他のパートとを検出し、該他のパートを解析して前記フレーズに応じたブロックの分割位置を決定するものであり、また、前記演出制御ライブラリーは、楽曲のテンポと拍子を基準としてそれに対応する演出パターンが格納されているものであり、あるいは、フレーズに応じて分割されたブロックの音楽属性を基準としてそれに対応する演出パターンが格納されているものである。
【０００８】
さらにまた、本発明の演奏データ作成装置は、楽曲データと演出データとからなり、演奏時に前記楽曲データによる演奏に合わせて前記演出データによる演出効果を発生させることができる演奏データを作成する演奏データ作成装置であって、楽曲データのメロディを解析して該楽曲データをフレーズに応じたブロックに分割する手段と、前記分割された各ブロックの音楽属性に基づいて、演出パターンデータが格納された演出制御ライブラリーを参照して演出パターンデータを抽出する手段と、前記各ブロックに前記抽出した演出パターンデータを割り付けて、演出データを作成する手段と、前記楽曲データと前記演出データとを結合する手段とを有するものである。
【０００９】
さらにまた、前記分割する手段は、楽曲データを構成するメロディパートと他のパートとを検出し、該他のパートを解析して前記フレーズに応じたブロックの分割位置を決定するものであり、前記演出制御ライブラリーは、楽曲のテンポと拍子を基準としてそれに対応する演出パターンが格納されているもの、あるいは、フレーズに応じて分割されたブロックの音楽属性を基準としてそれに対応する演出パターンが格納されているものである。
【００１０】
【発明の実施の形態】
図１は本発明の演奏データ作成方法の一実施の形態が適用されるカラオケ演奏装置の構成例を示すブロック図である。この図において、１はこの装置全体の制御を行なう中央処理装置（ＣＰＵ）、２は制御プログラムなどが記憶されているリードオンリメモリ（ＲＯＭ）、３はＣＰＵ１のワークエリア等として使用されるランダムアクセスメモリ（ＲＡＭ）である。また、４は歌唱入力用のマイク、５は該マイクから入力される歌唱信号をアナログ／デジタル変換してバス１６に出力するマイクインターフェース回路、６はモード設定スイッチ等の各種設定用スイッチや演奏のスタート／ストップスイッチ、演奏データのロードスイッチなどが含まれている操作パネル、７は歌詞情報や背景画像などを表示するディスプレイ装置である。
【００１１】
８は外部装置との間でＭＩＤＩデータを入出力するためのＭＩＤＩインターフェース回路、９は楽曲データや歌詞データ、演奏データなどを格納する記憶装置であり、例えば、ビデオディスクやＣＤ−ＲＯＭ、ハードディスクなどの大容量記憶媒体が用いられている。
【００１２】
１０は楽曲データや前記マイクインターフェース回路５から入力されるデジタル化された歌唱信号が供給され、前記楽曲データに対応した楽音を発生するとともに、該発生された楽音および前記デジタル化された歌唱信号に対して所定のエフェクト処理を施し、アナログ信号に変換して出力する音源部である。該音源部１０から出力されるアナログ信号はアンプ１１において増幅され、スピーカ１２から放音されることとなる。
【００１３】
１３は演奏データの所定のトラックに含まれている演出データを照明制御器１４に出力するための照明インターフェース回路、１４は前記照明インターフェース回路１３から出力される演出データから照明灯の制御信号を生成し、照明器１５に供給する照明制御器、１５は該照明制御信号により制御される複数個の照明灯からなる例えばカラオケルーム内の照明器である。なお、１６は前記各構成要素間のデータの転送を行なうためのバスである。
【００１４】
図２に、このカラオケ演奏装置が使用されるカラオケルームの照明器の配置の一例を示す。この図において、２１は図示するように８個設けられた照明灯、２２は６個設けられた発光色を変化させることができる照明灯、２３は２個設けられた青、緑、赤の３色を発光することができる照明灯、２４は５個設けられた照明灯、２５は８個設けられたミニストロボである。このように、この例に示すカラオケルームには５種類の照明灯が合計２９個設けられており、それぞれ、図示するチャンネル（Ｃｈ）番号を有する制御チャンネルにより点灯制御され、また、前記照明灯２２の発光色はチャンネル（ｃｈ）４９〜５４により制御されるようになされている。
なお、以下の説明においては、これらの照明器を制御することにより演出を行なう場合を例にとって説明するが、前記ディスプレイ装置７における画面の色や表示するキャラクターの動き、色等を制御することによって演出することもできる。
【００１５】
さて、このように構成されたカラオケ演奏装置において実行される処理の流れについて図３を参照して説明する。このカラオケ演奏装置は、（１）前記記憶装置９に格納されている楽曲データや前記ＭＩＤＩインターフェース回路８を介して外部装置から入力され前記記憶装置９に一度格納された楽曲データを、読み出して解析し、その楽曲データに対応する演出データを生成し、該演出データと前記楽曲データとからなる演奏データを作成する演出データ作成処理モードと、（２）前記演奏データ中の楽曲データに基づいて楽曲を演奏するとともに、前記演出データに基づいて照明器やディスプレイ装置に表示される画像データを制御して所定の演出を行なう演奏モードとの２つの動作モードを有している。
【００１６】
まず、前記演出データ作成モードにおける動作が行なわれる。前記楽曲データは、例えばＭＩＤＩデータとされており、ＳＭＦ（standard MIDI file）のフォーマット０あるいはフォーマット１の形式のデータとされている。そこで、演奏の対象となる楽曲データを構成している曲パートの構成を解析し、ＭＩＤＩデータのどのチャンネルがメロディ、ベース、ドラムの主要３パートとその他のパートに対応するかを判定し、また、メロディデータの有無から間奏部とメロディ部とに大別する。
【００１７】
次に、前記メロディパートを解析して、フレーズに分解し、各フレーズの内容（イントロ、第１のメロディ、第２のメロディなど）を特定する。
一方、メロディ以外のパートを対象として曲をいくつかのブロックに分割する。
そして前記フレーズ構成の解析結果と前記ブロック分割の結果に基づいて、曲全体を複数個のブロックに分割する。
【００１８】
次に、このように分割した各ブロック毎にそのブロックにおけるリズムパターンを検出する。
そして、該検出したリズムパターンおよび拍子やテンポ、フレーズの内容等の音楽的属性データを用いて、照明ライブラリーから最もよく一致する照明パターンを選択する。この照明ライブラリーは予め照明の専門家により使用される代表的な照明パターンを曲のテンポ、拍子、フレーズ内容等に応じて分類して格納したものである。
このように各ブロックに対応して使用する照明パターンを特定し、この照明パターンを楽曲データに付加した演奏データを生成する。
【００１９】
続いて、上記のようにして生成された演奏データを再生する演奏モードの処理が実行される。この処理は、通常のマルチポート出力機能を有するシーケンサプログラムにおける処理と同様のものであり、前記演奏データ中の楽曲データに基づく楽音制御信号は前記音源部１０に出力されて、対応する楽音がスピーカ１２から出力される。また、前記演奏データ中の演出データは前記照明制御器１４に出力され、前記照明器１５が制御される。
このように、本発明によれば、、楽曲データから演出データを生成し、該演出データを当該楽曲データの演奏と同時に照明器等に出力して、曲にマッチした演出を自動的に行なうことができるようになる。
【００２０】
図４に、このように構成されたカラオケ演奏装置において実行されるメインルーチンの処理のフローチャートを示す。この図において、このカラオケ演奏装置が駆動されると、ステップＳ１１において各種パラメータの初期設定等の初期設定処理が行なわれる。次に、ステップＳ１２においてモード処理が行なわれる。
【００２１】
図５はこのモード処理のフローチャートであり、ステップＳ２１において動作モードが演出データ作成処理モードであるか否かを判定し、その結果に応じて、ステップＳ２２の演出データ作成処理あるいはステップＳ２３の演奏処理が実行される。これらの処理の詳細については後述する。
次に、ステップＳ１３（図４）において、前記操作パネル６に設けられた各操作スイッチの操作に対応する処理、例えば、選曲、音量やエフェクトの設定などの処理が行なわれる。
【００２２】
図６に前記演奏処理Ｓ２３のフローチャートを示す。この図に示すように、演奏処理が開始されると、まず、ステップＳ３１において前記記憶装置９から演奏すべき楽曲に対応する演奏データが前記ＲＡＭ３に読み込まれる。この演奏データは、後述するステップＳ２２の演出データ作成処理により作成された演出データがＭＩＤＩデータからなる当該楽曲データに付加されたもので、例えば、ＳＭＦ（Standard MIDI File）のフォーマット１形式のデータとされている。そして、元となる楽曲データがＳＭＦのフォーマット０の場合には、該演奏データのトラック１に当該楽曲データが格納され、それ以降のトラックに前記演出データが１トラック１チャンネル分として格納されている。また、元となる楽曲データがＳＭＦのフォーマット１の場合には、元の楽曲データが格納されていたトラック数分に該元の楽曲データ、それより後のトラックに演出データが格納されている。
【００２３】
このような演奏データを読み込んだ後、ステップＳ３２において、該演奏データの内の楽曲データに対応するトラックが前記音源１０に出力され、該音源１０から対応する楽音が発音される。また、ステップＳ３３において、前記演奏データ内の演出データが前記演出データインターフェース回路１３を介して前記照明制御器１４に出力され、該演出データに対応する照明器制御信号に応じて前記照明器１５が制御されることとなる。このようにして、楽曲の演奏と同時にそれに対応して演出が実行されることとなる。
【００２４】
図７は前記演出データ作成処理（ステップＳ２２）のフローチャートである。演出データ作成処理が開始されると、まず、ステップＳ４１において前記操作パネル６において選択された楽曲データがＲＡＭ３に読み込まれる。この楽曲データは前述したように、ＳＭＦのフォーマット０あるいはフォーマット１の形とされており、前記記憶装置９から読み込まれる。
【００２５】
次に、ステップＳ４２において、該読み込んだ楽曲データの各パートの構成が解析される。すなわち、まず、読み込んだ楽曲データから当該楽曲の拍子データおよびテンポデータを抽出する。これにより、曲の小節数を求めることができる。続いて、読み込んだデータをチャンネル毎に分割し、各チャンネルについて、ドラムパート、ベースパートおよびメロディパートの主要３パートと、その他のパートのいずれのパートであるかを判断する。
【００２６】
具体的には、次のような基準に基づいて判定することにより、各パートがどのようなのパートであるかを認識している。
（ａ）ドラムパート。
１）ＧＭ（General MIDI）オンまたはＧＳリセットがあるときには、第１０チャンネルをドラムパートとする。
２）バンクセレクトのＭＳＢが７Ｆ（１６進）とされているデータが書き込まれているチャンネルもドラムパートとする。
３）そのパートの発音比率が全小節の２０％を越えていたら、そのチャンネルをドラムパートと確定し、２０％に達していないときはドラムパートではないとする。
４）以上の条件によりドラムパートとされるチャンネルが２チャンネル以上あるときには、第１０チャンネルを優先し、それ以外のときにはチャンネル番号が小さいものから２チャンネルを選択してそれらをドラムパートであると決定する。
【００２７】
（ｂ）ベースパート。
ドラムパートとされなかったパートを対象として、以下の条件について調べる。
１）最初のノートオン以前のプログラムチェンジのプログラム番号が３３〜４０か？
２）ノートデータのある小節のうち、８０％以上が単音か？
３）ノートデータの９０％以上がＣ３より低い音高か？
４）ノートデータが全小節の７０％以上に存在するか？
以上の条件を全て満たすチャンネルがあれば、その中のチャンネル番号の小さなものをベースパートと決定する。
上記１）〜４）の全条件を満たすチャンネルがなければ、上記１）、２）、４）あるいは１）、３）、４）あるいは２）、３）、４）を満たすチャンネルを探し、その中のチャンネル番号の最も小さなものをベースパートと決定する。
それでも、上記条件をみたすチャンネルがないときには、ベースパートなしと決定する。
【００２８】
（ｃ）メロディパート。
上記２つの処理で残ったチャンネルを対象として、次の１）〜４）の条件について調べる。
１）プログラムチェンジのプログラム番号が１〜１１２か？
２）ノートデータがＣ２〜Ｃ６の範囲にあるか？
３）単音演奏又は２〜３音以内の和音演奏か？
４）ノートデータの存在する小節数が全小節数の５０％以上か？
その結果、すべての条件を満たすチャンネルがあれば、その中でチャンネル番号の小さなものをメロディパートとする。
また、上記４）の条件が欠けているときは、１）〜３）の条件を満たすチャンネルの中でチャンネル番号の小さなものを優先して２つ選ぶ。そして、この２つのチャンネルのノートデータの存在割合が全小節の５０％以上となるかをチェックして、この条件を満たすものがあれば、その２つのチャンネルの組み合わせをメロディパートとする。
【００２９】
（ｄ）サブパート。
今までの処理で残ったチャンネルに対して以下の条件をチェックする。
１）プログラムチェンジのプログラム番号が１〜３２、４１〜１１２か？
２）ノートデータがＣ２〜Ｃ６の範囲にあるか？
３）前記（ｃ）で決定したメロディパートにおいてノートデータがない小節にノートデータがあるか？
４）前記（ｃ）で決定したメロディパートにおいてノートデータがないすべての小節にノートデータがあるか？
そして、すべての条件を満たすチャンネルがあれば、その中でチャンネル番号の小さなものをサブパートであるとする。
また、上記４）の条件が欠けている場合には、上記１）〜３）の条件を満たすチャンネルの中から２つまで選んでサブパートであるとする。
【００３０】
以上のようにして、メロディ、ベース、ドラムの主要な３パートとその他のパートを特定することができる。
また、メロディパートにノートデータがあるか否により、間奏部とメロディ部とに大別することができる。
このようにして、上記ステップＳ４２における各曲パートの構成解析処理が行われる。
【００３１】
このようにして解析されたメロディ、ベース、ドラム等の曲パートに基づいて、曲をブロックに分割する処理を行う。まず、ステップＳ４３においてどのパートであるかを判定し、メロディパートの場合はステップＳ４４に進み、ベースパート及びドラムパートの場合はステップＳ４６に進む。
【００３２】
ステップＳ４４は、メロディパートのデータに対し構造解析処理を実行して、フレーズ構成を解析し、曲をイントロ、第１のメロディ（以下、Ａメロという）、第２のメロディ（以下、Ｂメロという）、エンディングなどの部分に分割する処理である。
【００３３】
この構造解析の手法としては、本出願人によりすでに提案されている音符長情報に基づく手法（特願平７−１２３１０５号公報）を採用することができる。この手法は、メロディパートの全区間または一部区間内の音符長情報に基づいて、該区間内の平均音符長を算出し、該算出された平均音符長に基づいて曲をフレーズに区切り、このように区切られた複数のフレーズについてメロディの類似度を算出するもので、曲の個性や人間のフレーズ感に適合したフレーズ分けができ、メロディの類似度が高いフレーズを他のフレーズから区別して、曲の構造解析を行うことができるものである。このステップＳ４４における処理の概要について説明する。
【００３４】
（１）まず、対象となるメロディパートのデータに対し、音符の次に位置する休符をサーチし、該休符の長さ情報をその前に位置する音符の長さ情報に加算する休符長加算処理を実行する。これは、ある音が鳴って休符となったときに、聴き手の耳には最後の音が色濃く残っていることを考慮した処理で、この処理の結果、メロディパートのデータは音高情報と音符長情報との２種類の情報となる。
【００３５】
（２）次に、メロディの全区間の音符長情報に基づいて平均音符長（音符長の平均値）Ｌを算出し、該算出した平均音符長Ｌに所定の定数Ｋ（例えばＫ＝２）を乗算し、積ＫＬに一致または近似したボーダー音符長を求める。そして、メロディパートのデータに対し、このボーダー音符長の終りを区切りとして各フレーズに区切り、該各フレーズごとにフレーズ番号を付与する。なお、このように区切ることにより、曲の個性に対応し、かつ、人間の感覚に近いフレーズ分けが可能となるが、メロディ全体の平均音符長を用いて区切っているため、１曲中の「早い部分」と「ゆっくりな部分」のいずれにおいても人間に近いフレーズ感を得ることは容易ではない。そこで、この処理においては、やや早い部分に対応した細かさで分けることとし、その後にゆったりした部分に対応するための修正を実行するようにしている。
【００３６】
（３）前記「ゆっくりな部分」に対応するためのフレーズ分け修正処理を行う。この処理においては、上記（２）において分けた各フレーズ毎にフレーズ内の音符長情報に基づいてその平均音符長を算出する。そして、連続する２つのフレーズにおいて、各フレーズ毎に平均音符長およびフレーズの終端の音符長が、「フレーズの平均音符長×２≦フレーズの終端音符長」という関係を満たしているか否かを判定し、この判定結果が否定的であるときは、その２つのフレーズ間の区切りを削除する。これにより、「ゆっくりな部分」に適合するようにフレーズ分けを修正することができる。
【００３７】
（４）次に、人間のフレーズ感に一層近づけるために、さらにフレーズ分け修正処理を行う。人間はメロディを聴くとき、同じメロディ部分をフレーズとして認識しており、これに対応するように、フレーズ分けを修正する。例えば、同じメロディ部分が２箇所に存在し、一方はその直前に長い音符があり、他方はその直前にあまり長くない音符があったときには、前記（２）および（３）の処理においては、前記一方のメロディ部分はフレーズとして認められるが、前記他方のメロディ部分はフレーズとしては認められずその前のフレーズの一部とされている。そこで、同じメロディ部分を検出してフレーズ分けの修正を行うのがこの処理である。
【００３８】
この処理においては、あるフレーズとメロディ同一の部分を含む他のフレーズを検出し、検出されたフレーズにおいてメロディ同一の部分以外の残部がフレーズの最小長さ（例えば２拍）以上か否かを判定し、この判定結果が肯定的であればメロディ同一部と残部とを各々フレーズとして分割する。また、判定結果が否定的であれば、アウフタクト（弱起）と判断し、分割しないようにしている。
【００３９】
（５）このようにして分割されたフレーズを分類する。この処理はメロディの類似度が高いフレーズを検出して１つの種類として分類するものである。
この処理においては、まず、前記（２）〜（４）の処理においてフレーズ分けされたメロディパートのデータを、メロディの音高情報を時間軸情報の単位長（フェーズ）毎に分解して並べたフェーズフォーマットに変換する。この単位長としては、連符と判断されなかった音符のうちで最も短い音符の長さが採用される。
【００４０】
次に、順次２つのフレーズをとり、それらの先頭から例えば３小節分のメロディの音高を比較し、音高一致率を算出する。この音高一致率が所定の値（例えば７０％）以上であるときは類似したメロディであると判定し、所定の分類番号を付与する。順次このようにして、全フレーズについて比較を行う。この結果得られた分類番号により、使用されているメロディの種類（Ａメロディ、Ｂメロディ等）を認識することができる。
【００４１】
以上のようにして、メロディパートのフレーズ構成を解析することができる。次に、このようにして解析されたフレーズの内容を特定する。これは、各フレーズにおけるＭＩＤＩデータの音量、すなわちベロシティデータに基づいて、前記分類された各フレーズが、それぞれ、Ａメロディ、Ｂメロディ、サビ、キメなどのどれに対応しているかを特定する処理である。
【００４２】
一方、ステップＳ４６においてメロディパート以外の全パートに基づいてブロック分割処理が実行される。この処理は、ベロシティデータに基づいて、曲をブロックに分割するものである。具体的に説明すると、
（１）１小節毎にＭＩＤＩデータの音量、すなわち、ベロシティの総和を算出する。
（２）続いて、最初の発音のある小節を探し、これ以後の小節で、２小節毎のＭＩＤＩデータ音量を算出する。そして、この結果の最大、最小の範囲を２０段階に分割する。
（３）次に、上記（２）の結果を４小節単位にして１０段階に分割し、音量差が３段階以上ある小節にマークを付す。
【００４３】
（４）そして、メロディパートにノートデータがあるか否かを小節毎にチェックし、その結果に応じて各小節にマークを付す。
（５）前記ステップＳ４４において解析したメロディパートのフレーズ解析結果を元にフレーズの先頭の小節にマークを付す。なお、その前後の１小節にマークがあれば、そのマークを削除する。
（６）このようにして付されたマークに基づいて、曲をブロックに分割し、各ブロックをナンバリングする。
（７）各ブロックのメロディパートにおけるＭＩＤＩデータ音量の情報から各ブロックを３つのタイプ（間奏部、平ウタ、サビ）に分ける。
（８）ドラムパート、ベースパートのオン、オフ情報を元にさらにブロック分けをする。このとき、タイプは、前記（７）において決定された直前のブロックのタイプを引き継ぐようにする。
【００４４】
以上の処理により、曲全体を複数個のブロックに分割することができた。次に、ステップＳ４７において、各ブロック毎のリズムパターンの抽出処理を実行する。この処理においては、まず、各パートを４分音符＝２４としてクオンタイズする。そして、各ブロックの先頭の２小節から、ドラムパートとベースパートの両方があるときにはその両者から、ベースパートのみの場合にはベースパートとメロディパートから、ドラムパートとベースパートの両方とも無いときにはメロディパートから、それぞれノートオンタイミングを抽出する処理である。これにより、各ブロックのリズムパターンを抽出することができる。
【００４５】
次に、ステップＳ４８において、照明ライブラリーを参照し演出パターンを確定する。ここで、本発明に用いられている照明ライブラリーについて説明する。照明ライブラリーは、次の３種類のライブラリーから構成されている。
（１）照明パターンライブラリー。
<cue xx> … xxは照明パターン番号、
＜照明パターン番号＞＝＜操作チャンネル数＞＜チャンネル番号＞＜レベル（ディマー値）＞・・・。
これは、どの灯体がどういう明るさで光るかを記述したデータの集まりであり、代表曲に照明専門家が実際にライティングしたデータをライブラリー化したものである。
【００４６】
（２）リズムパターンライブラリー。
<pattern xx> … xxはリズムパターン番号、
data0 ＝＜音数＞＜ドラムの発音タイミングの並び＞、
data1 ＝＜音数＞＜ベースの発音タイミングの並び＞。
これは、２小節（４分音符８つ）分のリズムの発音タイミングをドラム、ベース個々に記述したデータの集まりであり、抽出した代表曲の実際のＭＩＤＩデータから作成されたものである。
【００４７】
（３）リンクリストライブラリー。
＜種別コード＞＝＜対になったデータの組数＞＜pattern xx＞＜cue xx＞＜patern xx ＞＜cue xx＞・・・。
これは、拍子、テンポ、リズム形態、曲データ分割区分（ブロック属性）の４うの要素によって決定される種別コードことに、リズムパターンと照明パターンとの結びつきを記述したデータの集まりであり、前記種別コードによって選択される。
【００４８】
図８は、このような照明ライブラリーの概念を説明するための図である。この照明ライブラリーを参照するために、まず、照明パターンを付加すべき楽曲の拍子およびテンポに応じて、当該楽曲の拍子およびテンポがどの区分に属しているかが決定される。図９は、この拍子およびテンポの区分の一例を示す図表であり、図示するように、４種類の拍子（２／２、４／４、３／４、６／８）と３つに区分したテンポ（４０〜８０、８０〜１２０、１２０〜２００）との組合せにより、１〜１２の１２通りに区分されている。図８に示すように、当該楽曲の拍子が４／４、テンポが１２０以上であるときには、前記図９より、当該楽曲のこの区分は６であるとされる。
【００４９】
次に、当該楽曲にリズム形態による分類が行なわれる。これは、当該楽曲がドラムパートとベースパートの両方を有している、ベースパートを有している、あるいは、ドラムパートもベースパートも有していない弾き語りであるの３つの内のいずれであるかを分類するものである。
続いて、曲データ分割の単位、すなわち当該ブロックがどのような属性、すなわち、イントロ部、間奏部あるいはコーダ部であるか、Ａメロ部であるか、Ｂメロ部であるか、サビの部分であるか、キメの部分であるかを判定する。
【００５０】
以上により、当該ブロックの拍子、テンポ、リズム形態およびブロック属性が決定され、前記リンクリストライブラリーが参照される。前記リンクリストライブラリーには、前述したように、各種別コード毎にリズムパターンを照明パターンとの結びつきを記述したデータが格納されており、図８に示すように、種別コード毎に５〜２０パターンのデータが格納されている。
【００５１】
前記ステップＳ４７において抽出した当該ブロックのリズムパターンと上述のようにして選択された５〜２０の照明パターンに組み合わされたリズムパターンとを比較して評価値を算出し、最も評価値の高いリズムパターンを選択し、それに対応する照明パターンを当該ブロックの照明パターンとして決定する。
【００５２】
以上のようにして、使用する照明パターンが決定された後、ステップＳ４９において、該決定された照明データを前記ＭＩＤＩの楽曲データに付加して記録する。具体的には、選択された照明データを、各ブロックの先頭の２拍前からフェードイン、ブロックの終端から２拍かけてフェードアウトするといった形に展開する。ただし、順次点灯データの場合はフェードイン、フェードアウトは無しとする。このようにして全ブロックについての照明データを合成し、これを例えば、ＭＩＤＩのピッチベンドイベントとする。また、カラーチェンジはブロック先頭の２拍前で送出するようにし、これもピッチベンドイベントとする。
【００５３】
このように生成されたデータをＳＭＦのＦｏｒｍａｔ１の形で出力する。なお、このとき、元の曲データはそのままの形で出力する。すなわち、元の曲データがＳＭＦのＦｏｒｍａｔ０なら出力データのトラック１が曲データ、Ｆｏｒｍａｔ１なら音からのトラック数分が曲データとなり、それ以後のトラックに１トラック１チャンネル分として出力される。このデータは各トラックにトラックイベントとして出力されるので、前記演奏処理においては、このトラック情報を元に出力ポートを変更して再生する。これにより、楽曲データの部分は音源部に送出され、照明制御データは照明制御器に出力されることとなる。
【００５４】
なお、以上においては、演出の形態として照明器を制御する場合について説明したが、これに限られることはなく、前述したようにディスプレイ装置の表示色を変更したり表示されるキャラクタを動かすことによる演出を行なうようにすることもできる。
また、上記の説明においては、カラオケ演奏装置を例にとって説明したがこれに限られることはなく、汎用のパーソナルコンピュータなどにおいて楽曲を演奏させる場合にも全く同様に適用することができる。
【００５５】
【発明の効果】
以上説明したように、本発明の演奏データ作成方法および装置によれば、照明パターンを付加すべき個所を楽曲解析ルーチンにより正確に決定することができ、また、照明専門家の感性により作成された照明パターンを音楽属性の比較により選択することができるので、照明の専門家によるマニュアル照明に近い演出効果を与えることができる。
【図面の簡単な説明】
【図１】 本発明の演奏データ作成方法および装置が適用されるカラオケ演奏装置の構成を示すブロック図である。
【図２】 カラオケルームにおける照明灯の配置の一例を示す図である。
【図３】 本発明における処理の流れを説明するための図である。
【図４】 前記カラオケ演奏装置におけるメインルーチンのフローチャートである。
【図５】 モード処理を説明するためのフローチャートである。
【図６】 演奏処理を説明するためのフローチャートである。
【図７】 演出データ作成処理を説明するためのフローチャートである。
【図８】 照明ライブラリーの概念を説明するための図である。
【図９】 拍子およびテンポによる区分の一例を示す図表である。
【符号の説明】
１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ マイク、５ マイクインターフェース回路、６ 操作パネル、７ ディスプレイ装置、８ ＭＩＤＩインターフェース回路、９ 記憶装置、１０ 音源、１１ アンプ、１２ スピーカ、１３ 照明インターフェース回路、１４ 照明制御器、１５ 照明器、２１〜２５ 照明灯
Claims (8)
- 楽曲データを記憶する記憶手段と処理手段とを備えた演奏データ作成装置において、楽曲データと演出データとからなり、演奏時に前記楽曲データによる演奏に合わせて前記演出データによる演出効果を発生させることができる演奏データを作成する方法であって、次の（ａ）〜（ｄ）のステップを有することを特徴とする演奏データ作成方法。
（ａ）前記処理手段が前記記憶手段に記憶されている楽曲データのメロディを解析して該楽曲データをフレーズに応じたブロックに分割するステップ
（ｂ）前記処理手段が前記ステップ（ａ）において分割された各ブロックの音楽属性に基づいて、演出パターンデータが格納された演出制御ライブラリーを参照して演出パターンデータを抽出するステップ
（ｃ）前記処理手段が前記各ブロックに前記抽出した演出パターンデータを割り付けて、演出データを作成するステップ
（ｄ）前記処理手段が前記楽曲データと前記演出データとを結合するステップ - 前記（ａ）の分割するステップは、楽曲データを構成するメロディパートと他のパートとを検出し、該他のパートを解析して前記フレーズに応じたブロックの分割位置を決定するものであることを特徴とする前記請求項１記載の演奏データ作成方法。
- 前記演出制御ライブラリーは、楽曲のテンポと拍子を基準としてそれに対応する演出パターンが格納されているものであることを特徴とする前記請求項１記載の演奏データ作成方法。
- 前記演出制御ライブラリーは、フレーズに応じて分割されたブロックの音楽属性を基準としてそれに対応する演出パターンが格納されているものであることを特徴とする前記請求項１記載の演奏データ作成方法。
- 楽曲データと演出データとからなり、演奏時に前記楽曲データによる演奏に合わせて前記演出データによる演出効果を発生させることができる演奏データを作成する演奏データ作成装置であって、
楽曲データのメロディを解析して該楽曲データをフレーズに応じたブロックに分割する手段と、
前記分割された各ブロックの音楽属性に基づいて、演出パターンデータが格納された演出制御ライブラリーを参照して演出パターンデータを抽出する手段と、
前記各ブロックに前記抽出した演出パターンデータを割り付けて、演出データを作成する手段と、
前記楽曲データと前記演出データとを結合する手段と
を有することを特徴とする演奏データ作成装置。 - 前記分割する手段は、楽曲データを構成するメロディパートと他のパートとを検出し、該他のパートを解析して前記フレーズに応じたブロックの分割位置を決定するものであることを特徴とする前記請求項５記載の演奏データ作成装置。
- 前記演出制御ライブラリーは、楽曲のテンポと拍子を基準としてそれに対応する演出パターンが格納されているものであることを特徴とする前記請求項５記載の演奏データ作成装置。
- 前記演出制御ライブラリーは、フレーズに応じて分割されたブロックの音楽属性を基準としてそれに対応する演出パターンが格納されているものであることを特徴とする前記請求項５記載の演奏データ作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29927596A JP3743079B2 (ja) | 1996-10-24 | 1996-10-24 | 演奏データ作成方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29927596A JP3743079B2 (ja) | 1996-10-24 | 1996-10-24 | 演奏データ作成方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10124078A JPH10124078A (ja) | 1998-05-15 |
| JP3743079B2 true JP3743079B2 (ja) | 2006-02-08 |
Family
ID=17870444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29927596A Expired - Fee Related JP3743079B2 (ja) | 1996-10-24 | 1996-10-24 | 演奏データ作成方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3743079B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010192155A (ja) * | 2009-02-16 | 2010-09-02 | Roland Corp | 照明制御データの生成装置 |
| WO2017126085A1 (ja) | 2016-01-21 | 2017-07-27 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御装置、照明制御方法および照明制御プログラム |
| WO2017195310A1 (ja) | 2016-05-12 | 2017-11-16 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御装置、照明制御方法および照明制御プログラム |
| WO2017195326A1 (ja) * | 2016-05-12 | 2017-11-16 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御装置、照明制御方法、および照明制御プログラム |
| WO2018008081A1 (ja) * | 2016-07-05 | 2018-01-11 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御データ生成用楽曲選択装置、照明制御データ生成用楽曲選択方法、および照明制御データ生成用楽曲選択プログラム |
| US10708998B2 (en) | 2016-06-13 | 2020-07-07 | Alphatheta Corporation | Light control device, lighting control method, and lighting control program for controlling lighting based on a beat position in a music piece information |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1244093B1 (en) | 2001-03-22 | 2010-10-06 | Panasonic Corporation | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same |
| JP2005331892A (ja) | 2004-05-21 | 2005-12-02 | Yamaha Corp | 演奏装置 |
| JP4639983B2 (ja) * | 2005-06-20 | 2011-02-23 | カシオ計算機株式会社 | 演奏練習装置および演奏練習処理のプログラム |
| EP2080419A1 (en) * | 2006-10-31 | 2009-07-22 | Koninklijke Philips Electronics N.V. | Control of light in response to an audio signal |
| JP4933910B2 (ja) * | 2007-01-30 | 2012-05-16 | 株式会社エクシング | カラオケ装置 |
| JP5223536B2 (ja) * | 2008-08-19 | 2013-06-26 | ヤマハ株式会社 | 電子音楽装置及び楽譜データ利用プログラム |
| JP5296502B2 (ja) * | 2008-11-18 | 2013-09-25 | ローランド株式会社 | 自動伴奏装置 |
| CA2881453A1 (en) * | 2010-01-26 | 2011-08-04 | Touchtunes Music Corporation | Digital jukebox device with improved user interfaces, and associated methods |
| JP5370406B2 (ja) * | 2011-04-04 | 2013-12-18 | ブラザー工業株式会社 | 楽曲再生装置、投稿管理装置、照明パターン検索方法及びプログラム |
| IES86526B2 (en) * | 2013-04-09 | 2015-04-08 | Score Music Interactive Ltd | A system and method for generating an audio file |
| JP6543155B2 (ja) * | 2015-09-30 | 2019-07-10 | 株式会社エクシング | 操作制御装置及びプログラム |
| WO2017212551A1 (ja) * | 2016-06-07 | 2017-12-14 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明演出装置、照明システム、照明演出方法および照明演出プログラム |
| JP6617784B2 (ja) * | 2018-03-14 | 2019-12-11 | カシオ計算機株式会社 | 電子機器、情報処理方法、及びプログラム |
-
1996
- 1996-10-24 JP JP29927596A patent/JP3743079B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010192155A (ja) * | 2009-02-16 | 2010-09-02 | Roland Corp | 照明制御データの生成装置 |
| WO2017126085A1 (ja) | 2016-01-21 | 2017-07-27 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御装置、照明制御方法および照明制御プログラム |
| US10512139B2 (en) | 2016-01-21 | 2019-12-17 | Pioneer Dj Corporation | Lighting control device, lighting control method and lighting control program |
| WO2017195310A1 (ja) | 2016-05-12 | 2017-11-16 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御装置、照明制御方法および照明制御プログラム |
| WO2017195326A1 (ja) * | 2016-05-12 | 2017-11-16 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御装置、照明制御方法、および照明制御プログラム |
| US10492276B2 (en) | 2016-05-12 | 2019-11-26 | Pioneer Dj Corporation | Lighting control device, lighting control method, and lighting control program |
| US10708998B2 (en) | 2016-06-13 | 2020-07-07 | Alphatheta Corporation | Light control device, lighting control method, and lighting control program for controlling lighting based on a beat position in a music piece information |
| WO2018008081A1 (ja) * | 2016-07-05 | 2018-01-11 | Ｐｉｏｎｅｅｒ ＤＪ株式会社 | 照明制御データ生成用楽曲選択装置、照明制御データ生成用楽曲選択方法、および照明制御データ生成用楽曲選択プログラム |
| US10390410B2 (en) | 2016-07-05 | 2019-08-20 | Pioneer Dj Corporation | Music selection device for generating lighting control data, music selection method for generating lighting control data, and music selection program for generating lighting control data |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10124078A (ja) | 1998-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3743079B2 (ja) | 演奏データ作成方法および装置 | |
| US7605322B2 (en) | Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor | |
| US5889224A (en) | Karaoke scoring apparatus analyzing singing voice relative to melody data | |
| EP0372678B1 (en) | Apparatus for reproducing music and displaying words | |
| US5939654A (en) | Harmony generating apparatus and method of use for karaoke | |
| US10347229B2 (en) | Electronic musical instrument, method of controlling the electronic musical instrument, and recording medium | |
| US20140238220A1 (en) | Apparatus and method for detecting chord | |
| US20020007722A1 (en) | Automatic composition apparatus and method using rhythm pattern characteristics database and setting composition conditions section by section | |
| JP2000514571A (ja) | 自動即興演奏システム及び方法 | |
| US20110185882A1 (en) | Electronic musical instrument and recording medium | |
| JP5293710B2 (ja) | 調判定装置および調判定プログラム | |
| JP5887293B2 (ja) | カラオケ装置及びプログラム | |
| KR102269591B1 (ko) | 자동작곡장치 및 그 방법 | |
| JP6954780B2 (ja) | カラオケ装置 | |
| EP0457980B1 (en) | Apparatus for reproducing music and displaying words | |
| JP4534926B2 (ja) | 画像表示装置及びプログラム | |
| JP3719157B2 (ja) | 楽曲データの表情付け装置及び楽曲データの表情付け方法並びに楽曲データの表情付けプログラム | |
| JP3271331B2 (ja) | メロディ分析装置 | |
| JP2570411B2 (ja) | 演奏装置 | |
| JP3978277B2 (ja) | 自動伴奏装置 | |
| JP3738634B2 (ja) | 自動伴奏装置、及び記録媒体 | |
| JP3832147B2 (ja) | 曲データ加工方法 | |
| JP3215058B2 (ja) | 演奏支援機能付楽器 | |
| JP3316547B2 (ja) | 和音付装置 | |
| JP2001312274A (ja) | 楽譜表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |