JP5257966B2 - Music reproduction control system, music performance program, and performance data synchronous reproduction method - Google Patents

Music reproduction control system, music performance program, and performance data synchronous reproduction method Download PDF

Info

Publication number
JP5257966B2
JP5257966B2 JP2007097289A JP2007097289A JP5257966B2 JP 5257966 B2 JP5257966 B2 JP 5257966B2 JP 2007097289 A JP2007097289 A JP 2007097289A JP 2007097289 A JP2007097289 A JP 2007097289A JP 5257966 B2 JP5257966 B2 JP 5257966B2
Authority
JP
Japan
Prior art keywords
performance
data
instrument
processing
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007097289A
Other languages
Japanese (ja)
Other versions
JP2008253440A (en
Inventor
玲生 南雲
光典 小川
Original Assignee
株式会社ユードー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユードー filed Critical 株式会社ユードー
Priority to JP2007097289A priority Critical patent/JP5257966B2/en
Publication of JP2008253440A publication Critical patent/JP2008253440A/en
Application granted granted Critical
Publication of JP5257966B2 publication Critical patent/JP5257966B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、音楽ゲームや音楽演習、音楽再生装置に利用できる音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法に関する。   The present invention relates to a music reproduction control system, a music performance program, and a method for synchronously reproducing performance data, which can be used for a music game, a music exercise, and a music reproduction apparatus.

従来、楽譜を読めない初心者でもゲーム感覚で簡単に且つ楽しんで電子楽器を演奏することができる音楽的アミューズメントシステムが提案されている。   2. Description of the Related Art Conventionally, a musical amusement system has been proposed in which even a beginner who cannot read a musical score can easily enjoy playing a musical instrument as if playing a game.

たとえば、特許文献1では、各音符がキャラクタ化されて、横方向に拡げられ、演奏者が弾くべき鍵の垂直上方の位置に音符が配置され、リンゴ化された音符は、画面上、上から下にアニメーションスクロールされて移動され、演奏者が、直線で示す「現在の演奏位置」の直線にリンゴの発音許可範囲が差し掛かるタイミングを見計らって、弾くべき鍵盤を押鍵すると、矢が発射されてリンゴに刺さり、矢の刺さったリンゴは画面上から消滅するというシステムが提案されている。   For example, in Patent Document 1, each note is characterized and spread in the horizontal direction, a note is placed at a position vertically above a key to be played by the performer, and the applet note is displayed on the screen from above. The animation is scrolled down and moved, and when the player presses the key to be played and presses the keyboard to play, the arrow is fired at the timing when the apple's pronunciation permission range approaches the straight line of the `` current performance position '' indicated by a straight line. A system has been proposed in which an apple is stabbed and an apple with an arrow disappears from the screen.

また、特許文献2には、実際のバンドのように、より実際に近い状態で各楽器のパート毎に複数人でのゲームを可能にするため、ドラムリズムゲーム装置とギターリズムゲーム装置間で演奏進行情報のセクタ番号を伝送することで、ドラムリズムゲーム装置とギターリズムゲーム装置の双方でBGM演奏曲に対するプレイヤーへの視覚的な演出指示を同期させつつ各演出操作部からそれぞれ演出操作可能にする技術が記載されている。
特開平8−305356号公報 特開2000−237454号公報
Further, Patent Document 2 describes a performance between a drum rhythm game device and a guitar rhythm game device in order to enable a game with a plurality of people for each part of each musical instrument in a state that is closer to the actual state as in an actual band. By transmitting the sector number of the progress information, each drum operation device can perform the rendering operation from each rendering operation unit while synchronizing the visual performance instruction to the player with respect to the BGM performance song on both the drum rhythm game device and the guitar rhythm game device. The technology is described.
JP-A-8-305356 JP 2000-237454 A

ところで、一般に演奏を忠実に再現しようとすると大量の演奏データを処理しなければならず、同時に、この演奏データに対する音源やサンプリング波形、それらの管理テーブルやプログラムナンバー等の処理も必要になり、いかにコンピュータの負荷を軽減するかが問題となる。また、インターネットなどの通信ネットワークを介して複数人が異なる場所でそれぞれのパートを演奏し、互いに自分のパートと相手のパートを合成して音響出力することによってバンド演奏の練習をするような場合、いかに通信ネットワークの負荷を少なくして、リアルタイム性を持たせるかが問題となる。   By the way, generally in order to faithfully reproduce the performance, a large amount of performance data must be processed, and at the same time, processing of the sound source, sampling waveform, management table, program number, etc. for this performance data is also required. The problem is whether to reduce the load on the computer. In addition, when multiple people perform their parts in different places via a communication network such as the Internet, and practice their band performance by synthesizing their parts and the other party's parts together and outputting sound, The problem is how to reduce the load on the communication network and provide real-time performance.

本発明は、上述のかかる事情に鑑みてなされたものであり、コンピュータやネットワークに負荷を与えず、またネットワークを通して複数人で楽曲のパートごとに演奏するときにも、音楽データ間の同期をとって、うまく演奏できたかどうかの確認を正確に把握でき、効果的な音楽演習を行うことのできる音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法を提供することを目的とする。   The present invention has been made in view of the above-described circumstances, and does not give a load to a computer or a network, and also synchronizes music data even when a plurality of people perform each piece of music through the network. It is an object of the present invention to provide a music playback control system, a music performance program, and a method for synchronously reproducing performance data, which can accurately confirm whether or not the performance has been successfully performed and can perform effective music exercises.

上記目的を達成するため、本発明に係わる音楽再生制御システムは、表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントとを表示する一方、楽器の操作位置をコンピュータに取り込んで、取り込んだ操作位置に基づいて音源データに所定の処理を施して音響出力する音楽再生制御システムであって、予め曲の音源データを楽器パート別に保存する手段と、演奏失敗時の処理内容を保存する手段と、楽器の操作位置を入力する手段と、曲の進行に伴って楽器パートごとにアクションポイントの位置、および、前記入力した楽器の操作位置を表示する描画映像出力手段と、アクションポイントが操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを楽器パートごとに判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する判定処理手段と、当該判定結果を演奏結果データとして保存する手段と、判定結果が失敗の場合は、保存されている演奏失敗時の処理内容に基づいて該当する楽器パートの音源データに処理を施したのちに、各楽器パートの音源データを合成して音響出力する音源情報処理手段と、を備えたことを特徴とする。   In order to achieve the above object, the music playback control system according to the present invention displays the correct operation position of the musical instrument corresponding to the melody and the action point that is the operation timing on the display device, while capturing the operation position of the musical instrument in the computer. A music playback control system that performs predetermined processing on sound source data based on the captured operation position and outputs the sound, including means for storing sound source data of a song in advance for each instrument part, and processing contents at the time of performance failure Means for storing, means for inputting an operation position of a musical instrument, a position of an action point for each musical instrument part as the music progresses, a drawing video output means for displaying the operation position of the input musical instrument, and an action point For each instrument part whether or not the instrument is operated when is in the judgment area set based on the operation timing. A determination processing means for determining that the operation position is unsuccessful if there is a difference greater than or equal to a predetermined operation position compared to a correct operation position even when the operation is not performed or operated in the determination area; Means for storing the determination result as performance result data, and if the determination result is unsuccessful, after processing the sound source data of the corresponding instrument part based on the stored processing content at the time of performance failure, each instrument And sound source information processing means for synthesizing the sound source data of the parts and outputting the sound.

本発明では、プレイヤーの演奏した演奏データをもとに音源データを生成するのではなく、予め楽譜どおりに正しく演奏できたときの音源データを各楽器パート別に保存しておき、楽譜どおりに演奏できなかったときに、その楽器パートの音源データに音量を小さくするなど所定の処理を施して出力する。これにより、複雑な曲(データ量の多い曲)でもコンピュータに負荷をかけず演奏結果を反映した音響出力が可能となる。   In the present invention, the sound source data is not generated based on the performance data played by the player, but is stored in advance for each musical instrument part when it is played correctly according to the score, so that it can be played according to the score. If not, the sound source data of the instrument part is output after being subjected to predetermined processing such as reducing the volume. As a result, even a complicated song (a song with a large amount of data) can be output as a sound reflecting the performance result without imposing a load on the computer.

また、演奏する楽器パートごとに音源データを準備し、各パートの音源を合成して出力することにより、プレイヤーは、演奏結果を反映した自己の楽器パートと予め保存されている他のパートとを合成して出力することができるので、効果的な演習が可能となる。   In addition, by preparing sound source data for each musical instrument part to be played, and synthesizing and outputting the sound source of each part, the player can combine his own musical instrument part reflecting the performance result with other parts stored in advance. Since they can be combined and output, effective exercises are possible.

なお、音楽再生制御システムは、その用途に限定されず、ゲームのみでなく、音楽演習に使用するような場合も含む。   Note that the music reproduction control system is not limited to its use, but includes cases where it is used not only for games but also for music exercises.

また、本発明に係わる音楽再生制御システムの楽器は、ギターその他の弦楽器演奏用のコントローラであって、弦楽器のネック部分は帯状の抵抗体と導体とを所定の間隔をもって配置して形成され、かつ、前記ネック部分は、操作位置に対応して目盛り表示され、または、抵抗体と導体との間であって弦楽器のフレット位置に棒状の絶縁体が挿入されており、さらに、抵抗体が導体に接触した位置の抵抗値互換データを計測する手段と、抵抗値互換データから操作位置を抽出する手段と、操作位置を出力する手段と、を備えたことを特徴とする。   Further, the musical instrument of the music playback control system according to the present invention is a controller for playing a guitar or other stringed instrument, and the neck portion of the stringed instrument is formed by arranging a strip-shaped resistor and a conductor at a predetermined interval, and The neck portion is displayed in a scale corresponding to the operation position, or a rod-like insulator is inserted between the resistor and the conductor at the fret position of the stringed instrument, and the resistor is further connected to the conductor. It is characterized by comprising means for measuring resistance value compatible data of the contacted position, means for extracting the operation position from the resistance value compatible data, and means for outputting the operation position.

弦楽器用コントローラの操作部分を可変抵抗器を用いて形成することにより、安価な仕組みで効果的な演奏が可能となる。   By forming the operation part of the controller for stringed instruments using a variable resistor, it is possible to perform effectively with an inexpensive mechanism.

ここで、「抵抗値互換データ」とは、抵抗値に変換可能なデータを意味し、たとえば、抵抗体と導体間に一定の電圧を印加したときに、抵抗体を流れる電流値で管理するような場合はその電流値なども含む趣旨である。なお、導体は、完全導体のほか抵抗を持った導体すなわち抵抗体も含む趣旨である。   Here, “resistance value compatible data” means data that can be converted into a resistance value. For example, when a constant voltage is applied between the resistor and the conductor, the resistance value compatible data is managed by the current value flowing through the resistor. In this case, the current value is included. The conductor includes a conductor having resistance, that is, a resistor, in addition to a complete conductor.

また、本発明に係わる音楽再生制御システムは、通信ネットワークを介して複数繋がるネットワーク対応型の音楽再生制御システムであって、音響データは、楽器パートごとに保存され、演奏結果データは、アクションポイントごとに失敗か否かのフラグ(判定結果)を有し、各音楽再生制御システムは、楽器パートの識別情報を他の音楽再生制御システムへ送信すると共に当該楽器パートの演奏結果データを随時他の音楽再生制御システムへ送信する手段と、他の音楽再生制御システムから送られてくる楽器パートの識別情報と演奏結果データを受信する手段と、演奏結果データを受信したとき、演奏中のときは、当該受信した演奏結果データのアクションポイントが未到来場合は、そのアクションポイントの到来を待って受信した楽器パートの音響データに当該アクションポイントの判定結果に対応する所定の処理を施して音響出力し、アクションポイントが既に到来している場合は直ちに所定の処理を施して音響出力し、再生時には、アクションポイントごとに各楽器パートの演奏結果データをもとに所定の処理を施して音響出力することを特徴とする。   The music playback control system according to the present invention is a network-compatible music playback control system connected through a communication network, in which acoustic data is stored for each instrument part, and performance result data is stored for each action point. Each music playback control system transmits the identification information of the instrument part to another music playback control system, and the performance result data of the instrument part is sent to other music at any time. Means for transmitting to the playback control system, means for receiving instrument part identification information and performance result data sent from another music playback control system, and when performance result data is received or playing, If an action point of the received performance result data has not yet arrived, the instrument parameters received after waiting for the arrival of the action point are received. The sound data of the target is subjected to a predetermined process corresponding to the determination result of the action point and output as sound. If the action point has already arrived, the sound is output immediately after performing the predetermined process. Each is characterized in that a predetermined process is performed based on performance result data of each musical instrument part and sound is output.

本発明では、通信ネットワークを通して複数のプレイヤーが演奏するときは、各プレイヤーの演奏結果データを随時他のプレイヤーに送るようにして、他のプレイヤーのシステムでは、その演奏結果を直ちに反映して出力するようにする。一方再生時には、曲全体について既に収拾されている演奏結果データをもとに、アクションポイントごとの各楽器パートの判定結果を反映して音響出力する。   In the present invention, when a plurality of players perform through the communication network, the performance result data of each player is sent to other players as needed, and the other player's system immediately reflects and outputs the performance results. Like that. On the other hand, at the time of reproduction, based on the performance result data already collected for the entire song, the sound output is reflected reflecting the determination result of each instrument part for each action point.

なお、一の音楽再生制御システムに対して演奏開始の指令が入力されたときに、他の音楽再生制御システムに対して、遅延時間計測用のデータを送信し、他の音楽再生制御システムから折り返し伝送されてくる遅延時間計測用データを受信し、その送信時刻と受信時刻との差に基づいて算出した伝送遅延時間を他の音楽再生制御システムへ送信し、各システムにおいて、伝送遅延時間による誤差を修正するようにするのが好ましい。   When a performance start command is input to one music playback control system, data for delay time measurement is transmitted to the other music playback control system and returned from the other music playback control system. Receives transmission delay time measurement data and sends the transmission delay time calculated based on the difference between the transmission time and the reception time to other music playback control systems. Is preferably corrected.

本発明に係わる音楽演奏プログラムは、表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントを表示する一方、楽器の操作位置をコンピュータに取り込んで、取り込んだ操作位置に基づいて音源データに所定の処理を施して音響出力するプログラムであって、楽器の操作位置を入力する処理と、曲の進行に伴ってアクションポイントの位置、および、前記入力した楽器の操作位置を表示する処理と、 アクションポイントが操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する処理と、当該判定結果が失敗の場合は、保存されている演奏失敗時の処理内容に基づいて音源データに処理を施して音響出力する処理と、をコンピュータに実行させることを特徴とする。   The music performance program according to the present invention displays the correct operation position and operation point of the musical instrument corresponding to the melody on the display device, while taking the operation position of the musical instrument into the computer and based on the captured operation position. A program for outputting sound by performing predetermined processing on sound source data, displaying a process for inputting an operation position of a musical instrument, a position of an action point as the music progresses, and an operation position of the input musical instrument When the processing and action points are in the determination area set based on the operation timing, it is determined whether or not the instrument has been operated. If the operation position is more than a predetermined difference compared to the correct operation position, a process for determining failure and the determination result On failure, characterized in that to execute a process of sound output by performing the processing to the sound source data based on the processing contents of the performance failure stored, to a computer.

本プログラムは、演奏失敗時に所定の処理を実行するので、コンピュータの処理能力が比較的低いコンピュータでも実行することが可能となる。   Since this program executes a predetermined process when performance fails, it can be executed even by a computer having a relatively low processing capacity.

なお、コンピュータとは、プログラム実行可能な演算機能があれば足り、ゲーム機などの専用コンピュータのほか、パーソナルコンピュータなどの汎用コンピュータや携帯電話あるいは携帯音楽再生装置なども含む趣旨である。本発明によるプログラムを用いることにより従来の演奏装置よりも低い演算機能でより品質の高い音楽再生を実現することができる。   Note that a computer is sufficient if it has an arithmetic function capable of executing a program, and includes a general-purpose computer such as a personal computer, a mobile phone, or a portable music player in addition to a dedicated computer such as a game machine. By using the program according to the present invention, music reproduction with higher quality can be realized with a lower calculation function than the conventional performance apparatus.

また、本発明に係わる演奏データの同期再生方法は、複数の音楽再生制御システムを通信ネットワークを介して接続し、夫々の音楽再生制御システムにおいて通信ネットワークを介して送られてくる他の音楽再生制御システムの演奏結果データと自己の音楽再生制御システムの演奏結果データとを同期させて出力する演奏データの同期再生方法であって、演奏結果データは、楽器の正しい操作タイミングの識別情報とその操作タイミングにおける演奏結果が関連付けられており、演奏モードのときは、受信した他の楽器パートの演奏結果データの操作タイミングにかかわらず受信後直ちにその判定結果に基づいて、音源データに当該判定結果に対応する処理を施して出力し、再生モードのときは、音源データの演奏経過に伴って、演奏結果データを参照して他の楽器パートと自己の楽器パートの操作タイミングごとの判定結果を抽出し、当該判定結果に基づいて所定の演奏効果を施して出力することを特徴とする。   In addition, the synchronized playback method of performance data according to the present invention includes a plurality of music playback control systems connected via a communication network, and another music playback control sent via the communication network in each music playback control system. A performance data synchronous reproduction method for outputting performance data of a system in synchronization with performance result data of its own music playback control system, wherein the performance result data includes identification information of correct operation timing of the instrument and its operation timing. In the performance mode, the sound source data corresponds to the determination result immediately after reception regardless of the operation timing of the performance result data of other musical instrument parts received. In the playback mode, the performance result data is displayed as the sound source data is played. Referring to data extracting determination result for each operation timing of the other instrument part and its instrument part, and outputs performs a predetermined play effect based on the determination result.

本発明では、曲の時間と同期した操作タイミングの識別情報に判定結果を関連付けて演奏結果データを作成し、そのデータを通信ネットワークを介してやり取りするので、ネットワークの負荷を軽減しつつ、各システムでは他の楽器パートの演奏結果を自己の楽器パートの演奏結果と合成して効果的に再生することができる。   In the present invention, the performance result data is created by associating the determination result with the operation timing identification information synchronized with the song time, and the data is exchanged via the communication network. Therefore, each system can be reduced while reducing the network load. Then, the performance results of other musical instrument parts can be combined with the performance results of their own musical instrument parts and reproduced effectively.

本発明によれば、予め各楽器パートごとに音源データを保存しておき、判定領域内での演奏結果、特に演奏失敗時の処理内容に基づいて音源データを処理して出力するようにしたので、常時演奏データを収集する必要が無くコンピュータの負荷を軽減することができる。また、各パートの判定領域ごとの演奏結果データを他のコンピュータに送信することにより通信ネットワークの負荷を軽減することもできる。   According to the present invention, the sound source data is stored in advance for each instrument part, and the sound source data is processed and output based on the performance result in the determination area, particularly the processing content at the time of performance failure. Therefore, it is not necessary to always collect performance data, and the load on the computer can be reduced. In addition, it is possible to reduce the load on the communication network by transmitting performance result data for each determination area of each part to another computer.

さらに、通信ネットワークを通して複数人で楽曲のパートごとに演奏するときにも、演奏中と再生中で演奏結果データの処理を変えることによって、効果的な音楽演習が可能となる。   Furthermore, even when a plurality of people perform each piece of music through a communication network, an effective music exercise can be performed by changing the processing of performance result data during performance and during playback.

以下、本発明の実施の形態を説明する。
[第1の実施の形態]
以下、本発明を音楽ゲームに適用したときの例によって説明する。勿論、音楽ゲームとしてではなく、音楽の演習など他の用途として使用することも可能である。
Embodiments of the present invention will be described below.
[First Embodiment]
Hereinafter, an example when the present invention is applied to a music game will be described. Of course, it can be used not only as a music game but also for other purposes such as music exercises.

(ゲームの概要)
本実施の形態による音楽再生制御システムは、コンピュータのキーボードや、ゲームコントローラー、MIDIなどに対応した楽器を使って演奏を入力するシステムであり、プレイヤーは譜面がわからなくても、画面の指示に従って操作することで、すでに発音している音を変化させるものである。
(Outline of the game)
The music playback control system according to the present embodiment is a system for inputting a performance using a computer keyboard, game controller, MIDI-compatible musical instrument, etc., and the player operates according to the instructions on the screen even if the musical score is not known. By doing so, the sound that has already been pronounced is changed.

従来、音楽ゲームと呼ばれているゲームのシステムは、「落ちてきたシンボルを、音楽を聴きタイミング良く押し、音楽を奏でる」といったものである。これはリズム感のみがゲーム性になっているもので、落ちてきたものを叩き、タイミングによって点数を競うというものになる。   Conventionally, a game system called a music game is “playing music by listening to music and pressing it at a good timing”. This is a game with only a sense of rhythm, hitting the fallen ones, and competing for points according to the timing.

本実施の形態は、この「リズム」的要素に「音程」の要素を加えることにより、ゲームの幅をより広げるものである。表示装置に演奏のタイミングと正しい楽器の操作位置を示すシンボルを表示し、プレイヤーは、表示されているシンボルの動きに合わせて、タイミング良くボタン(実行スイッチ)を押すだけでなく、楽器の操作位置(ピッチ)がシンボルの高さに合っていなければ、演奏が成功しないというシステムである。なお、以下の説明において、正しい演奏のタイミングと楽器の操作位置情報もしくは表示装置に表示された当該情報のシンボルを「アクションポイント」という。   In the present embodiment, by adding an element of “pitch” to this “rhythm” element, the width of the game is further expanded. Symbols indicating the timing of performance and the correct instrument operation position are displayed on the display device, and the player not only presses the button (execution switch) in a timely manner according to the movement of the displayed symbol, but also the instrument operation position. If (pitch) does not match the height of the symbol, the performance will not succeed. In the following description, the correct performance timing and the operation position information of the musical instrument or the symbol of the information displayed on the display device is referred to as “action point”.

次にシステムの動きとゲームのやり方を説明する。まず、演奏データの仕様に沿って、時間経過によって本来の操作位置を示すシンボル(アクションポイント)を表示画面上の右から左へ流し、これをプレイヤーがゲーム用の入力装置(以下、楽器あるいは自機ともいう)を操作して、流れてくるアクションポイントに自機の操作位置によって表示位置がきまるシンボル(以下、自機シンボルという)の高さをあわせるようにする。そして、アクションポイントが表示画面上の判定ラインに重なったら、アクションポイントの色に対応する操作対象の自機シンボルを操作して、実行スイッチを押す。アクションポイントおよび自機シンボルは操作すべき対象物の種類、たとえばギターゲームの場合は弦ごとに色別表示されており、プレイヤーはその弦のアクションポイントに対応する位置を押圧すると共にタイミングを合わせて実行スイッチを押すというものである。   Next, I will explain how the system works and how to play games. First, in accordance with the performance data specifications, a symbol (action point) indicating the original operation position is flowed from right to left on the display screen over time, and this is input by the player to a game input device (hereinafter referred to as a musical instrument or a personal computer). The height of a symbol whose display position is determined by the operation position of the own machine (hereinafter referred to as the own machine symbol) is adjusted to the action point that flows. When the action point overlaps the judgment line on the display screen, the user operates the own symbol corresponding to the color of the action point and presses the execution switch. The action point and own symbol are displayed by color for each type of object to be operated, for example, in the case of a guitar game, and the player presses the position corresponding to the action point of that string and matches the timing. The execution switch is pressed.

ゲームの処理手順の概要としては、アクションポイントが判定領域にあり、且つ実行スイッチが押されると、判定を開始する。そして、実行スイッチのタイミングは合っているか(判定ラインもしくはその前後の許容範囲内か)、ピッチは合っているか(自機シンボルの高さとアクションポイントの高さの差は許容範囲内か)、操作すべき対象物は合っているか(操作対象物はシンボルの色に対応しているか)、といった判定処理を実行し、合格判定(MAX,SMALL)の場合は点数を加算する。   As an outline of the game processing procedure, when the action point is in the determination area and the execution switch is pressed, the determination is started. Whether the timing of the execution switch is correct (is it within the allowable range before or after the judgment line), whether the pitch is correct (is the difference between the height of the own symbol and the height of the action point within the allowable range), A determination process such as whether the object to be matched is appropriate (whether the operation object corresponds to the color of the symbol) is performed, and in the case of a pass determination (MAX, SMALL), a score is added.

判定処理の結果、合格判定の場合は、そのまま曲は演奏されていくが、不合格判定(MUTE)の場合、再生する音を変化させる。たとえば、ボリュームを小さくするとか、音を歪ませるとか、ノイズを重畳する等である。曲開始から曲終了まで、以上の処理を繰り返す。   As a result of the determination process, if the determination is acceptable, the music is played as it is, but if the determination is rejected (MUTE), the sound to be reproduced is changed. For example, the volume may be reduced, the sound may be distorted, or noise may be superimposed. The above process is repeated from the start of the song to the end of the song.

図1にゲーム画面を示す。ここで、アクションポイント8の表示シンボルは、画面右から左方向へテンポ情報に基づく速度で移動し、プレイヤーは楽器を操作することによって自機シンボル7を上下方向に移動させてアクションポイント8の高さに合わせ、タイミングよく実行スイッチを押すことによって加点され、現在出力されている音源には変化を与えず、原音として流す。   FIG. 1 shows a game screen. Here, the display symbol of the action point 8 moves from the right to the left of the screen at a speed based on the tempo information, and the player moves the own symbol 7 in the vertical direction by operating the instrument to increase the height of the action point 8. At the same time, the execution switch is pushed at the right timing, and points are added, and the currently output sound source is not changed and is played as the original sound.

(システム構成)
図2は、第1の実施の形態による音楽再生制御システムの演奏時の機能ブロック図である。ここで、音楽再生制御システム1は、操作データを入力する入力装置10、操作データを取り込み、また種々の演奏効果を設定する入力数値処理装置20、入力数値処理装置20と通信手段5を介して繋がりコンピュータによって演奏処理を実行する演奏処理装置30、音楽データ等のデータを保存するミュージックDB60、演奏処理の結果生成された演奏結果データを保存する演奏結果記憶DB70、ディスプレイ等の画面出力装置90、音響データを出力する音響出力装置80、およびスピーカー84やヘッドフォン85などの音響装置から構成されている。
(System configuration)
FIG. 2 is a functional block diagram during performance of the music playback control system according to the first embodiment. Here, the music reproduction control system 1 includes an input device 10 for inputting operation data, an input numerical processing device 20 for capturing operation data and setting various performance effects, the input numerical processing device 20 and the communication means 5. A performance processing device 30 that performs performance processing by a connected computer, a music DB 60 that stores data such as music data, a performance result storage DB 70 that stores performance result data generated as a result of the performance processing, a screen output device 90 such as a display, The sound output device 80 that outputs sound data, and sound devices such as a speaker 84 and a headphone 85 are configured.

(入力装置)
入力装置10は、ゲーム内容や楽器の種類によって変わってくるが、コントローラやキーボードあるいはギターなどで使用するリボンセンサなどがある。それぞれ、操作信号を入力する入力部11、入力した信号をデジタルに変換するA/D変換手段13、演算処理を実行する処理演算部12、演算後のデータを外部に出力する送信部14を有している。
(Input device)
The input device 10 varies depending on the game content and the type of musical instrument, and includes a ribbon sensor used for a controller, a keyboard, a guitar, and the like. Each has an input unit 11 for inputting an operation signal, an A / D conversion means 13 for converting the input signal to digital, a processing calculation unit 12 for executing calculation processing, and a transmission unit 14 for outputting data after calculation to the outside. doing.

(入力装置の実施例)
一般に、ギターや、バイオリン、ピアノなどの習得が難しいのは、指の押さえ方使い方で5本の指の様々な組み合わせが難しいからである。たとえば、ギターのFのコードは、指の形が難しい。このため、リボンコントローラー(抵抗器)やトラックパッドを使用することにより、その位置に関する抵抗値を演算処理装置30へ送信することにより、音程の変化をつける。
(Example of input device)
In general, it is difficult to learn guitars, violins, pianos, etc., because it is difficult to use various combinations of five fingers for finger pressing. For example, a guitar F chord has a difficult finger shape. For this reason, by using a ribbon controller (resistor) or a track pad, a resistance value related to the position is transmitted to the arithmetic processing unit 30 to change the pitch.

ギターのネックに、このスライド抵抗器をつければ、指の形を決めなくても、指の置いてある場所だけで、この場所の抵抗値から、画面上に示す自分の音程場所を指定することができる。"ド"の音を入力しなくてはいけない、画面上の譜面(アクションポイント)"ド"のタイミングで、抵抗器を操作し、"ド"の位置にして、決定の意味のある実行スイッチを押せばよい。   If you attach this slide resistor to the neck of the guitar, you can specify your own pitch location shown on the screen from the resistance value of this place only in the place where your finger is placed, without having to decide the shape of the finger Can do. You must input the sound of "do", the musical score (action point) on the screen at the timing of "do", operate the resistor to the "do" position, and set a meaningful execution switch Just push it.

もし、この画面上の譜面"ド"に対するタイミングや、ピッチが異なる場合は、その位置や距離的な差分をすでに再生している音に変化を与える。プレイヤーは、耳でこの変化を感じて、間違いであることを認知する。   If the timing or pitch for the musical score "do" on this screen is different, the position or distance difference is given to the sound that has already been reproduced. The player feels this change with the ear and recognizes that it is a mistake.

音楽のゲームの場合、CPUのテンポにあわせることから、画面をみて入力をするケースがほとんどである。このため、コントローラ部の可変抵抗の横に、目盛をつけるのが好ましい。プレイヤーは、この目盛位置を目視して入力をすることにより楽曲を覚えることができる。   In the case of a music game, since it matches the tempo of the CPU, it is often the case that input is made by looking at the screen. For this reason, it is preferable to place a scale next to the variable resistor of the controller unit. The player can learn the music by visually observing and inputting the scale position.

目盛位置は、上から1,2,3,4、5、と振ってもよい。また、色で識別させてもよい。そして、画面上の音符にも、対応する数字や色を記載をすればよい。   The scale position may be shaken as 1, 2, 3, 4, 5, from the top. Moreover, you may identify with a color. And what is necessary is just to describe the corresponding number and color also to the note on a screen.

以下、入力装置10の実施例として、図3に示すギター型コントローラ10aを用いて説明する。ギター型コントローラとは、ギターの形をしており、ネックの部分に長いセンサーが付属しているものである。実行スイッチは、ピッキング部分に1種類、取り付けられる。   Hereinafter, an embodiment of the input device 10 will be described using a guitar-type controller 10a shown in FIG. A guitar-type controller is a guitar that has a long sensor attached to the neck. One type of execution switch is attached to the picking part.

一般にギターは、同じ弦を弾く場合、本体に近いフレットを押さえると高い音、遠いフレットを抑えると低い音が出る。この原理を踏まえて、このゲームでのギター型コントローラの挙動は、(1)本体から近いフレットを押さえると高い音=ピッチが高い=自機が高い位置に行く、(2)本体から遠いフレットを押さえると低い音=ピッチが低い=自機が低い位置に行く、というものになる。(図3参照)   In general, when playing the same string, the guitar produces a high sound when you press the frets close to the main unit, and a low sound when you press the far frets. Based on this principle, the behavior of the guitar-type controller in this game is as follows: (1) Pressing a fret close to the main unit, high sound = high pitch = own machine goes to a higher position, (2) a fret far from the main unit If you hold it down, the low tone = low pitch = your aircraft goes to a low position. (See Figure 3)

補足すると、センサーの一番近い端を押さえると、自機は一番高いところに固定され、逆に一番遠い端を押さえると、自機は一番低いところに固定される。同様に、センサーの真ん中を押さえれば、自機も真ん中に固定される。つまり、センサーと自機は、絶対位置でやり取りしている、ということになる。   In addition, if you press the closest end of the sensor, your machine will be fixed at the highest position, and conversely, if you press the farthest end, your machine will be fixed at the lowest position. Similarly, if you press the center of the sensor, your aircraft will be fixed in the middle. In other words, the sensor and its own machine are communicating at an absolute position.

これは、曲の演奏データで使われるフレーズを、位置で覚えてしまえば、画面を見なくても演奏が出来るようになる事への裏づけであり、こうする事により、プレイヤーはまるでミュージシャンのように、譜面を見ずに、曲を演奏できるようになる。   This is a proof that if you remember the phrases used in the performance data of a song from the position, you can play without looking at the screen. By doing this, the player is like a musician. In addition, you can now play songs without looking at the music.

図4は、ギター型コントローラ10aの操作位置入力手段15の回路例である。
この図において、ギター型コントローラ10aは、導体92とリボン状の抵抗体91が一定の間隔で配設され、細長い円柱状の絶縁体(非導電体)93で区分されている。また、導体92と抵抗体91の一端には電源95により電圧が印加され、導体、抵抗体を流れる電流を計測する手段(検出手段)94が設けられている。この構成において、図中矢印の方向から抵抗体91を押圧すると、抵抗体が破線のように変形し、導体92と接触し閉回路が形成されて電流が流れる。検出手段94によってこの電流値を計測することによって押圧箇所(操作位置)を検出することができる。
FIG. 4 is a circuit example of the operation position input means 15 of the guitar controller 10a.
In this figure, the guitar-type controller 10 a is divided into conductors 92 and ribbon-like resistors 91 at regular intervals and separated by an elongated cylindrical insulator (non-conductor) 93. In addition, a means (detection means) 94 for measuring a current flowing through the conductor and the resistor by applying a voltage from a power source 95 to one end of the conductor 92 and the resistor 91 is provided. In this configuration, when the resistor 91 is pressed from the direction of the arrow in the figure, the resistor is deformed as shown by a broken line, contacts the conductor 92, forms a closed circuit, and a current flows. By measuring the current value by the detecting means 94, the pressed location (operation position) can be detected.

ギター型コントローラ10aは、この他、実行スイッチ16を有している。なお、電源95から実行スイッチ16の接点を介して抵抗体91に電流を供給することによって、実行スイッチ16を押したときにのみ電流が流れ、電流値(抵抗値互換データ)を計測できるようにしても良い。   In addition, the guitar-type controller 10a has an execution switch 16. By supplying a current from the power source 95 to the resistor 91 via the contact of the execution switch 16, a current flows only when the execution switch 16 is pressed so that a current value (resistance value compatible data) can be measured. May be.

なお、操作位置入力手段15は、この回路に限定されず、フレット位置に個々に感圧センサーを設けて、押圧位置を検知するようにしても良い。   The operation position input means 15 is not limited to this circuit, and a pressure sensor may be provided at each fret position to detect the pressed position.

入力装置10は、入力部11の実行スイッチやキーあるいはセンサーから信号を入力して、アナログ信号の場合はこれをA/D変換手段13でデジタル信号へ変換して処理演算部12で処理して送信部12を介して入力数値処理装置20へ送信する。   The input device 10 receives a signal from the execution switch, key, or sensor of the input unit 11, and in the case of an analog signal, the signal is converted into a digital signal by the A / D conversion means 13 and processed by the processing calculation unit 12. The data is transmitted to the input numerical value processing device 20 via the transmission unit 12.

(入力数値処理装置)
入力数値処理装置20は、入力装置10から送られてくるデータを受信する受信部21、演算処理を実行する数値処理演算部22、およびデータを演奏処理装置30へ送信する送信部24を有している。数値演算処理部22は、入力された信号をもとに音量や音程などに関する残響、歪曲、周波数特性、移送、レベル制御などの演奏効果信号を生成して、送信部24を介して送出する。また、数値処理演算部22では、音量、音程、温室、楽器パート変更などの波形変更、音の出る位置(L,R)を指定する定位情報、あるいは曲のテンポを指定するテンポ情報などが設定可能になっており、これらの設定値が演奏処理装置30へ送られる。なお、この数値処理演算部22は、入力装置10の処理演算部12と一体として構成しても良いし、演算処理装置30の機能として設けるようにしても良い。
(Input numerical processing device)
The input numerical processing device 20 includes a receiving unit 21 that receives data transmitted from the input device 10, a numerical processing arithmetic unit 22 that executes arithmetic processing, and a transmission unit 24 that transmits data to the performance processing device 30. ing. The numerical calculation processing unit 22 generates performance effect signals such as reverberation, distortion, frequency characteristics, transfer, and level control related to the volume and pitch based on the input signal, and sends them through the transmission unit 24. Also, the numerical processing calculation unit 22 sets the volume change, such as volume, pitch, greenhouse, and instrument part change, localization information that specifies the sound output position (L, R), or tempo information that specifies the tempo of the song. These setting values are sent to the performance processing device 30. The numerical processing arithmetic unit 22 may be configured integrally with the processing arithmetic unit 12 of the input device 10 or may be provided as a function of the arithmetic processing device 30.

図5に入力数値処理装置20の送信データを示す。ここで、送信データは、入力装置10から渡されるボタン(実行スイッチ)のON/OFF情報、音程(操作位置)、および、演奏効果データから構成されている。また、図6に入力数値処理装置20に保存されている演奏効果テーブルを示す。演奏効果の種類ごとに入力値が設定可能になっている。入力装置10からデータを受信した際、そのデータに応じて値を入れ替えて演奏処理装置30へ送信する。   FIG. 5 shows transmission data of the input numerical value processing device 20. Here, the transmission data is composed of ON / OFF information of a button (execution switch) passed from the input device 10, a pitch (operation position), and performance effect data. FIG. 6 shows a performance effect table stored in the input numerical value processing device 20. Input values can be set for each type of performance effect. When data is received from the input device 10, the values are switched according to the data and transmitted to the performance processing device 30.

ここで、ボタン、音程については後述する演奏処理装置30の判定処理で使用されるので、常に必須の送信内容となる。演奏効果については、ユーザー(プレイヤー)が指定している場合のみ送信するようにしてもよい。   Here, since the buttons and pitches are used in the determination process of the performance processing device 30 described later, they are always indispensable transmission contents. The performance effect may be transmitted only when designated by the user (player).

(演奏処理装置)
入力数値処理装置20から送出された信号は、有線、無線、ネットワーク等の通信手段5を経由して演奏処理装置30の受信部33に送られる。以下演奏処理装置30の処理動作を説明する。
(Performance processing device)
The signal sent from the input numerical processing device 20 is sent to the receiving unit 33 of the performance processing device 30 via the communication means 5 such as wired, wireless, or network. The processing operation of the performance processing device 30 will be described below.

<入力処理>
入力処理部33は、受信部37から操作データや演奏効果信号を渡されると、この入力データを入力数値記憶手段41に保存する一方、入力数値変換手段42によってその入力データを表示画面領域の数値にスケール変換する。たとえばギター演奏ゲームの場合は、入力した抵抗値をフレットごとの数値範囲と比較し、該当するフレットを抽出する。そして、判定用数値出力手段43によって、判定部32に対してこのスケール変換後の数値を出力する。なお、これらの処理は入力装置10あるいは入力数値処理装置20側で実行するようにしても良い。
<Input processing>
When the input processing unit 33 receives operation data or performance effect signal from the receiving unit 37, the input processing unit 33 stores the input data in the input numerical value storage means 41. Scale to. For example, in the case of a guitar playing game, the input resistance value is compared with a numerical range for each fret, and the corresponding fret is extracted. Then, the determination numerical value output means 43 outputs the numerical value after the scale conversion to the determination unit 32. These processes may be executed on the input device 10 or the input numerical value processing device 20 side.

また、音源変化係数生成手段44によって、演奏効果データに変化があったか否かを監視し、変化があった場合は、音源変化係数を算出して、音源処理部35と演奏結果出力手段36へ出力する。   In addition, the sound source change coefficient generation unit 44 monitors whether or not the performance effect data has changed. If there is a change, the sound source change coefficient is calculated and output to the sound source processing unit 35 and the performance result output unit 36. To do.

<表示出力処理>
一方、ミュージックDB60では、楽曲ごとに音源データ61、動画データ62、演奏データ63を保存している。音源データ61は、その楽曲の波形データで、複数の楽器のパートごとに保存されている。また、動画データ62は、音源データと同期をとって画面出力装置90へ表示するための動画である。演奏データ63は、図7に示すように、演奏開始からの経過時間ごとに入力装置10から入力すべき信号を保存している。たとえば、実行スイッチのON/OFF信号や操作位置信号のスケール変換後のデータが保存されている。
<Display output processing>
On the other hand, the music DB 60 stores sound source data 61, moving image data 62, and performance data 63 for each music piece. The sound source data 61 is waveform data of the music and is stored for each part of a plurality of musical instruments. The moving image data 62 is a moving image to be displayed on the screen output device 90 in synchronization with the sound source data. As shown in FIG. 7, the performance data 63 stores a signal to be input from the input device 10 for each elapsed time from the start of the performance. For example, data after scale conversion of ON / OFF signals of execution switches and operation position signals are stored.

そして、演奏開始によって、演奏部31の曲データ受信手段48はミュージックDB60から該当する楽曲の音源データ61、動画データ62、演奏データ63を読み込み、演奏データ解析実行手段49によって、演奏データ63をもとに画面出力装置90へアクションポイントを表示するためのタイミングの演算を行う。演奏データ解析実行手段49は、演奏開始からの経過時間tを計測しており、たとえば、テンポ情報によって、表示画面上5秒前にアクションポイントを表示させることになるような場合は、演奏データ内に現在の経過時間tから5秒以内の演奏データが存在するか否かを判定し、該当する演奏データが存在する場合は、その操作位置を描画映像出力手段34へ出力する。描画映像出力手段34は、この操作位置を受け取ると、それを画面出力装置90へ表示出力し、テンポ情報に合わせてその表示位置をシフトしていく。なお操作位置が複数ある場合は色替え等の識別表示を行う。   When the performance starts, the music data receiving means 48 of the performance section 31 reads the sound source data 61, moving image data 62, and performance data 63 of the corresponding music from the music DB 60, and the performance data analysis execution means 49 stores the performance data 63. At the same time, the timing for displaying the action point on the screen output device 90 is calculated. The performance data analysis execution means 49 measures the elapsed time t from the start of the performance. For example, when the action point is displayed 5 seconds before on the display screen by the tempo information, It is determined whether or not performance data within 5 seconds from the current elapsed time t exists, and if the corresponding performance data exists, the operation position is output to the drawing video output means 34. When the drawing image output means 34 receives this operation position, it displays it on the screen output device 90 and shifts the display position according to the tempo information. When there are a plurality of operation positions, identification display such as color change is performed.

<判定処理>
判定部32の判定処理手段46は、演奏データ解析実行手段49から渡された演奏データ63と、判定用数値出力手段43から随時渡される操作データをもとに、図8に示す判定手順に従って演奏が適切に行われたか否かを判定を行う。この判定手順のルーチンは、演奏データの時間間隔よりも十分に短い周期で起動される。
<Judgment process>
The determination processing unit 46 of the determination unit 32 performs the performance according to the determination procedure shown in FIG. 8 based on the performance data 63 passed from the performance data analysis execution unit 49 and the operation data passed from time to time by the determination numerical value output unit 43. It is determined whether or not the process is properly performed. The routine of this determination procedure is started at a cycle sufficiently shorter than the time interval of performance data.

図8において、まず、演奏データ63中のある時間範囲内にアクションポイントが存在するか否かを判定する(S101)。具体的には、演奏開始からの経過時間tの前後の所定時間(たとえば、0.5秒)を判定領域としてこの領域が表示画面に出力されている場合、演奏データ中にその時間帯に含まれるアクションポイントが存在するか否かを判定する。たとえば、経過時間が10秒のときに9.5秒から10.5秒の間にアクションポイントを持つ演奏データが存在する場合は、ステップS101においてアクションポイント有りとし、演奏データが存在しない場合はアクションポイント無しとする。なお、この所定時間は、アクションポイントの前後で変えても良いし、初心者モードや上級者モードの設定あるいは曲テンポによって可変にしても良い。   In FIG. 8, it is first determined whether or not an action point exists within a certain time range in the performance data 63 (S101). Specifically, when this area is output on the display screen with a predetermined time (for example, 0.5 seconds) before and after the elapsed time t from the start of performance as a determination area, it is included in the time zone in the performance data. It is determined whether there is an action point to be executed. For example, when there is performance data having an action point between 9.5 seconds and 10.5 seconds when the elapsed time is 10 seconds, it is determined that there is an action point in step S101. No points. The predetermined time may be changed before and after the action point, or may be varied depending on the setting of the beginner mode or the advanced mode or the music tempo.

ステップS101で「Yes」のときは、入力した操作データにもとづいて実行スイッチONとなっているか否かを判定し(S102)、実行スイッチがONになっている場合は(S102で「Yes」)、操作データ中の操作種別と操作位置(自機シンボルの位置)がアクションポイントの位置と一致もしくは所定の範囲内か否かを判定して(S103)、Yesならば、そのアクションIDに関連付けて、成功フラグをセットし(S104)、Noならば失敗フラグをセットする。なお、ステップS102で実行スイッチがONになっていなければ(S102で「No」)、そのまま終了して次の起動を待つ。   If “Yes” in step S101, it is determined whether or not the execution switch is ON based on the input operation data (S102). If the execution switch is ON (“Yes” in S102). Then, it is determined whether or not the operation type and the operation position (the position of the own machine symbol) in the operation data coincide with the position of the action point or are within a predetermined range (S103). The success flag is set (S104). If No, the failure flag is set. If the execution switch has not been turned on in step S102 ("No" in S102), the process ends and waits for the next activation.

一方、ステップS101でNoの場合は、次に、判定領域を過ぎたフラグの立っていないアクションIDが存在するか否かを判定し、存在する場合は(S105で「Yes」)、そのアクションIDに失敗フラグをセットし、存在しない場合は(S105で「No」)、そのまま終了する。   On the other hand, if No in step S101, it is next determined whether or not there is an action ID without a flag that has passed the determination area. If there is an action ID (“Yes” in S105), the action ID is determined. If the failure flag does not exist (“No” in S105), the process ends as it is.

<演奏結果出力処理>
アクションIDごとに成功、失敗のフラグのセットされた判定結果は、判定結果出力手段47によって音源処理部35へ送られる。
演奏結果は、(1)入力処理部の音源変化係数が、現在の音源変化係数から変化する時、(2)判定結果が失敗だった時(失敗した事により生成される音源変化係数が発生した時)、(3)判定結果が成功で、直前の判定結果が失敗だった時(判定結果の音源変化係数を初期値に戻す)、の3種類にわかれ、それぞれ、この命令が発生した時間を要素として持つ。
<Performance result output processing>
The determination result with the success / failure flag set for each action ID is sent to the sound source processing unit 35 by the determination result output means 47.
The performance results are as follows: (1) When the sound source change coefficient of the input processing unit changes from the current sound source change coefficient, (2) When the judgment result is unsuccessful (Sound source change coefficient generated due to failure occurred (3) When the determination result is successful and the previous determination result is unsuccessful (the sound source change coefficient of the determination result is returned to the initial value), the time when this command is generated Have as an element.

演奏を再現する(再生する)時に、このデータが演奏データと同じ順序で処理され、リアルタイムで演奏していたパートを変化させ、演奏時と同じ音を作り出す。   When the performance is reproduced (reproduced), this data is processed in the same order as the performance data, and the part played in real time is changed to produce the same sound as the performance.

この時使用する「経過時間」は、演奏開始時に「0」と設定され、そこからCPUのクロックで刻んでいく。例えば、bpm120の曲の3小節目の一番初めは、4000msec.となる。   The “elapsed time” used at this time is set to “0” at the start of the performance, and is then ticked by the CPU clock. For example, the first of the third measure of the bpm120 song is 4000 msec.

この数値を記憶しておいて、演奏中その時間になった時に、音源変化係数を音源に処理し、音を変化させていく。   This numerical value is stored, and when the time is reached during the performance, the sound source change coefficient is processed into the sound source to change the sound.

<音源処理>
音源処理部35の音源情報処理手段52は、音源出力手段51から音源データを受け取り、判定結果出力手段47から判定結果を受け取り、さらに音源変化係数出力手段45から音源変化係数を受け取り、これらのデータをもとに音源出力装置80へ渡す音響データを生成する。
<Sound source processing>
The sound source information processing means 52 of the sound source processing unit 35 receives the sound source data from the sound source output means 51, receives the determination result from the determination result output means 47, receives the sound source change coefficient from the sound source change coefficient output means 45, and receives these data. The sound data to be passed to the sound source output device 80 is generated based on the above.

具体的には、演奏するパートの音源データ61、すなわち波形データを演奏効果にもとづいて信号処理する。たとえば、演奏の経過時間にしたがって、演奏が失敗した時(失敗フラグが立った時)ときは、その楽器パートの音量を所定レベルに小さくし、成功フラグがセットされているときは、もとのレベルに復帰する。さらに音源変化係数に変化のあったときは、これに伴って音源波形を変化させる。こうして生成された楽器パートの音源と、演奏しないパートの音源とを、音響出力するためのフォーマットにするよう処理し、音響出力装置80へ出力する。   Specifically, the sound source data 61 of the part to be played, that is, the waveform data is signal-processed based on the performance effect. For example, if the performance fails according to the elapsed time of the performance (when the failure flag is set), the volume of the instrument part is reduced to a predetermined level, and if the success flag is set, Return to level. When the sound source change coefficient further changes, the sound source waveform is changed accordingly. The sound source of the instrument part thus generated and the sound source of the part that is not played are processed into a format for sound output, and output to the sound output device 80.

以上、音源情報処理手段35の処理内容を整理すると、図9のようになる。すなわち、音源データ61を演奏をしていないパートの波形データ61bと演奏をしているパートの波形データ61aに分け、波形データ61aについては、入力装置10または入力数値処理装置20経由で得た演奏効果を追加して処理し(S201)、さらに判定部32で判定された演奏結果に基づいて処理し(S202)、この処理された波形を演奏していないパートの波形データ61bと合成処理して(S203)、音響出力装置80に渡す。   The processing contents of the sound source information processing means 35 are organized as shown in FIG. That is, the sound source data 61 is divided into the waveform data 61b of the part that is not performing and the waveform data 61a of the part that is performing, and the waveform data 61a is a performance obtained via the input device 10 or the input numerical processing device 20. The effect is added and processed (S201), and further based on the performance result determined by the determination unit 32 (S202). The processed waveform is combined with the waveform data 61b of the part that is not playing. (S203), it passes to the sound output device 80.

また、演奏結果は演奏結果出力手段36によって、演奏結果記憶DB70に保存され、必要により、通信ネットワーク6を介して他のシステム1へ送られる。図10は、演奏結果記憶手段DB70に保存される演奏結果データの例である。アクションIDごとに演奏データの入力時刻、操作種別、操作位置、成功/失敗フラグが保存されている。   The performance result is stored in the performance result storage DB 70 by the performance result output means 36 and is sent to another system 1 via the communication network 6 as necessary. FIG. 10 is an example of performance result data stored in the performance result storage means DB70. The performance data input time, operation type, operation position, and success / failure flag are stored for each action ID.

以上の処理によって、アクションIDに成功フラグが立った場合、そのアクションIDに対応する演奏の判定結果は「成功」となり、楽曲の演奏は正常に行われる。一方、失敗フラグが立った場合、判定結果は「失敗」となり、たとえば音量(ボリューム)を所定のレベルに低下させるなどの処理を行う。なお失敗時の演奏効果処理は音量のみでなく、音程(ピッチ)、タイミング、その他効果であっても良い。また、これらを変化させる数値は定数値として予め保存しておいても良いし、乱数で都度生成するようにしても良い。また、これらの要素は複数でも、またはどれか1つでも良い。   As a result of the above processing, when a success flag is set in the action ID, the performance determination result corresponding to the action ID is “successful”, and the music is played normally. On the other hand, when the failure flag is set, the determination result is “failure”, and for example, processing such as lowering the volume (volume) to a predetermined level is performed. The performance effect process at the time of failure may be not only the volume but also the pitch (pitch), timing, and other effects. The numerical values for changing these values may be stored in advance as constant values, or may be generated each time with random numbers. These elements may be plural or any one of them.

これにより、演奏者は自分の出したい音を出せなくなるので、演奏が失敗している感覚になる。   This makes it impossible for the performer to produce the sound he / she wants to make, thus making the player feel that the performance has failed.

<再生処理>
図11は、演奏後、演奏結果記憶DB70に保存されている演奏結果データを用いて、音源データを再生する際の機能ブロック図である。
演奏処理装置30において、図2の入力処理部33に替えて再現部38を設けて演奏結果記憶部DB70から演奏結果データを入力する。また、判定部32は不用となる。
<Playback processing>
FIG. 11 is a functional block diagram when reproducing sound source data using performance result data stored in the performance result storage DB 70 after performance.
In the performance processing device 30, a reproduction unit 38 is provided instead of the input processing unit 33 in FIG. 2, and performance result data is input from the performance result storage unit DB 70. Moreover, the determination part 32 becomes unnecessary.

再生時の動作を説明すると、演奏部31の曲データ受信手段48は、ミュージックDB60の音源データと動画データを入力し、動画データについては描画映像出力手段34を介して画面出力装置90に表示出力する。音源データについては、音源出力手段51を介して音源処理部35へ出力する。一方、再現部38の演奏結果入力手段54は、演奏結果記憶DB70から演奏結果データを入力して、演奏再現処理部55によって、演奏開始からの経過時間によって該当するアクションIDを抽出し、演奏数値出力手段56によって、このアクションIDに対応する演奏結果(成功/失敗)に基づく音源データ修正用のデータを音源処理部35へ出力する。   The operation at the time of reproduction will be described. The music data receiving means 48 of the performance unit 31 inputs the sound source data and moving picture data of the music DB 60, and the moving picture data is displayed and output to the screen output device 90 via the drawing video output means 34. To do. The sound source data is output to the sound source processing unit 35 via the sound source output means 51. On the other hand, the performance result input means 54 of the reproduction unit 38 inputs the performance result data from the performance result storage DB 70, and the performance reproduction processing unit 55 extracts the corresponding action ID according to the elapsed time from the start of the performance. The output means 56 outputs sound source data correction data based on the performance result (success / failure) corresponding to the action ID to the sound source processing unit 35.

音源処理部35の音源情報処理手段52は、演奏部31の音源出力手段51から渡される音源データと再現部38の演奏数値出力手段56から渡される音源データ修正用データをもとに音源データに修正(たとえば音源レベルの低下)を加えて、送信部53から音響出力装置80へ渡す。音響出力装置80は、このデータを受け取るとスピーカー84またはヘッドフォン85へ音響出力を行う。   The sound source information processing means 52 of the sound source processing unit 35 converts the sound source data from the sound source output means 51 of the performance unit 31 and the sound source data correction data passed from the performance value output means 56 of the reproduction unit 38 into sound source data. Correction (for example, a decrease in sound source level) is added, and the result is sent from the transmission unit 53 to the sound output device 80. When receiving this data, the sound output device 80 outputs sound to the speaker 84 or the headphone 85.

(実施形態の効果)
以上、本実施の形態によれば次の効果を奏する。
(Effect of embodiment)
As mentioned above, according to this Embodiment, there exists the following effect.

<楽器の操作位置入力手段による効果>
画面上に表示される譜面と同期して、映像を表示でき、特に入力装置として、リボンコントローラー(スライド式抵抗)を使うことにより、画面上のピッチ(音程)を制御して、楽器のように使用することができる。また、プレイヤーは、楽曲を取得すると、最終的に譜面を見なくても、指や動きの記憶だけ、あるいは楽器のみを見れば入力できるようになる。
<Effects of instrument operating position input means>
The image can be displayed in synchronization with the musical score displayed on the screen, and the pitch (pitch) on the screen can be controlled by using a ribbon controller (sliding resistance) as an input device. Can be used. Also, when the player obtains the music, the player can input it by looking only at the memory of the finger or the movement or only the musical instrument without finally looking at the musical score.

<CPU処理の低減と、楽器入力技術取得のための補助>
従来のコンピュータによる、音の発音方法は、入力された機器のパラメーターに応じて、その相応する音波形を発音させていた。この方法によると、音楽の楽器演奏のように、美しい入力をできる技術の習得まで時間を要し、また、プレイヤーの微妙な表現が増えるほど、入力段が増えCPUの処理も重くなるので、携帯電話等のモバイルコンピュータやスペックの低いコンピュータでは難しい。
<Reduction of CPU processing and assistance for acquiring instrument input technology>
In the conventional sound generation method using a computer, the corresponding sound waveform is generated according to the input device parameters. According to this method, it takes time to acquire the technology that can make beautiful input like playing musical instruments, and the more subtle expressions of the player, the more the input stage increases and the CPU processing becomes heavier. It is difficult for mobile computers such as telephones and computers with low specifications.

一方、本実施形態は、逐次プレイヤーに相応して音を発音するのではなく、あらかじめ正しい演奏の波形を再生しておき、プレイヤーの入力状況により、再生している波形に変化を与えるものである。これにより、上手に入力ができているときは、正確な演奏が収録されたの音波形をそのまま再生すればよい。そして、プレイヤーが間違えた際に、その音波形に対して、リアルタイムに処理を与えて、間違った音にする。これは、DSPを使用した波形そのものの処理、もしくは再生方法の変化である。   On the other hand, in the present embodiment, instead of sequentially sounding in accordance with the player, a correct performance waveform is reproduced in advance, and the waveform being reproduced is changed depending on the player's input status. . As a result, when the input is successful, the sound waveform recorded with the accurate performance may be reproduced as it is. When the player makes a mistake, the sound waveform is processed in real time to make a wrong sound. This is a change in the processing of the waveform itself using DSP or the playback method.

タイミングが速かったり、遅かったりする場合は、一時的に再生位置を変えればよい。
また、上手なプレイヤーの音波形を再生しているため、プレイヤーは、正しい入力をしていれば、その上手なプレイヤーになりきることができる。上達をすれば、間違えることが減るために、処理する数も減り、CPUの負担を減らせる。
従来は、生の楽器同様に、入力の情報をCPUが受信して無音から発音させ、プレイヤーの入力どおりに音を発音するというシステムが一般的であったが、本システムは、あらかじめ正しい演奏の波形を再生しておき、間違えた場合に変化をさせるので、楽器を取得したばかりのプレイヤーにとっては、うまい演奏がすでに再生されているために、実際の本人の演奏よりも美しく感じ、練習に効果的であるし、上達するにしたがって、より上手な演奏になる一方コンピュータ処理が軽減されるようになる。
If the timing is early or late, the playback position may be temporarily changed.
Also, since the sound waveform of a good player is reproduced, the player can become a good player as long as the player inputs correctly. If you improve, you can reduce mistakes, reduce the number of processing, and reduce the CPU load.
Conventionally, as with a live instrument, a system in which input information is received by the CPU, sounded from silence, and sound is generated as input by the player has been common. Since the waveform is played back and changed if you make a mistake, the player who has just acquired the instrument feels more beautiful than the actual performance because the performance is already played, which is effective for practice. And as you improve, you get better performance while reducing computer processing.

<音色への効果>
また、オンラインでより美しい演奏の手段としても使用ができる。例えば、ギターの歪曲(ディストーション)などの再生効果の場合、オンライン上で上記手段の入力中に、プレイヤーが、ほかのプレイヤーの入力に対して、音の効果を提供することができる。提供をしたい、効果のパラメーターを送信することで、そのプレイヤーの再生する音に効果をかける指定をすることができる。その効果の種類や、効果をかける深さである。
<Effect on sound>
It can also be used as a more beautiful performance means online. For example, in the case of a playback effect such as guitar distortion (distortion), a player can provide a sound effect with respect to the input of another player during input of the above means online. By sending the parameter of the effect you want to provide, you can specify the effect that the player plays. The type of effect and the depth to apply the effect.

<音色、パートの切り替え>
音色を切り替える際には、別の音色で収録した音波形に切り替えをすればよい。指定したデータ通り上手に入力をしている場合は、CPUが上級者向けの演奏波形に切り替えるようにしても良い。
<Switching sounds and parts>
When switching timbres, it is only necessary to switch to a sound waveform recorded with a different timbre. If you are inputting well according to the specified data, the CPU may switch to a performance waveform for advanced users.

オンラインの場合、たとえば、一緒に入力しているプレイヤーの音色や、パートを変えることで、入力の幅が増える。ゲームのような競争の場合、自分がよい入力ができていたら、相手に対して、難しい入力をする波形に切り替えて、ゲーム的に有利にしてもしてもよい。オンラインの音楽教育の場合、講師が遠方の生徒に対して、生徒の上達しだいで、音波形を切り替えてもよい。   In the case of online, for example, by changing the tone and part of the players who are inputting together, the range of input increases. In the case of a competition such as a game, if the user has a good input, the waveform may be switched to a waveform that makes difficult input to the opponent, which may be advantageous to the game. In the case of online music education, the instructor may switch the sound waveform for a distant student as the student improves.

<プレビュー>
間違えた入力の場所と、詳細を記憶させることにより、確認をする際に、その箇所の正しい演奏と間違った演奏の2点を確認できる。
<Preview>
By storing the wrong input location and details, it is possible to confirm two points, the correct performance and the wrong performance, at the time of confirmation.

なお、本実施の形態では、アクションIDに関連付けて成功フラグ、失敗フラグをセットするようにしたが、成功フラグをセットする場合に、たとえば本来の演奏タイミングよりも早い/遅いを識別できるようにステータス情報を保存するようにしても良い。さらに、判定領域を多段階にして、それぞれ成功か否かを判定するようにして、各判定結果によって異なる効果音で識別できるようにしても良い。逆に成功フラグを用いず失敗フラグのみで管理することによって、演奏結果データのデータ量を削減することも可能である。   In this embodiment, the success flag and the failure flag are set in association with the action ID. However, when the success flag is set, for example, the status can be identified so that it can be identified earlier / slower than the original performance timing. Information may be stored. Furthermore, the determination area may be divided into multiple stages, and it may be determined whether or not each is successful, so that different sound effects can be identified according to each determination result. On the other hand, it is possible to reduce the data amount of performance result data by managing only the failure flag without using the success flag.

判定結果は、操作位置をデジタルで表すようにしたが、アナログ量として管理して、誤差が所定値未満ならば成功、所定値以上ならば失敗というように判定しても良い。   Although the operation position is represented digitally as the determination result, it may be managed as an analog amount, and may be determined as successful if the error is less than a predetermined value, and failed if the error is greater than or equal to the predetermined value.

本実施形態の実行スイッチは、操作位置の入力手段と別に設けて、そのスイッチが操作されたときにONするようにしても良いし、操作位置の入力手段と一体として形成しても良い。たとえば、操作位置の入力手段に操作されたかどうかを感知するセンサー(たとえば振動検知センサー)を設けて、操作されたと感知したときに実行信号をONにしてもよい。   The execution switch of the present embodiment may be provided separately from the operation position input means and may be turned on when the switch is operated, or may be formed integrally with the operation position input means. For example, a sensor (for example, a vibration detection sensor) that senses whether or not an operation position input unit has been operated may be provided, and the execution signal may be turned ON when it is detected that the operation has been performed.

[第2の実施の形態]
次に本発明の第2の実施の形態を説明する。本実施の形態は、通信ネットワーク6を使って複数人が同時に演奏することを可能にするものである。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In this embodiment, a plurality of people can perform simultaneously using the communication network 6.

オンラインで、複数のプレイヤーが同時に入力するケースの場合、バンドやオーケストラのようなセッションに有効である。本システムでは、参加するプレイヤーに、あらかじめ正しい演奏をした波形を配信しておく。たとえば、バンド構成の場合、ギター、ドラム、ベース、キーボードなどをそれぞれのパートに波形を分けておく。このパートを同時に再生を行えば、バンドの音楽として成立することになる。   This is useful for sessions such as bands and orchestras when online and multiple players input simultaneously. In this system, waveforms that are played correctly are distributed in advance to participating players. For example, in the case of a band configuration, the waveform is divided into parts such as guitar, drum, bass, and keyboard. If this part is played at the same time, it will be established as band music.

自分がギターパートを入力する場合は、ギター以外のパートをそのまま再生して、自分が入力をするギターパートは、自分が上手に入力できたら、そのまま再生を行い、間違えたら、正しい演奏の波形に変化を与えるものである。逆に、他者がドラムパートを入力していて、間違えたら、その間違えたパラメーター値が送信されるので、それを受信して、自分の再生をしているドラムパートに反映をさせればよい。   When you input a guitar part, play the parts other than the guitar as they are, and play the guitar part that you input as soon as you can input it properly. It gives change. Conversely, if someone else has entered a drum part and made a mistake, the wrong parameter value will be sent, so you can receive it and reflect it on the drum part you are playing. .

したがって、その入力が正しくない時に、そのオンライン上のメンバーに、間違えで変化させるパラメーター値だけを配信することになる。波形そのものを配信するよりも、パラメーターだけでいいので、通信量の低減と、遅延の短縮、CPU負荷も低減できる。   Therefore, when the input is incorrect, only the parameter value that is changed by mistake is delivered to the online member. Rather than distributing the waveform itself, only parameters are required, so the amount of communication can be reduced, the delay can be shortened, and the CPU load can be reduced.

理論的には、遅延は必ず発生はするのであるが、それぞれのプレイヤーは同じ場所にいるわけではないので、相方が間違えた本当の場所はわからないために、リアルタイムで入力している際には、本来の間違え箇所よりも、遅延しても、変化をしていてもよい。   Theoretically, there will always be a delay, but each player is not in the same place, so you don't know the real place where the other person made a mistake, so when typing in real time, It may be delayed or changed from the original mistake.

しかしながら、聴き直す際には、それぞれの絶対時間での間違え箇所を再現できるために、再生前に全員へ、その入力をしたデータを配信することで、正確にその箇所に対して、間違いと感じさせる変化を与えられる。   However, when listening again, it is possible to reproduce the wrong part at each absolute time, so by delivering the input data to everyone before playback, it feels wrong with the part accurately. Given the change to make.

具体的な変化方法としては、入力を間違えた際には、音量を下げたり、ゼロにする。
もしくは、波形の再生ピッチを正しい値から変化させることで、音程を変えられる。
あらかじめ用意をしておいた、ノイズを発音してもよい。フィルターやリバーブ、サンプリングレートコンバートなどの効果的な変化を与えてもよい。
As a specific change method, when the input is wrong, the volume is lowered or made zero.
Alternatively, the pitch can be changed by changing the playback pitch of the waveform from the correct value.
You may sound the noise prepared beforehand. Effective changes such as filter, reverb, and sampling rate conversion may be given.

インターネットを使い、違う町、もしくは違う国の2人のプレイヤーが同時に演奏を始めたとする。この時、プレイヤー1のパートが演奏失敗し、演奏開始から3500msec.の地点で音量が80になる。これは当然プレイヤー1の演奏結果記録に残るが、プレイヤー2にもこの記録が残る。   Suppose that two players in different towns or countries start playing at the same time using the Internet. At this time, Player 1's part fails to play, and the volume reaches 80 at a point of 3500 msec. Of course, this remains in the performance result record of player 1, but this record also remains in player 2.

演奏中、プレイヤー2側のプレイヤー1パートは音量80になるが、必ずしもプレイヤー1側と同じタイミングで処理されるわけではない。   During the performance, the player 1 part on the player 2 side has a volume of 80, but it is not necessarily processed at the same timing as the player 1 side.

しかし再生時は、「3500msec.」という情報を演奏結果が所持しているため、プレイヤー2側でも同じタイミングで音源が変化する。
これはプレイヤー2が演奏失敗した時も同様である。
(構成と動作)
However, at the time of playback, since the performance result possesses the information “3500 msec.”, The sound source changes at the same timing on the player 2 side.
The same applies when Player 2 fails to play.
(Configuration and operation)

音楽再生制御システム1の構成は基本的に第1の実施の形態と同様である。
第1の実施の形態との主な違いは、通信ネットワーク6を介して複数のプレイヤーが演奏を行う場合は、演奏結果出力手段36から演奏中に逐次アクションIDごとに演奏結果データを他のシステム1へ送信することである。
The configuration of the music playback control system 1 is basically the same as that of the first embodiment.
The main difference from the first embodiment is that when a plurality of players perform through the communication network 6, performance result data is sequentially transmitted from the performance result output means 36 for each action ID during the performance to other systems. 1 to send.

以下、通信ネットワーク6に繋がる複数のシステム間で演奏結果データをやり取りする際の動作を説明する。
まず、複数のプレイヤーが演奏を行うときは、一のプレイヤーが演奏開始のトリガ指令を送る。このトリガ指令は演奏を行う曲目や各プレイヤーの楽器パートが含まれており、各システム1に割り付けられたIPアドレスに送信される。
Hereinafter, an operation when performance result data is exchanged between a plurality of systems connected to the communication network 6 will be described.
First, when a plurality of players perform, one player sends a performance start trigger command. This trigger command includes the musical piece to be played and the musical instrument part of each player, and is transmitted to the IP address assigned to each system 1.

いま、演奏開始のトリガ指令を送るシステムを親システム、トリガ指令を待って動作を開始するシステムを子システムと呼ぶ。親システムからトリガ指令が送信されると、複数の子システムへ送られ、各子システムは、トリガ指令を受信すると直ちに応答信号を返信する。   Now, a system that sends a trigger command for starting performance is called a parent system, and a system that starts operation after waiting for a trigger command is called a child system. When a trigger command is transmitted from the parent system, it is sent to a plurality of child systems, and each child system returns a response signal as soon as the trigger command is received.

親システムは、各子システムから返信される応答信号の受信時刻と、トリガ指令を送信した時刻から、片道の伝送時間を計算する。   The parent system calculates the one-way transmission time from the reception time of the response signal returned from each child system and the time when the trigger command is transmitted.

親システムは、この伝送時間を加味して、各子システムへ演奏開始指令を送信する。即ち、子システムaの伝送時間が0.5秒、子システムbの伝送遅延時間が0.3秒の場合、まず、子システムaに対して演奏開始指令を出力し、0.2秒後に子システムbへ演奏開始指令を出力し、その後0.3秒後に親システム自身の演奏を開始する。   The parent system transmits a performance start command to each child system in consideration of this transmission time. That is, when the transmission time of the child system a is 0.5 seconds and the transmission delay time of the child system b is 0.3 seconds, first, a performance start command is output to the child system a, and after 0.2 seconds, A performance start command is output to the system b, and then the performance of the parent system itself is started 0.3 seconds later.

なお、各システムにそれぞれ伝送遅延時間を通知し、その後同報通信等を用いて一斉に演奏開始指令を出力し、各システムで伝送遅延時間を考慮して演奏を開始するようにしても良い。   Alternatively, the transmission delay time may be notified to each system, and then a performance start command may be output simultaneously using broadcast communication or the like, and the performance may be started in each system in consideration of the transmission delay time.

それぞれのシステムには、演奏メンバーのシステムのIPアドレスが保存されており、
演奏中、逐次演奏結果データを各システムへ送信する。各システムでは、演奏結果データを受信すると、その受信データを受信中バッファへ格納する。
Each system stores the IP address of the performance member's system,
During performance, sequential performance result data is transmitted to each system. In each system, when performance result data is received, the received data is stored in the receiving buffer.

各システムの音源情報処理手段52は、図12の手順に従って、音源出力を実行する。
音源情報処理手段52は、起動されると、まず演奏中か再生中かのモードを判定する(S301)。演奏中の場合は、自システムの経過時間に従って演奏中のアクションIDを抽出し(S302)、受信中バッファに保存されている他の楽器パートの演奏結果データを抽出する(S303)。
The sound source information processing means 52 of each system executes sound source output according to the procedure of FIG.
When activated, the sound source information processing means 52 first determines the mode of performance or playback (S301). When the performance is being performed, the action ID being performed is extracted according to the elapsed time of the own system (S302), and the performance result data of other musical instrument parts stored in the receiving buffer is extracted (S303).

そして、抽出した演奏結果データのアクションIDの演奏タイミングが到来済みか否かを判定して(S304)、到来済みの場合は、さらにアクションIDの演奏タイミングと現在の演奏タイミングとの差が所定の範囲内になるか否かを判定し(S305)、所定の範囲内ならば、そのパートの演奏結果に基づく処理を施して音響データを作成して(S306)、その演奏結果データを受信バッファから演奏結果記憶DB70へ移行する(S307)。   Then, it is determined whether or not the performance timing of the action ID of the extracted performance result data has arrived (S304). If it has already arrived, the difference between the performance timing of the action ID and the current performance timing is a predetermined value. It is determined whether or not it is within the range (S305). If it is within the predetermined range, processing based on the performance result of the part is performed to create acoustic data (S306), and the performance result data is received from the reception buffer. The process proceeds to the performance result storage DB 70 (S307).

そして、自パートで既に演奏結果に基づいて所定の処理を施した音響データと合成して、音響出力用のデータを生成する(S308)。   Then, the data is synthesized with the sound data that has already been subjected to the predetermined processing based on the performance result in the own part, and data for sound output is generated (S308).

一方、ステップS304でアクションIDのタイミングがまだ来ていない場合、ステップS305でアクションIDが所定範囲内にない場合は、ステップS306の処理を実行せずにステップ308へジャンプする。   On the other hand, if the action ID timing has not yet come in step S304, or if the action ID is not within the predetermined range in step S305, the process jumps to step 308 without executing the process of step S306.

そして、演奏が終了していなければ、再びステップS302へ戻って移行の処理を繰り返す(S309)。   If the performance has not ended, the process returns to step S302 again to repeat the transition process (S309).

なお、他の楽器パートが複数存在する場合は、ステップS303〜ステップS307までの処理を他の全楽器パートについて繰り返す。   If there are a plurality of other instrument parts, the process from step S303 to step S307 is repeated for all other instrument parts.

処理を簡便にするために、ステップS304およびステップS305の処理を省略するようにしても良い。この場合は受信バッファに他パートの演奏結果データが存在する場合は、無条件にその演奏結果を用いて当該楽器パートの音響データを作成することになる。伝送遅延時間があまり無く各システムの処理速度が安定している場合は上記ステップの処理を省略しても実用性がある。   In order to simplify the processing, the processing in step S304 and step S305 may be omitted. In this case, when performance result data of another part exists in the reception buffer, acoustic data of the instrument part is unconditionally created using the performance result. If the transmission delay time is not so much and the processing speed of each system is stable, there is practicality even if the processing of the above step is omitted.

一方、ステップS301において、再生中の場合は、演奏タイミングに対応するアクションIDを抽出して(S310)、保存されている演奏結果データを現在アクションIDの演奏結果データを抽出する(S311)。   On the other hand, if playback is in progress in step S301, the action ID corresponding to the performance timing is extracted (S310), and the performance result data of the current action ID is extracted from the stored performance result data (S311).

そして、各楽器パートについてそれぞれの演奏結果に基づく処理を施して音響データを作成して(S312)、音響出力用のデータを生成する(S313)。以上の処理を演奏終了まで繰り返す(S314)。   Then, each musical instrument part is processed based on each performance result to create acoustic data (S312), and data for acoustic output is generated (S313). The above processing is repeated until the performance is finished (S314).

以上は、通信ネットワーク6に繋がる音楽再生制御システムがそれぞれ独立にグループを形成して演奏を行う場合の構成および動作の説明であったが、クライアント・サーバ型で構成することも可能である。   The above is the description of the configuration and operation in the case where the music playback control system connected to the communication network 6 forms a group independently and performs a performance. However, it can also be configured as a client-server type.

この場合は、クライアントには予め音楽演奏用プログラムをインストールしておき、サーバから曲データをダウンロードして、各クライアントシステムのミュージックDB60に保存する。   In this case, a music performance program is installed in advance in the client, music data is downloaded from the server, and stored in the music DB 60 of each client system.

あるクライアントシステムからの要求により演奏開始のトリガ指令は、サーバから送信し、上述の処理による伝送遅延時間を考慮して、各クライアントシステムの同期演奏を開始する。そして、演奏結果データは、各クライアントシステムからサーバ経由で夫々のクライアントシステムへ配信され、上記と同様の処理を実行する。   A performance start trigger command is transmitted from the server in response to a request from a certain client system, and synchronous performance of each client system is started in consideration of the transmission delay time due to the above-described processing. The performance result data is distributed from each client system to each client system via the server, and the same processing as described above is executed.

(実施形態の効果)
以上、本実施の形態によれば、演奏開始時にシステム間の伝送遅延時間を考慮して、同じタイミングで演奏を開始するようにしたので、演奏中に演奏結果データを各システムへ送信して、その演奏結果を反映して音響出力を行う場合に、システム間の著しい誤差が生じることを回避することができる。
(Effect of embodiment)
As described above, according to the present embodiment, since the performance is started at the same timing in consideration of the transmission delay time between systems at the start of performance, performance result data is transmitted to each system during performance, When sound output is performed by reflecting the performance result, it is possible to avoid a significant error between systems.

また、演奏終了後に再生する場合は、アクションIDごとの演奏結果によって音響処理を行うので演奏結果を正確に確認することができる。   Further, when playing back after the performance is completed, the acoustic processing is performed based on the performance result for each action ID, so that the performance result can be confirmed accurately.

本発明は、上述の実施の形態に限定されることなく、その要旨を逸脱しない範囲で種々変形して実施することができる。たとえば、演奏結果の成功/失敗フラグのみによって、音源データに所定の処理を行うのではなく、アクションIDにフラグのほか、操作タイミングや操作位置情報等も入力し、本来のタイミングや操作位置とのずれによって、他段階あるいは連続的にノイズ量を変える、音量を変えるなどの処理を行うようにしても良い。   The present invention is not limited to the above-described embodiments, and can be implemented with various modifications without departing from the scope of the invention. For example, instead of performing predetermined processing on the sound source data only by the success / failure flag of the performance result, in addition to the flag in the action ID, operation timing, operation position information, etc. are input, and the original timing and operation position Depending on the deviation, processing such as changing the amount of noise at another stage or continuously or changing the volume may be performed.

本発明は、音楽の演習や教育のほか、ゲームなどのアミューズメント用のシステムとして利用可能である。   INDUSTRIAL APPLICABILITY The present invention can be used as a system for amusement such as games in addition to music exercises and education.

また、アプリケーション自体だけではなく、ユーザーへ楽曲を販売するビジネスなどにも有効である。なお、楽曲には音楽データとその音楽を表示する映像が含まれ、利用者は、次々と楽曲を購入、練習して楽しむことができる。また、仮想の楽器や、エフェクターを販売することで、ユーザーは様々な音を楽しむことができる。   It is also effective not only for the application itself, but also for businesses that sell music to users. Note that the music includes music data and an image for displaying the music, and the user can purchase, practice and enjoy the music one after another. In addition, by selling virtual instruments and effectors, users can enjoy a variety of sounds.

本発明の実施の形態によるゲーム画面の説明図である。It is explanatory drawing of the game screen by embodiment of this invention. 本発明の第1の実施の形態による音楽再生制御システムの演奏時の機能ブロック図である。It is a functional block diagram at the time of performance of the music reproduction control system by the 1st Embodiment of this invention. 図2の操作位置入力手段15と画面出力装置90に表示される自機シンボルとの関係の説明図である。FIG. 3 is an explanatory diagram of a relationship between an operation position input unit 15 of FIG. ギター型コントローラの操作位置入力手段15のブロック図である。It is a block diagram of the operation position input means 15 of a guitar type controller. 図2の入力数値処理装置20の送信データの構成例である。It is a structural example of the transmission data of the input numerical value processing apparatus 20 of FIG. 図2の入力数値処理装置20に保存されている演奏効果テーブルのデータ構成例である。It is a data structural example of the performance effect table preserve | saved at the input numerical value processing apparatus 20 of FIG. 図2のミュージックDB60に保存されている演奏データ63のデータ構成例である。It is a data structural example of the performance data 63 preserve | saved at music DB60 of FIG. 図2の演奏処理装置30の判定処理手段46の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the determination process means 46 of the performance processing apparatus 30 of FIG. 図2の演奏処理装置30の音源情報処理手段35の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the sound source information processing means 35 of the performance processing apparatus 30 of FIG. 図2の演奏結果記憶DB70に保存されている演奏結果データの構成例である。It is a structural example of the performance result data preserve | saved in performance result storage DB70 of FIG. 本発明の第1の実施の形態による音楽再生制御システムの再生時の機能ブロック図である。It is a functional block diagram at the time of reproduction | regeneration of the music reproduction control system by the 1st Embodiment of this invention. 本発明の第2の実施の形態による音源情報処理手段35の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the sound source information processing means 35 by the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1 音楽再生制御システム
5 通信手段
6 通信ネットワーク
7 自機シンボル
8 アクションポイント
10 入力装置
11 入力部
12 処理演算部
13 A/D変換手段
14,24,53 送信部
15 操作位置入力手段
20 入力数値処理装置
21,37,81 受信部
22 数値処理演算部
23 効果手段
30 演奏処理装置
31 演奏部
32 判定部
33 入力処理部
34 描画映像出力手段
35 音源処理部
36 演奏結果出力手段
38 再現部
41 入力数値記憶手段
42 入力数値変換手段
43 判定用数値出力手段
44 音源変化係数生成手段
45 音源変化係数出力手段
46 判定処理手段
47 判定結果出力手段
48 曲データ受信手段
49 演奏データ解析実行手段
50 動画出力手段
51 音源出力手段
52 音源情報処理手段
60 ミュージックDB
61 音源データ
62 動画データ
63 演奏データ
70 演奏結果記憶DB
80 音響出力装置
82 D/A変換手段
83 各チャンネル音声増幅器
84 スピーカー
85 ヘッドフォン
90 画面出力装置
91 抵抗体
92 導体
93 絶縁体
94 検出手段(センサー)
95 電源
DESCRIPTION OF SYMBOLS 1 Music reproduction control system 5 Communication means 6 Communication network 7 Own machine symbol 8 Action point 10 Input device 11 Input part 12 Processing calculation part 13 A / D conversion means 14, 24, 53 Transmission part 15 Operation position input means 20 Input numerical value processing Device 21, 37, 81 Receiving unit 22 Numerical processing operation unit
DESCRIPTION OF SYMBOLS 23 Effect means 30 Performance processing apparatus 31 Performance part 32 Determination part 33 Input processing part 34 Drawing image output means 35 Sound source processing part 36 Performance result output means 38 Reproduction part 41 Input numerical value storage means 42 Input numerical value conversion means 43 Numerical value means for determination 44 sound source change coefficient generation means 45 sound source change coefficient output means 46 determination processing means 47 determination result output means 48 music data reception means 49 performance data analysis execution means 50 moving picture output means 51 sound source output means 52 sound source information processing means 60 music DB
61 Sound source data 62 Movie data 63 Performance data 70 Performance result storage DB
DESCRIPTION OF SYMBOLS 80 Sound output device 82 D / A conversion means 83 Each channel audio | voice amplifier 84 Speaker 85 Headphone 90 Screen output device 91 Resistor 92 Conductor 93 Insulator 94 Detection means (sensor)
95 Power supply

Claims (5)

通信ネットワークを介して複数接続可能であり、表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイント表示する一方、楽器の操作位置と操作タイミングをコンピュータに取り込んで、取り込んだ操作位置と操作タイミングに基づいて音源データに所定の処理を施して音響出力するネットワーク対応型の音楽再生制御システムであって、
予め曲の音源データを楽器パート別に保存する手段と
楽器の操作位置を入力する手段と、
曲の進行に伴って楽器パートごとにアクションポイントの位置表示する描画映像出力手段と、
アクションポイントが判定領域にあるときに、楽器の備える実行スイッチが操作されたか否かを判定し、判定領域内で前記実行スイッチが操作されなかった場合あるいは操作された場合であっても前記入力した楽器の操作位置が正しい操作位置でない場合は失敗と判定する判定処理手段と、
アクションポイントごとの前記判定結果を演奏結果データとして保存する手段と、
前記楽器パートの識別情報を他の音楽再生制御システムへ送信すると共に当該楽器パートの前記演奏結果データを随時他の音楽再生制御システムへ送信する手段と、
他の音楽再生制御システムから送られてくる楽器パートの識別情報と演奏結果データを受信する手段と、
演奏結果データを受信したとき、演奏中のときは、当該受信した演奏結果データのアクションポイントが未到来の場合は、そのアクションポイントの到来を待って前記受信した楽器パートの音響データに所定の処理を施して音響出力し、アクションポイントが既に到来している場合は直ちに所定の処理を施して音響出力し、再生時には、アクションポイントごとに各楽器パートの演奏結果データをもとに所定の処理を施して音響出力する音源情報処理手段と、
を備えたことを特徴とする音楽再生制御システム。
Multiple connections can be made via a communication network, and the correct operation position and operation point of the instrument corresponding to the melody are displayed on the display device, while the operation position and operation timing of the instrument are imported to the computer and imported. A network-compatible music playback control system that performs predetermined processing on sound source data based on an operation position and operation timing and outputs sound,
A means for storing sound source data of a song in advance for each instrument part ;
Means for inputting the operating position of the instrument;
Drawing video output means for displaying the position of the action point for each instrument part as the song progresses,
When the action point is in determine the constant region, and determine the constant whether or not the execution switch is operated with the instrument, even if the execution switch in the determination region has been the case or the operation has not been operated the Determination processing means for determining failure when the input instrument operation position is not the correct operation position;
Means for storing the result of the determination for each action point as performance result data;
Means for transmitting the instrument part identification information to another music playback control system and transmitting the performance result data of the instrument part to another music playback control system as needed;
Means for receiving instrument part identification information and performance result data sent from another music playback control system;
When performance result data is received, when playing, if an action point of the received performance result data has not yet arrived, a predetermined process is performed on the received acoustic data of the instrument part waiting for the arrival of the action point If the action point has already arrived, perform a predetermined process immediately and output the sound.When playing, perform a predetermined process based on the performance result data of each instrument part for each action point. Sound source information processing means for applying and outputting sound;
A music playback control system comprising:
前記楽器は、ギターその他の弦楽器演奏用のコントローラであって、
弦楽器のネック部分は帯状の抵抗体と導体とを所定の間隔をもって配置して形成され、かつ、前記ネック部分は、操作位置に対応して目盛り表示され、または、前記抵抗体と前記導体との間であって弦楽器のフレット位置に棒状の絶縁体が挿入されており、さらに、
前記抵抗体が導体に接触した位置の抵抗値互換データを計測する手段と、
前記抵抗値互換データから操作位置を抽出する手段と、
前記操作位置を出力する手段と、
を備えたことを特徴とする請求項1記載の音楽再生制御システム。
The instrument is a controller for playing guitar or other stringed instruments,
The neck portion of the stringed instrument is formed by arranging a strip-shaped resistor and a conductor at a predetermined interval, and the neck portion is displayed in a scale corresponding to the operation position, or between the resistor and the conductor. A rod-shaped insulator is inserted at the fret position of the stringed instrument, and
Means for measuring resistance value compatible data at a position where the resistor contacts the conductor;
Means for extracting an operation position from the resistance value compatible data;
Means for outputting the operation position;
The music playback control system according to claim 1, further comprising:
演奏失敗時の処理内容を保存する手段を備え、
前記音源情報処理手段は、楽器パートごとに前記判定の結果が失敗の場合は、前記保存されている演奏失敗時の処理内容に基づいて該当する楽器パートの音源データに処理を施したのちに、各楽器パートの音源データを合成して音響出力することを特徴とする請求項1または2に記載の音楽再生制御システム。
It has a means to save the contents of processing when performance fails,
The sound source information processing means, if the result of the determination fails for each instrument part, after processing the sound source data of the corresponding instrument part based on the stored processing content at the time of performance failure, The music reproduction control system according to claim 1 or 2, wherein the sound source data of each instrument part is synthesized and outputted as sound .
通信ネットワークを介して複数接続可能であり、表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントを表示する一方、楽器の操作位置と操作タイミングをコンピュータに取り込んで、取り込んだ操作位置と操作タイミングに基づいて音源データに所定の処理を施して音響出力するネットワーク対応型の音楽再生制御システムで動作するプログラムであって、
楽器の操作位置を入力する処理と、
曲の進行に伴ってアクションポイントの位置表示する処理と、
アクションポイントが判定領域にあるときに、楽器の備える実行スイッチが操作されたか否かを判定し、判定領域内で前記実行スイッチが操作されなかった場合あるいは操作された場合であっても前記入力した楽器の操作位置が正しい操作位置でない場合は失敗と判定する処理と、
アクションポイントごとの前記判定の結果を演奏結果データとして記憶装置に保存する処理と、
前記楽器パートの識別情報を他の音楽再生制御システムへ送信すると共に当該楽器パートの前記演奏結果データを随時他の音楽再生制御システムへ送信する処理と、
他の音楽再生制御システムから送られてくる楽器パートの識別情報と演奏結果データを受信する処理と、
演奏結果データを受信したとき、演奏中のときは、当該受信した演奏結果データのアクションポイントが未到来の場合は、そのアクションポイントの到来を待って前記受信した楽器パートの音響データに所定の処理を施して音響出力し、アクションポイントが既に到来している場合は直ちに所定の処理を施して音響出力し、再生時には、アクションポイントごとに各楽器パートの演奏結果データをもとに所定の処理を施して音響出力する処理と、
をコンピュータに実行させることを特徴とする音楽演奏プログラム。
Multiple connections can be made via a communication network, and the correct operation position and operation point of the instrument corresponding to the melody are displayed on the display device, while the operation position and operation timing of the instrument are imported to the computer and imported. A program that operates in a network-compatible music playback control system that outputs sound by performing predetermined processing on sound source data based on an operation position and operation timing ,
A process of inputting the operation position of the instrument;
Processing to display the position of the action point as the song progresses,
When the action point is in determine the constant region, determines whether or not the execution switch is operated with the instruments, it said even if the execution switch in the determination region has been the case or the operation has not been an operation input If the operation position of the instrument is not the correct operation position,
Processing for storing the result of the determination for each action point in a storage device as performance result data;
A process of transmitting the identification information of the instrument part to another music playback control system and transmitting the performance result data of the instrument part to another music playback control system as needed;
Processing for receiving identification information and performance result data of instrument parts sent from another music playback control system;
When performance result data is received, when playing, if an action point of the received performance result data has not yet arrived, a predetermined process is performed on the received acoustic data of the instrument part waiting for the arrival of the action point If the action point has already arrived, perform a predetermined process immediately and output the sound.When playing, perform a predetermined process based on the performance result data of each instrument part for each action point. Processing to output sound,
A music performance program that causes a computer to execute.
複数の音楽再生制御システムを通信ネットワークを介して接続し、夫々の音楽再生制御システムにおいて通信ネットワークを介して送られてくる他の音楽再生制御システムの演奏結果データと自己の音楽再生制御システムの演奏結果データとを同期させて出力する演奏データの同期再生方法であって、
前記演奏結果データは、楽器の正しい操作タイミングの識別情報とその操作タイミングにおける演奏結果が関連付けられており、
演奏モードのときは、受信した他の楽器パートの演奏結果データの操作タイミングにかかわらず受信後直ちにその判定結果に基づいて、音源データに当該判定結果に対応する処理を施して出力し、
再生モードのときは、音源データの演奏経過に伴って、前記演奏結果データを参照して他の楽器パートと自己の楽器パートの操作タイミングごとの判定結果を抽出し、当該判定結果に基づいて所定の演奏効果を施して出力することを特徴とする演奏データの同期再生方法。
A plurality of music playback control systems are connected via a communication network, and each music playback control system sends performance result data of other music playback control systems and performance of its own music playback control system. A method for synchronous playback of performance data that is output in synchronization with result data,
The performance result data is associated with identification information of correct operation timing of the musical instrument and performance results at the operation timing,
When in the performance mode, regardless of the operation timing of the performance result data of other musical instrument parts received, immediately after reception based on the determination result, the sound source data is subjected to processing corresponding to the determination result and output,
In the playback mode, with the progress of the performance of the sound source data, the performance result data is referred to extract a determination result for each operation timing of the other musical instrument part and the own musical instrument part, and a predetermined result is determined based on the determination result. A method for synchronously reproducing performance data, wherein the performance effect is output.
JP2007097289A 2007-04-03 2007-04-03 Music reproduction control system, music performance program, and performance data synchronous reproduction method Active JP5257966B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007097289A JP5257966B2 (en) 2007-04-03 2007-04-03 Music reproduction control system, music performance program, and performance data synchronous reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007097289A JP5257966B2 (en) 2007-04-03 2007-04-03 Music reproduction control system, music performance program, and performance data synchronous reproduction method

Publications (2)

Publication Number Publication Date
JP2008253440A JP2008253440A (en) 2008-10-23
JP5257966B2 true JP5257966B2 (en) 2013-08-07

Family

ID=39977690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007097289A Active JP5257966B2 (en) 2007-04-03 2007-04-03 Music reproduction control system, music performance program, and performance data synchronous reproduction method

Country Status (1)

Country Link
JP (1) JP5257966B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101049816B1 (en) * 2008-09-08 2011-07-15 엔에이치엔(주) How to deliver an online music game where the hit area moves
JP5155226B2 (en) * 2009-03-25 2013-03-06 株式会社コナミデジタルエンタテインメント GAME DEVICE, GAME CONTROL METHOD, AND PROGRAM
JP2011011008A (en) * 2009-07-06 2011-01-20 Konami Digital Entertainment Co Ltd Gaming device, game processing method and program
JP2011242560A (en) 2010-05-18 2011-12-01 Yamaha Corp Session terminal and network session system
KR101126521B1 (en) * 2010-06-10 2012-03-22 (주)네오위즈게임즈 Method, apparatus and recording medium for playing sound source
JP5745247B2 (en) * 2010-10-05 2015-07-08 任天堂株式会社 GAME PROGRAM, GAME DEVICE, GAME SYSTEM, AND GAME CONTROL METHOD
JP6360280B2 (en) 2012-10-17 2018-07-18 任天堂株式会社 GAME PROGRAM, GAME DEVICE, GAME SYSTEM, AND GAME PROCESSING METHOD
JP5617910B2 (en) * 2012-12-25 2014-11-05 ブラザー工業株式会社 Karaoke equipment
JP2014200454A (en) 2013-04-04 2014-10-27 株式会社スクウェア・エニックス Recording medium, game device and game progress method
JP2019037791A (en) * 2018-10-03 2019-03-14 株式会社スクウェア・エニックス Recording medium, game device, and game progress method
JP6816203B2 (en) * 2019-04-22 2021-01-20 株式会社バンダイナムコアミューズメント Freebie acquisition game device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01126676A (en) * 1987-11-11 1989-05-18 Yamaha Corp Electronic musical instrument for instruction
JP3430267B2 (en) * 1992-06-15 2003-07-28 カシオ計算機株式会社 Electronic musical instrument
JP3526505B2 (en) * 1996-09-24 2004-05-17 株式会社コルグ Electronic musical instrument
JP3704850B2 (en) * 1996-12-16 2005-10-12 ヤマハ株式会社 Electronic stringed instruments
JP2002301262A (en) * 2001-04-06 2002-10-15 Data East Kk Game device using music, its computer program and program storage medium
JP4199147B2 (en) * 2004-03-17 2008-12-17 株式会社コナミデジタルエンタテインメント Terminal device, game system, and game program
JP2008188131A (en) * 2007-02-02 2008-08-21 Yamaha Corp Music player and program

Also Published As

Publication number Publication date
JP2008253440A (en) 2008-10-23

Similar Documents

Publication Publication Date Title
JP5257966B2 (en) Music reproduction control system, music performance program, and performance data synchronous reproduction method
KR100920552B1 (en) Ensemble system
US7939740B2 (en) Ensemble system
JP5377878B2 (en) Program, information storage medium, and game system
JP2000288254A (en) Game device and computer-readable recording medium
US7888576B2 (en) Ensemble system
CN109416905A (en) Performance assistant apparatus and method
JP2004233698A (en) Device, server and method to support music, and program
JP2008134295A (en) Concert system
JPH11296168A (en) Performance information evaluating device, its method and recording medium
JP2006201654A (en) Accompaniment following system
JP5109426B2 (en) Electronic musical instruments and programs
JP2007057727A (en) Electronic percussion instrument amplifier system with musical sound reproducing function
JP5969421B2 (en) Musical instrument sound output device and musical instrument sound output program
KR20130064227A (en) System for providing musical instrument play service and method therefor
JP5847048B2 (en) Piano roll type score display apparatus, piano roll type score display program, and piano roll type score display method
JP5345809B2 (en) Musical instrument type performance apparatus and musical instrument performance system
JP4165421B2 (en) Music performance system and terminal device
JP5109127B2 (en) Ensemble system
JP2015069053A (en) Karaoke device scoring singing by considering stretch tuning
KR101842282B1 (en) Guitar playing system, playing guitar and, method for displaying of guitar playing information
JP2003223165A (en) Musical score display device and electronic instrument
JP3404594B2 (en) Recording medium and music game apparatus
JP2004177910A (en) Guitar for online karaoke-interlocked automatic code selection accompaniment
JP6065827B2 (en) Musical performance device and musical performance processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5257966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250