JP5994343B2 - Performance evaluation device and karaoke device - Google Patents

Performance evaluation device and karaoke device Download PDF

Info

Publication number
JP5994343B2
JP5994343B2 JP2012083728A JP2012083728A JP5994343B2 JP 5994343 B2 JP5994343 B2 JP 5994343B2 JP 2012083728 A JP2012083728 A JP 2012083728A JP 2012083728 A JP2012083728 A JP 2012083728A JP 5994343 B2 JP5994343 B2 JP 5994343B2
Authority
JP
Japan
Prior art keywords
data
pitch
singing
performance
reference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012083728A
Other languages
Japanese (ja)
Other versions
JP2013213906A (en
Inventor
松本 秀一
秀一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2012083728A priority Critical patent/JP5994343B2/en
Publication of JP2013213906A publication Critical patent/JP2013213906A/en
Application granted granted Critical
Publication of JP5994343B2 publication Critical patent/JP5994343B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

この発明は、楽曲演奏の巧拙を評価する技術に関する。   The present invention relates to a technique for evaluating the skill of music performance.

楽曲演奏の評価機能を備えた装置の一例として、歌唱者による歌唱演奏の巧拙を採点する採点機能を備えた歌唱用のカラオケ装置(以下、特に断らない限り、単に「カラオケ装置」という)が各種提案されている。この種のカラオケ装置は、利用者の歌唱音を収音した収音信号からピッチおよび音量を検出する。そして、曲データのトラックにリファレンスデータとして記述されている模範ピッチと収音信号から検出したピッチとの差を求め、模範との差が所定範囲に収まる場合に良好な歌唱がなされていると判定する。この種のカラオケ装置の利用者は、歌唱曲の楽譜に一連のノート(音符)として記述されている歌唱内容を忠実に再現することにより、高い評価点を得ることができる。この種のカラオケ装置の歌唱評価技術に関わる技術を開示した文献として、特許文献1がある。   As an example of a device having a music performance evaluation function, there are various karaoke devices for singing (hereinafter simply referred to as “karaoke device” unless otherwise specified), which has a scoring function for scoring the skill of singing by a singer. Proposed. This kind of karaoke apparatus detects a pitch and a sound volume from a collected sound signal obtained by collecting a user's singing sound. Then, the difference between the model pitch described as the reference data in the track of the song data and the pitch detected from the collected sound signal is obtained, and it is determined that the good singing is performed when the difference from the model falls within the predetermined range. To do. A user of this type of karaoke apparatus can obtain a high evaluation score by faithfully reproducing the singing contents described as a series of notes (notes) in the score of the song. As a document disclosing a technique related to the singing evaluation technique of this kind of karaoke apparatus, there is Patent Document 1.

特開2005−107334号公報JP 2005-107334 A

ところで、この種のカラオケ装置の利用者が歌唱評価に期待することは各々の技量の程度に応じて異なる。たとえば、上級者は、微妙な歌い回しの違いが聴者の印象を左右するような難度の高い歌唱区間の歌唱が上手く歌えた場合に点数が伸びるような評価を期待する。その一方で、初級者は、そのような難度の高い歌唱区間を上手く歌えなくても曲の骨子さえ上手く歌えれば点数が伸びるような評価を期待する。しかしながら、従来のカラオケ装置は、歌唱曲内の各ノートの歌唱の良否をその難度の如何に関わらず同じ基準で評価していた。このため、利用者が歌唱技量を鍛錬するモチベーションを持ちにくいという問題があった。これは歌唱の評価に限られず、楽器を用いた楽曲演奏においても同様である。   By the way, what a user of this kind of karaoke apparatus expects for singing evaluation differs depending on the level of each skill. For example, an advanced user expects an evaluation that the score is increased when a song in a singing section having a high degree of difficulty in which a subtle difference in singing influences a listener's impression can be sung well. On the other hand, beginners expect an evaluation that will increase the score if they can sing the outline of the song well, even if they cannot sing such a difficult song section well. However, the conventional karaoke apparatus has evaluated the quality of the singing of each note in the song according to the same standard regardless of the difficulty level. For this reason, there was a problem that it was difficult for the user to have the motivation to train their singing skills. This is not limited to the evaluation of singing, and the same applies to music performance using musical instruments.

本発明は、このような課題に鑑みてなされたものであり、初級者から上級者までのすべての利用者が演奏技量向上のモチベーションを高めるような演奏評価装置を提供することを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to provide a performance evaluation apparatus in which all users from beginners to advanced users are motivated to improve performance skills.

上記課題を解決するため、本発明は、楽曲の模範となるピッチを示す模範演奏リファレンスデータを取得する模範演奏リファレンスデータ取得手段と、前記楽曲を区分して得られる複数の演奏区間の各々の難度を示す難度リファレンスデータを取得する難度リファレンスデータ取得手段と、演奏者による前記楽曲の演奏音から当該演奏音のピッチを示すピッチデータを生成するピッチデータ生成手段と、前記ピッチデータ生成手段により生成されたピッチデータにより示されるピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較の結果に基づき前記演奏者の演奏能力の程度を判定し、前記ピッチデータ生成手段により生成されたピッチデータにより示されるピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較による採点の結果に対し、前記複数の演奏区間の各々に関し前記難度リファレンスデータにより示される難度と前記演奏能力の程度の判定の結果とに応じたウェイトを乗じて評価点を算出する演奏評価手段とを備える演奏評価装置を提供する。 In order to solve the above problems, the present invention provides exemplary performance reference data acquisition means for acquiring exemplary performance reference data indicating a typical pitch of a music piece, and the difficulty levels of each of a plurality of performance sections obtained by dividing the music piece. Difficulty level reference data acquisition means for acquiring difficulty level reference data, pitch data generation means for generating pitch data indicating the pitch of the performance sound from the performance sound of the music by the performer, and the pitch data generation means The performance level of the performer is determined based on the result of comparison between the pitch indicated by the pitch data and the pitch indicated by the model performance reference data, and is indicated by the pitch data generated by the pitch data generating means. The pitch indicated by the pitch and the model performance reference data To a result of scoring by comparison with, playing for calculating an evaluation point by multiplying the weight in accordance with the result of the determination of the degree of difficulty and the playing capability indicated by the difficulty reference data relates to each of the plurality of playing intervals Provided is a performance evaluation device comprising an evaluation means.

また本発明は、上記の演奏評価装置と、楽曲の伴奏を指示する伴奏データを取得する伴奏データ取得手段と、前記伴奏データの指示に従い伴奏の楽音を示す音信号を出力する音信号出力手段とを備え、前記ピッチデータ生成手段は、前記音信号出力手段から出力された音信号に従いスピーカから放音された伴奏に応じて前記演奏者により行われた前記楽曲の演奏音のピッチを示すピッチデータを生成するカラオケ装置を提供する。   The present invention also provides the performance evaluation apparatus, accompaniment data acquisition means for acquiring accompaniment data for instructing accompaniment of music, and sound signal output means for outputting a sound signal indicating a musical tone of accompaniment according to the instruction of the accompaniment data. The pitch data generating means includes pitch data indicating the pitch of the performance sound of the music performed by the performer according to the accompaniment emitted from a speaker in accordance with the sound signal output from the sound signal output means A karaoke apparatus for generating

本発明によれば、楽曲の演奏者の演奏能力と楽曲における各区間の難易度とに応じて評価が行われるため、初級者から上級者までのすべての利用者が楽曲の演奏技量向上のモチベーションを維持することができる。   According to the present invention, the evaluation is performed according to the performance ability of the music player and the difficulty of each section of the music, so that all users from beginners to advanced users are motivated to improve the performance skills of the music. Can be maintained.

この発明の第1実施形態にかかるカラオケ装置を含む歌唱評価システムの構成を示す図である。It is a figure which shows the structure of the song evaluation system containing the karaoke apparatus concerning 1st Embodiment of this invention. 同システムのカラオケ装置に記憶される難度リファレンスデータのデータ構造図である。It is a data structure figure of the difficulty reference data memorize | stored in the karaoke apparatus of the system. 同システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the system. 同システムにおける総合評価点の算出に用いるテーブルのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the table used for calculation of the comprehensive evaluation score in the system. 同システムのサーバ装置により生成される難度統計データZ及び同システムの利用者の歌唱音におけるピッチ差の遷移を示す波形図である。It is a wave form diagram which shows transition of the pitch difference in the difficulty statistical data Z produced | generated by the server apparatus of the system, and the user's singing sound of the system. この発明の第2実施形態にかかるカラオケ装置が行う歌唱評価処理において用いられる関数を示すグラフである。It is a graph which shows the function used in the song evaluation process which the karaoke apparatus concerning 2nd Embodiment of this invention performs.

以下、図面を参照し、この発明の実施の形態を説明する。
<第1実施形態>
図1は、本発明の第1実施形態である歌唱評価システム1の構成を示す図である。この歌唱評価システム1は、カラオケ装置10−m(m=1〜M:Mはカラオケ装置の総数)とサーバ装置30とを有する。カラオケ装置10−mは、各カラオケ店に一台または複数台ずつ設置される。サーバ装置30は、システム運営センタ内に設置される。カラオケ装置10−mとサーバ装置30はネットワーク90を介して互いに各種データの送受信が可
能である。
Embodiments of the present invention will be described below with reference to the drawings.
<First Embodiment>
FIG. 1 is a diagram showing a configuration of a singing evaluation system 1 according to the first embodiment of the present invention. The singing evaluation system 1 includes a karaoke device 10-m (m = 1 to M: M is the total number of karaoke devices) and a server device 30. One or more karaoke apparatuses 10-m are installed in each karaoke store. The server device 30 is installed in the system management center. The karaoke device 10-m and the server device 30 can transmit and receive various data to and from each other via the network 90.

カラオケ装置10−mは、利用者の歌唱を支える伴奏曲の放音と歌詞の表示とを通じた歌唱演出と、利用者の歌唱の巧拙の評価とを行う装置である。図1において、カラオケ装置10−mは、音源11、スピーカ12、マイクロホン13、表示部14、通信インターフェース15、ボーカルアダプタ16、CPU17、RAM18、ROM19、ハードディスク20、シーケンサ21を有する。音源11は、MIDI(Musical Instrument Digital Interface)の各種メッセージに従った音信号SAを出力する。スピーカ12は、与えられた信号を音として放音する。マイクロホン13は、音を収音して収音信号SMを出力する。表示部14は、画像信号SIに応じた画像を表示する。通信インターフェース15は、ネットワーク90に接続された装置との間でデータを送受信する。 The karaoke device 10-m is a device that performs a singing effect through sound emission of an accompaniment that supports the user's singing and display of lyrics, and evaluation of the skill of the user's singing. In FIG. 1, the karaoke apparatus 10-m includes a sound source 11, a speaker 12, a microphone 13, a display unit 14, a communication interface 15, a vocal adapter 16, a CPU 17, a RAM 18, a ROM 19, a hard disk 20, and a sequencer 21. Sound source 11 outputs a sound signal S A in accordance with the various messages of MIDI (Musical Instrument Digital Interface). The speaker 12 emits a given signal as sound. The microphone 13 collects sound and outputs a sound collection signal S M. The display unit 14 displays an image corresponding to the image signal S I. The communication interface 15 transmits / receives data to / from devices connected to the network 90.

ボーカルアダプタ16は、音信号SMのピッチを検出する検出手段としての役割を果たす。具体的には、ボーカルアダプタ16は、マイクロホン13から与えられた音信号SMのピッチを時間TS(例えば、TS=30ミリ秒とする)毎に検出し、この検出結果を信号SP(ピッチデータ)として出力する。 The vocal adapter 16 serves as detection means for detecting the pitch of the sound signal S M. Specifically, the vocal adapter 16 detects the pitch of the sound signal S M given from the microphone 13 every time T S (for example, T S = 30 milliseconds), and the detection result is the signal S P. Output as (pitch data).

CPU17は、RAM18をワークエリアとして利用しつつROM19やハードディスク20に記憶されたプログラムを実行する。このCPU17の動作の詳細は後述する。ROM19には、IPL(Initial Program Loader)などが記憶されている。ハードディスク20には、各種歌唱曲の曲データMD−n(n=1〜N)(Nは、歌唱曲の種類の総数)、リファレンスデータベースDBDK、及び歌唱評価プログラムPGKが記憶されている。各歌唱曲の曲データMD−nは、歌唱曲の伴奏内容、歌唱曲の歌詞、及び歌唱曲の模範的な歌唱内容をSMF(Standard MIDI File)形式で記録したデータである。   The CPU 17 executes a program stored in the ROM 19 or the hard disk 20 while using the RAM 18 as a work area. Details of the operation of the CPU 17 will be described later. The ROM 19 stores an IPL (Initial Program Loader) and the like. The hard disk 20 stores song data MD-n (n = 1 to N) (N is the total number of song types), a reference database DBDK, and a song evaluation program PGK of various song songs. The song data MD-n of each song is data in which the accompaniment content of the song, the lyrics of the song, and the typical song content of the song are recorded in SMF (Standard MIDI File) format.

具体的に説明すると、図1の枠内に示すように、曲データMD−nは、ヘッダHD、伴奏トラックTRAC、歌詞トラックTRLY、模範歌唱リファレンストラックTRNRを有している。ヘッダHDには、曲番号、曲名、ジャンル、歌唱時間、タイムベース(4分音符1つ分の時間に相当するティック数)などの情報が記述されている。 More specifically, as shown in the frame of FIG. 1, the music data MD-n has a header HD, an accompaniment track TR AC , a lyrics track TR LY , and a model song reference track TR NR . In the header HD, information such as a song number, a song title, a genre, a singing time, and a time base (the number of ticks corresponding to the time of one quarter note) is described.

伴奏トラックTRACには、歌唱曲の楽譜の伴奏パートにおける各ノートNT(i)(iは、楽譜の該当パートの先頭のノートNT(1)から数えた順番を示す)の音の発音を指示するイベントEV(i)ONとその消音を指示するイベントEV(i)OFF、及び相前後するイベントの実行時間差(ティック数)を示すデルタタイムDTが時系列順に記述されている。 The accompaniment track TR AC, each note NT (i) in the score of the accompaniment part of singing songs (i indicates the order counted from the beginning of the notebook NT of the score of the relevant part (1)) indicate the pronunciation of the sound of The event EV (i) ON to be turned on , the event EV (i) OFF instructing to mute the event EV, and the delta time DT indicating the execution time difference (number of ticks) of the succeeding events are described in chronological order.

歌詞トラックTRLYには、歌唱曲の歌詞を示す各データDLYと、各歌詞の表示時刻(より具体的には、各歌詞の表示時刻と各々の前の歌詞の表示時刻との間の時間差(ティック数))を示すデルタタイムDTが時系列順に記述されている。 In the lyrics track TR LY , each data D LY indicating the lyrics of the singing song and the display time of each lyrics (more specifically, the time difference between the display time of each lyrics and the display time of each previous lyrics) Delta time DT indicating (number of ticks)) is described in chronological order.

模範歌唱リファレンストラックTRNRには、歌唱曲の楽譜の歌唱パートにおける各ノートNT(i)の音の発音を指示するイベントEV(i)ONとその消音を指示するイベントEV(i)OFF、及び相前後するイベントの実行時間差(ティック数)を示すデルタタイムDTが時系列順に記述されている。 The model singing reference track TR NR includes an event EV (i) ON for instructing the sound of each note NT (i) in the singing part of the score of the song, and an event EV (i) OFF for instructing to mute the sound. A delta time DT indicating a difference in execution time (number of ticks) between successive events is described in chronological order.

リファレンスデータベースDBDKには、各歌唱曲の難度リファレンスデータDD−n(n=1〜N)が記憶されている。難度リファレンスデータDD−nは、歌唱曲の開始時刻tSTを始点としその終了時刻tENDを終点とする時間軸上における難度の低い歌唱区間ZNESYの位置と難度の高い歌唱区間ZNDFFの各位置を示すデータである。具体的には、図2に示すように、難度リファレンスデータDD−nは、歌唱曲の開始時刻tSTと曲内に
おける相前後する歌唱区間ZNESY及びZNDFF(またはZNDFF及びZNESY)の境界にあたる各時刻との間の時間差(ティック数)を各々示す時刻データDtと、該当区間が高難度の歌唱区間ZNESYおよび低難度の歌唱区間ZNDFFのいずれであるかを示す区間データDZNとからなる。
In the reference database DBDK, difficulty reference data DD-n (n = 1 to N) of each song is stored. The difficulty reference data DD-n includes the positions of the song section ZN ESY having a low difficulty level and the song sections ZN DFF having a high difficulty on the time axis starting from the start time t ST of the song and ending at the end time t END. This is data indicating the position. Specifically, as shown in FIG. 2, the difficulty level reference data DD-n includes the start time t ST of the singing song and the singing sections ZN ESY and ZN DFF (or ZN DFF and ZN ESY ) in the song. Time data Dt indicating the time difference (number of ticks) from each time corresponding to the boundary, and section data D ZN indicating whether the corresponding section is a high difficulty song section ZN ESY or a low difficulty song section ZN DFF It consists of.

歌唱評価プログラムPGKは、歌唱評価機能を有する。歌唱評価機能は、ボーカルアダプタ16の出力信号SPに基づき、歌唱曲内における難度により区分された歌唱区間毎に歌唱の巧拙を歌唱者の歌唱能力の高低に応じた基準で評価し、それら各歌唱区間の採点結果に基づいて全歌唱区間の歌唱の評価点である総合評価点SCGRを算出し、この総合評価点SCGRをコメントメッセージとともに提示する機能である。 The song evaluation program PGK has a song evaluation function. Singing evaluation function based on the output signal S P output vocal adapter 16, the singing of skill evaluated by criteria according to the level of the singing ability of the singer difficulty for each singing section which is divided by in the singing music piece, each of these This is a function for calculating the overall evaluation score SC GR , which is the evaluation score of the singing of all the singing sections, based on the scoring results of the singing sections and presenting this comprehensive evaluation score SC GR together with the comment message.

シーケンサ21は、リモートコントローラ(不図示)による歌唱曲の歌唱開始操作を契機として該当曲の曲データMD−nがハードディスク20からRAM18に転送された場合に、その曲データMD−n内のイベントEV(i)ON、EV(i)OFF、およびデータDLYを装置各部に供給する。具体的には、シーケンサ21は、RAM18に曲データMD−nが記憶されると、この曲データMD−nのヘッダHDに記述されたタイムベースとリモートコントローラ(不図示)により指定されたテンポとに基づいて1ティックの時間長を決定し、この時間長の経過に合わせてティックをカウントしつつ次の3つの処理を行う。 When the song data MD-n of the corresponding song is transferred from the hard disk 20 to the RAM 18 in response to the singing start operation of the song by a remote controller (not shown), the sequencer 21 performs an event EV in the song data MD-n. (I) ON , EV (i) OFF , and data DLY are supplied to each part of the apparatus. Specifically, when the music piece data MD-n is stored in the RAM 18, the sequencer 21 stores the time base described in the header HD of the music piece data MD-n and the tempo designated by the remote controller (not shown). The time length of one tick is determined based on the above, and the following three processes are performed while counting ticks as the time length elapses.

第1の処理では、シーケンサ21は、ティックのカウント数が伴奏トラックTRAC内のデルタタイムDTと一致する度にそれに後続するイベントEV(i)ON(またはEV(i)OFF)を読み出して音源11に供給する。音源11は、シーケンサ21からイベントEV(i)ONが供給されるとそのイベントEV(i)ONが指定する音信号SAをスピーカ12に供給し、シーケンサ21からイベントEV(i)OFFが供給されるとスピーカ12への音信号SAの供給を止める。 In the first processing, the sequencer 21 reads out the event EV (i) ON following thereafter each time the count number of ticks matches the delta time DT in accompaniment track TR AC (or EV (i) OFF) Instrument 11 is supplied. When the event EV (i) ON is supplied from the sequencer 21, the sound source 11 supplies the sound signal S A specified by the event EV (i) ON to the speaker 12, and the event EV (i) OFF is supplied from the sequencer 21. Then, the supply of the sound signal S A to the speaker 12 is stopped.

第2の処理では、シーケンサ21は、ティックのカウント数が歌詞トラックTRLY内のデルタタイムDTと一致する度にそれに後続するデータDLYを読み出して表示部14に供給する。表示部14は、シーケンサ21からデータDLYが供給されるとそのデータDLYを歌詞テロップの画像に変換し、この画像をディスプレイ(不図示)に表示させる。 In the second process, the sequencer 21 reads the subsequent data DLY and supplies it to the display unit 14 every time the tick count matches the delta time DT in the lyrics track TRLY . When the data D LY is supplied from the sequencer 21, the display unit 14 converts the data D LY into a lyrics telop image, and displays the image on a display (not shown).

シーケンサ21がこの第1および第2の処理を行うことにより、歌唱曲における伴奏音の放音と歌詞の表示が進行する。利用者は、スピーカ12から放音される伴奏音を聴きつつディスプレイに表示された歌詞をマイクロホン13に向かって歌唱する。利用者がマイクロホン13に向かって歌唱している間、マイクロホン13は利用者の歌唱音の収音信号SMを出力し、ボーカルアダプタ16はこの信号SMのピッチを示す信号SPを出力する。 When the sequencer 21 performs the first and second processes, the accompaniment sound is emitted and the lyrics are displayed in the song. The user sings the lyrics displayed on the display toward the microphone 13 while listening to the accompaniment sound emitted from the speaker 12. While the user is singing into the microphone 13, the microphone 13 outputs a collected sound signal S M of the user's singing sound, vocal adapter 16 outputs a signal S P which indicates the pitch of the signal S M .

第3の処理では、シーケンサ21は、ティックのカウント数が模範歌唱リファレンストラックTRNR内のデルタタイムDTと一致する度にそれに後続するイベントEV(i)ON(またはEV(i)OFF)を読み出してCPU17に供給する。また、この第3の処理では、シーケンサ21は、ティックの総カウント数を歌唱曲の進行状況を示す時刻信号StとしてCPU17に供給する。CPU17は、シーケンサ21から供給されるイベントEV(i)ON、EV(i)OFF、及び信号Stとボーカルアダプタ16の出力信号SPとを用いて利用者の歌唱の巧拙を評価する。詳しくは、後述する。 In the third processing, the sequencer 21, counts the number of ticks read event EV (i) ON following thereafter every time matches the delta time DT within model singing Reference track TR NR (or EV (i) OFF) To the CPU 17. Further, the third in the processing, the sequencer 21 supplies the CPU17 the total count of ticks as a time signal S t indicating the progress of the singing voice. CPU17 evaluates the singing skill of the user using event EV (i) ON supplied from the sequencer 21, EV (i) OFF, and the output signal S P output signal S t and vocal adapter 16. Details will be described later.

サーバ装置30は、カラオケ店舗におけるサービスの提供を支援する役割を果たす装置である。サーバ装置30は、通信インターフェース35、CPU37、RAM38、ROM39、ハードディスク40を有する。通信インターフェース35は、ネットワーク90に接続された装置との間でデータを送受信する。CPU37は、RAM38をワークエリ
アとして利用しつつ、ROM39やハードディスク40に記憶された各種プログラムを実行する。このCPU37の動作の詳細は後述する。ROM39にはIPLなどが記憶されている。
The server device 30 is a device that plays a role of supporting the provision of services in a karaoke store. The server device 30 includes a communication interface 35, a CPU 37, a RAM 38, a ROM 39, and a hard disk 40. The communication interface 35 transmits / receives data to / from devices connected to the network 90. The CPU 37 executes various programs stored in the ROM 39 and the hard disk 40 while using the RAM 38 as a work area. Details of the operation of the CPU 37 will be described later. The ROM 39 stores IPL and the like.

ハードディスク40には、歌唱サンプルデータベースDBSS、リファレンスデータベースDBNS、リファレンスデータベースDBDS、及び歌唱分析プログラムPGSが記憶されている。歌唱サンプルデータベースDBSSには、各々が1つの歌唱曲と対応する歌唱サンプルデータDS群が個別に記憶される。歌唱サンプルデータDSは、各利用者が歌唱曲を歌唱したときの歌唱音のピッチ波形を記録したデータである。リファレンスデータベースDBNSには、各歌唱曲の模範歌唱リファレンスデータDN−nが記憶されている。模範歌唱リファレンスデータDN−nは、各歌唱曲の曲データMD−nの模範歌唱リファレンストラックTRNRに記述されているものと同内容のイベントEV(i)ON、イベントEV(i)OFF、及びデルタタイムDTを含むデータである。リファレンスデータベースDBDSには、各カラオケ装置10−mのリファレンスデータベースDBDK内に格納されるべき最新の難度リファレンスデータDD−nが記憶される。 The hard disk 40 stores a song sample database DBSS, a reference database DBNS, a reference database DBDS, and a song analysis program PGS. In the song sample database DBSS, song sample data DS groups each corresponding to one song piece are individually stored. The singing sample data DS is data in which the pitch waveform of the singing sound when each user sings a singing song is recorded. The reference database DBNS stores model song reference data DN-n for each song. Model singing Reference data DN-n, each singing music piece of the music data MD-n of the model singer reference track TR NR to those described with the same content of the event EV (i) ON, an event EV (i) OFF, and Data including delta time DT. The reference database DBDS stores the latest difficulty reference data DD-n to be stored in the reference database DBDK of each karaoke apparatus 10-m.

歌唱分析プログラムPGSは、次の3つの機能を有する。
a1.蓄積機能
これは、カラオケ装置10−mから様々な歌唱曲の歌唱サンプルデータDSを取得し、取得したそれらの歌唱サンプルデータDSを歌唱曲毎に歌唱サンプルデータベースDBSSに蓄積する機能である。
b1.更新機能
これは、蓄積機能により歌唱サンプルデータベースDBSS内に蓄積された歌唱曲の歌唱サンプルデータDS群の各々とリファレンスデータベースDBNS内における同じ曲の模範歌唱リファレンスデータDN−nとを比較し、各比較結果に基づいて歌唱曲の全歌唱区間を歌唱曲の難度別の複数個の歌唱区間に分割し、分割した歌唱区間の時間軸上の各位置を示す新たな難度リファレンスデータDD−nを生成し、この新たな難度リファレンスデータDD−nによりリファレンスデータベースDBDS内の古い難度リファレンスデータDD−nを更新する機能である。
c1.送信機能
これは、更新機能によって更新した難度リファレンスデータDD−nをカラオケ装置10−mからの要求に応じてカラオケ装置10−mに送信する機能である。
The song analysis program PGS has the following three functions.
a1. Storage Function This is a function for acquiring singing sample data DS of various singing songs from the karaoke apparatus 10-m and storing the acquired singing sample data DS for each singing song in the singing sample database DBSS.
b1. Update function This compares each of the song sample data DS group of song songs stored in the song sample database DBSS by the accumulation function with the model song reference data DN-n of the same song in the reference database DBNS, and compares each Based on the result, the entire song section of the song is divided into a plurality of song sections according to the difficulty level of the song, and new difficulty level reference data DD-n indicating each position on the time axis of the divided song section is generated. This is a function for updating the old difficulty level reference data DD-n in the reference database DBDS with the new difficulty level reference data DD-n.
c1. Transmission function This is a function of transmitting the difficulty level reference data DD-n updated by the update function to the karaoke apparatus 10-m in response to a request from the karaoke apparatus 10-m.

次に、本実施形態の動作を説明する。図3は、本実施形態の動作を示すフローチャートである。図3において、カラオケ装置10−mのCPU17は、歌唱曲の歌唱開始操作が行われた場合(S100:Yes)、シーケンサ21に制御信号SOを供給してシーケンサ21に処理(上述した第1〜第3の処理)を開始させる(S120)。CPU17は、シーケンサ21による処理が始まると、歌唱評価処理を行う(S130)。 Next, the operation of this embodiment will be described. FIG. 3 is a flowchart showing the operation of the present embodiment. In FIG. 3, the CPU 17 of the karaoke apparatus 10-m supplies a control signal S O to the sequencer 21 when the singing start operation of the song is performed (S100: Yes), and processes the sequencer 21 (the first described above). To third processing) are started (S120). When the process by the sequencer 21 is started, the CPU 17 performs a song evaluation process (S130).

歌唱評価処理では、CPU17は、ボーカルアダプタ16の出力信号SPから歌唱曲内における歌唱区間ZNESYの歌唱の巧拙と歌唱区間ZNDFFの歌唱の巧拙とを個別に採点し、2つの採点の採点結果のうち歌唱区間ZNESYの採点結果に応じた比率RAで両方の採点結果を加算した得点を総合評価点SCGRとする。 In singing evaluation process, CPU 17 is a singing skill of the singing section ZN DFF and singing skill of the singing section ZN ESY scored separately in the singing songs from the output signal S P output vocal adapter 16, scoring two scoring Among the results, a score obtained by adding both scoring results at a ratio RA corresponding to the scoring result of the singing zone ZNESY is defined as the overall evaluation score SC GR .

より詳細に説明すると、歌唱評価処理では、CPU17は、シーケンサ21からイベントEV(i)ONが供給されてから次のイベントEV(i)OFFが供給されるまでの時間をi番目のノートNT(i)に相当する音の発音時間TNT(i)とする。CPU17は、ノートNT(i)の発音時間TNT(i)の間のボーカルアダプタ16の出力信号SPが示すピッチとイベントEV(i)ONのノートナンバを変換した模範ピッチPCHREFとの差PCHDEFが閾値TH1未満である場合にノートNT(i)の歌唱が合格であるとみなす。 More specifically, in the singing evaluation process, the CPU 17 determines the time from when the event EV (i) ON is supplied from the sequencer 21 until the next event EV (i) OFF is supplied to the i-th note NT ( The sound generation time T NT (i) corresponding to i) is assumed. Difference in CPU17 is a model pitch PCH REF output signal S P output vocal adapter 16 converts the note number of the pitch and event EV (i) ON shown between the note sounding time T NT of NT (i) (i) When the PCH DEF is less than the threshold TH1, the singing of the note NT (i) is regarded as passing.

そして、CPU17は、合格であるとみなしたノートNT(i)が歌唱区間ZNESYのものである場合には歌唱区間ZNESYの合格ノート数NumESYを1つカウントアップし、そのノートNT(i)が歌唱区間ZNDFFのものである場合には歌唱区間ZNDFFの合格ノート数NumDFFを1つカウントアップする。ノートNT(i)の該当区間は次のようして決定する。まず、CPU17は、ノートNT(i)の合否の判定時点のシーケンサ21の出力信号Stが示す時刻を現在時刻として難度リファレンスデータDD−nを参照し、難度リファレンスデータDD−n内の時刻データDtが示す一連の時刻のうち現在時刻を挟んで前後する2つの時刻を求める。その上で、CPU17は、難度リファレンスデータDD−nからこの2つの時刻の時刻データDt間の区間データDZNを取り出し、この区間データDZNが示す区間を合格ノートNT(i)の該当区間とする。 Then, CPU 17, when notebook NT which were considered to be accepted (i) is of the singing section ZN ESY is incremented by one to pass notes number Num ESY singing section ZN ESY, the note NT (i ) Is in the singing section ZN DFF, the number of passing notes Num DFF in the singing section ZN DFF is counted up by one. The corresponding section of the note NT (i) is determined as follows. First, CPU 17 refers to the difficulty reference data DD-n output signal S t the time indicated by the sequencer 21 determines the time of acceptance of the notebook NT (i) as the current time, time data in the difficulty reference data DD-n Of the series of times indicated by D t, two times before and after the current time are obtained. After that, the CPU 17 extracts the section data D ZN between the time data D t of the two times from the difficulty level reference data DD-n, and the section indicated by the section data D ZN is the corresponding section of the pass note NT (i). And

CPU17は、利用者による歌唱の開始から終了までの間に亘って以上の合否判定と合格ノート数NumESY及びNumDFFの集計とを行う。歌唱曲が終了すると、CPU17は、歌唱区間ZNESYの全ノート数で合格ノート数NumESYを除算した値に100を乗じた値を歌唱区間ZNESYの歌唱の巧拙を示す得点SCESYとする。また、CPU17は、歌唱区間ZNDFFの全ノート数で合格ノート数NumDFFを除算した値に100を乗じた値を歌唱区間ZNDFFの歌唱の巧拙を示す得点SCDFFとする。 The CPU 17 performs the above pass / fail determination and the total number of passed notes Num ESY and Num DFF from the start to the end of singing by the user. When singing music piece is completed, CPU 17 is a score SC ESY showing a singing skill of the singing section ZN ESY total note number in passing note number Num ESY singing a value obtained by multiplying by 100 a value obtained by dividing the interval ZN ESY. Further, CPU 17 is a score SC DFF showing a singing skill of the singing section ZN DFF of all notes number in passing note number Num DFF singing a value obtained by multiplying by 100 a value obtained by dividing the interval ZN DFF.

CPU17は、歌唱区間ZNESYについて算出した得点SCESYの大きさに応じて両得点SCESY及びSCDFFの加算比率RAを決定し、この比率RAで得点SCESY及びSCDFFを加算した値を総合評価点SCGRとする。適用比率RAは得点SCESYと比率RAとの関係を示すテーブルに基づいて決定する。図4は、このテーブルのデータ構造を概念的に示す図である。このテーブルでは、得点SCESYが0≦SCESY≦50の場合における加算比率RAは100:0となる。よって、得点SCESYが0≦SCESY≦50の場合は得点SCESYがそのまま総合評価点SCGRとなる。また、このテーブルでは、得点SCESYが50<SCESYの場合における加算比率RAは得点SCESYが高くなるほど100:0から50:50に近くなる。よって、得点SCESYが50<SCESY≦100の場合は得点SCESYが高いほど総合評価点SCGRに占める得点SCDFFの割合が大きくなる。 The CPU 17 determines the addition ratio RA of both scores SC ESY and SC DFF according to the size of the score SC ESY calculated for the singing section ZN ESY , and sums the values obtained by adding the scores SC ESY and SC DFF at this ratio RA. Assume the evaluation point SC GR . The application ratio RA is determined based on a table indicating the relationship between the score SC ESY and the ratio RA. FIG. 4 is a diagram conceptually showing the data structure of this table. In this table, when the score SC ESY is 0 ≦ SC ESY ≦ 50, the addition ratio RA is 100: 0. Therefore, when the score SC ESY is 0 ≦ SC ESY ≦ 50, the score SC ESY becomes the total evaluation score SC GR as it is. In this table, the addition ratio RA in the case where the score SC ESY is 50 <SC ESY is closer to 100: 0 to 50:50 as the score SC ESY is higher. Therefore, when the score SC ESY is 50 <SC ESY ≦ 100, the higher the score SC ESY is, the larger the ratio of the score SC DFF to the overall evaluation score SC GR is.

図3において、CPU17は、総合評価点SCGRを算出した後、評価結果提示処理を行う(S140)。評価結果提示処理では、CPU17は、得点SCESY及びSCDFFに応じて選択したコメントメッセージと総合評価点SCGRを表示部14に表示させる。 In FIG. 3, the CPU 17 calculates an overall evaluation score SC GR , and then performs an evaluation result presentation process (S140). In the evaluation result presentation process, the CPU 17 causes the display unit 14 to display the comment message selected according to the scores SC ESY and SC DFF and the overall evaluation score SC GR .

次に、CPU17は、サンプル送信処理を行う(S150)。サンプル送信処理では、CPU17は、歌唱曲の歌唱の開始から終了までの間にボーカルアダプタ16が出力した信号SPを当該歌唱曲の歌唱サンプルデータDSとし、この歌唱サンプルデータDSを含むメッセージMS1をサーバ装置30に送信する。 Next, the CPU 17 performs a sample transmission process (S150). Sample transmission process, CPU 17 is a signal S P vocal adapter 16 is output to the time period from the start to the end of the singing singing voice and the singing sample data DS of the singing music piece, the message MS1 including the singing sample data DS It transmits to the server device 30.

サーバ装置30のCPU37は、カラオケ装置10−mからメッセージMS1を取得すると(S200:Yes)、このメッセージMS1から歌唱サンプルデータDSを取り出し、取り出した歌唱サンプルデータDSを歌唱サンプルデータベースDBSSに蓄積する(S220)。   When the CPU 37 of the server device 30 acquires the message MS1 from the karaoke device 10-m (S200: Yes), the singing sample data DS is extracted from the message MS1, and the extracted singing sample data DS is stored in the singing sample database DBSS ( S220).

続いて、CPU37は更新処理を行う(S230)。更新処理では、CPU37は、歌唱サンプルデータベースDBSS内における歌唱曲の歌唱サンプルデータDS群の各々とリファレンスデータベースDBNS内における同じ曲の模範歌唱リファレンスデータDN−nとを比較し、その比較結果に基づいて歌唱曲の全歌唱区間を難度別の複数個の歌唱区間に分割し、分割した歌唱区間の位置を示す新たな難度リファレンスデータDD−nを生成し、この新たな難度リファレンスデータDD−nによりリファレンスデータベースDB
DS内の古い難度リファレンスデータDD−nを更新する。
Subsequently, the CPU 37 performs an update process (S230). In the update process, the CPU 37 compares each song sample data DS group of song songs in the song sample database DBSS with the model song reference data DN-n of the same song in the reference database DBNS, and based on the comparison result. The entire singing section of the song is divided into a plurality of singing sections according to difficulty levels, and new difficulty level reference data DD-n indicating the positions of the divided singing periods is generated, and the new difficulty level reference data DD-n is used as a reference. Database DB
The old difficulty level reference data DD-n in the DS is updated.

より詳細に説明すると、更新処理においてCPU37は、リファレンスデータベースDBNS内における模範歌唱リファレンスデータDN−nをRAM38に読み出し、この模範歌唱リファレンスデータDN−nから歌唱曲内の全ノートNT(i)の各々の模範ピッチPCHREFを求める。 More specifically, in the update process, the CPU 37 reads the model song reference data DN-n in the reference database DBNS into the RAM 38, and each of all notes NT (i) in the song from the model song reference data DN-n. Determine the model pitch PCH REF .

そして、CPU37は、歌唱サンプルデータベースDBSS内における該当曲の歌唱サンプルデータDS群の各々を解析対象として次のような処理を行う。まず、CPU37は、解析対象とした歌唱サンプルデータDSをRAM38に読み出す。CPU37は、RAM38内の歌唱サンプルデータDSが示すピッチ波形内における各ノートNT(i)の波形部分のピッチと模範ピッチPCHREFとの差PCHDを求める。CPU37は、歌唱曲内の各ノートNT(i)をピッチ差PCHDが閾値TH1未満である合格ノートとそれ以外の不合格ノートとに分ける。 Then, the CPU 37 performs the following processing for each of the song sample data DS groups of the corresponding song in the song sample database DBSS. First, the CPU 37 reads the song sample data DS to be analyzed into the RAM 38. CPU37 determines the difference PCH D between the pitch and the model pitch PCH REF waveform portion of each note NT (i) in the pitch waveform shown singing sample data DS in the RAM 38. CPU37 divides each note NT in singing the song (i) to the pass notes and other rejected note pitch difference PCH D is smaller than the threshold TH1.

CPU37は、該当曲の歌唱サンプルデータDS群の各々について以上の解析を行った後、歌唱曲内の各ノートNT(i)の合格率RS(当該ノートNT(i)が合格であった歌唱サンプルデータDSの数を歌唱サンプルデータDSの総数で除算した値)を求め、この合格率RSを難度の指標値として時間軸上にプロットした難度統計データZを生成する。   The CPU 37 performs the above analysis on each of the song sample data DS groups of the corresponding song, and then passes the acceptance rate RS of each note NT (i) in the song (the song sample in which the note NT (i) is passed). A value obtained by dividing the number of data DS by the total number of singing sample data DS) is obtained, and difficulty statistical data Z plotted on the time axis using the acceptance rate RS as an index value of the difficulty is generated.

図5(A)は、この難度統計データZの一例を示す図である。CPU37は、歌唱曲の全歌唱区間(歌唱開始時刻tSTから歌唱終了時刻tENDまでの歌唱区間)のうち合格率RSが閾値TH2(例えば、TH2=0.4とする)以上になっている区間を歌唱区間ZNESYとし、合格率RSが閾値TH2未満になっている区間を歌唱区間ZNDFFとし、相前後する区間ZNESY及びZNDFF(またはZNDFF及びZNESY)の境界の時刻を求める。その上で、CPU37は、1番目の区間の種別(図5(A)の例では歌唱区間ZNDFF)を示す区間データDZN、1番目の区間と2番目の区間の境界の時刻を示す時刻データDt…最後の区間の種別(図5(A)の例では歌唱区間ZNDFF)を示す区間データDZNを生成し、これらを時系列順に並べたものを新たな難度リファレンスデータDD−nとする。CPU37は、この新たな難度リファレンスデータDD−nをリファレンスデータベースDBDSにおける古い難度リファレンスデータDD−nに上書きしてその内容を更新する。 FIG. 5A is a diagram illustrating an example of the difficulty statistical data Z. CPU37 is equal to or greater than pass rate RS threshold of singing songs all singing section (singing section from singing start time t ST to the singing end time t END) TH2 (e.g., a TH2 = 0.4) The section is the singing section ZN ESY , the section where the pass rate RS is less than the threshold TH2 is the singing section ZN DFF, and the boundary time between the sections ZN ESY and ZN DFF (or ZN DFF and ZN ESY ) is obtained. . Then, the CPU 37 indicates the section data D ZN indicating the type of the first section (the singing section ZN DFF in the example of FIG. 5A), and the time indicating the boundary time between the first section and the second section. Data D t ... Section data D ZN indicating the type of the last section (singing section ZN DFF in the example of FIG. 5A) is generated, and these are arranged in chronological order as new difficulty reference data DD-n And The CPU 37 overwrites the old difficulty level reference data DD-n in the reference database DBDS with the new difficulty level reference data DD-n and updates the contents.

図3において、カラオケ装置10−mのCPU17は、予め決められた問合せ時刻が到来する度に(S110:Yes)、問合せ処理を行う(S160)。この問合せ処理では、CPU17は、最新データの送信を求めるメッセージMS2をサーバ装置30に送信する。サーバ装置30のCPU37は、カラオケ装置10−mからメッセージMS2を受信すると(S210:Yes)、前回のメッセージMS2の受信時刻から今回のメッセージMS2の受信時刻までの間に内容を更新した難度リファレンスデータDD−nをメッセージM2の送信元のカラオケ装置10−mに送信する(S240)。カラオケ装置10−mのCPU17は、サーバ装置30から難度リファレンスデータDD−nを受信すると、この難度リファレンスデータDD−nをリファレンスデータベースDBDKの古い難度リファレンスデータDD−nに上書きしてその内容を更新する(S170)。   In FIG. 3, the CPU 17 of the karaoke apparatus 10-m performs an inquiry process every time a predetermined inquiry time arrives (S110: Yes) (S160). In this inquiry process, the CPU 17 transmits a message MS2 for requesting transmission of the latest data to the server device 30. When the CPU 37 of the server device 30 receives the message MS2 from the karaoke device 10-m (S210: Yes), the difficulty reference data whose contents are updated between the reception time of the previous message MS2 and the reception time of the current message MS2. DD-n is transmitted to the karaoke apparatus 10-m that is the transmission source of the message M2 (S240). When the CPU 17 of the karaoke device 10-m receives the difficulty level reference data DD-n from the server device 30, the CPU 17 updates the content by overwriting the difficulty level reference data DD-n with the old difficulty level reference data DD-n of the reference database DBDK. (S170).

以上が、本実施形態の構成の詳細である。本実施形態によると、次の効果が得られる。
第1に、本実施形態の歌唱評価処理では、CPU17は、ボーカルアダプタ16の出力信号SPから歌唱曲内における難度により区分された歌唱区間毎の歌唱の巧拙を個別に採点し、難度別の各採点結果に基づいて全歌唱区間の歌唱の総合評価点SCGRを算出する。よって、本実施形態によると、初級者から上級者までのすべての利用者が歌唱技量に応じた評価を得ることができるため、各々の歌唱技量において歌唱能力を向上するモチベーシ
ョンを維持することができる。この効果について詳細に説明する。図5(B)は歌唱力の異なる4人の利用者A、B、C、Dの歌唱音について求めたピッチ差PCHDの波形WA、WB、WC、WDを示すものである。上述したように、ピッチ差PCHDは歌唱音のピッチの模範との差PCHDであるから、一般的には、歌唱曲を上手く歌うほどこの差PCHDは小さくなる。
The above is the details of the configuration of the present embodiment. According to this embodiment, the following effects can be obtained.
First, in singing evaluation process of the present embodiment, CPU 17 is the level of difficulty for each singing sections are partitioned by singing in the singing songs from the output signal S P output vocal adapter 16 skill were scored individually, the specific difficulty Based on each scoring result, the overall evaluation score SC GR of the singing of all singing sections is calculated. Therefore, according to this embodiment, since all users from beginners to advanced users can obtain an evaluation according to the singing skill, motivation to improve the singing ability in each singing skill can be maintained. . This effect will be described in detail. FIG. 5 (B) illustrates four of the user A having different singing, B, C, the waveform of the pitch difference PCH D determined for singing sound of D WA, WB, WC, and WD. As described above, since the pitch difference PCH D is the difference PCH D of a model of the pitch of the singing sound, in general, the difference PCH D as sing well singing songs is reduced.

図5(B)における波形WA及びWBを参照すると、これらの波形WA及びWBでは全歌唱区間に亘ってピッチ差PCHDが小さくなっている。このことから、利用者A及びBは歌唱曲を歌い込んでいる上級者であることが分かる。しかし、波形WAでは歌唱区間ZNESY及びNDFFの如何に拘わらずピッチ差PCHDが小さいのに対し、波形WBでは歌唱区間ZNDFFのピッチ差PCHDが歌唱区間ZNESYのそれに比べて大きくなっている箇所がある。本実施形態では、上級者の歌唱評価においては、評価点SCGRに占める得点SCDFFの割合が大きくなる。このため、上級者は、歌唱区間ZNDFFが上手く歌えるようにならないと評価点SCGRが伸びない。従って、本実施形態によると、上級者に歌唱技量を鍛錬するモチベーションを与えることができる。ここで、利用者Aは、歌唱曲の全歌唱区間をほぼ完璧に歌いこなせるレベルに達している者であるのに対し、利用者Bは、歌唱曲の骨子はマスターしているが細かな部分の歌い方に改善の余地がある者である。よって、利用者Aには、その歌唱を称えるコメントメッセージを提示し、利用者Bには、歌唱区間ZNDFFの歌唱の鍛錬を促すコメントメッセージを提示するとよい。たとえば、利用者Aには、「テクニックもバッチリ歌えていますね。」というコメントメッセージを提示し、利用者Bには、「メロディは良いのであとは細かい所に気をつけましょう。」というコメントメッセージを提示する、といった具合である。 Referring to waveform WA and WB in FIG. 5 (B), the pitch difference across these waveforms WA and WB in the entire song section PCH D is small. From this, it can be seen that users A and B are advanced users who are singing a song. However, in the waveform WA, the pitch difference PCH D is small regardless of the song sections ZN ESY and N DFF , whereas in the waveform WB, the pitch difference PCH D of the song section ZN DFF is larger than that of the song section ZN ESY. There is a place. In the present embodiment, the ratio of the score SC DFF occupying the evaluation score SC GR increases in the singing evaluation of the advanced player. For this reason, the advanced score SC GR cannot be extended unless the advanced section can sing the singing section ZN DFF well. Therefore, according to the present embodiment, motivation for training the singing skill can be given to the advanced player. Here, user A is a person who has reached a level at which the entire singing section of the singing song can be sung almost perfectly, whereas user B masters the essence of the singing song but is a fine part. There is room for improvement in how to sing. Therefore, a comment message that praises the song is presented to the user A, and a comment message that prompts the user B to practice the song in the song section ZNDFF. For example, user A is presented with a comment message, “You can sing techniques well,” and user B is commented, “Let's be careful about the fine melody.” For example, a message is presented.

図5(B)における波形WC及びWDを参照すると、これらの波形WC及びWDでは全歌唱区間に亘ってピッチ差PCHDが大きくなっている。このことから、利用者C及びDは歌唱曲をそれほど歌い込んでいない初級者であることがわかる。しかし、波形WCでは歌唱区間の如何に拘わらずピッチ差PCHDが大きいのに対し、波形WDでは歌唱区間ZNESYのピッチ差PCHDが歌唱区間ZNDFFのそれに比べると小さくなっている。本実施形態では、初級者の歌唱評価においては、評価点SCGRに占める得点SCESYの割合が大きくなる。このため、初級者は、歌唱区間ZNESYが上手く歌えるようになるだけで評価点SCGRが伸びる。従って、本実施形態によると、初級者にも歌唱技量を鍛錬するモチベーションを与えることができる。ここで、利用者Cは、歌唱曲の骨子となるメロディはうろ覚え程度に覚えている者であるのに対し、利用者Dは、それさえもあまり覚えていない者である。よって、利用者Cには、歌唱曲の細かな部分を覚えることを促すコメントメッセージを提示し、利用者Dには、歌唱曲の骨子が正しく歌えていないこと知らせるコメントメッセージを提示するとよい。たとえば、利用者Cには、「メロディをまだ覚えていない箇所がある様です。練習あるのみ。」というコメントメッセージを提示し、利用者Dには、「メロディがあっていない様です。良く聞いて覚えましょう。」というコメントメッセージを提示する、といった具合である。 Referring to waveform WC and WD in FIG. 5 (B), the pitch difference PCH D across these waveforms WC and WD in all singing section is large. From this, it can be seen that the users C and D are beginners who have not sung the song so much. However, in the waveform WC, the pitch difference PCH D is large regardless of the singing section, whereas in the waveform WD, the pitch difference PCH D in the singing section ZNE ESY is smaller than that in the singing section ZN DFF . In the present embodiment, in the singing evaluation of beginners, the ratio of the score SC ESY to the evaluation score SC GR increases. For this reason, the evaluation score SC GR can be extended for the beginner only by being able to sing the singing section ZN ESY well. Therefore, according to the present embodiment, motivation for training the singing skill can be given to beginners. Here, the user C is a person who remembers the melody that is the essence of the singing song to the extent that he / she remembers, whereas the user D is a person who does not even remember that much. Therefore, it is preferable to present a comment message that prompts the user C to memorize the fine parts of the song, and present a comment message to the user D that informs that the main point of the song is not correctly sung. For example, user C presents a comment message “There seems to be a part where the melody has not been remembered yet. There is only practice”, and user D says “There seems to be no melody. "Let's remember."

第2に、本実施形態では、歌唱サンプルデータベースDBSS内に蓄積された歌唱サンプルデータDSの各々と歌唱音のピッチの模範を示す模範歌唱リファレンスデータDN−nとを比較し、各比較結果に基づいて歌唱曲の全歌唱区間を難度別の複数個の歌唱区間に分割する。そして、分割した歌唱区間の時間軸上における位置を示す新たな難度リファレンスデータDD−nを生成し、この新たな難度リファレンスデータDD−nによりリファレンスデータベースDBDK内の難度リファレンスデータDD−nを更新する。よって、本実施形態によると、歌唱サンプルデータベースDBSS内の歌唱サンプルデータDSの蓄積数の増加に伴って難度リファレンスデータDD−nの内容が最適化され、利用者により満足度の高い評価結果を提示することができる。   Secondly, in the present embodiment, each of the singing sample data DS stored in the singing sample database DBSS is compared with the model singing reference data DN-n indicating the model of the pitch of the singing sound, and based on each comparison result. Then divide the entire singing section of the song into a plurality of singing sections according to difficulty level. Then, new difficulty level reference data DD-n indicating the position of the divided singing section on the time axis is generated, and the difficulty level reference data DD-n in the reference database DBDK is updated with the new difficulty level reference data DD-n. . Therefore, according to the present embodiment, the content of the difficulty reference data DD-n is optimized as the number of singing sample data DS stored in the singing sample database DBSS increases, and a highly satisfactory evaluation result is presented by the user. can do.

<第2実施形態>
以下に、本発明の第2実施形態にかかる歌唱評価システム2を説明する。歌唱評価システム2は上述の第1実施形態にかかる歌唱評価システム1と多くの点で共通するため、以下に歌唱評価システム2が歌唱評価システム1と異なる点を中心に説明する。歌唱評価システム2が歌唱評価システム1と異なる主な点は以下のとおりである。
(a)歌唱評価システム1においては、難度リファレンスデータにおいて難度が対応付けられる歌唱区間は任意の長さ(難度が変わるタイミング間の長さ)である。これに対し、歌唱評価システム2においては、難度リファレンスデータにおいて難度はノート毎に付与される。すなわち、歌唱評価システム2における難度に応じた歌唱区間は、各ノートNT(i)のイベントEV(i)ONのタイミングからイベントEV(i)OFFのタイミングまでの区間となる。
(b)歌唱評価システム1においては、難度は低難度と高難度のいずれかに2分される。これに対し、歌唱評価システム2における難度は、歌唱評価システム1においてサーバ装置30が難度リファレンスデータDD−nの生成を行う際に生成する合格率RS、すなわち歌唱曲内の各ノートNT(i)に関し、そのノートNT(i)が合格であった歌唱サンプルデータDSの数を歌唱サンプルデータDSの総数で除算した値(図5(A)にグラフとして示される難度統計データZが示す値)を1から減じた値が難度を示す指標値として用いられる。
(c)歌唱評価システム1においては、利用者の歌唱における低難度の歌唱区間に関する得点SCESYに基づき、総合の評価点SCGRを算出する際に得点SCESYおよび得点SCDFFに乗じるウェイトの比率(加算比率RA)が決定される。これに対し、歌唱評価システム2においては、利用者の歌唱における歌唱区間に含まれる全てのノートNT(i)の合否に応じて、いずれの難度のノートNT(i)に関する得点にいずれのウェイトを乗じて総合得点に加算するか、が決定される。
Second Embodiment
Below, the song evaluation system 2 concerning 2nd Embodiment of this invention is demonstrated. Since the singing evaluation system 2 is common in many respects to the singing evaluation system 1 according to the first embodiment described above, the singing evaluation system 2 will be described below with a focus on differences from the singing evaluation system 1. The main points in which the singing evaluation system 2 differs from the singing evaluation system 1 are as follows.
(A) In the singing evaluation system 1, the singing section to which the difficulty level is associated in the difficulty level reference data has an arbitrary length (the length between timings when the difficulty level changes). On the other hand, in the singing evaluation system 2, the difficulty level is assigned to each note in the difficulty level reference data. That is, the singing section according to the difficulty level in the singing evaluation system 2 is a section from the timing of event EV (i) ON of each note NT (i) to the timing of event EV (i) OFF .
(B) In the singing evaluation system 1, the difficulty level is divided into one of a low difficulty level and a high difficulty level. On the other hand, the difficulty in the song evaluation system 2 is the pass rate RS generated when the server device 30 generates the difficulty reference data DD-n in the song evaluation system 1, that is, each note NT (i) in the song. The value obtained by dividing the number of singing sample data DS by which the note NT (i) has passed by the total number of singing sample data DS (the value indicated by the difficulty statistical data Z shown as a graph in FIG. 5A). A value subtracted from 1 is used as an index value indicating the difficulty level.
(C) In the singing evaluation system 1, the ratio of the weights to be multiplied by the score SC ESY and the score SC DFF when calculating the overall score SC GR based on the score SC ESY regarding the low difficulty singing section in the user's song (Addition ratio RA) is determined. On the other hand, in the singing evaluation system 2, depending on the pass / fail of all the notes NT (i) included in the singing section in the user's singing, any weight is assigned to the score regarding the note NT (i) of any difficulty level. It is decided whether to multiply and add to the total score.

以下に上述した歌唱評価システム1と異なる歌唱評価システム2の構成を詳しく述べる。まず、歌唱評価システム2のサーバ装置10のCPU37は、歌唱分析プログラムPGSに従い、難度リファレンスデータDD−nの更新処理(図3のS230)において、図2に示した構成の難度リファレンスデータDD−nに代えて、歌唱曲内のノートNT(i)の各々に関し、そのノートNT(i)が合格であった歌唱サンプルデータDSの数を歌唱サンプルデータDSの総数で除算した値である合格率RS(i)を1から減算した値、すなわち(1−RS(i))を難度D(i)として示す難度リファレンスデータDD−nを生成する。   Below, the structure of the song evaluation system 2 different from the song evaluation system 1 mentioned above is described in detail. First, in accordance with the song analysis program PGS, the CPU 37 of the server device 10 of the song evaluation system 2 performs the difficulty reference data DD-n having the configuration shown in FIG. 2 in the update process of the difficulty reference data DD-n (S230 in FIG. 3). Instead, for each of the notes NT (i) in the song, the acceptance rate RS is a value obtained by dividing the number of song sample data DS that passed the note NT (i) by the total number of song sample data DS. The value obtained by subtracting (i) from 1, that is, difficulty reference data DD-n indicating (1-RS (i)) as the difficulty D (i) is generated.

例えば、歌唱曲に含まれるノートNT(1)の任意数の任意の歌唱者による歌唱音から算出された合格率RS(1)が0.82(すなわち、82%の合格率)であった場合、難度D(1)=1−0.82=0.18となる。そのような構成の難度リファレンスデータDD−nがサーバ装置30のリファレンスデータベースDBDSに記憶されるとともに、カラオケ装置10−mに送信され(図3のS240)、カラオケ装置10−mのリファレンスデータベースDBDKに記憶される(図3のS170)。   For example, when the acceptance rate RS (1) calculated from the singing sound by any number of arbitrary singers of the note NT (1) included in the song is 0.82 (that is, the acceptance rate of 82%) The difficulty level D (1) = 1−0.82 = 0.18. The difficulty level reference data DD-n having such a configuration is stored in the reference database DBDS of the server device 30 and transmitted to the karaoke device 10-m (S240 in FIG. 3), and is stored in the reference database DBDK of the karaoke device 10-m. It is stored (S170 in FIG. 3).

カラオケ装置10−mのCPU17は、歌唱評価プログラムPGKに従い行う歌唱評価処理(図3のS130)において、まず歌唱評価システム1における場合と同様に、歌唱曲に含まれるノートNT(i)の各々に関し、ボーカルアダプタ16の出力信号SPが示すピッチと模範ピッチPCHREFとの差PCHDEFが閾値TH1未満であるか否かに基づき、その歌唱におけるノートNT(i)の合否を判定し、その結果を示す合否フラグP(i)を生成し、比較結果データとしてRAM18に一時的に記憶する。合格フラグP(i)は、合格の場合「1」、不合格の場合「0」をその値としてとる。 In the singing evaluation process (S130 in FIG. 3) performed by the karaoke apparatus 10-m according to the singing evaluation program PGK, first, as in the singing evaluation system 1, each of the notes NT (i) included in the singing tune is related. , based on whether the difference PCH DEF between the pitch and the model pitch PCH REF indicated by the output signal S P output vocal adapter 16 is smaller than the threshold TH1, determines acceptance of notes NT (i) in the singing, the result Pass / fail flag P (i) is generated, and is temporarily stored in the RAM 18 as comparison result data. The acceptance flag P (i) takes “1” as a value when it passes and “0” as a value when it fails.

歌唱が終了すると、CPU17は比較結果データに含まれる合格ノートを示す合否フラ
グP(i)の数を、合否フラグP(i)の総数、すなわち歌唱曲に含まれるノートNT(i)の総数で除算した値を歌唱能力レベルLとする。なお、この歌唱能力レベルLは、ごく一般的なカラオケ装置における歌唱の評価点と同様のものである。
When the singing ends, the CPU 17 determines the number of pass / fail flags P (i) indicating the pass notes included in the comparison result data by the total number of pass / fail flags P (i), that is, the total number of notes NT (i) included in the song. The divided value is set as a singing ability level L. The singing ability level L is the same as the singing evaluation point in a very general karaoke apparatus.

続いて、CPU17は、難度D(i)のノートNT(i)の合否に対し乗じるウェイトW(i)を算出するための算出式を、歌唱能力レベルLに従い以下のように生成する。   Subsequently, the CPU 17 generates a calculation formula for calculating the weight W (i) for multiplying the pass / fail of the note NT (i) of the difficulty level D (i) according to the singing ability level L as follows.

Figure 0005994343
Figure 0005994343

図6は、上記の数1が、歌唱能力レベルLに応じてどのように変化するかを示したグラフである。図6に示されるように、式1で示される関数は、歌唱能力レベルLが高いほど勾配が大きくなり、歌唱能力レベルLが低いほど勾配が小さくなる1次関数である。具体例として図6に示されている5本のグラフは、以下の式で表される。
歌唱能力レベルL=1.00: W=D
歌唱能力レベルL=0.75: W=0.5D+0.25
歌唱能力レベルL=0.50: W=0.5
歌唱能力レベルL=0.25: W=−0.5D+0.75
歌唱能力レベルL=0.00: W=−D+1
FIG. 6 is a graph showing how the number 1 changes according to the singing ability level L. As shown in FIG. 6, the function represented by Equation 1 is a linear function that increases as the singing ability level L increases and decreases as the singing ability level L decreases. As a specific example, five graphs shown in FIG. 6 are expressed by the following equations.
Singing ability level L = 1.00: W = D
Singing ability level L = 0.75: W = 0.5D + 0.25
Singing ability level L = 0.50: W = 0.5
Singing ability level L = 0.25: W = −0.5D + 0.75
Singing ability level L = 0.00: W = -D + 1

上記のように歌唱能力レベルLに応じて決定されるウェイトWの算出式は、利用者の歌唱能力レベルLが高い場合、その利用者には各ノートNT(i)の合否結果を評価点に加算する際に難度指標D(i)が高い程高いウェイトW(i)を乗じて加算し、利用者の歌唱能力レベルLが低い場合、その利用者には各ノートNT(i)の合否結果を評価点に加算する際に難度指標D(i)が低い程高いウェイトW(i)を乗じて加算する、という算出式となっている。   When the user's singing ability level L is high, the formula for calculating the weight W determined according to the singing ability level L as described above gives the user the pass / fail result of each note NT (i) as an evaluation score. When adding, the higher the difficulty index D (i) is, the higher the weight W (i) is multiplied, and when the user's singing ability level L is low, the user is given a pass / fail result for each note NT (i). Is added to the evaluation score, the lower the difficulty index D (i), the higher the weight W (i) is multiplied and added.

CPU17は、上記のように歌唱能力レベルLに応じて決定したウェイトWの算出式に従い、先に記憶した合否フラグP(i)を変数とする以下の算出式に従い、評価点SCGRを算出する。 The CPU 17 calculates the evaluation point SC GR according to the following calculation formula using the pass / fail flag P (i) stored in advance as a variable according to the calculation formula for the weight W determined according to the singing ability level L as described above. .

Figure 0005994343
Figure 0005994343

数2の第1項の分子は、合格ノート(P(i)=1のノートNT(i))の各々に関し、難度リファレンスデータDD−nに示される難度D(i)を式1に代入して得られるウェイトW(i)の合計値を示し、式2の第1項の分母は、歌唱曲に含まれる全てのノートNT(i)が合格であった場合のウェイトW(i)の合計値を示す。従って、式2で算出される評価点SGGRは、全てのノートNT(i)に関し合格であれば満点を示す100となり、全てのノートNT(i)に関し不合格であれば0となる。 The numerator of the first term of Equation 2 assigns the difficulty level D (i) indicated in the difficulty level reference data DD-n to Equation 1 for each of the passing notes (notes NT (i) with P (i) = 1). The denominator of the first term of Equation 2 is the sum of the weights W (i) when all the notes NT (i) included in the song are successful. Indicates the value. Accordingly, the evaluation score SG GR calculated by the expression 2 is 100 indicating a full score if all the notes NT (i) are acceptable, and is 0 if all the notes NT (i) are unacceptable.

CPU17は、上記のように評価点SCGRを算出した後、評価結果提示処理(図3のS140)において、歌唱能力レベルL及び評価点評価点SGGRに応じて選択したコメント
メッセージと評価点SCGRを表示部14に表示させる。
After calculating the evaluation point SC GR as described above, the CPU 17 selects the comment message and the evaluation point SC selected according to the singing ability level L and the evaluation point evaluation point SG GR in the evaluation result presentation process (S140 in FIG. 3). GR is displayed on the display unit 14.

歌唱評価システム2によれば、歌唱評価システム1による場合と比較し、難度の評価がノート単位で行われ、難度の区分数もより細かく、歌唱者の推定歌唱能力のレベル分けの区分数もより細かく、さらに、合格ノートを評価に反映する際の寄与の程度がそのノートの難度に応じてより細かく選択されるため、結果として生成され利用者に提示される評価結果が、より望ましいものとなる。   According to the singing evaluation system 2, compared with the case of the singing evaluation system 1, the evaluation of the difficulty is performed in units of notes, the number of divisions of the difficulty is finer, and the number of divisions of the level classification of the singer's estimated singing ability is also more In addition, since the degree of contribution when reflecting a passing note in the evaluation is selected more finely according to the difficulty of the note, the evaluation result generated and presented to the user becomes more desirable. .

<変形例>
以上、この発明の第1及び第2実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
(1)上記の第1実施形態では、歌唱曲を難度の低い歌唱区間ZNESYと難度の高い歌唱区間ZNDFFの2種類に分け、これらの歌唱区間ZNESY及びZNDFFの歌唱の巧拙を個別に採点した。しかし、歌唱曲を3段階以上の難度の歌唱区間に分け、それらの歌唱区間の歌唱の巧拙を個別に評価するようにしてもよい。なお、第2実施形態にかかる歌唱評価システム2は、難度の段階数を連続的に変化させる構成が採用された例である。
<Modification>
Although the first and second embodiments of the present invention have been described above, there may be other embodiments in the present invention. For example, it is as follows.
(1) In the first embodiment described above, the song is divided into two types, the song section ZN ESY having a low difficulty level and the song section ZN DFF having a high difficulty level, and the skill of singing these song sections ZN ESY and ZN DFF is individually provided. Scoring to. However, the song song may be divided into song sections having difficulty levels of three or more levels, and the skill of the songs in those song sections may be individually evaluated. In addition, the singing evaluation system 2 concerning 2nd Embodiment is the example by which the structure which changes the number of steps of difficulty continuously was employ | adopted.

(2)上記の第1および第2実施形態では、歌唱音の収音信号のピッチを検出し、このピッチと模範ピッチの差から歌唱の巧拙を評価した。しかし、歌唱音の収音信号の音量を検出し、この音量と模範音量の差から歌唱の巧拙を評価してもよい。また、ピッチと音量の両方を用いて歌唱の巧拙を評価してもよい。 (2) In the first and second embodiments described above, the pitch of the collected sound signal of the singing sound is detected, and the skill of the singing is evaluated from the difference between this pitch and the exemplary pitch. However, the volume of the collected sound signal of the singing sound may be detected, and the skill of the singing may be evaluated from the difference between this volume and the model volume. Moreover, you may evaluate the skill of a song using both pitch and a sound volume.

その場合、模範歌唱リファレンストラックTRNRと模範歌唱リファレンスデータDNは、歌唱曲の歌唱パートの各ノートNT(i)の音の発音における音量を指示するデータを含むように構成される。そして、カラオケ装置10のボーカルアダプタ16は、マイクロホン13から与えられた音信号SMの音量を示す音量データを生成する。カラオケ装置10およびサーバ装置30は、音量デーが示す音量と模範歌唱リファレンストラックTRNRもしくは模範歌唱リファレンスデータDNにより示される音量との差が所定の閾値未満であるか否かに応じて、音量に関するそのノートの歌唱演奏の合否を判定する。カラオケ装置10は、そのようにして得た判定結果を、音程に関する判定結果と同様に、利用者の演奏能力とそのノートの難度に応じた基準に従い評価点に反映させる。また、サーバ装置30は、そのようにして得た判定結果に基づき、難度リファレンスデータの生成を行う。そのように構成されることにより、音程だけでなく音量に関しても演奏の評価対象となり望ましい。 In that case, the model singing reference track TR NR and the model singing reference data DN are configured to include data indicating the volume of the sound of each note NT (i) of the singing part of the singing song. The vocal adapter 16 of the karaoke device 10 generates the volume data indicating the volume of the sound signal S M given from the microphone 13. The karaoke apparatus 10 and the server apparatus 30 relate to the sound volume depending on whether or not the difference between the sound volume indicated by the sound volume day and the sound volume indicated by the model song reference track TRNR or the model song reference data DN is less than a predetermined threshold value. The pass / fail of the singing performance of the note is determined. The karaoke apparatus 10 reflects the determination result thus obtained in the evaluation score according to a criterion corresponding to the performance ability of the user and the difficulty of the note, similarly to the determination result regarding the pitch. Further, the server device 30 generates difficulty level reference data based on the determination result thus obtained. With such a configuration, not only the pitch but also the volume is desirable for performance evaluation.

(3)上記の第1および第2実施形態では、歌唱音のピッチ(ボーカルアダプタ16の出力信号SPが示すピッチ)と模範ピッチPCHREFとの差PCHDEFが閾値TH1未満であるか否かに基づき、その歌唱におけるノートNT(i)を合格ノートまたは不合格ノートに2分する構成が採用されている。歌唱音に含まれるノートの評価方法は2分法に限られない。例えば、差PCHDEFが閾値TH1において0点、差PCHDEFが0の場合1点とし、差PCHDEFが0より大きく閾値TH1より小さい場合、0より大きく1より小さい数値内で、差PCHDEFが小さい程、高い点数を付与する、といった評価方法が採用されてもよい。 (3) In the first and second embodiments described above, whether the difference PCH DEF between the pitch of the singing sound (pitch indicated by the output signal S P output vocal adapter 16) as a model pitch PCH REF is less than the threshold TH1 Based on the above, a configuration is adopted in which the note NT (i) in the singing is divided into a passing note or a failing note. The evaluation method of the notes included in the singing sound is not limited to the bisection method. For example, when the difference PCH DEF is 0 at the threshold TH1, and when the difference PCH DEF is 0, it is 1 point. When the difference PCH DEF is greater than 0 and less than the threshold TH1, the difference PCH DEF is within a numerical value greater than 0 and less than 1. An evaluation method of giving a higher score as the value is smaller may be employed.

(4)上記の第1および第2実施形態において、難度に応じて評価対象とする歌唱音の情報を変更する構成が採用されてもよい。例えば、第1実施形態において、歌唱区間ZNESYについては、歌唱音の収音信号のピッチと音量の両方に基づいた評価を行い、歌唱区間ZNDFFについては、歌唱音の収音信号のピッチのみに基づいた評価を行ってもよい。 (4) In said 1st and 2nd embodiment, the structure which changes the information of the song sound made into evaluation object according to difficulty may be employ | adopted. For example, in the first embodiment, for the singing section ZN ESY , evaluation is performed based on both the pitch and volume of the collected sound signal of the singing sound, and for the singing section ZN DFF , only the pitch of the collected sound signal of the singing sound is used. You may evaluate based on.

(5)上記の第1実施形態では、歌唱区間ZNESYの採点結果である得点SCESYと歌唱区
間ZNDFFの採点結果である得点SCDFFの加算比率RAを得点SCESYに基づいて決定した。しかし、この比率RAを他の要素(例えば、得点SCDFFや得点SCESYと得点SCDFFの合計点)に基づいて決定してもよい。なお、第2実施形態にかかる歌唱評価システム2は、歌唱評価システム1における得点SCESYと得点SCDFFの合計点に対応する歌唱能力レベルLに基づき、合格ノートの評価点に対する寄与率を決定するウェイトW(i)の算出式(比率RAのテーブルに相当)を決定する、という構成が採用された例である。
(5) In the first embodiment described above, the addition ratio RA score SC DFF is scoring results singing section ZN DFF to be the rating result singing section ZN ESY score SC ESY was determined on the basis of the score SC ESY. However, the ratio RA may be determined based on other factors (for example, the score SC DFF or the total score SC ESY and the score SC DFF ). In addition, the song evaluation system 2 concerning 2nd Embodiment determines the contribution rate with respect to the evaluation score of a passing note based on the song ability level L corresponding to the total score SC ESY and score SC DFF in the song evaluation system 1. This is an example in which a configuration for determining a formula for calculating the weight W (i) (corresponding to a table of the ratio RA) is adopted.

(6)上記の第1および第2実施形態では、サーバ装置30がカラオケ装置10−mの各々から送信されてきた歌唱サンプルデータDS群に基づき難度リファレンスデータDD−nの更新処理を行う。これに対し、カラオケ装置10−mの各々が自装置のハードディスク20内に歌唱サンプルデータDSを蓄積し、蓄積した歌唱サンプルデータDS群に基づき、上記実施形態におけるサーバ装置30が行う処理と同様の処理により、難度リファレンスデータDDの更新を行う構成が採用されてもよい。その際、各カラオケ装置10は、自装置において生成した歌唱サンプルデータDSに加え、例えば他のカラオケ装置10において生成された歌唱サンプルデータDSを他のカラオケ装置10から直接、もしくはサーバ装置30を介して受信し、それらを用いて難度リファレンスデータDDの更新を行う構成が採用されてもよい。 (6) In said 1st and 2nd embodiment, the server apparatus 30 performs the update process of difficulty reference data DD-n based on the song sample data DS group transmitted from each of karaoke apparatus 10-m. On the other hand, each of the karaoke apparatuses 10-m accumulates the singing sample data DS in the hard disk 20 of the own apparatus, and based on the accumulated singing sample data DS group, the same processing as that performed by the server apparatus 30 in the above embodiment. A configuration in which the difficulty level reference data DD is updated by the processing may be employed. At that time, each karaoke device 10 adds the singing sample data DS generated in another karaoke device 10 directly from the other karaoke devices 10 or via the server device 30 in addition to the singing sample data DS generated in its own device. May be employed, and the difficulty level reference data DD may be updated using them.

(7)上記の第1および第2実施形態では、カラオケ装置10からサーバ装置30に対し、歌唱曲の歌唱の開始から終了までの間にボーカルアダプタ16が出力した信号SPを含む歌唱サンプルデータDS(ピッチデータ)が送信され、サーバ装置30は歌唱サンプルデータDSを模範歌唱リファレンスデータDNと比較し、その比較結果に基づいて歌唱曲の歌唱区間の区分および難度の判定(第1実施形態)もしくは各ノートの難度D(i)の特定(第2実施形態)を行い、その結果に基づき、難度リファレンスデータDDの更新を行う。これに代えて、カラオケ装置10からサーバ装置30に対し、カラオケ装置10において利用者の歌唱音に対し実行された歌唱評価処理における合格ノートおよび不合格ノートを示すデータ(比較結果データ)を送信し、サーバ装置30においてはカラオケ装置10の各々から送信されてくるそれらの比較結果データに基づき、難度リファレンスデータDDの更新処理を行う構成が採用されてもよい。上記の変形例(6)において、カラオケ装置10が難度リファレンスデータDDの更新を行う場合も同様である。すなわち、カラオケ装置10は、他のカラオケ装置10から、そのカラオケ装置10において実行された歌唱評価処理における合格ノートおよび不合格ノートを示す比較結果データを受信し、その比較結果データに基づき難度リファレンスデータDDの更新を行う構成が採用されてもよい。 (7) singing sample data in the first and second embodiments described above, to the server device 30 from the karaoke apparatus 10, including a signal S P vocal adapter 16 is output to the time period from the start to the end of the singing singing voice DS (pitch data) is transmitted, and the server device 30 compares the singing sample data DS with the model singing reference data DN, and based on the comparison result, the singing section classification and difficulty determination of the singing song (first embodiment). Alternatively, the difficulty level D (i) of each note is specified (second embodiment), and the difficulty level reference data DD is updated based on the result. Instead, the karaoke device 10 transmits data (comparison result data) indicating a pass note and a fail note in the singing evaluation process executed on the singing sound of the user in the karaoke device 10 to the server device 30. The server device 30 may employ a configuration in which the difficulty level reference data DD is updated based on the comparison result data transmitted from each of the karaoke devices 10. The same applies to the modification (6) in which the karaoke apparatus 10 updates the difficulty level reference data DD. That is, the karaoke apparatus 10 receives comparison result data indicating a pass note and a fail note in the singing evaluation process executed in the karaoke apparatus 10 from another karaoke apparatus 10, and difficulty reference data based on the comparison result data. A configuration for updating the DD may be employed.

(8)上記の第1および第2実施形態における歌唱の評価結果の利用者への提示の態様は様々に変更可能である。例えば、第1実施形態において、得点SCESYに基づき判定される利用者の歌唱能力のレベルが、コメントメッセージおよび総合評価点SCGRとともに利用者に提示される構成が採用されてもよい。その場合、利用者は自分の歌唱能力が概ねどのレベルなのかを知った上で、総合評価点SCGRを高めるように努めることができるため、歌唱能力と総合評価点SCGRとの逆転現象(歌唱能力が高まると、難度の低い歌唱区間の評価よりも難度の高い歌唱区間の評価が重視される結果、総合評価点SCGRがむしろ下がってしまう現象)が生じても、利用者のモチベーションを下げてしまう虞がない。 (8) The manner of presenting the singing evaluation result to the user in the first and second embodiments can be variously changed. For example, in the first embodiment, a configuration in which the level of the singing ability of the user determined based on the score SC ESY is presented to the user together with the comment message and the overall evaluation score SC GR may be adopted. In that case, since the user can make efforts to increase the overall evaluation score SC GR after knowing the level of his / her singing ability, the reverse phenomenon between the singing ability and the overall evaluation score SC GR ( As singing ability increases, the evaluation of singing sections with higher difficulty is more important than the evaluation of singing sections with low difficulty, and as a result, the overall evaluation score SC GR is lowered. There is no risk of lowering.

(9)上記の第1実施形態においては、低難度の歌唱区間の評価点に対する寄与度と高難度の歌唱区間の評価点に対する寄与度の比率である比率RAが、図4に示されるような関係に従いSCESYに応じて定まる構成が採用されている。また、上記の第2実施形態においては、利用者の歌唱能力レベルLに応じて定まる式1に示される関数に従い、各ノートの難度Dに応じて定まるウェイトWが、各ノートの歌唱の評価点に対する寄与度を決定する、という構成が採用されている。本発明にかかる歌唱区間の歌唱の評価点への寄与度の
決定方法はこれらに限られず、歌唱者の推定される歌唱能力が高い程、難度の高い歌唱区間に対し評価に対する寄与度が高く定められ、歌唱者の推定される歌唱能力が低いほど、難度の低い歌唱区間に対し評価に対する寄与度が低く定められる限り、如何なる基準で比率RAやウェイトWが決定されてもよい。例えば、第1実施形態において、図4に示されるものとは異なる形状のグラフで描かれる関係に従い、SCESYに従い比率RAが決定されてもよい。また、第2実施形態において、式1および式2とは異なる算出式により、難度Dに応じたウェイトWが決定されてもよい。
(9) In the first embodiment, the ratio RA, which is the ratio of the contribution to the evaluation point of the low difficulty singing section and the contribution to the evaluation point of the high difficulty singing section, is as shown in FIG. A configuration determined according to SC ESY according to the relationship is adopted. Moreover, in said 2nd Embodiment, according to the function shown by Formula 1 defined according to a user's singing ability level L, the weight W defined according to the difficulty D of each note is the evaluation score of each note. A configuration is adopted in which the degree of contribution to is determined. The determination method of the contribution degree to the evaluation score of the singing section according to the present invention is not limited to these, and the higher the singing ability estimated by the singer, the higher the degree of contribution to the evaluation for the singing section having a higher degree of difficulty. As long as the singer's estimated singing ability is low, the ratio RA and the weight W may be determined according to any criteria as long as the degree of contribution to the evaluation is set low for a singing section having a low difficulty level. For example, in the first embodiment, the ratio RA may be determined according to SC ESY according to a relationship drawn in a graph having a shape different from that shown in FIG. In the second embodiment, the weight W corresponding to the difficulty level D may be determined by a calculation formula different from the formulas 1 and 2.

(10)上記の第1および第2の実施形態にける歌唱の評価においては、ノート単位で合否判断が行われる構成が採用されているが、合否判断をフレーズ単位、小説単位等、他の単位で行う構成が採用されてもよい。 (10) In the evaluation of the singing according to the first and second embodiments described above, a configuration is adopted in which pass / fail judgment is performed in units of notes, but the pass / fail judgment is performed in other units such as phrase units, novel units, etc. The configuration performed in (1) may be adopted.

(11)上記実施形態では、楽曲演奏を評価する演奏評価装置の一例として、歌唱用のカラオケ装置に設けられ、歌唱演奏を評価する演奏評価装置を示したが、本発明にかかる演奏評価装置は歌唱演奏の評価に限定されず、各種楽器を用いた楽曲演奏の評価にも適用可能である。すなわち、上記実施形態において用いた「歌唱」という言葉は、より一般的な「演奏」という言葉で置き換えられる。楽曲が歌唱曲でなく楽器用の楽曲である場合、楽器演奏用のカラオケ装置は、曲データMDは歌詞トラックTRLYに代えて、例えば楽譜を示すデータと、楽譜の各区間(例えば、2小節もしくは4小節のブロックなど)の表示時刻を示すデルタタイムが時系列順に記述されたデータである楽譜トラックを含むように構成され、シーケンサ21および表示部14は楽譜トラックに従い、楽曲の進行に伴い伴奏箇所に応じた楽譜を示す画像信号をディスプレイに出力するように構成されることになる。なお、歌唱用のカラオケ装置および楽器演奏用のカラオケ装置において、歌詞もしくは楽譜の表示が不要な場合は、シーケンサ21および表示部14による画像信号の出力処理は行われなくてもよい。 (11) In the above embodiment, as an example of a performance evaluation device that evaluates a music performance, a performance evaluation device that is provided in a singing karaoke device and evaluates a singing performance is shown. The present invention is not limited to the evaluation of singing performances, and can be applied to the evaluation of musical performances using various musical instruments. That is, the term “singing” used in the above embodiment is replaced with the more general term “performance”. When the musical piece is not a song but a musical instrument musical piece, the musical instrument performance karaoke apparatus replaces the song data MD with the lyrics track TR LY , for example, data indicating a musical score and each section of the musical score (for example, two bars). Alternatively, a delta time indicating the display time of a four-measure block or the like) is configured to include a score track that is data described in chronological order, and the sequencer 21 and the display unit 14 follow the score track and accompaniment as the music progresses. The image signal indicating the score corresponding to the location is output to the display. In the karaoke apparatus for singing and the karaoke apparatus for playing musical instruments, if display of lyrics or score is unnecessary, the image signal output processing by the sequencer 21 and the display unit 14 may not be performed.

(12)上記実施形態では、いわゆる専用機としてのカラオケ装置に本発明にかかる演奏評価装置が設けられている例を示したが、本発明にかかる演奏評価装置は専用機に限られない。例えば、パーソナルコンピュータや携帯情報端末(例えば携帯電話機やスマートホン)やゲーム装置等の各種装置にプログラムに従った処理を行わせることによって本発明にかかる演奏評価装置を実現する構成が採用されてもよい。 (12) In the above embodiment, the performance evaluation apparatus according to the present invention is provided in the karaoke apparatus as a so-called dedicated machine, but the performance evaluation apparatus according to the present invention is not limited to the dedicated machine. For example, even if a configuration that realizes the performance evaluation device according to the present invention by causing various devices such as a personal computer, a portable information terminal (for example, a mobile phone or a smart phone), and a game device to perform processing according to a program is adopted. Good.

1…歌唱評価システム、2…歌唱評価システム、10…カラオケ装置、11…音源11、12…スピーカ、13…マイクロホン、14…表示部、15,35…通信インターフェース、16…ボーカルアダプタ16、17,37…CPU、18,38…RAM、19,39…ROM、20,40…ハードディスク、21…シーケンサ、30…サーバ装置 DESCRIPTION OF SYMBOLS 1 ... Singing evaluation system, 2 ... Singing evaluation system, 10 ... Karaoke apparatus, 11 ... Sound source 11, 12 ... Speaker, 13 ... Microphone, 14 ... Display part, 15, 35 ... Communication interface, 16 ... Vocal adapter 16, 17, 37 ... CPU, 18, 38 ... RAM, 19, 39 ... ROM, 20, 40 ... hard disk, 21 ... sequencer, 30 ... server device

Claims (7)

楽曲の模範となるピッチを示す模範演奏リファレンスデータを取得する模範演奏リファレンスデータ取得手段と、
前記楽曲を区分して得られる複数の演奏区間の各々の難度を示す難度リファレンスデータを取得する難度リファレンスデータ取得手段と、
演奏者による前記楽曲の演奏音から当該演奏音のピッチを示すピッチデータを生成するピッチデータ生成手段と、
前記ピッチデータ生成手段により生成されたピッチデータにより示されるピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較の結果に基づき前記演奏者の演奏能力の程度を判定し、前記ピッチデータ生成手段により生成されたピッチデータにより示されるピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較による採点の結果に対し、前記複数の演奏区間の各々に関し前記難度リファレンスデータにより示される難度と前記演奏能力の程度の判定の結果とに応じたウェイトを乗じて評価点を算出する演奏評価手段と
を備える演奏評価装置。
An exemplary performance reference data acquisition means for acquiring exemplary performance reference data indicating a pitch serving as an exemplary musical composition;
Difficulty level reference data acquisition means for acquiring difficulty level reference data indicating the difficulty level of each of a plurality of performance sections obtained by dividing the music piece;
Pitch data generating means for generating pitch data indicating the pitch of the performance sound from the performance sound of the music by the performer;
Based on the result of comparison between the pitch indicated by the pitch data generated by the pitch data generation means and the pitch indicated by the model performance reference data, the player's performance ability is determined, and the pitch data generation means With respect to the result of scoring by comparing the pitch indicated by the generated pitch data and the pitch indicated by the model performance reference data, the difficulty indicated by the difficulty reference data and the performance ability of each of the plurality of performance sections A performance evaluation device comprising: performance evaluation means for calculating an evaluation score by multiplying a weight according to a result of the degree determination.
前記演奏評価手段による前記ピッチデータにより示されるピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較の結果を示す比較結果データ、もしくは他機により行われた任意の演奏者の前記楽曲の演奏音のピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較の結果を示す比較結果データに基づき、前記難度リファレンスデータを生成する難度リファレンスデータ生成手段
を備え、
前記模範演奏リファレンスデータ取得手段は、前記難度リファレンスデータ生成手段により生成された難度リファレンスデータを取得する
請求項1に記載の演奏評価装置。
Comparison result data indicating the result of comparison between the pitch indicated by the pitch data by the performance evaluation means and the pitch indicated by the model performance reference data, or the performance sound of the music of any performer performed by another machine A difficulty level reference data generating means for generating the difficulty level reference data based on comparison result data indicating a result of comparison between the pitch of the model performance and the pitch indicated by the model performance reference data,
The performance evaluation apparatus according to claim 1, wherein the model performance reference data acquisition unit acquires the difficulty level reference data generated by the difficulty level reference data generation unit.
前記ピッチデータ生成手段により生成されたピッチデータ、もしくは前記演奏評価手段による前記ピッチデータにより示されるピッチと前記模範演奏リファレンスデータにより示されるピッチとの比較の結果を示す比較結果データをサーバ装置に送信する送信手段と、
前記送信手段による前記サーバ装置に対する前記ピッチデータもしくは前記比較結果データの送信に対する応答として前記サーバ装置から送信されてくる新たな難度リファレンスデータを受信する受信手段と
を備え、
前記模範演奏リファレンスデータ取得手段は、前記受信手段により受信された難度リファレンスデータを取得する
請求項1に記載の演奏評価装置。
The comparison result data indicating the result of comparison between the pitch data generated by the pitch data generation means or the pitch indicated by the pitch data by the performance evaluation means and the pitch indicated by the model performance reference data is transmitted to the server device. Sending means to
Receiving means for receiving new difficulty level reference data transmitted from the server device as a response to the transmission of the pitch data or the comparison result data to the server device by the transmitting means;
The performance evaluation apparatus according to claim 1, wherein the model performance reference data acquisition unit acquires difficulty level reference data received by the reception unit.
前記演奏者による前記楽曲の演奏音から当該演奏音の音量を示す音量データを生成する音量データ生成手段を備え、
前記模範演奏リファレンスデータ取得手段により取得される模範演奏リファレンスデータは前記楽曲の模範となる音量を示し、
前記演奏評価手段は、前記音量データ生成手段により生成された音量データにより示される音量と前記模範演奏リファレンスデータにより示される音量との比較の結果に基づき前記演奏者の演奏能力の程度を判定し、前記音量データ生成手段により生成された音量データにより示される音量と前記模範演奏リファレンスデータにより示される音量との比較による採点の結果に対し、前記複数の演奏区間の各々に関し前記難度リファレンスデータにより示される難度と前記演奏能力の程度の判定の結果とに応じたウェイトを乗じて評価点を算出する
請求項1乃至3のいずれかに記載の演奏評価装置。
Volume data generating means for generating volume data indicating the volume of the performance sound from the performance sound of the music by the performer,
The model performance reference data acquired by the model performance reference data acquisition means indicates a volume serving as a model of the music,
The performance evaluation means determines the performance capability of the performer based on the result of comparison between the volume indicated by the volume data generated by the volume data generation means and the volume indicated by the model performance reference data, In response to the scoring result by comparing the volume indicated by the volume data generated by the volume data generation means and the volume indicated by the model performance reference data, the difficulty reference data is indicated for each of the plurality of performance sections. The performance evaluation device according to any one of claims 1 to 3, wherein an evaluation score is calculated by multiplying a weight according to a difficulty level and a result of determination of the level of the performance ability.
請求項1乃至4のいずれかに記載の演奏評価装置と、
楽曲の伴奏を指示する伴奏データを取得する伴奏データ取得手段と、
前記伴奏データの指示に従い伴奏の楽音を示す音信号を出力する音信号出力手段と
を備え、
前記ピッチデータ生成手段は、前記音信号出力手段から出力された音信号に従いスピーカから放音された伴奏に応じて前記演奏者により行われた前記楽曲の演奏音のピッチを示すピッチデータを生成する
カラオケ装置。
A performance evaluation apparatus according to any one of claims 1 to 4,
Accompaniment data acquisition means for acquiring accompaniment data instructing the accompaniment of the music;
Sound signal output means for outputting a sound signal indicating the musical sound of the accompaniment according to the instruction of the accompaniment data,
The pitch data generation means generates pitch data indicating the pitch of the performance sound of the music performed by the performer according to the accompaniment emitted from a speaker in accordance with the sound signal output from the sound signal output means. Karaoke equipment.
前記楽曲は歌唱曲であり、
前記歌唱曲の歌詞を示す歌詞データを取得する歌詞データ取得手段と、
前記歌詞データにより示される歌詞であって、前記音信号出力手段により現在出力されている音信号が示す伴奏とともに歌唱されるべき歌詞を示す画像信号を出力する画像信号出力手段と
を備える請求項5に記載のカラオケ装置。
The music is a song,
Lyrics data acquisition means for acquiring lyrics data indicating the lyrics of the song;
6. Image signal output means for outputting an image signal indicating lyrics to be sung together with an accompaniment indicated by the sound signal currently output by the sound signal output means, the lyrics being indicated by the lyrics data. Karaoke apparatus as described in 1.
前記楽曲は楽器により演奏される楽曲であり、
前記楽曲の楽譜を示す楽譜データを取得する楽譜データ取得手段と、
前記楽譜データにより示される楽譜であって、前記音信号出力手段により現在出力されている音信号が示す伴奏とともに行われるべき演奏を指示する楽譜を示す画像信号を出力する画像信号出力手段と
を備える請求項5に記載のカラオケ装置。
The music is a music played by a musical instrument,
Score data acquisition means for acquiring score data indicating the score of the music;
Image signal output means for outputting an image signal indicating a score which is a score indicated by the score data and which indicates a performance to be performed together with an accompaniment indicated by the sound signal currently output by the sound signal output means; The karaoke apparatus according to claim 5.
JP2012083728A 2012-04-02 2012-04-02 Performance evaluation device and karaoke device Active JP5994343B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012083728A JP5994343B2 (en) 2012-04-02 2012-04-02 Performance evaluation device and karaoke device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012083728A JP5994343B2 (en) 2012-04-02 2012-04-02 Performance evaluation device and karaoke device

Publications (2)

Publication Number Publication Date
JP2013213906A JP2013213906A (en) 2013-10-17
JP5994343B2 true JP5994343B2 (en) 2016-09-21

Family

ID=49587280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012083728A Active JP5994343B2 (en) 2012-04-02 2012-04-02 Performance evaluation device and karaoke device

Country Status (1)

Country Link
JP (1) JP5994343B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781948B (en) * 2022-06-21 2022-09-13 希望知舟技术(深圳)有限公司 Data processing method and related device for determining working quality of staff

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3739928B2 (en) * 1998-01-27 2006-01-25 株式会社リコー Singing ability scoring device
JP2010085658A (en) * 2008-09-30 2010-04-15 Brother Ind Ltd Difficulty level estimation system and program
JP5313645B2 (en) * 2008-11-29 2013-10-09 株式会社第一興商 High difficulty singing section notification karaoke system
JP5126055B2 (en) * 2008-12-26 2013-01-23 ブラザー工業株式会社 Singing scoring system and program

Also Published As

Publication number Publication date
JP2013213906A (en) 2013-10-17

Similar Documents

Publication Publication Date Title
JP5958041B2 (en) Expression performance reference data generation device, performance evaluation device, karaoke device and device
JP4665836B2 (en) Music classification device, music classification method, and music classification program
JP5286793B2 (en) Scoring device and program
JP2007140165A (en) Karaoke device and program for karaoke device
JP6288197B2 (en) Evaluation apparatus and program
JP6102076B2 (en) Evaluation device
JP5428459B2 (en) Singing evaluation device
JP5994343B2 (en) Performance evaluation device and karaoke device
JP6944357B2 (en) Communication karaoke system
JP4491743B2 (en) Karaoke equipment
JP2006251697A (en) Karaoke device
JP5919928B2 (en) Performance evaluation apparatus and program
JP4218066B2 (en) Karaoke device and program for karaoke device
JP5843074B2 (en) Stringed instrument performance evaluation apparatus and stringed instrument performance evaluation program
JP4218064B2 (en) Karaoke device and program for karaoke device
JP3879524B2 (en) Waveform generation method, performance data processing method, and waveform selection device
JP5618743B2 (en) Singing voice evaluation device
JP5585320B2 (en) Singing voice evaluation device
JP2012058278A (en) Voice evaluation device
JP6514868B2 (en) Karaoke apparatus and karaoke scoring system
JP4218065B2 (en) Karaoke device and program for karaoke device
JP2017062313A (en) Karaoke device, karaoke system and program
JP4186982B2 (en) Karaoke device and program for karaoke device
JP6175034B2 (en) Singing evaluation device
KR20110005653A (en) Data collection and distribution system, communication karaoke system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160808

R151 Written notification of patent or utility model registration

Ref document number: 5994343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151