JP5311069B2 - Singing evaluation device and singing evaluation program - Google Patents

Singing evaluation device and singing evaluation program Download PDF

Info

Publication number
JP5311069B2
JP5311069B2 JP2010174580A JP2010174580A JP5311069B2 JP 5311069 B2 JP5311069 B2 JP 5311069B2 JP 2010174580 A JP2010174580 A JP 2010174580A JP 2010174580 A JP2010174580 A JP 2010174580A JP 5311069 B2 JP5311069 B2 JP 5311069B2
Authority
JP
Japan
Prior art keywords
singing
octave
pitch information
information
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010174580A
Other languages
Japanese (ja)
Other versions
JP2012037565A (en
Inventor
哲也 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2010174580A priority Critical patent/JP5311069B2/en
Publication of JP2012037565A publication Critical patent/JP2012037565A/en
Application granted granted Critical
Publication of JP5311069B2 publication Critical patent/JP5311069B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To more accurately evaluate singing by appropriately executing octave correction when evaluating singing in Karaoke for scoring. <P>SOLUTION: A singing evaluation apparatus is characterized in executing octave determination processing for extracting differential interval information that is a difference between model interval information synchronized to reproduction of music information and singing interval information detected from input voice signals, and determining singing octaves on the basis of the extracted differential interval information; and comparison processing for comparing singing interval information shifted by singing octaves with the model interval information or comparing the model interval information shifted by singing octaves with the singing interval information. <P>COPYRIGHT: (C)2012,JPO&amp;INPIT

Description

本発明は、カラオケなどにおいて採点など歌唱の優劣を評価する歌唱評価装置及び歌唱評価プログラムに関するものである。   The present invention relates to a singing evaluation apparatus and a singing evaluation program for evaluating dominance of singing such as scoring in karaoke or the like.

従来、カラオケシステムにおいては、歌唱の優劣を判定するため採点機能が装備されているものが知られている。このような採点機能は、演奏のための楽曲情報に含まれる模範音程情報と、マイクロホンから入力された歌唱音声の音程を比較し、その差分などを利用して得点が算出される。   Conventionally, in a karaoke system, one equipped with a scoring function is known to determine the superiority or inferiority of a song. In such a scoring function, model pitch information included in music information for performance is compared with the pitch of the singing voice input from the microphone, and a score is calculated using the difference or the like.

このようなカラオケ装置の採点について、特許文献1には、ガイドボーカルなど、カラオケ用ソフトに記録された基準音声信号と、マイクロホンから入力される比較音声信号とを、バンドパスフィルタを用いて評価する音程評価装置が記載されている。この音程評価装置では、基準音声信号の音程と、比較音声信号の音程とが周波数的に一致しているか否かに基づいて評価される。   Regarding scoring of such a karaoke apparatus, Patent Document 1 evaluates a reference voice signal recorded in karaoke software such as a guide vocal and a comparison voice signal input from a microphone using a bandpass filter. A pitch evaluation device is described. In this pitch evaluation apparatus, evaluation is performed based on whether or not the pitch of the reference voice signal and the pitch of the comparison voice signal are coincident in frequency.

一方、特許文献2には、歌い手の歌う主旋律データと再生手段からの主旋律データとを比較し、比較結果に基づいて歌い手の歌う主旋律データを補正するカラオケ装置が開示されている。この主旋律データの補正は音楽的特性を考慮したものとなっており、1オクターブを超える補正は行わず、特許文献2の図12に示されるように、再生手段からの主旋律データとオクターブ分離れた音名となるように補正を行うこととしている。   On the other hand, Patent Document 2 discloses a karaoke device that compares main melody data sung by a singer with main melody data from a reproducing means, and corrects the main melody data sung by a singer based on a comparison result. The correction of the main melody data takes account of musical characteristics, and correction exceeding 1 octave is not performed, and as shown in FIG. 12 of Patent Document 2, the main melody data is separated from the main melody data by octave. The correction is made so that the note name is obtained.

特許文献2に開示される音楽的特性の考え方は、歌唱評価においても用いられることが知られている。すなわち、マイクロホンから入力される歌唱者の音程が、模範音程と1オクターブ離れていた場合であっても同じ音名であれば、正しく歌えていると評価する方法である。   It is known that the concept of musical characteristics disclosed in Patent Document 2 is also used in song evaluation. That is, even if the pitch of the singer input from the microphone is one octave away from the model pitch, if it is the same pitch name, it is a method of evaluating that it is singing correctly.

これら従来の歌唱評価の形式を説明するための図を本願の図1に示している。図1(a)は、模式的に五線譜上に音符で示した、模範音程と歌唱音程が示されている。歌唱音程の例として、(あ)に示した低いE(ミ)と、(い)に示した1オクターブ高いE(ミ)が示されている。   The figure for demonstrating the format of these conventional song evaluation is shown in FIG. 1 of this application. FIG. 1A schematically shows a model pitch and a singing pitch, which are schematically shown as musical notes on the staff. As an example of the singing pitch, a low E (mi) shown in (a) and an E (mi) one octave higher shown in (ii) are shown.

音楽的特性を考慮せずに評価を行う特許文献1のような評価形式(以下、評価形式A)では、(あ)の場合、模範音程と一致していると判定されるが、(い)の場合は、模範音程と一致していないものとして判定される。一方、音楽的特性を考慮して評価を行う特許文献2のような評価形式(以下、評価形式B)では、(あ)、(い)どちらもE(ミ)の音名であるため、両者とも一致していると判定されることとなる。   In the evaluation format as in Patent Document 1 (hereinafter referred to as evaluation format A) in which evaluation is performed without considering musical characteristics, in the case of (A), it is determined that the pitch matches the exemplary pitch. In this case, it is determined that the pitch does not coincide with the model pitch. On the other hand, in the evaluation format as in Patent Document 2 (hereinafter referred to as evaluation format B) in which evaluation is performed in consideration of musical characteristics, both (a) and (ii) are pitch names of E (mi). Both of them are determined to match.

特開平8−286684号公報JP-A-8-286684 特開平4−81880号公報JP-A-4-81880

図2は、演奏の進行にともなう模範音程と歌唱音程の進行状況を示す図である。図に示されるような演奏途中におけるサビ区間では、それまでの音程よりも急激に音程が高くな
ることがある。楽曲演奏に合わせて歌唱が行われるが、不慣れな歌唱者は、このサビ区間では音高の変化に追従することができず、1オクターブ下げて歌唱することがある。このとき、サビ区間が終了した後、再び元の音程に上げて歌唱を行っているが、サビ区間で変更した音程のまま歌唱を続ける場合も考えられる。
FIG. 2 is a diagram showing the progress of the model pitch and the singing pitch as the performance progresses. In the chorus section in the middle of the performance as shown in the figure, the pitch may be suddenly higher than the previous pitch. Singing is performed along with the performance of the music, but an unfamiliar singer cannot follow the change in pitch in this chorus section, and may sing with an octave down. At this time, after the chorus section is finished, the singing is performed again with the original pitch, but it may be possible to continue singing with the pitch changed in the chorus section.

図1で説明した従来の評価形式Aでは、サビ区間にて1オクターブ下げた音程は、正しい歌唱とは評価されず、特に、サビ区間で変更した音程のまま歌唱を続けた場合には、以後の歌唱は全て誤ったものと評価されてしまう。一方、従来の評価形式Bでは、サビ区間で1オクターブ下げた音程についても、音名が同じであれば正しい歌唱と評価され、聴感上、違和感がある歌唱に対して高い評価を与えてしまうこととなる。また、このような場合のみに限らず、例えば、歌唱開始直後においては、模範音程に対して、どのようなオクターブ関係で歌うのか迷う場合もある。   In the conventional evaluation format A described with reference to FIG. 1, the pitch lowered by one octave in the chorus section is not evaluated as a correct singing, especially when the singing is continued with the pitch changed in the chorus section. All of the songs will be evaluated as incorrect. On the other hand, in the conventional evaluation format B, even if the pitch is lowered by one octave in the chorus section, if the pitch name is the same, it is evaluated as a correct song, and gives a high evaluation to a song that is uncomfortable in terms of hearing. It becomes. Further, not only in such a case, for example, immediately after the start of singing, there is a case where the octave relationship is sung with respect to the model pitch.

本発明は、このような歌唱時におけるオクターブ異ならせて歌った場合を考慮した新たな歌唱評価方法を実現することを目的としている。   An object of the present invention is to realize a new singing evaluation method considering the case where the singing is performed with different octaves at the time of singing.

そのため、本発明に係る歌唱評価装置は、楽曲情報を再生する楽曲再生手段と、歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、複数の区間において、前記楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴としている。
Therefore, the singing evaluation apparatus according to the present invention is a singing evaluation apparatus comprising: a music reproducing means for reproducing music information; and a control means for executing a singing evaluation process for evaluating a singing. The octave determination process includes differential pitch information that is a difference between exemplary pitch information synchronized with reproduction of the music information and singing pitch information detected from the input voice signal in a plurality of sections. Extracting and determining a singing octave based on the extracted differential pitch information, and the comparison processing compares the singing pitch information shifted by the singing octave and the exemplary pitch information, or the singing octave comparing the model pitch information shifted and said vocal interval information in the plurality of sections in the octave determination process, before On the playback progress of the music information, segment length first occurrence is characterized in that less than the interval length appearing later.

また、本発明に係る歌唱評価プログラムは、歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、複数の区間において、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴としている。
The singing evaluation program according to the present invention is a singing evaluation program for causing a computer to perform a singing evaluation process for evaluating a singing. The singing evaluation process includes an octave determination process and a comparison process, and the octave determination process includes: In a plurality of sections, differential pitch information that is the difference between the exemplary pitch information synchronized with the reproduction of the music information and the singing pitch information detected from the input voice signal is extracted, and the singing octave is calculated based on the extracted differential pitch information. Determining and comparing the singing pitch information shifted by the singing octave and the exemplary pitch information, or comparing the exemplary pitch information shifted by the singing octave and the singing pitch information In the plurality of sections in the octave determination process, it appears first in the progress of reproduction of the music information That section length is characterized in that less than the interval length appearing later.

本発明によれば、模範音程情報と歌唱音程情報の差にて歌唱オクターブを判定し、当該
、歌唱オクターブを比較処理に利用することで、新たな歌唱評価を実現することが可能となる。
According to this invention, it becomes possible to implement | achieve new song evaluation by determining a song octave by the difference of model pitch information and song pitch information, and utilizing the said song octave for a comparison process.

さらに、オクターブ判定処理は、楽曲再生中における特定区間にて実行されるものであってもよい。例えば、楽曲の盛り上がりであるサビ区間において、本発明の歌唱評価処理を実施することで、より精度の高い歌唱評価を実現することが可能となる。   Furthermore, the octave determination process may be executed in a specific section during music reproduction. For example, it is possible to realize a more accurate singing evaluation by performing the singing evaluation process of the present invention in a chorus section where music is exciting.

さらに、オクターブ判定処理は、楽曲再生中における複数区間にて実行されるものであってもよい。複数区間にてオクターブ判定処理を実行することで、さらに精度の高い歌唱評価を実現することが可能となる。   Further, the octave determination process may be executed in a plurality of sections during music reproduction. By performing the octave determination process in a plurality of sections, it becomes possible to realize a more accurate singing evaluation.

さらに、オクターブ判定処理において、複数の区間は、少なくとも1つの区間長が異なることとしてもよい。複数の区間長を異ならせることで、楽曲の進行に適した歌唱評価を実行することが可能となる。   Furthermore, in the octave determination process, at least one section length may be different among the plurality of sections. By making the plurality of section lengths different, it is possible to perform singing evaluation suitable for the progress of the music.

さらに、複数の区間では、楽曲再生の進行に伴い、区間長の長さが長くなるように変化させることとしてもよい。歌唱開始直後における評価基準と、歌唱からある程度時間が経ったときの評価基準を異ならせた歌唱評価を実現できる。   Further, in a plurality of sections, the length of the section may be changed so as to increase with the progress of music reproduction. It is possible to realize singing evaluation in which the evaluation criteria immediately after the start of singing and the evaluation criteria when a certain amount of time has passed since singing are different.

また、本発明の歌唱評価プログラムは、前述の歌唱評価装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の音響機器に対しても歌唱評価機能を付加することが可能となる。   Moreover, the song evaluation program of this invention can add a song evaluation function also to a computer apparatus and the existing audio equipment by providing the function of the above-mentioned song evaluation apparatus by a program.

従来の歌唱評価方法を説明するための図。The figure for demonstrating the conventional song evaluation method. 従来の模範音程と歌唱音程の比較を説明するための図。The figure for demonstrating the comparison of the conventional model pitch and a song pitch. 本発明の実施形態に係るカラオケシステムの構成を示す図。The figure which shows the structure of the karaoke system which concerns on embodiment of this invention. 本発明の実施形態に係る歌唱評価処理を示すフロー図。The flowchart which shows the song evaluation process which concerns on embodiment of this invention. 本発明の実施形態に係るオクターブ判定処理を示すフロー図。The flowchart which shows the octave determination process which concerns on embodiment of this invention. 本発明の実施形態に係る歌唱オクターブ判定テーブルを示す図。The figure which shows the singing octave determination table which concerns on embodiment of this invention. 本発明の実施形態に係る歌唱評価の行程を示す図。The figure which shows the process of singing evaluation which concerns on embodiment of this invention. 本発明の実施形態に係る歌唱評価の行程を示す図。The figure which shows the process of singing evaluation which concerns on embodiment of this invention. 本発明の実施形態に係る歌唱評価の行程を示す図。The figure which shows the process of singing evaluation which concerns on embodiment of this invention. 本発明の実施形態に係るオクターブ判定区間と比較区間を示す図。The figure which shows the octave determination area and comparison area which concern on embodiment of this invention. 本発明の他の実施形態に係る歌唱評価処理を示すフロー図。The flowchart which shows the song evaluation process which concerns on other embodiment of this invention. 本発明の他の実施形態に係るオクターブ判定区間と比較区間を示す図。The figure which shows the octave determination area and comparison area which concern on other embodiment of this invention. 本発明の他の実施形態に係るオクターブ判定区間と比較区間の形態を示す図。The figure which shows the form of the octave determination area and comparison area which concern on other embodiment of this invention.

本発明に係る歌唱評価装置をカラオケシステムに実装した場合について説明する。図1は、実施形態に係るカラオケシステムの基本構成を示した図である。なお、歌唱評価機能をカラオケシステムにて機能させるプログラムとして提供することとしてもよい。   A case where the singing evaluation apparatus according to the present invention is implemented in a karaoke system will be described. FIG. 1 is a diagram illustrating a basic configuration of a karaoke system according to the embodiment. In addition, it is good also as providing as a program which functions a song evaluation function in a karaoke system.

メイン制御部104は、カラオケシステムの中核をなすコマンダ100を統括制御する。その主な機能としては、外部の通信網と通信を行う通信制御部102の制御、外部に配置されたディスプレイにカラオケの背景映像などの映像信号を出力する映像制御部103の制御、そして、音声制御部107に対する制御を実行する。   The main control unit 104 controls the commander 100 that forms the core of the karaoke system. Its main functions are control of the communication control unit 102 that communicates with an external communication network, control of the video control unit 103 that outputs a video signal such as a karaoke background video to an external display, and audio. Control for the control unit 107 is executed.

音声制御部107は、音源部108と音声信号処理部200に対する制御を行う。音声
制御部107は、メイン制御部104からの指令に基づき、楽曲再生処理、並びに、本発明の特徴となる歌唱評価処理等を実行する。本発明でいう制御手段は、メイン制御部104、音声制御部107、音声信号処理部200などを含んで構成される。
The audio control unit 107 controls the sound source unit 108 and the audio signal processing unit 200. The voice control unit 107 executes a music reproduction process, a song evaluation process that is a feature of the present invention, and the like based on a command from the main control unit 104. The control means referred to in the present invention includes the main control unit 104, the audio control unit 107, the audio signal processing unit 200, and the like.

楽曲再生処理は、音源部108にて楽曲情報を再生させる処理である。入力部101にてユーザから指定された楽曲に対応する楽曲情報をハードディスク105、106から読み出して音源部108に再生させる。楽曲情報は、MIDIデータ、MPEG音声データ、歌詞データなどを含んで構成されている。また、楽曲情報には、再生進行に同期した模範音程情報が含まれており歌唱評価処理のために用いられる。なお、この模範音程情報は、歌唱を支援するためのガイドメロディとして音源部108にて再生されるものであってもよい。   The music reproduction process is a process of reproducing music information by the sound source unit 108. The music information corresponding to the music specified by the user by the input unit 101 is read from the hard disks 105 and 106 and is reproduced by the sound source unit 108. The music information includes MIDI data, MPEG audio data, lyrics data, and the like. Also, the musical piece information includes model pitch information synchronized with the reproduction progress, and is used for the song evaluation process. The exemplary pitch information may be reproduced by the sound source unit 108 as a guide melody for supporting singing.

歌唱評価処理は、マイクロホン404から入力された歌唱者の入力音声信号を評価する処理であって、評価方法としては、得点の算出、ランク付け、視覚的に音程差を提示することなどが挙げられる。この歌唱評価処理は、マイクロホン404から入力される入力音声信号から歌唱音程情報を検出し、楽曲情報の再生進行に同期して読み出される模範音程情報と比較することで実行される。   The singing evaluation process is a process for evaluating the input voice signal of the singer input from the microphone 404. Examples of the evaluation method include calculation of a score, ranking, and visually presenting a pitch difference. . This singing evaluation process is executed by detecting singing pitch information from the input audio signal input from the microphone 404 and comparing it with model pitch information read out in synchronization with the progress of reproduction of the music information.

ミキシング部111では、音源部108にて再生された楽曲音信号と、音声信号処理部200から出力された入力音声信号を加算して加算信号を出力する。加算信号は、DA変換器112、プリアンプ113を経て外部に出力され、外部のアンプ401にてスピーカー402から放音される。   The mixing unit 111 adds the music sound signal reproduced by the sound source unit 108 and the input audio signal output from the audio signal processing unit 200 to output an addition signal. The addition signal is output to the outside through the DA converter 112 and the preamplifier 113, and is emitted from the speaker 402 by the external amplifier 401.

本発明の歌唱評価処理について図4〜図10を用いて説明する。本実施形態の歌唱評価処理では、オクターブ判定処理と比較処理を主要な処理としている。歌唱評価処理には、この他にも音量評価など他の評価処理が含まれることとしてもよい。オクターブ判定処理は、楽曲再生中の所定の区間で実行され、当該区間における歌唱オクターブを判定する。なお、歌唱オクターブとは、模範音程情報に対するオクターブ差を示す情報である。   The song evaluation process of the present invention will be described with reference to FIGS. In the song evaluation process of this embodiment, the octave determination process and the comparison process are the main processes. The singing evaluation process may include other evaluation processes such as a volume evaluation. The octave determination process is executed in a predetermined section during music reproduction, and determines a singing octave in the section. The singing octave is information indicating an octave difference with respect to the model pitch information.

比較処理では、この所定区間で判定された歌唱オクターブを利用して模範音程情報と、入力音声信号から検出した歌唱音程情報の比較が実行される。具体的には、歌唱オクターブ分シフトさせた歌唱音程情報と模範音程情報を比較した上で実行される。歌唱音程情報をシフトさせるのではなく、模範音程情報を歌唱オクターブ分シフトして比較することとしてもよい。なお、比較の手法としては、両者の差分をとって差分に基づいて得点を算出することであってもよいし、当該差分に基づいて歌唱ランクを決定することとしてもよい。また、両者をディスプレイ上でグラフ上に表示し、歌唱者に対しどの程度ずれているか認識させるなど各種の比較手法を採用することなども考えられる。   In the comparison process, the model pitch information is compared with the singing pitch information detected from the input voice signal using the singing octave determined in the predetermined section. Specifically, it is executed after comparing the singing pitch information shifted by the singing octave and the model pitch information. Instead of shifting the singing pitch information, the model pitch information may be shifted and compared by the singing octave. As a comparison method, the difference between the two may be taken to calculate a score based on the difference, or the singing rank may be determined based on the difference. It is also conceivable to employ various comparison methods such as displaying both on a graph on the display and allowing the singer to recognize how much the deviation has occurred.

図4は、歌唱評価処理の一連の処理を示すフロー図である。歌唱評価処理は、楽曲再生処理に同期して開始される。まず、音声制御部107のメモリなどに一時的に記憶していた模範音程情報、歌唱音程情報をクリアさせ、新たな情報の入力に備える(S102a)。次に、入力音声信号から歌唱音程情報が検出される。本実施形態では10msec分の入力音声信号に基づいて歌唱音程情報を検出している。歌唱音程情報の検出にあわせて楽曲再生に同期した模範音程情報とをメモリに一時記憶させる(S103a)。   FIG. 4 is a flowchart showing a series of singing evaluation processing. The song evaluation process is started in synchronization with the music reproduction process. First, the model pitch information and the singing pitch information temporarily stored in the memory or the like of the voice control unit 107 are cleared to prepare for input of new information (S102a). Next, singing pitch information is detected from the input voice signal. In this embodiment, the singing pitch information is detected based on the input audio signal for 10 msec. In accordance with the detection of the singing pitch information, the model pitch information synchronized with the music reproduction is temporarily stored in the memory (S103a).

S104aでは、前回のオクターブ判定処理(S200a)から所定期間(A秒)経過下か否かが判定される。本実施形態では、この所定期間がオクターブ判定処理のための1区間となっている。さらにこの所定期間は、比較処理の区間と一致したものとなっている。なお、後ほど説明するが、オクターブ判定のための区間と比較処理のための区間とは必ずしも一致させる必要はない。   In S104a, it is determined whether or not a predetermined period (A seconds) has elapsed since the previous octave determination process (S200a). In the present embodiment, this predetermined period is one section for octave determination processing. Further, this predetermined period coincides with the comparison processing section. As will be described later, the interval for octave determination and the interval for comparison processing are not necessarily matched.

オクターブ判定処理(S200a)について、図5のフロー図を用いて説明する。オクターブ判定処理が開始されると、まず、オクターブ判定区間(A秒間)における模範音程情報と歌唱音程情報の差分(差分音程情報)が算出される。図7には、歌唱時における模範音程情報と歌唱音程情報の一例が示されており、図8には、図7における差分音程情報算出の様子が模式的に示されている。   The octave determination process (S200a) will be described with reference to the flowchart of FIG. When the octave determination process is started, first, a difference (difference pitch information) between the exemplary pitch information and the singing pitch information in the octave determination section (A second) is calculated. FIG. 7 shows an example of model pitch information and singing pitch information at the time of singing, and FIG. 8 schematically shows how differential pitch information is calculated in FIG.

算出された差分音程情報に基づいて、歌唱オクターブが判定される。まず、差分音程情報の平均値が算出され、歌唱オクターブ判定テーブルを参照することで、歌唱オクターブを判定している。図8の例では、差分音程情報の平均値は約−10音階となっている。図6に記載された歌唱オクターブ判定テーブルを参照すると、この場合、歌唱オクターブは−12音階と判定される。ここでは歌唱オクターブは音階数で示しているが、オクターブ数(この場合であれば−1オクターブ)で示されるものであってもよい。   A singing octave is determined based on the calculated differential pitch information. First, the average value of the difference pitch information is calculated, and the singing octave is determined by referring to the singing octave determination table. In the example of FIG. 8, the average value of the difference pitch information is about -10 scales. Referring to the singing octave determination table shown in FIG. 6, in this case, the singing octave is determined to be -12 scale. Here, the singing octave is represented by the number of scales, but it may be represented by the number of octaves (in this case, -1 octave).

このように、本実施形態では、差分音程情報の平均値に基づいて歌唱オクターブを判定することとしている。歌唱オクターブの判定方法については、例えば、オクターブ判定区間での所定位置(先頭、末尾など)に基づいて判定することなど、適宜手法を採用することができる。   As described above, in this embodiment, the singing octave is determined based on the average value of the difference pitch information. As a method for determining the singing octave, for example, a method such as determining based on a predetermined position (the head, the end, etc.) in the octave determination section can be appropriately employed.

判定された歌唱オクターブは、以後の比較処理に使用される。図4において、比較処理は、S105aとS106aの処理で構成されている。本実施形態では、歌唱音程情報をS200aで判定した歌唱オクターブ分シフトさせた上(S105a)で、シフトさせた歌唱音程情報と模範音程情報との比較(S106a)を実行することとしている。図9には、その様子が模式的に示されている。模範音程情報と破線で示されるシフト後の歌唱音程情報との間で比較が行われる。なお、ここでいうシフトとは、歌唱音程情報と模範音程情報が近づくように移動させることをいう。また、前述したように、模範音程情報をシフトさせることとしてもよい。   The determined singing octave is used for subsequent comparison processing. In FIG. 4, the comparison process includes the processes of S105a and S106a. In the present embodiment, the singing pitch information is shifted by the singing octave determined in S200a (S105a), and the shifted singing pitch information is compared with the model pitch information (S106a). FIG. 9 schematically shows the state. A comparison is made between the exemplary pitch information and the shifted singing pitch information indicated by the broken line. In addition, a shift here refers to moving so that song pitch information and model pitch information may approach. Further, as described above, the model pitch information may be shifted.

S102a〜S106aの一連の処理は、楽曲再生が終了するまで継続し、楽曲再生終了時、あるいは、歌唱区間終了時に歌唱評価処理を終了する。以上の歌唱評価処理の流れについて図10を用いて説明する。図10は、歌唱評価処理におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図である。歌唱評価処理は、歌唱区間が開始される時点、すなわち、最初に模範音程情報が登場した時点から開始されることとしている。図4のフロー図でも説明したように、オクターブ判定区間と比較区間は1対1、すなわち、判定された歌唱オクターブは、オクターブ判定区間と同じ区間である比較区間に対して利用される。このように、本実施形態では、オクターブ判定区間と比較区間を一致させることで、精度の高い比較処理を実現することが可能となっている。   A series of processes of S102a to S106a is continued until the music reproduction is finished, and the song evaluation process is finished when the music reproduction is finished or when the song section is finished. The flow of the above singing evaluation process will be described with reference to FIG. FIG. 10 is a schematic diagram showing the relationship between the octave determination section and the comparison section in the song evaluation process as the performance progresses. The singing evaluation process is started from the time when the singing section is started, that is, from the time when the model pitch information first appears. As described in the flowchart of FIG. 4, the octave determination section and the comparison section have a one-to-one relationship, that is, the determined singing octave is used for the comparison section that is the same section as the octave determination section. Thus, in this embodiment, it is possible to realize a highly accurate comparison process by matching the octave determination section and the comparison section.

次に、他の実施形態について図11、図12を用いて説明を行う。図11は、本発明の他の実施形態に係る歌唱評価処理を示すフロー図である。また、図12は、本実施形態におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図となっている。   Next, another embodiment will be described with reference to FIGS. FIG. 11 is a flowchart showing a song evaluation process according to another embodiment of the present invention. FIG. 12 is a schematic diagram showing the relationship between the octave determination section and the comparison section in the present embodiment as the performance progresses.

前述の実施形態では、オクターブ判定区間、並びに、比較区間の長さが所定長であったのに対し、本実施形態では、演奏の進行に伴って変化するものとなっている。このような形態を採用することで、例えば、歌唱の開始直後において、歌唱者が音程に迷う箇所では、短い区間でオクターブ判定を実行し、ある程度、演奏が経過した時点でオクターブ判定を長く取り、曲のサビなど、音程が高くなったときに歌えない状況を厳しく評価することが可能となる。   In the above-described embodiment, the length of the octave determination section and the comparison section is a predetermined length, whereas in the present embodiment, it changes as the performance progresses. By adopting such a form, for example, immediately after the start of singing, in a place where the singer is lost in the pitch, the octave determination is performed in a short interval, and when the performance has passed to some extent, the octave determination is taken long, It becomes possible to strictly evaluate the situation where you cannot sing when the pitch is high, such as the rust of the song.

そのため、本実施形態のフロー図は、S104b〜S106bの時間管理の点において
、図4のものと異なっている。ここでは、異なる処理について説明を行う。S104bでは、最初の模範音程登場、すなわち、歌唱区間の開始からT秒経過しているか否かが判定される。T秒経過していない場合には、S105bにて前回オクターブ判定からA秒経過したか否かが判定されることとなり、オクターブ判定区間長はA秒となる。一方、T秒経過したと判定された場合には、S106bにて前回オクターブ判定からB秒経過したかが判定されることとなり、オクターブ区間長はB秒となる。
Therefore, the flowchart of this embodiment is different from that of FIG. 4 in terms of time management in S104b to S106b. Here, different processes will be described. In S104b, it is determined whether or not T seconds have elapsed since the first model pitch appeared, that is, the start of the singing section. If T seconds have not elapsed, it is determined in S105b whether A seconds have elapsed since the previous octave determination, and the octave determination section length is A seconds. On the other hand, if it is determined that T seconds have elapsed, it is determined in S106b whether B seconds have elapsed since the previous octave determination, and the octave section length is B seconds.

図12に示されるように、歌唱区間が開始されてからT秒経過する前後にて、オクターブ区間長は変化したものとなっている。なお、前実施形態と同様、オクターブ判定区間と比較区間は一致したものとなっている。本実施形態ではA秒、B秒、2つの時間長としたが、時間長はさらに複数種類設けることとしてもよい。また、区間長は、時間で設定するのみならず、小節数等、演奏の進行に同期した情報で設定されるものであってもよい。演奏の進行に同期した情報を採用することで、演奏速度を変更したときにも対応することが可能となる。こ区間長の設定の態様については、前述の実施形態を含む他の実施形態についても同様である。   As shown in FIG. 12, the octave section length is changed before and after T seconds have elapsed since the start of the singing section. As in the previous embodiment, the octave determination section and the comparison section are the same. In this embodiment, A second, B second, and two time lengths are used, but a plurality of time lengths may be provided. The section length may be set not only by time but also by information synchronized with the progress of performance such as the number of bars. By adopting information synchronized with the progress of performance, it becomes possible to cope with changes in performance speed. The mode of setting the section length is the same for the other embodiments including the above-described embodiment.

この実施形態以外にもオクターブ判定区間、比較区間は様々な形態を採用することができる。図13は、本発明の他の実施形態に係るオクターブ判定区間と比較区間を演奏の進行に沿って示した模式図である。   In addition to this embodiment, various forms can be adopted for the octave determination section and the comparison section. FIG. 13 is a schematic diagram showing an octave determination section and a comparison section according to another embodiment of the present invention along the progress of performance.

図13(a)の実施形態では、オクターブ判定区間に対し比較区間がスライドした関係となっている。例えば、オクターブ判定区間a1で判定された歌唱オクターブは、次の区間a2にて利用される。このように、比較区間をスライドさせることで、歌唱オクターブの判定を待たずに、リアルタイムに比較を実行させることが可能となる。   In the embodiment of FIG. 13A, the comparison section slides relative to the octave determination section. For example, the singing octave determined in the octave determination section a1 is used in the next section a2. Thus, by sliding the comparison section, it becomes possible to execute the comparison in real time without waiting for the determination of the singing octave.

図13(b)は、演奏進行において特定の区間のみをオクターブ判定区間の対象としたものとなっている。例えば、図に示されるようにサビの区間c1、c2だけを対象とすることが考えられ、高い音高となりがちなサビ区間において、歌唱オクターブを固定することで、精度の高い評価を行うことが可能となる。このような実施形態は、楽曲情報に特定区間を示す情報を埋め込んでおくことで、各楽曲情報毎に異なる位置に対応することが可能である。なお、この図では、サビ区間以外の箇所において比較が実行されていないようにも見えるが、実際には、他の区間においても比較は実行される。この比較としては、図1にて説明した評価形式Aや評価形式Bのような従来のものなどを利用することが考えられる。   In FIG. 13B, only a specific section in the performance progress is targeted for the octave determination section. For example, as shown in the figure, it is conceivable to target only the chorus sections c1 and c2, and in the chorus section that tends to be high pitch, it is possible to perform highly accurate evaluation by fixing the singing octave. It becomes possible. Such an embodiment can correspond to a different position for each piece of music information by embedding information indicating a specific section in the music information. In this figure, although it seems that the comparison is not performed in a place other than the chorus section, actually, the comparison is also performed in other sections. As this comparison, it may be possible to use a conventional one such as the evaluation format A and the evaluation format B described in FIG.

図13(c)は、歌唱区間が開始されてから所定期間dのみがオクターブ判定区間となっている。このオクターブ判定区間にて判定された歌唱オクターブは、全歌唱区間にて利用される。この実施形態において、オクターブ判定区間と比較区間とを一致させたのが図13(d)の実施形態である。本実施形態では、全歌唱区間eをオクターブ判定区間の対象となっている。   In FIG. 13C, only a predetermined period d after the start of the singing section is an octave determination section. The singing octave determined in this octave determination section is used in all singing sections. In this embodiment, the embodiment shown in FIG. 13D matches the octave determination section and the comparison section. In the present embodiment, the entire singing section e is the target of the octave determination section.

以上、詳細に説明した2つの実施形態、並びに、図13(a)〜(d)の実施形態は、可能な範囲において適宜組み合わせて利用することが可能である。   As described above, the two embodiments described in detail and the embodiments shown in FIGS. 13A to 13D can be used in appropriate combinations within a possible range.

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。   Note that the present invention is not limited to these embodiments, and embodiments configured by appropriately combining the configurations of the respective embodiments also fall within the scope of the present invention.

100…コマンダ(カラオケ装置)、101…入力部、102…通信制御部、103…映像制御部、104…メイン制御部、105、106…ハードディスク、107…音声制御
部、108…音源部、109…マイクアンプ、110…AD変換器、111…ミキシング部、112…DA変換器、113…プリアンプ、200…音声信号処理部、401…アンプ、402…スピーカー、403…ディスプレイ装置、404…マイクロホン
DESCRIPTION OF SYMBOLS 100 ... Commander (karaoke apparatus), 101 ... Input part, 102 ... Communication control part, 103 ... Video control part, 104 ... Main control part, 105, 106 ... Hard disk, 107 ... Audio | voice control part, 108 ... Sound source part, 109 ... Microphone amplifier, 110 ... AD converter, 111 ... mixing unit, 112 ... DA converter, 113 ... preamplifier, 200 ... audio signal processing unit, 401 ... amplifier, 402 ... speaker, 403 ... display device, 404 ... microphone

Claims (2)

楽曲情報を再生する楽曲再生手段と、
歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、複数の区間において、前記楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、
前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴とする
歌唱評価装置。
Music playback means for playing back music information;
A singing evaluation apparatus comprising: a control means for executing a singing evaluation process for evaluating a singing;
The singing evaluation process includes an octave determination process and a comparison process,
The octave determination process extracts differential pitch information that is a difference between exemplary pitch information synchronized with reproduction of the music information and singing pitch information detected from an input voice signal in a plurality of sections, and the extracted differential pitch Based on the information, determine the singing octave,
The comparison process compares the singing pitch information shifted by the singing octave and the exemplary pitch information, or compares the singing pitch information shifted by the singing octave and the singing pitch information ,
In the plurality of sections in the octave determination process, the section length that appears first in the progress of reproduction of the music information is shorter than the section length that appears later .
歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、複数の区間において、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較し、
前記オクターブ判定処理における前記複数の区間において、前記楽曲情報の再生進行上、最初に出現する区間長は、後に出現する区間長よりも短いことを特徴とする
歌唱評価プログラム。
In a song evaluation program that causes a computer to execute a song evaluation process for evaluating a song,
The singing evaluation process includes an octave determination process and a comparison process,
The octave determination process extracts differential pitch information that is a difference between exemplary pitch information synchronized with reproduction of music information and singing pitch information detected from an input audio signal in a plurality of sections, and the extracted differential pitch information To determine the singing octave based on
The comparison process compares the singing pitch information shifted by the singing octave and the exemplary pitch information, or compares the singing pitch information shifted by the singing octave and the singing pitch information ,
In the plurality of sections in the octave determination process, a section length that appears first in the progress of reproduction of the music information is shorter than a section length that appears later .
JP2010174580A 2010-08-03 2010-08-03 Singing evaluation device and singing evaluation program Active JP5311069B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010174580A JP5311069B2 (en) 2010-08-03 2010-08-03 Singing evaluation device and singing evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010174580A JP5311069B2 (en) 2010-08-03 2010-08-03 Singing evaluation device and singing evaluation program

Publications (2)

Publication Number Publication Date
JP2012037565A JP2012037565A (en) 2012-02-23
JP5311069B2 true JP5311069B2 (en) 2013-10-09

Family

ID=45849653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010174580A Active JP5311069B2 (en) 2010-08-03 2010-08-03 Singing evaluation device and singing evaluation program

Country Status (1)

Country Link
JP (1) JP5311069B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598685B2 (en) * 2012-11-30 2014-10-01 ブラザー工業株式会社 Karaoke device and karaoke program
JP6175034B2 (en) * 2014-07-18 2017-08-02 ヤマハ株式会社 Singing evaluation device
JP6292404B2 (en) * 2014-09-30 2018-03-14 ブラザー工業株式会社 Karaoke device, karaoke program and karaoke system
CN116171472A (en) * 2020-09-29 2023-05-26 索尼集团公司 Information processing device, information processing method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2578089B2 (en) * 1985-10-03 1997-02-05 日本ケミコン株式会社 Singing ability evaluation device
JP3595286B2 (en) * 2001-07-31 2004-12-02 株式会社第一興商 Karaoke device with pitch shifter

Also Published As

Publication number Publication date
JP2012037565A (en) 2012-02-23

Similar Documents

Publication Publication Date Title
JP5311069B2 (en) Singing evaluation device and singing evaluation program
JP4163584B2 (en) Karaoke equipment
JP2005107333A (en) Karaoke machine
JP2007334364A (en) Karaoke machine
JP6708537B2 (en) Karaoke system
JP2005107330A (en) Karaoke machine
JP5245973B2 (en) Scoring device, program
JP6788560B2 (en) Singing evaluation device, singing evaluation program, singing evaluation method and karaoke device
JP6358018B2 (en) Karaoke device and program
JP4048249B2 (en) Karaoke equipment
JP6219750B2 (en) Singing battle karaoke system
JP6810676B2 (en) Singing evaluation device, singing evaluation program and karaoke device
JP4553013B2 (en) Karaoke equipment
JP6415341B2 (en) Karaoke system with pitch shift function for harmony singing
JP5034642B2 (en) Karaoke equipment
JP2005107332A (en) Karaoke machine
JP4007298B2 (en) Karaoke device and program
JP6380305B2 (en) Data generation apparatus, karaoke system, and program
JP2004184506A (en) Karaoke machine and program
JP2007233078A (en) Evaluation device, control method, and program
JP5071439B2 (en) Karaoke system, server
JP6057079B2 (en) Karaoke device and karaoke program
JP2010237532A (en) Karaoke system, karaoke device, and server
JP6427439B2 (en) Karaoke device
JP2008225111A (en) Karaoke machine and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130618

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5311069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150