JP7160064B2 - Karaoke device and program for singing evaluation - Google Patents

Karaoke device and program for singing evaluation Download PDF

Info

Publication number
JP7160064B2
JP7160064B2 JP2020062144A JP2020062144A JP7160064B2 JP 7160064 B2 JP7160064 B2 JP 7160064B2 JP 2020062144 A JP2020062144 A JP 2020062144A JP 2020062144 A JP2020062144 A JP 2020062144A JP 7160064 B2 JP7160064 B2 JP 7160064B2
Authority
JP
Japan
Prior art keywords
evaluation
song
singing
score
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020062144A
Other languages
Japanese (ja)
Other versions
JP2021162649A (en
Inventor
遼太 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2020062144A priority Critical patent/JP7160064B2/en
Publication of JP2021162649A publication Critical patent/JP2021162649A/en
Application granted granted Critical
Publication of JP7160064B2 publication Critical patent/JP7160064B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、歌唱を楽しむことのできるカラオケ装置、特に歌唱評価を行うことのできるカラオケ装置、並びに、各種情報処理装置で実行可能な歌唱評価用プログラムに関する。 TECHNICAL FIELD The present invention relates to a karaoke machine with which singing can be enjoyed, in particular, a karaoke machine with which singing can be evaluated, and a singing evaluation program that can be executed by various information processing apparatuses.

従来、伴奏に合わせて歌唱を楽しむカラオケが社交の場等で行われている。カラオケに使用されるカラオケ装置は、歌唱の技巧を評価するため採点機能を有するものがある。ユーザは採点機能を利用して自己の歌唱の成長度合いを把握する、あるいは、他人との順位を競うことが可能である。 Traditionally, karaoke, in which people enjoy singing along with accompaniment, has been performed at social occasions and the like. Some karaoke machines used for karaoke have a scoring function for evaluating singing technique. The user can use the scoring function to grasp the degree of growth of his/her own singing, or compete with others for ranking.

特許文献1には、カラオケ装置の採点機能を使用したランキング提供方法が開示されている。このランキング提供方法では、第1の母数に基づいて第1のランキングを算出するとともに、地理的な属性、歌唱者に関する属性、又は、日時の属性など、第1の母数より小さい第2の母数による第2のランキングを算出し、第1のランキング及び第2のランキングの結果を歌唱者に提供する。このような構成により、歌唱者のカラオケに対する新たな興趣性を提供し、かつ、ランキングに対する意欲を向上させることが可能となっている。 Patent Literature 1 discloses a ranking providing method using a scoring function of a karaoke machine. In this ranking providing method, a first ranking is calculated based on a first parameter, and a second ranking smaller than the first parameter, such as a geographical attribute, an attribute related to a singer, or a date and time attribute. Calculate a second ranking by parameters and provide the results of the first ranking and the second ranking to the singer. With such a configuration, it is possible to provide singers with new interest in karaoke and to increase their motivation for ranking.

特開2018-87995号公報JP 2018-87995 A

現在、多数の業種においてAI(Artificial Intelligence)の利用が活発化している。出願人は、カラオケの歌唱評価においてAIの可能性を鑑み、AIを利用した歌唱評価を開発している。ここで、AIによる歌唱評価を行う場合、従来形式の歌唱評価と採点値にずれを生じる場合がある。AIによる歌唱評価に切り替えた場合、ユーザは、AIを利用した新たな歌唱評価方式が、従来の歌唱評価方式に対して、どの程度ずれているかを知ることができない。 Currently, the use of AI (Artificial Intelligence) is becoming active in many industries. The applicant is developing a singing evaluation using AI in view of the possibility of AI in karaoke singing evaluation. Here, when performing song evaluation by AI, there may be a difference between the score value and the conventional type of song evaluation. When switching to the song evaluation by AI, the user cannot know how far the new song evaluation method using AI deviates from the conventional song evaluation method.

そのため、本発明は、新たな歌唱評価方式が、従来の歌唱評価方式と比較して、どの程度ずれているかをユーザに認識させることを目的の1つとしている。また、新たな歌唱方式と従来の歌唱評価方式が大きくずれる場合、ユーザはどちらの歌唱評価方式が正しいか不安を有することが考えられる。そのため、本発明は、適切な補正を行うことで、新たな歌唱評価方式と、従来の歌唱評価方式のずれをなるべく抑えることを目的の1つとしている。 Therefore, one of the objects of the present invention is to make the user aware of how much the new song evaluation method deviates from the conventional song evaluation method. In addition, when the new singing method and the conventional singing evaluation method are greatly different from each other, the user may be worried about which singing evaluation method is correct. Therefore, one of the objects of the present invention is to suppress the discrepancy between the new song evaluation method and the conventional song evaluation method as much as possible by performing appropriate correction.

そのため、本発明に係るカラオケ装置は、以下の構成を採用するものである。
マイクロホンから入力される歌唱音声信号に基づいて歌唱評価を行うカラオケ装置であって、
第1評価処理と、第2評価処理と通知処理とを実行可能とし、
前記第1評価処理は、前記マイクロホンから入力される前記歌唱音声信号を第1評価方式で評価を行い、第1歌唱評価値を算出し、
前記第2評価処理は、前記マイクロホンから入力される前記歌唱音声信号を前記第1評価方式とは異なる第2評価方式で評価を行い、前記第1評価処理と同一の尺度を有する第2歌唱評価値を算出し、
前記通知処理は、一の歌唱音声信号に対する前記第1歌唱評価値、及び、前記一の歌唱音声信号に対する前記第1歌唱評価値と前記第2歌唱評価値の差分値を通知する。
Therefore, the karaoke apparatus according to the present invention employs the following configuration.
A karaoke device that performs singing evaluation based on a singing voice signal input from a microphone,
making it possible to execute a first evaluation process, a second evaluation process, and a notification process;
The first evaluation process evaluates the singing voice signal input from the microphone by a first evaluation method, calculates a first singing evaluation value,
The second evaluation process evaluates the singing voice signal input from the microphone by a second evaluation system different from the first evaluation system, and a second song evaluation having the same scale as the first evaluation process. Calculate the value of
The notification process notifies the first song evaluation value for the one singing voice signal and the difference value between the first song evaluation value and the second song evaluation value for the one singing voice signal.

さらに本発明に係るカラオケ装置において、
前記第1評価処理、前記第2評価処理の少なくとも一方は、補正処理を行った上で前記第1評価値もしくは前記第2評価値を算出する。
Furthermore, in the karaoke device according to the present invention,
At least one of the first evaluation process and the second evaluation process calculates the first evaluation value or the second evaluation value after performing a correction process.

さらに本発明に係るカラオケ装置において、
前記第1評価処理における前記補正処理は、前記第1歌唱評価値の統計情報と前記第2歌唱評価値の統計情報に基づく補正値に基づいて前記第1評価値を算出する。
Furthermore, in the karaoke device according to the present invention,
The correction process in the first evaluation process calculates the first evaluation value based on a correction value based on the statistical information of the first song evaluation value and the statistical information of the second song evaluation value.

さらに本発明に係るカラオケ装置において、
前記第1評価処理で使用する前記第1評価方式は、AIを使用した評価方式である。
Furthermore, in the karaoke device according to the present invention,
The first evaluation method used in the first evaluation process is an evaluation method using AI.

さらに本発明に係るカラオケ装置において、
前記第2評価処理で使用する前記第2評価方式は、前記第1評価処理と同一の尺度を複数の歌唱要素毎に複数の尺度に分割し、前記複数の歌唱要素毎にそれぞれの尺度で歌唱評価値を算出する評価方式である。
Furthermore, in the karaoke device according to the present invention,
The second evaluation method used in the second evaluation process divides the same scale as that used in the first evaluation process into a plurality of scales for each of the plurality of singing elements, and sings with each scale for each of the plurality of singing elements. This is an evaluation method for calculating an evaluation value.

さらに本発明に係るカラオケ装置において、
前記第2評価処理は、前記歌唱要素毎に補正を行う。
Furthermore, in the karaoke device according to the present invention,
Said 2nd evaluation process correct|amends for every said singing element.

さらに本発明に係るカラオケ装置において、
前記通知処理は、前記第2評価処理の複数の歌唱要素の歌唱評価値と、前記第1歌唱評価値を対応付けて通知する。
Furthermore, in the karaoke device according to the present invention,
In the notification process, the song evaluation value for each of the plurality of song elements in the second evaluation process and the first song evaluation value are associated and notified.

また本発明に係る歌唱評価用プログラムは、
情報処理装置で実行可能な歌唱評価用プログラムであって、
第1評価処理と、第2評価処理と通知処理とを実行可能とし、
前記第1評価処理は、マイクロホンから入力される歌唱音声信号を第1評価方式で評価を行い、第1歌唱評価値を算出し、
前記第2評価処理は、前記マイクロホンから入力される前記歌唱音声信号を前記第1評価方式とは異なる第2評価方式で評価を行い、第2歌唱評価値を算出し、
前記通知処理は、前記第1歌唱評価値、及び、前記第1歌唱評価値と前記第2歌唱評価値の差分値を通知する。
Further, the singing evaluation program according to the present invention includes:
A song evaluation program executable by an information processing device,
making it possible to execute a first evaluation process, a second evaluation process, and a notification process;
The first evaluation process evaluates a singing voice signal input from a microphone by a first evaluation method, calculates a first singing evaluation value,
The second evaluation process evaluates the singing voice signal input from the microphone by a second evaluation method different from the first evaluation method, calculates a second singing evaluation value,
The notification process notifies the first song evaluation value and the difference value between the first song evaluation value and the second song evaluation value.

本発明に係るカラオケ装置、もしくは、歌唱評価用プログラムによれば、新たな歌唱評価方式と従来の歌唱評価方式のずれをユーザに認識させることが可能となる。また、適切な補正を行うことで、新たな歌唱評価方式と、従来の歌唱評価方式のずれをなるべく抑え、両方の歌唱評価方式の信頼度向上を図ることが可能となる。 According to the karaoke apparatus or the song evaluation program according to the present invention, it is possible for the user to recognize the difference between the new song evaluation method and the conventional song evaluation method. Moreover, by performing appropriate correction, it is possible to suppress the deviation between the new song evaluation method and the conventional song evaluation method as much as possible, and to improve the reliability of both the song evaluation methods.

本実施形態のカラオケシステムの構成を示す図The figure which shows the structure of the karaoke system of this embodiment. 本実施形態のカラオケシステムで使用する各種データ構成を示す図A diagram showing various data configurations used in the karaoke system of the present embodiment. 本実施形態の楽曲再生処理を示すフロー図Flow diagram showing music playback processing of the present embodiment 本実施形態のAI歌唱評価点数に対する補正(第1補正)を説明するための図A diagram for explaining the correction (first correction) for the AI singing evaluation score of the present embodiment 本実施形態の補正処理、並びに、各種表示項目を示す図A diagram showing correction processing according to the present embodiment and various display items. 本実施形態の歌唱評価結果画面を示す図Figure showing the song evaluation result screen of the present embodiment 本実施形態の補正処理、並びに、各種表示項目を示す図A diagram showing correction processing according to the present embodiment and various display items.

図1は、本実施形態のカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置2(コマンダと呼ぶこともある)と、リモコン装置1を含んで構成されている。カラオケ装置2とリモコン装置1は、LAN100及びアクセスポイント130を利用してネットワークを形成するように通信接続されている。 FIG. 1 is a diagram showing the configuration of a karaoke system according to this embodiment. The karaoke system in this embodiment includes a karaoke device 2 (also called a commander) and a remote control device 1 . The karaoke machine 2 and the remote control device 1 are connected for communication so as to form a network using the LAN 100 and the access point 130 .

カラオケボックスなどの店舗に設置されるカラオケ装置2は、楽曲を演奏するための演奏部として音響制御部25を備えている。また、カラオケ装置2は、ユーザからの各種入力を受け付ける操作部21を備える。カラオケ装置2は、操作部21からの入力を解釈してCPU30に伝達する操作処理部22を備える。また、カラオケ装置2は、各種情報を記憶する記憶部としてのハードディスク32を備える。カラオケ装置2は、LAN100に接続してネットワークに加入する通信手段としてのLAN通信部24aを備えている。また、本実施形態のカラオケ装置2は、無線LAN通信部24bも備えており、LAN通信部24aを使用した有線によるネットワーク接続に代え、無線LAN通信部24bを使用した無線によるネットワーク接続を行うことも可能である。 A karaoke device 2 such as a karaoke box installed in a store includes an acoustic control section 25 as a playing section for playing music. The karaoke device 2 also includes an operation unit 21 that receives various inputs from the user. The karaoke device 2 includes an operation processing section 22 that interprets an input from the operation section 21 and transmits it to the CPU 30 . The karaoke machine 2 also includes a hard disk 32 as a storage section for storing various information. The karaoke machine 2 has a LAN communication section 24a as communication means for connecting to the LAN 100 and joining the network. The karaoke machine 2 of the present embodiment also includes a wireless LAN communication unit 24b, and instead of a wired network connection using the LAN communication unit 24a, a wireless network connection using the wireless LAN communication unit 24b can be performed. is also possible.

また、カラオケ装置2は、モニタ41に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部29、再生する映像を一時的に蓄積するビデオRAM28、再生された映像に対する歌詞テロップの重畳、映像効果の付与等を行う映像制御部31を備えて構成される。 The karaoke machine 2 also has video reproducing means for displaying the lyric video and the background video on the monitor 41 . This video reproducing means includes a video reproducing section 29 for reproducing video based on video information, a video RAM 28 for temporarily storing the video to be reproduced, a video for superimposing lyric telops on the reproduced video, imparting video effects, etc. It is configured with a control unit 31 .

さらに、このカラオケ装置2では、外部に接続されるモニタ41以外に、タッチパネルモニタ33に対して各種情報を表示することを可能としている。タッチパネルモニタ33は映像制御部31から入力された映像情報を表示する表示部35と、タッチ入力された位置を操作処理部22に出力するタッチパネル34が重畳されて構成されている。このタッチパネルモニタ33は、カラオケ装置2の筐体前面等に配置され、カラオケ装置2の操作部21、あるいは、リモコン装置1のタッチパネルモニタ11などと同様、入力部として機能する。ユーザは、タッチパネルモニタ33にて楽曲を選択することで、直接カラオケ装置2に予約させる等、カラオケ装置2に対する各種操作を行うことが可能である。 Furthermore, in this karaoke apparatus 2, various information can be displayed on a touch panel monitor 33 in addition to the monitor 41 connected to the outside. The touch panel monitor 33 includes a display section 35 for displaying video information input from the video control section 31 and a touch panel 34 for outputting the position of touch input to the operation processing section 22, which are superimposed. The touch panel monitor 33 is arranged on the front surface of the housing of the karaoke machine 2 or the like, and functions as an input section like the operation section 21 of the karaoke machine 2 or the touch panel monitor 11 of the remote control device 1 or the like. By selecting a piece of music on the touch panel monitor 33, the user can perform various operations on the karaoke device 2, such as making the karaoke device 2 make a reservation directly.

さらに、カラオケ装置2は、各構成を統括して制御するためのCPU30、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ27を含んだ制御部を備えて構成されている。 Further, the karaoke machine 2 comprises a control section including a CPU 30 for centrally controlling each component and a memory 27 for temporarily storing information necessary for executing various programs.

このような構成にてカラオケ装置2は、各種処理を実行することとなるが、カラオケ装置2の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置1と連携して実行される。リモコン装置1の選曲処理で形成された予約情報は、カラオケ装置2に送信される。カラオケ装置2は、受信した予約情報をメモリ27中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞表示処理とが同期して実行される処理である。 With such a configuration, the karaoke device 2 executes various types of processing, and the main functions of the karaoke device 2 are music reservation processing, music reproduction processing, and the like. The music reservation processing is processing for designating and reserving music based on designation from the user, and is executed in cooperation with the remote control device 1 . The reservation information formed by the music selection process of the remote control device 1 is transmitted to the karaoke device 2 . The karaoke machine 2 registers the received reservation information in the reservation table in the memory 27. - 特許庁The music reproduction process is a process of reproducing the reserved music, and is a process in which the music performance process and the lyric display process are executed in synchronization.

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部25に演奏を実行させる処理である。音響制御部25にて演奏された楽曲は、マイクロホン43a、43bから入力される歌唱音声と一緒にスピーカー42から放音される。歌詞表示処理は、楽曲情報に含まれる歌詞情報をモニタ41に表示させることで歌唱補助を行う処理である。この歌詞表示処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。 The music playing process is a process of causing the sound control section 25 to perform a musical performance based on the performance information included in the music information. The music played by the sound control unit 25 is emitted from the speaker 42 together with the singing voice input from the microphones 43a and 43b. The lyric display process is a process for assisting singing by displaying the lyric information included in the music information on the monitor 41 . A background image display process may be executed in which a background image is superimposed on the lyrics displayed in the lyrics display process.

一方、リモコン装置1は、ユーザからの指示に基づいて楽曲を検索し、再生指示のあった楽曲について予約情報をカラオケ装置2に送信する選曲処理を実行可能としている。また、リモコン装置1は、カラオケ装置2あるいはインターネット上に接続されたサーバー装置5から各種情報を受信し、各種処理を実行することが可能である。本実施形態では、ユーザから各種指示を受け付けるユーザインターフェイスとして、操作部17と、タッチパネルモニタ11を備えている。タッチパネルモニタ11は、表示部11aとタッチパネル11bを有して構成され、表示部11aに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。 On the other hand, the remote control device 1 can execute music selection processing of searching for music based on an instruction from the user and transmitting reservation information to the karaoke device 2 for the music for which a reproduction instruction has been given. Further, the remote control device 1 can receive various information from the karaoke device 2 or the server device 5 connected to the Internet and execute various processes. In this embodiment, an operation unit 17 and a touch panel monitor 11 are provided as user interfaces for receiving various instructions from the user. The touch panel monitor 11 includes a display section 11a and a touch panel 11b, and displays various interfaces on the display section 11a and can receive touch input from the user.

さらにリモコン装置1は、選曲処理に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ14、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、CPU15、タッチパネルモニタ11に対して表示する映像を形成する映像制御部13、表示する映像情報を一時的に蓄えるビデオRAM12、タッチパネルモニタ11あるいは操作部17からの入力を解釈してCPU15に伝える操作処理部18が含まれている。 Furthermore, the remote control device 1 has a memory 14 as a storage unit for storing a database required for music selection processing, various programs, and various information generated along with the execution of the programs, and a memory 14 for collectively controlling these components. and a remote controller side control unit. The controller on the remote control side includes a CPU 15, an image control unit 13 for forming an image to be displayed on the touch panel monitor 11, a video RAM 12 for temporarily storing image information to be displayed, and an input from the touch panel monitor 11 or the operation unit 17. and an operation processing unit 18 for transmitting to the CPU 15.

リモコン装置1は、無線LAN通信部16によって、アクセスポイント130と無線接続されることで、LAN100によって構成されるネットワークに接続される。なお、各リモコン装置1は、特定のカラオケ装置2に対して事前に対応付けされている。リモコン装置1から出力される各種命令は、対応付けされたカラオケ装置2にて受信されることとなる。 The remote control device 1 is wirelessly connected to the access point 130 by the wireless LAN communication unit 16 , thereby being connected to the network formed by the LAN 100 . Each remote control device 1 is associated with a specific karaoke device 2 in advance. Various commands output from the remote control device 1 are received by the associated karaoke device 2 .

このようなリモコン装置1の構成により、ユーザからの各種入力をタッチパネルモニタ11、あるいは、操作部17から受付けるとともに、映像情報をタッチパネルモニタ11の表示により各種情報を提供することで、カラオケ装置2に対して出力する予約情報を送信する選曲処理など、各種処理を行うことが可能となっている。 With such a configuration of the remote control device 1, various inputs from the user are received from the touch panel monitor 11 or the operation unit 17, and video information is displayed on the touch panel monitor 11 to provide various information to the karaoke device 2. It is possible to perform various processes such as music selection processing for transmitting reservation information to be output.

図2は、本実施形態の楽曲情報のデータ構成を示した図である。楽曲情報は、楽曲情報に関連する各種情報を含んだメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報には、楽曲情報を識別するための楽曲ID、曲名、歌手名、ジャンル等の楽曲関連情報を有している。楽曲関連情報は、ユーザが楽曲を検索する際の検索対象項目として使用することが可能である。楽曲情報の実情報には、演奏情報、歌詞情報、背景映像情報等を含んで構成される。 FIG. 2 is a diagram showing the data structure of music information according to this embodiment. The music information includes meta information including various information related to the music information, and real information for performing various processes such as performance and display of lyrics. The meta information includes music IDs for identifying music information, music-related information such as music titles, singer names, and genres. The music-related information can be used as search target items when the user searches for music. The actual information of the music information includes performance information, lyric information, background image information, and the like.

演奏情報は、MIDI規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等を含んで構成された、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。歌唱評価情報は、楽曲再生時において、ユーザの歌唱音声を評価する情報であり、歌唱すべき旋律等を含んで構成される。楽曲再生時、歌唱評価を行う際には、マイクロホン43a、43bに入力される歌唱音声と、この歌唱評価情報を比較することで、採点値の算出等を行うことが可能である。 The performance information is information for playing accompaniment sounds for karaoke, which includes control information for electronic musical instruments based on the MIDI standard, or compressed audio information obtained by recording an actual performance. The lyric information is information displayed in synchronism with the performance information in order to assist singing, and may be configured to change the color of the displayed lyric in synchronism with the performance. The song evaluation information is information for evaluating the user's singing voice at the time of music reproduction, and includes a melody to be sung. When performing song evaluation during music reproduction, it is possible to calculate score values and the like by comparing the singing voice input to the microphones 43a and 43b with this song evaluation information.

本実施形態の楽曲再生処理では、同時に2種類の歌唱評価を行うことが可能である。1つ目は従来から行われている標準歌唱評価処理(本発明に係る「第2評価処理」に相当)である。この標準歌唱評価処理では、楽曲情報中の歌唱評価情報と、マイクロホン43a、43bに入力される歌唱音声を比較することで採点が行われる評価方式を用いた採点を実行する処理である。この標準歌唱評価処理は、リファレンスとなる歌唱評価情報と比較して、歌唱要素毎に点数を算出し、歌唱要素毎の点数を合計することで総合得点を算出する評価方式を実行する処理である。本実施形態では、音程、リズム、歌唱技術の3要素を例に説明をする。ただし、3つの要素でなくてもよく、これら3つの要素をさらに細分化しても統合してもよい。 In the music reproduction process of this embodiment, it is possible to perform two types of song evaluation at the same time. The first is standard song evaluation processing (corresponding to "second evaluation processing" according to the present invention) that has been conventionally performed. This standard song evaluation process is a process of performing scoring using an evaluation method in which the song evaluation information in the song information is compared with the singing voice input to the microphones 43a and 43b. This standard singing evaluation process is a process of executing an evaluation method of calculating a total score by calculating a score for each singing element in comparison with the singing evaluation information serving as a reference and totaling the scores for each singing element. . In this embodiment, the three elements of pitch, rhythm, and singing technique will be described as an example. However, it does not have to be three elements, and these three elements may be further subdivided or integrated.

一方、2つ目は新たに導入されたAI歌唱評価処理(本発明に係る「第1評価処理」に相当)である。AI歌唱評価処理は、人工知能(AI(Artificial Intelligence))を使用した評価方式を用いた採点を実行する処理である。AI歌唱評価処理は、楽曲情報、及び、歌唱音声から抽出した各種パラメータを入力とし、人が感じる歌のうまさ(人感の歌のうまさ)を予め学習させておき、今回演奏された楽曲情報、及び、今回の歌唱音声から抽出された各種パラメータを学習結果に基づいて評価することで、歌唱評価としての点数を算出する処理である。このようなAI歌唱評価処理によれば、人が行う歌のうまさの評価と同等の歌唱評価を行うことが可能となる。また、現状、AI歌唱評価処理は、歌唱全体の点数(総合点数)を算出するのみであって、標準歌唱評価方式のように歌唱要素毎の点数を算出することはできない。 On the other hand, the second is the newly introduced AI song evaluation process (corresponding to the "first evaluation process" according to the present invention). The AI song evaluation process is a process of performing scoring using an evaluation method using artificial intelligence (AI). The AI singing evaluation process receives music information and various parameters extracted from the singing voice, learns in advance the goodness of the song that people feel (song goodness of the human feeling), and the music information played this time, Then, it is a process of calculating a score as a song evaluation by evaluating various parameters extracted from the current singing voice based on the learning result. According to such an AI song evaluation process, it is possible to perform a song evaluation equivalent to the evaluation of the goodness of a song performed by a person. Also, currently, the AI song evaluation process only calculates the score of the entire song (total score), and cannot calculate the score for each song element like the standard song evaluation method.

具体的には、AI歌唱評価処理は、人が感じる歌のうまさに関する特徴量(パラメータ)を総合して評価することに特化させた処理である。そのため、AI歌唱評価処理では、音程やリズムなどといった歌唱要素毎の採点ではなく総合して歌唱を評価して点数を算出するため、要素ごとの点数を合算する標準歌唱採点処理とは性質が異なる評価方式に基づく点数が算出される。ただし、標準歌唱評価処理もAI歌唱評価処理も、100点満点での評価結果を算出するため、評価方式が異なっていても評価結果の尺度は同じである。そのため、同一の評価点数とはならない。 Specifically, the AI singing evaluation process is a process specialized in comprehensively evaluating feature amounts (parameters) relating to the goodness of a song that people perceive. Therefore, in the AI singing evaluation process, the score is calculated by evaluating the singing overall instead of scoring each singing element such as pitch and rhythm. A score based on the evaluation method is calculated. However, since both the standard song evaluation process and the AI song evaluation process calculate the evaluation results out of 100 points, the scale of the evaluation results is the same even if the evaluation methods are different. Therefore, they do not have the same evaluation score.

では、このような2種類の歌唱評価を行う楽曲再生処理について説明する。図3は、本実施形態の楽曲再生処理を示すフロー図である。カラオケ装置2は、リモコン装置1、あるいは、タッチパネルモニタ33等の入力部に対する操作に基づいて楽曲が予約される。楽曲の予約が行われた場合、楽曲情報を識別するための楽曲ID、予約したユーザのユーザID等を含む予約情報が、カラオケ装置2のメモリ27で記憶管理する予約テーブルに登録される。 Now, a description will be given of music playback processing for performing such two types of song evaluation. FIG. 3 is a flowchart showing music reproduction processing according to this embodiment. In the karaoke device 2, music is reserved based on the operation of the remote control device 1 or the input unit such as the touch panel monitor 33 or the like. When a song is reserved, reservation information including a song ID for identifying the song information, the user ID of the user who made the reservation, and the like is registered in a reservation table stored and managed in the memory 27 of the karaoke device 2 .

カラオケ装置2は、まず、予約テーブルをチェックし、再生の対象となる楽曲を確認する(S101)。次に再生する楽曲がある場合(S102:Yes)、予約情報中の楽曲IDに対応する楽曲情報を読み出して楽曲の再生を開始する(S103)。楽曲情報の再生期間中、AI歌唱評価処理(S104)と、標準歌唱評価処理(S105)が実行される。本実施形態では、AI歌唱評価処理(S104)と、標準歌唱評価処理(S105)は、どちらも同一の尺度(本実施形態では、最高点を100点)で評価点数を算出することとしている。 The karaoke machine 2 first checks the reservation table to confirm the music to be reproduced (S101). If there is a song to be played next (S102: Yes), the song information corresponding to the song ID in the reservation information is read and playback of the song is started (S103). AI song evaluation processing (S104) and standard song evaluation processing (S105) are executed during the reproduction period of the music information. In this embodiment, the AI song evaluation process (S104) and the standard song evaluation process (S105) are both calculated with the same scale (in this embodiment, the maximum score is 100 points).

楽曲の再生が終了した場合(S106:Yes)、AI歌唱評価処理の評価結果であるAI歌唱評価点数(本発明に係る「第1歌唱評価値」に相当)と、標準歌唱評価処理の評価結果である標準歌唱評価点数を得る(S107)。ここでは、AI歌唱評価点数をA、標準歌唱評価点数をBとしている。 When the music has finished playing (S106: Yes), the AI singing evaluation score (corresponding to the "first singing evaluation value" according to the present invention), which is the evaluation result of the AI singing evaluation process, and the evaluation result of the standard singing evaluation process (S107). Here, A is the AI singing evaluation score, and B is the standard singing evaluation score.

図4は、本実施形態のAI歌唱評価点数に対する補正(第1補正)を説明するための図である。図4(A)は、過去のAI歌唱評価点数の履歴であって、AI歌唱評価点数毎の件数が棒グラフで示されている。また、この履歴に基づく分布曲線(本発明に係る「統計情報」に相当)が実線で示されている。一方、図4(B)は、過去の標準歌唱評価点数の履歴であって、標準歌唱評価点数毎の件数が棒グラフで示されている。また、この履歴に基づく分布曲線(本発明に係る「統計情報」に相当)が破線で示されている。図4(A)のAI歌唱評価点数の分布曲線と、図4(B)の標準歌唱評価点数の分布曲線では、その分布の態様が大きく異なっている。本実施形態では、AI歌唱評価点数が標準歌唱評価点数よりも低く算出される傾向にあることを示している。図4(A)と図4(B)に示すようにAI歌唱評価点数と標準歌唱評価点数の分布が異なる理由は、一例としてAIによる歌唱評価のために学習させるデータから抽出されるパラメータが標準歌唱評価の採点要素にはなく、両者の評価点数に相関がないことが要因と考えられる。 FIG. 4 is a diagram for explaining the correction (first correction) for the AI singing evaluation score of the present embodiment. FIG. 4A is a history of past AI singing evaluation scores, showing the number of cases for each AI singing evaluation score in a bar graph. A distribution curve based on this history (corresponding to "statistical information" according to the present invention) is indicated by a solid line. On the other hand, FIG. 4(B) is a history of standard song evaluation scores in the past, and the number of cases for each standard song evaluation score is shown in a bar graph. A distribution curve based on this history (corresponding to "statistical information" according to the present invention) is indicated by a dashed line. The distribution curve of the AI singing evaluation score in FIG. 4A and the distribution curve of the standard singing evaluation score in FIG. This embodiment shows that the AI singing evaluation score tends to be calculated lower than the standard singing evaluation score. As shown in FIGS. 4A and 4B, the distribution of AI singing evaluation scores and standard singing evaluation scores is different. It is considered that the reason is that there is no correlation between the evaluation scores of both, since it is not a scoring element for song evaluation.

本実施形態では、このような分布の違いを考慮し、参集されたAI歌唱評価点数を、標準歌唱評価点数の分布曲線に沿うように補正することとしている。図4(C)は、AI歌唱評価点数の分布曲線(実線)と標準歌唱評価点数の分布曲線(破線)を合わせて記載した図である。例えば、AI歌唱評価処理において77点(AI歌唱評価点数)が採点された場合、AI歌唱評価点数の分布曲線上、77点の位置に対応する標準歌唱評価点数の分布曲線上の点数(この場合88点)に補正することとしている。このように、本実施形態では評価形式が異なる2つのAI歌唱評価処理と標準歌唱評価処理において、AI歌唱評価処理で参集されたAI歌唱評価点数を、標準歌唱評価処理の分布に沿った点数に補正することとしている。 In this embodiment, considering such a difference in distribution, the collected AI singing evaluation scores are corrected so as to follow the distribution curve of the standard singing evaluation scores. FIG. 4(C) is a diagram showing the distribution curve (solid line) of the AI singing evaluation score and the distribution curve (broken line) of the standard singing evaluation score. For example, when 77 points (AI singing evaluation score) are scored in the AI singing evaluation process, on the distribution curve of the AI singing evaluation score, the score on the distribution curve of the standard singing evaluation score corresponding to the position of 77 points (in this case 88 points). Thus, in the present embodiment, in the two AI song evaluation processes and the standard song evaluation process having different evaluation formats, the AI song evaluation scores gathered in the AI song evaluation process are converted into scores along the distribution of the standard song evaluation process. I am planning to correct it.

S108では、上述した形態でAI歌唱評価処理において算出されたAI歌唱評価点数Aを補正(第1補正)を行い、補正されたAI歌唱評価点数A’を算出している。そして、補正されたAI歌唱評価点数A’と標準歌唱評価点数Bの差を、AI補正点数Tとして算出する(S109)。本実施形態では、算出されたAI補正点数Tを歌唱評価の結果としてユーザに対して通知(表示)することとしている。AI補正点数Tを表示することで、ユーザは従来の歌唱評価(標準歌唱評価)と新たな歌唱評価(AI歌唱評価)との違いを認識することが可能となっている。 In S108, the AI singing evaluation score A calculated in the AI singing evaluation process in the form described above is corrected (first correction), and the corrected AI singing evaluation score A' is calculated. Then, the difference between the corrected AI song evaluation score A' and the standard song evaluation score B is calculated as the AI correction score T (S109). In this embodiment, the calculated AI correction score T is notified (displayed) to the user as the result of the song evaluation. By displaying the AI correction score T, the user can recognize the difference between the conventional singing evaluation (standard singing evaluation) and the new singing evaluation (AI singing evaluation).

ここで、AI歌唱評価の方が低くなってしまうと、新しい歌唱評価方式に対するユーザの心証が悪くなることが考えられる。そのため、本実施形態では、AI補正点数Tが0より大きい値ではない場合(S110:No)、標準歌唱評価点数を補正(この場合、加算)し、補正後の標準歌唱評価点数B’を算出している(S111)。このような補正(第2補正)を行うことで、AI補正点数Tが0以上の値、すなわち、補正されたAI歌唱評価点数A’が、補正された標準歌唱評価点数B’以上の値となるようにしている。 Here, if the AI song evaluation becomes lower, it is conceivable that the user's impression of the new song evaluation method will deteriorate. Therefore, in this embodiment, if the AI correction score T is not a value greater than 0 (S110: No), the standard song evaluation score is corrected (in this case, added), and the corrected standard song evaluation score B' is calculated. (S111). By performing such a correction (second correction), the AI correction score T is a value of 0 or more, that is, the corrected AI song evaluation score A ' is a corrected standard song evaluation score B ' or more. I'm trying to be

一方、AI補正点数Tが0より大きい値である場合(S110:Yes)、AI補正点数Tが所定値Xよりも小さいか否かの判定が行われる(S112)。この判定は、補正されたAI歌唱評価点数A’が、標準歌唱評価点数Bよりも必要以上に大きい(その差が所定値Xより大きい)ことを判定するために行われる。AI補正点数Tが所定値Xよりも小さい場合(S112:No)には、標準歌唱評価点数Bに対する補正は行わず、補正の無い標準歌唱評価点数を歌唱評価表示処理(S114)に使用する。一方、AI補正点数Tが所定値X以上である場合(S112:No)には、AI補正点数Tが所定値Xに等しくなるように標準歌唱評価点数Bを補正(第3補正)し、補正された標準歌唱評価点数B’を算出する(S113)。このように本実施形態では、補正されたAI歌唱評価点数A’が標準歌唱評価点数Bを大きく上回ることがないよう、標準歌唱評価点数Bに対する補正(第3補正)を行うこととしている。 On the other hand, if the AI correction score T is greater than 0 (S110: Yes), it is determined whether the AI correction score T is smaller than the predetermined value X (S112). This determination is made to determine whether the corrected AI singing evaluation score A' is unnecessarily larger than the standard singing evaluation score B (the difference is greater than the predetermined value X). If the AI correction score T is smaller than the predetermined value X (S112: No), the standard song evaluation score B is not corrected, and the standard song evaluation score without correction is used for the song evaluation display process (S114). On the other hand, if the AI correction score T is equal to or greater than the predetermined value X (S112: No), the standard song evaluation score B is corrected (third correction) so that the AI correction score T is equal to the predetermined value X, and corrected. Then, the standard song evaluation score B' obtained is calculated (S113). In this way, in this embodiment, the standard song evaluation score B is corrected (third correction) so that the corrected AI song evaluation score A' does not greatly exceed the standard song evaluation score B.

以上のように算出されたAI歌唱評価点数A、及び、標準歌唱評価点数Bに対する補正を行うことで、補正後のAI歌唱評価点数Aを、従来の歌唱評価方式である標準歌唱評価の分布に沿った値(補正後のAI歌唱評価点数A’)に補正することが可能となる。また、補正後のAI歌唱評価点数A’が、標準歌唱評価点数B以上の値となるように、標準歌唱評価点数Bを補正することで、新たな歌唱評価方式であるAI歌唱評価に対するユーザの印象を良好なものとすることが可能となる。さらに、補正後のAI歌唱評価点数A’が標準歌唱評価点数Bを大きく上回った場合、標準歌唱評価点数Bを補正することで、両者の差(AI補正点数T)を適切な値とすることが可能となる。 By correcting the AI song evaluation score A and the standard song evaluation score B calculated as described above, the AI song evaluation score A after correction is adjusted to the standard song evaluation distribution, which is a conventional song evaluation method. It is possible to correct to a value (AI singing evaluation score A′ after correction) along. In addition, by correcting the standard song evaluation score B so that the corrected AI song evaluation score A 'is a value equal to or higher than the standard song evaluation score B, the user's response to AI song evaluation, which is a new song evaluation method It is possible to make a good impression. Furthermore, when the corrected AI singing evaluation score A' greatly exceeds the standard singing evaluation score B, the standard singing evaluation score B is corrected to set the difference between the two (AI correction score T) to an appropriate value. becomes possible.

図5は、本実施形態の補正処理、並びに、各種表示項目を示す図である。本実施形態における標準歌唱評価処理は、3つの歌唱要素(音程、リズム、技術)毎に要素評価点数を算出している。歌唱終了時に算出される標準歌唱評価点数Bは、音程の要素評価点数(20点)、リズムの要素評価点数(20点)、技術の要素評価点数(30点)を加算した値(70点)となる。 FIG. 5 is a diagram showing correction processing and various display items according to the present embodiment. The standard singing evaluation process in this embodiment calculates the element evaluation score for each of the three singing elements (pitch, rhythm, technique). The standard singing evaluation score B calculated at the end of singing is the sum of the pitch element evaluation score (20 points), the rhythm element evaluation score (20 points), and the technique element evaluation score (30 points) (70 points). becomes.

一方、AI歌唱評価処理で算出されたAI歌唱評価点数Aは50点となっている。AI歌唱評価点数Aに対しては、第1補正(図3のS108)が実行される。前述したように第1補正は、過去に算出されたAI歌唱評価点数に基づく分布上のAI歌唱評価点数Aを、同様に過去に算出された標準歌唱評価点数に基づく分布に沿わせるように補正する処理である。図4で説明した例のように、AI歌唱評価点数Aの分布が、標準歌唱評価点数Bの分布よりも下方得点側に位置する場合には、AI歌唱評価点数Aを増加させる補正が行われる。図5の場合、AI歌唱評価点数A(50点)を、18点増加させ、補正後のAI歌唱評価点数A’(68点)に補正している。 On the other hand, the AI singing evaluation score A calculated in the AI singing evaluation process is 50 points. A first correction (S108 in FIG. 3) is performed on the AI singing evaluation score A. As described above, the first correction corrects the AI singing evaluation score A on the distribution based on the AI singing evaluation score calculated in the past to follow the distribution based on the standard singing evaluation score similarly calculated in the past. It is a process to As in the example illustrated in FIG. 4, when the distribution of the AI singing evaluation score A is located on the lower score side than the distribution of the standard singing evaluation score B, a correction to increase the AI singing evaluation score A is performed. . In the case of FIG. 5, the AI singing evaluation score A (50 points) is increased by 18 points and corrected to the corrected AI singing evaluation score A' (68 points).

次に、補正されたAI歌唱評価点数A’(68点)と、標準歌唱評価点数B(70点)の差(A’-B)であるAI補正点数Tが算出される。この場合、AI補正点数Tは負の値(-2)である(図3のS110:No)ため、標準歌唱評価点数Bに対する補正(第2補正、図3のS111)が実行される。図5の例では、標準歌唱評価点数Bを構成する各要素評価点数から所定の割合を減算し、補正後の標準歌唱評価点数B’を63点としている。したがって、補正後の標準歌唱評価点数B’は68点となり、AI補正点数Tは5点となる。 Next, an AI correction score T, which is the difference (A'-B) between the corrected AI song evaluation score A' (68 points) and the standard song evaluation score B (70 points), is calculated. In this case, since the AI correction score T is a negative value (-2) (S110 in FIG. 3: No), correction to the standard song evaluation score B (second correction, S111 in FIG. 3) is performed. In the example of FIG. 5, a predetermined ratio is subtracted from each element evaluation score that constitutes the standard song evaluation score B, and the corrected standard song evaluation score B' is 63 points. Therefore, the corrected standard song evaluation score B' is 68 points, and the AI corrected score T is 5 points.

歌唱評価表示処理では、補正された各種点数が使用される。図6は、図5で説明した補正された点数を使用した場合の歌唱評価結果画面である。本実施形態では、歌唱評価結果画面は、歌唱終了後、カラオケ装置2のモニタ41に表示される。なお、歌唱評価結果画面は、リモコン装置1のタッチパネルモニタ11に表示してもよい。 In the song evaluation display process, various corrected scores are used. FIG. 6 is a song evaluation result screen when using the corrected scores described in FIG. In this embodiment, the song evaluation result screen is displayed on the monitor 41 of the karaoke device 2 after the song is finished. Note that the song evaluation result screen may be displayed on the touch panel monitor 11 of the remote control device 1 .

歌唱評価結果画面には、歌唱した楽曲の楽曲関連情報61(楽曲名表示欄61a、歌手名表示欄61b)、歌唱日時表示欄66b、歌唱ユーザ名表示欄67が設けられている。また、補正されたAI歌唱評価点数A’を表示するAI歌唱評価点数表示欄64、補正された標準歌唱評価点数B’について歌唱要素毎の要素評価点数を表示する要素評価点数表示欄62a~62c、補正された標準歌唱評価点数B’を表示する標準歌唱評価点数表示欄65が設けられている。そして、補正されたAI歌唱評価点数A’と補正された標準歌唱評価点数B’の差であるAI補正点数Tを表示するためのAI補正点数表示欄63が設けられている。 The song evaluation result screen is provided with song-related information 61 (song title display column 61a, singer name display column 61b), singing date and time display column 66b, and singing user name display column 67 of the sung song. In addition, an AI singing evaluation score display column 64 that displays the corrected AI singing evaluation score A', and element evaluation score display columns 62a to 62c that display the element evaluation score for each song element with respect to the corrected standard singing evaluation score B' , a standard song evaluation score display field 65 for displaying the corrected standard song evaluation score B' is provided. An AI correction score display field 63 is provided for displaying an AI correction score T, which is the difference between the corrected AI song evaluation score A' and the corrected standard song evaluation score B'.

そして、歌唱した楽曲について、補正されたAI歌唱評価点数の平均点数を表示する平均点数表示欄68、歌唱したユーザの全国順位を表示する全国順位表次欄69が設けられている。 An average score display column 68 for displaying the corrected average score of the AI singing evaluation score and a national ranking list next column 69 for displaying the national ranking of the user who sang the song are provided.

この他、歌唱評価結果画面には、AI歌唱評価処理、あるいは、標準歌唱評価処理に基づいて作成される総評、声域を表示する総評表示欄70、声域表示欄71が設けられている。声域表示欄71には、楽曲の音域(歌唱するのに必要とされる最低音と最高音)、及び、歌唱したユーザの声域(歌唱した最低音と最高音)が表示される。このように本実施形態では、AI歌唱評価点数A、標準歌唱評価点数Bを補正することで、補正後のAI歌唱評価点数A’を、標準歌唱評価点数Bの分布に沿った点数に補正し、AI補正点数Tを0以上の値とし、新たな歌唱評価方式に対する印象を良好なものとすることとしている。 In addition, the song evaluation result screen is provided with an overall evaluation display field 70 and a vocal range display field 71 for displaying the overall evaluation and vocal range created based on the AI singing evaluation process or the standard singing evaluation process. The vocal range display field 71 displays the vocal range of the song (the lowest and highest notes required for singing) and the vocal range of the user who sang (the lowest and highest notes sung). In this way, in this embodiment, by correcting the AI song evaluation score A and the standard song evaluation score B, the corrected AI song evaluation score A' is corrected to a score along the distribution of the standard song evaluation score B. , the AI correction score T is set to a value of 0 or more to give a good impression of the new singing evaluation method.

次に、補正について他の例について説明する。図7は、本実施形態の補正処理、並びに、各種表示項目を示す図である。この例では、歌唱終了時に算出される標準歌唱評価点数Bは、音程の要素評価点数(23点)、リズムの要素評価点数(22点)、技術の要素評価点数(35点)を加算した値(80点)となる。 Next, another example of correction will be described. FIG. 7 is a diagram showing correction processing and various display items of the present embodiment. In this example, the standard singing evaluation score B calculated at the end of singing is the sum of the pitch element evaluation score (23 points), the rhythm element evaluation score (22 points), and the technique element evaluation score (35 points). (80 points).

一方、AI歌唱評価処理で算出されたAI歌唱評価点数Aは70点となっている。AI歌唱評価点数Aに対しては、第1補正(図3のS108)が実行される。図7の例では、AI歌唱評価点数A(70点)を、25点増加させ、補正後のAI歌唱評価点数A’(95点)に補正している。 On the other hand, the AI singing evaluation score A calculated in the AI singing evaluation process is 70 points. A first correction (S108 in FIG. 3) is performed on the AI singing evaluation score A. In the example of FIG. 7, the AI singing evaluation score A (70 points) is increased by 25 points to correct the corrected AI singing evaluation score A' (95 points).

次に、補正されたAI歌唱評価点数A’(95点)と、標準歌唱評価点数B(80点)の差(A’-B)であるAI補正点数Tが算出される。この場合、AI補正点数Tは正の値(15)である(図3のS110:Yes)ため、AI補正点数Tと所定値Xとの比較が行われる(S112)。この例では、所定値Xを10点としており、AI補正点数Tは所定値Xよりも大きな値となる(S112)。そのため、標準歌唱評価点数Bに対する補正(第3補正、S113)が実行される。図7の例では、標準歌唱評価点数Bを構成する各要素評価点数に所定の割合を加算し、補正後の標準歌唱評価点数B’を85点に補正している。したがって、補正後の標準歌唱評価点数B’は85点となり、AI補正点数Tは10点(所定値Xと同じ値)となる。 Next, an AI correction score T, which is the difference (A'-B) between the corrected AI song evaluation score A' (95 points) and the standard song evaluation score B (80 points), is calculated. In this case, since the AI correction point number T is a positive value (15) (S110 in FIG. 3: Yes), the AI correction point number T and the predetermined value X are compared (S112). In this example, the predetermined value X is 10 points, and the AI correction score T becomes a value larger than the predetermined value X (S112). Therefore, the correction (third correction, S113) for the standard song evaluation score B is executed. In the example of FIG. 7, a predetermined ratio is added to each element evaluation score that constitutes the standard song evaluation score B, and the corrected standard song evaluation score B' is corrected to 85 points. Therefore, the corrected standard song evaluation score B' is 85 points, and the AI corrected score T is 10 points (the same value as the predetermined value X).

以上、本実施形態のカラオケ装置2について説明したが、本発明は上述する実施形態に限られるものではなく、各種変形例を採用することができる。以下に、変形例について説明する。 Although the karaoke machine 2 of the present embodiment has been described above, the present invention is not limited to the above-described embodiment, and various modifications can be adopted. Modifications will be described below.

(変形例1)
前述の実施形態において、AI歌唱評価点数Aに対する補正(S108)は、図4で説明したように、AI歌唱評価点数の履歴に基づく分布曲線(本発明に係る「統計情報」に相当)と、標準歌唱評価点数Bの履歴に基づく分布曲線(本発明に係る「統計情報」に相当)を使用して行うこととしている。この補正(第1補正)に使用するAI歌唱評価点数の履歴、及び、標準歌唱評価点数Bの履歴には各種態様を採用することができる。
(Modification 1)
In the above-described embodiment, the correction (S108) for the AI singing evaluation score A is, as described in FIG. A distribution curve (corresponding to the "statistical information" according to the present invention) based on the history of the standard song evaluation score B is used. Various aspects can be adopted for the history of the AI singing evaluation score and the history of the standard singing evaluation score B used for this correction (first correction).

例えば、(1)カラオケ装置2で使用される楽曲全ての履歴を使用する。(2)カラオケ楽曲毎の履歴を使用する。(3)カラオケ楽曲のジャンル毎の履歴を使用する。(4)カラオケ楽曲の歌手毎の履歴を使用する。ことが考えられる。 For example, (1) the history of all songs used in the karaoke machine 2 is used. (2) Use history for each karaoke song. (3) Use history of karaoke songs for each genre. (4) Use the history of karaoke songs for each singer. can be considered.

(1)の場合、カラオケ装置2で使用される楽曲について、AI歌唱評価点数の履歴に基づく分布曲線、標準歌唱評価点数Bの履歴に基づく分布曲線は同様となり、全ての楽曲について同じ補正が行われることになる。(2)の場合、楽曲再生処理で使用された楽曲(歌唱された楽曲)毎に、AI歌唱評価点数の履歴に基づく分布曲線、標準歌唱評価点数Bの履歴に基づく分布曲線は異なり、楽曲の特性に応じた補正が行われることになる。(3)の場合、楽曲再生処理で使用された楽曲(歌唱された楽曲)のジャンル毎に、AI歌唱評価点数の履歴に基づく分布曲線、標準歌唱評価点数Bの履歴に基づく分布曲線は異なり、ジャンルの特性に応じた補正が行われることになる。(4)の場合、楽曲再生処理で使用された楽曲(歌唱された楽曲)の歌手毎に、AI歌唱評価点数の履歴に基づく分布曲線、標準歌唱評価点数Bの履歴に基づく分布曲線は異なり、歌手の特性に応じた補正が行われることになる。 In the case of (1), the distribution curve based on the history of the AI singing evaluation score and the distribution curve based on the history of the standard singing evaluation score B are the same for the songs used in the karaoke machine 2, and the same correction is performed for all songs. will be taken. In the case of (2), the distribution curve based on the history of the AI singing evaluation score and the distribution curve based on the history of the standard singing evaluation score B are different for each song (sung song) used in the song playback process. Correction is performed according to the characteristics. In the case of (3), the distribution curve based on the history of the AI singing evaluation score and the distribution curve based on the history of the standard singing evaluation score B are different for each genre of the music used in the music playback process (sung music). Correction is performed according to the characteristics of the genre. In the case of (4), for each singer of the song used in the song playback process (sung song), the distribution curve based on the history of the AI singing evaluation score and the distribution curve based on the history of the standard singing evaluation score B are different, Correction is performed according to the characteristics of the singer.

(変形例2)
前述の実施形態では、図3で説明した楽曲再生処理において、第1補正(S108)、第2補正(S111)、第3補正(S113)を行うこととしている。これら補正は、必ずしも行う必要は無い。例えば、AI歌唱評価点数Aの分布と、標準歌唱評価点数Bの分布に大きな違いが無い場合、第1補正(S108)は行わなくてもよい。また、第2補正(S111)、第3補正(S113)についても省略し、例えば、AI補正点数Tが負の値を取る、あるいは、AI補正点数が所定値Xを超える値を取ることとしてもよい。
(Modification 2)
In the embodiment described above, the first correction (S108), the second correction (S111), and the third correction (S113) are performed in the music reproduction process described with reference to FIG. These corrections are not necessarily required. For example, if there is no significant difference between the distribution of the AI singing evaluation score A and the distribution of the standard singing evaluation score B, the first correction (S108) need not be performed. Further, the second correction (S111) and the third correction (S113) are also omitted. good.

以上、本実施形態の歌唱評価を可能とするカラオケ装置2について説明したが、本発明はカラオケ装置に限られるものでは無く、リモコン装置1、あるいは、ユーザが所持するスマートフォン、あるいは家庭に設置されるパーソナルコンピュータや、ゲーム機等、各種情報処理装置で実行され、本実施形態のカラオケ装置2と同様の歌唱評価機能を実現する歌唱評価用プログラムについても本発明の範疇に属する。 As above, the karaoke device 2 that enables the song evaluation of the present embodiment has been described, but the present invention is not limited to the karaoke device, and the remote control device 1, the smartphone possessed by the user, or the device installed in the home. A song evaluation program that is executed by various information processing devices such as personal computers and game machines and realizes the same song evaluation function as the karaoke machine 2 of the present embodiment also belongs to the scope of the present invention.

1:リモコン装置 31:映像制御部
2:カラオケ装置 32:ハードディスク
5:サーバー装置 33:タッチパネルモニタ
11:タッチパネルモニタ 34:タッチパネル
11a:表示部 35:表示部
11b:タッチパネル 41:モニタ
12:ビデオRAM 42:スピーカー
13:映像制御部 43a、43b:マイクロホン
14:メモリ 61:楽曲関連情報
15:CPU 61a:楽曲名表示欄
16:無線LAN通信部 61b:歌手名表示欄
17:操作部 62a~62c:要素評価点数表示欄
18:操作処理部 63:AI補正点数表示欄
21:操作部 64:AI歌唱評価点数表示欄
22:操作処理部 65:標準歌唱評価点数表示欄
24a:LAN通信部 66b:歌唱日時表示欄
24b:無線LAN通信部 67:歌唱ユーザ名表示欄
25:音響制御部 68:平均点数表示欄
27:メモリ 69:全国順位表次欄
28:ビデオRAM 70:総評表示欄
29:映像再生部 71:声域表示欄
30:CPU 130:アクセスポイント
1: remote control device 31: video control unit 2: karaoke device 32: hard disk 5: server device 33: touch panel monitor 11: touch panel monitor 34: touch panel 11a: display unit 35: display unit 11b: touch panel 41: monitor 12: video RAM 42 : Speaker 13: Video control unit 43a, 43b: Microphone 14: Memory 61: Music related information 15: CPU 61a: Music name display field 16: Wireless LAN communication part 61b: Singer name display field 17: Operation part 62a to 62c: Elements Evaluation score display column 18: Operation processing unit 63: AI correction score display column 21: Operation unit 64: AI singing evaluation score display column 22: Operation processing unit 65: Standard song evaluation score display column 24a: LAN communication unit 66b: Singing date and time Display column 24b: Wireless LAN communication unit 67: Singing user name display column 25: Sound control unit 68: Average score display column 27: Memory 69: National ranking table next column 28: Video RAM 70: Overall evaluation display column 29: Video playback unit 71: vocal range display field 30: CPU 130: access point

Claims (8)

マイクロホンから入力される歌唱音声信号に基づいて歌唱評価を行うカラオケ装置であって、
第1評価処理と、第2評価処理と通知処理とを実行可能とし、
前記第1評価処理は、前記マイクロホンから入力される前記歌唱音声信号を第1評価方式で評価を行い、第1歌唱評価値を算出し、
前記第2評価処理は、前記マイクロホンから入力される前記歌唱音声信号を前記第1評価方式とは異なる第2評価方式で評価を行い、前記第1評価処理と同一の尺度を有する第2歌唱評価値を算出し、
前記通知処理は、一の歌唱音声信号に対する前記第1歌唱評価値、及び、前記一の歌唱音声信号に対する前記第1歌唱評価値と前記第2歌唱評価値の差分値を通知する
カラオケ装置。
A karaoke device that performs singing evaluation based on a singing voice signal input from a microphone,
making it possible to execute a first evaluation process, a second evaluation process, and a notification process;
The first evaluation process evaluates the singing voice signal input from the microphone by a first evaluation method, calculates a first singing evaluation value,
The second evaluation process evaluates the singing voice signal input from the microphone by a second evaluation system different from the first evaluation system, and a second song evaluation having the same scale as the first evaluation process. Calculate the value of
The notification process notifies the first song evaluation value for the one singing voice signal and the difference value between the first song evaluation value and the second song evaluation value for the one singing voice signal. Karaoke apparatus.
前記第1評価処理、前記第2評価処理の少なくとも一方は、補正処理を行った上で前記第1評価値もしくは前記第2評価値を算出する
請求項1に記載のカラオケ装置。
The karaoke apparatus according to claim 1, wherein at least one of the first evaluation process and the second evaluation process calculates the first evaluation value or the second evaluation value after performing a correction process.
前記第1評価処理における前記補正処理は、前記第1歌唱評価値の統計情報と前記第2歌唱評価値の統計情報に基づく補正値に基づいて前記第1評価値を算出する
請求項2に記載のカラオケ装置。
3. The correction process in the first evaluation process calculates the first evaluation value based on a correction value based on the statistical information of the first song evaluation value and the statistical information of the second song evaluation value. karaoke device.
前記第1評価処理で使用する前記第1評価方式は、AIを使用した評価方式である
請求項1から請求項3の何れか1項に記載のカラオケ装置。
The karaoke machine according to any one of claims 1 to 3, wherein the first evaluation method used in the first evaluation process is an evaluation method using AI.
前記第2評価処理で使用する前記第2評価方式は、前記第1評価処理と同一の尺度を複数の歌唱要素毎に複数の尺度に分割し、前記複数の歌唱要素毎にそれぞれの尺度で歌唱評価値を算出する評価方式である
請求項1から請求項4の何れか1項に記載のカラオケ装置。
The second evaluation method used in the second evaluation process divides the same scale as that used in the first evaluation process into a plurality of scales for each of the plurality of singing elements, and sings with each scale for each of the plurality of singing elements. The karaoke machine according to any one of claims 1 to 4, which is an evaluation method for calculating an evaluation value.
前記第2評価処理は、前記歌唱要素毎に補正を行う
請求項5に記載のカラオケ装置。
The karaoke device according to claim 5, wherein the second evaluation process performs correction for each of the singing elements.
前記通知処理は、前記第2評価処理の複数の歌唱要素の歌唱評価値と、前記第1歌唱評価値を対応付けて通知する
請求項5または請求項6に記載のカラオケ装置。
The karaoke device according to claim 5 or 6, wherein the notification process notifies the first song evaluation value in association with the song evaluation value for each of the plurality of song elements of the second evaluation process .
情報処理装置で実行可能な歌唱評価用プログラムであって、
第1評価処理と、第2評価処理と通知処理とを実行可能とし、
前記第1評価処理は、マイクロホンから入力される歌唱音声信号を第1評価方式で評価を行い、第1歌唱評価値を算出し、
前記第2評価処理は、前記マイクロホンから入力される前記歌唱音声信号を前記第1評価方式とは異なる第2評価方式で評価を行い、第2歌唱評価値を算出し、
前記通知処理は、前記第1歌唱評価値、及び、前記第1歌唱評価値と前記第2歌唱評価値の差分値を通知する
歌唱評価用プログラム。
A song evaluation program executable by an information processing device,
making it possible to execute a first evaluation process, a second evaluation process, and a notification process;
The first evaluation process evaluates a singing voice signal input from a microphone by a first evaluation method, calculates a first singing evaluation value,
The second evaluation process evaluates the singing voice signal input from the microphone by a second evaluation method different from the first evaluation method, calculates a second singing evaluation value,
The song evaluation program, wherein the notification process notifies the first song evaluation value and a difference value between the first song evaluation value and the second song evaluation value.
JP2020062144A 2020-03-31 2020-03-31 Karaoke device and program for singing evaluation Active JP7160064B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020062144A JP7160064B2 (en) 2020-03-31 2020-03-31 Karaoke device and program for singing evaluation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020062144A JP7160064B2 (en) 2020-03-31 2020-03-31 Karaoke device and program for singing evaluation

Publications (2)

Publication Number Publication Date
JP2021162649A JP2021162649A (en) 2021-10-11
JP7160064B2 true JP7160064B2 (en) 2022-10-25

Family

ID=78004894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020062144A Active JP7160064B2 (en) 2020-03-31 2020-03-31 Karaoke device and program for singing evaluation

Country Status (1)

Country Link
JP (1) JP7160064B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157010A (en) 2015-02-25 2016-09-01 ブラザー工業株式会社 Singing evaluation device and program for singing evaluation
JP2016194622A (en) 2015-04-01 2016-11-17 株式会社エクシング Karaoke device and karaoke program
JP2019101148A (en) 2017-11-30 2019-06-24 株式会社第一興商 Communication karaoke system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6561156B2 (en) * 2018-01-30 2019-08-14 株式会社エクシング Server apparatus, program, ranking providing method, and karaoke system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157010A (en) 2015-02-25 2016-09-01 ブラザー工業株式会社 Singing evaluation device and program for singing evaluation
JP2016194622A (en) 2015-04-01 2016-11-17 株式会社エクシング Karaoke device and karaoke program
JP2019101148A (en) 2017-11-30 2019-06-24 株式会社第一興商 Communication karaoke system

Also Published As

Publication number Publication date
JP2021162649A (en) 2021-10-11

Similar Documents

Publication Publication Date Title
JP5313196B2 (en) Difficulty level calculation device, difficulty level calculation method, and computer program
JP5269829B2 (en) Karaoke system, karaoke system control method, karaoke system control program, and information recording medium thereof
JP6763334B2 (en) Music selection device, karaoke system, and music selection program
JP7160064B2 (en) Karaoke device and program for singing evaluation
JP6561729B2 (en) Karaoke system and karaoke device
JP6219750B2 (en) Singing battle karaoke system
JP6528473B2 (en) Karaoke apparatus and program for karaoke
JP3623557B2 (en) Automatic composition system and automatic composition method
JP4182782B2 (en) Karaoke equipment
JP6920135B2 (en) Karaoke equipment
JP6810676B2 (en) Singing evaluation device, singing evaluation program and karaoke device
JP7465194B2 (en) Karaoke equipment
JP6736914B2 (en) Music selection device, karaoke system, and music selection program
JP7327437B2 (en) karaoke device
JP5741625B2 (en) Karaoke system, karaoke equipment
JP2014066740A (en) Karaoke device
JP6601214B2 (en) Music selection device, karaoke system, and music selection program
JP6944364B2 (en) Karaoke equipment
JP4162556B2 (en) Information search and display device for codes
JP5429501B2 (en) Karaoke remote control device and karaoke system
JP2023124662A (en) karaoke device
JP6638429B2 (en) Karaoke device and karaoke program
JP2023108454A (en) karaoke device
JP6569448B2 (en) Karaoke system, music selection device and music selection program
JP6611633B2 (en) Karaoke system server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7160064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150