TW201407602A - 演奏評估裝置、卡拉ｏｋ裝置及伺服器裝置 - Google Patents

演奏評估裝置、卡拉ｏｋ裝置及伺服器裝置 Download PDF

Info

Publication number
TW201407602A
TW201407602A TW102113839A TW102113839A TW201407602A TW 201407602 A TW201407602 A TW 201407602A TW 102113839 A TW102113839 A TW 102113839A TW 102113839 A TW102113839 A TW 102113839A TW 201407602 A TW201407602 A TW 201407602A
Authority
TW
Taiwan
Prior art keywords
expression
performance
music
pitch
data
Prior art date
Application number
TW102113839A
Other languages
English (en)
Other versions
TWI497484B (zh
Inventor
Shuichi Matsumoto
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of TW201407602A publication Critical patent/TW201407602A/zh
Application granted granted Critical
Publication of TWI497484B publication Critical patent/TWI497484B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本發明之演奏評估裝置具備：表情演奏參考資料獲取機構，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料；音調音量資料生成機構，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；及演奏評估機構，其係於由上述音調音量資料生成機構生成之上述音調音量資料所示之音調及音量之至少一者之特性表示由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏之特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估。

Description

演奏評估裝置、卡拉OK裝置及伺服器裝置
本發明係關於一種評估樂曲演奏之優劣之技術。
例如提出有各種關於具備對歌唱者之歌唱演奏之優劣進行評分之評分功能之歌唱用卡拉OK裝置(以下若未作特別說明，則僅稱作「卡拉OK裝置」)之技術。作為揭示有此種技術之文獻有專利文獻1。該文獻所揭示之卡拉OK裝置係針對歌曲之每個音符算出自使用者之歌唱音擷取之音調與自作為引導旋律而預先準備之資料擷取之音調之差量，基於該差量算出基本得分。又，該卡拉OK裝置係於進行運用顫音或上滑音(hiccup)等技巧之歌唱之情形時，算出對應於該歌唱進行之次數之獎勵分(bonus point)。該卡拉OK裝置係將基本得分與獎勵分之合計得分作為最終評估結果向使用者提示。根據該技術，可使運用顫音或上滑音等高難度技巧之歌唱反映於評估結果。
又，作為揭示有由表示歌唱音之波形檢測進行了使用顫音或上滑音等技巧之歌唱之技術的文獻，例如有專利文獻2至6。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2005-107334號公報
[專利文獻2]日本專利特開2005-107330號公報
[專利文獻3]日本專利特開2005-107087號公報
[專利文獻4]日本專利特開2008-268370號公報
[專利文獻5]日本專利特開2005-107336號公報
[專利文獻6]日本專利特開2008-225115號公報
然而，於專利文獻1之技術之情形時，即便於對原本不喜好進行運用顫音或上滑音等技巧之歌唱之歌唱部位進行如此之歌唱之情形時，亦會加上獎勵分。因此有作為評估結果提示之得分與人之感受背離之問題。
本發明係鑒於如此之課題而完成者，其目的在於在卡拉OK歌唱等樂曲演奏之評估中，可提示更接近人之感受之評估結果。
為解決上述課題，本發明提供一種演奏評估裝置，其具備：表情演奏參考資料獲取機構，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料；音調音量資料生成機構，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；及演奏評估機構，其係於由上述音調音量資料生成機構生成之上述音調音量資料所示之音調及音量之至少一者之特性表示由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏之特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估。
又，本發明提供一種卡拉OK裝置，其具備：上述演奏評估裝置；伴奏資料獲取機構，其獲取指示樂曲之伴奏的伴奏資料；及聲音信號輸出機構，其係依據上述伴奏資料之指示輸出表示伴奏之音樂之聲音信號；上述音調音量資料生成機構生成表示對應於依據自上述聲音信號輸出機構輸出之聲音信號而自揚聲器播放之伴奏由上述演奏者 進行之上述樂曲之演奏音之音調及音量之音調音量資料。
又，本發明提供一種伺服器裝置，其具備：表情演奏出現資料獲取機構，其對於任意數量之由任意演奏者進行之樂曲之演奏音之各者，獲取表示以上述樂曲中所含之音符或音符群之發音開始時刻為基準之一個時序下出現一個表情演奏之表情演奏出現資料；表情演奏參考資料生成機構，其基於由上述表情演奏出現資料獲取機構獲取之任意數量之表情演奏出現資料，對於上述樂曲中所含之音符或音符群之各者，特定出以該音符或音符群之發音開始時刻為基準之任一時序下任一表情演奏是否以任一頻率出現，按照該特定出之資訊，生成以上述樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在該樂曲中應進行之時序之表情演奏參考資料；及發送機構，其將由上述表情演奏參考資料生成機構生成之表情演奏參考資料發送至演奏評估裝置。
又，本發明提供一種歌唱評估系統，其具備：表情演奏參考資料獲取機構，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之第一表情演奏參考資料；音調音量資料生成機構，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；演奏評估機構，其係於由上述音調音量資料生成機構生成之上述音調音量資料所示之音調及音量之至少一者之特性表示由上述樂曲中之上述第一表情演奏參考資料所示之特定時間範圍內應由上述第一表情演奏參考資料進行之表情演奏特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估；表情演奏出現資料獲取機構，其對於任意數量之由任意演奏者進行之樂曲之演奏音之各者，獲取表示以上述任意演奏者演奏之上述樂曲中所含之音符或音符群之發音開始時刻為基準之一個時序下出現一個表情演奏之表情演奏 出現資料；及表情演奏參考資料生成機構，其基於由上述表情演奏出現資料獲取機構獲取之任意數量之表情演奏出現資料，對於由上述任意演奏者演奏之樂曲中所含之音符或音符群之各者，特定出以該音符或音符群之發音開始時刻為基準之任一時序下任一表情演奏是否以任一頻率出現，按照該特定出之資訊，生成以上述任意演奏者演奏之樂曲中所含之音符或音符群之發音開始時刻為基準，表示由上述任意演奏者進行之樂曲之演奏中應進行之表情演奏與該表情演奏在由上述任意演奏者演奏之樂曲中應進行之時序之第二表情演奏參考資料。
又，本發明提供一種演奏評估方法，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料，自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料，於由上述音調音量資料所示之音調及音量之至少一者之特性表示在由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估。
又，本發明提供一種程式，其可由電腦執行，且使上述電腦執行以下處理：表情演奏參考資料獲取處理，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示將上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料；音調音量資料生成處理，其係自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；及演奏評估處理，其係於由上述音調音量資料生成機構所生成之上述音調音量資料所示之音調及音量之至少一者之特性表示在由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏特性之情形時，提高對由上述演奏者進行之上述樂曲之演 奏之評估。
根據本發明，實現一種於各樂曲之演奏中，若以期望之時序進行期望之表情演奏，則對演奏者給予較高之評估之演奏評估裝置。其結果，於由演奏者進行表情演奏之情形時，進行與人之感受背離較少之評估。
1‧‧‧歌唱評估系統
10‧‧‧卡拉OK裝置
10-m‧‧‧卡拉OK裝置
11‧‧‧聲源
12‧‧‧揚聲器
13‧‧‧麥克風
14‧‧‧顯示部
15‧‧‧通訊介面
16‧‧‧聲音適配器
17‧‧‧CPU
18‧‧‧RAM
19‧‧‧ROM
20‧‧‧硬碟
21‧‧‧音聲儲存器
30‧‧‧伺服器裝置
35‧‧‧通訊介面
37‧‧‧CPU
38‧‧‧RAM
39‧‧‧ROM
40‧‧‧硬碟
90‧‧‧網路
101‧‧‧表情演奏參考資料獲取機構
102‧‧‧音調音量資料生成機構
103‧‧‧演奏評估機構
APG‧‧‧歌唱分析程式
DBS‧‧‧歌唱樣本資料庫
DBRK‧‧‧參考資料庫
DBRS‧‧‧參考資料庫
HD‧‧‧標頭
MD-n‧‧‧曲目資料
SA‧‧‧聲音信號
SI‧‧‧圖像信號
SL‧‧‧輸出信號
SM‧‧‧收音信號
SP‧‧‧輸出信號
TRAC‧‧‧伴奏音軌
TRLY‧‧‧歌詞音軌
TRNR‧‧‧範本歌唱參考音軌
VPG‧‧‧歌唱評估程式
圖1係顯示本發明之一實施形態之歌唱評估系統之構成之圖。
圖2係顯示延音之歌唱音之波形之圖。
圖3係顯示顫音之歌唱音之波形之圖。
圖4係顯示裝飾音之歌唱音之波形之圖。
圖5係顯示上滑音之歌唱音之波形之圖。
圖6係顯示下滑音之歌唱音之波形之圖。
圖7係顯示本發明之一實施形態之歌唱評估系統之動作之流程圖。
圖8係針對延音生成之統計資料之一例。
圖9係針對顫音生成之統計資料之一例。
圖10係針對裝飾音生成之統計資料之一例。
圖11係針對上滑音生成之統計資料之一例。
圖12係針對下滑音生成之統計資料之一例。
圖13係顯示本發明之演奏評估裝置之方塊圖。
以下，參照圖式說明本發明之實施形態。
圖1係顯示本發明之一實施形態之歌唱評估系統1之構成之圖。該歌唱評估系統1具有卡拉OK裝置10-m(m=1、2...M，M係卡拉OK裝置之總數)與伺服器裝置30。卡拉OK裝置10-m於各卡拉OK店內分別 設置一台或複數台。伺服器裝置30設於系統運營中心內。卡拉OK裝置10-m及伺服器裝置30與網絡90連接，可相互收發各種資料。
卡拉OK裝置10-m係進行藉由支持使用者之歌唱之伴奏曲之播放與歌詞顯示完成之歌唱演出、與使用者之歌唱優劣之評估之裝置。此處，卡拉OK裝置10-m於歌唱優劣之評估中，進行以使用者之歌唱音之音調及音量之良好與否為評估對象之評估、與以如下所示之5種表情歌唱之良好與否為評估對象之評估。將2個評估之評估結果之得分與評論訊息一併向使用者提示。
a1.延音
其係故意延遲歌曲內之特定音之歌出之表情歌唱。如圖2所示，於進行該歌唱之情形時，聲音之音調自歌唱音之前之音向該歌唱音變化之時刻較樂譜(範本歌唱)中對應於兩個音之2個音符(音符)之轉移時刻僅延遲少許時間。
b1.顫音
其係一面對歌曲內之特定音保持表觀之音調一面使其細微地顫動之表情歌唱。如圖3所示，於進行該歌唱之情形時，歌唱音之音調跨及樂譜中之對應於該音之音符之高度而週期性地變化。
c1.裝飾音
其係使歌曲內之特定音之音色於發音之途中以吼叫之方式變化之表情歌唱。如圖4所示，於進行該歌唱之情形時，歌唱音之音調於樂譜中之對應於該音之音符之途中一下子上升。
d1.上滑音
其係以比原來之高度低之聲音發音歌曲內之特定音後接近原來之高度之歌唱方法。如圖5所示，於進行該歌唱之情形時，歌唱音之發音開始時刻之音調比樂譜中之對應於該音之音符之高度低。並且，該歌唱音之音調在發音開始後緩慢上升，到達至與音符之高度大致相 同之高度。
e1.下滑音(fall)
其係以比原來之高度高之聲音發音歌曲內之特定音後接近原來之高度之歌唱方法。如圖6所示，於進行該歌唱之情形時，歌唱音之發音開始時刻之音調比樂譜中之對應於該音之音符之高度高。並且，該歌唱音之音調在發音開始後緩慢下降，到達至與音符之高度大致相同之高度。
返回至圖1，繼續進行歌唱評估系統1整體之說明。卡拉OK裝置10-m具有聲源11、揚聲器12、麥克風13、顯示部14、通訊介面15、聲音適配器16、CPU(Central Processing Unit，中央處理單元)17、RAM(Random Access Memory，隨機存取記憶體)18、ROM(Read Only Memory，唯讀記憶體)19、硬碟20、音聲儲存器(sequencer)21。聲源11輸出依據MIDI(Musical Instrument Digital Interface：樂器數位介面)之各種訊息之聲音信號SA。揚聲器12將所賦予之信號作為聲音播放。麥克風13接收聲音並輸出收音信號SM。顯示部14顯示對應於圖像信號SI之圖像。通訊介面15在與連接於網路90之裝置間收發資料。
聲音適配器16測定聲音信號SM之音調及音量，生成表示其等之時間變化之音調音量資料。具體而言，聲音適配器16係每時間TS(例如TS=30毫秒)檢測自麥克風13賦予之聲音信號SM之音調，將該檢測結果作為信號SP輸出。又，聲音適配器16係每時間TS檢測自麥克風13賦予之聲音信號SM之音量，將該檢測結果作為信號SL輸出。
CPU17將RAM18作為工作區利用並且執行記憶於ROM19或硬碟20之程式。該CPU17之動作詳情於下文進行敍述。於ROM19中記憶有IPL(Initial Program Loader：初始程式載入器)等。於硬碟20中記憶有各種歌曲之曲目資料MD-n(n=1~N)(N係歌曲種類之總數)、參考資料庫DBRK及歌唱評估程式VPG。各歌曲之曲目資料MD-n係以 SMF(Standard MIDI File：標準MIDI檔案)形式記錄有歌曲之伴奏內容、歌曲之歌詞及歌曲之範本歌唱內容之資料。
若具體說明，則如圖1之框內所示，曲目資料MD-n包含標頭HD、伴奏音軌TRAC、歌詞音軌TRLY、範本歌唱參考音軌TRNR。於標頭HD中記述有曲目編號、曲名、類型、演奏時間、時基(相當於4分音符中1個音符之時間之滴答聲(tick)數)等資訊。
伴奏音軌TRAC中按時間序列順序記述有指示歌曲之樂譜之伴奏部分之各音符NT(i)(i表示自樂譜之相當部分之前頭之音符NT(1)起計算之順序)之音之發音之事件EV(i)ON與指示其消音之事件EV(i)OFF、及表示前後事件之執行時間差(滴答聲數)之差量時間DT。
歌詞音軌TRLY中按時間序列順序記述有表示歌曲之歌詞之各資料DLY、與表示各歌詞之顯示時刻(更具體而言，各歌詞之顯示時刻與各者之前之歌詞之顯示時刻之間的時間差(滴答聲數))之差量時間DT。
範本歌唱參考音軌TRNR中按時間序列順序記述有指示歌曲之樂譜之歌唱部分之各音符NT(i)之音之發音之事件EV(i)ON與指示其消音之事件EV(i)OFF、及表示前後事件之執行時間差(滴答聲數)之差量時間DT。
參考資料庫DBRK中記憶有5種表情歌唱參考資料DDa1、DDa2、DDa3、DDa4、DDa5。表情歌唱參考資料DDa1係表示以歌曲中所含之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時進行延音歌唱之情形的評估分VSR(t)之各對之資料。表情歌唱參考資料DDa2係表示以歌曲中所含之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時進行顫音歌唱之情形的評估分VSR(t)之各對之資料。表情歌唱參考資料DDa3係表示以歌曲中所含之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該 等時刻t時進行裝飾音歌唱之情形的評估分VSR(t)之各對之資料。表情歌唱參考資料DDa4係表示以歌曲中所含之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時進行上滑音歌唱之情形的評估分VSR(t)之各對之資料。表情歌唱參考資料DDa5係表示以歌曲中所含之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時進行下滑音歌唱之情形的評估分VSR(t)之各對之資料。以下，不區分5種表情歌唱參考資料DDa1、DDa2、DDa3、DDa4、DDa5之情形記作表情歌唱參考資料DD。
歌唱評估程式VPG具有以下3個功能。
a2.標準評估功能
其係將由聲音適配器16之輸出信號SL及SP所示之音調及音量與由範本歌唱參考音軌TRNR內之各事件EV(i)ON及EV(i)OFF決定之各音符NT(i)之範本音調PCHREF及範本音量LVREF進行比較，基於該比較之結果來評估歌唱優劣之功能。
b2.表情歌唱評估功能
其係如下之功能：每當聲音適配器16之輸出信號SP所示之音調波形中出現表情歌唱之特徵波形時，求得以成為表情歌唱之對象之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之表情歌唱之特徵波形的出現時刻，自參考資料庫DBRK內之相當之表情歌唱參考資料DD之各評估分VSR(t)中選擇與該出現時刻對應之評估分VSR(t)，基於該評估分VSR(t)評估歌唱優劣。
c2.評估結果提示功能
其係自a2進行之評估之評估結果及b2進行之評估之評估結果算出得分，使該得分與評論訊息一併顯示於顯示部14之功能。
音聲儲存器21係於基於利用遠程控制器(未圖示)進行之歌曲之歌唱開始操作將相當曲目之曲目資料MD-n自硬碟20傳送至RAM18之情 形時，將該曲目資料MD-n內之事件EV(i)ON、EV(i)OFF及資料DLY供給至裝置各部。具體而言，若於RAM18中記憶曲目資料MD-n，則音聲儲存器21基於記述於該曲目資料MD-n之標頭HD之時基與由遠程控制器(未圖示)指定之節拍來規定1滴答聲之時間長，根據該時間長之經過計數滴答聲且進行以下3個處理。
第1處理中，音聲儲存器21係每當滴答聲之計算數與伴奏音軌TRAC內之差量時間DT一致時讀取後續之事件EV(i)ON(或EV(i)OFF)並供給至聲源11。聲源11係若自音聲儲存器21供給事件EV(i)ON，則將該事件EV(i)ON指定之聲音信號SA供給至揚聲器12，若自音聲儲存器21供給事件EV(i)OFF，則停止向揚聲器12之聲音信號SA之供給。
第2處理中，音聲儲存器21係每當滴答聲之計算數與歌詞音軌TRLY內之差量時間DT一致時讀取後續之資料DLY並供給至顯示部14。若自音聲儲存器21供給資料DLY，則顯示部14將該資料DLY轉換為歌詞字幕之圖像，並使該圖像顯示於顯示器(未圖示)。
藉由音聲儲存器21進行該第1及第2處理，而進行自揚聲器12播放伴奏音及對顯示器顯示歌詞。使用者一面聽自揚聲器12播放之伴奏音一面向麥克風13歌唱顯示於顯示器之歌詞。使用者向麥克風13歌唱之期間，麥克風13輸出使用者之歌唱音之收音信號SM，聲音適配器16輸出表示該信號SM之音調及音量之信號SP及SL。
第3處理中，音聲儲存器21係每當滴答聲之計算數與範本歌唱參考音軌TRNR內之差量時間DT一致時讀取後續之事件EV(i)ON(或EV(i)OFF)並供給至CPU17。CPU17使用自音聲儲存器21供給之事件EV(i)ON及EV(i)OFF與聲音適配器16之輸出信號SP及SL來評估使用者之歌唱之優劣。詳情於下文進行敍述。
伺服器裝置30係發揮支援卡拉OK店鋪之伺服器之提供之作用的裝置。伺服器裝置30具有通訊介面35、CPU37、RAM38、ROM39、 硬碟40。通訊介面35在與連接於網路90之裝置之間收發資料。CPU37將RAM38作為工作區使用，且執行記憶於ROM39或硬碟40之各種程式。該CPU37之動作之詳情於下文進行敍述。於ROM39中記憶有IPL等。
於硬碟40中記憶有歌唱樣本資料庫DBS、參考資料庫DBRS及歌唱分析程式APG。於歌唱樣本資料庫DBS中個別記憶有分別對應於1個歌曲之歌唱樣本資料DS群。歌唱樣本資料DS係記錄有具有一定水準以上之歌唱力者歌唱歌曲時之歌唱音之音調波形及音量波形之資料。於參考資料庫DBRS中記憶有應儲存於各卡拉OK裝置10-m之參考資料庫DBRK內之最新之表情歌唱參考資料DD。
歌唱分析程式APG具有以下3個功能。
a3.儲存功能
其係自卡拉OK裝置10-m逐個獲取1曲目量之各歌曲之歌唱樣本資料DS，將獲得之歌唱樣本資料DS儲存於歌唱樣本資料庫DBS之功能。
b3.覆寫功能
其係如下之功能：針對儲存於歌唱樣本資料庫DBS之歌唱樣本資料DS之各者，自該歌唱樣本資料DS所示之波形內搜索表情歌唱之特徵波形，由該搜索結果生成表示以成為表情歌唱之對象之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時之表情歌唱之出現數Num之關係之統計資料，基於統計資料之內容將與參考資料庫DBR內之表情歌唱參考資料DD中之各時刻t對應之評估分VSR(t)覆寫。
c3.發送功能
其係根據來自卡拉OK裝置10-m之要求，將利用覆寫功能覆寫之表情歌唱參考資料DD發送至卡拉OK裝置10-m之功能。
接著說明本實施形態之動作。圖7係顯示本實施形態之動作之流程圖。圖7中，卡拉OK裝置10-m之CPU17於進行歌曲之歌唱開始操作之情形時(S100：Yes(是))，對音聲儲存器21供給控制信號S0使音聲儲存器21開始處理(上述第1~第3處理)(S120)。當音聲儲存器21之處理開始時，CPU17進行標準歌唱評估處理(S130)與表情歌唱評估處理(S140)該2個處理。該2個處理之詳情如下。
a4.標準歌唱評估處理(S130)
該處理中，CPU17將自音聲儲存器21供給事件EV(i)ON後至供給下個事件EV(i)OFF為止之時間設為相當於第i號音符NT(i)之聲音的發音時間TNT(i)。CPU17求得發音時間TNT(i)之間之聲音適配器16之輸出信號SP所示之音調與轉換事件EV(i)ON之音符號碼後之範本音調PCHREF之差PCHDEF、及其間之信號SP所示之音量與轉換事件EV(i)ON之節拍後之範本音量LVREF之差LVDEF，於該差PCHDEF及差LVDEF控制於特定範圍之情形時判定為音符NT(i)之歌唱合格。CPU17於使用者自歌唱開始至結束期間進行該音符判定，將對用判定為合格之音符NT(i)數除以歌唱之結束時刻之所有音符TN(i)之數所得之值乘以100之值作為基本得分SRBASE。
又，於該處理中，CPU17判定聲音適配器16之輸出信號SP所示之音調波形內是否出現延音、顫音、裝飾音、上滑音、下滑音之任一表情歌唱之特徵波形。此處，延音之特徵波形之判定方法之詳情參考專利文獻2，顫音之特徵波形之判定方法之詳情參考專利文獻3，裝飾音之特徵波形之判定方法之詳情參考專利文獻4，上滑音之特徵波形之判定方法之詳情參考專利文獻5，下滑音之特徵波形之判定方法之詳情參考專利文獻6。CPU17係自使用者開始歌唱至結束歌唱之期間進行該特徵波形判定，將對歌唱結束時刻之表情歌唱之出現數乘以特定係數所得之值作為相加分SRADD。而且，於該處理中，將基本得分 SRBASE與相加分SRADD之合計作為標準得分SRNOR。
b4.表情歌唱評估處理(S140)
於該處理中，CPU17將聲源事件EV(i)ON之輸出至下個事件EV(i)OFF之輸出為止之時間作為相當於第i號音符NT(i)之音之發音時間TNT(i)。而且，於發音時間TNT(i)之間之聲音適配器16之輸出信號SP所示之音調波形內出現表情歌唱特徵波形之情形時，CPU17求得發音時間TNT(i)內之表情歌唱出現時刻與所出現之表情歌唱之種類。CPU17生成表示如此特定之表情歌唱之種類與出現時刻之表情歌唱出現資料。
然後，CPU17自表情歌唱參考資料DD所示之一連串評估分VSR(t)中選擇對應於生成之表情歌唱出現資料所示之表情歌唱及其出現時刻之評估分VSR(t)。CPU係於使用者開始歌唱至結束歌唱之期間進行如此之評估分VSR(t)之選擇，將歌唱結束時刻之評估分VSR(t)之平均值作為表情得分SREX。
當使用者之歌曲歌唱結束時，CPU17進行評估結果提示處理(S150)。評估結果提示處理中，CPU17選擇由標準歌唱評估處理打分之標準得分SRNOR與由表情歌唱評估處理打分之表情得分SREX中較高者之得分。然後，於CPU17選擇標準得分SRNOR之情形時，將該得分SRNOR與例如「很酷很精緻的歌呢」等對應於得分SRNOR之評論訊息顯示於顯示部14。又，於CPU17選擇表情得分SREX之情形時，將該得分SREX與例如「充滿感情呢」等對應於表情得分SREX之評論訊息顯示於顯示部14。
接著，CPU17進行樣本發送處理(S160)。樣本發送處理中，CPU17將在歌曲之歌唱開始至結束之期間由聲音適配器16輸出之信號SP及SL作為該歌曲之歌唱樣本資料DS，將包含該歌唱樣本資料DS與步驟S130中求得之基本得分SRBASE(歌唱評估資料)之訊息MS1發送至 伺服器裝置30。
若自卡拉OK裝置10-m獲得訊息MS1(S200：Yes)，則伺服器裝置30之CPU37自該訊息MS1取出歌唱樣本資料DS與基本得分SRBASE，將該基本得分SRBASE與劃分上級者及非上級者之基準得分SRTH(例如80分)進行比較(S220)。於基本得分SRBASE高於基準得分SRTH之情形時(S220：Yes)，CPU37將自訊息MS1取出之歌唱樣本資料DS儲存於歌唱樣本資料庫DBS(S230)。
接著，CPU37進行覆寫處理(S240)。覆寫處理中，CPU37進行以下5個處理。第1處理中，CPU37自儲存於歌唱樣本資料庫DBS之各歌唱樣本資料DS所示之音調波形內搜索延音之特徵波形，生成表示該搜索結果之表情歌唱出現資料(表示以出現延音之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t之資料)。接著，CPU37基於有關延音生成之表情歌唱出現資料，生成以音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時之表情歌唱「延音」之出現數Num之關係的統計資料，基於該統計資料之內容而覆寫與表情歌唱參考資料DDa1中之各時刻t對應之評估分VSR(t)。
圖8係顯示對於延音之統計資料之一例之圖。該例之統計資料中，在比基準點tBS提前時間T1a1之時刻t1a1與比基準點tBS延後時間T4a1之時刻t4a1之間分佈有表情歌唱之出現數Num。並且，於該例之統計資料中，在緊接基準點tBS後之時刻t2a1表現有出現數Num之最大峰值，在比時刻t2a1遲之時刻t3a1表現有出現數Num之第2峰值。藉此，利用該例之統計資料之覆寫後之表情歌唱參考資料DDa1中，時刻t2a1之評估分VSR(t2a1)最高，時刻t3a1之評估分VSR(t3a1)第2高。
第2處理中，CPU37自儲存於歌唱樣本資料庫DBS之各歌唱樣本資料DS所示之音調波形內搜索顫音之特徵波形，生成表示該搜索結果之表情歌唱出現資料(表示以顫音出現之音符NT(i)之發音開始時刻 為基準點tBS之時間軸上之各時刻t之資料)。接著，CPU37基於有關顫音生成之表情歌唱出現資料，生成表示以音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時之表情歌唱之出現數Num之關係的統計資料，基於該統計資料之內容而覆寫與表情歌唱參考資料DDa2之各時刻t對應之評估分VSR(t)。
圖9係顯示對於顫音之統計資料之一例之圖。該例之統計資料中，在基準點tBS與比基準點tBS延後時間T2a2之時刻t2a2之間分佈有表情歌唱之出現數Num。而且，於該例之統計資料中，在比基準點tBS延後時間T1a2之時刻t1a2表現有出現數Num之最大峰值。藉此，利用該例之統計資料之覆寫後之表情歌唱參考資料DDa2中，時刻t1a2之評估分VSR(t1a2)最高。
第3處理中，CPU37自儲存於歌唱樣本資料庫DBS之各歌唱樣本資料DS所示之音調波形內搜索裝飾音之特徵波形，生成表示該搜索結果之表情歌唱出現資料(表示以裝飾音出現之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t之資料)。接著，CPU37基於有關裝飾音生成之表情歌唱出現資料，生成表示以音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時之表情歌唱出現數Num之關係的統計資料，基於該統計資料之內容而覆寫與表情歌唱參考資料DDa3中之各時刻t對應之評估分VSR(t)。
圖10係顯示對於裝飾音之統計資料之一例之圖。該例之統計資料中，在基準點tBS與比基準點tBS延後時間T2a3之時刻t2a3之間分佈有表情歌唱之出現數Num。並且，該例之統計資料中，在比基準點tBS延後時間T1a3之時刻t1a3表現有出現數Num之最大峰值。藉此，利用該例之統計資料之覆寫後之表情歌唱參考資料DDa3中，時刻t1a3之評估分VSR(t1a3)最高。
第4處理中，CPU37自儲存於歌唱樣本資料庫DBS之各歌唱樣本 資料DS所示之音調波形內搜索上滑音之特徵波形，生成表示該搜索結果之表情歌唱出現資料(表示以上滑音出現之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t之資料)。接著，CPU37基於關於上滑音而生成之表情歌唱出現資料，生成表示以音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時之表情歌唱出現數Num之關係的統計資料，基於該統計資料之內容而覆寫與表情歌唱參考資料DDa4中之各時刻t對應之評估分VSR(t)。
圖11係顯示對於上滑音之統計資料之一例之圖。該例之統計資料中，在基準點tBS與比基準點tBS延後時間T2a4之時刻t2a4之間分佈有表情歌唱之出現數Num。並且，該例之統計資料中，於基準點tBS表現有出現數Num之最大峰值，於比基準點tBS延後時間T1a4之時刻t1a4表現有出現數Num之第2峰值。藉此，利用該例之統計資料之覆寫後之表情歌唱參考資料DDa4中，時刻tBS之評估分VSR(tBS)最高，時刻t1a4之評估分VSR(t1a4)第2高。
第5處理中，CPU37自儲存於歌唱樣本資料庫DBS之各歌唱樣本資料DS所示之音調波形內搜索下滑音之特徵波形，生成表示該搜索結果之表情歌唱出現資料(表示以下滑音出現之音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t之資料)。接著，CPU37基於有關下滑音生成之表情歌唱出現資料，生成表示以音符NT(i)之發音開始時刻為基準點tBS之時間軸上之各時刻t與該等時刻t時之表情歌唱出現數Num之關係的統計資料，基於該統計資料之內容而覆寫與表情歌唱參考資料DDa5中之各時刻對應之評估分VSR(t)。
圖12係顯示對於下滑音之統計資料之一例之圖。該例之統計資料中，在比基準點tBS延後時間T1a5之時刻t1a5與自時刻tBS延後時間T2a5之時刻t2a5之間分佈有表情歌唱之出現數Num。並且，該例之統計資料中，於時刻t2a5表現有出現數Num之最大峰值。藉此，利用該 例之統計資料之覆寫後之表情歌唱參考資料DDa5中，時刻t2a5之評估分VSR(t2a5)最高。
圖7中，卡拉OK裝置10-m之CPU17每當於預先規定之詢問時刻到來(S110：Yes)時進行詢問處理(S170)。該詢問處理中，CPU17將求得最新資料之發送之訊息MS2發送至伺服器裝置30(S170)。若自卡拉OK裝置10-m接收訊息MS2(S210：Yes)，則伺服器裝置30之CPU37將在上次之訊息MS2之接收時刻至此次之訊息MS2之接收時刻之間覆寫內容後之表情歌唱參考資料DD發送至訊息M2之發送端之卡拉OK裝置10-m(S250)。若自伺服器裝置30接收表情歌唱參考資料DD，則卡拉OK裝置10-m之CPU17將該表情歌唱參考資料DD覆寫於參考資料庫DBRK而更新其內容(S180)。
以上係本實施形態之構成之詳情。根據本實施形態可獲得以下效果。
第1，於本實施形態之附帶表情之歌唱評估處理中，每當於聲音適配器16之輸出信號之波形中出現表情歌唱之特徵波形時，求得以成為表情歌唱之對象之音符NT(i)之發音開始時刻為基準點之時間軸上之表情歌唱之特徵波形之出現時刻，自歌唱參考資料DD內之各評估分VSR(t)中選擇與該出現時刻對應之評估分VSR(t)，基於該選擇之評估分VSR(t)評估歌唱之優劣。藉此，根據本實施形態，即便使用者進行表情歌唱，若其時序不適當仍無法獲得良好之評估。因此，根據本實施形態，可提示更接近人之感受之評估結果。
第2，本實施形態中，對於儲存於歌唱樣本資料庫DBS內之表情歌唱參考資料DD之各者，自該資料DD所示之波形內搜索表情歌唱之特徵波形，由該搜索結果生成表示以成為表情歌唱之對象之音符NT(i)之發音開始時刻為基準點之時間軸上之各時刻與該等時刻時之表情歌唱之出現數之關係的統計資料，基於統計資料之內容而覆寫與 歌唱參考資料DD中之各時刻對應之評估分VSR(t)。藉此，根據本實施形態，可使完美演唱歌曲之上級者們之歌唱方法之傾向變化反映於評估結果。
以上，針對本發明之一實施形態進行了說明，但本發明亦可有其他實施形態。例如，如下所述。
(1)上述實施形態中，CPU17自聲音適配器16之輸出信號SP檢測延音、顫音、裝飾音、上滑音、下滑音該5種表情歌唱。但亦可檢測該5種以外之表情歌唱。例如亦可檢測抑揚頓挫之歌唱。
(2)上述實施形態中，CPU17使用聲音適配器16之輸出信號SP及SL兩者進行標準歌唱評估處理，僅使用聲音適配器16之輸出信號SP及SL中表示音調之信號SP進行表情歌唱評估處理。但CPU17亦可僅使用信號SP及SL之一者進行標準歌唱評估處理。又，CPU17亦可使用信號SP及SL兩者進行表情歌唱評估處理。
(3)上述實施形態之表情歌唱評估處理中，基於表情歌唱之特徵波形之出現時刻評估歌唱之優劣。但亦可進行添加有表情歌唱之特徵波形之出現時刻以外之要素(例如延音、顫音、裝飾音、上滑音、下滑音之各者之長度或深度等)之評估。
(4)上述實施形態之表情歌唱評估處理中，採用檢測對應於歌曲中所含之各音符之歌唱音中出現之表情歌唱之構成，但亦可採用檢測對應於歌曲中所含之一連串複數個音符(音符群)之歌唱音中出現之表情歌唱之構成。例如，如漸強．漸弱之表情歌唱係在一連串複數個音符之歌唱中進行之表情歌唱，因此該等表情歌唱之檢測及評估較理想為以音符群為單位進行。因此，關於如此之表情歌唱之表情歌唱參考資料DD亦較理想為以音符群單位構成。
(5)上述實施形態中，採用如下之構成：自卡拉OK裝置10對伺服器裝置30發送包含自歌曲之歌唱開始至結束之期間由聲音適配器16輸 出之信號SP及SL之歌唱樣本資料DS(音調音量資料)，於伺服器裝置30中由歌唱樣本資料DS進行各表情歌唱之檢測及其出現時序之特定處理。亦可取代其，採用如下之構成：自卡拉OK裝置10對伺服器裝置30發送表示由麥克風13收音之聲音的聲音信號SM(表示歌唱音之聲音波形資料)，於伺服器裝置30中進行自聲音信號SM生成信號SP及信號SL之處理(上述實施形態中之聲音適配器16進行之處理)之構成。又，亦可採用如下之構成：自卡拉OK裝置10對伺服器裝置30發送表示按照歌唱評估程式VPG進行之表情歌唱評估處理(S140)時特定之表情歌唱之種類及其出現時序之資料(表情歌唱出現資料)，於伺服器裝置30中不進行表情歌唱檢測處理，而基於自卡拉OK裝置10發送之表情歌唱出現資料進行表情歌唱參考資料DD之更新處理。
(6)上述實施形態中，伺服器裝置30進行統計資料之生成與基於此之表情歌唱參考資料DD之覆寫。但各卡拉OK裝置10-m亦可將先前由自機生成或自其他卡拉OK裝置10-m直接或經由伺服器裝置30獲得之表示歌唱音之聲音信號SM、或由該等聲音信號SM生成之信號SP及信號SL、或表示使用該等信號特定之表情歌唱之種類及其出現時序之資料(表情歌唱出現資料)預先記憶於硬碟20，CPU17讀取其等並使用，伺服器裝置30進行與S240進行之處理相同之處理、即統計資料之生成與基於此之表情歌唱參考資料DD之覆寫。
(7)上述實施形態中之歌唱之評估方法及對歌唱者提示評估結果之態樣可進行各種變更。例如，上述實施形態中，採用藉由將標準歌唱評估處理(S130)中基於表情歌唱之出現次數算出之相加分SRADD與基本得分SRBASE合計而算出標準得分SRNOR之構成，但亦可採用不考慮標準歌唱評估處理中表情歌唱之出現，僅算出基本得分SRBASE之構成。又，上述實施形態中，對歌唱者顯示由標準歌唱評估處理打分之標準得分SRNOR與由表情歌唱評估處理打分之表情得分SREX中較高者 之得分，但亦可進行顯示該等兩者、顯示其等之合計分數等以其他態樣對歌唱者之評估結果之提示。
(8)上述實施形態中，採用如下構成：於表情歌唱參考資料DD之更新時，將基本得分SRBASE高於基準得分SRTH之歌唱者作為上級者，僅使用關於上級者之歌唱樣本資料DS進行表情歌唱參考資料DD之更新。表情歌唱參考資料DD之更新所使用之歌唱樣本資料DS之選擇方法不限於此。例如亦可取代基本得分SRBASE，將對基本得分SRBASE合計相加分SRADD之標準得分SRNOR作為上級者之推測基準使用。又，亦可採用如下之構成：為了將因完全未進行表情歌唱而基本得分SRBASE成為高得分之上級者除外，除設置下側之閾值(基準得分SRTH)以外亦設置上側之閾值，高於上側之閾值之基本得分SRBASE(或其他得分)之歌唱者之歌唱樣本資料DS不用於表情歌唱參考資料DD之更新。又，亦可取代如上述般將歌唱者分為上級者與其以外者該2部分，例如對基本得分SRBASE較高之歌唱者之歌唱樣本資料DS附加較大之加權而用於表情歌唱參考資料DD之更新。
(9)上述實施形態中，作為評估樂曲演奏之演奏評估裝置之一例，顯示有設於歌唱用卡拉OK裝置且評估歌唱演奏之演奏評估裝置，但本發明之演奏評估裝置並不限於歌唱演奏之評估，亦可適用於使用各種樂器之樂曲演奏之評估。即，上述實施形態中使用之「歌唱」這一語言可由更普通之「演奏」這一語言置換。再者，評估樂器演奏之演奏評估裝置中，例如進行有關吉他之推弦(choking)等對應於各樂器之表情演奏之評估。又，於樂曲並非歌曲而為樂器用之樂曲之情形時，樂器演奏用卡拉OK裝置構成為曲目資料MD取代歌詞音軌TRLY而包含例如表示樂譜之資料與作為表示樂譜之各區間(例如2小節或4小節之模塊等)之顯示時刻之差量時間按時間序列順序記述之資料之樂譜音軌，音聲儲存器21及顯示部14係以按照樂譜音軌，伴隨樂曲 之進行將表示對應於伴奏部位之樂譜之圖像信號輸出至顯示器之方式構成。再者，歌唱用卡拉OK裝置及樂器演奏用卡拉OK裝置中，無需歌唱或樂譜之顯示之情形時，亦可不進行利用音聲儲存器21及顯示部14進行之圖像信號之輸出處理。
(10)如由以上之例示而理解般，本發明之較佳態樣之演奏評估裝置係作為如下裝置而總括地表現，且其他要素之有無或其他要素之具體態樣為任意，該裝置如圖13所例示般具備：表情演奏參考資料獲取機構101，其獲取以樂曲中所含之音符或音符群之發音開始時刻作為基準，表示於上述樂曲演奏中應進行之表情演奏與該表情演奏應於上述樂曲中進行之時序之表情演奏參考資料；音調音量資料生成機構102，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；及演奏評估機構103，其係於由上述音調音量資料生成機構102生成之上述音調音量資料所示之音調及音量之至少一者之特性表示上述樂曲之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏特性之情形時，提高對上述演奏者之上述樂曲演奏之評估。
(11)上述實施形態中，顯示有於作為所謂之專用機之卡拉OK裝置中設有本發明之演奏評估裝置之例，但本發明之演奏評估裝置並不限於專用機。例如亦可採用藉由使個人電腦或可攜式資訊終端(例如可攜式電話或智能電話)或遊戲機裝置等各種裝置進行按照程式之處理而實現本發明之演奏評估裝置之構成。又，該程式亦可儲存散佈於CD-ROM等記錄媒體中，或利用網際網路等電通訊電線散佈。
本申請係基於2012年4月18日申請之日本專利申請案之特願2012-094853者，其內容以參照之形式併入至本文中。
[產業上之可利用性]
根據本發明，於由演奏者進行表情演奏之情形時，可進行與人 之感受背離較少之評估。
1‧‧‧歌唱評估系統
10-m‧‧‧卡拉OK裝置
11‧‧‧聲源
12‧‧‧揚聲器
13‧‧‧麥克風
14‧‧‧顯示部
15‧‧‧通訊介面
16‧‧‧聲音適配器
17‧‧‧CPU
18‧‧‧RAM
19‧‧‧ROM
20‧‧‧硬碟
21‧‧‧音聲儲存器
30‧‧‧伺服器裝置
35‧‧‧通訊介面
37‧‧‧CPU
38‧‧‧RAM
39‧‧‧ROM
40‧‧‧硬碟
90‧‧‧網路
APG‧‧‧歌唱分析程式
DBRK‧‧‧參考資料庫
DRRS‧‧‧參考資料庫
DBS‧‧‧歌唱樣本資料庫
HD‧‧‧標頭
MD-n‧‧‧曲目資料
SA‧‧‧聲音信號
SI‧‧‧圖像信號
So‧‧‧控制信號
SL‧‧‧輸出信號
SM‧‧‧收音信號
SP‧‧‧輸出信號
TRAC‧‧‧伴奏音軌
TRLY‧‧‧歌詞音軌
TRNR‧‧‧範本歌唱參考音軌
VPG‧‧‧歌唱評估程式

Claims (12)

  1. 一種演奏評估裝置，其具備：表情演奏參考資料獲取機構，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料；音調音量資料生成機構，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；及演奏評估機構，其係於由上述音調音量資料生成機構生成之上述音調音量資料所示之音調及音量之至少一者之特性表示在由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏之特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估。
  2. 如請求項1之演奏評估裝置，其具備：音調音量資料獲取機構，其對於任意數量之由任意演奏者演奏之樂曲之演奏音之各者，獲取表示該演奏音之音調及音量之音調音量資料；表情演奏出現資料生成機構，其係於由上述音調音量資料獲取機構獲取之音量音調資料所示之音調及音量之至少一者之特性表示在上述樂曲之任意時序下預先規定之1個以上之表情演奏之特性中之一個特性之情形時，生成表示該表情演奏與以上述樂曲所含之音符或音符群之發音開始時刻為基準之該時序之對的表情演奏出現資料；及表情演奏參考資料生成機構，其係基於由上述表情演奏出現資料生成機構生成之任意數量之表情演奏出現資料，對於上述 樂曲中所含之音符或音符群之各者，特定出以該音符或音符群之發音開始時刻為基準之任一時序下任一表情演奏是否以任一頻率出現，按照該特定出之資訊生成表情演奏參考資料。
  3. 如請求項2之演奏評估裝置，其具備記憶表情演奏參考資料之表情演奏參考資料記憶機構，基於由上述表情演奏參考資料生成機構生成之上述表情演奏參考資料，記憶於上述表情演奏參考資料記憶機構之上述表情演奏參考資料被覆寫。
  4. 如請求項1至3中任一項之演奏評估裝置，其具備獲取表示成為上述樂曲之範本之音調之範本演奏參考資料的範本演奏參考資料獲取機構，上述演奏評估機構係基於由上述音調音量資料生成機構生成之音調音量資料所示之音調、與由上述範本演奏參考資料所示之音調之比較結果，進行對由上述演奏者進行之上述樂曲之演奏之評估。
  5. 如請求項2之演奏評估裝置，其具備獲取表示成為上述樂曲之範本之音調之範本演奏參考資料的範本演奏參考資料獲取機構，上述演奏評估機構係基於由上述音調音量資料生成機構生成之音調音量資料所示之音調、與由上述範本演奏參考資料所示之音調之比較結果，進行對由上述演奏者進行之上述樂曲之演奏之評估，由上述音調音量資料獲取機構獲取之音調音量資料係伴隨演奏評估資料，該演奏評估資料表示由上述演奏評估機構使用上述範本演奏參考資料進行之評估結果，或由具備與上述演奏評估機構相同機構之其他機構使用與上述範本演奏參考資料相同之資料進行之評估結果， 上述表情演奏參考資料生成機構使用伴隨由上述音調音量資料獲取機構獲取之音調音量資料中滿足特定條件之演奏評估資料之音調音量資料，基於由上述表情演奏出現資料生成機構生成之表情演奏出現資料，生成上述表情演奏參考資料。
  6. 一種卡拉OK裝置，其具備：如請求項1至5中任一項之演奏評估裝置；伴奏資料獲取機構，其獲取指示樂曲之伴奏之伴奏資料；及聲音信號輸出機構，其伴隨上述伴奏資料之指示輸出表示伴奏之音樂之聲音信號；且上述音調音量資料生成機構生成音調音量資料，該音調音量資料表示對應於依據自上述聲音信號輸出機構輸出之聲音信號自揚聲器播放之伴奏而由上述演奏者進行之上述樂曲之演奏音之音調及音量。
  7. 如請求項6之卡拉OK裝置，其中上述樂曲為歌曲，且該卡拉OK裝置具備：歌詞資料獲取機構，其獲取表示上述歌曲之歌詞之歌詞資料；及圖像信號輸出機構，其輸出表示由上述歌詞資料所示之歌詞，且應與由上述聲音信號輸出機構目前輸出之聲音信號所示之伴奏一併歌唱之歌詞之圖像信號。
  8. 如請求項6之卡拉OK裝置，其中上述樂曲為由樂器演奏之樂曲，且該卡拉OK裝置具備：樂譜資料獲取機構，其獲取表示上述樂曲之樂譜之樂譜資料；及圖像信號輸出機構，其輸出表示由上述樂譜資料所示之樂譜，且指示應與由上述聲音信號輸出機構目前輸出之聲音信號 所示之伴奏一併進行之演奏之樂譜的圖像信號。
  9. 一種伺服器裝置，其具備：表情演奏出現資料獲取機構，其對於任意數量之由任意演奏者演奏之樂曲之演奏音之各者，獲取表示以上述樂曲中所含之音符或音符群之發音開始時刻為基準之一個時序下出現一個表情演奏之表情演奏出現資料；表情演奏參考資料生成機構，其基於由上述表情演奏出現資料獲取機構獲取之任意數量之表情演奏出現資料，對於上述樂曲中所含之音符或音符群之各者，特定出以該音符或音符群之發音開始時刻為基準之任一時序下任一表情演奏是否以任一頻率出現，按照該特定出之資訊，生成以上述樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在該樂曲中應進行之時序之表情演奏參考資料；及發送機構，其將由上述表情演奏參考資料生成機構生成之表情演奏參考資料發送至演奏評估裝置。
  10. 一種歌唱評估系統，其具備：表情演奏參考資料獲取機構，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之第一表情演奏參考資料；音調音量資料生成機構，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；演奏評估機構，其係於由上述音調音量資料生成機構生成之上述音調音量資料所示之音調及音量之至少一者之特性表示在由上述樂曲中之上述第一表情演奏參考資料所示之特定時間範 圍內應由上述第一表情演奏參考資料進行之表情演奏之特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估；表情演奏出現資料獲取機構，其對於任意數量之由任意演奏者演奏之樂曲之演奏音之各者，獲取表示以上述任意演奏者演奏之上述樂曲中所含之音符或音符群之發音開始時刻為基準之一個時序下出現一個表情演奏之表情演奏出現資料；及表情演奏參考資料生成機構，其係基於由上述表情演奏出現資料獲取機構獲取之任意數量之表情演奏出現資料，對於由上述任意演奏者演奏之樂曲中所含之音符或音符群之各者，特定出以該音符或音符群之發音開始時刻為基準之任一時序下任一表情演奏是否以任一頻率出現，按照該特定出之資訊，生成以上述任意演奏者演奏之樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述任意演奏者之樂曲演奏中應進行之表情演奏與該表情演奏在上述任意演奏者之樂曲中應進行之時序之第二表情演奏參考資料。
  11. 一種演奏評估方法，其係獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料，自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料，於由上述音調音量資料所示之音調及音量之至少一者之特性表示在由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏之特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估。
  12. 一種程式，其可由電腦執行，且使上述電腦執行以下處理： 表情演奏參考資料獲取處理，其獲取以樂曲中所含之音符或音符群之發音開始時刻為基準，表示上述樂曲之演奏中應進行之表情演奏與該表情演奏在上述樂曲中應進行之時序之表情演奏參考資料；音調音量資料生成處理，其自演奏者演奏之上述樂曲之演奏音生成表示該演奏音之音調及音量之音調音量資料；及演奏評估處理，其係於由上述音調音量資料生成機構所生成之上述音調音量資料所示之音調及音量之至少一者之特性表示在由上述樂曲中之上述表情演奏參考資料所示之特定時間範圍內應由上述表情演奏參考資料進行之表情演奏之特性之情形時，提高對由上述演奏者進行之上述樂曲之演奏之評估。
TW102113839A 2012-04-18 2013-04-18 Performance evaluation device, karaoke device, server device, performance evaluation system, performance evaluation method and program TWI497484B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012094853A JP5958041B2 (ja) 2012-04-18 2012-04-18 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置

Publications (2)

Publication Number Publication Date
TW201407602A true TW201407602A (zh) 2014-02-16
TWI497484B TWI497484B (zh) 2015-08-21

Family

ID=49383554

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113839A TWI497484B (zh) 2012-04-18 2013-04-18 Performance evaluation device, karaoke device, server device, performance evaluation system, performance evaluation method and program

Country Status (5)

Country Link
JP (1) JP5958041B2 (zh)
KR (1) KR101666535B1 (zh)
CN (1) CN104170006B (zh)
TW (1) TWI497484B (zh)
WO (1) WO2013157602A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581248B (zh) * 2014-12-16 2017-05-01 Gyouhi Ota Original song new words song communication karaoke server and original song new song song communication karaoke system

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459324B1 (ko) * 2013-08-28 2014-11-07 이성호 음원 평가방법 및 이를 이용한 음원의 평가장치
JP6428066B2 (ja) * 2014-09-05 2018-11-28 オムロン株式会社 採点装置及び採点方法
JP6352164B2 (ja) * 2014-11-28 2018-07-04 株式会社第一興商 聴取者評価を考慮したカラオケ採点システム
CN104392731A (zh) * 2014-11-30 2015-03-04 陆俊 一种练习唱歌的方法和系统
CN104485090B (zh) * 2014-12-12 2020-01-17 上海斐讯数据通信技术有限公司 乐谱生成方法及装置、移动终端
US10380657B2 (en) * 2015-03-04 2019-08-13 International Business Machines Corporation Rapid cognitive mobile application review
JP6113231B2 (ja) * 2015-07-15 2017-04-12 株式会社バンダイ 歌唱力評価装置及び記憶装置
JP6701864B2 (ja) * 2016-03-25 2020-05-27 ヤマハ株式会社 音評価装置および音評価方法
EP3489945B1 (en) * 2016-07-22 2021-04-14 Yamaha Corporation Musical performance analysis method, automatic music performance method, and automatic musical performance system
JP6776788B2 (ja) * 2016-10-11 2020-10-28 ヤマハ株式会社 演奏制御方法、演奏制御装置およびプログラム
CN108665747A (zh) * 2017-04-01 2018-10-16 上海伍韵钢琴有限公司 一种在线钢琴陪练系统及使用方法
JP6867900B2 (ja) * 2017-07-03 2021-05-12 株式会社第一興商 カラオケ装置
JP6708180B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
CN108694384A (zh) * 2018-05-14 2018-10-23 芜湖岭上信息科技有限公司 一种基于图像和声音的观众满意度调查装置和方法
CN109903778B (zh) * 2019-01-08 2020-09-25 北京雷石天地电子技术有限公司 实时演唱评分的方法与系统
CN109887524A (zh) * 2019-01-17 2019-06-14 深圳壹账通智能科技有限公司 一种演唱评分方法、装置、计算机设备及存储介质
JP7232653B2 (ja) * 2019-01-31 2023-03-03 株式会社第一興商 カラオケ装置
JP7232654B2 (ja) * 2019-01-31 2023-03-03 株式会社第一興商 カラオケ装置
JP7169243B2 (ja) * 2019-03-29 2022-11-10 株式会社第一興商 カラオケ装置
CN110120216B (zh) * 2019-04-29 2021-11-12 北京小唱科技有限公司 用于演唱评价的音频数据处理方法及装置
CN110083772A (zh) * 2019-04-29 2019-08-02 北京小唱科技有限公司 基于演唱技巧的歌手推荐方法及装置
CN112037609B (zh) * 2020-08-26 2022-10-11 怀化学院 一种基于物联网的音乐教学装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915773B2 (ja) * 1993-12-25 1999-07-05 日本コロムビア株式会社 カラオケ装置
JP3299890B2 (ja) * 1996-08-06 2002-07-08 ヤマハ株式会社 カラオケ採点装置
JP3293745B2 (ja) * 1996-08-30 2002-06-17 ヤマハ株式会社 カラオケ装置
JP3690224B2 (ja) * 2000-01-13 2005-08-31 ヤマハ株式会社 携帯電話機および携帯電話システム
CN1380642A (zh) * 2001-04-11 2002-11-20 华邦电子股份有限公司 跟唱学习评分装置及方法
JP2003058155A (ja) * 2001-08-13 2003-02-28 Casio Comput Co Ltd 演奏教習装置及び演奏教習処理のプログラム
JP4163584B2 (ja) 2003-09-30 2008-10-08 ヤマハ株式会社 カラオケ装置
JP4204941B2 (ja) 2003-09-30 2009-01-07 ヤマハ株式会社 カラオケ装置
JP4222915B2 (ja) * 2003-09-30 2009-02-12 ヤマハ株式会社 歌唱音声評価装置、カラオケ採点装置及びこれらのプログラム
JP4209751B2 (ja) * 2003-09-30 2009-01-14 ヤマハ株式会社 カラオケ装置
JP2005241848A (ja) * 2004-02-25 2005-09-08 Daiichikosho Co Ltd 通信カラオケシステムにおける投稿作品編集式の模範ボーカル提供装置
TWI232430B (en) * 2004-03-19 2005-05-11 Sunplus Technology Co Ltd Automatic grading method and device for audio source
JP2007256617A (ja) * 2006-03-23 2007-10-04 Yamaha Corp 楽曲練習装置および楽曲練習システム
JP2007271977A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 評価基準判定装置、制御方法及びプログラム
JP2008015388A (ja) * 2006-07-10 2008-01-24 Dds:Kk 歌唱力評価方法及びカラオケ装置
JP2008026622A (ja) * 2006-07-21 2008-02-07 Yamaha Corp 評価装置
JP2008139426A (ja) * 2006-11-30 2008-06-19 Yamaha Corp 評価用データのデータ構造、カラオケ装置及び記録媒体
JP4865607B2 (ja) 2007-03-13 2012-02-01 ヤマハ株式会社 カラオケ装置、歌唱評価方法およびプログラム
JP4910854B2 (ja) 2007-04-17 2012-04-04 ヤマハ株式会社 こぶし検出装置、こぶし検出方法及びプログラム
JP2007334364A (ja) * 2007-08-06 2007-12-27 Yamaha Corp カラオケ装置
TWI394141B (zh) * 2009-03-04 2013-04-21 Wen Hsin Lin Karaoke song accompaniment automatic scoring method
JP5244738B2 (ja) * 2009-08-24 2013-07-24 株式会社エクシング 歌唱評価装置、歌唱評価方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581248B (zh) * 2014-12-16 2017-05-01 Gyouhi Ota Original song new words song communication karaoke server and original song new song song communication karaoke system

Also Published As

Publication number Publication date
CN104170006B (zh) 2017-05-17
JP5958041B2 (ja) 2016-07-27
WO2013157602A1 (ja) 2013-10-24
JP2013222140A (ja) 2013-10-28
CN104170006A (zh) 2014-11-26
KR20140124843A (ko) 2014-10-27
KR101666535B1 (ko) 2016-10-14
TWI497484B (zh) 2015-08-21

Similar Documents

Publication Publication Date Title
TWI497484B (zh) Performance evaluation device, karaoke device, server device, performance evaluation system, performance evaluation method and program
JP5286793B2 (ja) 採点装置及びプログラム
JP6060867B2 (ja) 情報処理装置，データ生成方法，及びプログラム
JP7424359B2 (ja) 情報処理装置、歌唱音声の出力方法、及びプログラム
JP7355165B2 (ja) 楽曲再生システム、楽曲再生システムの制御方法およびプログラム
WO2018230669A1 (ja) 歌唱合成方法及び歌唱合成システム
JP2008040259A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP6288197B2 (ja) 評価装置及びプログラム
JP6102076B2 (ja) 評価装置
JP4038836B2 (ja) カラオケ装置
JP6252420B2 (ja) 音声合成装置、及び音声合成システム
JP6459162B2 (ja) 演奏データとオーディオデータの同期装置、方法、およびプログラム
JP3879524B2 (ja) 波形生成方法、演奏データ処理方法および波形選択装置
JP5416396B2 (ja) 歌唱評価装置およびプログラム
JP6365483B2 (ja) カラオケ装置，カラオケシステム，及びプログラム
JP6406182B2 (ja) カラオケ装置、及びカラオケシステム
JP5994343B2 (ja) 演奏評価装置及びカラオケ装置
JP2016183998A (ja) 音声合成装置、及びプログラム
JP2005107332A (ja) カラオケ装置
JP6011506B2 (ja) 情報処理装置，データ生成方法，及びプログラム
JP2000330580A (ja) カラオケ装置
JP2007233078A (ja) 評価装置、制御方法及びプログラム
JP2016014781A (ja) 歌唱合成装置および歌唱合成プログラム
JP2023033877A (ja) カラオケ装置
JP2015191183A (ja) 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees