TWI595476B - A reference display device, a reference display method, and a program - Google Patents

A reference display device, a reference display method, and a program Download PDF

Info

Publication number
TWI595476B
TWI595476B TW104124424A TW104124424A TWI595476B TW I595476 B TWI595476 B TW I595476B TW 104124424 A TW104124424 A TW 104124424A TW 104124424 A TW104124424 A TW 104124424A TW I595476 B TWI595476 B TW I595476B
Authority
TW
Taiwan
Prior art keywords
image
timing
sound
ventilation
display device
Prior art date
Application number
TW104124424A
Other languages
English (en)
Other versions
TW201610981A (zh
Inventor
Toshiyuki Hata
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of TW201610981A publication Critical patent/TW201610981A/zh
Application granted granted Critical
Publication of TWI595476B publication Critical patent/TWI595476B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Auxiliary Devices For Music (AREA)

Description

基準顯示裝置、基準顯示方法及程式
本發明係關於一種顯示裝置，尤其係關於一種進行標準(基準)之顯示之裝置。
先前，卡拉OK裝置進行將歌詞及標準之音程顯示於顯示部之動作(例如參照專利文獻1)。音程係作為所謂之鋼琴捲簾而顯示。所謂鋼琴捲簾係指於縱軸與音階(鋼琴之鍵盤成縱向之狀態)對應、橫軸與時間對應之畫面上，顯示與各音之發音開始時機及發音之長度相應之線狀之圖像者。藉此，歌唱者可從視覺上掌握歌唱之時機與音程。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2004-205817號公報
於歌唱、會話、或吹奏樂器之演奏等中，並非離散地發出各音，而是將各音平滑地連接起來，或進行換氣。於先前之鋼琴捲簾中，即便可掌握各音之發音開始時機與停止時機，亦難以直觀地掌握各音之連接及換氣之時機。
因此，本發明之不受限定之目的之一在於：提供一種可直觀地掌握各音之連接及換氣之時機之基準顯示裝置、基準顯示方法及程式。
本發明之基準顯示裝置具備：顯示部；及圖像產生機構，其基於基準資料，產生表示發音時機、音程、及發音長度之導引圖像，並將其顯示於上述顯示部。
而且，上述圖像產生機構之特徵在於顯示使上述基準資料中之各音連接起來之導引圖像。
藉此，使用者(歌唱者、說話者、或演奏者等)可從視覺上掌握各音之連接方法。
又，於基準資料中，包含表示換氣時機之資訊，上述圖像產生機構進而顯示導引圖像，該導引圖像係基於表示上述換氣時機之資訊，使該換氣時機之前後之音離散者。
於先前之鋼琴捲簾中，即便可掌握各音之發音開始時機與停止時機，亦難以直觀地掌握各音之連接及換氣之時機。因此，藉由於換氣時機使導引圖像中斷，使用者可直觀地掌握各音之連接及換氣之時機。又，本發明之基準顯示裝置因為於基準資料中包含表示換氣時機之資訊，故而可使單純之無音區間與換氣之區間明確地區分開來而顯示，對於使用者而言，可掌握正確之換氣之位置。
又，上述圖像產生機構亦可顯示使促音之音素與該促音之音素之下個音素離散之導引圖像。
促音係於日語之假名表記中記作「」「」者，與後續之音之間不發音。因此，藉由使促音之音素與其下個音素離散，使用者可直觀地掌握是將音連接起來發音，還是暫時停止再發音。
又，上述圖像產生機構較理想為將表示存在促音之音素之圖像與上述促音之音素之導引圖像一併顯示。於該情形時，使用者可更容易地掌握是將音連接起來發音，還是暫時停止再發音。
又，上述圖像產生機構較理想為基於表示上述換氣時機之資 訊，使提醒換氣之圖像與上述導引圖像一併顯示。藉此，使用者可更容易地掌握是將音連接起來發音，還是進行換氣。
又，上述圖像產生機構較佳為將表示各音之發音時機之圖像重疊於上述導引圖像而顯示。例如於以相同音程連續地唱出不同歌詞之情形時，若導引圖像連接起來，則使用者難以掌握於哪個時機唱出下個歌詞。然而，若於各音之發音時機，例如於導引圖像上重疊顯示圓圖像，則使用者易於掌握於該圓圖像之時機進行發音之內容。
又，於上述基準資料中，包含表示歌唱技法之時機之資訊，上述圖像產生機構較佳為基於表示上述歌唱技法之時機之資訊，顯示提醒歌唱技法之圖像。藉此，使用者可容易地掌握進行歌唱技法之時機。
又，顫音之區間係將導引圖像變更成不同圖像(例如波浪線)而顯示，藉此可更易於直觀地掌握顫音區間。
又，於基準資料中，包含表示各音之音量之資訊，上述圖像產生機構較佳為基於表示上述各音之音量之資訊，將上述導引圖像變更成與上述音量相應之圖像而顯示。例如，音量較大之區間變更成粗線，音量較小之區間變更成細線。或者音量較大之區間變更成濃顏色之線，音量較小之區間變更成淡顏色之線。
再者，圖像產生機構亦可設定為如下態樣：即於與當前之發音時機相應之位置顯示與使用者對應之圖像(拍攝使用者所得之照片、人物圖像等)，以與該使用者對應之圖像沿上述導引圖像移動之方式，使上述導引圖像捲動。於該情形時，使用者可感受到人物正根據自身之發音而移動，可愉悅地進行歌唱、語言學習或演奏等。
又，人物圖像既可為客觀視點(二維顯示)，亦可為主觀視點(三維顯示)。又，於以主觀視點顯示之情形時，例如當進行二重唱歌唱時，亦可並行顯示相當於自身之人物與相當於另一歌唱者之人物，使 用者更能感受到正與另一歌唱者一起進行歌唱之氣氛。
本發明之基準顯示裝置或基準顯示方法可直觀地掌握各音之連接及換氣之時機。
1‧‧‧中心
2‧‧‧網路
3‧‧‧卡拉OK店鋪
5‧‧‧中繼機
7‧‧‧卡拉OK裝置
9‧‧‧遙控器
11‧‧‧CPU
12‧‧‧RAM
13‧‧‧HDD
14‧‧‧網路介面
15‧‧‧觸控面板
16‧‧‧麥克風
17‧‧‧A/D轉換器
18‧‧‧聲源
19‧‧‧混頻器
20‧‧‧音響系統
21‧‧‧揚聲器
22‧‧‧解碼器
23‧‧‧顯示處理部
24‧‧‧監視器
25‧‧‧操作部
26‧‧‧收發部
101‧‧‧人物圖像
101A‧‧‧人物圖像
101B‧‧‧人物
101C‧‧‧人物圖像
s11‧‧‧步驟
s12‧‧‧步驟
s13‧‧‧步驟
s14‧‧‧步驟
s15‧‧‧步驟
s16‧‧‧步驟
s17‧‧‧步驟
s18‧‧‧步驟
s19‧‧‧步驟
s20‧‧‧步驟
s21‧‧‧步驟
圖1係表示卡拉OK系統之構成之方塊圖。
圖2係表示卡拉OK裝置之構成之方塊圖。
圖3係表示包含基準資料之各種資料之構造之圖。
圖4A係表示基準之顯示例之圖。
圖4B係表示基準之顯示例之圖。
圖4C係表示基準之顯示例之圖。
圖5A係表示基準之顯示例之圖。
圖5B係表示基準之顯示例之圖。
圖6A係表示基準之顯示例之圖。
圖6B係表示基準之顯示例之圖。
圖6C係表示基準之顯示例之圖。
圖7係表示卡拉OK裝置之動作之流程圖。
圖8係應用例之基準之顯示態樣。
圖9係應用例之基準之顯示態樣。
圖10係表示基準顯示裝置之最小構成之方塊圖。
圖1係表示具備本發明之基準顯示裝置之卡拉OK系統之構成之圖。卡拉OK系統包含經由網際網路等網路2而連接之中心(伺服器)1、及複數個卡拉OK店鋪3。
於各卡拉OK店鋪3中，設有連接於網路2之路由器等中繼機5、及經由中繼機5連接於網路2之複數個卡拉OK裝置7。中繼機5設置於卡 拉OK店鋪之管理室內等。複數台卡拉OK裝置7分別於每個單間(卡拉OK包廂)各設置有1台。又，於各卡拉OK裝置7，分別設置有遙控器9。
卡拉OK裝置7可經由中繼機5及網路2與另一台卡拉OK裝置7通信。卡拉OK系統可於設置於不同地點之卡拉OK裝置7彼此間進行通信，於複數個歌唱者間進行二重唱。
圖2係表示卡拉OK裝置之構成之方塊圖。卡拉OK裝置7相當於本發明之基準顯示裝置。卡拉OK裝置7具備CPU(Central Processing Unit，中央處理單元)11、RAM(Random Access Memory，隨機存取記憶體)12、HDD(Hard Disk Drive，硬碟驅動器)13、網路介面(I/F)14、LCD(Liquid Crystal Display，液晶顯示裝置)(觸控面板)15、麥克風16、A/D(Analog to Digital，類比/數位)轉換器17、聲源18、混頻器(效應器)19、音響系統(SS，Sound System)20、揚聲器21、MPEG(Moving Picture Experts Group，動態圖像專家組)等解碼器22、顯示處理部23、監視器24、操作部25、及收發部26。
於控制裝置整體之動作之CPU11，連接有RAM12、HDD13、網路介面(I/F)14、LCD(觸控面板)15、A/D轉換器17、聲源18、混頻器(效應器)19、MPEG等解碼器22、顯示處理部23、操作部25、及收發部26。
HDD13記憶有CPU11之動作用程式。於作為工作記憶體之RAM12，設定有為了執行CPU11之動作用程式而讀出該程式之區域、為了演奏卡拉OK曲而讀出樂曲資料之區域、讀出導引旋律等基準資料之區域、暫時記憶預約歌單及評分結果等資料之區域等。
又，HDD13記憶有用以演奏卡拉OK曲之樂曲資料。進而，HDD13亦記憶有用以於監視器24顯示背景影像之影像資料。影像資料記憶有動態圖像、靜態圖像兩者。樂曲資料及影像資料定期地自中心 1發送而更新。
CPU11係統一控制卡拉OK裝置之控制部，功能性地內置有定序器，而進行卡拉OK演奏。又，CPU11進行聲音信號產生處理、影像信號產生處理、評分處理、及鋼琴捲簾顯示處理。藉此，CPU11作為本發明中之圖像產生機構而發揮功能。
觸控面板15及操作部25設於卡拉OK裝置之前面。CPU11基於自觸控面板15輸入之操作資訊，將與操作資訊相應之圖像顯示於觸控面板15上，實現GUI(Graphical User Interface，圖形用戶介面)。又，遙控器9亦係同樣之用來實現GUI者。CPU11基於經由觸控面板15、操作部25、或收發部26自遙控器9輸入之操作資訊，進行各種動作。
其次，對用以進行卡拉OK演奏之構成進行說明。如上所述，CPU11功能性地內置有定序器。CPU11自HDD13讀出與RAM12之預約歌單上所登錄之預約曲之曲編號對應之樂曲資料，利用定序器進行卡拉OK演奏。
樂曲資料例如如圖3所示，包含寫入有曲編號等之標頭、寫入有演奏用MIDI(Musical Instrument Digital Interface，樂曲數位介面)資料之樂音軌道、寫入有導引旋律用MIDI資料之導引旋律軌道、寫入有歌詞用MIDI資料之歌詞軌道、寫入有伴奏播放時機及應播放之聲音資料之合唱軌道、表示換氣之時機之氣息位置軌道、表示歌唱技法之時機之技法位置軌道等。導引旋律軌道、氣息位置軌道、及技法位置軌道對應於本發明之基準資料。所謂基準資料係指歌唱者用作歌唱之參考之標準資料，包含表示發出各音之發音時機、音程、及發音長度之資訊。再者，作為樂曲資料之形式，並不限於該例。又，基準資料之形式亦不限於上述MIDI形式。例如作為表示氣息位置之基準資料，亦可為表示氣息位置之時機(自樂曲開頭起經過之時機)之文本資料等。又，於基準資料為聲音資料(例如對歌唱音進行錄音所得者)之 情形時，亦可自該聲音資料提取音調而提取音程，並且自提取該音程之時機及長度，提取發音時機及發音長度。又，當藉由對音量(power)進行檢測來檢測無音區間，而於各音之間存在無音區間之情形時，亦可將提取該無音區間之時機作為氣息位置之時機提取出來。又，當於特定期間內音調正規則地變動之情形時，亦可藉由對於該機關判定出其正進行「顫音」，而提取進行歌唱技法之時機(技法位置)。
樂音軌道記錄有表示產生樂音之樂器之種類、時機、音程(key)、強度、長度、定位(pan)、音響效果(effect)等之資訊。導引旋律軌道記錄有與標準歌唱對應之各音之發音開始時機、發音之長度等資訊。
定序器基於樂音軌道之資料控制聲源18，產生卡拉OK曲之樂音。
又，定序器按照合唱軌道所指定之時機，播放伴奏之聲音資料(隨附於樂曲資料中之MP3等壓縮聲音資料)。又，定序器基於歌詞軌道，與曲之進程同步地合成歌詞之文字圖案，並將該文字圖案轉換成影像信號而輸入至顯示處理部23。
聲源18藉由定序器之處理，根據自CPU11輸入之資料(音符事件資料)形成樂音信號(數位聲音信號)。所形成之樂音信號輸入至混頻器19。
混頻器19對聲源18所產生之樂音信號、合唱音、及自麥克風(歌唱聲音輸入機構)16經由A/D轉換器17而輸入之歌唱者之歌唱聲音信號賦予回聲等音響效果，並且將該等信號混合起來。
又，當於設置於不同地點之卡拉OK裝置7彼此間進行通信，而進行二重唱之情形時，自另一卡拉OK裝置發送歌唱聲音信號。於混頻器19中，亦輸入自該另一卡拉OK裝置所接收到之歌唱聲音信號，與 自本裝置之麥克風16輸入之歌唱聲音信號混合。
混合起來之各數位聲音信號輸入至音響系統20。音響系統20內置有D/A轉換器及功率放大器，將所輸入之數位信號轉換成類比信號而進行放大，並自揚聲器(樂音產生機構)21放音。混頻器19賦予給各聲音信號之效果及混合之平衡係藉由CPU11而控制。
CPU11與藉由上述定序器而實現之樂音之產生、歌詞自動反射式幻燈片之產生同步地，讀出記憶於HDD13之影像資料並播放背景影像等。動畫之影像資料被編碼成MPEG形式。
又，CPU11亦可將表示歌唱者之照片、或人物等影像資料自中心1下載下來並輸入至顯示處理部23。表示歌唱者之照片亦可於現場利用設於卡拉OK裝置或遙控器9之相機(未圖示)拍攝，或利用設於使用者所持有之移動終端等之相機拍攝。
CPU11將讀出之背景影像之影像資料輸入至解碼器22。解碼器22將所輸入之MPEG等資料轉換成影像信號並輸入至顯示處理部23。於顯示處理部23，除背景影像之影像信號以外，亦輸入有上述歌詞自動反射式幻燈片之文字圖案、及基於導引旋律軌道之鋼琴捲簾之影像信號。
圖4A-4C係表示鋼琴捲簾之一例之圖。鋼琴捲簾如圖4A所示，係於縱軸與音階(鋼琴之鍵盤成縱向之狀態)對應、橫軸與時機對應之畫面上，將與各音之發音開始時機及發音之長度相應之線狀之圖像作為導引圖像而顯示者。藉此，歌唱者可從視覺上掌握歌唱各音之時機與音程。此處，於本實施形態之鋼琴捲簾中，各音之導引圖像係連接起來而顯示，且於換氣時機導引圖像係離散地顯示。
CPU11首先基於導引旋律軌道中所包含之各音之發音開始時機及發音之長度之資訊，產生導引圖像。然後，CPU11將各音之導引圖像平滑地連接起來。各音之連接部分之斜率例如設定為如下態樣：即作 為以與16分音符對應之時長使其連接起來等一律相同斜率之圖像而顯示。但是，實際上於各曲中存在各不相同之歌唱方法，音程之變化之態樣並非千篇一律。因此，較佳為對於各音之各個連接部分均以不同斜率顯示。於該情形時，作為基準資料，亦可包含指定與各音之連接部分之音程之變化相應之斜率之資訊。
其後，CPU11於氣息位置軌道所示之換氣時機使導引圖像離散。例如，於圖4A之例中，因為於「」之發音之後與「」之開頭之發音時機之間存在換氣時機，故而使「」之導引圖像與「」之導引圖像離散。
藉此，歌唱者可從視覺上掌握各音之連接方法及換氣之時機。例如於圖4A之例中，歌唱者可從視覺上容易地掌握如下內容：即一面逐音地使「」之各音之音程平滑地變化一面進行歌唱，於進行換氣之後，一面逐音地使「」之各音之音程平滑地變化一面進行歌唱。又，CPU11因為於氣息位置軌道所示之換氣時機使導引圖像離散(因為於基準資料中包含表示換氣時機之資訊)，故而可明確地將單純之無音區間與換氣之區間區分開來而顯示，對於使用者而言，可掌握正確之換氣之位置。
再者，於圖3中，表示了於1個樂曲資料中包含氣息位置軌道及技法位置軌道之例，但亦可為既有之樂曲資料維持原樣，氣息位置軌道及技法位置軌道作為其他資料而準備。於該情形時，無須準備包含氣息位置軌道及技法位置軌道之新樂曲資料。其中，於氣息位置軌道及技法位置軌道之資料中，分別記載有曲編號等曲識別資訊。CPU11於讀出樂曲資料時，讀出對應之氣息位置軌道及技法位置軌道，進行序列動作。
再者，於以相同音程連續地發出不同歌詞之情形時，若導引圖像連接起來，則使用者有可能難以掌握於哪個時機唱出下個歌詞。因 此，CPU11如圖4B所示，於導引旋律軌道上之各音之發音時機，例如於導引圖像上重疊顯示圓圖像。藉此，使用者可掌握於顯示該圓圖像之時機進行發音之內容。
其次，圖4C係使促音之音素之導引圖像與該促音之音素之後之導引圖像離散而顯示之態樣。促音係於日語之假名表記中記作「」「」者，與後續之音之間不發音。CPU11自歌詞軌道之中提取促音，於發出所提取之促音之時機，使導引圖像離散。於圖4C之例中，因為於「」之「」之後存在促音，故而使「」之導引圖像與其後之「」之導引圖像離散而顯示。又，於圖4C之例中，設定為如下態樣：即顯示表示存在促音之音素之圖像(於該例中係記載為「」之方形圖像)。
藉此，歌唱者可容易地掌握是將音連接起來發音，還是存在促音而使音中斷等。
其次，圖5A係藉由導引圖像表示音量之情形時之例。於該情形時，於導引旋律軌道，包含表示各音之音量之資訊。CPU11基於導引旋律軌道中所包含之表示各音之音量之資訊，變更導引圖像之線之粗細。例如，於圖5A之例中，「」中「」音之音量最大，因此表示「」之區間變更成粗線。「」音之音量較小，因此表示「」之區間變更成細線。於該例中，設定為如下態樣：即導引旋律軌道中所包含之表示音量之資訊為「大」、「標準」、及「小」3個階段，將線之粗細變更成3個階段；進而亦可設定為多階段地變更線之粗細之態樣。
再者，於圖5A之例中，設定為於連接部分之中間位置變更線之粗細之態樣，但亦可設定為於各音之開頭或各音之末尾之位置變更線之粗細之態樣。又，亦可設定為針對音量，線之粗細自各音之末尾至下個音之開頭慢慢地變化之態樣。
其次，圖5B係進而藉由線之顏色表示音量之態樣。CPU11基於導引旋律軌道中所包含之表示各音之音量之資訊，變更導引圖像之線之顏色。例如，於圖5B之例中，「」音之音量較小，因此表示「」之區間變更成較淡顏色之線。於該例中，設定為如下態樣：即於導引旋律軌道中所包含之表示音量之資訊為「小」之情形時，將該「小」之音之區間變更成較淡顏色；亦可將音量「大」之音之區間變更成較濃顏色，亦可設定為不變更線之粗細而僅變更顏色之態樣。
其次，圖6係表示將歌唱技法顯示於鋼琴捲簾上之例者。於圖6A之例中，將顫音之區間之導引圖像變更成波浪線而顯示。於該情形時，CPU11讀出技法位置軌道中所包含之表示顫音之時機之資訊，將與該時機對應之音之導引圖像中自該時機至末尾為止之區間變更成波浪線。藉此，歌唱者易於更直觀地掌握進行顫音之時機及顫音之長度。
又，如圖6B所示，當於技法位置軌道包含「延遲音」之資訊之情形時，延遲與該「延遲音」之資訊對應之音(於該例中為「」之音)之前頭之位置。藉此，歌唱者易於直觀地掌握故意延遲該特定之音(於該例中為「」之音)之唱出之「延遲音」。
又，當於技法位置軌道包含「頓音」之資訊之情形時，形成使其自較基準之音程低之音程上升至原本之音程之導引圖像。於圖6B之例中，開頭之「」之音及「」之音為「頓音」，係一面自較基準之音程低之音程升高一面進行歌唱之地方。因此「」之區間之開頭設定為使其自較基準之音程低之音程上升至原來之音程之導引圖像。藉此，歌唱者可自導引圖像直觀地掌握「頓音」之歌唱技法。
又，當於技法位置軌道包含「裝飾音」之資訊之情形時，如圖6B之「」之音所示，於與「裝飾音」之時機對應之位置使導引圖像暫時上升。藉此，亦可形成與使特定之音之音色以於發音之途中吟 唱之方式變化之歌唱技法即「裝飾音」對應之導引圖像。又，當於技法位置軌道包含「降音」之資訊之情形時，設定為如圖6B之「」之音所示，使導引圖像自與「降音」之時機對應之位置變化至較低之音程之態樣，藉此亦可形成與「降音」之歌唱技法對應之導引圖像。
圖6C係顯示提醒歌唱技法之圖像之例。CPU11讀出技法位置軌道中所包含之表示各種歌唱技法之時機之資訊，於與該時機對應之位置顯示提醒歌唱技法之圖像。例如，關於開頭之「」，其係頓音，為一面自較基準之音程低之音程升高一面進行歌唱之地方。因此於「」之區間之開頭顯示如「」般令人聯想到音程上升之圖像。又，關於顫音之區間，除波浪線狀之導引圖像，另外顯示如「m」般之波浪線狀之圖像。藉此，歌唱者可容易地掌握於什麼時機進行哪種歌唱技法。
進而，CPU11基於表示氣息位置軌道所示之換氣時機之資訊，將提醒換氣之圖像與導引圖像一併顯示。例如，於圖6C之例中，於「」之區間與「」之區間之間顯示如「V」般之圖像。藉此，歌唱者可更容易地掌握是將音連接起來發音，還是進行換氣。
按照如上操作，進行卡拉OK演奏，伴隨演奏之進行，顯示鋼琴捲簾。以此方式顯示各音平滑地連接之導引圖像，因此與先前之鋼琴捲簾相比，歌唱者一面看著導引圖像一面將各音平滑地連接起來而歌唱或進行換氣變得容易。
其次，對評分處理進行說明。評分處理係藉由將歌唱者之歌唱聲音與導引旋律軌道進行比較而進行。評分係藉由針對導引旋律軌道之每個音符，均將歌唱聲音與導引旋律之音程(pitch)進行比較而進行。即，於歌唱聲音之音程與導引旋律軌道之音程相吻合長達特定時機以上(已進行容許範圍)之情形時，賦予較高之得分。又，音程變化之時機亦被考慮至得分中。進而，亦基於音程變化之時機、顫音、抑 揚、頓音(自較低之音程平緩地過渡)等歌唱技法之有無而進行加分。
進而，於本實施形態之評分處理中，於氣息位置軌道中所包含之換氣時機歌唱者是否進行了換氣亦作為加分對象。關於是否進行了換氣，當於包含該換氣時機之特定時機內自麥克風16未輸入聲音(輸入位準未達特定閾值)或自麥克風16輸入有換氣音之情形時，判定進行了換氣，當自麥克風16輸入有聲音(輸入位準為特定閾值以上)之情形時，判定未進行換氣。再者，是否收錄有換氣音例如係藉由利用圖案匹配等與換氣音之波形進行對比而判斷。
又，於本實施形態之評分處理中，較佳為當於技法位置軌道中所包含之各技法之時機，檢測出相同技法之情形時，賦予更高之得分。
再者，評分處理既可於各卡拉OK裝置中進行，亦可於中心1(或另一伺服器)中進行。又，於經由網路與另一卡拉OK裝置進行二重唱之情形時，亦可代表性地於進行處理之1台卡拉OK裝置上進行評分處理。
其次，參照流程圖對卡拉OK系統之動作進行說明。圖7係表示卡拉OK系統之動作之流程圖。
首先，歌唱者進行樂曲之請求(s11)。此時，於已選擇二重唱曲之情形時，CPU11於監視器24，顯示提醒是否與經由網路而連接之另一卡拉OK裝置之歌唱者進行二重唱之圖像，受理經由網路之二重唱歌唱。例如，若歌唱者使用觸控面板15、操作部25、或遙控器9輸入特定之使用者之姓名，則於中心1檢索該姓名之使用者，並將其設定為二重唱對象。
其次，卡拉OK裝置之CPU11讀出被請求之樂曲資料(s12)，製成鋼琴捲簾(s13)。即，CPU11基於導引旋律軌道中所包含之各音之發音開始時機及發音之長度之資訊，產生導引圖像。
其後，CPU11讀出歌詞軌道(s14)，使歌詞之圖像與各導引圖像對應起來(s15)。又，CPU11自氣息位置軌道讀出換氣時機之資訊，並且讀出促音之音素之發音時機(s16)。然後，CPU11將各音之導引圖像平滑地連接起來(s17)。此時，CPU11於氣息位置軌道所示之換氣時機、及促音之音素之發音時機，使導引圖像離散而顯示。
又，CPU11讀出技法位置軌道(s18)，將歌唱技法顯示於鋼琴捲簾上(s19)。又，CPU11根據歌唱技法變更導引圖像。例如，於顫音之區間將導引圖像變更成波浪線而顯示。
又，CPU11讀出表示導引旋律軌道中所包含之各音之音量之資訊(s20)，並將其變更成與各音之音量相應之導引圖像(s21)。例如，如圖5A所示，根據音量變更線之粗細，或如圖5B所示，根據音量變更線之顏色。
再者，於本實施形態中，表示有使用卡拉OK裝置7進行卡拉OK演奏及鋼琴捲簾之顯示之態樣，但藉由使用例如使用者所持有之PC(Personal Computer，個人電腦)、智慧型手機、遊戲機等資訊處理裝置(具備麥克風、揚聲器、及顯示部之構成者)，亦可實現本發明之顯示裝置。再者，樂曲資料及基準資料無須記憶於顯示裝置，亦可每次自伺服器下載下來利用。
再者，CPU11亦可如圖8所示，設定為於當前之歌唱位置顯示人物之態樣。於該例中，導引圖像與地面之圖像對應，於換氣時機，地面之圖像中斷。然後，以人物圖像101沿導引圖像(地面之圖像)移動之方式，使導引圖像及背景捲動。因為於換氣時機，地面終端，故而於未檢測出換氣(未自麥克風16輸入聲音之狀態)之情形時，人物圖像101自地面落下。又，於該例中，歌唱評分之結果顯示於畫面上。因此，歌唱者可如遊戲般愉悅地進行卡拉OK。
又，導引圖像既可為以如圖8之客觀視點(二維顯示、二維視點) 顯示之態樣，亦可為以例如圖9所示之主觀視點(三維顯示、三維視點)顯示之態樣。所謂主觀視點係指模擬使用者自身之視野之顯示態樣，為三維視點之一種。此處，表示使深度方向與時間軸對應、使平面方向與音程對應之顯示態樣。例如，如圖9所示，為深度方向與時機對應、上下方向與音階對應之顯示態樣。再者，於圖9之例中，係顯示相當於使用者自身之圖像(人物圖像等)，以自背後放映該人物圖像等之方式顯示之態樣，該顯示態樣亦相當於三維視點。再者，音階亦可於左右方向上對應。於該情形時，以人物圖像101A沿導引圖像於深度方向上移動之方式，使導引圖像及背景捲動。於該例中，歌唱評分之結果亦顯示於畫面上。因此，歌唱者可如遊戲般愉悅地進行卡拉OK。
又，如圖9所示，於以主觀視點顯示之情形時，當進行二重唱歌唱時，亦可並行顯示相當於自己之人物圖像101A與相當於另一歌唱者之人物101B(及人物圖像101C)。藉此，使用者更能感受到正與另一歌唱者一起進行歌唱之氣氛。
又，於本實施形態中，表示有將卡拉OK中之導引旋律作為導引圖像而顯示之例，但即便是例如將吹奏樂器演奏之標準之音程變化作為導引圖像而顯示，於換氣時機導引圖像中斷之態樣，亦可獲得同樣之效果。又，即便是例如於語言學習中，顯示表示標準之發音時機及發音長度之導引圖像，於換氣時機及發出促音時導引圖像中斷之態樣，亦可獲得同樣之效果。於本實施形態中，對顯示歌詞之例進行了說明，但歌詞之顯示於本發明中並非必須。
再者，如圖10所示，本發明之基準顯示裝置具備作為顯示部之監視器24、及作為進行導引圖像顯示處理之圖像產生機構而發揮功能之CPU11，該CPU11只要設定為基於記憶於HDD13之樂曲資料(本發明之基準資料之一例)產生導引圖像，並使導引圖像之各音連接起來 之態樣即可。其他硬體構成於本發明中並非必要要素。
又，如上所述，基準資料無須記憶於HDD13，亦可每次自外部(例如伺服器)下載下來利用。又，解碼器22、顯示處理部23、及RAM12亦可作為CPU11之功能之一部分而內置於該CPU11。
再者，導引圖像並非必須作為鋼琴捲簾(縱軸與鋼琴之鍵盤對應，沿橫軸方向顯示有實線者)而顯示。例如，只要是如圖8及圖9所示，產生表示發音時機、音程、及發音長度之導引圖像並使各音連接起來之態樣，則無論是哪種顯示態樣均可。再者，本發明中所謂之導引圖像並不限於圖4A至圖6中所示之細長之線，亦包含如圖9之例所示，於左右或上下方向上具有某程度之寬度之圖像於一方向(於圖9之例中為深度方向)上延伸者。
本案基於2014年7月28日申請之日本專利特願2014-152479，主張其優先權，此處作為參照而併入本文。

Claims (12)

  1. 一種基準顯示裝置，其特徵在於具備：顯示部；及圖像產生機構，其基於基準資料，產生表示發音時機、音程、及發音長度之導引圖像，並將其顯示於上述顯示部；於上述基準資料中，包含表示換氣時機之資訊，上述圖像產生機構顯示上述導引圖像，該導引圖像係基於上述基準資料中之使各音連接起來且表示上述換氣時機之資訊，使該換氣時機之前後之音離散而表現者。
  2. 如請求項1之基準顯示裝置，其中上述圖像產生機構顯示使促音之音素與該促音之音素之下個音素離散而表現之上述導引圖像。
  3. 如請求項1或2之基準顯示裝置，其中上述圖像產生機構基於表示上述換氣時機之資訊，使提醒換氣之圖像與上述導引圖像一併顯示。
  4. 如請求項1或2之基準顯示裝置，其中上述圖像產生機構將表示各音之發音時機之圖像重疊於上述導引圖像上而顯示。
  5. 如請求項1或2之基準顯示裝置，其中於上述基準資料中，包含表示各音之音量之資訊，上述圖像產生機構基於表示上述各音之音量之資訊，將上述導引圖像變更成與上述音量相應之圖像而顯示。
  6. 如請求項5之基準顯示裝置，其中上述圖像產生機構基於表示上述各音之音量之資訊，根據上述音量，變更上述導引圖像之大小、顏色、濃淡中之至少任一者而顯示該導引圖像。
  7. 如請求項1或2之基準顯示裝置，其中上述導引圖像係以使上述 顯示部上之平面方向之一方向與時間軸對應、使平面方向之另一方向與音程對應之二維視點顯示。
  8. 如請求項1或2之基準顯示裝置，其中上述導引圖像係藉由細長之線狀圖像而表現。
  9. 如請求項1或2之基準顯示裝置，其中上述導引圖像係以使上述顯示部上之深度方向與時間軸對應、使平面方向與音程對應之三維視點顯示。
  10. 如請求項9之基準顯示裝置，其中上述導引圖像係藉由於深度方向上延伸之細長之線狀圖像、或於平面方向上具有寬度且於深度方向上延伸之板狀圖像而表現。
  11. 一種基準顯示方法，其係具備顯示部之資訊處理裝置之基準顯示方法，且基於包含表示換氣時機之資訊之基準資料，產生導引圖像，並將其顯示於上述顯示部，該導引圖像表示發音時機、音程及發音長度，其係基於上述基準資料中之使各音連接起來且表示上述換氣時機之資訊，使該換氣時機之前後之音離散而表現者。
  12. 一種基準顯示程式，其特徵在於：使具備顯示部之資訊處理裝置，執行圖像產生步驟，該圖像產生步驟係基於基準資料，產生表示發音時機、音程及發音長度之導引圖像，並將其顯示於上述顯示部；於上述基準資料中，包含表示換氣時機之資訊；上述圖像產生步驟顯示上述導引圖像，該導引圖像係基於上述基準資料中之使各音連接起來且表示上述換氣時機之資訊，使該換氣時機之前後之音離散而表現者。
TW104124424A 2014-07-28 2015-07-28 A reference display device, a reference display method, and a program TWI595476B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014152479A JP6070652B2 (ja) 2014-07-28 2014-07-28 リファレンス表示装置およびプログラム

Publications (2)

Publication Number Publication Date
TW201610981A TW201610981A (zh) 2016-03-16
TWI595476B true TWI595476B (zh) 2017-08-11

Family

ID=55217522

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104124424A TWI595476B (zh) 2014-07-28 2015-07-28 A reference display device, a reference display method, and a program

Country Status (4)

Country Link
US (1) US10332496B2 (zh)
JP (1) JP6070652B2 (zh)
TW (1) TWI595476B (zh)
WO (1) WO2016017622A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6070652B2 (ja) * 2014-07-28 2017-02-01 ヤマハ株式会社 リファレンス表示装置およびプログラム
WO2019240042A1 (ja) * 2018-06-15 2019-12-19 ヤマハ株式会社 表示制御方法、表示制御装置およびプログラム
CN110010162A (zh) * 2019-02-28 2019-07-12 华为技术有限公司 一种歌曲录制方法、修音方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW270994B (en) * 1995-01-12 1996-02-21 Yamaha Corp Musical tone signal synthesizer
CN101026995A (zh) * 2002-12-13 2007-08-29 因特尔丘尔有限公司 用于生物节律活动的有益调整的装置和方法
TW200837713A (en) * 2006-12-07 2008-09-16 Sony Corp Image display system, display device and display method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03296789A (ja) * 1990-04-17 1991-12-27 Brother Ind Ltd 楽音発生装置
US5563358A (en) * 1991-12-06 1996-10-08 Zimmerman; Thomas G. Music training apparatus
JPH08190391A (ja) * 1994-11-08 1996-07-23 Mikihiko Yao カラオケ御指南役色変わりテロップ
JP2001318683A (ja) * 2000-05-12 2001-11-16 Victor Co Of Japan Ltd 歌唱情報表示装置及び方法
US6546229B1 (en) * 2000-11-22 2003-04-08 Roger Love Method of singing instruction
JP4182750B2 (ja) 2002-12-25 2008-11-19 ヤマハ株式会社 カラオケ装置
JP4161714B2 (ja) * 2002-12-27 2008-10-08 ヤマハ株式会社 カラオケ装置
US7271329B2 (en) * 2004-05-28 2007-09-18 Electronic Learning Products, Inc. Computer-aided learning system employing a pitch tracking line
JP2007225916A (ja) * 2006-02-23 2007-09-06 Yamaha Corp オーサリング装置、オーサリング方法およびプログラム
JP2007264060A (ja) * 2006-03-27 2007-10-11 Casio Comput Co Ltd カラオケ装置およびカラオケ情報処理のプログラム
JP4839967B2 (ja) * 2006-06-02 2011-12-21 ヤマハ株式会社 指導装置及びプログラム
JP6070652B2 (ja) * 2014-07-28 2017-02-01 ヤマハ株式会社 リファレンス表示装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW270994B (en) * 1995-01-12 1996-02-21 Yamaha Corp Musical tone signal synthesizer
CN101026995A (zh) * 2002-12-13 2007-08-29 因特尔丘尔有限公司 用于生物节律活动的有益调整的装置和方法
TW200837713A (en) * 2006-12-07 2008-09-16 Sony Corp Image display system, display device and display method

Also Published As

Publication number Publication date
JP2016031394A (ja) 2016-03-07
JP6070652B2 (ja) 2017-02-01
TW201610981A (zh) 2016-03-16
US10332496B2 (en) 2019-06-25
US20170352340A1 (en) 2017-12-07
WO2016017622A1 (ja) 2016-02-04

Similar Documents

Publication Publication Date Title
US8907195B1 (en) Method and apparatus for musical training
TWI492216B (zh) 顯示控制裝置、方法及電腦可讀取之記憶媒體
TWI595476B (zh) A reference display device, a reference display method, and a program
JP2007310204A (ja) 楽曲練習支援装置、制御方法及びプログラム
JP2007156330A (ja) 相性判断機能付きカラオケ装置
JP2008286946A (ja) データ再生装置、データ再生方法およびプログラム
JP6501344B2 (ja) 聴取者評価を考慮したカラオケ採点システム
JP2006259471A (ja) 歌唱練習システムおよび歌唱練習システム用プログラム
JP4808641B2 (ja) 似顔絵出力装置およびカラオケ装置
JP5459331B2 (ja) 投稿再生装置及びプログラム
JP5417022B2 (ja) 原曲歌手と異なる性別の人が歌うときに自動的にキーを変更するカラオケ装置
JP2018005019A (ja) 演奏上演装置
JP4068069B2 (ja) バックコーラス音量を自動制御するカラオケ装置
TW201610980A (zh) 基準顯示裝置、基準顯示方法及程式
JP2007322933A (ja) 指導装置、指導用データ製作装置及びプログラム
JP2003015672A (ja) 声域告知機能付きカラオケ装置
JP6828530B2 (ja) 発音装置及び発音制御方法
JP2016194622A (ja) カラオケ装置及びカラオケ用プログラム
JP6236807B2 (ja) 歌唱音声評価装置および歌唱音声評価システム
JP2007233078A (ja) 評価装置、制御方法及びプログラム
JP4033146B2 (ja) カラオケ装置
JP6274470B1 (ja) 上下発声母音表記方法
JP6589400B2 (ja) ネットワークカラオケシステム、カラオケ装置、サーバ、ネットワークカラオケシステムの制御方法、カラオケ装置の制御方法、及びサーバの制御方法
JP6558123B2 (ja) カラオケ装置及びカラオケ用プログラム
JP2004334235A (ja) 歌唱特訓機能付きカラオケ装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees