TW201443874A - 聲音處理裝置 - Google Patents

Abstract

本發明之聲音處理裝置之記憶裝置12針對不同之複數個歌唱表現，記憶表示歌唱表現之歌唱表現資料DS及與該歌唱表現關聯之屬性資料DA。區間指定部34根據來自使用者之指示而指定選擇聲音信號X之各對象區間。表現選擇部36藉由參照各屬性資料DA而於每個對象區間選擇對應於來自使用者之指示(檢索條件)之歌唱表現資料DS。表現賦予部38對選擇聲音信號X之各對象區間，賦予表現選擇部36針對該對象區間所選擇之歌唱表現資料DS表示之歌唱表現。

Description

聲音處理裝置

本發明係關於一種控制歌唱聲音之歌唱表現之技術。

自先前已提出處理歌唱聲音之各種技術。例如專利文獻1中，揭示有一種收集片段連接型之歌唱合成所使用之片段資料之技術。藉由適宜選擇以專利文獻1之技術所收集到之片段資料並相互連接可合成任意歌詞之歌唱聲音。

[先前技術文獻] [專利文獻]

[專利文獻1]日本特開2003-108179號公報

於實際之歌唱聲音賦予歌唱者所固有之歌唱表現(轉唱)。然而，根據專利文獻1之技術，由於未參考歌唱聲音之各種歌唱表現，故有使用片段資料所合成之歌唱聲音於聽覺上易給人單調之印象之問題。考慮到以上情況，本發明之目的在於產生多種歌唱表現之歌唱聲音。

為解決以上問題，本發明之聲音處理裝置包含：表現選擇部，其自表示不同歌唱表現之複數個歌唱表現資料選擇應用對象之歌唱表現資料；及表現賦予部，其對歌唱聲音之特定區間賦予表現選擇部所選擇之歌唱表現資料表示之歌唱表現。

於以上態樣中，由於將歌唱表現資料表示之歌唱表現賦予歌唱 聲音，故與專利文獻1之技術相比較，可產生多種歌唱表現之歌唱聲音。尤其，由於將歌唱表現資料表示之複數個歌唱表現選擇性賦予至歌唱聲音之特定區間，故可產生多種歌唱表現之歌唱聲音之效果格外顯著。

表現選擇部選擇表示不同歌唱表現之第1歌唱表現資料與第2歌唱表現資料，表現賦予部對歌唱聲音之第1區間賦予第1歌唱表現資料表示之歌唱表現，且對歌唱聲音中與第1區間不同之第2區間賦予第2歌唱表現資料表示之歌唱表現。

於以上態樣中，由於對歌唱聲音之每個區間賦予個別之歌唱表現，故可產生多種歌唱表現之歌唱聲音之效果格外顯著。

表現選擇部亦可選擇表示不同歌唱表現之2個以上之歌唱表現資料，表現賦予部亦可對歌唱聲音之特定區間重複賦予表現選擇部所選擇之2個以上之歌唱表現資料各自表示之歌唱表現。

於以上態樣中，由於將複數個歌唱表現(典型為不同種類之歌唱表現)重複賦予歌唱聲音，故可產生多種歌唱表現之歌唱聲音之效果格外顯著。

亦可包含將與歌唱表現關聯之屬性資料與該歌唱表現之歌唱表現資料相對應地記憶之記憶部，而表現選擇部亦可參照各歌唱表現資料之屬性資料而自記憶部選擇歌唱表現資料。

於以上態樣中，由於將屬性資料與各歌唱表現資料相對應，故可藉由參照屬性資料選擇(檢索)賦予歌唱聲音之歌唱表現之歌唱表現資料。

表現選擇部亦可根據來自使用者之指示而選擇歌唱表現資料。

於以上態樣中，由於選擇對應於來自使用者之指示之歌唱表現資料，故有可產生反映使用者之意圖或嗜好之多種歌唱聲音之優點。

表現賦予部亦可對歌唱聲音中之對應於來自使用者之指示之特 定區間，賦予表現選擇部所選擇之歌唱表現資料表示之歌唱表現。

於以上態樣中，由於對歌唱聲音中之對應於來自使用者之指示之區間賦予歌唱表現，故有可產生反映使用者之意圖或嗜好之多種歌唱聲音之優點。

此外，自先前已提出評估歌唱之巧拙之各種技術。例如，藉由對比歌唱聲音之音高或音量之轉變與事前所準備之基準(模範)歌唱聲音之音高或音量之轉變而評估歌唱聲音。然而，實際之歌唱之評估不僅依存於音高或音量之正確性，亦依存於歌唱表現之巧拙。

考慮到以上情況，本發明之聲音處理裝置亦可包含歌唱評估部，該歌唱評估部對應於複數個歌唱表現資料中與歌唱聲音類似之歌唱表現之歌唱表現資料，根據表示該歌唱表現之評估之評估值評估歌唱聲音。

於以上態樣中，由於根據對應於與歌唱聲音類似之歌唱表現之歌唱表現資料之評估值評估歌唱聲音，故有可根據歌唱表現之巧拙之觀點適當評估歌唱聲音之優點。

歌唱評估部亦可對歌唱聲音之複數個對象區間之各者選擇與該對象區間之歌唱表現類似之歌唱表現之歌唱表現資料，並根據對應於該各歌唱表現資料之評估值而評估歌唱聲音。

於以上態樣中，由於根據對應於對歌唱聲音之複數個對象區間之各者所選擇之歌唱表現資料之評估值評估歌唱聲音，故有可重點評估歌唱聲音之特定之對象區間之優點。然而，亦可將對象區間設為聲音信號之全部區間(樂曲整體)。

聲音處理裝置亦可包含記憶部，該記憶部對不同之複數個歌唱表現記憶表示歌唱表現之歌唱表現資料與表示該歌唱表現之評估之評估值，且歌唱評估部亦可對應於上述複數個歌唱表現資料中與歌唱聲音類似之歌唱表現之歌唱表現資料，根據記憶於上述記憶部之評估值 而評估上述歌唱聲音。

於以上態樣中，由於根據對應於與歌唱聲音類似之歌唱表現之歌唱表現資料之評估值評估歌唱聲音，故有可根據是否與登錄於記憶部之歌唱表現類似之觀點適當評估歌唱聲音之優點。

於本發明中，提供一種聲音處理方法，其係自表示不同歌唱表現之複數個歌唱表現資料選擇應用對象之歌唱表現資料，並將上述所選擇之歌唱表現資料表示之歌唱表現賦予至歌唱聲音之特定區間。

以上各態樣之聲音處理裝置除了可藉由歌唱聲音處理所專用之DSP(Digital Signal Processor：數位信號處理器)等硬體(電子電路)實現以外，亦可藉由CPU(Central Processing Unit：中央處理單元)等通用之運算處理裝置與程式之協動實現。具體而言，本發明之第1態樣之程式執行如下處理：表現選擇處理，其係自表示不同歌唱表現之複數個歌唱表現資料選擇應用對象之歌唱表現資料；及表現賦予處理，其係將表現選擇處理中所選擇之歌唱表現資料表示之歌唱表現賦予歌唱聲音之特定區間。又，本發明之第2態樣之程式使具備對不同之複數個歌唱表現記憶表示歌唱表現之歌唱表現資料與表示該歌唱表現之評估之評估值之記憶部之電腦執行如下處理：歌唱評估處理，其係根據對應於複數個歌唱表現資料中之與歌唱聲音類似之歌唱表現之歌唱表現資料之評估值評估歌唱聲音。

以上各態樣之程式可以儲存於電腦可讀取之記錄媒體之形態提供並安裝於電腦。記錄媒體係例如非暫時性(non-transitory)之記錄媒體，雖較好之例為CD-ROM(Compact Disk-Read Only Memory：緊密磁碟-唯讀記憶體)等光學式記錄媒體(光碟)，但可包含半導體記錄媒體或磁性記錄媒體等公知之任意形式之記錄媒體。又，例如，本發明之程式可以經由通訊網之傳輸之形態提供並安裝於電腦。

10‧‧‧運算處理裝置

12‧‧‧記憶裝置

14‧‧‧收音裝置

16‧‧‧輸入裝置

18‧‧‧放音裝置

20‧‧‧解析處理部

20A‧‧‧樂曲結構解析部

20B‧‧‧歌唱技法解析部

20C‧‧‧音質解析部

22‧‧‧歌唱區分部

24‧‧‧歌唱評估部

26‧‧‧歌唱解析部

28‧‧‧屬性獲取部

32‧‧‧歌唱選擇部

34‧‧‧區間指定部

36‧‧‧表現選擇部

38‧‧‧表現賦予部

42‧‧‧歌唱選擇部

44‧‧‧區間指定部

46‧‧‧歌唱評估部

100‧‧‧聲音處理裝置

DA‧‧‧屬性資料

DS‧‧‧歌唱表現資料

DS1‧‧‧對象表現資料

DS2‧‧‧對象表現資料

DS[1]‧‧‧歌唱表現資料

DS[2]‧‧‧歌唱表現資料

DS[3]‧‧‧歌唱表現資料

DS[4]‧‧‧歌唱表現資料

E1‧‧‧歌唱表現

E2‧‧‧歌唱表現

Q‧‧‧評估值

R‧‧‧聲音信號

S1‧‧‧對象區間

S2‧‧‧對象區間

SA1‧‧‧指示開始表現登錄處理

SA2‧‧‧解析聲音信號R

SA3‧‧‧區分聲音信號R

SA4‧‧‧產生歌唱表現資料DS

SA5‧‧‧推算評估值Q

SA6‧‧‧產生屬性資料DA

SA7‧‧‧記憶資料

SB1‧‧‧指示開始表現賦予處理

SB2‧‧‧選擇聲音信號X

SB3‧‧‧指定對象區間

SB4‧‧‧選擇對象表現資料DS

SB5‧‧‧產生聲音信號Y

SB6‧‧‧播放聲音信號Y

SC1‧‧‧指示開始歌唱評估處理

SC2‧‧‧選擇聲音信號X

SC3‧‧‧指定對象區間

SC4‧‧‧推算評估值Z

SC5‧‧‧報知評估值Z

X‧‧‧選擇聲音信號

Y‧‧‧聲音信號

Z‧‧‧評估值

圖1係本發明之第1實施形態之聲音處理裝置之方塊圖。

圖2係與表現登錄處理關聯之要件之功能構成圖。

圖3係歌唱區分部之方塊圖。

圖4係表現登錄處理之流程圖。

圖5係與表現賦予處理關聯之要件之功能構成圖。

圖6係表現賦予處理之流程圖。

圖7係表現賦予處理之具體例(顫音之賦予)之說明圖。

圖8係表現賦予處理之說明圖。

圖9係表現賦予處理之說明圖。

圖10係與第2實施形態之歌唱評估處理關聯之要件之功能構成圖。

圖11係歌唱評估處理之流程圖。

圖12係變化例之聲音處理裝置之方塊圖。

<第1實施形態>

圖1係本發明之第1實施形態之聲音處理裝置100之方塊圖。如圖1所示，聲音處理裝置100係以具備運算處理裝置10、記憶裝置12、收音裝置14、輸入裝置16、及放音裝置18之電腦系統實現。

運算處理裝置10藉由執行記憶裝置12所記憶之程式，統一控制聲音處理裝置100之各要素。記憶裝置12記憶運算處理裝置10所執行之程式或運算處理裝置10所使用之各種資料。任意採用半導體記錄媒體或磁性記錄媒體等公知之記錄媒體或複數種記錄媒體之組合作為記憶裝置12。另，亦可採用於與聲音處理裝置100為獨立體之外部裝置(例如外部伺服器裝置)設置記憶裝置12，聲音處理裝置100經由網際網路等通訊網對記憶裝置12執行資訊之寫入或讀出之構成。即，記憶裝置12並非聲音處理裝置100所必需之要素。

第1實施形態之記憶裝置12記憶表示不同歌唱聲音(例如個別之歌唱者之歌唱聲音)之時間波形之複數個聲音信號X。複數個聲音信號X之各者係藉由收錄歌唱樂曲(歌唱曲)之歌唱聲音而事前準備。又，記憶裝置12記憶表示不同歌唱表現之複數個歌唱表現資料DS及與各歌唱表現資料DS表示之歌唱表現關聯之複數個屬性資料DA。歌唱表現係歌唱之特徵(歌唱者所特有之轉唱或歌唱法等)。對自不同歌唱者所發出之歌唱聲音擷取之複數種歌唱表現於記憶裝置12中記憶歌唱表現資料DS，並將屬性資料DA與複數個歌唱表現資料DS之各者相對應。

歌唱表現資料DS指定例如音高或音量(分佈範圍)、頻率頻譜(例如特定頻帶內之頻譜)之特徵量、特定次數之共振峰之頻率或強度、與音質關聯之特徵量(例如泛音成分與基音成分之強度比或諧波成分與非諧波成分之強度比)、或MFCC(Mel-Frequency Cepstrum Coefficients：梅爾倒頻譜係數)等關於歌唱聲音之音樂表情之各種特徵量。又，以上所例示之歌唱表現雖為相對較短時間之歌唱聲音之傾向，但歌唱表現資料DS指定音高或音量之時間變化之傾向、或各種歌唱技法(例如顫音、降音、長音)之傾向等跨長時間之歌唱聲音之傾向之構成亦較合適。

各歌唱表現之屬性資料DA係與歌唱聲音之歌唱者或樂曲關聯之資訊(元資料)，且使用於歌唱表現資料DS之檢索。具體而言，屬性資料DA係指定以各歌唱表現所歌唱之歌唱者之資訊(例如姓名、年齡、出生地、年齡、性別、人種、母語、音域)、或以各歌唱表現所歌唱之樂曲之資訊(例如樂曲名、作曲者、作詞者、類型、節奏、調性、編碼、音域、語言)。屬性資料DA亦可指定表現歌唱聲音之印象或氛圍之措辭(例如「富有節奏」或「甜美」等之措辭)。又，第1實施形態之屬性資料DA包含對應於以各歌唱表現所歌唱之歌唱聲音之評估結果之評估值(該歌唱表現資料DS之歌唱表現之巧拙之評估指標)Q。 例如，屬性資料DA中包含以公知之歌唱評估處理所推算之評估值Q或反映出對歌唱者以外之各使用者評估而得之評估值Q。另，屬性資料DA指定之事項不限定於以上之例示。例如，屬性資料DA亦可指定於區分樂曲之音樂結構上之各區間(例如A旋律、副歌、B旋律等之各樂節)之何者中唱出歌唱表現。

圖1之收音裝置14係將周圍之音響收音之裝置(麥克風)。第1實施形態之收音裝置14藉由將歌唱者唱出樂曲(歌唱曲)之歌唱聲音收音而產生聲音信號R。將聲音信號R自類比轉換成數位之A/D轉換器之圖示為方便起見而省略。另，將聲音信號R記憶於記憶裝置12之構成(因此可省略收音裝置14)亦較佳。

輸入裝置16係接收來自使用者之對聲音處理裝置100之指示之操作機器，包含例如使用者可操作之複數個操作元件而構成。採用例如設置於聲音處理裝置100之框體之操作面板、或與聲音處理裝置100為獨立個體之遙控裝置作為輸入裝置16。

運算處理裝置10藉由執行記憶於記憶裝置12之程式而執行各種控制處理及運算處理。具體而言，運算處理裝置10執行如下處理：以自收音裝置14供給之聲音信號R之解析擷取歌唱表現資料DS並儲存於記憶裝置12之處理(以下稱為「表現登錄處理」)；及藉由將表現登錄處理中記憶於記憶裝置12之各歌唱表現資料DS表示之歌唱表現賦予至記憶裝置12內之聲音信號X而產生聲音信號Y之處理(以下稱為「表現賦予處理」)。即，聲音信號Y係維持聲音信號X之發音內容(歌詞)不變，並使聲音信號X之歌唱表現與歌唱表現資料DS之歌唱表現一致或類似之音響信號。例如根據來自使用者對輸入裝置16之指示而選擇性執行表現登錄處理及表現賦予處理之一者。圖1之放音裝置18(例如揚聲器或耳機)播放對應於運算處理裝置10於表現賦予處理中所產生之聲音信號Y之音響。另，將聲音信號Y自數位轉換成類比之D/A轉換 器或放大聲音信號Y之放大器之圖示係為方便起見而省略。

<表現登錄處理>

圖2係聲音處理裝置100中之與表現登錄處理關聯之要件之功能構成圖。運算處理裝置10藉由執行記憶於記憶裝置12之程式(表現登錄程式)，而如圖2所示，作為用以實現表現登錄處理之複數個要件(解析處理部20、歌唱區分部22、歌唱評估部24、歌唱解析部26、屬性獲取部28)發揮功能。另，亦可採用將圖2之各功能分散於複數個積體電路之構成、或專用之電子電路(例如DSP)實現圖2所例示之功能之一部分之構成。

圖2之解析處理部20解析自收音裝置14供給之聲音信號R。如圖3所例示般，第1實施形態之解析處理部20構成為包含樂曲結構解析部20A、歌唱技法解析部20B、及音質解析部20C而。樂曲結構解析部20A解析對應於聲音信號R之樂曲之音樂結構上之區間(例如A旋律、副歌、B旋律等之各樂節)。歌唱技法解析部20B自聲音信號R檢測顫音(使音高細微變動之歌唱技法)、升音(自低於目標之音高之音高變化為目標之音高之歌唱技法)、或降音(自高於目標之音高之音高變化為目標之音高之歌唱技法)等各種歌唱技法。音質解析部20C解析歌唱聲音之音質(例如泛音成分與基音成分之強度比或諧波成分與非諧波成分之強度比)。

圖2之歌唱區分部22對自收音裝置14供給之聲音信號R劃定應用於歌唱表現資料DS之產生之各區間(以下稱為「單位區間」)。第1實施形態之歌唱區分部22根據樂曲結構、歌唱技法、及音質劃定聲音信號R之各單位區間。具體而言，歌唱區分部22以樂曲結構解析部20A所解析之樂曲之音樂結構上之各區間之端點、歌唱技法解析部20B檢測出各種歌唱技法之各區間之端點、及音質解析部20C所解析之音質變動之時點為邊界將聲音信號R區分為各單位區間。另，將聲音信號 R區分為複數個單位區間之方法不限定於以上之例示。例如，亦可將使用者以對輸入裝置16之操作所指定之區間作為單位區間而區分聲音信號R。又，亦可採用以於時間軸上隨機設定之時點將聲音信號R區分為複數個單位區間之構成、或根據歌唱評估部24所推算之評估值Q將聲音信號R區分為複數個單位區間之構成(例如以評估值Q變動之時點為邊界劃定各單位區間之構成)。又，亦可將聲音信號R之全部區間(樂曲之整體)作為單位區間。

歌唱評估部24評估自收音裝置14供給之聲音信號R表示之歌唱之巧拙。具體而言，歌唱評估部24於歌唱區分部22所劃定之每個單位區間依次推算評估聲音信號R之歌唱之巧拙之評估值Q。由歌唱評估部24進行之評估值Q之推算時，任意採用公知之歌唱評估處理。另，亦可將上述歌唱技法解析部20B解析之歌唱技法或音質解析部20C解析之音質應用於由歌唱評估部24進行之歌唱之評估。

圖2之歌唱解析部26藉由解析聲音信號R而於每個單位區間產生歌唱表現資料DS。具體而言，歌唱解析部26自聲音信號R擷取音高或音量等音響特徵量(對歌唱表現有影響之特徵量)，產生顯示各特徵量之短期性或長期性之傾向(即歌唱表現)之歌唱表現資料DS。歌唱表現之擷取時任意採用公知之音響解析技術(例如日本特開2011-013454號公報或日本特開2011-028230號公報所揭示之技術)。亦可自1個單位區間產生對應於不同種類之歌唱表現之複數個歌唱表現資料DS。另，於以上之例示中雖於每個單位區間產生1個歌唱表現資料DS，但亦可自不同之單位區間之複數個特徵量產生1個歌唱表現資料DS。例如，可採用藉由對屬性資料DA近似或一致之複數個單位區間之特徵量進行平均而產生歌唱表現資料DS之構成、或藉由應用對應於藉由歌唱評估部24之各單位區間之評估值Q之加權值對遍及複數個單位區間之特徵量進行加權相加而產生歌唱表現資料DS之構成。

屬性獲取部28對歌唱區分部22所劃定之各單位區間產生屬性資料DA。具體而言，屬性獲取部28將使用者以輸入裝置16之操作進行指示之各種資訊登錄於屬性資料DA。又，屬性獲取部28使歌唱評估部24對各單位區間推算之評估值Q(例如單位區間內之評估值之平均)包含於該單位區間之屬性資料DA。

將歌唱解析部26於每個單位區間所產生之歌唱表現資料DS與屬性獲取部28於每個單位區間所產生之屬性資料DA於單位區間共通者彼此中相互相對應且儲存於記憶裝置12。藉由對不同之複數個歌唱聲音之聲音信號R反復進行以上所例示之表現登錄處理，而對自複數個歌唱者各自所發出之歌唱聲音擷取之複數種歌唱表現之各者，將歌唱表現資料DS與屬性資料DA儲存於記憶裝置12。即，於記憶裝置12中構築多種歌唱表現(歌唱者不同之歌唱表現或種類不同之歌唱表現)之資料庫。另，亦可整合複數個歌唱表現資料DS而產生1個歌唱表現資料DS。例如，可採用藉由對屬性資料DA近似或一致之複數個歌唱表現資料DS進行平均而產生新的歌唱表現資料DS之構成、或藉由應用對應於藉由歌唱評估部24之評估值Q之加權值對複數個歌唱表現資料DS進行加權相加而產生新的歌唱表現資料DS之構成。

圖4係表現登錄處理之流程圖。如圖4所示，當使用者以輸入裝置16之操作指示執行表現登錄處理時(SA1)，解析處理部20解析自收音裝置14供給之聲音信號R(SA2)。歌唱區分部22根據解析處理部20之解析結果將聲音信號R區分為各單位區間(SA3)，歌唱解析部26藉由解析聲音信號R於每個單位區間產生歌唱表現資料DS(SA4)。又，歌唱評估部24於每個單位區間推算對應於聲音信號R表示之歌唱之巧拙之評估值Q(SA5)，屬性獲取部28於每個單位區間產生包含歌唱評估部24於每個單位區間推算之評估值Q之屬性資料DA(SA6)。將歌唱解析部26所產生之歌唱表現資料DS與屬性獲取部28所產生之屬性資料DA 於每個單位區間儲存於記憶裝置12(SA7)。將以上所說明之表現登錄處理中儲存於記憶裝置12之歌唱表現資料DS所指定之歌唱表現，於以下說明之表現賦予處理中賦予聲音信號X。

<表現賦予處理>

圖5係聲音處理裝置100中之與表現賦予處理關聯之要件之功能構成圖。運算處理裝置10藉由執行記憶於記憶裝置12之程式(表現賦予程式)，而如圖5所示，作為用以實現表現賦予處理之複數個功能(歌唱選擇部32、區間指定部34、表現選擇部36、表現賦予部38)發揮功能。另，亦可採用將圖5之各功能分散於複數個積體電路之構成、或專用之電子電路(例如DSP)執行圖5所例示之功能之一部分之構成。

歌唱選擇部32選擇記憶於記憶裝置12之複數個聲音信號X之任一者(以下稱為「選擇聲音信號X」)。例如歌唱選擇部32根據來自使用者之對輸入裝置16之指示(聲音信號X之選擇指示)自記憶裝置12之複數個聲音信號X選擇選擇聲音信號X。

區間指定部34指定歌唱選擇部32所選擇之選擇聲音信號X中之應賦予歌唱表現資料DS之歌唱表現之1個以上之區間(以下稱為「對象區間」)。具體而言，區間指定部34根據來自使用者之對輸入裝置16之指示指定各對象區間。例如，區間指定部34將使用者以輸入裝置16之操作於時間軸上(例如選擇聲音信號X之波形上)所指定之2點間之區間劃定為對象區間。區間指定部34指定之複數個對象區間可於時間軸上相互重複。另，亦可將選擇聲音信號X之全部區間(樂曲之整體)指定為對象區間。

圖5之表現選擇部36於區間指定部34所指定之每個對象區間依次選擇記憶於記憶裝置12之複數個歌唱表現資料DS中之實際應用於表現賦予處理之歌唱表現資料DS(以下稱為「對象表現資料DS」)。第1實施形態之表現選擇部36以使用與各歌唱表現資料DS相對應地記憶 於記憶裝置12之屬性資料DA之檢索處理自複數個歌唱表現資料DS選擇對象表現資料DS。

例如使用者可藉由適宜操作輸入裝置16而於每個對象區間指定對象表現資料DS之檢索條件(例如檢索詞)。表現選擇部36於每個對象區間選擇記憶裝置12之複數個歌唱表現資料DS中對應於與使用者所指定之檢索條件一致之屬性資料DA之歌唱表現資料DS作為對象表現資料DS。例如，當使用者指定歌唱者之檢索條件(例如年齡或性別)時，檢索對應於與檢索條件一致之歌唱者之屬性資料DA之對象表現資料DS(即與檢索條件一致之歌唱者之歌唱表現)。又，當使用者指定樂曲之檢索條件(例如樂曲之類型或音域)時，檢索對應於與檢索條件一致之樂曲之屬性資料DA之對象表現資料DS(即與檢索條件一致之樂曲之歌唱表現)。又，當使用者指定歌唱聲音之評估值Q之檢索條件(例如數值範圍)時，檢索對應於與檢索條件一致之評估值Q之屬性資料DA之對象表現資料DS(即使用者意圖之水準之歌唱者之歌唱表現)。如根據以上之說明而理解般，第1實施形態之表現選擇部36表現為根據來自使用者之指示而選擇歌唱表現資料DS(對象表現資料DS)之要件。

圖5之表現賦予部38藉由對歌唱選擇部32所選擇之選擇聲音信號X賦予對象表現資料DS之歌唱表現而產生聲音信號Y。具體而言，表現賦予部38對選擇聲音信號X中區間指定部34所指定之複數個對象區間之各者，賦予表現選擇部36針對該對象區間所選擇之對象表現資料DS之歌唱表現。即，對選擇聲音信號X中對應於來自使用者之指示之各對象區間，賦予對應於來自使用者之指示(檢索條件之指定)之歌唱表現。對選擇聲音信號X賦予歌唱表現時任意採用公知之技術。另，除了將選擇聲音信號X之歌唱表現置換為對象表現資料DS之歌唱表現之構成(選擇聲音信號X之歌唱表現不會殘留於聲音信號Y之構成)以 外，亦可採用對選擇聲音信號X之歌唱表現累積賦予對象表現資料DS之歌唱表現之構成(例如於聲音信號Y中反映選擇聲音信號X之歌唱表現與對象表現資料DS之歌唱表現兩者之構成)。

圖6係表現賦予處理之流程圖。如圖6所示，當使用者以輸入裝置16之操作而指示執行表現賦予處理時(SB1)，歌唱選擇部32自記憶於記憶裝置12之複數個聲音信號X選擇選擇聲音信號X(SB2)，區間指定部34針對選擇聲音信號X指定1個以上之對象區間(SB3)。又，表現選擇部36自記憶於記憶裝置12之複數個歌唱表現資料DS選擇對象表現資料DS(SB4)，表現賦予部38藉由對歌唱選擇部32所選擇之選擇聲音信號X之各對象區間賦予對象表現資料DS之歌唱表現而產生聲音信號Y(SB5)。自放音裝置18播放表現賦予部38所產生之聲音信號Y(SB6)。

圖7係應用表示顫音之歌唱表現資料DS之表現賦予處理之具體例之說明圖。於圖7中例示選擇聲音信號X之音高(間距)之時間變化、與複數個歌唱表現資料DS(DS[1]~DS[4])。各歌唱表現資料DS係以對收錄有不同歌唱者之歌唱聲音之各聲音信號R之表現登錄處理產生。因此，各歌唱表現資料DS(DS[1]~DS[4])表示之顫音係音高之變動週期(速度)或變動寬度(深度)等之特性不同。如圖7所示，根據例如來自使用者之指示指定選擇聲音信號X之對象區間(SB3)，自複數個歌唱表現資料DS根據例如來自使用者之指示選擇對象表現資料DS[3]後(SB4)，藉由表現賦予處理產生將對象表現資料DS[3]表示之顫音賦予選擇聲音信號X之對象區間之聲音信號Y(SB5)。如根據以上說明而理解般，對不賦予顫音而歌唱之歌唱聲音(例如不擅長賦予顫音之歌唱之歌唱者之歌唱聲音)之聲音信號X之期望之對象區間賦予期望之歌唱表現資料DS之顫音。另，用於使用者自複數個歌唱表現資料DS選擇對象表現資料DS之構成為任意。例如，較佳之構成係自放音裝置18播放已 賦予各歌唱表現資料DS之歌唱表現之特定之歌唱聲音而使使用者聽到(即試聽)，使用者根據聽到之結果操作輸入裝置16(例如按鈕或觸控面板)，藉此選擇對象表現資料DS。

於圖8中，假定表現選擇部36對選擇聲音信號X之對象區間S1選擇對象表現資料DS1，且表現選擇部36對與對象區間S1不同之對象區間S2選擇對象表現資料DS2之情形。表現賦予部38將對象表現資料DS1表示之歌唱表現E1賦予對象區間S1，且將對象表現資料DS2表示之歌唱表現E2賦予對象區間S2。

又，如圖9所示，於對象區間S1與對象區間S2重複之情形時(對象區間S2內包於對象區間S1之情形時)，對選擇聲音信號X中之對象區間S1與對象區間S2之重複區間(即對象區間S2)，重複賦予對象表現資料DS1之歌唱表現E1與對象表現資料DS2之歌唱表現E2。即，對選擇聲音信號X之特定區間重複賦予複數個(典型為複數種)歌唱表現。例如，將關於音高之變動之歌唱表現E1與關於音量之變動之歌唱表現E2兩者賦予選擇聲音信號X(對象區間S2)。藉由將以上處理中產生之聲音信號Y供給至放音裝置18而播放為音響。

如以上所說明般，於第1實施形態中，將表示不同歌唱表現之複數個歌唱表現資料DS各自之歌唱表現選擇性賦予選擇聲音信號X之對象區間。因此，與專利文獻1之技術相比較，可產生多種歌唱表現之歌唱聲音(聲音信號Y)。

於第1實施形態中，由於尤其對選擇聲音信號X中所指定之複數個對象區間之各者賦予個別之歌唱表現(圖8、圖9)，故若與將賦予歌唱表現之對象區間限制於選擇聲音信號X之1個區間之構成相比較，則可產生多種歌唱表現之歌唱聲音之上述效果格外顯著。又，於第1實施形態中，由於可將複數個(複數種)歌唱表現重複賦予選擇聲音信號X之對象區間(圖9)，故與將賦予對象區間之歌唱表現限制於1種之 構成相比較，可產生多種歌唱表現之歌唱聲音之效果格外顯著。然而，將賦予歌唱表現之對象區間限制於選擇聲音信號X之1個區間之構成、或將賦予至對象區間之歌唱表現限制於1種之構成亦包含於本發明之範圍內。

又，於第1實施形態中，由於根據來自使用者之指示指定選擇聲音信號X之對象區間，且根據來自使用者之指示設定屬性資料DA之檢索條件，故亦有可產生充分反映使用者之意圖或嗜好之多種歌唱聲音之優點。

<第2實施形態>

對本發明之第2實施形態進行說明。於第1實施形態之聲音處理裝置100中，將記憶於記憶裝置12之複數個歌唱表現資料DS使用於聲音信號X之歌唱表現之調整。於第2實施形態之聲音處理裝置100中，將記憶於記憶裝置12之複數個歌唱表現資料DS使用於聲音信號X之評估。另，對以下例示之各形態中作用或功能與第1實施形態相同之要件，挪用第1實施形態之說明中所參照之符號並適宜省略各自之詳細說明。

圖10係第2實施形態之聲音處理裝置100中之與評估聲音信號X之處理(以下稱為「歌唱評估處理」)關聯之要件之功能構成圖。第2實施形態之記憶裝置12記憶與第1實施形態相同之表現登錄處理中所產生之歌唱表現資料DS及屬性資料DA之複數組。對應於各歌唱表現資料DS之屬性資料DA係如對第1實施形態所述般，包含圖2之歌唱評估部24推算之評估值(該歌唱表現資料DS之歌唱表現之巧拙之評估指標)Q而構成。

運算處理裝置10藉由執行記憶於記憶裝置12之程式(歌唱評估程式)，而如圖10所示，作為用以實現歌唱評估處理之複數個要件(歌唱選擇部42、區間指定部44、歌唱評估部46)發揮功能。根據例如來自 使用者之對輸入裝置16之指示選擇性執行第1實施形態之表現賦予處理與以下詳述之歌唱評估處理。但，於第2實施形態中亦可省略表現賦予處理。另，亦可採用將圖10之各功能分散於複數個積體電路之構成、或專用之電子電路(例如DSP)實現圖10所例示之功能之一部分之構成。

圖10之歌唱選擇部42選擇記憶於記憶裝置12之複數個聲音信號X中之成為評估對象之選擇聲音信號X。具體而言，歌唱選擇部42與第1實施形態之歌唱選擇部32同樣地，根據來自使用者之對輸入裝置16之指示自記憶裝置12選擇選擇聲音信號X。又，區間指定部44指定歌唱選擇部42所選擇之選擇聲音信號X中之成為評估對象之1個以上之對象區間。具體而言，區間指定部44與第1實施形態之區間指定部34同樣地，根據來自使用者之對輸入裝置16之指示指定各對象區間。另，亦可將選擇聲音信號X之全部區間指定為對象區間。

圖10之歌唱評估部46使用記憶於記憶裝置12之各歌唱表現資料DS及各屬性資料DA(評估值Q)，評估歌唱選擇部42所選擇之選擇聲音信號X之歌唱之巧拙。即，歌唱評估部46根據對應於記憶裝置12之複數個歌唱表現資料DS中之與選擇聲音信號X之各對象區間類似之歌唱表現之歌唱表現資料DS之屬性資料DA內之評估值Q推算選擇聲音信號X之評估值Z。於以下說明歌唱評估部46之具體動作。

歌唱評估部46首先對記憶裝置12內之複數個歌唱表現資料DS之各者於每個對象區間推算歌唱表現資料DS表示之歌唱表現與選擇聲音信號X之對象區間之歌唱表現之類似度(相關或距離)，並對選擇聲音信號X之複數個對象區間之各者依次選擇複數個歌唱表現資料DS中之與對象區間之歌唱表現之類似度最大之歌唱表現資料DS。於歌唱表現之類似度之推算中，任意採用用於比較特徵量之公知之技術。

且，歌唱評估部46藉由將與對選擇聲音信號X之各對象區間所選 擇之歌唱表現資料DS對應之屬性資料DA之評估值Q，對選擇聲音信號X之複數個對象區間進行加權相加(或平均)，而推算選擇聲音信號X之評估值Z。如根據以上說明而理解般，與評估值Q較高之歌唱表現類似之歌唱表現所歌唱之對象區間越多地包含於選擇聲音信號X內，選擇聲音信號X之評估值Z設定為越大之數值。歌唱評估部46推算之評估值Z係以例如藉由顯示裝置(省略圖示)之圖像顯示或藉由放音裝置18之聲音播放報知給使用者。

圖11係歌唱評估處理之流程圖。如圖11所示，當使用者以輸入裝置16之操作指示執行歌唱評估處理後(SC1)，歌唱選擇部42自記憶於記憶裝置12之複數個聲音信號X選擇選擇聲音信號X(SC2)，區間指定部44對選擇聲音信號X指定1個以上之對象區間(SC3)。歌唱評估部46使用記憶於記憶裝置12之各歌唱表現資料DS與各屬性資料DA推算選擇聲音信號X之評估值Z(SC4)。將歌唱評估部46推算之評估值Z報知給使用者(SC5)。

如以上所說明般，於第2實施形態中，根據歌唱表現與選擇聲音信號X類似之歌唱表現資料DS之評估值Q推算選擇聲音信號X之評估值Z。因此，可根據歌唱表現之巧拙(是否與表現登錄處理中所登錄之歌唱表現類似)之觀點適當評估選擇聲音信號X。另，如根據以上說明亦理解般，於第2實施形態中，可省略屬性資料DA中之評估值Q以外之資訊。即，第2實施形態之記憶裝置12表現為對不同之複數個歌唱表現記憶表示歌唱表現之歌唱表現資料DS與表示該歌唱表現之評估之評估值Q之要件。

<變化例>

上述各形態可進行多種變化。於以下例示具體之變化之態樣。自以下之例示任意選擇之2個以上之態樣可適宜合併。

(1)第1實施形態之表現賦予處理之對象或第2實施形態之歌唱評估處 理之對象並不限定於事前收錄並儲存於記憶裝置12之聲音信號X。例如，亦可將收音裝置14所產生之聲音信號X、自移動式或內建式記錄媒體(例如CD)播放之聲音信號X、或自其他通訊終端經由通訊網所接收之聲音信號(例如串流格式之聲音信號)X作為表現賦予處理或歌唱評估處理之對象。又，亦可採用對公知之聲音合成處理(例如片段連接型之歌唱合成處理)中所產生之聲音信號X執行表現賦予處理或歌唱評估處理之構成。另，於上述各形態中，雖對完成收錄之聲音信號X執行表現賦予處理或歌唱評估處理，但若於事前指定例如時間軸上之各對象區間，則亦可與聲音信號X之供給並行且實時執行表現賦予處理或歌唱評估處理。

又，於上述各形態中，雖選擇複數個聲音信號X之任一者作為選擇聲音信號X，但聲音信號X之選擇(歌唱選擇部32或歌唱選擇部42)可省略。另，於將聲音信號X之全部區間(樂曲之整體)指定為對象區間之構成中，亦可省略區間指定部34。因此，執行表現賦予處理之聲音處理裝置係如圖12所例示般，總括地表現為具備自複數個歌唱表現資料DS選擇應用對象之歌唱表現資料DS之表現選擇部36、與將表現選擇部36所選擇之歌唱表現資料DS表示之歌唱表現賦予歌唱聲音(聲音信號X)之特定區間之表現賦予部38之裝置。

表現登錄處理之對象亦同樣地，並不限定於收音裝置14所產生之聲音信號R。例如，亦可將自移動式或內建式記錄媒體播放之聲音信號R、或自其他通訊終端經由通訊網所接收之聲音信號R作為表現登錄處理之對象。又，亦可與聲音信號R之供給並行且實時執行表現登錄處理。

(2)於上述各形態中，雖以表示歌唱聲音之時間波形之聲音信號X為對象執行第1實施形態之表現賦予處理或第2實施形態之歌唱評估處理，但成為表現賦予處理或歌唱評估處理之對象之歌唱聲音之表現形式為 任意。具體而言，亦可以對樂曲之每個音符以時間序列指定音高與發音文字(歌詞)之合成資訊(例如VSQ形式之文檔)表現歌唱聲音。例如第1實施形態之表現賦予部38一面以例如片段連接型之聲音合成處理依次合成以合成資訊指定之歌唱聲音，一面藉由與第1實施形態相同之表現賦予處理賦予歌唱表現。同樣地，第2實施形態之歌唱評估部46一面以聲音合成處理依次合成以合成資訊指定之歌唱聲音，一面執行與第2實施形態相同之歌唱評估處理。

(3)於第1實施形態中雖於每個對象區間選擇1個對象表現資料DS，但亦可使表現選擇部36對1個對象區間選擇複數個(典型為複數種)對象表現資料DS。對選擇聲音信號X之1個對象區間重複賦予表現選擇部36所選擇之複數個對象表現資料DS各自之歌唱表現。又，亦可將整合有對1個對象區間所選擇之複數個對象表現資料DS之1個歌唱表現資料DS(例如對複數個對象表現資料DS進行加權相加之歌唱表現資料DS)之歌唱表現賦予該對象區間。

(4)於第1實施形態中雖藉由指定檢索條件選擇對應於來自使用者之指示之歌唱表現資料DS，但表現選擇部36選擇歌唱表現資料DS之方法為任意。例如，亦可藉由自放音裝置18播放各歌唱表現資料DS表示之歌唱表現之歌唱聲音而使使用者聽到，並使表現選擇部36選擇使用者考慮試聽之結果而指定之歌唱表現資料DS。又，亦可採用隨機選擇記憶於記憶裝置12之各歌唱表現資料DS之構成、或以事前所選擇之特定之規則選擇各歌唱表現資料DS之構成。

(5)於第1實施形態中，雖將表現賦予部38所產生之聲音信號Y供給至放音裝置18並播放，但聲音信號Y之輸出方法為任意。例如，亦可採用將表現賦予部38所產生之聲音信號Y儲存於特定之記錄媒體(例如記憶裝置12或移動式記錄媒體)之構成、或將聲音信號Y自通訊裝置發送至其他通訊終端之構成。

(6)於第1實施形態中雖例示執行表現登錄處理及表現賦予處理兩者之聲音處理裝置100，但亦可單獨地構成執行表現登錄處理之聲音處理裝置與執行表現賦予處理之聲音處理裝置。將登錄用之聲音處理裝置之表現登錄處理中所產生之複數個歌唱表現資料DS傳送至表現賦予用之聲音處理裝置並應用於表現賦予處理。同樣地，於第2實施形態中，亦可單獨地構成執行表現登錄處理之聲音處理裝置與執行歌唱評估處理之聲音處理裝置。

(7)亦可以與行動電話機等終端裝置通訊之伺服器裝置實現聲音處理裝置100。例如，聲音處理裝置100執行以自終端裝置所接收之聲音信號R之解析擷取歌唱表現資料DS並儲存於記憶裝置12之表現登錄處理、或對終端裝置發送將歌唱表現資料DS表示之歌唱表現賦予聲音信號X之聲音信號Y之表現賦予處理。即，本發明亦可實現為具備相互通訊之聲音處理裝置(伺服器裝置)與終端裝置之聲音處理系統。 又，上述各形態之聲音處理裝置100亦可實現為將各功能分散於複數個裝置之系統(聲音處理系統)。

(8)於第2實施形態中，歌唱評估部46雖使用記憶於記憶裝置12之各歌唱表現資料DS及各屬性資料DA(評估值Q)，評估聲音信號X之歌唱之巧拙，但歌唱評估部46亦可自與記憶裝置12不同之裝置取得評估值Q，而評估聲音信號X之歌唱之巧拙。

本申請案係基於2013年3月15日申請之日本專利申請案(特願2013-053983)者，其內容係以引用之方式併入本文中。

[產業上之可利用性]

根據本發明，可產生多種歌唱表現之歌唱聲音。

10‧‧‧運算處理裝置

12‧‧‧記憶裝置

14‧‧‧收音裝置

16‧‧‧輸入裝置

18‧‧‧放音裝置

100‧‧‧聲音處理裝置

DA‧‧‧屬性資料

DS‧‧‧歌唱表現資料

R‧‧‧聲音信號

X‧‧‧選擇聲音信號

Y‧‧‧聲音信號

Claims (7)

1. 一種聲音處理裝置，其包含：表現選擇部，其係自表示不同歌唱表現之複數個歌唱表現資料選擇應用對象之歌唱表現資料；及表現賦予部，其將上述表現選擇部所選擇之歌唱表現資料表示之歌唱表現賦予至歌唱聲音之特定區間。
2. 如請求項1之聲音處理裝置，其中上述表現選擇部選擇表示不同歌唱表現之2個以上之歌唱表現資料；且上述表現賦予部將上述表現選擇部所選擇之上述2個以上之歌唱表現資料各自表示之歌唱表現重複賦予至上述歌唱聲音之特定區間。
3. 如請求項1或2之聲音處理裝置，其中包含記憶部，該記憶部將與歌唱表現關聯之屬性資料與該歌唱表現之歌唱表現資料相對應地記憶；且上述表現選擇部參照上述各歌唱表現資料之屬性資料而自上述記憶部選擇歌唱表現資料。
4. 如請求項1至3中任一項之聲音處理裝置，其中上述表現選擇部根據來自使用者之指示而選擇上述歌唱表現資料；且上述表現賦予部對歌唱聲音中對應於來自使用者之指示之特定區間，賦予上述表現選擇部所選擇之歌唱表現資料表示之歌唱表現。
5. 如請求項1之聲音處理裝置，其中包含：歌唱評估部，其對應於上述複數個歌唱表現資料中與歌唱聲音類似之歌唱表現之歌唱表現資料，根據表示該歌唱表現之評估之評估值而評估上述歌唱聲音。
6. 如請求項5之聲音處理裝置，其中包含記憶部，該記憶部針對不同之複數個歌唱表現記憶表示歌唱表現之歌唱表現資料與表示該歌唱表現之評估之評估值；且上述歌唱評估部對應於上述複數個歌唱表現資料中與歌唱聲音類似之歌唱表現之歌唱表現資料，根據記憶於上述記憶部之評估值而評估上述歌唱聲音。
7. 一種聲音處理方法，其自表示不同歌唱表現之複數個歌唱表現資料選擇應用對象之歌唱表現資料；且將上述所選擇之歌唱表現資料表示之歌唱表現賦予至歌唱聲音之特定區間。