TWI455064B - 聲影文件突起映圖之決定方法和裝置 - Google Patents

Description

聲影文件突起映圖之決定方法和裝置

本發明係關於聲影文件突起映圖之計算裝置和方法。本發明尤指辨識聲音特徵，以決定聲影文件之突起。

決定聲影文件的突起區，可用於不同用途，諸如壓縮(突起區是例如以較多數位元寫碼，或該區之量化步驟經修飾)、定索引(可用此等突起區內的資訊，定文件指數)等。

有若干方法供決定影像文件之突起。Thomson Licensing在2004年12月14日申請的歐洲專利EP1695288，記載建立影像文件突起映圖特別有效方法。

惟在某些情況下，影像不能以充分正確方式獲得聲影文件之突起。

為改進現時方法之適切性，本發明擬議令聲音特徵與視覺特性關聯。

為此目的，本發明擬議聲影文件突起映圖之決定方法，其特徵為，包括下列步驟：

-計算突起映圖與文件影像部份之關係；

-決定至少一聲音描述符，代表文件；

-以聲音描述符變化為函數，加權影像突起映圖。

聲音描述符宜從下列選擇：

-文件之總體音響水準；

-感音環境；

-各聲音頻道之音響水準；

-音響水準之時間性變化；

-音響水準之空間/時間性變化；

以及此等成份之任何組合。

更好是，當各聲音頻道之音響水準和總體音響水準，用做聲音描述符，

-各聲音頻道之增益，是以音響水準和全部頻道的音響水準為函數，加以計算(E3)。

有益的是，

-加權視窗是對各圖元決定，具有大於預定水準之視覺突起，稱為視覺突起圖元；

-視覺突起圖元位置之空間性位置，在圖像內決定；

-各頻道的加權函數，係以各聲音頻道的增益和圖像內圖元的空間性位置增益之函數，為各視覺突起圖元計算。

按照較佳具體例，

-加權函數是以圖像內空間性位置和聲音頻道增益值之函數，為各頻道和圖像之各圖元計算。

各頻道之加權函數，以線性函數為佳，使位於頻道側之圖元，加權比位於空間性遠離頻道之圖元為大。

若聲音為立體型，位於圖像左方的圖元對左方頻道的加權函數有較高加權，而對位於圖像右方的圖元加權較低。

按照較佳具體例，

-突起映圖是相對於影像部份，乘以複數加權函數，而得複數突起映圖；

-聲影突起映圖是由該突起映圖平均而得。

突起映圖宜以視音響水準的時間性變化而定之係數加權。

本發明亦關於聲影文件突起映圖之決定裝置，包括之機構供：

-計算突起映圖與該文件影像部份之關係；

-決定至少一聲音描述符代表文件；

-以聲音描述符變化為函數，加權影像突起映圖。

本發明參照附圖所示非限制性具體例和實施之說明，即可更為明白。

圖示模組是功能性單位，相當於實體有別之單位與否均可。例如，此等模組或其部份，可在單一組件內集合在一起，或構成同樣軟體之功能。反之，有些模組可由分開之實體組成。

第1圖表示本發明較佳模態之具體例，應用於影像序列，表示一高爾夫球和另一高爾夫球在講話。

在步驟E1，突起映圖是利用影像文件由視覺關注模式決定。如此所得突起映圖，是在圖示C1和C2中分別為各圖像lm1和lm2決定。在所得二突起映圖C1和C2觀察到，與各球關聯之突起很相似。誠然，二球有很像的特性，惟與此等球關聯之音響很不同。誠然，右方球在聽，而左方球在講。觀看聲影文件的人員關注，自然聚焦在左方球上。所得突起映圖C1和C2，即不足以代表聲影文件。

因此，在步驟E2中，決定聲音描述符，代表聲影文件之聲音內容。

在描述符當中，來自聲音磁軌之描述符係如下決定：

-各頻道(CSL)(右(r)、左(l)、底(b)、頂(t)、後右(rl)、後左(bl)等)之音響水準；

-總體音響位準(OSL)(沉默期、活性期)，即CSL頻道音響水準之總體合計；

-感音環境(AE)；

-音響水準的時間性變化(SLTV)(從沉默通到強烈活性)；

-音響水準的空間/時間性變化(SLSTV)(從左通到右等)。

由此等聲音描述符，在步驟E3中決定加權函數。此加權函數使各圖元與較高或較低權關聯，視是否需要強調或減輕突起而定。所以，此函數有支援，以圖像的解像度為維度。利用從缺值，即無聲音資料可用時，加權函數均勻，即全圖像之值均為"1"。

考量各頻道之聲音水準

若立體音響可行，則有二頻道，圖像各側有一。在編校影像上之音響時，若需強調右側，例如人在圖像右側說話，而左側人員不說話，則可對右側給予比左側更多的音響。

因此，音響不一定賦予圖像全體，而是可以更為局部性。例如就立體音響而言，左右可以截然有別。以Dolby 5.1音響而言，左、右、前、後等可以分辨。

各頻道界定加權函數，其增益因聲音遮蔽容量而定。低波幅音響別人聽不見，故載有此音響之頻道增益低。加權函數以單位波幅之高斯為優，稱為Gauss_σ (σ代表高斯波封之空間性程度)，具有不同增益。

加權函數之應用中心，可對各頻道利用預定光柵設定。其例如第2圖所示(例如有6頻道成點狀均勻分佈於圖像上)。

此圖表示9點，加全函數即對其中心有此9點。

加權函數之應用中心宜位在各象限之突起最大值，如第3圖所示。決定只保存預定數突起點時，可用突起超出預定臨限值之突起點，甚至在突起點位置之後，若圖像之縮小區含大部份突起點，且圖像含有若干分佈之突起區，則只保存一突起點。

在其他具體例中，可用Laplace型函數，以定中於尺寸固定或可變動的點上之四方形視窗展示。

各聲音頻道的增益如下式所示：

「增益權值 _i 」表示頻道i之增益，而CSLi表示頻道i的音響位準。

P是冪數，以數值2為佳；ε是低值常數，防止除以0。若頻道有同樣音響位準或很接近的音響位準，則與各頻道關聯之增益相同。然而，頻道的音響與其他頻道的音響相較愈高者，增益愈大。

各頻道增益乘以先前界定的加權視窗增益，稱為權值。

此加權視窗的波幅視頻道的增益而定。

「增益權值2 _i 」=「增益權值 _i 」*「權值」

因此，當加權函數之應用中心位於突起最大值，則此最大值周圍的加權視窗如第3圖所界定。在立體模態中，突起最大值的位置對應用此加權函數具重要性。誠然，以位於頻道右方的突起最大值而言，重點在對其應用右方頻道之「增益權值」，反之，對位於圖像左方的最大值，重點在對右方頻道應用「增益權值」。因此，突起最大值之距離，係就圖像的邊緣計算。以右方頻道之加權函數言，對位於接近圖像右方邊緣的最大值，應用高「增益權值」係數，而對位於接近圖像左方邊緣之圖元，給予低係數。

以左方頻道的加權函數言，對位於接近圖像左方邊緣的最大值，應用高「增益權值」係數，而對位於接近圖像的右方邊緣之圖元，給予低係數。

當聲音並非立體聲而是Dolby 5.1，則距離並非就圖像的邊緣，而是圖像內之位置計算。按照此位置，決定頻道對此點之影響。

關於距離，於前述方程式：「增益權值2 _i 」=「增益權值 _i 」*「權值」，可增加另一加權因數。

因距離概念而立的方程式，則變成：

「增益權值2 _i 」=α*「增益權值 _i 」*「權值」

α視相對於中心(xc,yc)的偏心度而定，即現時點(x,y)，α(x,y)=(x-xc)² -(y-yc)² 。故，若(x,y)=(xc,yc)，則α趨向0，否則α隨與中心的距離而遞增。

第4a至7b圖表示在立體音響情況下，增益權值2之不同具體例，包括右方頻道和左方頻道。此等具體例只有在上述視覺映圖的最大值突起不變，但在圖像之所有點之突起均改變。

第4a圖表示右方頻道之第一具體例。「增益權值2d」是位於圖像右方諸點之最大值，對中心點和位於中心點左方的圖像點變成等於1。

第4b圖表示左方頻道之第一具體例。「增益權值2g」是位於圖像左方諸點之最大值，對中心點和位於中心點右方的圖像點變成等於1。「權值」即代表線性函數。

此線性函數預先界定，其變化可視使用者需要之調變強度而定。

在第4a和4b圖中，亦知左方頻道的增益比右方頻道增益大。因此，當乘以全部加權函數時，左方諸點比右方諸點可得更強調之突起。

第5a和5b圖表示在左、右有對數型下降。

第5a圖表示右方頻道之第二具體例。「增益權值2d」是位於圖像右方諸點的最大值，對中心點和位於中心點左方的圖像點變成等於1。「權值」即代表遞增冪數函數exp(x)。

第5b圖表示左方頻道之第二具體例。「增益權值2g」是位於圖像左方諸點的最大值，對中心點和位於中心點右方的圖像點變成等於1。「權值」即代表遞降冪數函數exp(x)。

此遞增或遞降冪數函數經預先界定，變化係視使用者需要的調變強度而定。

第6a圖表示右方頻道之第三具體例。「增益權值2d」是位於圖像右方諸點之最大值，對中心右方的圖像區，以及例如位於圖像右方四分之一內，保持常值。否則其值為"1"。

第6b圖表示左方頻道之第三具體例。「增益權值2g」是位於圖像左方諸點之最大值，對中心左方的圖像區，以及例如位於圖像左方四分之一內，保持常值。否則其值為"1"。

此項函數經預界定，變化可視使用者需要的調變強度而定。

第7a圖表示右方頻道之第四具體例。「增益權值2d」是位於圖像右方諸點之最大值，線性遞減至圖像左方。

第7b圖表示左方頻道之第四具體例。「增益權值2g」是位於圖像左方諸點之最大值，線性遞減至圖像右方。

此二最後曲線的坡度一致。右方頻道增益比左方頻道增益為大，位於圖像右方諸點增加其突起，比位於圖像左方諸點為大。此函數經預先界定，變化可視使用者所需調變強度而定。

於步驟E4當中(第1圖)，視覺突起映圖即乘以全部N加權函數。所得N映圖經平均而得中間映圖SMMod。

設SM為視覺突起映圖，設SMMod為聲影突起映圖，設N為音響頻道，設Norm為比例因數，則由下式可得聲影突起映圖：

，其中增益權值 2 _i ^NORM

是「增益權值2 _i 」值利用加權視窗值合計加以常態化者。

考量音響水準之時間性變化

於步驟E5當中，考量音響水準之時間性變化。

當音響水準突然變化，尤其是水準從低水準前往高水準，視覺關注提升，在高水準。而且，當通過突起時，視覺關注當然較不強烈。

所以，對時間上衰減係數，擬在時間上應用突起之調變係數，稱TAC。第3圖表示TAC係數以總體音響水準之函數而變化。

時間上衰減係數TAC視總體音響水準OSL值之時間變化性而定，經數秒整合，其波幅亦經時間性平均化。此係數均勻應用於突起映圖。以從缺值計，為1。

易言之，在突起期間，突起以趨向0之係數加權，故對一區並未賦予勝過另一區之優點。

SMMod 2=CTA ×SMMod

又知上述不同具體例所述發明，傾向減少圖像中心之突起。惟有時重點不在減少此突起，而是加以強調。

以從缺值而言，若不同頻道之增益相似(音響平均分配於頻道之間)，不是無作為，便是中心以從缺值強調。

上述應用特別應用於二人間之對話脈絡，更一般情況是，圖像中心保持吸引人的優先區。

C1,C2．．．突起映圖

lm1,lm2．．．突起映圖

E1．．．利用影像文件從視覺關注模式決定突起映圖之步驟

E2．．．決定代表聲影文件的聲音內容的聲音描述符之步驟

E3．．．由聲音描述符決定加權函數之步驟

E4．．．乘所得映圖平均加權函數之步驟

第1圖表示本發明具體例和本發明應用於聲影文件之效果；

第2圖表示加權函數應用中心之例；

第3圖代表較佳具體例，表示應用中心、加權函數、影像映圖之突起點，及其關聯之加權視窗；

第4a和4b圖分別表示立體聲情況下，加權函數第一變化例之右方和左方頻道；

第5a和5b圖分別表示立體聲情況下，加權函數第二變化例之右方和左方頻道；

第6a和6b圖分別表示立體聲情況下，加權函數第三變化例之右方和左方頻道；

第7a和7b圖分別表示立體聲情況下，加權函數第四變化例之右方和左方頻道；

第8圖表示總體音響水準和時間上衰減係數間之關係。

C1,C2．．．突起映圖

lm1,lm2．．．突起映圖

E1．．．利用影像文件從視覺關注模式決定突起映圖之步驟

E2．．．決定代表聲影文件的聲音內容的聲音描述符之步驟

E3．．．由聲音描述符決定加權函數之步驟

E4．．．乘所得映圖平均加權函數之步驟

Claims (8)

1. 一種聲影文件突起映圖之決定方法，其特徵為，包括：-計算(E1)突起映圖與該文件影像部份之關係；-決定(E2)至少一聲音描述符，代表該文件；-以該聲音描述符之變化為函數，加權(E4)影像突起映圖；-其中各聲音頻道之音響水準和總體音響水準，用做聲音描述符，各聲音頻道之增益，係以音響水準和全部頻道之音響水準為函數計算；又其中加權視窗係對視覺突起大於預定水準之各圖元決定，稱為視覺上突起圖元，該視覺上突起圖元位置之空間性位置，係在圖像上決定，各頻道之加權函數，係以各聲音頻道的增益和圖像內圖元之空間性位置為函數，為各視覺上突起圖元計算者。
2. 如申請專利範圍第1項之方法，其中聲音描述符係從：-該文件之總體音響水準；-感音環境；-各聲音頻道之音響水準；-音響水準之時間性變化；-音響水準之空間/時間性變化；及上述任何組合選出者。
3. 如申請專利範圍第1或2項之方法，其中：-加權函數係以其在圖像內之空間性位置和該聲音頻道之增益值為函數，對各頻道和圖像之各圖元計算者。
4. 如申請專利範圍第3項之方法，其中各頻道之該 加權函數係線性函數，使位於頻道側之圖元，加權較位於空間上遠離該頻道之圖元為大者。
5. 如申請專利範圍第4項之方法，其中聲音係立體聲，位於圖像左方之圖元對左方頻道的加權函數有較大加權，而位於圖像右方的圖像有較低加權者。
6. 如申請專利範圍第1或2項之方法，其中：-突起映圖係相對於影像部份，乘以多數加權函數，而得複數突起映圖；-該聲影突起映圖係由該突起映圖平均而得者。
7. 如申請專利範圍第3項之方法，其中突起映圖以因音響水準的時間性變化而定之係數加權者。
8. 一種聲影文件突起映圖之決定裝置，其特徵為，包括：計算機構，計算突起映圖與該文件影像部份之關係；決定機構，決定至少一聲音描述符，代表該文件；加權機構，以該聲音描述符為函數，加權該影像突起映圖，計算機構，當使用各聲音頻道的音響水準和全體音響水準，做為聲音描述符，以音響水準和全部頻道的音響水準為函數，計算各聲音頻道之增益；決定機構，決定具有視覺突起大於頻定水準的各圖元，稱為視覺突起圖元之加權視窗，決定機構，決定該視覺突起圖元在圖像位置之空間位置，計算機構，以各聲音通道之增益和圖元加權圖像之空間位置為函數，為各視覺突起圖元計算，各通道之加權函數者。