TWI548277B - 用於錄影時聲音之改良音訊信號表示之方法及組件 - Google Patents

Description

用於錄影時聲音之改良音訊信號表示之方法及組件

本發明係關於一種在錄影時聲音之改良音訊表示的方法與組件，特別是運動特定聲音。此一方法與此一組件係從DE10 2008 045 397A1已知。

藉由引進呈寬螢幕格式、伴隨多頻道電視聲音的高解析度電視影像，特別是傳送運動事件時，相較於傳統電視技術，電視觀看者會明顯更潛心於運動動作中，其係因為有相當更多的細節會被知道。就即時運動事件的影像與聲音記錄而言，麥克風常常無法以充分的數目、或者以對重要聲音來源的希望緊鄰性被安裝。這些是特定運動特徵並且強調影像內容之筆直的主要聲音。相應地，例如在足球競賽的電視記錄中，通常只能察覺在場上的少數或無法接收任何競賽特定聲音，其係因為相關於吵雜的運動場氣氛，對圍繞該場之方向性麥克風的距離太大。就滑雪比賽的電視記錄而言，以麥克風來全面性涵蓋數公里長滑雪軌道將會太貴。結果，為了緊密記錄遊戲場面或競賽，特色聲音基本上不會由聲音記錄所捕捉。

從DE 10 2008 045 397 A1，為了捕捉在球類運動事件錄影時的運動特定聲音，已知可提供具有至少兩方向性麥克風的強大方向性麥克風系統，藉由在所有空間方向中可移動的引導寫實，它們中的每一個可朝著該球的現有位置來對準。在製作時麥克風的引導會自動產生，而沒有人為介入，其係依賴藉由球追蹤方法所產生的球位置資料。

不過，此已知的聲音記錄技術，無法被應用於每一影像紀錄，其係並且需要相當高的技術努力。

本發明欲解決的問題係為根據一開始所說明的設計來產生一種方法與組件，其係允許在任何錄影時減少技術努力來改良聲音的音訊表示。

根據本發明，此問題係用一方法來解決，其中影像內容最初可基於感應器地捕捉並且分析。藉由藉此所得到的資訊，適宜的聲音事件可根據預定標準而從聲音資料庫選出。此被選出的聲音事件會被自動加到整個視訊音訊混合的額外元件，其係在以下被視為視訊伴隨聲音。

根據本發明用來進行該方法的組件，其係由三個核心元件所組成：用來檢測一視訊影像之特徵影像內容的一感應器實體、分析被檢測以及所依據之影像內容的一中央控制單元，選擇適合來自聲音資料庫之檢測影像內容的音訊樣本，其係可被混合到在混合控制台中的視訊伴隨聲音。

用來進行根據本發明所設計之方法的組件1，其係概要地顯示於圖1，其係包含用來檢測視訊影像之影像內容的感應器實體10。所檢測影像內容係由呈資料11形式的感應器實體11被供應到基於軟體的分析與處理單元30，其係會被更詳細地顯示於圖2並且於稍候解釋。

例如，藉由電視攝影機所供應之運動事件的即時影像(在圖1與以下說明被視為〝傳送影像〞)，其係可被使用當作用來檢測影像內容的視訊影像。感應器實體10例如使用來自〝機械視覺〞(電腦視覺)領域的演算法來進行傳送影像之分析。其中，這些演算法允許移動物體對照影像背景的分開與追蹤，以及依賴影像部份來決定它們的位置。以足球為實例，在該場上球的地點以及在該影像部份中所示之所有足球球員的位置與大小，其係可被相應地決定。進一步，可能可藉由運動衫將運動員指派到不同組，並且計算該球的移動方向與速度。傳送影像的檢測(以及在該分析與處理單元30中的以下分析；圖1)進一步可提供在使用多電視攝影機之競賽錄影時能夠推論目前由影像檢測器所選出(〝切割〞)之電視攝影機之位置與焦距的優點。

補充地，在感應器實體10以及分析與處理單元30中，音訊訊號的記錄與自動分析(在圖1以及以下說明被視為〝傳送聲音〞)亦有可能，其係會將在一場景傳送影像內的特定動作特徵化。例如，從傳送聲音所得到的資訊可被使用來在聽覺上查證藉由視訊分析所檢測到的影像動作。進一步，以物理方式來決定出現在傳送影像中動作者之動作的感應器，其係可被提供在感應器實體10中，以用於更密切地定義與捕捉動作順序。這例如包括藉由GPS或無線電定向系統來決定運動者的現有位置。該額外資訊亦可被供應到基於軟體的分析與處理單元30，以當作資料11。

用來檢測影像內容之在技術上較不昂貴的可能性，其係使用專屬與靜態安裝追蹤攝影機的訊號來替代傳送影像，以用於視訊分析。追蹤攝影機可被事先校準到相應場景，並從而簡化在視訊影像中物體與互動的自動檢測。不過，在此情形中，有關真實傳送影像的資訊必須從單元20外面供應，例如大約(欲被解釋)在該圖式中沒有顯示之影像混合控制台的攝影機元資料或通用型之輸入輸出訊號。

由感應器實體10所供應之資料11的分析與處理會在單元30中被進行，其係會被更詳細地顯示於圖2中。單元30會從感應器實體10的資料11推論出用於音訊資料庫的控制指令31，其係例如做為部份以PC或DSP為基礎的加工處理。在單元30中，在第一分析級32中(其係不依賴傳送影像來分析場景)，用來說明視訊影像之基於感應器而被決定的參數，其係可根據預定規則並且藉由結果所產生之資訊彼此邏輯連結，控制指令31則會被產生以用來選擇被存檔的個別聲音，亦即〝音訊樣本〞，其係會被儲存在音訊資料庫40中。預定規則依次會被獨立運用，且就每一目的而言，其係必須被明確具體指定且被事先引入到分析與處理單元30的軟體內。資料庫40會將由控制指令31所選出的音訊樣本輸出，以當作音訊訊號41，其係隨後會被直接饋送到生成混合控制台50，且其中可被混以視訊伴隨聲音的其他元件，譬如環繞聲音(〝原始聲音〞)以及在可應用之處競賽評論員的〝對話聲音〞。藉此，要注意沒有任何干擾、暫時偏移的加倍性發生在音訊樣本與視訊伴隨聲音之間。在選出音訊樣本以用來添加到視訊伴隨聲音之期間內，可在以下特徵之間進行區別，以得到視訊場景聲音寫實的音訊編輯(依它們相關性的次序)：

1.聲音型態

2.音量(速度)

3.混響的附加(空間地)

4.轉向(指派方向到聲音)

就將根據本發明所設計之方法應用到足球競賽而言，在級32之中，此規則的規格說明，意味著，例如依據從相關於球移動之矢量變化之視訊分析擷取的資訊，新射門的起源可被決定。在該場上球的加速以及移動矢量的長度可提供有關資訊：是否它是具有分叉聲音特徵的長距離射門或傳球；以及根據單元30所產生之控制指令31而從音訊資料庫40被供應到生成混合控制台50(圖1)的相應聲音(音訊訊號41)有多吵(〝速率〞值)。被供應到生成混合控制台50的音量，其係可依賴在該場上球的位置而進一步改變，藉此，聲音來源相關於觀看者的距離可被複製。

在第二分析級33(圖2)中，其係依據傳送影像來分析參數，有關傳送影像之影像部份的資訊會為了聲音選擇而被考慮在內。此資訊可藉由單元20而以資料21來供應。假如該視訊分析直接在傳送影像中被進行的話，那麼攝影機位置與焦距可藉由被研究物體的大小被決定。假如分開的追蹤攝影機(圖1)或者其他感應器系統可被使用於檢測在感應器實體10中的影像內容的話，那麼有關傳送影像特性的外部資訊則會被考慮在內。為了此目的，從電視攝影機之控制單元擷取的攝影機元資料，尤其格外可被應用。進一步，混合控制台的通用型之輸入輸出訊號可被應用，其係會發出哪些個複數個電視攝影機目前在傳送影像中被選出(〝切割〞)。依據此資料，第二分析級33會產生控制指令34，以用於被施加到生成混合器控制級50之音訊訊號410音量的變化。此變化可藉由級70而發生，其係由控制指令34所控制，以用於音訊資料庫40之音訊訊號41的即時聲音編輯。藉由被供應到混合器控制級50之音訊訊號410音量的額外變化，在某種範圍內，視覺距離可被模擬，其中觀看者係相關於影像動作的中心而被放置。以足球競賽為例，藉由足球聲音的不同分級，整場之處理或寬角度記錄的特寫記錄可被再創造，其中，在每一情形中，觀看者會假定對該動作的不同選擇距離。

補充地，藉由第二分析級33，附屬於音訊資料庫40之用於動態即時聲音編輯的級70可被控制，以致於藉由依賴在視訊影像中物體位置之混響元件的等化與添加，空氣耗散與空間性的影響可被再產生。

在音訊訊號41或410到混合器控制級50的所說明即時供應期間內，特定的短暫移位可由於影像內容的檢測與分析而發生在音訊訊號41與視訊影像之間。不過，短暫移位可被侷限於小於四個全影像的範圍，藉此，相應音訊/視訊事件的不含糊結合是可能的。

藉由在圖3中的〝簡單映射〞，音訊資料庫40的組織實例係顯示用於足球。〝簡單映射〞係被理解為將儲存在資料庫40中的音訊樣本分類為不同目錄。音訊資料庫40可以硬體為主且基於軟體兩者來付諸實行，其係並且例如依據標準硬體/軟體取樣器或通用資料庫格式。控制指令31與34之傳送到資料庫40，其係例如經由電腦音樂協定而發生。為了依賴音訊樣本之特定特徵來分類在音訊資料庫中的音訊樣本，可提供〝樣本印射〞，其係隨著應用目的之上升而變。

以結合寫實聲音的足球競賽為實例，用於呈藉由比賽者之身體、腳部與頭部來接球與傳送球形式之不同比賽技術的音訊樣本可被區別。就包含頭部的比賽技術而言，以胸部、膝蓋與頭部來接收且傳送球會進一步多樣化。足部接收與傳送可再度被分為〝射門〞與〝傳球〞組。

就根據圖3的實施例而言，以依賴從分析級33之視訊影像所決定射門力道來變化的音量(〝速率〞)，可選出音訊樣本(圖2)，而且藉由使用不同音訊樣本，不同播放強度的音調差可被列入考慮。例如，比起較無力射門的聲音，勁射之像爆出的聲音具有更高的音量以及另一頻率組成。為了此因素，較無力射門的聲音不僅以更低的音量來混合，而且額外地，還應用另一聲音樣本。為了此目的，音訊樣本係以相關於聲音源的變化記錄距離(2公尺、6公尺或12公尺)來記錄，其係當它們被製作以便複製勁射的直接聲音特徵以及較不有力射門的不直接聲音特徵。

在播放期間內，譬如音量、混響元件、轉向與等化的參數，其係可藉由依賴控制指令34之級70主要即時地改變。這會提供特定音訊樣本不一定會被儲存以用於每一與每一個可能參數化的優點，其係會在此音訊資料庫製作期間內大幅減少儲存需要量與費用。為了促進以聲音編輯場景的整個真實印象，有必要甚至應用不同的聲音樣本，以用於連續、類似的影像內容。為了此目的，音訊樣本的隨機轉動則可被提供。

10．．．感應器實體

11．．．資料

20‧‧‧單元

21‧‧‧資料

30‧‧‧基於軟體的分析以及處理單元

31‧‧‧控制指令

32‧‧‧第一分析級

33‧‧‧第二分析級

34‧‧‧控制指令

40‧‧‧音訊資料庫

41‧‧‧音訊訊號

50‧‧‧生成混合控制台

70‧‧‧級

410‧‧‧音訊訊號

在下文，本發明係關於圖式而被詳細說明。

圖1顯示用來進行根據本發明所設計之方法之組件的概要方塊圖，其係具有三個核心元件：感應器實體、中央控制單元與音訊資料庫；

圖2顯示根據圖1所設計之組件之中央控制單元的細節；以及

圖3顯示在聲音資料庫中、用來將聲音樣本分類成不同種類(樣本映射)的實例。

1．．．自動聲音編輯系統

10．．．感應器實體

11．．．資料

20．．．單元

21．．．資料

30．．．基於軟體的分析與處理單元

31．．．控制指令

40．．．音訊資料庫

41．．．音訊訊號

50．．．生成混合控制台

Claims (14)

1. 一種用於一錄影時聲音之改良表示的方法，其特徵在於該錄影係一運動事件的一記錄，該視訊影像的該影像內容會基於感應器地被捕捉與分析，依據因此而得到的資訊在該運動事件期間識別特定運動動作，相應於該等運動動作的音訊事件可根據預定標準而從音訊資料庫被選出，而且該選出的聲音事件可被自動地播放到視訊伴隨聲音的元件。
2. 如申請專利範圍第1項之方法，其中，該方法係即時執行。
3. 如申請專利範圍第2項之方法，其中，從該音訊資料庫播放之該聲音事件的一即時聲音編輯係依賴該視訊影像的一分析來進行。
4. 如申請專利範圍第1項之方法，其中，在目前所傳送視訊影像(傳送影像)之影像內容之基於感應器的捕捉期間內，該傳送影像的分析係使用來自〝機械視覺〞領域的演算法所進行，其中藉由這些演算法，移動物體可被分離並且對照一影像背景被追蹤，而且它們的位置可依賴影像部份來決定。
5. 如申請專利範圍第1項之方法，其中，在基於感應器的該影像內容捕捉期間內，取代目前所傳送的視訊影像(傳送影像)，一專用與靜態安裝之追蹤攝影機的訊號會被使用，其係會對著相應影像場景來校正，且此外，有關該傳送影像的外部資訊則會被使用於分析，例如攝影機元資 料，或者一影像混合控制台的通用型輸入輸出訊號。
6. 如申請專利範圍第1項之方法，其中，就動作序列的更詳細定義與捕捉而言，額外參數可基於感應器地被捕捉，其係能夠以物理方式來決定出現在該傳送影像中行動者的行動，例如，藉由全球定位系統或無線電定向系統之行動者現有位置的決定。
7. 如申請專利範圍第1項之方法，其中，在該聲音選擇過程中，與該傳送影像之影像部份有關的資訊會被考慮在內。
8. 如申請專利範圍第1項之方法，其中，為了說明該視訊影像基於感應器所捕捉到參數，其係會根據預定規則被邏輯地彼此連接，而且用來選擇被稱為〝音訊樣本〞之存檔個別聲音的控制指令係根據產生的資訊來產生。
9. 如申請專利範圍第3項之方法，其中，在從該音訊資料庫與即時聲音編輯選出該音訊樣本時，可在以下特徵進行區別：-聲音型態-聲音音量(速度)-迴響添加(空間性)-轉向(指派方向到聲音)。
10. 如申請專利範圍第8項之方法，其中，該音訊樣本會在該音訊資料庫中被分類，其係依賴該音訊樣本的特定特徵(〝樣本映射〞)。
11. 如申請專利範圍第10項之方法，其中，就結合寫實 聲音之足球賽情形中的〝樣本映射〞而言，音訊樣本可以藉由比賽者之身體或足部來接球與傳球的不同形式比賽技術之〝身體〞、〝射門〞與〝傳球〞之群組來區分。
12. 如申請專利範圍第10項或第11項之方法，其中，就結合寫實聲音之足球賽情形中的〝樣本映射〞而言，具有改變音量的音訊樣本會依據所檢測到的比賽強度來排列，且不同音訊樣本亦可將射門、傳送與身體接收之不同比賽力道的音調差異考慮在內。
13. 如申請專利範圍第1項之方法，其中，該視訊影像之該音訊訊號被記錄且分析，其特徵化該影像之特定動作。
14. 一種用來進行如申請專利範圍第1項之方法的組件，其特徵在於以下元件：-感應器實體(10)，用來檢測一運動事件之一視訊記錄的特徵影像內容，-中央控制單元(30)，用以分析該視訊記錄之該經檢測影像內容，-音訊資料庫(40)，用以存檔相應於特定動作之個別聲音事件，以及-混合控制台(50)，並且該感應器實體係調適以在該運動期間識別特定運動動作，該中央控制單元(30)係調適以從該音訊資料庫中所存檔之該等聲音事件選擇一聲音事件，其相應於由該視訊記錄中之該感應器實體所辨識之該特定運動動作，並且該混合控制台係調適以混合由該中央控制單元所選擇之 該聲音事件至該視訊記錄訊號。