TWI475898B - 多媒體處理系統及音訊信號調整方法 - Google Patents

Description

多媒體處理系統及音訊信號調整方法

本發明係有關於音訊處理，特別是有關於使用立體影像之深度影像以處理音訊信號之的多媒體處理系統及音訊處理方法。

隨著立體顯示器的發展，立體影像之處理亦愈來愈重要。一般而言，立體影像之取得可藉由幾種方式，例如利用可得到深度影像的深度攝影機進行拍攝、由模擬人類雙眼視覺之雙攝影機進行拍攝、或是由二維影像經過適當的影像處理以得到立體影像。如第1A圖所示，由二維影像轉換至立體影像的處理過程可約略分為幾個步驟：影像縮小、邊緣偵測(edge detection)、線劃追蹤(line tracing)、深度指派(depth assignment)、深度影像放大及平滑化、橫向偏移(lateral shifting)，當深度影像建立之後，即可與原本之二維影像結合以產生立體影像(stereoscopic image)。傳統二維影像轉換為立體影像之演算法亦可透過建立空間模型、邊緣偵測、計算消失點等方式，透過對一張或多張影像的分析來建立深度影像。

如第1B圖所示，視覺深度感知因素可分為生理因素及心理因素。一般而言，二維影像轉換為立體影像之深度圖往往係針對幾項心理因素以進行演算法之運算，。舉例來說，在心理因素上往往會認為黃色物體、移動量大的物體或大物體之景深最淺，反過來說，在心理因素上亦會認為 藍色物體、移動量小的物體或小物體之景深最深，而且材質接近會視為景深相同。

更進一步，景深資訊係為立體顯示技術中的關鍵，但傳統立體顯示技術往往只著重於如何產生正確景深的產生方式，但卻鮮少利用景深資訊以進一步處理立體影像及對應的音訊信號。

本發明係提供一種多媒體處理系統，包括：一深度分析器，用以接收一輸入影像，並據以產生一深度影像；以及一音訊處理單元，用以接收一輸入音訊信號及該深度影像，並判斷該深度影像中之一預定偵測區域之一物件特徵是否超過一預定值，其中當該物件特徵超過該預定值，該音訊處理單元係依據該物件特徵對該輸入音訊信號進行調整以產生一輸出音訊信號。

本發明更提供一種音訊信號調整方法，用於一多媒體處理系統，包括：接收一輸入影像，並據以產生一深度影像；接收一輸入音訊信號；判斷該深度影像中之一預定偵測區域之一物件特徵是否超過一預定值；以及當該物件特徵超過該預定值，依據該物件特徵對該輸入音訊信號進行調整以產生一輸出音訊信號。

第2圖係顯示依據本發明一實施例之多媒體處理系統200的方塊圖。多媒體處理系統200係包括一深度分析器 210、一視訊處理單元220及一音訊處理單元230。深度分析器210係用以接收一輸入影像，並依據輸入影像以取得一二維影像及其對應的深度影像。需注意的是，上述輸入影像係可為一二維影像、一三維影像，或是一立體影像(二維影像及其對應的深度影像)。換言之，若輸入影像是立體影像，則可直接取得其深度影像。若輸入影像僅為二維影像或三維影像，則需進一步計算其對應的深度影像。又，視訊處理單元220所產生的輸出影像亦可為二維影像或立體影像。音訊處理單元230係接收一輸入音訊信號以及由深度分析器210所產生的深度影像，並依據該深度影像以調整輸入音訊信號，以產生一輸出音訊信號，其細節將詳述於後。在一實施例中，輸入音訊信號及輸出音訊信號係可為單聲道、2聲道(立體聲)，或是2.1聲道、4.1聲道、5.1聲道、6.1聲道或7.1聲道等多聲道之音訊信號，且輸出音訊信號之聲道數係大於或等於輸入音訊信號之聲道數。輸入音訊信號的各聲道之間係具有一強度比例、一延遲比例及一頻率比例，且各聲道亦具有其對應的音量，意即上述聲音因素係對應至左/右聲道音量、左/右聲道平衡、等化器(equalizer)、音場(sound field)等，且該音訊處理單元係可調整輸入音訊信號中的上述聲音因素以產生輸出音訊信號。

在一實施例中，音訊處理單元230更由深度影像以偵測主物件(main object)之深度影像，意即由深度產生器210所產生之深度影像中分析主物件之影像特徵以取得其深度影像。舉例來說，深度影像係可分成靜態深度影像及動態 深度影像。靜態深度影像係可為深度影像中之特定深度值(例如灰階值0、10、250)、絕對極值(absolute extrema)或區域相對極值(local extrema)。動態深度影像係可分為移動資訊及深度變化資訊，其中移動資訊係指在深度影像中之同深度分布之像素集合的特定位移向量，深度變化資訊係指在深度影像中，相同座標之像素或集合在不同時間的深度改變量。深度分析器210係可由深度變化資訊中取得該主物件之座標，其中座標係可為一維、二維或三維座標，且座標之數值係可為一絕對值(例如(200,300,251))或相對值(例如2：3、40%或0.6等等)，意即取得座標以表示該主物件在二維影像中的位置。又，主物件之座標係可包括物件大小之資訊。

在另一實施例中，音訊處理單元230係將所偵測出的主物件之座標，轉換為各聲道之間的比例，意即音訊處理單元230可取得主物件於二維影像中之位置，並進而調整各聲道之間的相對關係。在又一實施例中，音訊處理單元230係可偵測出主物件，並持續追蹤物件移動時其座標變化值，並根據座標變化值以產生對應的各聲道比例。

在又一實施例中，音訊處理單元230除了由二維影像或深度影像中以辨識出主物件，更可選擇性地接收外來的物件資訊，其中物件資訊係包括主物件之座標、位置、大小及區域，例如是大範圍的像素移動或移動向量大幅變化，亦或是辨識出的人臉資訊。音訊處理單元230係可依據物件資訊，對輸入音訊信號之各聲道進行調整，以產生輸出音訊信號。

第3A~3D圖係顯示依據本發明一實施例中音訊處理單元230辨識主物件以調整聲道比例之示意圖。如第3A及3B圖所示，音訊處理單元230係可依據物件資訊以決定二維影像中之主物件310(例如新聞主播)之位置約在右邊距離2/5畫面寬度之處，此時音訊處理單元230係將輸入音訊信號(例如2聲道)中之左聲道(L)及右聲道(R)之比例調整為L：R=60%：40%。如第3C及3D圖所示，音訊處理單元230係可由連續影像之深度影像中判斷主物件320(例如新聞畫面)之位置約在左邊距離3/10畫面寬度之處，此時音訊處理單元230係可將輸入音訊信號(例如2聲道)中之左聲道(L)及右聲道(R)之比例調整為L：R=32%：68%。值得注意的是，左聲道及右聲道之比例係具有一對應關係，但上述實施例中之左右聲道的比例並非絕對，可視情況調整。熟習本發明此領域之技藝者當了解，上述實施例僅說明音訊處理單元230對聲道調整之一方式，當不能以此限定本發明。

第4A~4F圖係顯示依據本發明另一實施例中音訊處理單元230辨識主物件以調整聲道比例之示意圖。如第4A~4C圖所示，物件410在撥放過程中逐漸放大至全螢幕。在第4A圖中，物件410係位於左邊距離2/5畫面寬度之處，音訊處理單元230係將左右聲道之比例設定為L：R=2：3。在第4B圖中，物件410係逐漸增大，此時音訊處理單元230係將左右聲道之比例調整為L：R=2.2：2.8(意即L：R=45%：55%)。在第4C圖中，物件410係已放大至全螢幕，此時音訊處理單元230係將左右聲道之比例設定為 L：R=2.5：2.5(意即L：R=50%：50%)。

如第4D~4F圖所示，使用者係選擇顯示器之顯示介面(OSD)由English選至Reset。舉例來說，物件420一開始係在位置430，接著移動至位置440、450及460，若位置430、440、450及460之座標係分別為(300,500,200)、(200,500,200)、(200,300,150)及(200,200,200)，除了平面位置變化之外，物件420之深度亦有變化，音訊處理單元係可將對應的輸入音訊信號調整為左聲道30%及2毫秒延遲、左聲道40%及1.8秒延遲，以及左聲道50%及1.6毫秒延遲。值得注意的是，為了維持輸出音訊信號與輸出影像之同步性，音訊處理單元230更包括一同步單元(第1圖中未繪示)，用以執行音訊及視訊之同步處理，其係可稱為「對嘴(lip sync)」。

第5A~5D圖係顯示依據本發明一實施例之二維影像及深度影像中之消失點及空間線的示意圖。在一實施例中，音訊處理單元230係可計算深度影像中之消失點(disappearing point)及空間線(space line)等影像特徵，並依據計算所得之影像特徵以調整輸入音訊信號。舉例來說，如第5A圖所示之場景510，音訊處理單元230在其深度影像520(如第5B圖所示)中判斷僅有一空間線，此時音訊處理單元230則不調整輸入音訊信號。如第5C圖所示之場景530，音訊處理單元230在其深度影像540(如第5D圖所示)中判斷其中間有4條空間線的4個消失點，因此音訊處理單元230係可偵測上述影像特徵，以得知場景530係可能為室內(indoor)或洞穴(cave)等場景，故可調整輸入音訊信 號(例如：套用一聲音設定檔(audio profile))以加強回音(echo)效果。

第6A~6B圖係顯示依據本發明一實施例之深度影像及其直方圖。因深度影像係為一灰階影像，其灰階值之範圍係為0~255以分別表示場景中的不同深度。一般來說灰階值0係表示物體與鏡頭之間的距離最近，灰階值255係表示物體與鏡頭之間的距離最遠，然而音訊處理單元230亦可用相反的方式以表示不同的深度，意即灰階值0表示深度最大，灰階值255表示深度最小。音訊處理單元230係可統計深度影像中之灰階值以產生一直方圖(histogram)，並分析直方圖中的灰階值之分布，並據以調整輸入音訊信號。舉例來說，如第6B圖所示，當場景610之直方圖中的灰階值小於20的像素數量大於全部像素之數量的80%，音訊處理單元230係可判斷場景610係靠近使用者，此時音訊處理單元230係將輸入音訊信號之音量調高為原始音量的1.2倍。在另一實施例中，當場景610之直方圖中的灰階值大於200的像素數量大於全部像素之數量的80%，音訊處理單元230係可判斷場景610係在遠離使用者之畫面深處，此時音訊處理單元230係將輸入音訊信號之音量降低為原始音量的1/3。

第7A~7C圖係顯示依據本發明一實施例之輸入影像及其對應的深度影像。在一實施例中，音訊處理單元230係可以三種方式來偵測主物件：(1)區域偵測(zone detection)；(2)尺寸偵測(size detection)；(3)深度高峰偵測(depth peak detection)。舉例來說，如第7A~7B圖所示， 第7B圖係為第7A圖之場景710的深度影像，在區域偵測方式中係依據一預設區域劃分方式將第7B圖中的深度影像平均劃分複數區域，其中上述預設區域劃分方式例如可為九宮格(nine patch)，其中所劃分之區域的高度及寬度均可自行設定，並未限定是寬高平均劃分的九宮格。音訊處理單元230係分析深度影像中之該等區域的中間區域720的灰階值，並以深度影像之中間區域720的灰階值大於一預定灰階值(例如200)的複數像素(深度較淺或深的物體)標示為主物件，如第7C圖所示。需注意的是，熟習本發明領域之技藝者當了解深度影像係可用灰階值表示物體的深度，例如灰階值0表示物體的深度最近，灰階值255表示物體的深度最遠，亦或是灰階值255表示物體的深度最近，灰階值0表示物體的深度最遠。深度無論是採用何種灰階值的方式表示，本發明均可適用。在上述實施例中，深度影像之灰階值0係表示物體的深度最近，灰階值255係表示物體的深度最遠。

在尺寸偵測方式中，音訊處理單元230係判斷在深度影像中之前10%最高的灰階值之平均值是否大於灰階值200，若是，音訊處理單元230則決定這些前10%最高灰階值的最大連續區域，用以標示為主物件，當最大連續區域之像素數量大於200及500時，音訊處理單元230係分別將輸入音訊信號之音量調整為原始音量的1.2倍及1.5倍，但本發明不限於此。

在另一實施例中，當音訊處理單元230取得深度影像所對應之直方圖後，音訊處理單元230係確認深度範圍小 於灰階值30之面積大小(由多少像素所構成)。當此面積的比例大於整張畫面之40%、60%、80%或90%時，音訊處理單元230係分別將輸入音訊信號之音量調整為原始音量之1.1倍、1.2倍、1.4倍及1.6倍。換句話說，當上述面積之大小在一預定範圍內時，音訊處理單元230則不對輸入音訊信號進行調整，但本發明不限於此。

第8A~8F圖係顯示依據本發明一實施例之輸入影像及其對應深度影像的直方圖。在深度高峰偵測方式中，如第8A~8F圖所示，第8D~8F圖係分別為第8A~8C之對應的深度影像所產生的直方圖，音訊處理單元230更可分析第8D~8F圖中的直方圖之深度高峰(depth peak)之分布，藉以偵測深度影像中在第一特定高峰(例如深度最淺的物件)內的像素，並標示為主物件。

在又一實施例中，音訊處理單元230所接收外來的物件資訊，更可包括影像分析之結果，例如影片類型或節目類型、影像的主物件之位置、場景模式、直方圖等，以供音訊處理單元230確認深度資訊。

第9圖係顯示依據本發明一實施例之音訊信號調整方法的流程圖。在步驟S900，音訊處理單元230係接收一輸入音訊信號。在步驟S910，音訊處理單元230係接收來自深度分析器210之深度影像，其中深度分析器210係分析一輸入影像以取得對應的一深度影像。在步驟S920，音訊處理單元230係由深度影像中偵測物件特徵。在步驟S930，音訊處理單元230係判斷深度影像中之一預定區域的深度或尺寸超過一預定值，若是，則執行步驟S940，若 否，則回到步驟S930，重新在深度影像中偵測物件特徵。在步驟S940，音訊處理單元230係依據在預定區域中之深度或尺寸，以獲得一主物件。在步驟S950，音訊處理單元230係依據主物件之深度或尺寸以調整該輸入音訊信號以產生一輸出音訊信號。在步驟S960，音訊處理單元230係輸出該輸出音訊信號。

第10圖係顯示依據本發明另一實施例之音訊信號調整方法的流程圖。在步驟S1000，音訊處理單元230係接收一輸入音訊信號。在步驟S1010，音訊處理單元230係接收來自深度分析器210之深度影像。在步驟S1020，音訊處理單元230係由深度影像中偵測物件特徵。在步驟S1030，音訊處理單元230係判斷深度影像中之一預定區域的空間線或深度分布超過一預定值，若是，則執行步驟S1040，若否，則回到步驟S1020，重新在深度影像中偵測物件特徵。在步驟S1040，音訊處理單元230係依據該空間線或深度分布之資訊以調整輸入音訊信號，藉以產生一輸出音訊信號。在步驟S1050，音訊處理單元230係輸出該輸出音訊信號。

需注意的是，在第9圖及第10圖之流程中，音訊處理單元230係可直接接收一物件資訊，其中該物件資訊係為至少一二維影像相關之深度影像、二維影像中之主物件的位置或尺寸、場景模式或直方圖等資訊。因此，音訊處理單元230可省略上述流程中的部分步驟(例如步驟S910、S920、S1010及S1020)，並快速地利用物件資訊以分析影像特徵以獲得主物件，且依據其影像特徵以調整輸入音訊 信號。

本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用以輔助專利文件搜尋之用，並非用以限制本發明之權利範圍。

200‧‧‧多媒體處理系統

210‧‧‧深度分析器

220‧‧‧視訊處理單元

230‧‧‧音訊處理單元

310‧‧‧主物件

410、420‧‧‧物件

510、530、610、620、710‧‧‧場景

520、520‧‧‧深度影像

第1A圖係顯示將二維影像轉換為立體影像之傳統演算法的流程圖。

第1B圖係顯示視覺深度感知因素的示意圖。

第2圖係顯示依據本發明一實施例之多媒體處理系統200的方塊圖。

第3A~3D圖係顯示依據本發明一實施例中音訊處理單元辨識主物件以調整聲道比例之示意圖。

第4A~4F圖係顯示依據本發明另一實施例中音訊處理單元230辨識主物件以調整聲道比例之示意圖。

第5A~5D圖係顯示依據本發明一實施例之消失點及空間線的示意圖。

第6A~6B圖係顯示依據本發明一實施例之深度影像及其直方圖。

第7A~7C圖係顯示依據本發明一實施例之輸入影像及其對應的深度影像。

第8A~8F圖係顯示依據本發明一實施例之輸入影像及其對應深度影像的直方圖。

第9圖係顯示依據本發明一實施例之音訊信號調整方法的流程圖。

第10圖係顯示依據本發明另一實施例之音訊信號調整方法的流程圖。

200‧‧‧多媒體處理系統

210‧‧‧深度分析器

220‧‧‧視訊處理單元

230‧‧‧音訊處理單元

Claims (14)

1. 一種多媒體處理系統，包括：一深度分析器，用以接收一輸入影像，並據以取得一深度影像；以及一音訊處理單元，用以接收一輸入音訊信號及該深度影像，並判斷該深度影像中之一預定偵測區域之一物件特徵是否超過一預定值；其中當該物件特徵超過該預定值，該音訊處理單元係依據該物件特徵對該輸入音訊信號進行調整以產生一輸出音訊信號。
2. 如申請專利範圍第1項所述之多媒體處理系統，其中該音訊處理單元更計算該深度影像之一直方圖(histogram)，並據以偵測該直方圖中之一特定高峰，且將該特定高峰所對應之複數個像素標示為一主物件。
3. 如申請專利範圍第1項所述之多媒體處理系統，其中當該主物件之一面積超過一預定值，該音訊處理單元係依據該面積以調整該輸入音訊信號以產生該輸出音訊信號。
4. 如申請專利範圍第1項所述之多媒體處理系統，其中該音訊處理單元更依據一預設區域分割方式將該深度影像劃分為複數區域，且更標示該等區域之一中間區域中大於一預定灰階值之複數個像素為一主物件。
5. 如申請專利範圍第4項所述之多媒體處理系統，其中該音訊處理單元更依據該主物件之一畫面比例以調整該輸入音訊信號以產生該輸出音訊信號。
6. 如申請專利範圍第1項所述之多媒體處理系統，其中該音訊處理單元更由該深度影像中偵測至少一空間線及其對應的一消失點，且依據該空間線及該消失點以對應地調整該輸入音訊信號以產生該輸出音訊信號。
7. 如申請專利範圍第1項所述之多媒體處理系統，其中該音訊處理單元係偵測該深度影像中之具有最高灰階值之一預定數目的複數個像素，其中當該等像素之一平均值係大於一預定值，該音訊處理單元係判斷該等像素之一最大連續區域，並依據該最大連續區域之一尺寸以調整該輸入音訊信號以產生該輸出音訊信號。
8. 一種音訊信號調整方法，用於一多媒體處理系統，包括：接收一輸入影像，並據以產生一深度影像；接收一輸入音訊信號；判斷該深度影像中之一預定偵測區域之一物件特徵是否超過一預定值；以及當該物件特徵超過該預定值，依據該物件特徵對該輸入音訊信號進行調整以產生一輸出音訊信號。
9. 如申請專利範圍第8項所述之音訊信號調整方法，其中產生該輸出音訊信號之步驟更包括：計算該深度影像之一直方圖，並據以偵測該直方圖中之一第一深度高峰；以及將該第一深度高峰所對應之複數個像素標示為一主物件。
10. 如申請專利範圍第9項所述之音訊信號調整方 法，其中產生該輸出音訊信號之步驟更包括：當該主物件之一面積超過一預定值，依據該面積以調整該輸入音訊信號以產生該輸出音訊信號。
11. 如申請專利範圍第8項所述之音訊信號調整方法，其中產生該輸出音訊信號之步驟更包括：依據一預設區域分割方式將該深度影像劃分為複數區域；以及標示該等區域之一中間區域中大於一預定灰階值之複數個像素為一主物件。
12. 如申請專利範圍第11項所述之音訊信號調整方法，其中產生該輸出音訊信號之步驟更包括：依據該主物件之一畫面比例以調整該輸入音訊信號以產生該輸出音訊信號。
13. 如申請專利範圍第8項所述之音訊信號調整方法，其中產生該輸出音訊信號之步驟更包括：由該深度影像中偵測至少一空間線及其對應的一消失點；以及依據該空間線及該消失點，對應地調整該輸入音訊信號以產生該輸出音訊信號。
14. 如申請專利範圍第8項所述之音訊信號調整方法，其中產生該輸出音訊信號之步驟更包括：偵測該深度影像中之具有最高灰階值之一預定數目的複數個像素；當該等像素之一平均值係大於一預定值，判斷該等像素之一最大連續區域；以及 依據該最大連續區域之一尺寸以調整該輸入音訊信號以產生該輸出音訊信號。