TWI428007B - 視訊處理裝置及方法 - Google Patents

Description

視訊處理裝置及方法

本發明有關於視訊處理，且特別有關於可將表示為二維(two-dimensional)視訊訊框之視訊流轉換為觀察者可利用三維(three-dimensional)透視感知到之立體視訊流(stereoscopic video stream)之視訊處理裝置及方法。

伴隨多媒體應用及相關顯示技術之發展，對於能夠產生更具體及更真實影像(例如立體的或三維的視訊)之顯示技術之需求正日漸增長。一般而言，基於觀看者立體視覺的生理因素，例如觀看者雙眼之間之視覺差異(或所謂雙眼視差(binocular parallax))、運動視差等，觀看者可將顯示於螢幕上之合成影像感知為立體或三維影像。這是因為兩只眼睛所看到的同一物體的景象有輕微不同。

當前，為獲得具有真實三維視圖之立體影像，需要具有至少兩攝相機之專用三維影像系統來合成每一攝相機同時捕捉之景象。舉例而言，可利用兩攝相機同時分別記錄左眼及右眼之視圖。從而，可依據上述兩視圖而形成對應的立體或三維影像。然而，上述多攝相機系統需要較高的設備成本、複雜的配置以及可能引入多攝相機自不同視圖記錄同一場景之同步問題。

於某些狀況下，可能需要能夠將任一原始記錄為二維之視訊內容轉換為立體或三維視訊內容之裝置及方法。

有鑑於此，特提供以下技術方案：本發明實施例提供一種視訊處理裝置，用於將多個二維視訊訊框轉換為多個立體視訊訊框，視訊處理裝置包含比較單元、時序轉換運作器及空間轉換運作器。比較單元用於接收一系列二維視訊訊框，以及為該等二維視訊訊框提供指示時序差異資料之比較結果；時序轉換運作器耦接於比較單元，用於依據比較結果修正該等二維視訊訊框；空間轉換運作器耦接於比較單元及時序轉換運作器，用於依據修正之多個視訊訊框之每一訊框產生立體訊框對，其中立體訊框對包含左眼視訊訊框及右眼視訊訊框，用於提供由人類雙眼所感知到的視覺差異。

本發明實施例另提供一種視訊處理方法，用於將多個二維視訊訊框轉換為多個立體視訊訊框，視訊處理方法包含：接收一系列二維視訊訊框；為該等二維視訊訊框提供指示時序差異資料之比較結果；依據比較結果修正該等二維視訊訊框；以及依據修正之多個視訊訊框之每一訊框產生立體訊框對，其中立體訊框對包含左眼視訊訊框及右眼視訊訊框，用於提供由人類雙眼所感知到的視覺差異。

利用本發明之視訊處理裝置及方法，可將現有二維視訊訊框轉換為立體視訊訊框。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的基準。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表第一裝置可直接電氣連接於第二裝置，或透過其他裝置或連接手段間接地電氣連接至第二裝置。

第1圖係依據本發明之一實施例之用於將二維視訊訊框轉換為立體視訊訊框之裝置10之示意圖。

請參考第1圖，將二維視訊訊框轉換為立體視訊訊框之裝置10包含比較單元104、時序轉換運作器(temporal transform operator)106及空間轉換運作器(spatial transform operator)108。

於運作之過程中，比較單元104接收二維視訊內容，舉例而言，一系列二維視訊訊框102。特別地，比較單元104為該等二維視訊訊框102提供指示時序差異資料之比較結果112。

依據一實施例，比較單元104可執行基於像素之偵測，以獲得當前訊框及至少一先前訊框之像素之間之亮度變化或色度變化。依據另一實施例，比較單元104可執行基於區塊或基於物體之運動探測，以獲得與該等二維視訊訊框102相關之運動資訊。舉例而言，運動資訊可藉由運動向量表示，以指示連續二維視訊訊框102內之特定物體或區域之運動速度及方向。由比較單元104比較之比較結果112隨後被提供給時序轉換運作器106用於進一步之視訊處理操作。

耦接於比較單元104之時序轉換運作器106依據比較結果112修正該等二維視訊訊框102。

於一實施例中，時序轉換運作器106可包含雜訊抑制濾波器(noise reduction filter)(未繪示)，該雜訊抑制濾波器被選定並被啟動，用於移除該等二維視訊訊框102之雜訊，例如空間雜訊(spatial noise)及時序雜訊(temporal noise)。舉例而言，當自一訊框至另一訊框之運動資訊並未發生太多改變時，雜訊抑制濾波器可執行訊框平均(frame average)，以移除二維視訊訊框102內之時序雜訊或隨機雜訊，並獲得一系列雜訊抑制視訊訊框。

於另一實施例中，時序轉換運作器106可包含解交錯器(未繪示)，該解交錯器被選定並被啟動，用於依據運動資訊解交錯該等二維視訊訊框。可選地，解交錯器可解交錯自雜訊抑制濾波器輸出之該等雜訊抑制視訊訊框。假定該等二維視訊訊框102被交錯，例如每秒50個交錯場，並且每一場均僅有視訊訊框之奇數列或偶數列。隨後，解交錯器將該等交錯二維視訊訊框102轉換為50Hz漸進掃描視訊流，50Hz漸進掃描視訊流之訊框具有視訊訊框之所有列。特別地，本發明可以使用多種解交錯技術，舉例而言，包含空間內插(spatial interpolation)技術之bob解交錯器或包含場合併(field merge)技術之編織解交錯器(weave deinterlacer)。請注意，漸進掃描視訊流可被回饋至雜訊抑制濾波器以移除隨後之視訊訊框之雜訊。

於又一實施例中，時序轉換運作器106可包含運動顫動消除器(未繪示)，該運動顫動消除器被選定並被啟動，用於對該等二維視訊訊框102執行訊框率(frame rate)升頻轉換(up-conversion)，以抑制運動顫動效果。舉例而言，當訊框率為24訊框每秒之該等二維視訊訊框102顯示於顯示訊框率為60訊框每秒之顯示裝置上時，藉由基於運動資訊內插來自於連續視訊訊框之運動物體之位置及靜止背景，運動顫動消除器將取樣率升頻轉換為顯示訊框率，從而抑制運動顫動缺陷。請注意，運動顫動消除器可對自解交錯器輸出之漸進掃描視訊流執行運動顫動消除。更請注意，訊框率升頻轉換亦可先於或後於解交錯器實施。

此外，應注意，被選定並被啟動用於該等二維視訊訊框102之視訊處理操作並不限於雜訊抑制、解交錯或運動顫動消除，其可係為任一時序修正操作。

於第1圖之實施例中，記憶體單元110可進一步用於儲存比較結果112及至少部分二維視訊訊框，以便藉由時序轉換運作器106執行隨後之視訊處理操作。

如第1圖所示，該等已修正之視訊訊框114(已修正之視訊訊框114為二維視訊訊框)被隨後輸出至空間轉換運作器108。於運作期間，耦接於比較單元104及時序轉換運作器106之空間轉換運作器108用於依據已修正之視訊訊框114之每一訊框產生一立體訊框對。詳言之，立體訊框對包含左眼視訊訊框116及右眼視訊訊框118，用於提供由人類雙眼所感知到的視覺差異。

第2A圖及第2B圖係由人類雙眼所感知到的視覺差異示意圖。如第2A圖所示，直角坐標(rectangular coordinate)(X,Y)被定義。此外，如第2B圖所示，被觀察者之左眼及右眼分別感知之直角坐標(X,Y)為兩反向梯形(trapezoid-like shape)LEFT及RIGHT。於第2B圖中，梯形LEFT代表由觀察者之左眼感知到之第2A圖中之坐標(X,Y)，而梯形RIGHT代表由觀察者之右眼感知到之第2A圖中之坐標(X,Y)。依據一實施例，兩反向梯形LEFT及RIGHT之水平位置X及垂直位置Y藉由具有對應縮放因子(scale factor)之兩特定空間轉換矩陣更新。

舉例而言，新垂直位置Y可基於梯形之坡度更新，而由於雙眼視差(亦即，人類雙眼之間之視覺差異)，新水平位置X需要藉由可變縮放因子更新。特別地，可基於觀察者之左眼及右眼之間之關連性而導出分別被水平視差及垂直視差誘發之兩特定空間轉換矩陣。就其本身而論，特定空間轉換矩陣用於將直角坐標(X,Y)轉換為具有所需要的立體或三維效果的一對反向梯形LEFT及RIGHT，二者分別代表左眼視訊訊框116及右眼視訊訊框118。

第3圖係依據本發明另一實施例之用於將二維視訊訊框轉換為立體視訊訊框之裝置30之示意圖。

如第3圖所示，除整合之比較單元304之外，裝置30類似於第1圖之裝置10。此外，第3圖中使用與第1圖所示之相同標號之器件執行相同功能，因此，為簡潔起見，此處省略進一步之描述。於本實施例中，第1圖之記憶體單元110可被整合到第1圖中之比較單元104中作為整合之比較單元304，以便減少記憶體存取延遲。

第4圖係依據本發明另一實施例用於將二維視訊訊框轉換為立體視訊訊框之裝置40之示意圖。

請參考第4圖，裝置40類似於第1圖中之裝置10，因此，為簡潔起見，此處省略對於與第1圖所示之相同標號之器件之進一步描述。

於本實施例中，於時序轉換運作器406利用比較結果112修正儲存於記憶體單元110之該等二維視訊訊框102之後，時序轉換運作器406更依據已修正之視訊訊框之每一者產生一虛擬訊框對。

依據一實施例，時序轉換運作器406可直接複製已修正之視訊訊框之每一訊框，用於分別產生虛擬訊框對之第一視訊訊框414L(用於觀察者之左眼)及第二視訊訊框414R(用於觀察者之右眼)。

於此狀況下，如第4圖所示之空間轉換運作器408可更包含左眼空間轉換運作器408L，被指定用於第一視訊訊框414L，以及右眼空間轉換運作器408R，被指定用於第二視訊訊框414R。於運作過程中，左眼空間轉換運作器408L用於依據虛擬視訊對之第一視訊訊框414L產生立體視訊對之左眼視訊訊框416。此外，右眼空間轉換運作器408R用於依據虛擬視訊對之第二視訊訊框414R產生立體視訊對之右眼視訊訊框418。

第5圖係依據本發明之一實施例之用於將二維視訊訊框轉換為立體視訊訊框之方法50之流程圖。具體地，方法50用於將原始記錄為具有二維視訊訊框之二維視訊內容轉換為立體或三維視訊內容之即時(real-time)轉換。就其本身而言，方法50有利的允許觀察者可選的以立體或三維視訊內容之形式以期望之立體或三維效果欣賞二維視訊內容。

請參考第1圖及第5圖，比較單元104接收具有一系列二維視訊訊框102之原始記錄二維視訊內容(步驟S502)。

隨後，比較單元104比較二維視訊訊框102以為該等二維視訊訊框提供指示時序差異資料之比較結果112(步驟S504)。

根據上述描述，比較單元104可依據隨後之視訊處理操作執行基於像素之偵測、基於物體之運動偵測及/或基於區塊之運動偵測。舉例而言，比較單元104可執行基於區塊之運動偵測，例如，區塊匹配偵測，以獲取關於運動向量之運動資訊，用於指示連續視訊訊框102內之特定物體或區域之運動速度或方向。隨後，比較單元104將比較結果112輸出至時序轉換運作器106。

於運作期間，時序轉換運作器106可依據比較結果112修正該等二維視訊訊框102以用於一個或多個視訊處理操作，所述操作包含但不限於雜訊抑制、解交錯、運動顫動消除或類似操作(步驟S506)。藉由時序轉換運作器106執行之部分視訊處理操作於先前與第1圖相關之實施例中詳述過，因此，為簡潔起見，此處不再贅述。

此外，應注意，第1圖之記憶體單元110可被整合於第1圖中之比較單元104中而作為第3圖之整合之比較單元304，以便減少記憶體存取延遲。

隨後，空間轉換運作器108依據已修正之視訊訊框114之每一者產生一立體訊框對(步驟S508)。具體地，立體訊框對包含左眼視訊訊框116及右眼視訊訊框118，用於提供由人類雙眼所感知到的視覺差異。

根據上述描述，當觀察者分別用左眼及右眼觀察第2A圖所示之直角坐標(X,Y)時，可同時以水平視差及垂直視差(亦即，人類雙眼之間之視覺差異)感知到多個相關立體視圖，例如第2B圖中所示之一對反向梯形LEFT及RIGHT。就其本身而言，由人類雙眼所誘發之梯形失真必須藉由於水平及垂直方向執行轉換而被修正。更具體而言，代表二維視訊訊框之直角坐標(X,Y)可藉由兩特定空間轉換矩陣變形或轉換為具有期望之立體或三維效果之該對反向梯形LEFT及RIGHT。

依據一實施例，於空間轉換運作器108產生該立體訊框對之後，亦即，左眼視訊訊框116及右眼視訊訊框118，觀察者戴上專用眼鏡，舉例而言，偏光眼鏡(polarization glasses)或快門眼鏡(shutter glasses)，可感知合成視訊訊框，該合成視訊訊框藉由立體訊框對之左眼視訊訊框116及右眼視訊訊框118格式化為立體的或三維的。依據另一實施例，自動立體化顯示裝置，而非專用眼鏡，可用於顯示呈現為三維的合成視訊訊框。

第6圖係依據本發明另一實施例之用於將二維視訊訊框轉換為立體視訊訊框之方法60之流程圖。

請參考第4圖及第6圖，比較單元104接收一系列二維視訊訊框102(步驟S602)。此外，該等二維視訊訊框102可被儲存於記憶體單元110中以便隨後之視訊處理操作。

隨後，比較單元104為該等二維視訊訊框102提供指示時序差異資料之比較結果112(步驟S604)。如前所述，比較單元104可執行基於像素之偵測、基於物體之運動偵測及/或基於區塊之運動偵測，用於獲取比較結果112，例如像素之間之亮度變化、與該等二維視訊訊框102相關之運動資訊等。

隨後，比較結果112被提供給時序轉換運作器406，用於相對於不同視訊處理操作(例如雜訊抑制、解交錯、運動顫動消除等)對該等二維視訊訊框102進行進一步修正。請注意，藉由時序轉換運作器406執行之視訊處理操作之細節於先前與第1圖相關之實施例中詳述過，因此，為簡潔起見，此處不再贅述。基於二維視訊訊框102之視訊處理操作，時序轉換運作器406依據已修正之視訊訊框之每一訊框產生一虛擬訊框對，該虛擬訊框對包含第一視訊訊框414L及第二視訊訊框414R(步驟S606)。於本範例性實施例中，輸出至空間轉換運作器408之第一視訊訊框414L及第二視訊訊框414R分別被指定用於觀察者之左眼及右眼。

此外，空間轉換運作器408內之左眼空間轉換運作器408L及右眼空間轉換運作器408R用於產生一立體訊框對，亦即依據該虛擬訊框對產生一立體訊框對(步驟S608)。此處，左眼空間轉換運作器408L基於指定用於左眼之一空間轉換矩陣將第一視訊訊框414L轉換為該立體訊框對之左眼視訊訊框416。類似地，右眼空間轉換運作器408R基於指定用於右眼之另一空間轉換矩陣將第二視訊訊框414R轉換為該立體訊框對之右眼視訊訊框418。此外，於空間轉換運作器408產生立體訊框對(亦即，左眼視訊訊框416及右眼視訊訊框418)之後，由立體訊框對之左眼視訊訊框416及右眼視訊訊框418形成之合成視訊訊框可由用戶通過專用眼鏡或自動立體顯示裝置感知為立體的或三維的。

前述提供之實施例於無需耗費用於安排專用影像攝相機記錄左眼及右眼透視圖之額外裝置成本之情形下，提供可行且靈活之解決方案，實現用於基於時間域轉換及空間域轉換之將現有二維視訊訊框轉換為立體視訊訊框之方法及裝置。

以上所述僅為本發明之較佳實施例，舉凡熟悉本案之人士援依本發明之精神所做之等效變化與修飾，皆應涵蓋於後附之申請專利範圍內。

10、30、40．．．裝置

102．．．二維視訊訊框

104．．．比較單元

106、406．．．時序轉換運作器

108、408．．．空間轉換運作器

110．．．記憶體單元

112．．．比較結果

114．．．已修正之視訊訊框

116、416．．．左眼視訊訊框

118、418．．．右眼視訊訊框

304．．．整合之比較單元

414L．．．第一視訊訊框

414R．．．第二視訊訊框

408L．．．左眼空間轉換運作器

408R．．．右眼空間轉換運作器

50、60．．．方法

S502-S508、S602-S608．．．步驟

第1圖係依據本發明之一實施例之用於將二維視訊訊框轉換為立體視訊訊框之裝置之示意圖。

第2A圖及第2B圖係由人類雙眼所感知到的視覺差異示意圖。

第3圖係依據本發明另一實施例之用於將二維視訊訊框轉換為立體視訊訊框之裝置之示意圖。

第4圖係依據本發明另一實施例之用於將二維視訊訊框轉換為立體視訊訊框之裝置之示意圖。

第5圖係依據本發明之一實施例之用於將二維視訊訊框轉換為立體視訊訊框之方法之流程圖。

第6圖係依據本發明另一實施例之用於將二維視訊訊框轉換為立體視訊訊框之方法之流程圖。

10．．．裝置

102．．．二維視訊訊框

104．．．比較單元

106．．．時序轉換運作器

108．．．空間轉換運作器

110．．．記憶體單元

112．．．比較結果

114．．．已修正之視訊訊框

116．．．左眼視訊訊框

118．．．右眼視訊訊框

Claims (18)

1. 一種視訊處理裝置，用於將多個二維視訊訊框轉換為多個立體視訊訊框，該視訊處理裝置包含：一比較單元，用於接收一系列二維視訊訊框，以及為該等二維視訊訊框提供指示時序差異資料之一比較結果；一時序轉換運作器，耦接於該比較單元，用於依據該比較結果修正該等二維視訊訊框；一空間轉換運作器，耦接於該比較單元及該時序轉換運作器，用於依據修正之多個二維視訊訊框之每一訊框產生一立體訊框對，其中該立體訊框對包含一左眼視訊訊框及一右眼視訊訊框，用於提供由人類雙眼所感知到的視覺差異；其中，該時序轉換運作器更依據修正之該等二維視訊訊框之每一訊框產生一虛擬訊框對，該空間轉換運作器依據該虛擬訊框對產生該立體訊框對。
2. 如申請專利範圍第1項所述之視訊處理裝置，其中該比較單元執行基於像素之偵測，用於獲得多個像素之間之亮度變化或色度變化。
3. 如申請專利範圍第1項所述之視訊處理裝置，其中該比較單元執行基於區塊之運動偵測，用於獲得與該等二維視訊訊框相關之一運動資訊。
4. 如申請專利範圍第3項所述之視訊處理裝置，其中該時序轉換運作器包含一解交錯器，用於依據該運動資訊解交錯該等二維視訊訊框並獲得一漸進掃描視訊流。
5. 如申請專利範圍第1項所述之視訊處理裝置，其中 該時序轉換運作器包含一雜訊抑制濾波器，用於移除該等二維視訊訊框之雜訊，以及獲得一系列雜訊抑制視訊訊框。
6. 如申請專利範圍第1項所述之視訊處理裝置，其中該時序轉換運作器包含一運動顫動消除器，用於對該等二維視訊訊框執行訊框率轉換，以抑制運動顫動效果。
7. 如申請專利範圍第1項所述之視訊處理裝置，更包含：一記憶體單元，用於儲存該比較結果及至少部分該等二維視訊訊框。
8. 如申請專利範圍第1項所述之視訊處理裝置，其中該時序轉換運作器複製修正之該等二維視訊訊框之每一訊框以分別產生該虛擬訊框對之一第一視訊訊框及一第二視訊訊框。
9. 如申請專利範圍第8項所述之視訊處理裝置，其中該空間轉換運作器包含：一左眼空間轉換運作器，用於依據該虛擬訊框對之該第一視訊訊框產生該立體訊框對之該左眼視訊訊框；以及一右眼空間轉換運作器，用於依據該虛擬訊框對之該第二視訊訊框產生該立體訊框對之該右眼視訊訊框。
10. 一種視訊處理方法，用於將多個二維視訊訊框轉換為多個立體視訊訊框，該視訊處理方法包含：接收一系列二維視訊訊框；為該等二維視訊訊框提供指示時序差異資料之一比較結果；依據該比較結果修正該等二維視訊訊框； 依據修正之該等二維視訊訊框之每一訊框產生一虛擬訊框對；以及依據已產生之多個虛擬訊框對之每一虛擬訊框對產生一立體訊框對，其中該立體訊框對包含一左眼視訊訊框及一右眼視訊訊框，用於提供由人類雙眼所感知到的視覺差異。
11. 如申請專利範圍第10項所述之視訊處理方法，其中提供該比較結果之該步驟包含：執行基於像素之偵測，用於獲得多個像素之間之亮度變化或色度變化。
12. 如申請專利範圍第10項所述之視訊處理方法，其中提供該比較結果之該步驟包含：執行基於區塊之運動偵測，用於獲得與該等二維視訊訊框相關之一運動資訊。
13. 如申請專利範圍第12項所述之視訊處理方法，其中修正該等二維視訊訊框之該步驟包含：依據該運動資訊解交錯該等二維視訊訊框；以及獲得一漸進掃描視訊流。
14. 如申請專利範圍第10項所述之視訊處理方法，其中修正該等二維視訊訊框之該步驟包含：移除該等二維視訊訊框之雜訊，以及獲得一系列雜訊抑制視訊訊框。
15. 如申請專利範圍第10項所述之視訊處理方法，更包含：對該等二維視訊訊框執行訊框率轉換，以抑制運動顫 動效果。
16. 如申請專利範圍第10項所述之視訊處理方法，更包含：儲存該比較結果及至少部分該等二維視訊訊框。
17. 如申請專利範圍第10項所述之視訊處理方法，其中產生該虛擬訊框對之該步驟包含：複製修正之該等二維視訊訊框之每一訊框以分別產生該虛擬訊框對之一第一視訊訊框及一第二視訊訊框。
18. 如申請專利範圍第17項所述之視訊處理方法，其中產生該立體訊框對之該步驟包含：依據該虛擬訊框對之該第一視訊訊框產生該立體訊框對之該左眼視訊訊框；以及依據該虛擬訊框對之該第二視訊訊框產生該立體訊框對之該右眼視訊訊框。