TWI558165B - 電腦系統及立體影像產生方法 - Google Patents

Description

電腦系統及立體影像產生方法

本發明係有關於影像處理，特別是有關於利用二維影像中之主線條之分布以決定立體影像之景深的電腦系統、立體影像產生方法及電腦可讀取媒體。

隨著三維電視機的普及，三維影像之取得亦變得相當重要。然而，市面上藉由直接拍攝三維場景所取得的三維影像並不夠多，因此目前市面上的三維電視機均內建有二維影像轉換為三維影像之功能，而該功能在其景深產生的演算法上大多以偵測二維影像中的顏色區塊、色彩灰階與景物明暗，做為二維影像轉換為三維影像之景深的依據。然而，僅靠顏色判斷所產生的景深，常常會出現物體相對位置與景深判斷錯誤的情況，因此會帶給使用者不佳的觀賞感受。

有鑑於此，本發明係提出一種電腦系統，用於產生一立體影像。該電腦系統包括：一儲存單元，用以儲存一立體影像轉換程式；以及一處理單元，用以執行該立體影像轉換程式，其中該立體影像轉換程式包括下列步驟：取得一輸入影像；由該輸入影像中取得至少一垂直主線條及/或至少一水平主線條；判斷該等垂直主線條及/或該等水平主線條之分布是否明顯；當所取得的該等垂直主線條或該等 水平主線條之分布明顯，利用所取得的該等垂直主線條或該等水平主線條之分布以產生對應的一深度資訊；依據該輸入影像及該深度資訊以產生對應於該輸入影像之一深度影像；以及依據該輸入影像及該深度影像產生一立體影像。

本發明更提供一種立體影像產生方法，用於一電腦系統。該方法包括下列步驟：取得一輸入影像；由該輸入影像中取得至少一垂直主線條及/或至少一水平主線條；判斷所取得的該等垂直主線條及/或該等水平主線條之分布是否明顯；當所取得的該等垂直主線條或該等水平主線條之分布明顯，利用該等垂直主線條或該等水平主線條之分布以產生對應的一深度資訊；依據該輸入影像及該深度資訊以產生對應於該輸入影像之一深度影像；以及依據該輸入影像及該深度影像產生一立體影像。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式第1~7圖，作詳細說明如下。

第1圖係顯示依據本發明一實施例之電腦系統的方塊圖。電腦系統100係包括一影像擷取裝置110、一處理單元120、及一儲存單元130。影像擷取裝置110係用以擷取至少一輸入影像或一影像序列。處理單元120係用以執行儲存於儲存單元130中的一立體影像轉換程式131，藉以利用立體影像轉換程式131將來自影像擷取裝置110的輸入影像轉換為一立體影像，其細節將詳述於後。在一實施 例中，處理單元120亦可讀取預先儲存於儲存單元130中的二維影像或影像序列，並利用立體影像轉換程式將二維影像或影像序列轉換為立體影像。

第2圖係顯示依據本發明一實施例之戶外場景之垂直主線條的示意圖。第3圖係顯示依據本發明一實施例之室內場景之垂直主線條的示意圖。在一實施例中，處理單元120係可對整張輸入影像進行深度線索(depth cue)之分析(例如藉由高通濾波器偵測邊緣線條)，以得知垂直線條及/或水平線條的數量及分布。處理單元120更進一步判斷垂直線條及水平線條在輸入影像中的比例，當這些垂直線條及水平線條在輸入影像中的比例超過一預定比例(例如50%，非限定)，則處理單元120係由垂直線條及水平線條中，決定超過預定比例的垂直線條及水平線條分別為垂直主線條(primary vertical lines)及水平主線條(primary horizontal lines)。

如第2圖所示，若輸入影像為一般的戶外場景，處理單元120係可分析輸入影像，以得知輸入影像中所涵蓋與標示的垂直主線條210~220數量相對較多。如第3圖所示，若輸入影像為室內場景，則處理單元120係可分析輸入影像，以得知輸入影像中所涵蓋與標示的垂直主線條(例如垂直主線條310~315)相對較少。在此實施例，在進行二維影像轉換為立體影像的過程中，處理單元120係依據垂直主線條之分布以決定立體影像之景深(depth of field)(或稱為深度)，意即當垂直主線條的數量越多且越密集，則處理單元120係可決定所產生的立體影像之景深愈深。當垂 直主線條的數量愈少且越分散時，則處理單元120係可決定所產生的立體影像之景深愈淺。

第4A、4B圖係顯示依據本發明一實施例之水平線條的示意圖。在另一實施例中，若輸入影像中的垂直主線條的分布不是很明顯(salient)，處理單元120則依據水平主線條之分布，以決定所產生的立體影像之景深。更詳細而言，在水平主線條分布較明顯之影像中，正確的景深方向往往是隨著水平線條的分布而定。舉例來說，如第4A及4B圖所示，場景係可分別由水平主線條410~430及440~460大致分為四個區域470~473及480~483。在圖片最下緣的區域，例如區域470及480其景深最淺，而場景之景深係往上逐漸增加，表示其正確的景深方向係由區域470往區域473，以及由區域480往區域483。因此，在圖片最上緣的區域，例如區域473及483，其具有最深的景深。

需注意的是，處理單元120係判斷分別由垂直主線條或水平主線條所構成之物件區域(object area)在輸入影像中所佔之比例大於一畫面比例，若是，處理單元120係判斷垂直主線條或水平主線條之分布明顯，若否，處理單元120係判斷垂直主線條或水平主線條之分布不明顯。無論是依據垂直主線條或水平主線條以產生對應的深度值或深度資訊，在立體影像顯示器上播放仍有其限制，因在立體影像顯示器上播放的影像深度不可能為無限遠。一般而言，深度資訊係可用灰階值介於0~255的一灰階影像表示二維影像中之景物所對應的深度值(例如對於正視差之影像來說，灰階值0為深度最遠，灰階值255為最接近鏡頭或使 用者，對於負視差之影像則相反)。舉例來說，以正視差的深度影像為例，在第4A及第4B圖中之區域470及480，其景深最淺，處理單元120可將其深度值設定在介於灰階值171~230之間的範圍。對於區域471及481，處理單元120係可將其深度值設定在介於111~170之間的範圍。對於區域472及482，處理單元120係可將其深度值設定在介於71~110之間的範圍。而區域473及483，其景深最深，處理單元120係可將其深度值設定在介於20~70之間的範圍。熟習本發明領域之技術者當了解上述實施例僅用於說明，並非用以限定本發明。

第5圖係顯示依據本發明一實施例中之產生具有浮出螢幕效果之輸入影像的示意圖。當輸入影像中的垂直主線條及水平主線條之分布皆不夠明顯，即表示輸入影像中的景深分布並無一定規則，此時處理單元120係先分析輸入影像(例如藉由物體辨識或前景/背景分離等習知技術)，以將輸入影像區分為畫面較銳利清楚的區域(意即主要物件或前景區域，例如區域510))以及較模糊的部分(意即背景區域，例如區域520)。接著，處理單元120在產生立體影像時，其係對區域510進行影像處理以產生較大的負視差(亦即成像點在螢幕前)，藉以讓區域510具有浮出螢幕(outward)的立體效果，並增進使用者的視覺感受。

第6圖係顯示依據本發明一實施例之立體影像產生方法的流程圖。在步驟S600，處理單元120係取得一輸入影像，其中輸入影像係可來自影像擷取裝置110，或是儲存於儲存單元130中之二維影像。在步驟S610，處理單元120 係由輸入影像中取得垂直主線條及/或水平主線條(其細節將詳述於第7圖)。在步驟S620，處理單元120係判斷垂直主線條及/或水平主線條之分布是否明顯，意即判斷分別由垂直主線條及/或水平主線條所構成之區域在輸入影像中所佔之比例大於一畫面比例。在步驟S630，當所取得的垂直主線條及水平主線條之分布明顯，處理單元120係依據所取得的垂直主線條或水平主線條之分布以產生一深度資訊，並依據輸入影像及該深度資訊以產生對應於輸入影像之深度影像。在步驟S640，處理單元120係依據輸入影像及其深度影像，產生一立體影像。

第7圖係顯示依據本發明另一實施例之立體影像產生方法的流程圖。第7圖係為第6圖之流程的實施細節。在步驟S700，處理單元120係取得一輸入影像，其中輸入影像係可來自影像擷取裝置110，或是儲存於儲存單元130中之二維影像。在步驟S702，處理單元120係偵測輸入影像中之垂直線條及/或水平線條。在步驟S704，處理單元120係由所偵測之垂直線條及水平線條中分別判斷垂直主線條及水平主線條，意即藉由判斷垂直線條及水平線條在輸入影像中的比例是否超過一預定比例來決定垂直主線條及水平主線條，其細節請參考前述實施例，於此不在詳述。在步驟S706，處理單元120係判斷垂直主線條及/或水平主線條之分布情況是否明顯，若是，則執行步驟S708，處理單元120係將立體影像之成像點設定於螢幕後方(意即將立體影像設定為正視差)，若否，則執行步驟S710，處理單元120係將立體影像之成像點設定於螢幕前方(意即將立體影 像設定為負視差)。在步驟S712，處理單元120係判斷在輸入影像中的垂直主線條的數量是否大於水平主線條的數量，若是，則執行步驟S714，處理單元120係利用垂直主線條之分布情況以產生對應的深度資訊，若否，則執行步驟S716，處理單元120係利用水平主線條之分布情況以產生對應的深度資訊。更詳細而言，當垂直主線條或水平主線條的分布越密集，處理單元120所設定對應的深度值(或深度範圍)亦相對較深。

在步驟S718中，當輸入影像中的垂直主線條或水平主線條分布不明顯，處理單元120係偵測輸入影像中之主要物件(意即影像較銳利的部分)，並產生主要物件所對應的深度資訊。在步驟S720，處理單元120係依據輸入影像及深度資訊，產生對應於輸入影像之深度影像。在步驟S722，處理單元係依據輸入影像及其深度影像，產生立體影像。

本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。

本發明雖以較佳實施例揭露如上，然其並非用以限定 本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧電腦系統

110‧‧‧影像擷取裝置

120‧‧‧處理單元

130‧‧‧儲存單元

131‧‧‧立體影像轉換程式

410-460‧‧‧水平主線條

470-473、480-483、510-520‧‧‧區域

第1圖係顯示依據本發明一實施例之電腦系統的方塊圖。

第2圖係顯示依據本發明一實施例之戶外場景之垂直主線條的示意圖。

第3圖係顯示依據本發明一實施例之室內場景之垂直主線條的示意圖。

第4A、4B圖係顯示依據本發明一實施例之水平線條的示意圖。

第5圖係顯示依據本發明一實施例中之具有浮出螢幕效果之立體影像的示意圖。

第6圖係顯示依據本發明一實施例之立體影像產生方法的流程圖。

第7圖係顯示依據本發明另一實施例之立體影像產生方法的流程圖。

100‧‧‧電腦系統

110‧‧‧影像擷取裝置

120‧‧‧處理單元

130‧‧‧儲存單元

131‧‧‧立體影像轉換程式

Claims (12)

1. 一種電腦系統，用於產生一立體影像，包括：一儲存單元，用以儲存一立體影像轉換程式；以及一處理單元，用以執行該立體影像轉換程式，其中該立體影像轉換程式包括下列步驟：取得一輸入影像；由該輸入影像中取得至少一垂直主線條及/或至少一水平主線條；判斷該等垂直主線條及/或該等水平主線條之分布是否明顯；當該等垂直主線條或該等水平主線條之分布明顯，利用該等垂直主線條或該等水平主線條之分布以產生對應的一深度資訊；依據該輸入影像及該深度資訊以產生對應於該輸入影像之一深度影像；以及依據該輸入影像及該深度影像產生一立體影像，其中該處理單元更偵測該輸入影像中之至少一垂直線條及/或至少一水平線條，並判斷該等垂直線條及/或該等水平線條在該輸入畫面中之比例是否超過一預定比例，當該等垂直線條及該等水平線條在該輸入畫面中之比例超過該預定比例，該處理單元係分別由該等垂直線條及該等水平線條決定該等垂直主線條及該等水平主線條。
2. 如申請專利範圍第1項所述之電腦系統，其中當所取得的該等垂直主線條或該等水平主線條之分布明顯，該處理單元係將該立體影像設定為正視差；當所取得的該等 垂直主線條或該等水平主線條之分布不明顯，該處理單元係將該立體影像設定為負視差。
3. 如申請專利範圍第2項所述之電腦系統，其中當所取得的該等垂直主線條或該等水平主線條之分布不明顯，該處理單元更偵測該輸入影像中之一主要物件，以產生該主要物件所對應的一深度資訊，並依據該主要物件所對應之該深度資訊及該輸入影像，以產生一深度影像，再依據該深度影像及該輸入影像以產生該立體影像。
4. 如申請專利範圍第2項所述之電腦系統，其中當所取得的該等垂直主線條及該等水平主線條之分布明顯，該處理單元更判斷該等垂直主線條之數量是否大於該等水平主線條之數量，若是，該處理單元係利用該等垂直主線條之分布情況以產生對應的該深度資訊，若否，該處理單元係利用水平主線條之分布情況以產生對應的該深度資訊，該處理單元更依據該等垂直主線條或該等水平主線條所對應的該深度資訊及該輸入影像以產生一深度影像，再依據該深度影像及該輸入影像以產生該立體影像。
5. 如申請專利範圍第1項所述之電腦系統，其中該處理單元係使用一高通濾波器(high pass filter)對該輸入影像進行一深度線索(depth cue)之分析，以得知該等垂直線條及該等水平線條的數量及其分布。
6. 如申請專利範圍第1項所述之電腦系統，其中該處理單元係判斷所取得的該等垂直主線條及該等主線條所分別構成的一物件區域在輸入影像中所佔之比例是否大於一畫面比例，若是，該處理單元係判斷所取得的該等垂直主 線條或該等水平主線條之分布明顯，若否，該處理單元係判斷該等垂直主線條或該等水平主線條之分布不明顯。
7. 一種立體影像產生方法，用於一電腦系統，包括：取得一輸入影像；由該輸入影像中取得至少一垂直主線條及/或至少一水平主線條；判斷該等垂直主線條及/或該等水平主線條之分布是否明顯；當該等垂直主線條或該等水平主線條之分布明顯，利用該等垂直主線條或該等水平主線條之分布以產生對應的一深度資訊；依據該輸入影像及該深度資訊以產生對應於該輸入影像之一深度影像；以及依據該輸入影像及該深度影像產生一立體影像，其中由該輸入影像取得該等垂直主線條及該等水平主線條之步驟包括：偵測該輸入影像中之至少一垂直線條及/或至少一水平線條；判斷該等垂直線條及/或該等水平線條在該輸入畫面中之比例是否超過一預定比例；以及當該等垂直線條及/或該等水平線條在該輸入畫面中之比例超過該預定比例，由該等垂直線條及該等水平線條分別決定該等垂直主線條及該等水平主線條。
8. 如申請專利範圍第7項所述之立體影像產生方法，更包括： 當所取得的該等垂直主線條或該等水平主線條之分布明顯，將該立體影像設定為正視差；以及當所取得的該等垂直主線條或該等水平主線條之分布不明顯，將該立體影像設定為負視差。
9. 如申請專利範圍第8項所述之立體影像產生方法，其中產生該立體影像之步驟包括：當所取得的該等垂直主線條或該等水平主線條之分布不明顯，偵測該輸入影像中之一主要物件，以產生該主要物件所對應的一深度資訊；依據該主要物件所對應之該深度資訊及該輸入影像，以產生一深度影像；以及依據該深度影像及該輸入影像以產生該立體影像。
10. 如申請專利範圍第8項所述之立體影像產生方法，其中產生該立體影像之步驟包括：當所取得的該等垂直主線條或該等水平主線條之分布明顯，判斷該等垂直主線條之數量是否大於該等水平主線條之數量；若是，利用該等垂直主線條之分布情況以產生對應的該深度資訊；若否，利用水平主線條之分布情況以產生對應的該深度資訊；依據該等垂直主線條或該等水平主線條所對應的該深度資訊及該輸入影像以產生一深度影像；以及依據該深度影像及該輸入影像以產生該立體影像。
11. 如申請專利範圍第7項所述之立體影像產生方 法，其中偵測該輸入影像中之該等垂直線條及該等水平線條之步驟包括：使用一高通濾波器對該輸入影像進行一深度線索(depth cue)之分析，以得知該等垂直線條及該等水平線條的數量及其分布。
12. 如申請專利範圍第7項所述之立體影像產生方法，其中判斷該等垂直主線條及該等水平主線條之分布是否明顯的步驟包括：判斷該等垂直主線條及該等主線條所分別構成的一物件區域在輸入影像中所佔之比例是否大於一畫面比例；若是，判斷該等垂直主線條或該等水平主線條之分布明顯；以及若否，判斷該等垂直主線條或該等水平主線條之分布不明顯。