TWI502546B

TWI502546B - 推擠一模型通過二維場景的系統、方法和電腦程式商品

Info

Publication number: TWI502546B
Application number: TW102128510A
Authority: TW
Inventors: David R Cook
Original assignee: Nvidia Corp
Priority date: 2012-08-22
Filing date: 2013-08-08
Publication date: 2015-10-01
Also published as: US9208606B2; CN103632391A; US20140055445A1; DE102013215301A1; TW201417041A

Description

推擠一模型通過二維場景的系統、方法和電腦程式商品

本發明係關於影像處理，更具體的係關於影像改變。

在現代社會當中，二維圖形內容廣泛流行。例如：二維圖形內容可包括在媒體內，例如電影、視訊遊戲、影像等等。不過，用於改變這種二維圖形內容的當前技術伴隨許多限制。

例如：用於將二維圖形內容轉換成三維內容的當前技術相當複雜並且耗時。此外，這種技術的結果通常是粗糙並且不精準的。因此需要解決先前技術所伴隨的這些與其他問題。

本發明揭示一種用於擠壓一物體通過二維場景的系統、方法和電腦程式商品。在使用當中，於二維場景內識別二維物體。此外，決定對應至該二維物體的三維模型。進一步，擠壓該三維模型通過該二維場景，來建立三維物體。

100‧‧‧方法

102‧‧‧操作

104‧‧‧操作

106‧‧‧操作

200‧‧‧方法

202‧‧‧操作

204‧‧‧操作

206‧‧‧操作

208‧‧‧操作

210‧‧‧操作

212‧‧‧操作

300‧‧‧示範參數擠壓處理

302‧‧‧二維影像

304‧‧‧二維物體

306‧‧‧三維模型

308‧‧‧三維模型

310‧‧‧三維物體

400‧‧‧示範系統

401‧‧‧中央處理器

402‧‧‧通訊匯流排

404‧‧‧主記憶體

406‧‧‧圖形處理器

408‧‧‧顯示器

410‧‧‧次要儲存器

第一圖顯示根據一具體實施例，用於從二維場景擠壓一物體之方法。

第二圖顯示根據一具體實施例，用於擠壓一二維物體進入三維空間之方法。

第三圖顯示根據另一具體實施例的一擠壓處理。

第四圖說明其中可實施許多先前具體實施例的許多架構和/或功能性之示範系統。

第一圖顯示根據一具體實施例，用於擠壓一模型通過二維場景之方法100。如操作102所示，於二維場景內識別二維物體。在一具體實施例中，該二維場景可包括一影像。例如：該二維場景可包括一數位影像，例如一掃描的相片、視訊的截圖、視訊的訊框等等。

此外，在一具體實施例中，該二維物體可包括該二維場景內的任何物體。例如：該二維物體可包括個體的影像、實際物體的影像等等。在另一具體實施例中，在該二維場景內可顯示複數個二維物體。

進一步，在一具體實施例中，在該二維場景內可手動識別該二維物體。例如：一使用者運用顯示該二維場景的一圖形使用者介面(GUI，graphical user interface)，手動選擇該二維物體。在另一具體實施例中，可手動辨識該二維物體。例如：一或多個應用程式可分析該二維場景，並且可自動/動態偵測該二維場景內的該二維物體(例如運用形狀辨識、影像處理等等)。

仍舊進一步，如操作104所示，決定對應至該二維物體的三維模型。在一具體實施例中，該三維模型可包括一線框模型，與該二維場景一起顯示。在另一具體實施例中，該三維模型可包括一透明或半透明模型，可與該二維場景一起顯示。不過當然，該三維模型可包括使用三維表示的任何模型。

另外，在一具體實施例中，可手動決定該三維模型。例如：手動識別該二維場景內的該二維物體之後，該使用者可指派一或多個識別碼給該二維物體(例如用識別碼標記該物體等等)。在另一具體實施例中，該等識別碼可指示該二維物體的類型、該二維物體的類別、該二維物體的完整或部分描述、與該二維物體相關聯的關鍵字等等。

此外，在一具體實施例中，該使用者指派給該二維物體的該等一或多個識別碼可用來決定該對應的三維模型。例如：一資料庫可內含複數個三維模型的描述碼，並且該使用者指派至該二維物體的該等一或多個識別碼可與該資料庫內的該等描述碼比較。在另一個範例中，可決定描述碼最接近匹配該使用者指派給該二維物體的該等一或多個識別碼之三維模型對應至該二維物體。

進一步，在一具體實施例中，可自動決定該三維模型。例如：自動識別該二維場景內該二維物體之後，可自動分析該二維物體來決定該二維物體的類型。在另一個範例中，可識別並分析該二維物體的一或多個子物體(例如部件等等)，以決定該物體的類型。在另一具體實施例中，該物體的類型可與三維模型類型之資料庫比較，可決定三維模型類型與該物體類型之間的匹配。

仍舊進一步，如操作106所示，擠壓該三維模型通過該二維場景，來建立三維物體。在一具體實施例中，擠壓該三維模型通過該二維場景可包括往第三維度移動該三維模型通過該二維場景，如此強迫該三維模型通過該二維場景，以產生一三維物體。例如：該二維場景可運用二維X-Y軸呈現在二維平面上，並且該三維模型可放在該場景平面之後與該平面垂直的一Z軸上(如此該場景平面重疊在該三維模型之上)。在另一個範例中，然後該三維模型透過該垂直Z軸移動通過該場景平面(如此透過該Z軸推動該三維模型通過該二維場景)。

另外，在一具體實施例中，擠壓三維模型通過該二維場景可包括調整(例如包覆)該二維場景，以回應該三維模型往該第三維度通過該二維場景的動作。例如：隨著該三維模型沿著與該場景垂直的該軸移動通過該場景平面，可包覆該二維場景，如此該二維場景之一部分(例如該二維物體等等)可覆蓋(例如包覆等等)已移動通過該場景平面的該三維模型。

此外，在一具體實施例中，可包覆該二維物體的該二維呈現，如此該二維物體包覆，並且隨著該三維模型移動通過該場景，映射至該三維模型。例如：該二維物體的該二維呈現可用來當成一紋理圖，建立已在與該場景垂直的該軸上通過該場景平面的該三維模型之該表面。在另一個範例中，可調整該二維物體的該二維呈現遵循該三維模型的該等三維輪廓，如此該二維物體的該結果呈現就變成三維。如此，使用來自該二維物體的內容將該三維模型貼上紋理。

進一步，在一具體實施例中，擠壓該三維模型通過該二維場景可包括對齊該二維物體與該三維模型。在另一具體實施例中，該二維物體可與該三維模型手動對齊。例如：一使用者可使用一圖形使用者介面 (GUI，graphical user interface)，來操縱(例如移動、調整大小、調整形狀等等)該三維模型，如此該三維模型的位置、大小以及形狀可沿著與該場景垂直的該軸，對齊該二維物體的位置、大小以及形狀。在另一個範例中，該使用者可在該三維模型已移動通過該場景平面之前或之後，操縱該三維模型。

仍舊進一步，在一具體實施例中，該二維物體可自動與該三維模型對齊。例如：可手動識別或自動識別(例如運用影像處理等等)該二維物體的一或多個子物體(例如部件等等)，並且可決定該二維物體內這種子物體的方位。在另一個範例中，可根據該二維物體內該等子物體的該方位，決定該二維場景內該二維物體的方位。

在又一具體實施例中，該二維場景內該二維物體的已決定方位可用來自動決定對於該三維模型的調整，如此該三維模型沿著與該場景垂直的該軸與該二維物體對齊。在另一具體實施例中，一或多個特性(例如形狀、容量、移動限制、可用位置、功能等等)可關聯於該三維模型，並且這種特性可用於改善該二維物體與該三維模型的自動對齊。

另外，在一具體實施例中，可調整擠壓該三維模型通過該二維場景之程度。例如：可手動或自動調整該三維模型往與該場景垂直的該軸通過該二維場景的該二維平面之距離。在另一具體實施例中，在該三維模型已移動通過該二維場景之後(例如微調該三維模型上該二維物體的涵蓋率等等)，可手動或自動對於該三維模型的一或多個額外調整(例如對齊、大小等等)。如此，已知物體的三維模型可調整來匹配二維物體的大小與特性，並且使用其對應的三維模型資料當成擠壓基座，擠壓該等二維物體。

此外，在一具體實施例中，擠壓該三維模型通過該二維場景可包括運用該三維模型，將該二維物體轉換成三維物體。例如：該擠壓的三維模型可轉換成具有該三維模型形狀以及該已包覆二維物體外觀的三維物體。在另一具體實施例中，擠壓該三維模型通過該二維場景可包括將該二維物體轉換成一立體物體。例如：該擠壓的二維物體可轉換成具有該三維模型形狀以及該已包覆二維物體外觀的立體物體。在另一個範例中，該三維模型可提供深度資料，允許有精確的立體深度。

在又一具體實施例中，該二維物體可包括一或多個二維子物體。例如：一臉部的二維呈現可包括子物體，包括眼睛、鼻子、嘴巴等等。仍舊在另一具體實施例中，該二維物體可細分，並且可決定三維模型用於該二維物體內每一二維子物體。在又一具體實施例中，運用該等三維模型，可從該二維場景擠壓每一該等二維子物體。

更進一步，在一具體實施例中，利用從該二維場景擠壓該二維物體所建立的該三維物體可用來執行影像辨識。例如：在分析一場景來決定該場景內任何三維物體匹配該已建立的三維物體期間，可使用該三維物體。在另一具體實施例中，利用從該二維場景擠壓該二維物體所建立的該三維物體可為動畫。例如：可操縱該三維物體，如此移動該三維物體的一或多個部分(例如映射至該三維物體的子物體)。

此時將公佈有關許多選擇架構和功能，如此可依照使用者意願實施或不實施前述結構之更多說明資訊。吾人應該特別注意，下列資訊僅供說明，不應解釋為以任何方式進行限制。下列任何功能都可在排除或不排除所說明其他功能之下選擇性併入。

第二圖顯示根據另一具體實施例，用於擠壓一二維物體進入三維空間之方法200。根據選項，可在第一圖的功能性範圍內實施方法200。不過，當然方法200可在任何所要的環境內實施。吾人也應該注意，在目前說明當中也適用前述定義。

如操作202所示，已識別一二維(2D)場景。在一具體實施例中，該二維場景可包括一數位影像。例如：一使用者可掃描一靜止照片，其可在掃描期間轉換成一二維數位影像。在另一具體實施例中，該二維場景可包括來自視訊的一場景。在又一具體實施例中，可識別該等複數個二維場景。例如：可識別包括兩個二維影像，每一都描述其他稍微不同版本的一立體影像，或來自該相同物體或多個物體不同透視圖的多個影像。

此外，如操作204所示，於該二維場景內識別一二維物體。在一具體實施例中，該二維物體可包括該二維場景內顯示的一個體(例如一人體等等)、該二維場景內顯示的一物體(例如一間房子、一張椅子等等)等等。在另一具體實施例中，該二維場景可包括一組件物體。例如：該二維物體可包括一臉部、一手部或該二維場景內個體的另一部分、房子的門口等等。仍舊在另一具體實施例中，該二維物體可包括該二維場景內元件的組合(例如人群、含家具的臥房等等)。

進一步，在一具體實施例中，可由該使用者識別該二維物體。例如：該使用者運用一GUI，利用選擇該二維場景內該物體來選擇該二維物體。在另一具體實施例中，在已識別該二維物體之後，可將該二維物體的形狀反白。例如：使用影像分析，描繪該已選取二維物體的該特定周邊可反白(例如加粗、改變成不同顏色等等)。

仍舊進一步，如操作206所示，決定對應至該二維物體的一虛擬三維模型。在一具體實施例中，該使用者可使用該物體的一或多個識別碼標記該二維物體，並且該標記可用於決定對應至該二維物體的該三維模型。在另一具體實施例中，可使用影像處理自動識別該二維物體，並且決定該對應的三維模型。在又一具體實施例中，可從複數個模型當中(例如預定的模型等等)選擇該虛擬三維模型。

另外，如操作208所示，該虛擬三維模型重疊在該二維場景內該二維物體之上。如操作210所示，該虛擬三維模型調整成匹配該二維場景內該二維物體的該方位和大小。在一具體實施例中，該使用者可手動縮放、傾斜以及調整該三維模型，如此該三維模型的該周邊與該二維場景內該二維物體的該周邊對齊。

在另一具體實施例中，可使用影像處理自動分析該二維物體的該方位及/或部件。此外，這種分析可用於調整該三維模型。在另一具體實施例中，該三維模型的深度可自動調整或由該使用者調整。例如：該三維模型可在Z空間內前後移動，相對於該二維場景來調整該三維模型的深度。

進一步，如操作212所示，擠壓該三維模型通過該二維場景，藉此建立三維物體。在一具體實施例中，可執行該擠壓，以回應來自該使用者的命令。在另一具體實施例中，從該場景擠壓該二維物體可包括用該二維物體內含的該等像素包覆該三維模型，並且擠壓該已包覆的三維模型。

仍舊進一步，在一具體實施例中，該使用者可查看已用於該擠壓的該三維模型，並且利用手動轉換該模型以符合該二維物體的形狀與位置，可在該擠壓期間調整該模型。在另一具體實施例中，該三維模型可看待成一線框模型、透明模型、半透明模型等等。如此，該使用者可將該模型調整成更能匹配已擠壓的該物體。在另一具體實施例中，該使用者可指定要執行的擠壓量。

另外，在一具體實施例中，擠壓該三維模型通過該場景可包括讓該三維模型匹配該場景內該二維物體。例如：該使用者可使用該物體的一或多個識別碼標記該二維物體，並且該標記可用於執行該二維物體內子物體的進一步偵測。例如：若該使用者已將該二維物體標記為一個人，則可在該二維物體內偵測到類如臉部、手部、眼睛、鼻子和嘴巴這些子物體。

此外，在一具體實施例中，該二維物體的該已偵測子物體可用來彎配合該三維模型以及該二維物體內該等子物體的外框，如此這些子物體的細節匹配這些該二維物體內所顯示的。在另一具體實施例中，例如縮放、轉譯以及旋轉這些一或多種轉換可在該三維模型上執行，以便在擠壓期間調整該模型。這可根據影像處理手動或自動完成。

進一步在一具體實施例中，擠壓該三維模型通過該場景可包括一旦該三維模型已匹配該場景內該二維物體，則從該相片之後將該三維模型往上推。如此，該三維模型可給予深度至該二維物體，並且可使用該二維場景內該二維物體的紋理與細節。

仍舊進一步，在一具體實施例中，擠壓通過該二維場景的該三維模型可儲存為一立體影像或一三維物體。在另一具體實施例中，該三維物體可用來執行影像辨識。例如：在分析一場景的處理期間可使用該三維物體，決定該三維物體是否匹配該場景內一或多個三維物體。在又一具體實施例中，該三維物體可為動畫。例如：描述一人頭部的三維物體可為動畫，例如轉頭、眨眼睛、動嘴巴等等。

另外，在一具體實施例中，可運用來自複數個二維場景的複數個二維物體來建立三維物體。例如：可從一對二維立體影像(例如左與右眼視野等等)之內識別二維物體的匹配對，並且這種二維物體可為映射至三維模型上的紋理。此外，在擠壓期間，與來自左視野立體影像的物體相關聯之紋理可加入至該三維模型的左側，並且與來自右視野立體影像的物體相關聯之紋理可加入至該三維模型的右側。如此，立體場景內的一物體可使用擠壓轉換成真實三維物體。

如此，可獲得用於三維物體的確實三維深度。此外，利用根據已識別二維物體產生三維模型，可加速三維轉換處理。進一步，可建構一個綜合的、詳細的三維模型資料庫，並且以較大精準度和細節輕鬆並自動偵測和擠壓二維物體。

第三圖顯示根據另一具體實施例的一擠壓處理300。選擇性，可在第一圖至第二圖功能性範圍內實施示範參數擠壓處理300。不過，當然示範擠壓處理300可在任何所要的環境內實施。吾人也應該注意，在目前說明當中也適用前述定義。

如所示，於二維影像302內識別二維物體304。此外，從一資料庫中擷取與二維物體304匹配的三維模型306。進一步，三維模型306調整大小，並且與二維影像302內的二維物體304對齊(手動或自動)。仍舊進一步，將三維模型306推過二維影像302，其中二維影像302內的該等部件包覆以匹配已修改三維模型308的形狀，並且用來將已修改三維模型308加上紋理。這導致擠壓二維物體304來建立三維物體310，該物體包括來自二維物體304的所有該等部件。

第四圖說明其中可實施許多先前具體實施例的許多架構及/或功能性之示範系統400。如所示，提供的系統400包括至少一個主處理器401，其連接至通訊匯流排402。系統400也包括主記憶體404。控制邏輯(軟體)以及資料都儲存在主記憶體404內，此記憶體可採用隨機存取記憶體(RAM，random access memory)。

系統400也包括圖形處理器406和顯示器408，即是電腦監視器。在一具體實施例中，圖形處理器406可包括複數個著色器模組(shader module)以及一個柵格化模組(rasterization module)等等。每一前述模組都適合在單一半導體平台上形成圖形處理單元(GPU，graphics processing unit)。

在本說明當中，單一半導體平台可稱為單體半導體式積體電路或晶片。吾人應該注意，單一半導體平台一詞也表示多晶片模組，其具備提高的連線性來模擬晶片上運算，並且運用傳統中央處理單元(CPU，central processing unit))和匯流排做大幅改善。當然，依照使用者的意願，許多模組也可分開或與半導體平台進行許多結合。

系統400也包括次要儲存器410。次要儲存器410包括例如：硬碟機及/或可移除式儲存裝置，像是軟碟機、磁帶機、光碟機等等。可移除式儲存裝置用已知的方式讀取及/或寫入可移除式儲存單元。

電腦程式(或電腦控制邏輯演算法)可儲存在主記憶體404及/或次要儲存器410內，這種電腦程式在執行時可讓系統400執行許多功能。記憶體404、儲存器410及/或任何其他儲存器都可為電腦可讀取媒體的範例。

在一具體實施例中，許多先前附圖的架構及/或功能性都可在由主處理器401、圖形處理器406、積體電路(未顯示，可具有至少部分主處理器401和圖形處理器406的能力)、晶片組(即是設計成以執行相關功能的一單元來運作及銷售之積體電路群組)及/或其他任何積體電路所構成結構內實施。

仍舊是，許多先前附圖的架構及/或功能性都可在一般電腦系統、電路板系統、娛樂專用遊戲控制台系統、應用專屬系統及/或其他任何所要系統的範圍內實施。例如：系統400可為桌上型電腦、膝上型電腦以及/或其他任何邏輯類型。仍舊是，系統400可為許多其他裝置的形式，包括但不受限於個人數位助理(PDA，personal digital assistant)裝置、行動電話裝置、電視等等。

進一步，雖然未顯示，系統400可連結至網路(例如通訊網路、區域網路(LAN，local area network)、無線網路、廣域網路(WAN，wide area network)，像是網際網路、點對點網路、有線電視網路等等)用來通訊。在一具體實施例中，該UI可在一行動裝置上執行，例如行動電話或平板，而計算則在該雲端內更強大的電腦上執行。

當上面已說明許多具體實施例時，必須了解到它們係僅藉由範例來呈現，並非構成限制。因此，較佳具體實施例之廣度及範疇並不侷限於上述任何示範性具體實施例，而應僅根據以下的申請專利範圍及其等效內容來定義。

Claims

一種方法，包含：在一二維場景內識別一二維物體；指派一或多個識別碼給該二維物體；基於該一或多個識別碼決定對應至該二維物體的一三維模型；對齊該二維物體與該三維模型；以及映射該二維物體至該三維模型以建立用於該三維模型之一表面的一紋理圖。
如申請專利範圍第1項之方法，其中由該使用者指派給該二維物體的該等一或多個識別碼可用來從被包括在一資料庫中的複數個三維模型中決定該對應的三維模型。
如申請專利範圍第1項之方法，其中自動分析該二維物體，以決定該二維物體的類型。
如申請專利範圍第1項之方法，其中映射該二維物體至該三維模型包含往一第三維度移動該三維模型通過該二維場景。
如申請專利範圍第1項之方法，其中藉由使用一圖形使用者介面(GUI，graphical user interface)操縱該三維模型使該二維物體與該三維模型手動對齊。
如申請專利範圍第1項之方法，其中可識別該二維物體的一或多個子物體，並且決定該二維物體內每一個種子物體的方位。
如申請專利範圍第6項之方法，其中根據該二維物體的一邊緣的形狀以及該二維物體內每一個子物體的該方位，決定該二維場景內該二維物體的方位。
如申請專利範圍第1項之方法，其中更包括將該二維物體轉換成一立體物體。
一種在一非暫時性電腦可讀取媒體上具體實施之電腦程式商品，其包含：程式碼，用於在一二維場景內識別一二維物體；程式碼，用於指派一或多個識別碼給該二維物體；程式碼，用於基於該一或多個識別碼決定對應至該二維物體的一三維模型；以及程式碼，用於對齊該二維物體與該三維模型；以及程式碼，用於映射該二維物體至該三維模型以建立用於該三維模型之一表面的一紋理圖。
一種系統，包含：一記憶體，包括複數個三維模型；一耦接於該記憶體的處理器，該處理器被配置於：識別一二維場景內一二維物體；指派一或多個識別碼給該二維物體；基於該一或多個識別碼決定對應至該二維物體的一三維模型；對齊該二維物體與該三維模型；以及映射該二維物體至該三維模型以建立用於該三維模型之一表面的一紋理圖。
如申請專利範圍第10項之系統，其中該處理器透過一匯流排耦合至該記憶體。
如申請專利範圍第1項之方法，其中對齊該二維物體與該三維模型包括：自動對齊該二維物體與三維模型；以及基於一或多個關聯於該三維模型的特性改善該自動對齊。
如申請專利範圍第12項之方法，其中該一或多個特性包括形狀、容量、移動限制、可用位置、功能中的至少其中之一。
如申請專利範圍第1項之方法，更包括基於該三維模型與該紋理圖執行影像辨識。
如申請專利範圍第1項之方法，更包括：從一第二二維場景識別一第二二維物體，其中該第二二維物體從該二維場景中對應該二維物體，以及其中該二維場景與該第二二維場景包括一對立體影像。
如申請專利範圍第9項之電腦程式，其中對齊該二維物體與該三維模型包括：自動對齊該二維物體與三維模型；以及基於一或多個關聯於該三維模型的特性改善該自動對齊。
如申請專利範圍第16項之電腦程式，其中該一或多個特性包括形狀、容量、移動限制、可用位置、功能中的至少其中之一。
如申請專利範圍第10項之系統，其中對齊該二維物體與該三維模型包括：自動對齊該二維物體與三維模型；以及基於一或多個關聯於該三維模型的特性改善該自動對齊。
如申請專利範圍第18項之系統，其中該一或多個特性包括形狀、容量、移動限制、可用位置、功能中的至少其中之一。