TWI696980B

TWI696980B - 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體

Info

Publication number: TWI696980B
Application number: TW108114609A
Authority: TW
Inventors: 謝毅剛; 林俊偉; 許丞佑; 黃靖甯
Original assignee: 未來市股份有限公司
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2020-06-21
Also published as: TW202040512A

Abstract

本揭露揭露一種互動影像處理裝置，包含一第一攝影機、一第二攝影機、一影像處理電路、一視覺處理單元、一影像訊號處理器、一中央處理單元和一記憶體。本揭露在互動影像處理系統的前端部分，使用影像處理電路來根據第一攝影機和一第二攝影機產生的原始影像，計算一深度資料，以減輕習知技術的數位訊號處理器的深度運算量。

Description

使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體

本揭露係指一種使用深度引擎的互動影像處理方法、裝置及媒體，尤指一種首先使用深度引擎來進行深度運算的互動影像處理方法、裝置及媒體。

在典型的立體影像處理系統中，紅-綠-藍(Red-Green-Blue)影像感應器或是攝影機產生的原始影像，往往需進行一系列的預處理操作，例如影像分析、影像重建、圖像品質增強(包含自動白平衡、曝光值以及對比校正)以及深度運算等，以為後續應用做準備。

接著，重建後的影像和其深度資料可輸入到一中央處理單元來進行處理，以實現視訊遊戲系統、售貨停或是其他系統所提供的互動介面的相關應用，例如虛擬實境裝置，筆記型電腦，平板電腦，桌上型電腦，智慧型手機，互動式投影機，電視機上盒組，或消費型電子裝置等裝置所提供的互動介面。

傳統上，諸如此類的預處理操作(例如影像分析、影像重建、圖像品質增強和深度運算等)需分別由特定的處理器並搭配記憶體來進行軟體運算。舉例來說，數位訊號處理器(Digital signal processor，DSP)即是設計來進行深度運算的特定處理器，其中數位訊號處理器可根據一驅動程式碼來進行深度運算。

然而，進行軟體運算的代價是從記憶體讀寫資料所花費的時間和電源。因此，如何減少軟體運算量，已成為本領域的課題之一。

因此，本揭露的目的之一在於提供一種用於互動影像處理的方法、裝置和媒體，用來減少軟體運算量。

本揭露揭露一種互動影像處理裝置，包含一第一攝影機，用來產生一第一影像；一第二攝影機，用來產生一第二影像；一影像處理電路，耦接於該第一攝影機和該第二攝影機，用來計算對應於至少一物件的一深度資料，其中該至少一物件是從該第一影像和該第二影像中所辨識；一視覺處理單元，耦接於該影像處理電路，用來根據一第一程式碼和該深度資料，對該第一影像和該第二影像進行立體匹配；一影像訊號處理器，耦接於該視覺處理單元，用來根據一第二程式碼，對該第一影像和該第二影像進行自動白平衡和曝光值校正；一數位訊號處理器，耦接於該影像訊號處理器，用來根據一第三程式碼和該深度資料，將該第一影像和該第二影像轉換為一立體圖；以及一中央處理單元，耦接於該影像訊號處理器，用來根據一第四程式碼和該立體圖，產生一運算結果。

本揭露揭露一種互動影像處理方法，用於一互動影像處理系統，包含使用該互動影像處理系統的一影像處理電路，計算對應於至少一物件的一深度資料，其中該至少一物件是從該互動影像處理系統的一第一攝影機產生的一第一影像和該互動影像處理系統的一第二攝影機產生的一第二影像所辯識；使用該互動影像處理系統的一視覺處理單元，根據一第一程式碼和該深度資料，對該第一影像和該第二影像進行立體匹配；使用該互動影像處理系統的一影像訊號處理器，根據一第二程式碼，對該第一影像和該第二影像，進行自動白平衡和曝光值校正；使用該互動影像處理系統的一數位訊號處理器，根據一第三程式碼和該深度資料，將該第一影像和該第二影像轉換為一立體圖；以及使用該互動影像處理系統的一中央處理單元，根據一第四程式碼和該立體圖，產生一運算結果。

本揭露揭露一種儲存裝置，用於一互動影像處理系統，包含一媒體，用來儲存該互動影像處理系統的一第一攝影機產生的一第一影像，以及儲存該互動影像處理系統的一第二攝影機產生的一第二影像；一第一程式碼，用來指示該互動影像處理系統的一視覺處理單元，根據該互動影像處理系統的一影像處理電路產生的一深度資料，對該第一影像和該第二影像進行立體匹配；一第二程式碼，用來指示該互動影像處理系統的一影像訊號處理器，對該第一影像和該第二影像進行自動白平衡和曝光值校正；一第三程式碼，用來指示該互動影像處理系統的一數位訊號處理器，根據該深度資料，將該第一影像和該第二影像轉換為一立體圖；以及一第四程式碼，用來指示該互動影像處理系統的一中央處理單元，根據該立體圖，產生一運算結果。

本揭露在互動影像處理系統的前端部分，使用影像處理電路來根據第一攝影機和第二攝影機產生的原始影像，計算深度資料，以分擔習知技術的數位訊號處理器的深度運算量。

1、3、4、5:互動影像處理系統

11、41、51:第一攝影機

12、42、52:第二攝影機

13、43、53:影像處理電路

14、44、54:視覺處理單元

15、45、55:影像訊號處理器

16、56:中央處理單元

17、37、47、57:記憶體

21:影像分析電路

22:物件擷取電路

23:物件深度運算電路

24:重疊物件深度運算電路

25:多工器

38、48、58:數位訊號處理器

40:第三攝影機

49:紅外線光源

59:隨機點紅外線光源

6、7:互動影像處理流程

61~65、71~76:步驟

D:深度資料

IR1、IR2:紅外線影像

M1:第一影像

M2:第二影像

MS:立體圖

RGB:彩色影像

RGBIR、RGBD1、RGBD2:彩色匹配影像

RGBIR1、RGBIR2:彩色紅外線影像

DY:虛設資料

第1圖為本揭露實施例一互動影像處理系統的功能方塊圖。

第2圖為本揭露實施例一影像處理電路的功能方塊圖。

第3圖為本揭露實施例一互動影像處理系統的功能方塊圖。

第4圖為本揭露實施例一互動影像處理系統的功能方塊圖。

第5圖為本揭露實施例一互動影像處理系統的功能方塊圖。

第6圖為本揭露實施例一互動影像處理流程的流程圖。

第7圖為本揭露實施例一互動影像處理流程的流程圖。

第1圖為本揭露實施例一互動影像處理系統1的功能方塊圖。互動影像處理系統1包含一第一攝影機11、一第二攝影機12、一影像處理電路13、一視覺處理單元14、一影像訊號處理器15，一中央處理單元16和一記憶體17。

第一攝影機11和第二攝影機12耦接於影像處理電路13，用來分別產生影像M1、M2到影像處理電路13。

影像處理電路13耦接於第一攝影機11、第二攝影機12和視覺處理單元14，其可視為一深度硬體引擎，用來計算從影像M1、M2中辨識到的物體所對應的一深度資料D。具體而言，影像處理電路13從影像M1、M2辨識至少一物件，再根據一參考值(即，第一攝影機11和第二攝影機12之間的距離)來計算辨識到的至少一物件所對應的距離，其中深度資料D包含辨識到的一個或多個物件所對應的距離。

於一實施例中，影像處理電路13將標示有一相同同步標籤的影像M1、M2結合為一相同資料封包，其中該相同資料封包標示有一第一通道的一標籤；以及將深度資料D和一虛設資料DY結合為一相同資料封包，其中該相同資料封包標示有一第二通道的一標籤。第一通道是一實體路徑，且第二通道是一虛擬路徑。如此一來，視覺處理單元14可根據資料封包的標籤來分辨用於實體路徑的資料封包和用於虛擬路徑的資料封包。於一實施例中，影像處理電路13將影像M1、影像M2、深度資料D和虛設資料DY的其中二者結合為標示有第一通道的標籤的一資料封包，以及將影像M1、影像M2、深度資料D和虛設資料DY中的其他二者結合為標示有第二通道的標籤的一資料封包，但不限於此，本領域具通常知識者可根據實際需求來修改資料封包的內容。

視覺處理單元14耦接於影像處理電路13和影像訊號處理器15，用來根據深度資料D，對影像M1、M2進行立體匹配。此外，視覺處理單元14用來根據影像M1、M2，判斷具有一特定圖案或圖形的至少一擷取物件，其中該特定圖案可以是一手勢。

影像訊號處理器15耦接於視覺處理單元14和中央處理單元16，用來對原始影像M1、M2進行自動白平衡和曝光值校正，以改善圖像品質，如此有利於後續物件辨識和深度運算的品質。於一實施例中，影像處理電路13、視覺處理單元14和影像訊號處理器15可整合在單一晶片。

中央處理單元16耦接於影像訊號處理器15和記憶體17，用來基於影像M1、M2和對應的深度資料D，產生一運算結果，其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視(Augmented reality see-through，AR see-through)、六維自由度(Six degree of freedom，6-Dof)以及同時定位和映射(Simultaneous Localization and Mapping，SLAM)的相關應用。

記憶體17耦接於視覺處理單元14、影像訊號處理器15和中央處理單元16，用來儲存至少一程式碼，以指示對應的處理單元來進行特定演算及運算。於一實施例中，記憶體17可整合在中央處理單元16中，且視覺處理單元14和影像訊號處理器15中的至少一者可從中央處理單元16存取程式碼來進行相關運算。

在互動影像處理系統1的架構下，本揭露首先使用影像處理電路13(即，深度硬體引擎)來運算原始影像M1、M2對應的深度資料D，以取代習知技術中使用數位訊號處理器來進行軟體運算。接著，本揭露藉由視覺處理單元14和影像訊號處理器15的運算操作，可得到具有較佳圖像品質的影像M1、M2，也可得到具有較佳準確度的深度資料D。因此，中央處理單元16進行相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升，以提供較佳的使用者體驗。

第2圖為本揭露實施例影像處理電路13的功能方塊圖。影像處理電路13可以是一專用集成電路(Application-specific integrated circuit，ASIC)，用來計算從影像中辨識到的物件所對應的深度資料D。

影像處理電路13包含一影像分析電路21、一物件擷取電路22、一物件深度運算電路23、一重疊物件深度運算電路24和一多工器25。

影像分析電路21用來判斷是否調整第一影像M1和第二影像M2的畫素值，以提升圖像品質。舉例來說，當影像M1、M2太暗時，影像分析電路21可提高第一影像M1和第二影像M2的曝光值來取得較佳的圖像品質，以用於後續的物件擷取運算。

物件擷取電路22耦接於影像分析電路21，用來從第一影像M1和第二影像M2中辨識至少一物件。

物件深度運算電路23耦接於物件擷取電路22，用來根據第一攝影機11和第二攝影機12之間的距離、至少一物件在第一影像M1的位置和至少一物件在第二影像M2的位置之間的畫素距離以及一三角定位方法，運算至少一物件的一第一深度。

重疊物件深度運算電路24耦接於物件深度運算電路23，用來計算至少一物件中的兩個重疊物件的一第二深度，以及輸出包含第一深度和第二深度的深度資料D。

多工器25耦接於重疊物件深度運算電路24，用來根據一控制訊號，輸出第一影像M1、第二影像M2和深度資料D的其中一者。

本揭露在互動影像處理系統1的前端部分，使用影像處理電路13來根據原始影像M1、M2以運算深度資料D，如此可減輕數位訊號處理器的深度運算負擔。

第3圖為本揭露實施例一互動影像處理系統3的功能方塊圖。互動影像處理系統3包含一第一攝影機11、一第二攝影機12、一影像處理電路13、一視覺處理單元14、一影像訊號處理器15、一中央處理單元16、一記憶體37和一數位訊號處理器38。

互動影像處理系統1和3的架構相似，故相同元件以相同符號表示。數位訊號處理器38耦接於影像訊號處理器15和中央處理單元16之間，用來根據一第四程式碼和深度資料D，將影像M1、M2轉換為一立體圖MS。舉例來說，立體圖MS包含三維度的物件，其投影在二維度的平面。

記憶體37耦接於數位訊號處理器38，用來儲存第四程式碼，用以指示數位訊號處理器38進行立體圖轉換。

在互動影像處理系統3的架構下，本揭露首先使用影像處理電路13來運算對應於兩個原始影像M1、M2的深度資料D，再使用數位訊號處理器38來進行立體圖轉換，以減輕中央處理單元16的運算負擔(請注意，在第1圖的實施例中，中央處理單元16用來進行立體圖轉換)。因此，中央處理單元16的軟體運算功耗可進一步降低，以達到省電的目的。

第4圖為本揭露實施例一互動影像處理系統4的功能方塊圖。互動影像處理系統4包含一第一攝影機41、一第二攝影機42、一第三攝影機40、一影像處理電路43、一視覺處理單元44、一影像訊號處理器45、一中央處理單元16、一記憶體47、一數位訊號處理器48和一紅外線光源49。

於本實施例中，第一攝影機41和第二攝影機42是紅外線攝影機，用來產生紅外線影像IR1、IR2(其中紅外線影像IR1、IR2的影像畫素是根據灰階值來定義)，第三攝影機40是一紅綠藍(red-green-blue，RGB)攝影機，用來產生一彩色影像RGB(其中彩色影像RGB的影像畫素是根據紅色、綠色和藍色畫素來定義)。紅外線光源49用來提供一環境光源給第一攝影機41和第二攝影機42，以利於紅外線影像轉換。

影像處理電路43耦接於第一攝影機41、第二攝影機42和第三攝影機40，用來根據紅外線影像IR1、IR2和彩色影像RGB，運算一深度資料D。影像處理電路43另將紅外線影像IR1、IR2結合為一相同資料封包(亦稱作，紅外線邊對邊(Infrared side by side))，或者將彩色影像RGB和深度資料D結合為一相同資料封包，或者將紅外線影像IR1、IR2中的一者和深度資料D結合為一相同資料封包。

視覺處理單元44耦接於影像處理電路43，用來對紅外線影像IR1、IR2進行立體匹配，以產生一灰階匹配影像。視覺處理單元44還用來對灰階匹配影像和彩色影像RGB進行彩色匹配，以產生一彩色匹配影像RGBIR(其中彩色匹配影像RGBIR的影像畫素是根據紅色、綠色、藍色和紅外線/灰階畫素來定義)。

影像訊號處理器45耦接於視覺處理單元44，用來對彩色立體圖RGBIR進行自動白平衡和曝光值校正，以改善圖像品質，如此有利於後續物件辨識和深度運算的品質。

數位訊號處理器48耦接於影像訊號處理器45，用來根據深度資料D，將彩色匹配影像RGBIR轉換為一立體圖MS。

中央處理單元16耦接於數位訊號處理器48和記憶體47，用來基於立體圖MS和對應的深度資料D，產生一運算結果，其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。

記憶體47耦接於視覺處理單元44、影像訊號處理器45、數位訊號處理器48和中央處理單元16，用來儲存用於指示對應處理單元進行相關軟體運算的程式碼。

在互動影像處理系統4的架構下，本揭露使用兩個紅外線攝影機、紅外線光源和一個紅-綠-藍攝影機，以提供穩定的深度品質。因此，中央處理單元16處理相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升來提供較佳的使用者體驗。

第5圖為本揭露實施例一互動影像處理系統5的功能方塊圖。互動影像處理系統5包含一第一攝影機51、一第二攝影機52、一影像處理電路53、一視覺處理單元54、一影像訊號處理器55、一中央處理單元16、一記憶體57、一數位訊號處理器58和一隨機點紅外線光源(random dot infrared light source)59。

於本實施例中，第一攝影機51和第二攝影機52是彩色紅外線攝影機，用來產生彩色紅外線影像RGBIR1、RGBIR2(其中彩色紅外線影像RGBIR1、RGBIR2的影像畫素是根據紅色畫素、綠色畫素、藍色畫素和灰階值來定義)，隨機點紅外線光源59用來提供一環境光源給第一攝影機51和第二攝影機52，以利於紅外線影像轉換。

影像處理電路53耦接於第一攝影機51和第二攝影機52，用來根據彩色紅外線影像RGBIR1、RGBIR2，運算一深度資料D。

影像處理電路53另從彩色紅外線影像RGBIR1、RGBIR2擷取紅色畫素、綠色畫素、藍色畫素來將彩色紅外線影像RGBIR1、RGBIR2的彩色成分結合為一相同資料封包，如此亦稱作「紅綠藍邊對邊」並可用於擴增實境透視應用。

影像處理電路53另從彩色紅外線影像RGBIR1、RGBIR2擷取灰階值來將彩色紅外線影像RGBIR1、RGBIR2的紅外線成分結合為一相同資料封包，如此亦稱作「紅外線邊對邊」並可用於同時定位和映射、手勢移動偵測與追蹤和六維自由度應用。

影像處理電路53另將深度資料D和彩色紅外線影像RGBIR1的彩色成分結合為一相同資料封包，如此可在第一攝影機51的視角基準下，進行空間掃描和物件掃描的應用。於一實施例中，影像處理電路53另結合深度資料D和彩色紅外線影像RGBIR2的彩色成分結合為一相同資料封包，如此可在第二攝影機52的視角基準下，進行空間掃描和物件掃描的應用。

視覺處理單元54耦接於影像處理電路53，用來基於第一攝影機51、第二攝影機52的視角，分別對彩色紅外線影像RGBIR1、RGBIR2進行立體匹配，以分別產生彩色匹配影像RGBD1、RGBD2。

影像訊號處理器55耦接於視覺處理單元54，用來對彩色立體圖RGBD1、RGBD2進行自動白平衡和曝光值校正，以改善圖像品質，如此有利於後續物件辨識和深度運算的品質。

數位訊號處理器58耦接於影像訊號處理器55，用來根據深度資料D，將彩色匹配影像RGBD1或RGBD2轉換為一立體圖MS。

中央處理單元16耦接於數位訊號處理器58和記憶體57，用來基於立體圖MS和對應的深度資料D，產生一運算結果，其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。

記憶體57耦接於視覺處理單元54、影像訊號處理器55、數位訊號處理器58和中央處理單元56，用來儲存用於指示對應處理單元進行相關軟體運算的程式碼。

在互動影像處理系統5的架構下，由於彩色紅外線攝影機可產生彩色深度影像，本揭露可提供較高的幀率(Frame rate)。此外，本揭露也可提供穩定的深度品質，且深度品質將不會受其他光源的影響。因此，中央處理單元16處理相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升來提供較佳的使用者體驗。

互動影像處理系統1的操作可歸納為一互動影像處理流程6，如第6圖所示，互動影像處理流程6包含以下步驟。

步驟61：使用一影像處理電路，根據一第一影像產生的一第一攝影機和一第二影像產生的一第二攝影機，計算一深度資料。

步驟62：用影像處理電路，將第一影像和第二影像結合為標示有一第一通道的一第一標籤的一第一資料封包，以及將深度資料和一虛設資料結合為標示有一第二通道的一第二標籤的一第二資料封包。

步驟63：使用一視覺處理單元，根據深度資料，對第一影像和第二影像進行立體匹配。

步驟64：使用一影像訊號處理器，對對第一影像和第二影像進行自動白平衡和曝光值校正。

步驟65：使用一中央處理單元，基於第一影像、第二影像和深度資料，產生一運算結果，其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。

關於互動影像處理流程6的詳細操作可參考第1圖的相關描述，於此不贅述。

互動影像處理系統3的操作可歸納為一互動影像處理流程7，如第7圖所示，互動影像處理流程7包含以下步驟。

步驟71：使用一影像處理電路，根據一第一影像產生的一第一攝影機和一第二影像產生的一第二攝影機，計算一深度資料。

步驟72：用影像處理電路，將第一影像和第二影像結合為標示有一第一通道的一第一標籤的一第一資料封包，以及將深度資料和一虛設資料結合為標示有一第二通道的一第二標籤的一第二資料封包。

步驟73：使用一視覺處理單元，根據深度資料，對第一影像和第二影像進行立體匹配。

步驟74：使用一影像訊號處理器，對對第一影像和第二影像進行自動白平衡和曝光值校正。

步驟75：使用一數位訊號處理器，將第一影像和第二影像轉換為一立體圖。

步驟76：使用一中央處理單元，基於第一影像、第二影像和深度資料，產生一運算結果，其中該運算結果可用於手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射的相關應用。

關於互動影像處理流程7的詳細操作可參考第3圖的相關描述，於此不贅述。

請注意，在習知技術中，不同的應用(包含手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射等應用)只能操作於特定硬體架構和平台，因為這些應用在不同的硬體架構和平台是互不相容的。相較之下，本揭露提供的互動影像處理系統的架構可適用於上述所有的應用，只要執行儲存於互動影像處理系統的中央處理單元或記憶體的程式碼及演算法即可。

此外，中央處理單元可從記憶體存取兩個或兩個以上的程式碼，以進行兩個或兩個以上的應用(包含手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視、六維自由度以及同時定位和映射等應用)，以實現多任務功能。

綜上所述，本揭露首先使用影像處理電路來計算對應於原始影像的深度資料，以取代在習知技術中使用數位訊號處理器來進行軟體運算的方式。接著，本揭露藉由視覺處理單元和影像訊號處理器的運算操作，可得到具有較佳圖像品質的影像，也可得到具有較佳準確度的深度資料。因此，中央處理單元進行相關應用(例如手勢移動偵測與追蹤、空間掃描、物件掃描、擴增實境透視和同時定位和映射)的準確度和效率可進一步提升，以提供較佳的使用者體驗。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

3:互動影像處理系統

11:第一攝影機

12:第二攝影機

13:影像處理電路

14:視覺處理單元

15:影像訊號處理器

16:中央處理單元

37:記憶體

38:數位訊號處理器

D:深度資料

M1:第一影像

M2:第二影像

DY:虛設資料

Claims

一種互動影像處理裝置，包含：一第一攝影機，用來產生一第一影像；一第二攝影機，用來產生一第二影像；一影像處理電路，耦接於該第一攝影機和該第二攝影機，用來計算對應於至少一物件的一深度資料，其中該至少一物件是從該第一影像和該第二影像中所辨識，該影像處理電路結合該第一影像、該第二影像、該深度資料和一虛設資料中的兩者來產生包含一第一通道的一第一標籤的一第一資料封包，且該影像處理電路另結合該第一影像、該第二影像、該深度資料和該虛設資料中的其他兩者來產生包含一第二通道的一第二標籤的一第二資料封包；一視覺處理單元，耦接於該影像處理電路，用來根據一第一程式碼和該深度資料，對該第一影像和該第二影像進行立體匹配；一影像訊號處理器，耦接於該視覺處理單元，用來根據一第二程式碼，對該第一影像和該第二影像進行自動白平衡和曝光值校正；一數位訊號處理器，耦接於該影像訊號處理器，用來根據一第三程式碼和該深度資料，將該第一影像和該第二影像轉換為一立體圖；以及一中央處理單元，耦接於該影像訊號處理器，用來根據一第四程式碼和該立體圖，產生一運算結果。
如請求項1所述的互動影像處理裝置，其中該影像處理電路用來從該第一影像和該第二影像辨識該至少一物件，並根據一參考值來運算對應於該至少一物件的至少一距離，其中該參考值該第一攝影機和該第二攝影機之間的距離。
如請求項1所述的互動影像處理裝置，其中該第一通道是一實體路徑，且該第二通道是一虛擬路徑。
如請求項1所述的互動影像處理裝置，其中該影像處理電路包含：一影像分析電路，耦接於該第一攝影機和該第二攝影機，用來判斷是否調整該第一影像和該第二影像的畫素值；一物件擷取電路，耦接於該影像分析電路，用來從該第一影像和該第二影像辨識該至少一物件；一物件深度運算電路，耦接於該物件擷取電路，用來根據該第一攝影機和該第二攝影機之間的一距離、該至少一物件在該第一影像的位置和該至少一物件在該第二影像的位置之間的一畫素距離以及一三角定位方法，計算該至少一物件的一第一深度；一重疊物件深度運算電路，耦接於該物件深度運算電路，用來運算該至少一物件中的兩個重疊物件的一第二深度，以及輸出包含該第一深度和該第二深度的該深度資料；一多工器，耦接於該重疊物件深度運算電路，用來根據一控制訊號，輸出該第一影像、該第二影像和該深度資料的其中一者。
如請求項1所述的互動影像處理裝置，其中該影像處理電路與該視覺處理單元和該影像訊號處理器整合在一起。
如請求項1所述的互動影像處理裝置，其中該視覺處理單元用來根據該深度資料，對該第一影像和該第二影像進行立體匹配，且該視覺處理單元用來根據該第一影像和該第二影像，判斷具有一特定圖案的至少一擷取物件，其中該特定圖案是一手勢。
如請求項1所述的互動影像處理裝置，其中該中央處理單元用來同時執行用於手勢偵測與追蹤、空間掃描、物件掃描、擴增實境透視以及同時定位和映射的多個程式碼中的至少一者。
如請求項1所述的互動影像處理裝置，其中該中央處理單元用來儲存該第一程式碼、該第二程式碼、該第三程式碼和該第四程式碼中的至少一者。
如請求項1所述的互動影像處理裝置，另包含：一記憶體，耦接於該視覺處理單元、該影像訊號處理器和該中央處理單元，用來儲存該第一程式碼、該第二程式碼、該第三程式碼和該第四程式碼。
一種互動影像處理方法，用於一互動影像處理系統，包含：使用該互動影像處理系統的一影像處理電路，計算對應於至少一物件的一深度資料，其中該至少一物件是從該互動影像處理系統的一第一攝影機產生的一第一影像和該互動影像處理系統的一第二攝影機產生的一第二影像所辯識；使用該影像處理電路，將該第一影像、該第二影像、該深度資料和一虛設資料中的其中二者，結合為標示有一第一通道的一第一標籤的一第一資料封包；使用該影像處理電路，另將該第一影像、該第二影像、該深度資料和該虛設資料中的其他二者，結合為標示有一第二通道的一第二標籤的一第二資料封包；使用該互動影像處理系統的一視覺處理單元，根據一第一程式碼和該深度資料，對該第一影像和該第二影像進行立體匹配；使用該互動影像處理系統的一影像訊號處理器，根據一第二程式碼，對該第一影像和該第二影像，進行自動白平衡和曝光值校正；使用該互動影像處理系統的一數位訊號處理器，根據一第三程式碼和該深度資料，將該第一影像和該第二影像轉換為一立體圖；以及使用該互動影像處理系統的一中央處理單元，根據一第四程式碼和該立體圖，產生一運算結果。
如請求項10所述的互動影像處理方法，其中該第一通道是一實體路徑，且該第二通道是一虛擬路徑。
如請求項10所述的互動影像處理方法，其中該中央處理單元用來同時執行用於手勢偵測與追蹤、空間掃描、物件掃描、擴增實境透視以及同時定位和映射的多個程式碼中的至少一者。
如請求項10所述的互動影像處理方法，另包含：使用該中央處理單元或該互動影像處理系統的一記憶體，儲存並提供該第一程式碼、該第二程式碼、該第三程式碼及該第四程式碼中的至少一者。
一種儲存裝置，用於一互動影像處理系統，包含：一媒體，用來儲存該互動影像處理系統的一第一攝影機產生的一第一影像，以及儲存該互動影像處理系統的一第二攝影機產生的一第二影像；一第一程式碼，用來指示該互動影像處理系統的一視覺處理單元，根據該互動影像處理系統的一影像處理電路產生的一深度資料，對該第一影像和該第二影像進行立體匹配，該第一程式碼另指示該視覺處理單元接收標示有一第一通道的一第一標籤的一第一資料封包和標示有一第二通道的一第二標籤的一第二資料封包，其中該第一資料封包包含該第一影像、該第二影像、該深度資料和一虛設資料中的其中二者，且該第二資料封包包含該第一影像、該第二影像、該深度資料和該虛設資料中的其他二者；一第二程式碼，用來指示該互動影像處理系統的一影像訊號處理器，對該第一影像和該第二影像進行自動白平衡和曝光值校正；一第三程式碼，用來指示該互動影像處理系統的一數位訊號處理器，根據該深度資料，將該第一影像和該第二影像轉換為一立體圖；以及一第四程式碼，用來指示該互動影像處理系統的一中央處理單元，根據該立體圖，產生一運算結果。
如請求項14所述的儲存裝置，其中該第一通道是一實體路徑，且該第二通道是一虛擬路徑。
如請求項14所述的儲存裝置，另包含多個程式碼，用來指示該中央處理單元進行手勢偵測與追蹤、空間掃描、物件掃描、擴增實境透視以及同時定位和映射中的至少一者。
如請求項14所述的儲存裝置，其係該中央處理單元或該互動影像處理系統的一記憶體。