TWI734092B

TWI734092B - 深度融合的方法和裝置

Info

Publication number: TWI734092B
Application number: TW108111790A
Authority: TW
Inventors: 鄭朝鐘; 魏震豪; 陳正旻; 王毓瑩; 林亮均
Original assignee: 聯發科技股份有限公司
Priority date: 2018-04-03
Filing date: 2019-04-03
Publication date: 2021-07-21
Also published as: CN110349196B; CN110349196A; TW202001802A

Abstract

本公開揭露了一種深度融合的方法和裝置。深度融合方法包括從多個傳感器接收多個類型不同的傳感器信號;基於多個傳感器信號生成場景的第一深度相關資訊和場景的第二深度相關資訊; 以及融合第一深度相關資訊和第二深度相關資訊以生成場景的融合深度圖。本發明的深度融合的方法和裝置可以降低成本。

Description

深度融合的方法和裝置

本公開一般涉及計算機立體視覺，並且更具體地，涉及通過一種或多種精確和全範圍深度融合（full-range depth fusion）和感測技術進行視覺深度感測。

除非本文另有說明，否則本部分中描述的方法不是後面列出的申請專利範圍的現有技術，並且不包括在本部分中作為現有技術。

目前有許多用於範圍感測和深度估計的技術以實現計算機立體視覺。例如，一些現有技術包括結構光、被動立體匹配、主動立體匹配和飛行時間（time-of-flight）。但是，沒有一種技術可以結合其中的一些技術。此外，在使用紅外（IR）投射器和IR相機進行深度感測的應用中，使用的組件通常很昂貴。期望通過使用現成的和相對便宜的組件來提供允許具有立體匹配的計算機立體視覺的解決方案。

根據本發明的第一方面，揭露了一種深度融合方法，包括從多個傳感器接收多個類型不同的傳感器信號;基於該多個傳感器信號生成場景的第一深度相關資訊和該場景的第二深度相關資訊; 以及融合該第一深度相關資訊和該第二深度相關資訊以生成該場景的融合深度圖。

根據本發明的第二方面，揭露了一種深度融合裝置，包括控制電路，其被耦合以從多個傳感器接收多個類型不同的傳感器信號，使得在操作期間，該控制電路執行包括以下操作的操作：基於該多個傳感器信號生成場景的第一深度相關資訊和該場景的第二深度相關資訊; 以及融合該第一深度相關資訊和該第二深度相關資訊以生成該場景的融合深度圖。

在閱讀了在各種圖表和圖形中所圖示的優選實施例的下述詳細說明書之後，本發明的這些和其他目的對本領域普通技術人員來說無疑將變得明顯。

貫穿下述的說明書和申請專利範圍而使用了某些術語，其涉及特定的元件。如所屬領域具有通常知識者將理解的那樣，電子裝備製造商可能透過不同的名稱提及元件。本公開並不打算在那些名稱不同但不是在功能上不同的元件之間進行區分。在下述的說明書中並且在申請專利範圍中，術語"包含"和"包括"以開放的方式進行使用，並且因此應被解釋成意味著“包括，但不限於……”。同樣，術語"結合"旨在意味著或者間接的或者直接的電連接。因此，如果一個裝置結合至另一裝置，則此連接可透過直接的電連接，或者透過藉由其他裝置和連接的間接的電連接。

在用於範圍感測和深度估計以實現計算機立體視覺的各種技術中，例如結構光（structured-light）、主動雙鏡頭立體匹配（也稱爲主動立體匹配） (Active Stereo)和飛行時間（TOF），電磁波（例如，激光或結構光）被發射或者以其他方式投射到場景，然後可以通過利用投射器 - 相機對應關係和/或相機 - 相機對應關係來執行立體匹配。每種深度估計技術提供其各自的優點。在根據本公開的各種提出的方案下，可以通過所提出的融合方法來提供準確和全範圍的深度資訊。更具體地，可以利用傳感器（例如，相機）和投射器的不同設備配置，使得不同深度估計技術的優點可以融合在一起。

第1圖示出了根據本公開實現的示例場景100。場景100示出了傳感器和投射器的許多不同設備配置。在場景100的部分（A）中，第一示例設備配置可以涉及兩個IR相機、一個IR投射器和一個紅綠藍（RGB）相機。在場景100的部分（B）中，第二示例設備配置可以涉及一個IR相機、一個IR投射器和一個包含能夠接收純IR光的像素的RGB相機（這裡表示為“RGB-IR相機”）。在場景100的部分（C）中，第三示例設備配置可以涉及一個RGB相機、一個IR投射器和一個RGB-IR相機。在場景100的部分（D）中，第四設備配置可以涉及兩個RGB相機、一個IR投射器（或TOF投射器）和一個IR相機（或TOF相機）。

在每個示例性設備配置中，兩個傳感器/相機之間的實體距離表示為基線。在每個示例設備配置中，用作輔助RGB相機的RGB相機可以提供要生成的深度圖的顏色資訊。可能需要校準一對相機以及相機和投射器。對於一對投射器和相機，可以應用通常具有良好精度的結構光或TOF方法。對於一對相機，立體算法（通常擅長完整性）可以應用於估計深度。在所提出的方案下，這些結果可以融合在一起以生成精確的全範圍深度或深度圖。

值得注意的是，在場景100中的設備配置及其任何變型中，每個RGB相機和RGB-IR相機可以由以下之一代替：單色相機（monochrome camera）（這裡表示為“灰階相機（mono camera）”）），一種RGB相機，其具有相對於可見光和IR光的雙帶帶通濾波(DB - DualBand)能力（此處表示為“RGB-DB相機”），一種包含能夠接收純IR光的像素的單色相機（此處表示為“灰階IR（mono-IR）像機”）和具有關於可見光和IR光的雙帶帶通濾波能力的灰階相機（這裡表示為“灰階DB攝像機“）。此外，IR相機、RGB相機、RGB-IR相機、RGB-DB相機、灰階相機、灰階IR相機和灰階DB相機中的每一個可以互換地稱為電磁（EM）波傳感器，因為每個這樣的相機能夠感測可見和/或不可見（例如，IR）光譜中的EM波。 主動立體匹配的IR特徵

在根據本公開的提出的方案下，由IR投射器發射或以其他方式投射的結構化IR光(structured IR light)（也稱為圖案化IR光（patterned IR light）））可滿足一個或多個特徵要求（characteristic requirements）。也就是說，圖案化IR光的一個或多個特徵可以通過利用相對便宜的組件（例如兩個相機和一個IR投射器）用於主動立體匹配。因此，可以通過主動立體匹配在計算機立體視覺中實現成本節省，而無需借助相對昂貴的組件。

第2圖示出了根據本公開的實現的主動立體匹配的示例場景200。在場景200中，可以使用兩個相機和一個IR投射器來執行主動立體匹配。兩個相機中的每一個可以是IR相機、RGB-IR相機、RGB-DB相機、灰階IR相機或灰階DB相機。

在操作中，IR投射器可以朝向場景發射或以其他方式投射圖案化IR光，並且兩個相機中的每一個可以捕獲場景的相應圖像（例如，捕獲場景的左圖像的左相機和捕獲場景的右圖像的右相機）。如第2圖所示，可以對左圖像中的指定或預定義窗口內的給定像素或像素塊以及右圖像中的指定或預定義窗口內的對應像素或像素塊執行主動立體匹配。主動立體匹配的結果可以用於生成深度圖。

第3圖示出了根據本公開的實現的示例場景300。參考第3圖提供了關於用於主動立體匹配的IR特徵的所提出的方案的以下描述。

在根據本公開的提出的方案下，對圖案化IR光中的IR圖案的形狀可以沒有限制或約束。也就是說，IR圖案可以由多個IR像素形成, 形成為(例如但不限於)一個或多個點、一個或多個線、一個或多個圓、一個或多個橢圓、一個或多個多邊形、一個或多個星形或其組合。 IR圖案可能因設備而異（例如，從一個IR投射器到另一個IR投射器）。換句話說，每個設備可以與其他設備不同。在場景300的部分（A）中示出了不同IR模式的示例。

在根據本公開的提出的方案下，圖案化IR光的IR圖案的密度可以足夠高，使得每個像素塊可以是可區分的。密度可以表示為（像素/單位面積的數量或出現(occurrence of pixels / unit area)），並且單位面積可以表示為（寬度x高度像素² ）。參考場景300的部分（B），所關注的IR圖案的密度可以是相對於捕獲的具有多個IR圖案的IR圖像內的指定或預定窗口的密度（例如，來自IR相機、RGB-IR相機、RGB-DB相機、灰階IR相機或灰階DB相機）。場景300的部分（B）還示出了用於主動立體匹配的搜索方向。

因此，在所提出的方案下，圖案化IR光的圖案可以包括具有滿足密度要求的密度的多個像素，如下:( IR像素的數量/捕獲的IR圖像內的預定義窗口中的像素總數））≥第一閾值。這裡，第一閾值（或閾值1）可用於約束IR圖像的給定窗口中的IR圖案的密度。此外，閾值1可以由輸出深度圖的品質確定。閾值1的值可以是例如0.2，單位為1 /像素（a unit of 1/pixel）。

在根據本公開的提出的方案下，在給定圖案被重複多次的情況下（這裡表示為“重複圖案（repeated pattern）”），沿著主動立體匹配的搜索方向的重複圖案的重複週期可以大於主動立體匹配的操作範圍。操作範圍可以是，例如但不限於，等同於場景300的部分（B）中所示的指定窗口的預定義窗口。出於說明性目的而非限制，場景300的部分（C）示出了重複圖案的重複週期小於操作範圍的示例。

在根據本公開的提出的方案下，沿著立體匹配的搜索方向的搜索範圍內的模糊度可能相對較低.可以使用定義的成本函數（cost function）來計算每個像素或像素塊的模糊度。並且最小成本值（cost value）相對於第二最小成本值的值是模糊度值。模糊度值應低於閾值(例如0.8)。

可以使用定義的成本函數來計算每個像素或像素塊的模糊度。第4圖示出了根據本公開的實現的示例場景400。在場景400中，沿著立體匹配的搜索方向的搜索範圍內的每個像素或每個像素塊的模糊度值小於或等於第二閾值（或閾值2），該閾值例如可以是0.8。例如，在執行左圖像和右圖像的立體匹配時，包括使用左視角的左圖像和右視角的右圖像之間的差的成本值（或匹配成本值）的成本函數來計算模糊度值。成本函數可以用數學表達為：Cost _絕對差值 _(PL,d) = 1/3 * Σ _i=R,G.B |I_i ^left (P_L ) –I_i ^right (P_R ) |,

這裡，I_i ^left (P_L ) 可以表示左圖像中的塊（patch）內的當前像素的亮度（或顏色響應）（表示為“P_L ”），並且I_i ^right (P_R ) 可以表示在立體匹配期間右圖像中的參考塊內的當前像素的亮度（或顏色響應）（表示為“P_R ”）。在所提出的方案下，在使用成本函數計算模糊度值時，可以通過將來自成本函數的最小成本值除以來自成本函數的第二最小成本值來計算模糊度值。

在根據本公開的提出的方案下，可以利用IR圖案的傾斜（tilt）或旋轉（rotation）角度來減小沿著立體匹配方向的重複圖案的可重複性，以遵循低模糊度的約束。傾斜或旋轉角的絕對值可以大於0°且小於90°。第5圖示出了根據本公開的實現的示例場景500。在場景500的部分（A）中，重複圖案的重複方向與立體匹配的搜索方向一致或平行。在場景500的部分（B）中，重複圖案的重複方向相對於立體匹配的搜索方向旋轉。在場景500的部分（C）中，傾斜/旋轉角的絕對值可以大於0°且小於90°。 深度融合

在根據本公開的提出的方案下，可以通過融合來自諸如結構光、被動立體匹配（passive stereo）、主動立體匹配（active stereo）和TOF的不同深度估計技術的深度資訊來獲得準確和全範圍深度資訊。第6圖示出了根據本公開的實現的深度融合的示例場景600。場景600可以涉及EM波投射器和兩個傳感器。 EM波投射器可用於發射或以其他方式投射圖案。 EM波投射器可以是例如IR投射器或TOF投射器（例如，光達（light detection and ranging，簡寫為LiDAR）投射器）。兩個傳感器可以是一對相機或一個相機加一個TOF傳感器。作為相機，每個傳感器可以是RGB相機、RGB-IR相機、RGB-DB相機、灰階相機，灰階IR相機或灰階DB相機。

在操作中，EM波投射器可以發射或以其他方式投射圖案，並且可以通過結構光方法或TOF方法利用來自兩個傳感器的第一相機的捕獲圖案來獲得深度圖和置信图（confidence map）。另外，可以通過立體方法（例如，主動立體和/或被動立體）利用來自第一相機的捕獲圖案和來自兩個傳感器的第二相機的捕獲圖案來獲得深度圖和置信圖。然後，來自結構光/ TOF方法的深度圖和置信圖以及來自立體方法的深度圖和置信圖可以通過深度融合融合在一起以生成融合深度圖（fused depth map）。在場景600中，可以通過利用下面描述的融合方法700和融合方法800來執行深度融合。

第7圖示出了根據本公開的實現的示例融合方法700。在融合方法700中，可以首先重新映射來自方法之一（例如，結構光/ TOF方法）的深度圖，然後通過考慮結構光/ TOF方法的置信圖以及立體方法的置信圖來與來自其他方法（例如，立體方法）的深度圖融合，以提供融合結果。然後，可以對融合結果執行後處理以生成融合深度圖。由於不同方法之間的基線不同，因此需要重新映射來自其中一種方法深度圖。

在融合方法700中，給定方法的置信圖，置信度（初始峰值比率（peak ratio naïve））可以表示如下：C_PKRN = 第二最小成本值 / 最小成本值

這裡，可以通過算法生成成本值，例如獲取兩個捕獲圖像之間的絕對差值（absolute difference），其可以表示如下：Cost _絕對差值 _(PL,d) = 1/3 Σ _i=R,G,B |I_i ^left (P_L ) – I_i ^right (P_R ) |

此處，I 表示圖像強度，P_L 表示左圖像中的像素（或像素塊），P_R 表示右圖像中的像素（或像素塊）。對於後處理，融合方法中的後處理可能涉及邊緣感知濾波和分割。此外，深度融合可表示如下：D(p) = argmax_d (Conf (stereo(p)), Conf (structured light(p)))

這裡，p 可以表示給定深度圖中的每個像素，並且Conf （）可以表示置信圖。

第8圖示出了根據本公開的實現的示例融合方法800。融合方法800可以類似於具有一些差異的融合方法700。例如，在融合方法800中，可以在成本量（cost volume）階段估計融合。由結構光方法和立體方法中的每一個生成的成本體積可以被組合和優化以獲得更加正確的深度圖。在融合方法800中，深度融合可以表示如下：Cost(p,d) = weight_Conf(stereo) x cost_stereo(p,d) + weight_{Conf(structured light)} x cost_{structured light(p,d)}

在所提出的方案下，融合方法700和融合方法800可以獨立地用於不同的情況和應用。對於具有兩個傳感器和一個投射器的一般實現，在覆蓋隨意一個組件時深度品質可能顯著不同，這對於模糊性是重要的。

第9圖示出了根據本公開的實現的示例裝置900。裝置900可以執行各種功能以實現本文所述的與視覺深度感測有關的過程、方案、技術、處理和方法，其具有精確和全範圍深度融合和感測以及用於主動立體匹配的IR圖案特徵，包括以上關於第1圖〜第8圖描述的各種過程、場景、方案、解決方法、概念和技術以及下面描述的過程1000、1100和1200。

裝置900可以是電子設備、便攜式或移動設備、可穿戴設備、無線通信設備或計算設備的一部分。例如，裝置900可以在智慧手機、智慧手錶、個人數位助理、數碼相機或諸如平板電腦、膝上型計算機或筆記本電腦的計算設備中實現。此外，裝置900還可以是機器類型裝置的一部分，其可以是諸如非移動或固定裝置、家庭裝置、有線通信裝置或計算裝置的IoT或NB-IoT裝置。例如，裝置900可以在智慧恆溫器、智慧冰箱、智慧門鎖、無線揚聲器或家庭控制中心中實現。或者，裝置900可以以一個或多個集體電路（IC）晶片的形式實現，例如但不限於，一個或多個單核處理器、一個或多個多核處理器、一個或多個減少的指令集計算（reduced-instruction-set-computing，簡寫為RISC）處理器或一個或多個複雜指令集計算（CISC）處理器。

裝置900可以包括第9圖中所示的那些組件中的至少一些，例如控制電路910、多個傳感器920（1）~920（N）和至少一個EM波投射器930，其中N是大於1的正整數。裝置900還可以包括一個或多個與本公開的所提出的方案無關的其他組件（例如，內部電源、顯示設備和/或用戶介面設備），因此，第9圖中未示出設備900的這種組件，並且為了簡單和簡潔起見，下面也沒有對其進行描述。

在一個方面，控制電路910可以以包括各種電子部件的電子電路的形式實現。可選地，控制電路910可以以一個或多個單核處理器、一個或多個多核處理器、一個或多個RISC處理器或一個或多個CISC處理器的形式實現。也就是說，即使這裡使用單數術語“處理器”來指代控制電路910，控制電路910在一些實現中可以包括多個處理器，並且在根據本公開的其他實現中可以包括單個處理器。在另一方面，裝置910可以以具有電子組件的硬體（以及可選地，韌體）的形式實現，所述電子組件包括例如但不限於一個或多個晶體管、一個或多個二極管、一個或多個電容器、一個或多個電阻器、一個或多個電感器、一個或多個憶阻器和/或一個或多個變容二極管，其被配置和佈置成實現根據本公開的特定目的。換句話說，在至少一些實施方式中，控制電路910是專用機器，其專門設計、佈置和配置成執行與視覺深度感測有關的特定任務，具有精確和全範圍深度融合和感測以及IR圖案特徵，用於根據本公開的各種實施方式的主動立體匹配。在一些實施方式中，控制電路910可以包括具有硬體組件的電子電路，所述硬體組件實現根據本公開的各種提出的方案中的一個或多個。或者，除了硬體組件之外，控制電路910還可以利用除硬體組件之外的軟體代碼和/或指令來實現具有精確和全範圍深度融合和感測的視覺深度感測以及IR模式特徵用於依據本公開的各種實施方式的主動立體匹配。

多個傳感器920（1）~920（N）中的每一個可以是相機或TOF傳感器。在相機的背景下，相應的傳感器可以是IR相機、RGB相機、灰階相機、RGB-IR相機、灰階IR相機、RGB-BD相機或灰階BD相機。 EM波投射器可以是IR投射器或TOF投射器。

在根據本公開的各種提出的方案下，關於具有精確和全範圍深度融合和感測的視覺深度感測，控制電路910可以從多個傳感器920（1）~920（N）接收類型不同的多種傳感器信號。另外，控制電路910可基於多個傳感器信號產生場景的第一深度相關資訊和場景的第二深度相關資訊。此外，控制電路910可以融合第一深度相關資訊和第二深度相關資訊以生成場景的融合深度圖。

在一些實施方案中，在從多個傳感器920（1）~920（N）接收類型不同的多個傳感器信號時，控制電路910可從以下中的兩個或兩個以上接收多個傳感器信號：RGB相機、灰階相機、IR相機、RGB-IR相機、灰階紅外相機、RGB-DB相機、灰階DB相機和TOF傳感器。

在一些實現中，在生成第一深度相關資訊和第二深度相關資訊時，控制電路910可以執行多個操作。例如，控制電路910可以基於第一類型的多個傳感器信號920（1）~920（N）中的至少第一傳感器信號生成第一深度圖和第一置信圖。另外，控制電路910可以基於與第一類型不同的第二類型的多個傳感器信號920（1）~920（N）中的至少第二傳感器信號生成第二深度圖和第二置信圖。

在一些實施方案中，在產生第一深度圖和第一置信圖中，控制電路910可使用結構光方法或TOF方法產生第一深度圖和第一置信圖。在一些實施方案中，在產生第二深度圖和第二置信圖中，控制電路910可使用主動立體方法或被動立體方法產生第二深度圖和第二置信圖。

在一些實施方案中，在融合第一深度相關資訊和第二深度相關資訊以產生融合深度圖時，控制電路910可執行若干操作。例如，控制電路910可以相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖。此外，控制電路910可以融合重新映射的第一深度圖、第二深度圖、第一置信圖和第二置信圖以提供融合結果。此外，控制電路910可以對融合結果執行後處理以生成融合深度圖。

可替換地，在融合第一深度相關資訊和第二深度相關資訊以生成融合深度圖時，控制電路910可以執行其他操作。例如，控制電路910可以相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖。另外，控制電路910可以估計與生成第一深度圖和第一置信圖相關聯的成本量。此外，控制電路910可以融合重新映射的第一深度圖、第二深度圖、第一置信圖、第二置信圖和成本量以提供融合結果。此外，控制電路910可以對融合結果執行後處理以生成融合深度圖。另外，在生成第一深度圖和第一置信圖時，控制電路910可以使用結構光方法或TOF方法生成第一深度圖和第一置信圖。

在一些實施方案中，在估計成本量時，控制電路910可通過計算與立體方法相關聯的加權成本與與結構光方法相關聯的加權成本的組合來估計成本量。

在一些實施方案中，在融合第一深度相關資訊和第二深度相關資訊以產生融合深度圖時，控制電路910可執行若干操作。例如，控制電路910可以使用第一融合方法或第二融合方法確定是否融合第一深度相關資訊和第二深度相關資訊。然後，基於確定的結果，控制電路910可以使用第一融合方法或第二融合方法融合第一深度相關資訊和第二深度相關資訊。第一融合方法可以包括：（a1）相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖; （b1）融合重新映射的第一深度圖、第二深度圖、第一置信圖和第二置信圖以提供融合結果; （c1）對融合結果進行後處理，生成融合深度圖。第二融合方法可以包括：（a2）相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖; （b2）估計與生成第一深度圖和第一置信圖相關聯的成本量; （c2）融合重新映射的第一深度圖、第二深度圖、第一置信圖、第二置信圖和成本量以提供融合結果; （d2）對融合結果進行後處理，生成融合深度圖。在一些實施方案中，在第二融合方法中，可使用結構光方法或TOF方法產生第一深度圖和第一置信圖。

在一些實施方案中，控制電路910可控制EM波投射器930以朝向場景發射電磁波。 EM波投射器930可以包括IR投射器或TOF投射器。

在一些實施方式中，控制電路910可以校準多個傳感器920（1）~920（N）中的一對傳感器或多個傳感器920（1）~920（N）中的一個和EM波投射器930。

在根據本公開的提出的方案下，關於用於主動立體匹配的IR圖案特徵，控制電路910可以控制EM波投射器920（例如，IR投射器）以投射圖案化IR光。此外，控制電路910可以從第一相機（例如，傳感器920（1））接收場景的左圖像的第一資料，並且從第二相機（例如，傳感器920（2））接收場景的右圖像的第二資料。此外，控制電路910可以執行左圖像和右圖像的立體匹配（例如，主動立體匹配）以生成場景的深度圖。圖案化IR光可以滿足一個或多個特徵要求。

在一些實施方案中，圖案化IR光的圖案可包含多個IR像素，形成一個或一個以上點、一條或一條以上線、一個或一個以上圓、一個或一個以上橢圓、一個或一個以上多邊形、一顆或多顆星形的形狀或其組合。

在一些實施方式中，圖案化IR光的圖案可以包括多個像素，其密度滿足密度要求，使得IR像素的數量除以左圖像或右圖像內的預定義窗口中的像素總數大於或等於第一閾值。

在一些實施方案中，第一閾值可為0.2。

在一些實施方案中，圖案化IR光可包含重複圖案的多個實例。在這種情況下，沿著立體匹配的搜索方向重複圖案的重複週期可以大於立體匹配的操作範圍。

在一些實施方案中，重複圖案的重複方向可相對於立體匹配的搜索方向傾斜大於0°且小於90°的角度。

在一些實施方案中，沿立體匹配方向的搜索範圍內的每一像素或每一像素塊的模糊度值可小於或等於第二閾值。

在一些實施方案中，在執行左圖像和右圖像的立體匹配中，控制電路910可使用左圖像與右圖像之間的差的成本值的成本函數來計算模糊度值。在一些實現中，成本函數可以在數學上表達如下：Cost _絕對差值 _(PL,d) = 1/3 * Σ _i=R,G.B |I_i ^left (P_L ) –I_i ^right (P_R ) |,

這裡，I_i ^left (P_L ) 可以表示左圖像中的塊內的當前像素的亮度，並且I_i ^right (P_R ) 可以表示在立體匹配期間右圖像中的參考塊內的當前像素的亮度。

在一些實施方案中，在使用成本函數計算模糊度值時，控制電路910可通過將來自成本函數的最小成本值除以來自成本函數的第二最小成本值來計算模糊度值。

在一些實施方案中，第二閾值可為0.8。

在一些實施方案中，在執行左圖像和右圖像的立體匹配中，控制電路910可執行左圖像和右圖像的主動立體匹配。

在根據本公開的另一個提出的方案下，關於用於主動立體匹配的IR圖案特徵，控制電路910可以控制EM波投射器930（例如，IR投射器）以投射圖案化IR光。另外，控制電路910可以從第一相機（例如，傳感器920（1））接收場景的左圖像的第一資料，並且從第二相機（例如，傳感器920（2））接收場景的右圖像的第二資料。此外，控制電路910可以執行左圖像和右圖像的主動立體匹配，以生成場景的深度圖。圖案化IR光可以滿足多個特徵要求中的一個或多個。在一些實施方式中，多個特徵要求可以包括：（1）圖案化IR光的圖案，其包括多個像素，其密度滿足密度要求，使得IR像素的數量除以左圖像或右圖像內的預定義窗口中的像素總數大於或等於第一閾值; （2）圖案化IR光，包括多個重複圖案的實例，使得沿著立體匹配的搜索方向的重複圖案的重複週期大於立體匹配的操作範圍; （3）重複圖案的重複方向相對於立體匹配的搜索方向旋轉絕對值大於0°且小於90°的角度。

在一些實施方案中，在執行左圖像和右圖像的立體匹配中，控制電路910可使用左圖像與右圖像之間的差的成本值的成本函數來計算模糊度值。在一些實現中，成本函數可以在數學上表達如下：Cost _絕對差 _值 _(PL,d) = 1/3 * Σ _i=R,G.B |I_i ^left (P_L ) –I_i ^right (P_R ) |,

這裡，I_i ^left (P_L ) 可以表示左圖像中的塊內的當前像素的亮度，並且I_i ^right (P_R ) 可以表示在立體匹配期間右圖像中的參考塊內的當前像素的亮度。此外，第一閾值可以是0.2，第二閾值可以是0.8。

第10圖示出了根據本公開的實現的示例過程1000。過程1000（無論是部分還是完全）可以是關於根據本公開的具有精確和全範圍深度融合和感測的視覺深度感測的各種過程、場景、構想、解決方案、概念和技術或其組合的示例實現。過程1000可以表示裝置900的特徵的實現的一個方面。過程1000可以包括一個或多個操作、動作或功能，如塊1010、1020和1030中的一個或多個所示。儘管示出為離散塊，但是根據期望的實現，可以將過程1000的各種塊劃分為附加塊、組合成更少的塊或者消除。此外，過程1000的塊可以按照第10圖中所示的順序執行，或者可以以不同的順序執行。此外，過程1000的一個或多個塊可以重複一次或多次。過程1000可以由裝置900或其任何變型來實現。僅出於說明性目的而非限制，以下在裝置900的上下文中描述過程1000。過程1000可以在塊1010處開始。

在1010處，過程1000可以涉及控制電路910從多個傳感器920（1）~920（N）接收多種類型不同的傳感器信號。過程1000可以從1010進行到1020。

在1020處，過程1000可以涉及控制電路910基於多個傳感器信號生成場景的第一深度相關資訊和場景的第二深度相關資訊。過程1000可以從1020進行到1030。

在1030處，過程1000可以涉及控制電路910融合第一深度相關資訊和第二深度相關資訊以生成場景的融合深度圖。

在一些實施方式中，在從多個傳感器920（1）~920（N）接收不同類型的多個傳感器信號時，過程1000可以涉及控制電路910從如下的兩個或更多個傳感器接收多個傳感器信號：RGB相機、灰階相機、IR相機、RGB- IR相機、灰階IR相機、RGB-DB相機、灰階DB相機和TOF傳感器。

在一些實現中，在生成第一深度相關資訊和第二深度相關資訊時，過程1000可以涉及控制電路910執行多個操作。例如，過程1000可以涉及控制電路910基於第一類型的多個傳感器信號920（1）~920（N）中的至少第一傳感器信號生成第一深度圖和第一置信圖。另外，過程1000可以涉及控制電路910基於與第一類型不同的第二類型的多個傳感器信號920（1）~920（N）中的至少第二傳感器信號生成第二深度圖和第二置信圖。

在一些實施方案中，在產生第一深度圖和第一置信圖中，過程1000可涉及控制電路910使用結構光方法或TOF方法產生第一深度圖和第一置信圖。在一些實施方案中，在產生第二深度圖和第二置信圖中，過程1000可涉及控制電路910使用主動立體方法或被動立體方法產生第二深度圖和第二置信圖。

在一些實施方案中，在融合第一深度相關資訊和第二深度相關資訊以產生融合深度圖時，過程1000可涉及控制電路910執行多個操作。例如，過程1000可以涉及控制電路910相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖。此外，過程1000可以涉及控制電路910融合重新映射的第一深度圖、第二深度圖、第一置信圖和第二置信圖以提供融合結果。此外，過程1000可以涉及控制電路910對融合結果執行後處理以生成融合深度圖。

或者，在融合第一深度相關資訊和第二深度相關資訊以生成融合深度圖時，過程1000可以涉及控制電路910執行其他操作。例如，過程1000可以涉及控制電路910相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖。另外，過程1000可以涉及控制電路910估計與生成第一深度圖和第一置信圖相關聯的成本量。此外，過程1000可以涉及控制電路910融合重新映射的第一深度圖、第二深度圖、第一置信圖、第二置信圖和成本量以提供融合結果。此外，過程1000可以涉及控制電路910對融合結果執行後處理以生成融合深度圖。另外，在生成第一深度圖和第一置信圖時，過程1000可以涉及控制電路910使用結構光方法或TOF方法生成第一深度圖和第一置信圖。

在一些實現中，在估計成本量時，過程1000可以涉及控制電路910通過計算與立體方法相關聯的加權成本以及與結構光方法相關聯的加權成本的組合來估計成本量。

在一些實施方案中，在融合第一深度相關資訊和第二深度相關資訊以產生融合深度圖時，過程1000可涉及控制電路910執行多個操作。例如，過程1000可以涉及控制電路910使用第一融合方法或第二融合方法確定是否融合第一深度相關資訊和第二深度相關資訊。然後，基於確定的結果，過程1000可以涉及控制電路910使用第一融合方法或第二融合方法融合第一深度相關資訊和第二深度相關資訊。第一融合方法可以包括：（a1）相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖; （b1）融合重新映射的第一深度圖、第二深度圖、第一置信圖和第二置信圖以提供融合結果; （c1）對融合結果進行後處理，生成融合深度圖。第二融合方法可以包括：（a2）相對於第二深度圖重新映射第一深度圖以生成重新映射的第一深度圖;（b2）估計與生成第一深度圖和第一置信圖相關聯的成本量; （c2）融合重新映射的第一深度圖、第二深度圖、第一置信圖、第二置信圖和成本量以提供融合結果; （d2）對融合結果進行後處理，生成融合深度圖。在一些實施方案中，在第二融合方法中，可使用結構光方法或TOF方法產生第一深度圖和第一置信圖。

在一些實施方案中，過程1000可進一步涉及控制電路910控制電磁波投射器(electromagnetic wave projector)以朝向場景發射電磁波。電磁波投射器可包括IR投射器或TOF投射器。

在一些實施方式中，過程1000還可以包括控制電路910校準多個傳感器中的一對傳感器或多個傳感器中的一個傳感器加上電磁波投射器。

第11圖示出了根據本公開的實現的示例過程1100。過程1100可以是關於根據本公開的主動立體匹配的IR圖案特徵的部分或完全的各種過程、場景、構想、解決方案、概念和技術或其組合的示例實現。過程1100可以表示裝置900的特徵的實現的一個方面。過程1100可以包括一個或多個操作、動作或功能，如塊1110、1120和1130中的一個或多個所示。儘管示出為離散塊，但是根據期望的實現，可以將過程1100的各種塊劃分為附加塊、組合成更少的塊或者消除。此外，過程1100的塊可以按照第11圖中所示的順序執行，或者可以以不同的順序執行。此外，過程1100的一個或多個塊可以重複一次或多次。過程1100可以由裝置900或其任何變型來實現。僅出於說明性目的而非限制，以下在裝置900的上下文中描述過程1100。過程1100可以在塊1110處開始。

在1110處，過程1100可以涉及控制電路910控制電磁波投射器930（例如，IR投射器）以投射圖案化IR光。過程1100可以從1110進行到1120。

在1120處，過程1100可以涉及控制電路910從第一相機（例如，傳感器920（1））接收場景的左圖像的第一資料，並且從第二相機（例如，傳感器920（2））接收場景的右圖像的第二資料。過程1100可以從1120進行到1130。

在1130處，過程1100可以涉及控制電路910執行左圖像和右圖像的立體匹配（例如，主動立體匹配）以生成場景的深度圖。圖案化IR光可以滿足一個或多個特徵要求。

在一些實施方案中，第一閾值可為0.2。

在一些實施方案中，重複圖案的重複方向可相對於立體匹配的搜索方向旋轉大於絕對值0°且小於90°的角度。

在一些實施方案中，在使用成本函數計算模糊度值時，過程1100可涉及控制電路910通過將來自成本函數的最小成本值除以來自成本函數的第二最小成本值來計算模糊度值。

在一些實施方案中，第二閾值可為0.8。

在一些實施方案中，在執行左圖像和右圖像的立體匹配中，過程1100可涉及控制電路910執行左圖像和右圖像的主動立體匹配。

第12圖示出了根據本公開的實現的示例過程1200。過程1200可以是關於根據本公開的主動立體匹配的IR圖案特徵的部分或完全的各種過程、場景、構想、解決方案、概念和技術或其組合的示例實現。過程1200可以表示裝置900的特徵的實現的一個方面。過程1200可以包括一個或多個操作、動作或功能，如塊1210、1220和1230中的一個或多個所示。儘管示出為離散塊，但是根據期望的實現，可以將過程1200的各種塊劃分為附加塊、組合成更少的塊或者消除。此外，過程1200的塊可以按照第12圖中所示的順序執行，或者可以以不同的順序執行。此外，過程1200的一個或多個塊可以重複一次或多次。過程1200可以由裝置900或其任何變型來實現。僅出於說明性目的而非限制，以下在裝置900的上下文中描述過程1200。過程1200可以在塊1210處開始。

在1210處，過程1200可以涉及控制電路910控制電磁波投射器930（例如，IR投射器）以投射圖案化IR光。過程1200可以從1210進行到1220。

在1220處，過程1200可以涉及控制電路910從第一相機（例如，傳感器920（1））接收場景的左圖像的第一資料，並且從第二相機（例如，傳感器920（2））接收場景的右圖像的第二資料。過程1200可以從1220進行到1230。

在1230處，過程1200可以涉及控制電路910執行左圖像和右圖像的主動立體匹配以生成場景的深度圖。圖案化IR光可以滿足多個特徵要求中的一個或多個。

在一些實施方式中，所述多個特徵要求可以包括：（1）圖案化IR光的圖案包括多個像素，其密度滿足密度要求，使得IR像素的數量除以左圖像或右圖像內的預定義窗口中的像素總數大於或等於第一閾值; （2）圖案化IR光包含重複圖案的多個實例，使得沿著立體匹配的搜索方向重複圖案的重複週期大於立體匹配的操作範圍; （3）重複圖案的重複方向相對於立體匹配的搜索方向旋轉絕對值大於0°且小於90°的角度。

在一些實施方案中，在執行左圖像和右圖像的立體匹配中，過程1200可涉及控制電路910使用左圖像與右圖像之間的差的成本值的成本函數來計算模糊度值。在一些實現中，成本函數可以在數學上表達如下：Cost _絕對值 _差 _(PL,d) = 1/3 * Σ _i=R,G.B |I_i ^left (P_L ) –I_i ^right (P_R ) |,

在一些實施方案中，在使用成本函數計算模糊度值時，過程1200可涉及控制電路910通過將來自成本函數的最小成本值除以來自成本函數的第二最小成本值來計算模糊度值。

文中描述的主題有時示出了包含在其它不同部件內的或與其它不同部件連接的不同部件。應當理解：這樣描繪的架構僅僅是示例性的，並且，實際上可以實施實現相同功能的許多其它架構。在概念意義上，實現相同功能的部件的任何布置是有效地“相關聯的”，以使得實現期望的功能。因此，文中被組合以獲得特定功能的任意兩個部件可以被視爲彼此“相關聯的”，以實現期望的功能，而不管架構或中間部件如何。類似地，這樣相關聯的任意兩個部件還可以被視爲彼此“可操作地連接的”或“可操作地耦接的”，以實現期望的功能，並且，能夠這樣相關聯的任意兩個部件還可以被視爲彼此“操作上可耦接的”，以實現期望的功能。“操作上可耦接的”的具體示例包含但不限於：實體地可聯結和/或實體地相互、作用的部件、和/或無線地可相互作用和/或無線地相互作用的部件、和/或邏輯地相互作用的和/或邏輯地可相互作用的部件。

此外，關於文中基本上任何複數和/或單數術語的使用，只要對於上下文和/或應用是合適的，所屬技術領域具有通常知識者可以將複數變換成單數，和/或將單數變換成複數。

所屬技術領域具有通常知識者將會理解，通常，文中所使用的術語，特別是在所附申請專利範圍(例如，所附申請專利範圍中的主體）中所使用的術語通常意在作爲“開放性”術語(例如，術語“包含”應當被解釋爲“包含但不限幹”，術語“具有”應當被解釋爲“至少具有”，術語“包含”應當被解釋爲“包含但不限幹”等)。所屬技術領域具有通常知識者還將理解，如果意在所介紹的申請專利範圍陳述對象的具體數目，則這樣的意圖將會明確地陳述在申請專利範圍中，在缺乏這樣的陳述的情況下，不存在這樣的意圖。例如，爲了幫助理解，所附申請專利範圍可以包含使用介紹性短語“至少一個”和“一個或更多個”來介紹申請專利範圍陳述對象。然而，這樣的短語的使用不應當被解釋爲：用不定冠詞“一個（a或an)”的申請專利範圍陳述對象的介紹將包含這樣介紹的申請專利範圍陳述對象的任何申請專利範圍限制爲只包含一個這樣的陳述對象的發明，即使在同一申請專利範圍包含介紹性短語“一個或更多個”或“至少一個”以及諸如“一個（a)”或“一個(an)”之類的不定冠詞的情況下(例如，“一個（a)”和/或“一個（an)”應當通常被解釋爲意味著“至少一個”或“一個或更多個”）也如此；上述對以定冠詞來介紹申請專利範圍陳述對象的情況同樣適用。另外，即使明確地陳述了介紹的申請專利範圍陳述對象的具體數目，但所屬技術領域具有通常知識者也會認識到：這樣的陳述通常應當被解釋爲意味著至少所陳述的數目（例如，僅有“兩個陳述對象”而沒有其他修飾語的陳述通常意味著至少兩個陳述對象，或兩個或更多個陳述對象)。此外，在使用類似於“A、B和C中的至少一個等”的慣用語的情況下，通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如，“具有A、B和C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B —起、A和C 一起、B和C 一起和/或A、B和C 一起的系統等)。在使用類似於“A、B或C中的至少一個等”的慣用語的情況下，通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如，“具有A、B或C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B —起、A和C 一起、B和C 一起和/或A、B和C 一起的系統等)。所屬技術領域具有通常知識者將進一歩理解，不管在說明書、申請專利範圍中還是在附圖中，表示兩個或更多個可替換的術語的幾乎任意析取詞和/或短語應當理解成考慮包含術語中的一個、術語中的任一個或所有兩個術語的可能性。例如，短語“A或B”應當被理解成包含“A”、“B”、或“A和B”的可能性。

儘管已經在文中使用不同的方法、設備以及系統來描述和示出了一些示例性的技術，但是所屬技術領域具有通常知識者應當理解的是：可以在不脫離所要求保護的主題的情況下進行各種其它修改以及進行等同物替換。此外，在不脫離文中描述的中心構思的情況下，可以進行許多修改以使特定的情況適應於所要求保護的主題的教導。因此，意在所要求保護的主題不限制於所公開的特定示例，而且這樣的要求保護的主題還可以包含落在所附申請專利範圍的範圍內的所有實施及它們的等同物。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100、200、300、400、500、600‧‧‧場景 700、800‧‧‧融合方法 900‧‧‧裝置 910‧‧‧控制電路 920（1）~920（N）‧‧‧傳感器 930‧‧‧EM波投射器 1000、1100、1200‧‧‧過程 1010、1020、1030、1110、1120、1130、1210、1220、1230‧‧‧塊

第1圖示出了根據本公開實現的示例場景。第2圖示出了根據本公開的實現的主動立體匹配的示例場景。第3圖示出了根據本公開的實現的示例場景。第4圖示出了根據本公開的實現的示例場景。第5圖示出了根據本公開的實現的示例場景。第6圖示出了根據本公開的實現的深度融合的示例場景。第7圖示出了根據本公開的實現的示例融合方法。第8圖示出了根據本公開的實現的示例融合方法。第9圖示出了根據本公開的實現的示例裝置。第10圖示出了根據本公開的實現的示例過程。第11圖示出了根據本公開的實現的示例過程。第12圖示出了根據本公開的實現的示例過程。

1010、1020、1030‧‧‧塊

Claims

一種深度融合方法，包括：從多個傳感器接收多個類型不同的傳感器信號；基於該多個傳感器信號生成場景的第一深度相關資訊和該場景的第二深度相關資訊；以及融合該第一深度相關資訊和該第二深度相關資訊以生成該場景的融合深度圖，其中，生成該第一深度相關資訊和該第二深度相關資訊包括：基於第一類型的該多個傳感器信號中的至少第一傳感器信號生成第一深度圖和第一置信圖；以及基於與該第一類型不同的第二類型的該多個傳感器信號中的至少第二傳感器信號，生成第二深度圖和第二置信圖。
如申請專利範圍第1項所述之深度融合方法，其中從該多個傳感器接收該多個類型不同的傳感器信號包括從紅綠藍相機、灰階相機、紅外相機、紅綠藍紅外相機、灰階紅外相機、帶雙頻帶通濾波的紅綠藍相機、帶雙頻帶通濾波的灰階相機和飛行時間傳感器中的兩個或更多個接收該多個傳感器信號。
如申請專利範圍第1項所述之深度融合方法，其中，生成該第一深度圖和該第一置信圖包括使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖，並且其中，生成該第二深度圖和該第二置信圖包括使用主動立體方法或被動立體方法生成該第二深度圖和該第二置信圖。
如申請專利範圍第1項所述之深度融合方法，其中，融合該第一深度相關資訊和該第二深度相關資訊以生成該融合深度圖包括：相對於該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖和該第二置信圖以提供融合結果；以及對該融合結果執行後處理以生成該融合深度圖。
如申請專利範圍第1項所述之深度融合方法，其中，融合該第一深度相關資訊和該第二深度相關資訊以生成該融合深度圖包括：相對於該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；估計與生成該第一深度圖和該第一置信圖相關聯的成本量；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖、該第二置信圖和該成本量以提供融合結果；以及對該融合結果進行後處理以生成該融合深度圖，其中，生成該第一深度圖和該第一置信圖包括使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖。
如申請專利範圍第5項所述之深度融合方法，其中，估計該成本量包括通過計算與立體方法相關聯的加權成本和與結構光方法相關聯的加權成本的組合來估計該成本量。
如申請專利範圍第1項所述之深度融合方法，其中，融合該第一深度相關資訊和該第二深度相關資訊以生成該融合深度圖包括：確定是否使用第一融合方法或第二融合方法融合該第一深度相關資訊和該第二深度相關資訊；以及基於確定的結果，使用該第一融合方法或該第二融合方法融合該第一深度相關資訊和該第二深度相關資訊，其中，該第一融合方法包括：相對於該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖和該第二置信圖以提供融合結果；以及對該融合結果進行後處理以生成該融合深度圖，其中，該第二融合方法包括：相對於該第二深度圖重新映射該第一深度圖以生成該重新映射的第一深度圖；估計與生成該第一深度圖和該第一置信圖相關聯的成本量；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖、該第二置信圖和該成本量以提供融合結果；以及對該融合結果進行後處理以生成該融合深度圖，以及其中，在該第二融合方法中，使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖。
如申請專利範圍第1項所述之深度融合方法，還包括：控制電磁波投射器向該場景發射電磁波，其中該電磁波投射器包括紅外投射器或飛行時間投射器。
如申請專利範圍第8項所述之深度融合方法，還包括：校準該多個傳感器中的一對傳感器或該多個傳感器中的一個加上該電磁波投射器。
一種深度融合裝置，包括：控制電路，其被耦合以從多個傳感器接收多個類型不同的傳感器信號，使得在操作期間，該控制電路執行包括以下操作的操作：基於該多個傳感器信號生成場景的第一深度相關資訊和該場景的第二深度相關資訊；以及融合該第一深度相關資訊和該第二深度相關資訊以生成該場景的融合深度圖，其中，生成該第一深度相關資訊和該第二深度相關資訊時，該控制電路執行包含以下操作的操作：基於第一類型的該多個傳感器信號中的至少第一傳感器信號生成第一深度圖和第一置信圖；以及基於與該第一類型不同的第二類型的該多個傳感器信號中的至少第二傳感器信號，生成第二深度圖和第二置信圖。
如申請專利範圍第10項所述之深度融合裝置，更包括：該多個傳感器，包括紅綠藍相機、灰階相機、紅外相機、紅綠藍紅外相機、灰階紅外相機、帶雙頻帶通濾波的紅綠藍相機、帶雙頻帶通濾波的灰階相機和飛行時間傳感器中的兩個或更多個。
如申請專利範圍第10項所述之深度融合裝置，其中，在生成該第一深度圖和該第一置信圖時，該控制電路使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖，並且其中，在生成該第二深度圖和該第二置信圖時，該控制電路使用主動立體方法或被動立體方法生成該第二深度圖和該第二置信圖。
如申請專利範圍第10項所述之深度融合方法，其中，在融合該第一深度相關資訊和該第二深度相關資訊以生成該融合深度圖時，該控制電路執行包含以下操作的操作：相對於該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖和該第二置信圖以提供融合結果；以及對該融合結果執行後處理以生成該融合深度圖。
如申請專利範圍第10項所述之深度融合裝置，其中，在融合該第一深度相關資訊和該第二深度相關資訊以生成該融合深度圖時，該控制電路執行包含以下操作的操作：相對於該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；估計與生成該第一深度圖和該第一置信圖相關聯的成本量；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖、該第二置信圖和該成本量以提供融合結果；以及對該融合結果進行後處理以生成該融合深度圖，其中，生成該第一深度圖和該第一置信圖包括使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖。
如申請專利範圍第14項所述之深度融合裝置，其中，在估計該成本量時，該控制電路通過計算與立體方法相關聯的加權成本和與結構光方法相關聯的加權成本的組合來估計該成本量。
如申請專利範圍第10項所述之深度融合裝置，其中，在融合該第一深度相關資訊和該第二深度相關資訊以生成該融合深度圖時，該控制電路執行包含以下操作的操作：確定是否使用第一融合方法或第二融合方法融合該第一深度相關資訊和該第二深度相關資訊；以及基於確定的結果，使用該第一融合方法或該第二融合方法融合該第一深度相關資訊和該第二深度相關資訊，其中，該第一融合方法包括：相對於該第二深度圖重新映射該第一深度圖以生成重新映射的第一深度圖；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖和該第二置信圖以提供融合結果；以及對該融合結果進行後處理以生成該融合深度圖，其中，該第二融合方法包括：相對於該第二深度圖重新映射該第一深度圖以生成該重新映射的第一深度圖；估計與生成該第一深度圖和該第一置信圖相關聯的成本量；融合該重新映射的第一深度圖、該第二深度圖、該第一置信圖、該第二置信圖和該成本量以提供融合結果；以及對該融合結果進行後處理以生成該融合深度圖，以及其中，在該第二融合方法中，使用結構光方法或飛行時間方法生成該第一深度圖和該第一置信圖。
如申請專利範圍第10項所述之深度融合裝置，還包括：電磁波投射器；以及該多個傳感器，其中，在操作期間，該控制電路更控制該電磁波投射器向該場景發射電磁波，其中該電磁波投射器包括紅外投射器或飛行時間投射器。
如申請專利範圍第17項所述之深度融合裝置，其中，在操作期間，該控制電路更校準該多個傳感器中的一對傳感器或該多個傳感器中的一個加上該電磁波投射器。