TW202347257A

TW202347257A - 用於提供三維資訊的感測裝置

Info

Publication number: TW202347257A
Application number: TW111133877A
Authority: TW
Inventors: 李季峰
Original assignee: 鈺立微電子股份有限公司
Priority date: 2022-05-19
Filing date: 2022-09-07
Publication date: 2023-12-01
Also published as: US20230377091A1; TW202348018A; TWI830363B; TW202347258A; TW202348025A; TWI822394B; TWI837854B

Abstract

一種感測裝置，包括第一感測器、第二感測器及運算單元。第一感測器產生多個第一深度資訊，第一深度資訊具有第一取樣頻率及第一精確度。第二感測器產生多個第二深度資訊，第二深度資訊具有第二取樣頻率及第二精確度，第二取樣頻率大於第一取樣頻率，第二精確度小於第一精確度。運算單元根據第一深度資訊及第二深度資訊執行融合運算以得到融合深度資訊，融合深度資訊具有第一精確度及第二取樣頻率。

Description

用於提供三維資訊的感測裝置

本揭示關於一種感測裝置，特別有關於一種用於產生三維資訊、並能將三維資訊進行融合的感測裝置。

虛擬實境(VR)技術與擴增實境(AR)技術已蓬勃發展，並已廣泛應用於日常生活中。目標物體的三維感測技術為虛擬實境技術與擴增實境技術的不可或缺的核心技術。為了建立目標物體的更精確的三維影像及三維模型，以使目標物體能夠趨近真實的呈現，並達到虛擬實境與擴增實境的更佳視覺效果，必須取得高解析度(對應於高取樣頻率)及高深度精確度的三維資訊。即，目標物體的三維資訊必須兼具投影平面的影像方面的高解析度以及深度方面的高精確度。

現有的多種三維感測技術各自具備其優勢，某些感測技術具備投影平面的影像方面的高解析度，另一些感測技術則具備深度方面的高精確度。欲兼具高解析度及高深度精確度，則必須融合兩種以上的三維感測技術。然而，現有的融合技術僅能產生以「物件」(即，一個目標物體)為單位的融合資訊，其融合結果的精細程度有待提升。

針對於現有技術的上述技術問題，本技術領域之技術人員係致力於改良的三維感測融合技術，期能使融合資訊兼具高解析度及高深度精確度，並能達到以「像素」或「點」為單位的精細程度。

根據本揭示之一方面，提供一種感測裝置。感測裝置包括第一感測器、第二感測器及運算單元。第一感測器用以產生複數個第一深度資訊，第一深度資訊具有第一取樣頻率及第一精確度。第二感測器用以產生複數個第二深度資訊，第二深度資訊具有第二取樣頻率及第二精確度，第二取樣頻率大於第一取樣頻率，第二精確度小於第一精確度。運算單元配置以根據第一深度資訊及第二深度資訊執行融合運算以得到融合深度資訊，融合深度資訊具有第一精確度及第二取樣頻率。

在本揭示一實施例中，第一深度資訊對應於投影平面的複數個第一座標位置，第二深度資訊對應於投影平面的複數個第二座標位置，運算單元執行的融合運算包括：將第二座標位置之中的原始座標位置映射為映射座標位置，映射座標位置位於第一座標位置之間。根據映射座標位置，從第一座標位置之中選取複數個參與座標位置。根據各參與座標位置對應的第一深度資訊及原始座標位置對應的第二深度資訊執行加權運算以得到融合深度資訊，融合深度資訊對應於映射座標位置。

在本揭示一實施例中，參與座標位置鄰近於映射座標位置，各參與座標位置對應的第一深度資訊具有權重值，運算單元至少根據各參與座標位置對應的第一深度資訊及權重值執行加權運算。

在本揭示一實施例中，權重值是誤差權重，誤差權重相關於各參與座標位置對應的第一深度資訊與原始座標位置對應的第二深度資訊之間的絕對誤差值。

在本揭示一實施例中，權重值是距離權重，距離權重相關於各參與座標位置與映射座標位置之間的相對距離的長度。

在本揭示一實施例中，權重值是面積權重，面積權重相關於各參與座標位置與映射座標位置之間的相對面積的大小。

在本揭示一實施例中，參與座標位置對應的第一深度資訊具有第一信心權重，原始座標位置對應的第二深度資訊具有第二信心權重，運算單元根據各參與座標位置對應的第一深度資訊、第一信心權重、原始座標位置對應的第二深度資訊及第二信心權重執行加權運算。

在本揭示一實施例中，運算單元更配置以：計算第二深度資訊的基準值。計算各第二深度資訊相對於基準值的偏移值。根據第二深度資訊的偏移值校正融合深度資訊。

在本揭示一實施例中，第一感測器及第二感測器具有複數個內部參數及複數個外部參數，運算單元根據內部參數及/或外部參數將原始座標位置映射為映射座標位置。

在本揭示一實施例中，第一感測器是雷達感測器、或利用飛行時間技術(ToF)的深度感測器，第二感測器是彩色感測器、光達感測器、或雙目視覺感測器。

根據本揭示之另一方面，提供一種感測裝置。感測裝置包括第一感測器、第二感測器及運算單元。第一感測器，用以產生複數個第一深度資訊，第一深度資訊具有第一取樣頻率及第一精確度。第二感測器，用以產生複數個像素及複數個影像值，影像值分別對應於像素，其中像素具有解析度，解析度對應的取樣頻率大於第一取樣頻率。運算單元，係配置以根據第一深度資訊及影像值執行融合運算以得到融合深度資訊，融合深度資訊具有第一精確度，且融合深度資訊的取樣頻率大致相等於像素的解析度對應的取樣頻率。

在本揭示一實施例中，第二感測器產生的像素組成影像，運算單元執行的融合運算包括：在第一像素之間建立取樣座標位置。將第一座標位置映射至複數個主要映射座標位置，主要映射座標位置位於影像之中。將取樣座標位置映射至取樣映射座標位置，取樣映射座標位置位於影像之中。根據各第一座標位置對應的第一深度資訊、各主要映射座標位置對應的影像值及取樣映射座標位置對應的影像值執行加權運算以得到融合深度資訊，融合深度資訊對應於取樣座標位置。

在本揭示一實施例中，運算單元從像素之中選取複數個鄰近像素，鄰近像素鄰近於取樣映射座標位置及主要映射座標位置，並且運算單元根據鄰近像素對應的影像值執行內插運算以得到取樣映射座標位置及主要映射座標位置對應的影像值。

在本揭示一實施例中，各第一深度資訊具有權重值，運算單元至少根據各第一深度資訊及對應的權重值執行加權運算。

在本揭示一實施例中，第一深度資訊的權重值是誤差權重，誤差權重相關於各主要映射座標位置對應的影像值及取樣映射座標位置對應的影像值之間的影像值誤差。

根據本揭示之又一方面，提供一種感測裝置。感測裝置包括第一感測器及運算單元。第一感測器，用以產生複數個第一深度資訊，第一深度資訊相關於至少一個第一空間，第一空間具有複數個第一座標位置，第一深度資訊分別對應於第一座標位置。運算單元，係配置以將第一深度資訊轉換為複數個第二深度資訊，第二深度資訊相關於標準空間，標準空間具有至少一個第二座標位置。當第二深度資訊指向第二座標位置的相同一者時，運算單元根據第二深度資訊執行融合運算以得到第二座標位置的融合深度資訊。

在本揭示一實施例中，第一感測器在不同的時間點產生第一深度資訊，並且標準空間是對應於真實世界座標系。

在本揭示一實施例中，根據至少一個第一空間與標準空間之間的空間轉換，運算單元將第一深度資訊轉換為第二深度資訊。

在本揭示一實施例中，各第二深度資訊具有權重值，運算單元至少根據各第二深度資訊及對應的權重值執行融合運算。

在本揭示一實施例中，各第二深度資訊的權重值是信心權重，信心權重相關於各第二深度資訊的信心程度。

透過閱讀以下圖式、詳細說明以及申請專利範圍，可見本揭示之其他方面以及優點。

本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭示之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。

第1A圖為本揭示一實施例之感測裝置1000a的示意圖。如第1A圖所示，感測裝置1000a包括第一感測器100a、第二感測器200a及運算單元300。感測裝置1000a可對於目標400進行三維(3D)感測以建立相關於目標400的三維資訊。其中，第一感測器100a與第二感測器200a各自得到相關於目標400的不同的深度資訊，運算單元300基於不同的深度資訊執行融合運算(fusion operation)而得到融合深度資訊fD1，據以建立更精準的三維資訊。

第一感測器100a產生相關於目標400的複數個第一深度資訊dA~dM。第一感測器100a例如為雷達感測器(對應的第二感測器200a為光達感測器)、利用飛行時間技術(time of flight，ToF)之深度感測器(對應的第二感測器200a為色彩或雙目(stereoscopic)感測器等)，等等。其中，利用ToF之深度感測器可利用直接飛行時間技術(direct ToF，dToF)或利用間接飛行時間技術(indirect ToF，iToF)。第一深度資訊dA~dM例如為對應於投影平面的法線方向的絕對或相對之深度資訊，例如為深度圖(depth map)、視差(disparity)資訊、距離資訊、點雲(point cloud)資訊、網格(mesh)資訊，等等。本實施例的第一感測器100a產生法線方向上的第一深度資訊dA~dM。第一深度資訊dA~dM投影於投影平面的第一座標位置A~M，第一深度資訊dA~dM各自對應於第一座標位置A~M。

第二感測器200a產生相關於目標400的複數個第二深度資訊da~dn。第二感測器200a例如為光達感測器(對應的第一感測器100a為雷達感測器)、彩色感測器(color sensor)、利用單目視覺或雙目視覺的感測器，等等。本實施例的第二感測器200a產生第二深度資訊da~dn。第二深度資訊da~dn投影於投影平面的第二座標位置a~n，第二深度資訊da~dn各自對應於第二座標位置a~n。第二感測器200a產生的第二深度資訊da~dn在深度精確度與取樣頻率上不同於第一感測器100a產生的第一深度資訊dA~dM。

第1B圖為第1A圖的第一感測器100a產生的第一深度資訊dA~dM及第一座標位置A~M與第二感測器200a產生的第二深度資訊da~dn及第二座標位置a~n的示意圖。如第1B圖所示，第一深度資訊dA~dM投影於投影平面的第一座標位置A~M，第一深度資訊dA~dM對應於投影平面的法線方向。根據第一深度資訊dA~dM與第一座標位置A~M可計算出(x,y,z)三維座標(第1B圖中未顯示)，(x,y,z)三維座標涵蓋投影平面及法線方向。在一種示例中，當第一感測器100a產生點雲(points cloud)時，點雲之中的每一點的深度可表示為第一深度資訊dA~dM，每一點可直接對應(x,y,z)三維座標。

第一深度資訊dA~dM具有第一精確度及第一取樣頻率。第一精確度的定義為：第一感測器100a在目標400的深度感測的精確度，即，第一深度資訊dA~dM在法線方向的精確度。第一取樣頻率的定義為：第一感測器100a在目標400的投影平面感測上的取樣頻率；即，當第一深度資訊dA~dM投影於投影平面時，第一深度資訊dA~dM在投影平面的等效取樣頻率。第一感測器100a在深度感測的精確度較高，但第一感測器100a在投影平面的取樣頻率較低，因此，第一深度資訊dA~dM的第一精確度較高但第一取樣頻率較低。

另一方面，第二感測器200a產生的第二深度資訊da~dn相關於投影平面的法線方向，第二深度資訊da~dn投影於投影平面的第二座標位置a~n。根據第二深度資訊da~dn與第二座標位置a~n可計算出(x,y,z)三維座標。第二深度資訊da~dn具有第二精確度及第二取樣頻率。第二精確度的定義為：第二深度資訊da~dn在法線方向的精確度。第二取樣頻率的定義為：當第二深度資訊da~dn投影於投影平面時，第二深度資訊da~dn在投影平面的等效取樣頻率。第二感測器200a在投影平面的取樣頻率較高，但第二感測器200a在深度感測的精確度較低，因此，第二深度資訊da~dn的第二取樣頻率較高但第二精確度較低。第二深度資訊da~dn的第二取樣頻率大於(或高於)第一深度資訊dA~dM的第一取樣頻率，但第二深度資訊da~dn的第二精確度小於(或低於)第一深度資訊dA~dM的第一精確度。

運算單元300根據不同的精確度與取樣頻率之第一深度資訊dA~dM與第二深度資訊da~dn執行融合運算以得到融合深度資訊fD1。融合深度資訊fD1可兼具較高的第一精確度與較高的第二取樣頻率。相較於其他融合技術是以一個物件(例如目標400)為單位執行融合運算，本揭示的感測裝置1000a的運算單元300是以一個深度資訊為單位執行融合運算，例如，以第二深度資訊da~dn的其中一個第二深度資訊dp為單位執行融合運算。各個深度資訊運算得到的融合深度資訊可統合為整體的融合深度資訊fD1。

第2圖為本揭示另一實施例之感測裝置1000b的示意圖。第2圖的感測裝置1000b類似於第1A圖的感測裝置1000a，差異處在於：感測裝置1000b的第一感測器100b與第二感測器200b的其中一者或兩者可產生具體的二維影像。例如，第一感測器100b除了產生法線方向的第一深度資訊dA~dM之外，更可產生對應於第一深度資訊dA~dM的投影平面的第一影像IMG1。即，第一影像IMG1的基準平面大致為第一深度資訊dA~dM的投影平面。第一影像IMG1包括複數個第一像素A”~M”，第一深度資訊dA~dM投影於投影平面的座標位置即為第一像素A”~M”的位置。即，本實施例的第一像素A”~M”的位置大致對應於第1A圖的實施例的第一座標位置A~M。第一深度資訊dA~dM的第一取樣頻率大致相等於第一像素A”~M”在第一影像IMG1之中的解析度對應的取樣頻率。

另一方面，第二感測器200b除了產生法線方向的第二深度資訊da~dn之外，更可產生投影平面的第二影像IMG2。第二影像IMG2的基準平面大致為第二深度資訊da~dn的投影平面。第二影像IMG2包括複數個第二像素a”~n”。第二像素a”~n”在投影平面的位置大致對應於第1A圖的實施例的第二座標位置a~n。第二像素a”~n”在第二影像IMG2之中的解析度對應的取樣頻率大致相等於第二深度資訊da~dn的第二取樣頻率。

本實施例的感測裝置1000b的運作方式類似於第1A圖的感測裝置1000a，其中運算單元300根據第一感測器100b產生的第一深度資訊dA~dM與第二感測器200b產生的第二深度資訊da~dn執行融合運算以得到融合深度資訊fD1。當第1A圖的感測裝置1000a的融合運算使用第1B圖的第一座標位置A~M與第二座標位置a~n時，類似於第2圖的感測裝置1000b的融合運算使用第一像素A”~M”的位置與第二像素a”~n”的位置。

於下文中，係以第1A、1B圖的感測裝置1000a為例以說明第3~9圖的融合運算；即，第3~9圖的融合運算是根據第1A、1B圖的第一感測器100a產生的第一深度資訊dA~dM與第一座標位置A~M以及第二感測器200a產生的第二深度資訊da~dn與第二座標位置a~n而執行。

第3、4圖係繪示：根據第二座標位置a~n的其中一個原始座標位置p，對於第二深度資訊dp執行融合運算以得到融合深度資訊dpm。為了使整體的融合深度資訊fD1兼具第二深度資訊da~dn的第二取樣頻率及第一深度資訊dA~dM的第一精確度，將第二深度資訊da~dn映射至第一深度資訊dA~dM以執行融合運算。如第3圖所示，從第二深度資訊da~dn對應的第二座標位置a~n選擇一個第二座標位置p(亦可稱為「原始座標位置p」)，並將原始座標位置p映射至第一深度資訊dA~dM對應的第一座標位置A~M之間，而成為映射座標位置pm。在一種示例中，可根據第一感測器100與第二感測器200各自的複數個內部參數(intrinsic parameters)及/或第一感測器100與第二感測器200之間的複數個外部參數(extrinsic parameters)來計算原始座標位置p與映射座標位置pm之間的映射關係，根據上述的內部參數及/或外部參數將原始座標位置p映射為映射座標位置pm。例如，當第一感測器100的光學中心相異於第二感測器200時，可經由校正而獲得第一感測器100與第二感測器200之間的相關性，據此得到第一感測器100與第二感測器200之間的外部參數。並且，可經由校正或其他演算法獲得第一感測器100與第二感測器200各自的內部參數。

而後，運算單元300根據與映射座標位置pm從第一座標位置A~M之中選取多個「參與座標位置」，此些參與座標位置鄰近於映射座標位置pm。在一種示例中，可將映射座標位置pm的座標數值進行無條件捨去以得到第一座標位置A，即，第一座標位置A與映射座標位置pm具有最近距離。而後，選取第一座標位置A下方的第一座標位置E，選取第一座標位置A右方的第一座標位置B，選取第一座標位置A右下方的第一座標位置F。所選取的第一座標位置A、B、E、F作為參與座標位置。

在另一種示例中，可根據映射座標位置pm定義一參與區域R_pm，位於參與區域R_pm內的第一座標位置被選取為參與座標位置。例如，以映射座標位置pm為圓心，將特定半徑的圓形區域定義為參與區域R_pm。或者，以映射座標位置pm為幾何中心，將特定長寬的矩形區域定義為參與區域R_pm。

接著參見第4圖，根據參與座標位置A、B、E、F各自對應的第一深度資訊dA、dB、dE、dF以及原始座標位置p的第二深度資訊dp執行融合運算，以得到映射座標位置pm的融合深度資訊dpm。第一深度資訊dA、dB、dE、dF各自具有權重值，可根據上述權重值執行加權運算以達到上述融合運算。在一種示例中，第一深度資訊dA、dB、dE、dF的權重值為誤差權重weA、weB、weE、weF。以誤差權重weA為例，其計算方式如式(1)所示： (1)

在式(1)中，絕對誤差值diffA的定義為：第一座標位置A對應的第一深度資訊dA與原始座標位置p對應的第二深度資訊dp之間的差異值的絕對值。絕對誤差值diffA輸入至誤差權重函數we()，則誤差權重函數we()對應輸出誤差權重weA。誤差權重函數we()例如為線性函數轉換、非線性函數轉換或查表轉換。當輸入的絕對誤差值diffA較小時，誤差權重函數we()對應輸出較大的誤差權重weA。

請參見第5A~5D圖，其繪示誤差權重函數we()的輸入值-輸出值之對應關係的不同示例。在第5A圖的示例中，誤差權重函數we()之曲線的中段大致為線性區域，輸入的絕對誤差值diffA較大，則輸出的誤差權重weA較小。在第5B圖的示例中，誤差權重函數we()為非線性函數轉換，誤差權重函數we()為凹曲線(concave)。在第5D圖的示例中，誤差權重函數we()為凸曲線(convex)。

在第5C圖的示例中，誤差權重函數we()之曲線為為階梯狀線形，階梯的下降邊緣對應於臨界值thd。當絕對誤差值diffA小於臨界值thd時，對應輸出的誤差權重weA為「1」。當絕對誤差值diffA大於臨界值thd時，對應輸出的誤差權重weA為接近於「0」的數值。

類似的，根據式(2)~式(4)分別計算誤差權重weB、weE、weF： (2) (3) (4)

而後，根據第一深度資訊dA、dB、dE、dF及對應的誤差權重weA、weB、weE、weF執行加權運算以得到加權運算結果dpm1。第一深度資訊dA、dB、dE、dF的加權運算結果dpm1即為映射座標位置pm的融合深度資訊dpm，如式(5-1)所示： (5-1)

類似於原始座標位置p對應的映射座標位置pm的融合運算，可對於第二座標位置a~n之中的其他座標位置執行相同的融合運算。第二座標位置a~n的每一者的映射座標位置(圖中未顯示)的融合深度資訊可統合為整體的融合深度資訊fD1。

第6A~6D圖為根據參與座標位置A、B、E、F的第一深度資訊及誤差權重執行加權運算以得到映射座標位置pm的融合深度資訊dpm的示意圖。請先參見第6A圖，第二感測器200a產生的第二深度資訊da~dn(對應於第二座標位置a~n)例如具有數值「100」或「990」。第6A圖中繪示為深色網底的第二座標位置對應的第二深度資訊具有數值「100」，繪示為白色網底的第二座標位置對應的第二深度資訊具有數值「990」。第二深度資訊da~dn的第二精確度較低(即，第二深度資訊da~dn的數值「100」或「990」具有誤差)，需配合第一深度資訊進行校正。

接著，請參見第6C圖，第一感測器100a產生的第一深度資訊dA~dM(對應於第一座標位置A~M)例如具有數值「66」或「1034」。其中，繪示為深色網底的第一座標位置對應的第一深度資訊具有數值「66」，繪示為白色網底的第一座標位置對應的第一深度資訊具有數值「1034」。並且，第6A圖的原始座標位置p映射為第6C圖的映射座標位置pm。

映射座標位置pm鄰近的參與座標位置A、B、E、F對應於第一深度資訊dA、dB、dE、dF。其中，第一深度資訊dA(具有數值「66」)與原始座標位置p的第二深度資訊dp(具有數值「100」)之間的絕對誤差值diffA為「34」。請同時參見第6D圖，當絕對誤差值diffi (i=A)為「34」時，對應的誤差權重wei (i=A)為「0.91」，即，第一深度資訊dA的誤差權重weA為「0.91」。類似的，第一深度資訊dB、dE都具有數值「66」，其絕對誤差值diffi (i=B、E)為「34」，對應的誤差權重wei (i=B、E)為「0.91」。另一方面，第一深度資訊dF為數值「1034」，其絕對誤差值diffi (i=F)為「934」而超過第6D圖所示的輸入上限值「100」。因此對應的誤差權重wei (i=F)為「0」。

由上，參與座標位置A、B、E、F對應的第一深度資訊dA、dB、dE、dF的誤差權重weA、weB、weE、weF分別為「0.91」、「0.91」、「0.91」、「0」，因此，映射座標位置pm的融合深度資訊dpm可經由式(5-2)的加權運算而得： (5-2)

根據式(5-2)的加權運算，原始座標位置p對應的第二深度資訊dp(第6A圖所示的數值「100」)校正為第6B圖的融合深度資訊dpm(數值為「66」)。類似的，第6A圖中繪示為白色網底的第二座標位置的第二深度資訊由原數值「990」校正為第6B圖的數值「1034」。

在另一示例中，參與座標位置A、B、E、F的第一深度資訊dA、dB、dE、dF的加權運算結果dpm1可進一步與原始座標位置p的第二深度資訊dp進行加權運算以得到加權運算結果dpm2，加權運算結果dpm2作為最終的融合深度資訊dpm，如式(6)所示： (6)

在式(6)的加權運算中，參與座標位置A、B、E、F對應的第一深度資訊dA、dB、dE、dF具有第一信心權重wc1，其相關於第一深度資訊dA、dB、dE、dF的信心程度(confidence level) CL1 (即，可靠程度)。在一種示例中，可根據第一感測器100相關的區塊匹配的成本數值(cost value)來計算第一感測器100的雙目視覺的第一深度資訊的信心程度CL1。其中，相關於第一感測器100的成本數值例如為最小誤差成本數值(minimum cost)、獨特性(uniqueness)，等等。在另一種示例中，可根據左右影像檢查(left right check)或雜亂程度檢查來計算第一感測器100的信心程度CL1。在又一種示例中，第一感測器100為ToF感測器，可根據待測目標(例如第1A圖的目標400)的反射光強度來計算ToF感測器的信心程度CL1，反射光強度正比於信心程度CL1的大小。或者，第一感測器100為iToF感測器，則可根據不同相位的訊號(quad訊號)的相位差與振幅大小來計算iToF感測器的信心程度CL1(相位差對應於距離，振幅大小對應於反射光強度)。第一深度資訊dA、dB、dE、dF的第一信心權重wc1的計算方式如式(7-1)所示： (7-1)

在式(7-1)中，信心程度CL1輸入至信心權重函數wc()，信心權重函數wc()對應輸出第一信心權重wc1。參見第7A~7D圖，其繪示信心權重函數wc()的輸入值-輸出值之對應關係的不同示例。信心權重函數wc()例如為線性函數轉換、非線性函數轉換或查表轉換。在第7A圖的示例中，信心權重函數wc()為線性函數轉換，輸入的信心程度CL1較大時，對應輸出的第一信心權重wc1較大。在第7B、7D圖的示例中，信心權重函數wc()為非線性函數轉換，信心權重函數wc()為凸曲線(convex)及凹曲線(concave)。在第7C圖的示例中，信心權重函數wc()為階梯狀線形，階梯的上升邊緣對應於臨界值thc。當輸入的信心程度CL1小於臨界值thc時，輸出的第一信心權重wc1為接近「0」的數值。當輸入的信心程度CL1大於臨界值thc時，輸出的第一信心權重wc1為「1」。

類似的，原始座標位置p對應的第二深度資訊dp具有第二信心權重wc2，其相關於第二深度資訊dp的信心程度CL2，如式(7-2)所示： (7-2)

由上，根據參與座標位置A、B、C、D的第一深度資訊dA、dB、dE、dF、第一信心權重wc1、原始座標位置p的第二深度資訊dp及第二信心權重wc2執行加權運算，以得到加權運算結果dpm2，加權運算結果dpm2作為最終的融合深度資訊dpm。

第8圖繪示：針對原始座標位置p及對應的映射座標位置pm執行融合運算以得到對應的融合深度資訊dpm的一示例。本示例是根據參與座標位置A、B、E、F與映射座標位置pm之間的相對距離來計算第一深度資訊dA、dB、dE、dF的權重值。如第8圖所示，參與座標位置A與映射座標位置pm之間具有相對距離LA、參與座標位置B與映射座標位置pm之間具有相對距離LB、參與座標位置E與映射座標位置pm之間具有相對距離LE、參與座標位置F與映射座標位置pm之間具有相對距離LF。根據相對距離LA、LB、LE、LF以及距離權重函數wd()，可經由式(8)計算第一深度資訊dA、dB、dE、dF各自的距離權重wdA、wdB、wdE、wdF： (8)

在式(8)中，相對距離Li為距離權重函數wd()的輸入值，距離權重wdi為距離權重函數wd()的輸出值。距離權重函數wd()的輸入值-輸出值的轉換關係類似於第5-1~5-4圖的誤差權重函數we()。距離權重函數wd()例如為線性函數轉換、非線性函數(包括凸曲線、凹曲線或階梯狀線形)轉換或查表轉換。距離權重函數wd()輸入的相對距離Li較大時，輸出的距離權重wdi較小。即，參與座標位置A、B、E、F與映射座標位置pm相距越遠時，對應的距離權重wdA、wdB、wdE、wdF越小。

而後，根據第一深度資訊dA、dB、dE、dF及對應的距離權重wdA、wdB、wdE、wdF與誤差權重weA、weB、weE、weF執行加權運算以得到加權運算結果dpm3。加權運算結果dpm3作為融合深度資訊dpm，如式(9)所示： (9)

第9圖繪示：針對原始座標位置p及對應的映射座標位置pm執行融合運算以得到對應的融合深度資訊dpm的另一示例。本示例是根據參與座標位置A、B、E、F與映射座標位置pm之間的「相對面積」來計算第一深度資訊dA、dB、dE、dF的權重值。更具體而言，以映射座標位置pm為十字線的中心，根據十字線將參與座標位置A、B、E、F包圍的區域切割為四個子區域，每個子區域的面積定義為參與座標位置A、B、E、F與映射座標位置pm之間的「相對面積」。如第9圖所示，參與座標位置A與映射座標位置pm之間具有相對面積AR_A，參與座標位置B與映射座標位置pm之間具有相對面積AR_B，參與座標位置E與映射座標位置pm之間具有相對面積AR_E，參與座標位置F與映射座標位置pm之間具有相對面積AR_F。根據相對面積AR_A、AR_B、AR_E、AR_F以及面積權重函數wa()，可經由式(10)計算參與座標位置A、B、E、F各自的面積權重waA、waB、waE、waF： (10)

面積權重函數wa()的輸入值-輸出值的轉換關係類似於距離權重函數wd()。當參與座標位置A、B、E、F與映射座標位置pm相距較遠時，對應的相對面積AR_i較大，則面積權重函數wa()輸出的面積權重wai較小。

而後，根據第一深度資訊dA、dB、dE、dF及對應的面積權重waA、waB、waE、waF與誤差權重weA、weB、weE、weF執行加權運算以得到加權運算結果dpm4。加權運算結果dpm3作為融合深度資訊dpm，如式(11)所示： (11)

在另一種示例中，亦可將前述的誤差權重函數we()、距離權重函數wd()及面積權重函數wa()的其中兩者或三者整合為單一的函數。例如，誤差權重函數we()與距離權重函數wd()整合為混合權重函數wm1()。絕對誤差值diffi以及相對距離Li (其中i=A,B,E,F)為混合權重函數wm1()的輸入值，混合權重函數wm1()對應輸出混合權重wm1i，如式(12)所示。當絕對誤差值diffi越大或相對距離Li越大時，輸出的混合權重wm1i越小。 (12)

或者，誤差權重函數we()與面積權重函數wa()整合為混合權重函數wm2()。絕對誤差值diffi與相對面積AR_i (其中i=A,B,E,F)為混合權重函數wm2()的輸入值，混合權重函數wm2()對應輸出混合權重wm2i，如式(13)所示： (13)

在另一種示例中，可藉由權重選擇函數W(i1,i2,…,in)以賦予第一深度資訊dA、dB、dE、dF各自的權重值wA、wB、wE、wF。權重選擇函數W(i1,i2,…,in)具有多個輸入值i1~in，輸入值i1~in之間具有關聯性而非各自獨立。權重選擇函數W(i1,i2,…,in)可根據輸入值i1~in進行綜合判斷，據以輸出權重值wA、wB、wE、wF。例如，當輸入值i1~in整體滿足一特定條件時，輸出的權重值wA、wB、wE、wF為「1」、「0」、「0」、「0」。此時，僅有權重值wA為「1」，因此僅選擇第一深度資訊dA計算融合深度資訊dpm。又例如，當輸入值i1~in整體滿足另一特定條件時，輸出的權重值wA、wB、wE、wF為「0」、「0」、「1」、「1」。此時，選擇第一深度資訊dE與第一深度資訊dF計算融合深度資訊dpm。由上，在一些示例中，可藉由權重選擇函數W(i1,i2,…,in)選擇第一深度資訊dA、dB、dE、dF其中的一者或多者計算融合深度資訊dpm。

於上文中，第3~9圖的融合運算亦可藉由第2圖的感測裝置1000b而實施。當第2圖的感測裝置1000b實施第3~9圖的融合運算時，係將第一座標位置A~M與第二座標位置a~n分別置換為第一像素A”~M”的位置與第二像素a”~n”的位置，可得到大致相同的融合運算的結果。

第10A~10D圖為對於融合深度資訊進行校正的示意圖。可將第1B圖的第二座標位置a~n區分為多個區塊，例如，五個第二座標位置a、b、c、d、e屬於同一個區塊，同一個區塊內對應的第二深度資訊da、db、dc、dd、de進行加權運算。請先參見第10A圖，對於第二深度資訊da、db、dc、dd、de先進行加權運算以得到基準值dw1。例如，加權運算為平均值運算，則基準值dw1為第二深度資訊da、db、dc、dd、de的平均值。

接著參見第10B圖，將第二深度資訊da、db、dc、dd、de分別減去基準值dw1，以得到相對於基準值dw1的偏移值da’、db’、dc’、dd’、de’。例如，第二深度資訊da、db、dc、dd、de的數值分別為「100」、「100」、「150」、「150」、「150」，平均值運算的基準值dw1為「130」，對應的偏移值da’、db’、dc’、dd’、de’分別為「-30」、「-30」、「20」、「20」、「20」。

接著參見第10C圖，針對第二座標位置a、b、c、d、e各自的映射座標位置執行融合運算，以得到融合深度資訊dam、dbm、dcm、ddm、dem。而後，根據第10B圖的偏移值da’、db’、dc’、dd’、de’對於第10C圖的融合深度資訊dam、dbm、dcm、ddm、dem進行校正；例如，將融合深度資訊dam、dbm、dcm、ddm、dem分別加上偏移值da’、db’、dc’、dd’、de’，以得到第10D圖的校正後的融合深度資訊dam’、dbm’、dcm’、ddm’、dem’。

在校正後的融合深度資訊dbm’與融合深度資訊dcm’之間呈現出數值上升趨勢，可反映出第10A圖的原始的第二深度資訊db與第二深度資訊dc之間的數值上升趨勢。

第11圖為本揭示另一實施例的感測裝置1000c的示意圖。如第11圖所示，感測裝置1000c的第一感測器100c類似於第1A圖的實施例的第一感測器100a，本實施例的第一感測器100c用以產生相關於目標400的複數個第一深度資訊dA、dB、dE、dF、…等等，其投影於投影平面的第一座標位置A、B、C、D、…等等。本實施例的第一感測器100c產生第一深度資訊dA、dB、dE、dF具有第一精確度及第一取樣頻率。

另一方面，本實施例的第二感測器200c相異於第1A圖的第二感測器200a與第2圖的第二感測器200b，本實施例的第二感測器200c不產生任何深度資訊。本實施例的第二感測器200c例如為影像擷取裝置，可產生相關於目標400的影像IMG2’。影像IMG2’包括複數個像素a”、b”、e”、f”、…等等，像素a”、b”、e”、f”具有影像值Ya”、Yb”、Ye”、Yf”。影像值Ya”、Yb”、Ye”、Yf”例如為色彩灰階值或色彩索引值。影像IMG2’具有一解析度，該解析度對應的取樣頻率大於第一深度資訊dA、dB、dE、dF的第一取樣頻率。

運算單元300c根據第一深度資訊dA、dB、dE、dF及影像值Ya、Yb、Ye、Yf執行融合運算，以得到各像素對應的融合深度資訊。各融合深度資訊可統合為整體的融合深度資訊fD2，融合深度資訊fD2能夠兼具第一深度資訊dA、dB、dE、dF的第一精確度與影像IMG2’的解析度對應的取樣頻率。

第12A、12B圖為第11圖的感測裝置1000c執行融合運算的示意圖。請先參見第12A圖，第一感測器100c產生的第一深度資訊dA~dF在投影平面的第一取樣頻率小於第二感測器200c產生的影像IMG2’的解析度對應的取樣頻率。為了使融合深度資訊fD2達到影像IMG2’的解析度對應的取樣頻率，運算單元300c在第一座標位置A、B、E、F之間取樣(sample)更多的座標位置。例如，影像IMG2’的解析度對應的取樣頻率為第一深度資訊dA~dF的第一取樣頻率的3倍，運算單元300c在4個原始的第一座標位置A、B、E、F之間建立12個新增的取樣座標位置，其中包括取樣座標位置G。新增的取樣座標位置G位於原始的第一座標位置A、B、E、F之間。

請參見第12B圖，根據第一感測器100c與第二感測器200c的內部參數及/或外部參數，運算單元300c可將第一座標位置A、B、E、F映射至影像IMG2’之中的主要映射座標位置a’、b’、e’、f’。並且，將取樣座標位置G映射至影像IMG2’之中的取樣映射座標位置g’。在一種示例中，運算單元300c可將取樣座標位置G與第一座標位置A~F的相對位置的比例關係套用至影像IMG2’，再根據主要映射座標位置a’、b’、e’、f’的相對位置計算取樣映射座標位置g’。在另一種示例中，可根據單應性 (homography)計算取樣映射座標位置g’。

由於主要映射座標位置a’、b’、e’、f’與取樣映射座標位置g’不一定重疊於影像IMG2’的原始之像素a”、b”、e”、f”、g”，因此無法直接利用原始之像素a”、b”、e”、f”、g”對應的影像值Ya”、Yb”、Ye”、Yf”、Yg”。必須執行內插運算以得到主要映射座標位置a’、b’、e’、f’與取樣映射座標位置g’對應的影像值。例如，從影像IMG2’之原始的像素之中選取複數個鄰近像素q、s、r、t，此些鄰近像素q、s、r、t鄰近於取樣映射座標位置g’。而後，根據鄰近像素q、s、r、t對應的影像值Yq、Ys、Yr、Yt執行內插運算，以得到取樣映射座標位置g’的影像值Yg’。

類似的，亦選取主要映射座標位置a’的鄰近像素(圖中未顯示)，根據鄰近像素對應的影像值執行內插運算，以得到主要映射座標位置a’對應的影像值Ya’。以類似的內插運算得到主要映射座標位置b’、e’、f’對應的影像值Yb’、Ye’、Yf’。

請再次參見第12A圖，第一深度資訊dA~dF各自具有權重值。根據第一深度資訊dA~dF與其對應的權重值執行加權運算，以得到取樣座標位置G的融合深度資訊dG。在一種示例中，第一深度資訊dA、dB、dE、dF的權重值為誤差權重weA、weB、weE、weF，並且誤差權重weA、weB、weE、weF相關於影像值誤差、、、。其中，影像值誤差為主要映射座標位置a’對應的影像值Ya’及取樣映射座標位置g’對應的影像值Yg’之間的差異值的絕對值，依此類推。將影像值誤差、、、輸入至誤差權重函數we()以產生誤差權重weA、weB、weE、weF，如式(14)所示： j= A,B,E,F i=a,b,e,f (14)

而後，根據誤差權重weA、weB、weE、weF執行第一深度資訊dA、dB、dE、dF的加權運算以得到取樣座標位置G的融合深度資訊dG，如式(15)所示： (15)

類似的，對於取樣座標位置G之外的其他11個取樣座標位置(第12A圖中繪示為深色網底的座標位置)亦執行相同的融合運算以得到各自對應的融合深度資訊。各個融合深度資訊統合為整體的融合深度資訊fD2。

在一種示例中，當第一座標位置A~F排列為矩形時，影像IMG2’對應的主要映射座標位置a’~f’亦排列為矩形，則取樣映射座標位置g’的內插運算可較為精簡。在另一種示例中(未顯示於第12A、12B圖)，可預先將第一座標位置A~F經由深度影像繪圖(depth image based rendering，DIBR)轉換為轉換影像IMG1_t。轉換影像IMG1_t的光學中心相同於第二感測器200c的光學中心，因此轉換影像IMG1_t可線性對應於影像IMG2’，即，轉換影像IMG1_t相對於影像IMG2’僅為尺寸的縮放。據此，亦能夠由影像IMG2’反方向地映射至轉換影像IMG1_t。

第13圖為本揭示又一實施例的感測裝置1000c的示意圖。相較於第1A圖的實施例的感測裝置1000包括第一感測器100及第二感測器200，本實施例的感測裝置1000c僅包括第一感測器100c而不包括其他的感測器。第一感測器100c對於目標400進行感測，以產生複數個第一深度資訊dAi、dBi、dCi。在一種示例中，第一深度資訊dAi、dBi、dCi是第一感測器100c在不同的時間點ti所產生的。運算單元300c對於第一深度資訊dAi、dBi、dCi進行處理，並且執行融合運算，最終產生融合深度資訊fD3。

第14圖為第13圖的感測裝置1000c執行融合運算的示意圖。如第14圖所示，第一感測器100c在時間點t1感測得到第一深度資訊dA1、dB1、dC1，在時間點t2感測得到第一深度資訊dA2、dB2、dC2，在時間點t3感測得到第一深度資訊dA3、dB3、dC3。在一種示例中，在不同的時間點ti產生的第一深度資訊dAi、dBi、dCi皆相關於相同的第一空間SP1，第一空間SP1具有複數個第一座標位置A、B、C，第一深度資訊dAi、dBi、dCi分別對應於第一座標位置A、B、C。

在另一種示例中，在不同的時間點ti感測得到的第一深度資訊dAi、dBi、dCi可能相關於不同的座標空間。例如，在時間點t1感測得到第一深度資訊dA1、dB1、dC1相關於第一空間SP1’，在時間點t2感測得到第一深度資訊dA2、dB2、dC2相關於第二空間SP2’，在時間點t3感測得到第一深度資訊dA3、dB3、dC3相關於第三空間SP3’。

另一方面，標準空間SP0是對應於真實世界的座標空間，即，標準空間SP0為統一座標系或世界座標系。標準空間SP0與第一空間SP1(或第一空間SP1’、第二空間SP2’、第三空間SP3’)之間具有空間轉換的對應關係或映射關係。運算單元300c根據標準空間SP0與第一空間SP1(或第一空間SP1’、第二空間SP2’、第三空間SP3’)之間的空間轉換將第一深度資訊dAi、dBi、dCi轉換為標準空間SP0的第二深度資訊da、db、dc。標準空間SP0具有至少一個第二座標位置(例如，第二座標位置e)。

運算單元300c判斷多個第二深度資訊da、db、dc是否指向第二座標位置的相同一者。例如，當第二深度資訊da、db、dc皆指向相同的第二座標位置e時，表示第二深度資訊da、db、dc皆指向真實世界的座標空間的相同物理位置，則運算單元300c根據第二深度資訊da、db、dc執行融合運算以得到第二座標位置e的融合深度資訊de。

運算單元300c執行的融合運算例如為：根據第二深度資訊da、db、dc及對應的權重值執行的加權運算。第二深度資訊da、db、dc及對應的權重值例如為為信心權重wca、wcb、wcc，可藉由類似於式(7-1)的信心權重函數wc()來計算信心權重wca、wcb、wcc。第二深度資訊da、db、dc各自具有信心程度CLa、CLb、CLc，其相關於第一感測器100c的區塊匹配的成本數值或目標400的反射光強度。信心程度CLa、CLb、CLc分別輸入至信心權重函數wc()而對應輸出信心權重wca、wcb、wcc。信心權重函數wc()例如為線性函數轉換、非線性函數轉換或查表轉換，輸入的信心程度CLa、CLb、CLc較大時，對應輸出的信心權重wca、wcb、wcc較大。

而後，根據信心權重wca、wcb、wcc對於第二深度資訊da、db、dc執行加權運算，以得到第二座標位置e的融合深度資訊de，如式(16)所示： (16)

基於相同的融合運算的機制，計算標準空間SP0的其他的座標位置的融合深度資訊。標準空間SP0的各個座標位置的融合深度資訊統合為整體的融合深度資訊fD3。

第15圖為本揭示再一實施例的感測裝置1000d的示意圖。相較於第13圖的實施例的感測裝置1000c僅包括一個第一感測器100c，本實施例的感測裝置1000d包括多個感測器，例如包括三個感測器100-1、100-2、100-3。第16圖為第15圖的感測裝置1000d執行融合運算的示意圖。請同時參見第15、16圖，以同一個第一座標位置A為例進行說明，感測器100-1、100-2、100-3分別得到第一座標位置A的多個第一深度資訊。例如，感測器100-1感測得到第一座標位置A的第一深度資訊dA-1，感測器100-2感測得到第一座標位置A的第一深度資訊dA-2感測器100-3感測得到第一座標位置A的第一深度資訊dA-3。

在一種示例中，感測器100-1、100-2、100-3產生的第一深度資訊dA-1、dA-2、dA-3皆相關於相同的一個座標空間，例如，第一深度資訊dA-1、dA-2、dA-3皆相關於相同的第一空間SP1。運算單元300d將第一深度資訊dA-1、dA-2、dA-3轉換為標準中間SP0的第二深度資訊da-1、da-2、da-3。

在另一種示例中，感測器100-1、100-2、100-3產生的第一深度資訊dA-1、dA-2、dA-3相關於不同的座標空間。例如，感測器100-1產生的第一深度資訊dA1相關於第一空間SP1’，感測器100-2產生的第一深度資訊dA2相關於第二空間SP2’，感測器100-3產生的第一深度資訊dA3相關於第三空間SP3’。運算單元300d將第一空間SP1’的第一深度資訊dA-1、第二空間SP2’的第一深度資訊dA-2、第三空間SP3’的第一深度資訊dA-3轉換為標準空間SP0的第二深度資訊da-1、da-2、da-3。

當第二深度資訊da-1、da-2、da-3皆指向標準空間SP0的相同的第二座標位置e時，運算單元300c根據第二深度資訊da、db、dc及對應的信心權重wca1、wca2、wca3執行加權運算，以得到第二座標位置e的融合深度資訊de，如式(17)所示： (17)

類似的，標準空間SP0的各個座標位置的融合深度資訊統合為整體的融合深度資訊fD4。

雖然本發明已以較佳實施例及範例詳細揭示如上，可理解的是，此些範例意指說明而非限制之意義。可預期的是，所屬技術領域中具有通常知識者可想到多種修改及組合，其多種修改及組合落在本發明之精神以及後附之申請專利範圍之範圍內。

1000a,1000b,1000c,1000d,1000e:感測裝置 100a,100b,100c,100d:第一感測器 100-1,100-2,100-3:感測器 200a,200b,200c:第二感測器 300,300c,300d,300e,:運算單元 400:目標 IMG1:第一影像 IMG2:第二影像 IMG2’:影像 A,B,C,D,E,F,M:第一座標位置 A”~M”:第一像素 dA,dB,dC,dD,dE,dF,dM:第一深度資訊 dAi,dBi,dCi,dA1,dB1,dC1,dA2,dB2,dC2:第一深度資訊 dA3,dB3,dC3,dA-1,dA-2,dA-3:第一深度資訊 p:原始座標位置 pm:映射座標位置 R_pm:參與區域 a,b,c,d,e,f,n:第二座標位置 a”~n”:第二像素 da,db,dc,dd,de,df,dn,dp:第二深度資訊 a”,b”,e”,f”,g”:像素 a’,b’,e’,f’:主要映射座標位置 G:取樣座標位置 g’:取樣映射座標位置 q,r,s,t:鄰近像素 Ya”~Yg”:影像值 Ya’,Yb’,Ye’,Yf’,Yg’:影像值 Yq,Yr,Ys,Yt:影像值 SP1,SP1’:第一空間 SP2’:第二空間 SP3’:第三空間 SP0:標準空間 fD1,fD2,fD3,fD4,dpm,dG:融合深度資訊 dpm1,dpm2,dpm3,dpm4:加權運算結果 diffA,diffB,diffC,diffD,diffi:絕對誤差值 we():誤差權重函數 wc():信心權重函數 wa():面積權重函數 wd():距離權重函數 wm1(),wm2():混合權重函數 wc1:第一信心權重 wc2:第二信心權重 wei,weA,weB,weE,weF:誤差權重 wai,waA,waB,waE,waF:面積權重 wdi,wdA,wdB,wdE,wdF:距離權重 AR_A,AR_B,AR_E,AR_F:相對面積 LA,LB,LE,LF:相對距離 CL1,CL2:信心程度

第1A圖為本揭示一實施例之感測裝置的示意圖。第1B圖為第1A圖的第一感測器產生的第一深度資訊及第一座標位置與第二感測器產生的第二深度資訊及第二座標位置的示意圖。第2圖為本揭示另一實施例之感測裝置的示意圖。第3、4圖為根據第二座標位置的其中一個原始座標位置，對於第二深度資訊執行融合運算以得到融合深度資訊。第5A~5D圖為誤差權重函數的輸入值-輸出值之對應關係的不同示例的示意圖。第6A~6D圖為根據參與第一座標位置的第一深度資訊及誤差權重執行加權運算以得到映射座標位置的融合深度資訊的示意圖。第7A~7D圖為信心權重函數的輸入值-輸出值之對應關係的不同示例的示意圖。第8圖為針對一個原始座標位置及對應的映射座標位置執行融合運算以得到對應的融合深度資訊的一示例的示意圖。第9圖為針對一個原始座標位置及對應的映射座標位置執行融合運算以得到對應的融合深度資訊的另一示例的示意圖。第10A~10D圖為對於融合深度資訊進行校正的示意圖。第11圖為本揭示另一實施例的感測裝置的示意圖。第12A圖為第11圖的感測裝置執行融合運算的示意圖。第12B圖為運算單元執行內插運算得到影像值的示意圖。第13圖為本揭示又一實施例的感測裝置的示意圖。第14圖為第13圖的感測裝置執行融合運算的示意圖。第15圖為本揭示再一實施例的感測裝置的示意圖。第16圖為第15圖的感測裝置執行融合運算的示意圖。

1000a:感測裝置

100a:第一感測器

200a:第二感測器

300:運算單元

400:目標

A~M:第一座標位置

dA~dM:第一深度資訊

a~n:第二座標位置

da~dn:第二深度資訊

fD1:融合深度資訊

Claims

一種感測裝置，包括：一第一感測器，用以產生複數個第一深度資訊，其中該些第一深度資訊具有一第一取樣頻率及一第一精確度；一第二感測器，用以產生複數個第二深度資訊，其中該些第二深度資訊具有一第二取樣頻率及一第二精確度，該第二取樣頻率大於該第一取樣頻率，且該第二精確度小於該第一精確度；以及一運算單元，係配置以根據該些第一深度資訊及該些第二深度資訊執行一融合運算以得到一融合深度資訊，該融合深度資訊具有該第一精確度及該第二取樣頻率。
如請求項1之感測裝置，其中該些第一深度資訊對應於一投影平面的複數個第一座標位置，該些第二深度資訊對應於該投影平面的複數個第二座標位置，該運算單元執行的該融合運算包括：將該些第二座標位置之中的一原始座標位置映射為一映射座標位置，該映射座標位置位於該些第一座標位置之間；根據該映射座標位置，從該些第一座標位置之中選取複數個參與座標位置；以及根據各該參與座標位置對應的該第一深度資訊及該原始座標位置對應的該第二深度資訊執行一加權運算以得到該融合深度資訊，該融合深度資訊對應於該映射座標位置。
如請求項2之感測裝置，其中該些參與座標位置鄰近於該映射座標位置，各該參與座標位置對應的該第一深度資訊具有一權重值，該運算單元至少根據各該參與座標位置對應的該第一深度資訊及該權重值執行該加權運算。
如請求項3之感測裝置，其中該權重值是一誤差權重，該誤差權重相關於各該參與座標位置對應的該第一深度資訊與該原始座標位置對應的該第二深度資訊之間的一絕對誤差值。
如請求項3之感測裝置，其中該權重值是一距離權重，該距離權重相關於各該參與座標位置與該映射座標位置之間的一相對距離的長度。
如請求項3之感測裝置，其中該權重值是一面積權重，該面積權重相關於各該參與座標位置與該映射座標位置之間的一相對面積的大小。
如請求項3之感測裝置，其中該些參與座標位置對應的該些第一深度資訊具有一第一信心權重，該原始座標位置對應的該第二深度資訊具有一第二信心權重，該運算單元根據該些參與座標位置對應的該些第一深度資訊、該第一信心權重、該原始座標位置對應的該第二深度資訊及該第二信心權重執行該加權運算。
如請求項1之感測裝置，其中該運算單元更配置以：計算該些第二深度資訊的一基準值；計算各該第二深度資訊相對於該基準值的一偏移值；以及根據該些第二深度資訊的該些偏移值校正該融合深度資訊。
如請求項2之感測裝置，其中該第一感測器及該第二感測器具有複數個內部參數及複數個外部參數，該運算單元根據該些內部參數及/或該些外部參數將該原始座標位置映射為該映射座標位置。
如請求項9之感測裝置，其中該第一感測器是一雷達感測器、或利用飛行時間技術(ToF)的一深度感測器，該第二感測器是一彩色感測器、一光達感測器、或一雙目視覺感測器。
一種感測裝置，包括：一第一感測器，用以產生複數個第一深度資訊，其中該些第一深度資訊具有一第一取樣頻率及一第一精確度；一第二感測器，用以產生複數個像素及複數個影像值，該些影像值分別對應於該些像素，其中該些像素具有一解析度，該解析度對應的取樣頻率大於該第一取樣頻率；以及一運算單元，係配置以根據該些第一深度資訊及該些影像值執行一融合運算以得到一融合深度資訊，該融合深度資訊具有該第一精確度，且該融合深度資訊的取樣頻率大致相等於該些像素的該解析度對應的取樣頻率。
如請求項11之感測裝置，其中該第二感測器產生的該些像素組成一影像，該運算單元執行的該融合運算包括：在該些第一座標位置之間建立一取樣座標位置；將該些第一座標位置映射至複數個主要映射座標位置，該些主要映射座標位置位於該影像之中；將該取樣座標位置映射至一取樣映射座標位置，該取樣映射座標位置位於該影像之中；以及根據各該第一座標位置對應的該第一深度資訊、各該主要映射座標位置對應的該影像值及該取樣映射座標位置對應的該影像值執行一加權運算以得到該融合深度資訊，該融合深度資訊對應於該取樣座標位置。
如請求項12之感測裝置，其中該運算單元從該些像素之中選取複數個鄰近像素，該些鄰近像素鄰近於該取樣映射座標位置及該些主要映射座標位置，並且該運算單元根據該些鄰近像素對應的該些影像值執行一內插運算以得到該取樣映射座標位置及該些主要映射座標位置對應的該些影像值。
如請求項12之感測裝置，其中各該第一深度資訊具有一權重值，該運算單元至少根據各該第一深度資訊及對應的該權重值執行該加權運算。
如請求項14之感測裝置，其中各該第一深度資訊的該權重值是一誤差權重，該誤差權重相關於各該主要映射座標位置對應的該影像值及該取樣映射座標位置對應的該影像值之間的一影像值誤差。
一種感測裝置，包括：一第一感測器，用以產生複數個第一深度資訊，該些第一深度資訊相關於至少一第一空間，該至少一第一空間具有複數個第一座標位置，該些第一深度資訊分別對應於該些第一座標位置；以及一運算單元，係配置以將該些第一深度資訊轉換為複數個第二深度資訊，該些第二深度資訊相關於一標準空間，該標準空間具有至少一第二座標位置；其中，當該些第二深度資訊指向該至少一第二座標位置的相同一者時，該運算單元根據該些第二深度資訊執行一融合運算以得到該至少一第二座標位置的一融合深度資訊。
如請求項16之感測裝置，其中該第一感測器在不同的時間點產生該些第一深度資訊，並且該標準空間是對應於一真實世界座標系。
如請求項17之感測裝置，其中，根據該至少一第一空間與該標準空間之間的一空間轉換，該運算單元將該些第一深度資訊轉換為該些第二深度資訊。
如請求項16之感測裝置，其中各該第二深度資訊具有一權重值，該運算單元至少根據各該第二深度資訊及對應的該權重值執行該融合運算。
如請求項19之感測裝置，其中各該第二深度資訊的該權重值是一信心權重，該信心權重相關於各該第二深度資訊的一信心程度。