TW202347274A - 協調增強感測的系統和方法 - Google Patents

Abstract

描述了協調增強感測系統和技術。系統從一或多個感測器獲得環境的感測器資料。感測器資料包括從多個視角對環境的一或多個部分的不同表示。系統基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的不同表示的子集。情境可包括例如交通工具的位置、行進方向、速度及/或計畫移動。系統至少部分地基於將不同表示的子集合併及/或融合在一起而使得用於交通工具的環境的增強表示被產生。系統可使得環境的增強表示的指示在交通工具處被輸出。

Description

協調增強感測的系統和方法

本申請案係關於感測器資料處理。更具體地，本申請案係關於用於向環境中的諸如交通工具的接收方設備指示關於環境的相關資訊的協調增強感測的系統和方法。

交通工具碰撞是全球最常見的死亡或重傷原因之一。儘管交通工具技術隨著時間的推移已經得到改進，但交通工具仍然存在駕駛員難以看到或有時根本看不到的盲點，並且此可能會導致交通工具碰撞。有時，當交通工具的視野可能被諸如建築物或大型卡車的物件阻擋從而導致交通工具的駕駛員難以看到環境的重要方位時，可能會發生情況。此亦可能導致交通工具碰撞。

在一些實例中，描述了用於協調增強感測的系統和技術。協調增強感測系統例如使用收發器從至少一個設備的一或多個感測器獲得環境的感測器資料。感測器資料包括從多個視角對環境的一或多個部分的多個不同表示。協調增強感測系統基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集。情境可包括例如交通工具的位置、行進方向、速度及/或計畫移動。協調增強感測系統至少部分地基於將多個不同表示的子集合併及/或融合在一起而從而產生用於交通工具的環境的增強視野。環境的增強表示可包括對從交通工具的視角難以感測（例如，由於遮擋、環境場景條件、感測器條件或其某一組合）的環境的一部分的表示。協調增強感測系統可導致環境的增強表示的指示在交通工具處被輸出，如基於環境的增強表示的警報。此種警報可警告交通工具及/或其操作員在交通工具與環境中的另一個物件之間可能發生的碰撞。

在一個實例中，提供了用於媒體處理的裝置。裝置包括記憶體及耦合到記憶體的一或多個處理器（例如，在電路系統中實現）。一或多個處理器被配置為（且可）：從一或多個感測器獲得環境的感測器資料，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集，其中情境至少包括交通工具在環境中的位置；及至少部分地基於合併多個不同表示的子集，從而產生用於交通工具的環境的增強表示。

在另一個實例中，提供了影像處理的方法。該方法包括：從一或多個感測器獲得環境的感測器資料，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集，其中情境至少包括交通工具在環境中的位置；及至少部分地基於合併多個不同表示的子集，從而產生用於交通工具的環境的增強表示。

在另一個實例中，提供了其上儲存有指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時使一或多個處理器：從一或多個感測器獲得環境的感測器資料，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集，其中情境至少包括交通工具在環境中的位置；及至少部分地基於合併多個不同表示的子集，從而產生用於交通工具的環境的增強表示。

在另一個實例中，提供了用於影像處理的裝置。裝置包括：用於從一或多個感測器獲得環境的感測器資料的手段，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；用於基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集的手段，其中情境至少包括交通工具在環境中的位置；及用於至少部分地基於合併多個不同表示的子集，從而產生用於交通工具的環境的增強表示的手段。

在一些態樣中，基於情境辨識多個不同表示的子集包括辨識包括交通工具的位置的環境的一部分的一或多個表示。在一些態樣中，情境包括交通工具在環境中的行進方向，其中基於情境辨識多個不同表示的子集包括辨識在交通工具的行進方向上的交通工具前方的環境的一部分的一或多個表示。在一些態樣中，情境包括交通工具在環境中的速度，其中基於情境辨識多個不同表示的子集包括辨識交通工具前方的環境的一部分的一或多個表示，其中環境的一部分的大小基於交通工具的速度。

在一些態樣中，情境包括交通工具在環境中的計畫移動，其中基於情境辨識多個不同表示的子集包括根據交通工具的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。在一些態樣中，以上描述的方法、裝置和電腦可讀取媒體中的一或多個亦包括：偵測感測器資料中的交通工具的指示燈；及基於偵測到感測器資料中的交通工具的指示燈，決定交通工具的計畫移動，其中交通工具的計畫移動是轉向。在一些態樣中，以上描述的方法、裝置和電腦可讀取媒體中的一或多個亦包括：從交通工具接收交通工具的計畫移動的指示，其中交通工具的計畫移動是交通工具的計畫路線的一部分。

在一些態樣中，情境包括環境中除了交通工具以外的物件，其中基於情境辨識多個不同表示的子集包括辨識包括物件的環境的一部分的一或多個表示。在一些態樣中，以上描述的方法、裝置和電腦可讀取媒體中的一或多個亦包括：基於交通工具的一或多個計畫移動，辨識交通工具與物件之間的碰撞的風險；及使得基於環境的增強表示的警報在交通工具處被輸出，其中警報指示交通工具與物件之間的碰撞的風險。在一些態樣中，情境包括環境中除了交通工具以外的物件的計畫移動，其中基於情境辨識多個不同表示的子集包括根據物件的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。

在一些態樣中，基於情境辨識多個不同表示的子集包括辨識與多個不同表示的子集之每一者表示相關聯的置信度超過置信度臨限值，其中多個不同表示中的一個的置信度與多個不同表示中的一個表示交通工具前方的環境的一部分的置信相關聯。在一些態樣中，交通工具前方的環境的一部分包括交通工具。在一些態樣中，置信度基於多個不同表示中的一個的解析度。在一些態樣中，置信度基於多個不同表示中的一個中的照明級別。在一些態樣中，置信度基於使用多個不同表示中的一個的物件偵測。

在一些態樣中，接收環境的感測器資料包括從環境中的第二交通工具接收包括多個不同表示中的至少一個的感測器資料的至少一部分。在一些態樣中，接收環境的感測器資料包括從環境中的路側單元（RSU）接收包括多個不同表示中的至少一個的感測器資料的至少一部分。在一些態樣中，接收環境的感測器資料包括從環境中的相機接收包括多個不同表示中的至少一個的感測器資料的至少一部分。在一些態樣中，接收環境的感測器資料包括從交通工具的感測器接收包括多個不同表示中的至少一個的感測器資料的至少一部分。在一些態樣中，多個不同表示包括使用至少一個深度感測器擷取的深度資料。在一些態樣中，多個不同表示包括使用至少一個影像感測器擷取的影像資料。

在一些態樣中，以上描述的方法、裝置和電腦可讀取媒體中的一或多個亦包括：從交通管理控制器接收交通資料，其中情境包括交通資料的至少一部分，其中交通資料的一部分與包括交通工具的環境的至少一部分相關聯。

在一些態樣中，至少部分地基於合併多個不同表示的子集來使得用於交通工具的環境的增強表示被產生包括將多個不同表示的子集中的至少兩個不同的表示融合在一起。在一些態樣中，至少兩個不同的表示包括由影像感測器擷取的影像和由深度感測器擷取的深度資料集，且其中將至少兩個不同的表示融合在一起包括使影像的部分與深度資料集中表示環境的相應部分的相應部分關聯。

在一些態樣中，基於與環境中的交通工具對應的情境來辨識多個不同表示的子集包括將感測器資料和情境輸入一或多個已訓練的機器學習模型，該等機器學習模型輸出多個不同表示的子集的指示。在一些態樣中，以上描述的方法、裝置和電腦可讀取媒體中的一或多個亦包括：回應於接收環境的增強表示來辨識交通工具的反應；且使用情境、多個不同表示的子集及反應作為訓練資料來更新一或多個已訓練的機器學習模型。

在一些態樣中，從一或多個感測器獲得環境的感測器資料包括使用接收器、收發器及/或通訊介面中的至少一個來從一或多個感測器獲得環境的感測器資料。在一些態樣中，從一或多個感測器獲得環境的感測器資料包括從包括一或多個感測器中的至少一個的至少一個設備獲得環境的感測器資料。在一些態樣中，至少一個設備與裝置是非並置的。在一些態樣中，從一或多個感測器獲得環境的感測器資料包括從包括一或多個感測器中的至少一個的多個設備獲得環境的感測器資料。在一些態樣中，多個設備彼此之間是非並置的。

在一些態樣中，基於情境辨識環境的一或多個部分的多個不同表示的子集包括在沒有任何使用者輸入的情況下辨識環境的一或多個部分的多個不同表示的子集。在一些態樣中，基於情境辨識環境的一或多個部分的多個不同表示的子集包括基於由使用者使用使用者介面進行的選擇來辨識環境的一或多個部分的多個不同表示的子集。在一些態樣中，基於情境辨識環境的一或多個部分的多個不同表示的子集包括基於與使用者相關聯的偏好來辨識環境的一或多個部分的多個不同表示的子集。

在一些態樣中，多個不同表示中的至少第一表示是從第一交通工具接收的，且多個不同表示中的至少第二表示是從第二交通工具接收的。在一些態樣中，多個不同表示中的至少第一表示是從第一交通工具接收的，且多個不同表示中的至少第二表示是從路側單元（RSU）、多存取邊緣計算（MEC）系統或交通管理控制器（TMC）中的至少一個接收的。在一些態樣中，多個不同表示中的至少第一表示是從第一路側單元（RSU）接收的，且多個不同表示中的至少第二表示是從第二RSU接收的。在一些態樣中，多個不同表示中的至少第一表示是從交通工具接收的，且多個不同表示中的至少第二表示是從第二交通工具接收的。在一些態樣中，多個不同表示中的至少第一表示是從交通工具接收的，且多個不同表示中的至少第二表示是從路側單元（RSU）、多存取邊緣計算（MEC）系統或交通管理控制器（TMC）中的至少一個接收的。

在一些態樣中，裝置包括遠離交通工具的計算設備，亦包括：在使得交通工具的環境的增強表示被產生之前辨識環境中的交通工具；及向交通工具發送環境的增強表示的指示。在一些態樣中，裝置的計算設備是多存取邊緣計算（MEC）系統、路側單元（RSU）系統、遠端伺服器或交通工具計算設備中的一個，其中交通工具計算設備是環境中的第二交通工具的一部分。

在一些態樣中，裝置包括交通工具的交通工具計算設備，亦包括：使用交通工具的輸出設備來輸出環境的增強表示的指示。

在一些態樣中，裝置是可穿戴設備、擴展現實設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、頭戴式顯示器（HMD）設備、無線通訊設備、行動設備（例如，行動電話及/或行動手機及/或所謂的「智慧型電話」或其他行動設備）、相機、個人電腦、膝上型電腦、伺服器電腦、交通工具或交通工具的計算設備或部件、另一個設備或其組合的一部分及/或包括上述設備。在一些態樣中，裝置包括用於擷取一或多個影像的相機或多個相機。在一些態樣中，裝置亦包括用於顯示一或多個影像、通知及/或其他可顯示資料的顯示器。在一些態樣中，上述裝置可包括一或多個感測器（例如，一或多個慣性量測單元（IMU），如一或多個陀螺儀、一或多個陀螺量測儀、一或多個加速度計、其任何組合及/或其他感測器）。

本發明內容並不意欲標識所主張的標的的關鍵或必要特徵，亦不意欲孤立地用於決定所主張的標的的範疇。應當經由參考本專利的整個說明書的適當部分、任何或所有附圖及每項請求項來理解標的。

在參考以下說明書、申請專利範圍和附圖之後，前述及其他特徵和實施例將變得更加顯而易見。

下文提供了本案的某些態樣和實施例。對於本領域技藝人士而言將顯而易見的是，該等態樣和實施例中的一些可獨立地應用，且其中的一些可組合地應用。在以下描述中，出於解釋的目的，闡述了具體細節以便提供對本案的實施例的透徹理解。然而，將顯而易見的是，可在不使用該等具體細節的情況下實踐各個實施例。附圖和描述並不意欲是限制性的。

隨後描述僅提供示例性實施例，且並不意欲限制本案的範疇、適用性或配置。相反，對示例性實施例的隨後描述將向本領域技藝人士提供用於實現示例性實施例的使能描述。應當理解的是，在不脫離如在所附申請專利範圍中闡述的本案的精神和範圍的情況下，可對元素的功能和佈置進行各種改變。

相機是一種使用影像感測器接收光並擷取影像訊框（如靜止影像或視訊訊框）的設備。術語「影像」、「影像訊框」和「訊框」在本文中可互換地使用。相機可被配置有多種影像擷取和影像處理設定。不同的設定會導致影像具有不同的外觀。一些相機設定是在擷取一或多個影像訊框之前或期間決定和應用的，如ISO、曝光時間、孔徑大小、光圈值（f/stop）、快門速度、對焦和增益。例如，可將設定或參數應用於影像感測器以擷取一或多個影像訊框。其他相機設定可配置一或多個影像訊框的後處理，如對比度、亮度、飽和度、銳度、色階、曲線或顏色的改變。例如，可將設定或參數應用於處理器（例如，影像信號處理器或ISP）以處理由影像感測器擷取的一或多個影像訊框。

交通工具碰撞是全球最常見的死亡或重傷原因之一。儘管交通工具技術隨著時間的推移已經得到改進，但交通工具仍然存在駕駛員難以看到或有時根本看不到的盲點，且此可能會導致交通工具碰撞。有時，當交通工具的視野可能被諸如建築物或大型卡車的物件阻擋從而導致交通工具的駕駛員難以看到環境的重要方位時，可能會發生情況。此亦可能導致交通工具碰撞。即使是帶有感測器的交通工具亦可能無法感測環境中可能導致交通工具碰撞的某些情況，例如，若由於感測器的視場被另一個交通工具阻擋而導致環境中的此種情況在感測器的視場之外。

在一些態樣中，描述了用於協調增強感測的系統和技術。協調增強感測系統從一或多個感測器獲得環境的感測器資料。感測器資料包括從多個視角對環境的一或多個部分的多個不同表示。在一些實例中，協調增強感測系統辨識環境中的交通工具。協調增強感測系統基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集。情境可包括例如交通工具的位置、行進方向、速度及/或計畫移動。協調增強感測系統至少部分地基於將多個不同表示的子集合併及/或融合在一起而使得產生交通工具的環境的增強視野。環境的增強表示可包括對從交通工具的視角難以感測（例如，由於遮擋、環境場景條件、感測器條件或其某一組合）的環境的一部分的表示。協調增強感測系統可導致輸出交通工具處環境的增強表示的指示，如基於環境的增強表示的警報。此種警報可警告交通工具及/或其操作員在交通工具與環境中的另一個物件之間可能發生碰撞。

本文描述的協調增強感測系統和技術提供了對現有交通工具系統、感測器系統和通訊系統的許多技術改進。例如，本文描述的協調增強感測系統和技術可為交通工具提供額外的功能，從而經由向交通工具提供增強表示及/或警報來改進交通工具行進的安全性，該等增強表示及/或警報是基於從交通工具的視角難以或不可能感測到的環境的部分而為交通工具定製的。

將參考附圖描述本案的各個態樣。圖1是圖示影像擷取和處理系統100的架構的方塊圖。影像擷取和處理系統100包括用於擷取和處理一或多個場景的影像（例如，場景110的影像）的各種部件。影像擷取和處理系統100可擷取獨立影像（或照片）及/或可擷取包括具有特定序列的多個影像（或視訊訊框）的視訊。系統100的鏡頭115面向場景110並接收來自場景110的光。鏡頭115將光偏向影像感測器130。由鏡頭115接收的光穿過由一或多個控制機構120控制的孔徑且由影像感測器130接收。在一些實例中，場景110是環境中的一場景。在一些實例中，場景110是使用者的至少一部分的場景，如圖2的感測器212、感測器218及/或感測器238正對著的使用者。例如，場景110可是使用者的眼睛中的一隻或兩隻及/或使用者面部的至少一部分的場景。在一些實例中，場景110是環境的至少一部分的場景，如圖2的感測器212、感測器218及/或感測器238正對著的環境。在一些實例中，場景110是至少一交通工具的場景，如圖2的感測器212、感測器218及/或感測器238正對著的交通工具。

一或多個控制機構120可基於來自影像感測器130的資訊及/或基於來自影像處理器150的資訊來控制曝光、對焦及/或變焦。一或多個控制機構120可包括多個機構和部件；例如，控制機構120可包括一或多個曝光控制機構125A、一或多個對焦控制機構125B及/或一或多個變焦控制機構125C。一或多個控制機構120亦可包括除了所示出的控制機構之外的附加控制機構，如控制模擬增益、閃光、HDR、景深及/或其他影像擷取特性的控制機構。

控制機構120的對焦控制機構125B可獲得對焦設定。在一些實例中，對焦控制機構125B將對焦設定儲存在記憶體暫存器中。基於對焦設定，對焦控制機構125B可調整鏡頭115與影像感測器130的位置相對的位置。例如，基於對焦設定，對焦控制機構125B可經由致動電機或伺服系統來使鏡頭115移動得更靠近影像感測器130或更遠離影像感測器130，從而調整對焦。在一些情況下，系統100中可包括額外的鏡頭，如影像感測器130的每個光電二極體上方的一或多個微型鏡頭，每個微型鏡頭在光到達光電二極體之前將從鏡頭115接收到的光偏向對應的光電二極體。可經由對比度偵測自動對焦（CDAF）、相位偵測自動對焦（PDAF）或其某一組合來決定對焦設定。可使用控制機構120、影像感測器130及/或影像處理器150來決定對焦設定。對焦設定可被稱為影像擷取設定及/或影像處理設定。

控制機構120的曝光控制機構125A可獲得曝光設定。在一些情況下，曝光控制機構125A將曝光設定儲存在記憶體暫存器中。基於該曝光設定，曝光控制機構125A可控制孔徑的大小（例如，孔徑大小或光圈值）、孔徑打開的持續時間（例如，曝光時間或快門速度）、影像感測器130的靈敏度（例如，ISO速度或膠片速度）、影像感測器130應用的類比增益或其任何組合。曝光設定可被稱為影像擷取設定及/或影像處理設定。

控制機構120的變焦控制機構125C可獲得變焦設定。在一些實例中，變焦控制機構125C將變焦設定儲存在記憶體暫存器中。基於變焦設定，變焦控制機構125C可控制包括鏡頭115及一或多個額外鏡頭的鏡頭元件的組件（鏡頭組件）的焦距。例如，變焦控制機構125C可經由致動一或多個電機或伺服系統以相對於彼此移動鏡頭中的一或多個來控制鏡頭組件的焦距。變焦設定可被稱為影像擷取設定及/或影像處理設定。在一些實例中，鏡頭組件可包括齊焦變焦鏡頭或可變焦鏡頭。在一些實例中，鏡頭組件可包括對焦鏡頭（在一些情況下，其可是鏡頭115），對焦鏡頭首先從場景110接收光，隨後光在到達影像感測器130之前穿過對焦鏡頭（例如，鏡頭115）與影像感測器130之間的無焦變焦系統。在一些情況下，無焦變焦系統可包括焦距相等或相似（例如，在臨限值差內）的兩個正（例如，會聚、凸）鏡頭及其之間的負（例如，發散、凹）鏡頭。在一些情況下，變焦控制機構125C移動無焦變焦系統中的鏡頭中的一或多個，如負鏡頭及正鏡頭中的一個或兩者。

影像感測器130包括光電二極體或其他光敏元件的一或多個陣列。每個光電二極體量測最終對應於由影像感測器130產生的影像中的特定圖元的光量。在一些情況下，不同的光電二極體可被不同的濾色器覆蓋，且因此可量測與覆蓋光電二極體的濾色器的顏色相匹配的光。例如，拜耳濾色器包括紅色濾色器、藍色濾色器和綠色濾色器，其中影像的每個圖元是基於來自紅色濾色器中覆蓋的至少一個光電二極體的紅光資料、來自藍色濾色器中覆蓋的至少一個光電二極體的藍光資料及來自綠色濾色器中覆蓋的至少一個光電二極體的綠光資料產生的。代替紅色、藍色及/或綠色濾色器或除了紅色、藍色及/或綠色濾色器之外，其他類型的濾色器可使用黃色、品紅色及/或青色（亦被稱為「翡翠色」）濾色器。一些影像感測器可能完全沒有濾色器，且可能在整個圖元陣列中使用不同的光電二極體（在一些情況下是垂直堆疊的）。整個圖元陣列中的不同光電二極體可具有不同的光譜靈敏度曲線，因此回應不同波長的光。單色影像感測器亦可能缺少濾色器，且因此缺少色彩深度。

在一些情況下，影像感測器130可替代地或附加地包括不透明及/或反射遮罩，其阻擋光在某些時間及/或從某些角度到達某些光電二極體或某些光電二極體的一部分，此可用於相位偵測自動對焦（PDAF）。影像感測器130亦可包括模擬增益放大器以放大由光電二極體輸出的類比信號及/或類比數位轉換器（ADC）以將光電二極體的類比信號輸出（及/或由類比增益放大器放大的類比信號輸出）轉換為數位信號。在一些情況下，關於控制機構120中的一或多個論述的某些部件或功能可替代地或附加地被包括在影像感測器130中。影像感測器130可是電荷耦合裝置（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動圖元感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如，sCMOS），或其某一其他組合。

影像處理器150可包括一或多個處理器，如一或多個影像信號處理器（ISP）（包括ISP 154）、一或多個主機處理器（包括主機處理器152）及/或關於計算系統1100論述的一或多個任何其他類型的處理器1110。主機處理器152可是數位訊號處理器（DSP）及/或其他類型的處理器。在一些實現方式中，影像處理器150是包括主機處理器152和ISP 154的單個積體電路或晶片（例如，被稱為片上系統或SoC）。在一些情況下，晶片亦可包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠156）、中央處理器（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連接部件（例如，藍芽 ^TM、全球定位系統（GPS）等）、其任何組合及/或其他部件。I/O埠156可包括根據一或多個協定或規範的任何合適的輸入/輸出埠或介面，如內部積體電路2（I2C）介面、內部積體電路3（I3C）介面、串列周邊介面（SPI）介面、串列通用輸入/輸出（GPIO）介面、行動行業處理器介面（MIPI）（如MIPI CSI-2實體（PHY）層埠或介面、高級高效能匯流排（AHB）匯流排、其任何組合及/或其他輸入/輸出埠。在一個說明性實例中，主機處理器152可使用I2C埠與影像感測器130進行通訊，且ISP 154可使用MIPI埠與影像感測器130進行通訊。

影像處理器150可執行許多任務，如去馬賽克、顏色空間轉換、影像訊框下取樣、圖元內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、合併影像訊框以形成HDR影像、影像辨識、物件辨識、特徵辨識、接收輸入、管理輸出、管理記憶體或其某一組合。影像處理器150可將影像訊框及/或處理後的影像儲存在隨機存取記憶體（RAM）140及/或1120、唯讀記憶體（ROM）145及/或1125、快取記憶體、記憶體單元、另一個儲存裝置，或其某一組合中。

各種輸入/輸出（I/O）設備160可連接到影像處理器150。I/O設備160可包括顯示螢幕、鍵盤、小鍵盤、觸控式螢幕、觸控板、觸敏表面、印表機、任何其他輸出設備1135、任何其他輸入設備1145或其某一組合。在一些情況下，可經由I/O設備160的實體鍵盤或小鍵盤或者經由I/O設備160的觸控式螢幕的虛擬鍵盤或小鍵盤來將說明文字輸入影像處理設備105B。I/O 160可包括實現系統100與一或多個周邊設備之間的有線連接的一或多個埠、插孔或其他連接器，系統100可經由該等埠、插孔或其他連接器從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。I/O 160可包括實現系統100與一或多個周邊設備之間的無線連接的一或多個無線收發器，系統100可經由該無線收發器從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。周邊設備可包括先前論述的類型的I/O設備160中的任一個，且一旦其耦合到埠、插孔、無線收發器或其他有線及/或無線連接器，則周邊設備本身可被視為I/O設備160。

在一些情況下，影像擷取和處理系統100可是單個設備。在一些情況下，影像擷取和處理系統100可是兩個或兩個以上單獨的設備，包括影像擷取設備105A（例如，相機）和影像處理設備105B（例如，耦合到相機的計算設備）。在一些實現方式中，影像擷取設備105A和影像處理設備105B可例如經由一或多個電線、電纜或其他電連接器及/或經由一或多個無線收發器無線地耦合在一起。在一些實現方式中，影像擷取設備105A和影像處理設備105B可彼此斷開連接。

如圖1中所示，垂直虛線將圖1的影像擷取和處理系統100劃分為兩個部分，其分別表示影像擷取設備105A和影像處理設備105B。影像擷取設備105A包括鏡頭115、控制機構120和影像感測器130。影像處理設備105B包括影像處理器150（包括ISP 154和主機處理器152）、RAM 140、ROM 145和I/O 160。在一些情況下，在影像擷取設備105A中示出的某些部件（如ISP 154及/或主機處理器152）可被包括在影像擷取設備105A中。

影像擷取和處理系統100可包括電子設備，如行動或靜止電話手機（例如，智慧型電話、蜂巢式電話等等）、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視、相機、顯示裝置、數位媒體播放機、視訊遊戲控制台、視訊串流設備、網際網路協定（IP）相機，或任何其他合適的電子設備。在一些實例中，影像擷取和處理系統100可包括用於無線通訊的一或多個無線收發器，諸如蜂巢網路通訊、1102.11 wi-fi通訊、無線區域網路（WLAN）通訊或其某一組合。在一些實現方式中，影像擷取設備105A和影像處理設備105B可是不同的設備。例如，影像擷取設備105A可包括相機設備，且影像處理設備105B可包括計算設備，如行動手機、桌上型電腦或其他計算設備。

儘管影像擷取和處理系統100被示為包括某些部件，但是一般技藝人士將理解影像擷取和處理系統100可包括比圖1中所示的部件更多的部件。影像擷取和處理系統100的部件可包括軟體、硬體或者軟體和硬體的一或多個組合。例如，在一些實現方式中，影像擷取和處理系統100的部件可包括電子電路或其他電子硬體（其可包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他適當的電子電路）及/或可使用電子電路或其他電子硬體來實現，及/或者可包括電腦軟體、韌體或其任何組合及/或可使用電腦軟體、韌體或其任何組合來實現，以執行本文描述的各種操作。軟體及/或韌體可包括儲存在電腦可讀取儲存媒體上且可由實現影像擷取和處理系統100的電子設備的一或多個處理器執行的一或多個指令。

圖2是圖示執行協調增強感測程序的協調增強感測系統200的示例架構的方塊圖。協調增強感測系統200和相應的成像程序可用於交通工具管理、自主交通工具控制、車到車（V2V）通訊系統、車到基礎設施（V2I）通訊系統、車到網路（V2N）通訊系統、車到行人（V2P）通訊系統、車到萬物（V2X）通訊系統、蜂巢通訊網路系統、5G網路通訊系統、多存取邊緣計算（MEC）系統，或其組合。

協調增強感測系統200包括一或多個資料來源202、一或多個交通管理控制器（TMC）204、一或多個伺服器206及一或多個接收方設備208。資料來源202、TMC 204、伺服器206和接收方設備208之每一者可包括至少一個計算系統1100。資料來源202、TMC 204、伺服器206和接收方設備208之每一者可包括例如一或多個交通工具、交通工具電腦、交通工具控制器、膝上型電腦、電話、平板電腦、行動手機、視訊遊戲控制台、交通工具電腦、桌上型電腦、可穿戴設備、電視、媒體中心、XR系統、本文論述的其他類型的計算設備或其組合。在一些實例中，資料來源202包括TMC 204、伺服器206及/或接收方設備208中所示的部件中的一或多個。

在一些實例中，TMC 204包括資料來源202、伺服器206及/或接收方設備208中所示的部件中的一或多個。在一些實例中，伺服器206包括資料來源202、TMC 204及/或接收方設備208中所示的部件中的一或多個。在一些實例中，接收方設備208包括資料來源202、TMC 204及/或伺服器206中所示的部件中的一或多個。

資料來源202、TMC 204、伺服器206和接收方設備208之每一者可包括一或多個處理器1110。例如，資料來源202包括處理器210，TMC 204包括處理器216，伺服器206包括處理器224，且接收方設備208包括處理器236。處理器210、處理器216、處理器224和處理器236之每一者包括一或多個處理器1110。

資料來源202、TMC 204、伺服器206和接收方設備208之每一者可包括一或多個通訊介面1140。例如，資料來源202包括收發器214，TMC 204包括收發器220，伺服器206包括收發器226，且接收方設備208包括收發器240。收發器214、收發器220、收發器226和收發器240之每一者包括一或多個通訊介面1140。收發器214、收發器220、收發器226和收發器240之每一者可包括一或多個有線接收器、發送器及/或收發器，例如，使用諸如以下各項的介面的接收器、發送器及/或收發器：通用序列匯流排（USB）、Apple® Lightning®、乙太網路、區域網路（LAN）連接、通用輸入/輸出（GPIO）引腳、音訊插孔、輔助插孔、本文描述的其他有線介面（例如，關於通訊介面1140或以其他方式描述的有線介面）或其組合。收發器214、收發器220、收發器226和收發器240之每一者可包括一或多個無線接收器、發送器及/或收發器，例如，使用諸如以下各項的介面的接收器、發送器及/或收發器：Wi-Fi、無線區域網路（WLAN）、蜂巢網路、MEC網路、5G網路、藍芽®、個人區域網路（PAN）、近場通訊（NFC）、射頻辨識（RFID）、紅外線、可見光通訊（VLC）、本文描述的其他無線通訊介面（例如，關於通訊介面1140或以其他方式描述的無線通訊介面）或其組合。

資料來源202、TMC 204和接收方設備208之每一者可包括一或多個感測器。例如，資料來源202包括感測器212，TMC 204包括感測器218，且接收方設備208包括感測器238。在一些實例中，伺服器206亦包括一或多個感測器。感測器212、感測器218和感測器238之每一者可包括一或多個相機、影像感測器、麥克風、心率監測器、血氧計、生物量測感測器、定位接收器、全球導航衛星系統（GNSS）接收器、慣性量測單元（IMU）、加速度計、陀螺儀、陀螺量測儀、氣壓計、溫度計、高度計、深度感測器、光偵測和測距（LIDAR）感測器、無線電偵測和測距（RADAR）感測器、聲音偵測和測距（SODAR）感測器、聲音導航和測距（SONAR）感測器、飛行時間（ToF）感測器、結構光感測器、超聲感測器、測距儀、深度感測器、本文論述的其他感測器、輸入設備1145、通訊介面1140，或其組合。術語深度感測器可指LIDAR感測器、RADAR感測器、SODAR感測器、SONAR感測器、ToF感測器、結構光感測器、超聲感測器、測距儀或其組合。在一些情況下，深度感測器可被稱為範圍感測器或距離感測器。在一些態樣中，感測器中的一或多個可用於補充或完善來自其他感測器的感測器讀數。例如，可使用慣性量測單元（IMU）、加速度計、陀螺儀或其他感測器（例如，由物件追蹤引擎228及/或資料融合引擎230使用）來使用來自其他感測器的資料完善物件偵測、物件辨識、物件追蹤及/或感測器資料融合。

資料來源202使用感測器212擷取感測器資料。在一些實例中，不同資料來源202的感測器212可擷取包括環境的不同部分的表示的感測器資料。在一些實例中，不同資料來源202的感測器212可擷取包括來自不同視角的環境表示的感測器資料。例如，視角及/或部分可基於資料來源202及/或資料來源202的感測器212的姿勢-位置（例如，3D座標）及/或方位（例如，俯仰、偏航及/或翻滾）。資料來源202的實例包括具有感測器212的交通工具、具有感測器212的路側單元（RSU）、具有感測器212的網路基礎設施、具有感測器212的交通基礎設施、具有感測器212的建築物、蜂巢網路中具有感測器212的邊緣節點、蜂巢網路中具有感測器212的使用者設備（UE），或其組合。在一些實例中，環境可包括資料來源202、TMC 204、伺服器206、接收方設備208或其組合。

資料來源202可使用處理器210來處理由感測器212擷取的感測器資料。資料來源202可使用處理器210來致動感測器212的電機及/或部件，以將感測器212指向（例如，將感測器212指向及/或將感測器212對焦在）表示環境的特定部分的環境擷取感測器資料的特定部分。例如，若環境包括感興趣的特定接收方設備208（例如，感興趣的交通工具），則資料來源202可使用處理器210將感測器212指向包括感興趣的接收方設備208（例如，感興趣的交通工具）的環境的一部分及/或指向感興趣的接收方設備208（例如，感興趣的交通工具）前方的環境的一部分，例如，基於感興趣的接收方設備208（例如，感興趣的交通工具）的方向、速度及/或計畫移動。

在一些情況下，在使用處理器210處理感測器資料之後，資料來源202可使用收發器214將由感測器212擷取的感測器資料發送到伺服器206。收發器214可經由有線連接、無線連接或其組合將感測器資料從資料來源202發送到伺服器206。

交通管理控制器（TMC）204亦可包括感測器218。TMC 204的感測器218可包括關於感測器212描述的感測器類型中的任一種或其組合。TMC 204可使用感測器218來擷取感測器資料類型中的任一種，如關於由資料來源202使用感測器212擷取的感測器資料所描述的。TMC 204可包括處理器216，其可處理來自感測器218的感測器資料，如關於處理器210和感測器212所描述的。TMC 204可使用處理器216來指引感測器218，如關於處理器210和感測器212所描述的。

TMC 204亦包括交通控制引擎222。交通控制引擎222可接收、擷取及/或產生交通資料。TMC 222可包括用於各種交通管理應用的設備，如用於控制十字路口交通的交通燈、用於收取通行費的電子收費設備、電子限速顯示標誌、用於監測整個城市交通的城市監控設備、用於監測特定道路上的交通的道路監控設備、用於辨識個別交通工具的車牌辨識設備、乘客上下公共交通工具的公共交通站點、路側單元（RSU）或其組合。在一些實例中，TMC 204的交通控制引擎222可接收、擷取及/或產生交通資料，該交通資料例如使用TMC 204的交通燈來控制何時允許及/或不允許（例如，禁止）路上行駛的車輛（traffic）穿過特定的一段道路（如十字路口）。交通資料可例如動態地指示一或多個交通燈的定時，以便針對沿著城市主幹道行進的交通工具來最小化停車燈，以確保行人有足夠的時間步行穿過十字路口、確保交通工具可安全地轉向，或其組合。在一些實例中，交通資料可動態地改變電子限速顯示標誌上的限速，例如，在當天開學或放學時降低限速以提高學校周圍的安全性，在高峰交通期（例如，高峰時間）期間提高限速以緩解交通等等。在一些實例中，交通資料可動態地改變通行費，例如增加通行費以在此類道路經歷繁忙交通時阻止使用某些道路，或者減少通行費以在此類道路經歷輕度交通時鼓勵使用某些道路。在一些實例中，交通資料可監測在給定的過去或現在時間內，地區（例如，城市）的哪些道路及/或區域具有繁忙交通或寬裕交通。在一些實例中，交通資料可預測在給定的未來時間內，地區（例如，城市）的哪些道路及/或區域具有繁忙交通或寬裕交通。在一些實例中，來自交通控制引擎222的交通資料可偵測、監測及/或追蹤環境內的特定交通工具（例如，其可是接收方設備208中的一個）的屬性（例如，位置、速度、移動方向、加速度、減速度）。

在一些情況下，在使用處理器216處理感測器資料及/或將感測器資料與交通資料組合之後，TMC 204可使用收發器220將由感測器218擷取的感測器資料發送到伺服器206。在一些情況下，在使用處理器216處理交通資料及/或將交通資料與感測器資料組合之後，TMC 204可使用收發器220將由交通控制引擎222擷取及/或產生的交通資料發送到伺服器206。收發器220可經由有線連接、無線連接或其組合將感測器資料及/或交通資料從TMC 204發送到伺服器206。收發器220可包括關於收發器214所論述的部件，及/或可如關於收發器214所論述的一般起作用。

接收方設備208可包括例如交通工具、UE、邊緣節點、行動手機、可穿戴設備、頭戴式顯示器（HMD）設備（例如，用於增強現實（AR）、虛擬實境（VR）、混合現實（MR）及/或擴展現實（XR））、任何其他類型的計算系統1100，或其組合。接收方設備208可與交通工具、行人、騎自行車的人、基礎設施或其組合相關聯。在一些實例中，接收方設備208中的一或多個亦可是資料來源202中的一個。接收方設備208可包括感測器238。接收方設備208的感測器238可包括關於感測器212及/或感測器218描述的感測器類型中的任一種或其組合。接收方設備208可使用感測器238擷取感測器資料類型中的任一種，如關於使用感測器212及/或感測器218擷取感測器資料所描述的。接收方設備208可包括處理器236，其可處理來自感測器238的感測器資料，如關於處理器210和感測器212及/或者處理器216和感測器218所描述的。接收方設備208可使用處理器236來指引感測器238，如關於處理器210和感測器212及/或者處理器216和感測器218所描述的。

在一些情況下，在使用處理器236處理感測器資料及/或將感測器資料與交通資料組合之後，接收方設備208可使用收發器240將由感測器238擷取的感測器資料發送到伺服器206。收發器240可經由有線連接、無線連接或其組合將感測器資料從接收方設備208發送到伺服器206。收發器240可包括關於收發器214及/或收發器220所論述的部件，及/或可如關於收發器214及/或收發器220所論述的一般起作用。

伺服器206的實例包括一或多個MEC系統、基地台、存取節點、電信節點、節點B、增強型節點B（eNodeB）、下一代節點B（gNodeB）、基地台收發器（BTS）、無線電網路控制器（RNC）、基地台控制器（BSC）、任何類型的伺服器、任何類型的計算系統1100，或其組合。

伺服器206包括物件追蹤引擎228，其可從輸入資料中提取特徵，偵測輸入資料中的物件，辨識輸入資料中的物件及/或追蹤輸入資料中的物件。輸入資料可包括感測器資料（例如，由感測器212擷取的感測器資料、由感測器218擷取的感測器資料、由感測器238擷取的感測器資料）、交通資料（例如，由交通控制引擎222擷取、接收及/或產生）、處理資料（例如，關於由處理器210、處理器216、處理器224及/或處理器236執行的其他輸入資料的處理），或其組合。伺服器206可包括一或多個訓練的機器學習（ML）模型232。在一些實例中，物件追蹤引擎228將輸入資料登錄訓練的ML模型232以基於輸入資料執行特徵提取、特徵偵測、特徵辨識、特徵追蹤、物件偵測、物件辨識、物件追蹤、面部偵測、臉孔辨識、面部追蹤、人偵測、人辨識、人追蹤、交通工具偵測、交通工具辨識、交通工具追蹤、設備偵測、設備辨識、設備追蹤或其組合。可使用訓練資料來訓練（例如，由伺服器206訓練）物件追蹤引擎228所使用的訓練的ML模型232，該訓練資料包括與關於輸入資料所描述的相同類型的資料，該輸入資料具有對預先辨識的特徵、物件、人、面孔、交通工具、設備及/或其他可偵測、可辨識及/或可追蹤內容的指示。在一些實例中，物件追蹤引擎228亦可輸出關於輸入資料中的物件的偵測、辨識及/或追蹤的置信度。在一些實例中，若置信度低於（及/或不超過）預定置信度臨限值，則物件追蹤引擎228丟棄對輸入資料中的物件的偵測、辨識及/或追蹤。在一些實例中，物件追蹤引擎228可基於感測器資料（例如，由影像感測器擷取的影像資料及/或由深度感測器擷取的深度資料）執行物件偵測、偵測、辨識及/或追蹤）。在一些實例中，物件追蹤引擎228可基於交通資料（例如，來自交通控制引擎222的交通資料）執行物件偵測、偵測、辨識及/或追蹤。在一些實例中，物件追蹤引擎228可基於從接收方設備208的收發器240接收到的資料（例如，定位接收器資料及/或接收方設備208的IMU資料（若該接收方設備208是正被追蹤的物件））來執行物件偵測、偵測、辨識及/或追蹤。在一些實例中，物件追蹤引擎228可基於感測器資料和交通資料的組合來執行物件偵測、偵測、辨識及/或追蹤。

在一些實例中，物件追蹤引擎228可辨識諸如交通工具的物件的位置。在一些實例中，物件追蹤引擎228可辨識諸如交通工具的物件的移動的各種屬性。例如，物件追蹤引擎228可辨識物件的移動方向、物件的移動速度、物件的加速度、物件的減速度、物件是否在轉動、物件轉動的程度（例如，轉向角度及/或轉向半徑），或其組合。在一些實例中，物件追蹤引擎228可辨識物件的一次或多次計畫移動。例如，若物件是交通工具，則物件追蹤引擎228可偵測和追蹤指示燈的照明以決定計劃移動。例如，物件追蹤引擎228可偵測和追蹤交通工具的轉向指示燈的照明，從而指示計畫移動——亦即，交通工具計畫在指示的方向上轉向、併入/改變到不同的車道、靠邊停車及/或停車。物件追蹤引擎228可偵測和追蹤交通工具的刹車燈的照明，從而指示計畫移動——亦即，交通工具正在減速且可能計畫繼續減速。物件追蹤引擎228可偵測和追蹤交通工具的危險燈的照明，從而指示計畫移動—亦即，交通工具正在計畫減速、緩慢行進及/或停止。在一些實例中，物件追蹤引擎228可基於從交通工具自身接收到的資料（例如，從接收方設備208的收發器240接收到的資料）來偵測和追蹤交通工具的計畫移動。例如，若交通工具是自主的或包括某些自主或半自主特徵，則交通工具可具有計劃路線（或其一部分），交通工具可將該計畫路線發送到伺服器206，且物件追蹤引擎228可使用該計畫路線來決定交通工具的計畫移動。交通工具的計畫移動可被物件追蹤引擎228用於更好地預測交通工具在給定的未來時間將在哪個位置，且因此基於此更好地追蹤經由環境的交通工具。

伺服器206包括資料融合引擎230。資料融合引擎230可將不同的輸入資料集合並及/或融合在一起以產生由合併的及/或融合的資料組成的輸出資料集。輸入資料集可包括例如由資料來源202的感測器212擷取的感測器資料、由TMC 204的感測器218擷取的感測器資料、來自交通控制引擎222的交通資料、由接收方設備208的感測器238擷取的感測器資料、來自處理器210的處理後的輸入資料、來自處理器216的處理後的輸入資料、來自處理器224的處理後的輸入資料、來自處理器236的處理後的輸入資料、來自物件追蹤引擎228的物件偵測資料、來自物件追蹤引擎228的物件辨識資料及/或來自物件追蹤引擎228的物件追蹤資料。在一些實例中，資料融合引擎230可使用伺服器206的訓練的ML模型232將不同的輸入資料集合並及/或融合到輸出資料集中，例如經由提供輸入資料集作為對訓練的ML模型232的輸入。可使用訓練資料來訓練（例如，由伺服器206訓練）物件追蹤引擎228所使用的訓練的ML模型232，該訓練資料包括與關於輸入資料集所描述的相同類型的資料及該等資料的預先合併或預先融合的組合（例如，對於訓練資料中的彼等輸入，輸出資料應該看起來是什麼樣的實例）。在一些實例中，資料融合引擎230可輸出關於合併及/或融合輸入資料以形成輸出資料的置信度。在一些實例中，若置信度低於（及/或不超過）預定置信度臨限值，則資料融合引擎230丟棄輸出資料的部分。

在一些實例中，資料融合引擎230可將來自相同感測器形態的不同感測器的感測器資料集合並及/或融合在一起以產生輸出資料，例如將深度資料組合在一起（例如，將點雲合併在一起）及/或將影像組合在一起（例如，將影像拼接成全景圖）。在一些實例中，資料融合引擎230可將來自不同感測器形態的不同感測器的感測器資料集合並及/或融合在一起以產生輸出資料，例如將影像資料與深度資料組合在一起以從對應於影像資料中的相應圖元的深度資料來辨識三維定位資訊及/或者決定對應於深度資料中的各個點或簇（例如，點的簇）或多邊形（例如，由點構成的多邊形）的影像資料的圖元。

資料融合引擎230產生的輸出資料可包括可為接收方設備280定製、個性化及/或特製的環境的增強表示。在一些實例中，資料融合引擎230可經由選擇環境的一部分以對焦輸出資料來產生環境的增強表示，例如，經由丟棄未落入環境的所選部分內的資料。在一些實例中，資料融合引擎230可基於來自物件追蹤引擎228的物件偵測資料、來自物件追蹤引擎228的物件辨識資料及/或來自物件追蹤引擎228的物件追蹤資料來選擇環境的一部分以對焦輸出資料。在一些實例中，資料融合引擎230可基於從接收方設備208接收到的資料來選擇環境的一部分以對焦輸出資料。例如，若接收方設備208的交通工具正被追蹤，則伺服器206可基於從接收方設備208接收到的定位接收器資料來辨識交通工具的位置，可使用物件追蹤引擎228偵測及/或辨識及/或追蹤感測器資料及/或交通資料內的交通工具，且可選擇環境的一部分以對焦輸出資料，從而包括交通工具、包括交通工具可能所處的該交通工具前方的區域（例如，基於交通工具的方向、交通工具的速度、交通工具的任何計畫移動等等）。交通工具前方的區域可包括決定（例如，由物件追蹤引擎228決定）交通工具在其中移動的方向上的該交通工具前方的區域。交通工具前方的區域的大小可基於決定交通工具所移動的速度（例如，由物件追蹤引擎228決定），例如，較高的速度對應於較大的尺寸（例如，由於交通工具將在給定的時間量期間以較高的速度穿過較大的距離）且較低的速度對應於較小的尺寸（例如，由於交通工具將在給定的時間量期間以較低的速度穿過較小的距離）。交通工具前方的區域可包括基於交通工具的一或多個計畫移動（例如，交通工具基於其轉向指示燈來朝其轉向或朝其改變或併入車道的方向）來決定（例如，由物件追蹤引擎228決定）該交通工具正在朝其移動的區域。因此，可經由包括被選擇為與接收方設備280（例如，上述交通工具）中的特定一個相關的環境的所選部分的增強表示來為接收方設備208定製、個性化及/或特製輸出資料中的環境的增強表示。

在一些實例中，伺服器206可包括警報引擎244，該警報引擎244分析來自物件追蹤引擎228的物件追蹤資料、由資料融合引擎230產生的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或輸入到伺服器206的任何輸入資料（例如，來自資料來源202、TMC 204及/或接收方設備208）以辨識潛在問題從而向接收方設備208發出警報。例如，如圖3中所示，警報引擎244可分析交通工具310的計畫移動將導致與交通工具320的即將發生的碰撞，該即將發生的碰撞從交通工具310的視角難以（或者甚至不可能）感測到（例如，看到或以其他方式偵測到），且可產生警報345以提醒交通工具310。在一些情況下，警報引擎244甚至可修改對接收方設備208的環境的增強表示，例如，以將類似於警報345的警報（或者碰撞或其他問題的其他指示，諸如指示環境中的物件的路徑的路線）併入對接收方設備208的環境的增強表示中。

在一些實例中，警報引擎244可使用訓練的ML模型232來進行該分析及/或產生該警報資料。例如，警報引擎244可提供來自物件追蹤引擎228的物件追蹤資料、由資料融合引擎230產生的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或輸入到伺服器206的任何輸入資料（例如，來自資料來源202、TMC 204及/或接收方設備208）作為對訓練的ML模型232的輸入。警報引擎244可訓練該訓練的ML模型232以用於經由提供該等相同類型的訓練資料及從剩餘訓練資料中預先辨識的問題的指示符（例如，潛在碰撞、危險動作、道路危險、其他類型的交通工具事故）來產生警報資料。在一些實例中，警報引擎244輸出關於警報資料及/或辨識警報資料的分析的置信度。在一些實例中，若置信度低於（及/或不超過）預定置信度臨限值，則警報引擎244丟棄警報資料的部分。警報引擎244、資料融合引擎230及/或物件追蹤引擎228可各自具有不同的預定置信度臨限值，或者在一些情況下可共用預定置信度臨限值。在一些實例中，伺服器206可基於相應的置信度對輸出資料進行排序及/或分配不同的權重。在一些實例中，置信度可基於輸入資料的品質，如來自影像感測器的影像資料的解析度、來自影像感測器的影像資料的模糊或清晰度、來自影像感測器的影像資料的顏色範圍等。

在一些情況下，在處理物件追蹤資料及/或者將該物件追蹤資料與資料融合引擎230產生的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或警報引擎244產生的警報資料組合（例如，使用處理器224）之後，伺服器206可使用收發器226將物件追蹤引擎228產生的物件追蹤資料發送到接收方設備208。在一些情況下，在處理輸出資料及/或者將該輸出資料與物件追蹤資料及/或警報引擎244產生的警報資料組合（例如，使用處理器224）之後，伺服器206可使用收發器226將資料融合引擎230產生的輸出資料（例如，包括對接收方設備208的環境的增強表示）發送到接收方設備208。在一些情況下，在處理警報資料及/或者將該警報資料與物件追蹤資料及/或資料融合引擎230產生的輸出資料（例如，包括對接收方設備208的環境的增強表示）組合（例如，使用處理器224）之後，伺服器206可使用收發器226將警報引擎244產生的警報資料發送到接收方設備208。收發器226可經由有線連接、無線連接或其組合來向接收方設備208發送來自物件追蹤引擎228的物件追蹤資料及/或來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。收發器226可包括關於收發器214、收發器220及/或收發器240論述的部件，及/或可如關於收發器214、收發器220及/或收發器240所論述的一般起作用。

接收方設備208可使用收發器240接收資料，例如，從伺服器206接收資料。由接收方設備208的收發器240接收的資料可例如包括來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。接收方設備208包括輸出設備242，該輸出設備242可輸出由接收方設備208使用收發器240接收的資料，例如，經由可視地顯示資料（例如，使用顯示器），經由可聽地播放資料（例如，使用揚聲器或耳機），經由提供觸覺回饋（例如，使用觸覺回饋致動器），或其組合。

輸出設備242可包括一或多個視覺輸出設備，諸如顯示器或其連接器。輸出設備242可包括一或多個音訊輸出設備，如揚聲器、耳機及/或其連接器。輸出設備242可包括計算系統1100的輸出設備1135及/或通訊介面1140中的一或多個。接收方設備208使輸出設備242的顯示器顯示來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。

在一些實例中，接收方設備208的輸出設備242的顯示器用作光學「透視」顯示器，其允許來自輸出設備242周圍的現實世界環境（場景）的光穿過（例如，經由）輸出設備242的顯示器到達使用者的一隻或兩隻眼睛。例如，輸出設備242的顯示器可是至少部分透明的、半透明的、通光的、透光的，或其組合。在說明性實例中，輸出設備242的顯示器包括透明、半透明及/或透光鏡片和投影儀。輸出設備242的顯示器可包括將虛擬內容投影到鏡頭上的投影儀。鏡片可是例如一副眼鏡的鏡片、護目鏡的鏡片、隱形眼鏡、頭戴式顯示（HMD）設備的鏡片或其組合。來自現實世界環境的光經由鏡片並到達使用者的一隻或兩隻眼睛。投影儀可將虛擬內容投射到鏡頭上，使得虛擬內容從使用者的一隻或兩隻眼睛的視角來看似乎覆蓋在使用者的環境視圖上。在一些實例中，投影儀可將虛擬內容投射到使用者的一隻或兩隻眼睛的一個或兩個視網膜上，而不是投射到鏡片上，此可被稱為虛擬視網膜顯示器（VRD）、視網膜掃瞄顯示器（RSD）或視網膜投影儀（RP）顯示器。虛擬內容可包括例如來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或警報引擎244產生的警報資料。

在一些實例中，接收方設備208的輸出設備242的顯示器是數位「透視」顯示器，其經由在輸出設備242的顯示器上顯示環境視圖來允許協調增強感測系統200的使用者查看環境視圖。在數位透視顯示器上顯示的環境視圖可是輸出設備242周圍的現實世界環境的視圖，例如，基於由感測器238的一或多個面向環境的感測器擷取的感測器資料（例如，影像、視訊、深度影像、點雲、其他深度資料或其組合）。在數位透視顯示器上顯示的環境視圖可是虛擬環境（例如，如在VR中），在一些情況下，其可能包括基於現實世界環境（例如，房間的邊界）的元素。在數位透視顯示器上顯示的環境視圖可是基於現實世界環境的增強環境（例如，如在AR中）。在數位透視顯示器上顯示的環境視圖可是基於現實世界環境的混合環境（例如，如在MR中）。在數位透視顯示器上顯示的環境視圖可包括覆蓋在以其他方式併入環境視圖中的其他內容之上的虛擬內容。虛擬內容可包括例如來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。

訓練的ML模型232可包括一或多個神經網路（NN）（例如，神經網路900）、一或多個迴旋神經網路（CNN）、一或多個訓練的時間延遲神經網路（TDNN）、一或多個深度網路、一或多個自編碼器、一或多個深度信念網路（DBN）、一或多個遞迴神經網路（RNN）、一或多個產生對抗網路（GAN）、一或多個條件產生對抗網路（cGAN）、一或多個其他類型的神經網路、一或多個訓練的支援向量機（SVM）、一或多個訓練的隨機森林（RF）、一或多個電腦視覺系統、一或多個深度學習系統，或其組合。

在一些實例中，協調增強感測系統200包括回饋引擎234。回饋引擎234被示為伺服器206的一部分，但可此外或替代地是資料來源202、TMC 204、接收方設備208或另一個設備的一部分。回饋引擎234可偵測從協調增強感測系統200的設備中的任一個的使用者介面接收到的回饋。回饋可包括對來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料的回饋。

回饋引擎234可偵測從協調增強感測系統200的另一個引擎接收到的關於協調增強感測系統200的一個引擎的回饋，例如，一個引擎是否決定使用來自另一引擎的資料。例如，回饋引擎234可偵測警報引擎244是否決定使用來自資料融合引擎230及/或物件追蹤引擎228的資料、資料融合引擎230是否決定使用來自物件追蹤引擎228的資料等等。由回饋引擎234接收到的回饋可是正回饋或負反饋。例如，若協調增強感測系統200的一個引擎使用來自協調增強感測系統200的另一個引擎的資料，或者若經由使用者介面接收到來自使用者的正回饋，則回饋引擎234可將此解釋為正回饋。若協調增強感測系統200的一個引擎拒絕來自協調增強感測系統200的另一個引擎的資料，或者若經由使用者介面接收到來自使用者的負反饋，則回饋引擎234可將此解釋為負反饋。正回饋亦可基於來自接收方設備208的感測器238的感測器資料的屬性，如使用者微笑、大笑、點頭、說肯定陳述（例如，「是」、「確認」、「好的」、「下一個」），或以其他方式對內容做出積極反應。負反饋亦可基於來自接收方設備208的感測器238的感測器資料的屬性，如使用者皺眉、哭泣、搖頭（例如，以「不」的動作）、說否定陳述（例如，「不」、「負」、「不好」、「不是該」），或以其他方式對內容做出消極反應。在一些實例中，回饋引擎234可將接收方設備208對發送到接收方設備208的輸出資料的反應辨識為正回饋。例如，若接收方設備208包括交通工具，則回饋引擎234可將交通工具對發送到接收方設備208的輸出資料的反應（例如，對當前路線及/或計畫路線的改變）偵測為正回饋。

在一些實例中，回饋引擎234向協調增強感測系統200的一或多個ML系統提供回饋作為訓練資料以更新協調增強感測系統200的一或多個訓練的ML模型232。例如，回饋引擎234可將回饋作為訓練資料提供給ML系統及/或訓練的ML模型232以更新針對物件追蹤引擎228、資料融合引擎230、警報引擎244，或其組合的訓練。正回饋可用於增強及/或加強與ML系統及/或訓練的ML模型232的輸出相關聯的權重。負反饋可用於削弱及/或去除與ML系統及/或訓練的ML模型232的輸出相關聯的權重。

在一些實例中，協調增強感測系統200的某些元件（例如，物件追蹤引擎228、資料融合引擎230、警報引擎244、回饋引擎234、訓練的ML模型232及/或交通控制引擎222）包括軟體元件，如對應於程式的指令集，該程式在諸如計算系統1100的處理器1110、影像處理器150、主機處理器152、ISP 154、處理器210、處理器216、處理器224、處理器236或其組合之類的處理器上執行。在一些實例中，協調增強感測系統200的該等元件包括一或多個硬體元件，如專用處理器（例如，計算系統1100的處理器1110、影像處理器150、主機處理器152、ISP 154、處理器210、處理器216、處理器224、處理器236或其組合）。在一些實例中，協調增強感測系統200的該等元件可包括一或多個軟體元件及一或多個硬體元件的組合。

在一些實例中，協調增強感測系統200的某些元件（例如，物件追蹤引擎228、資料融合引擎230、警報引擎244、回饋引擎234、訓練的ML模型232及/或交通控制引擎222）在與圖2中所示的彼等設備不同的設備上執行。例如，伺服器206的元件（例如，物件追蹤引擎228、資料融合引擎230、警報引擎244、回饋引擎234及/或訓練的ML模型232）可此外或替代地位於及/或執行在資料來源202、TMC 204、接收方設備208或其組合上。例如，在一些實例中，接收方設備208中的一個可基於接收方設備208中的一個從資料來源202及/或TMC 204及/或伺服器206接收的資料來產生其自身的對環境的增強表示。在一些實例中，接收方設備208中的第一個可基於接收方設備208中的第一個從資料來源202及/或TMC 204及/或伺服器206接收的資料來針對接收方設備208中的第二個產生環境的增強表示。在一些實例中，資料來源202中的一個可基於其自身的資料及/或其從其他資料來源202及/或TMC 204及/或伺服器206接收的資料來針對接收方設備208中的一個產生環境的增強表示。在一些實例中，TMC 204可基於其自身的資料及/或其從資料來源202及/或伺服器206接收的資料來針對接收方設備208中的一個產生環境的增強表示。

圖3是圖示在具有多個交通工具的道路環境中的協調增強感測的實例的俯視視圖300。圖3的俯視視圖300的道路環境中的交通工具包括交通工具310、交通工具320和交通工具330。交通工具310和交通工具330通常在第一方向上行駛，而交通工具320通常在與第一方向平行且相反的第二方向上行駛。道路環境包括其間具有虛線的兩條平行的單向車道，從而通常指示允許經由虛線。交通工具330包括耦合到（例如，安裝在）交通工具330的相機335，該相機335指向環境的感興趣區域350（該感興趣區域350包括交通工具320），使得相機335的視場（FOV）340包括環境的感興趣區域350（該感興趣區域350包括交通工具320）。交通工具330包括耦合到（例如，安裝在）交通工具330的相機337，該相機337指向環境的感興趣區域352（該感興趣區域353包括交通工具310），使得相機337的視場（FOV）342包括環境的感興趣區域352（該感興趣區域352包括交通工具310）。交通工具330可是資料來源202中的一個的實例。相機335和相機337可是交通工具330的感測器212的實例。

交通工具310在交通工具330後面。協調增強感測系統200（例如，伺服器206及/或物件追蹤引擎228）可例如基於從交通工具310自身接收到（例如，經由V2X通訊）的信號及/或基於在感興趣區域352中偵測到（例如，基於由相機337擷取的影像資料）交通工具310來偵測交通工具310。協調增強感測系統200（例如，伺服器206、物件追蹤引擎228及/或警報引擎244）可決定交通工具310的計畫路線315包括經由向左併入另一車道來嘗試經由交通工具330。協調增強感測系統200可基於以下項來決定上述內容：基於從交通工具310自身接收到（例如，經由V2X通訊）的指示或建議該計畫路線315的信號；基於偵測到交通工具310的閃爍的左指示燈（例如，基於由相機337擷取的影像資料）；基於偵測到交通工具310的向左移動（例如，基於由相機337擷取的影像資料）；或其組合。

協調增強感測系統200（例如，伺服器206及/或物件追蹤引擎228）可例如基於從交通工具320自身接收到（例如，經由V2X通訊）的信號及/或基於在感興趣區域350中偵測到交通工具320（例如，基於由相機335擷取的影像資料）來偵測交通工具320。協調增強感測系統200（例如，伺服器206、物件追蹤引擎228及/或警報引擎244）可決定交通工具320的計畫路線325包括在其車道中繼續向前。協調增強感測系統200可基於以下項來決定上述內容：基於從交通工具310自身接收到（例如，經由V2X通訊）的指示或建議該計畫路線315的信號；基於偵測到交通工具320的當前路線（例如，基於由相機335擷取的影像資料）和推斷該路徑繼續；基於偵測到在感興趣區域350中缺少交通工具320想要經由的障礙物或其他交通工具（例如，基於由相機335擷取的影像資料）；或其組合。

協調增強感測系統200（例如，伺服器206、物件追蹤引擎228、資料融合引擎230及/或警報引擎244）可經由向前延伸交通工具310的計畫路線315和交通工具320的計畫路線325來決定交通工具310的計畫路線315與交通工具320的計畫路線325可能會碰撞，即使來自相機335和來自相機337的感測器資料沒有覆蓋所有路側環境。假設交通工具310遵循計畫路線315且交通工具320遵循計畫路線325，交通工具310與交通工具320之間可能發生碰撞370的位置以虛線示出。協調增強感測系統200（例如，伺服器206、物件追蹤引擎228、資料融合引擎230及/或警報引擎244）可產生警報345並將警報345發送到交通工具310。警報345例如可指示計畫路線315可能導致可能發生的碰撞370。警報345可表示環境的增強表示，此是由於警報345通知交通工具310關於由於交通工具330的存在擋住交通工具310對交通工具320的視野而導致的從交通工具310的視角難以（或甚至不可能）偵測到的某事物（交通工具320、其計畫路線325及所導致的可能發生的碰撞370）。警報345可指示碰撞的風險，如可能發生的碰撞370。因為交通工具310正在接收警報345，因此交通工具310可是接收方設備208的實例。

圖3中將警報345示為包括交通工具320、交通工具310、交通工具330、計畫路線315、計畫路線325和可能發生的碰撞370的視覺表示。視覺表示可是使用資料融合引擎230及/或警報引擎244產生的，且可被包括作為警報345的一部分（例如，作為提供給交通工具310的環境的增強表示的一部分）。交通工具310可包括輸出設備242（如顯示器），其可顯示警報 345、播放關聯聲音（例如，警笛）、致動觸覺回饋致動器以提供觸覺回饋（例如，在方向盤上提供給交通工具310的駕駛員），或其組合。

在一些實例中，協調增強感測系統200的部分（例如，伺服器206、物件追蹤引擎228、資料融合引擎230及/或警報引擎244）可被容納在交通工具330、交通工具310、交通工具320及/或圖3中未繪出的其他設備（例如，遠端伺服器）中。例如，在說明性實例中，交通工具330可充當資料來源202中的一個及充當伺服器206中的一個，在此種情況下，交通工具330可為交通工具產生警報345，且向交通工具310發送警報345。

圖4是圖示無線通訊中涉及的設備的實例的俯視視圖400。無線通訊可包括例如側鏈路通訊、V2X通訊或其他設備到設備（D2D）通訊。該通訊可基於側鏈路時槽結構。例如，發送UE 402可發送傳輸414，例如，包括控制通道及/或對應的資料通道，該傳輸414可由接收UE 404、406、408使用其各自的接收器（例如，在圖4中被示為UE 404、406、408的天線）接收。至少一個UE可包括自主交通工具、無人機或另一種類型的交通工具。控制通道可包括用於解碼資料通道的資訊，且亦可由接收設備用於經由在資料傳輸期間避免在佔用的資源上進行發送來避免干擾。可在來自發送設備的控制訊息中指示傳輸時間間隔（TTI）的數量及將由資料傳輸佔用的資源區塊（RB）。除了作為接收設備操作之外，UE 402、404、406、408可各自能夠作為發送設備操作。因此，UE 406、408被示為發送傳輸416、420。傳輸414、416、420（和由RSU 407進行的傳輸418）可被廣播或多播到附近的設備。例如，UE 414可發送意欲由UE 414的範圍401內的其他UE接收的通訊。此外及/或替代地，RSU 407可從UE 402、404、406、408接收傳輸及/或向UE 402、404、406、408發送傳輸418。UE 402、404、406、408或RSU 407可包括偵測部件（例如，用於錯誤偵測及/或校正，如在混合自動重傳請求（HARQ）中）。在一些實例中，UE 402、404、406、408及/或RSU 407亦可接收基本安全訊息（BSM）。在一些實例中，UE 402、404、406、408及/或RSU 407亦可包括緩解元件。

在一些實例中，UE 402、UE 404、UE 406、UE 408及/或RSU 407可是資料來源202的實例。例如，傳輸414、傳輸416、傳輸418及/或傳輸420可包括由UE 402、UE 404、UE 406、UE 408及/或RSU 407的感測器212擷取的感測器資料。在一些實例中，RSU 407可是TMC 204的實例。例如，傳輸418可包括由RSU 407的感測器218擷取的感測器資料及/或來自RSU 407的交通控制引擎222的交通資料。在一些實例中，UE 402、UE 404、UE 406、UE 408及/或RSU 407可是伺服器206的實例。例如，傳輸414、傳輸416、傳輸418及/或傳輸420可包括來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。在一些實例中，UE 402、UE 404、UE 406、UE 408及/或RSU 407可是接收方設備208的實例，且因此可接收傳輸（例如，傳輸414、傳輸416、傳輸418及/或傳輸420）以使用輸出設備242輸出該傳輸。

圖5A是圖示用於基於非車到萬物（非V2X）交通工具的偵測的合作和自動駕駛系統的感測器共用的實例的俯視視圖500。在無線通訊中（如V2X通訊），V2X實體可執行與其他V2X實體的感測器共用，以用於合作和自動駕駛。例如，參考圖5A的俯視視圖500，主交通工具（HV）502可偵測其環境內的多個項目。例如，HV 502可在塊532偵測非V2X實體（NV）506的存在。若RV1 504及/或RSU 508本身不能夠偵測到NV 506，則HV 502可通知其他實體（如第一遠端交通工具（RV1）504或路側單元（RSU）508）關於NV 506的存在。HV 502通知RV1 504及/或RSU 508關於NV 506是感測器資訊的共用。

圖5B是圖示用於基於障礙物偵測的合作和自動駕駛系統的感測器共用的實例的俯視視圖510。參考圖5B的俯視視圖510，HV 502可偵測實體障礙物512，如坑窪、碎片，或者可能是HV 502及/或RV1 504路徑中尚未被RV1 504及/或RSU 508偵測到的障礙物的對象。HV 502可向RV1及/或RSU 508通知障礙物512，使得可避開障礙物512。

圖5C是圖示用於基於易受傷害道路使用者（VRU）偵測的合作和自動駕駛系統的感測器共用的實例的俯視視圖520。參考圖5C的俯視視圖520，HV 502可偵測易受傷害道路使用者（VRU）522的存在，且可在其中RSU 508及/或RV1 504可能不能夠偵測VRU 522的情況下與RV1 504和RSU 508共用對VRU 522的偵測。

圖5D是圖示用於基於感測器資料共用訊息（SDSM）534的傳輸的合作和自動駕駛系統的感測器共用的實例的泳道圖530。參考圖5D的泳道圖530，在偵測到附近的實體（例如，NV、VRU、障礙物）後，HV可向RV及/或RSU發送感測器資料共用訊息（SDSM）534以共用對實體的偵測。SDSM 534可是廣播訊息，使得HV附近的任何接收設備皆可接收該訊息。在一些情況下，共用的資訊可被中繼到其他實體，如RV。

在一些實例中，HV 502、RV1 504、NV 506、RSU 508、障礙物512及/或VRU 522可是資料來源202的實例。例如，SDSM 534可包括由HV 502、RV1 504、NV 506、RSU 508、障礙物512及/或VRU 522的感測器212擷取的感測器資料。在一些實例中，RSU 508可是TMC 204的實例。例如，SDSM 534可包括由RSU 508的感測器218擷取的感測器資料及/或來自RSU 508的交通控制引擎222的交通資料。在一些實例中，HV 502、RV1 504、NV 506、RSU 508、障礙物512及/或VRU 522可是伺服器206的實例。例如，SDSM 534可包括來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。在一些實例中，RV1 504及/或RSU 508可是接收方設備208的實例，且因此可接收可使用RV1 504及/或RSU 508的輸出設備242輸出的傳輸（例如，SDSM 534）。

圖6是圖示用於合作和自動駕駛系統的感測器共用的實例的概念圖600。參考圖6的概念圖600，HV 602可偵測NV 606及/或VRU 622的存在。HV 602可向RSU 608廣播SDSM 610以報告NV 606及/或VRU 622的偵測。RSU 608可將從HV 602接收到的SDSM 610中繼到遠端交通工具，使得遠端交通工具知道NV 606及/或VRU 622的存在。例如，RSU 608可向RV1 604發送SDSM 612，其中SDSM 612包括與NV 606及/或VRU 622的偵測相關的資訊。

在一些實例中，HV 602、RV1 604、NV 605、RSU 608及/或VRU 622可是資料來源202的實例。例如，SDSM 610及/或SDSM 612可包括由HV 602、RV1 604、NV 605、RSU 608及/或VRU 622的感測器212擷取的感測器資料。如關於圖5A至圖5D和圖6所示和論述的偵測（例如，對NV、RV、障礙物及/或VRU的偵測）所指示的，在一些情況下，物件追蹤引擎228或其部分可位於資料來源202中。在一些實例中，RSU 608可是TMC 204的實例。例如，SDSM 610及/或SDSM 612可包括由RSU 608的感測器218擷取的感測器資料及/或來自RSU 608的交通控制引擎222的交通資料。在一些實例中，HV 602、RV1 604、NV 605、RSU 608及/或VRU 622可是伺服器206的實例。例如，SDSM 610及/或SDSM 612可包括來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）及/或由警報引擎244產生的警報資料。在一些實例中，RV1 604及/或RSU 608可是接收方設備208的實例，且因此可接收可使用RV1 604及/或RSU 608的輸出設備242輸出的傳輸（例如，SDSM 610及/或SDSM 612）。

圖7是圖示在具有多個交通工具的道路環境中的協調增強感測的實例的俯視視圖700。羅盤790在圖7的道路環境中提供方向。MEC 740被示為圖7的道路環境的一部分。MEC 740可是伺服器206的實例。圖7的道路環境亦包括eNodeB或gNodeB 745、RSU 750、建築物上的相機760和TMC 755。RSU 750和相機760可表示資料來源202及/或其感測器212的實例。使用箭頭將RSU 750和相機760示為向MEC 740發送資料（例如，感測器資料）。從相機760延伸的虛線表示相機760的感測器212（例如，影像感測器）的視場。

圖7的道路環境中的交通工具包括向東駛向十字路口的交通工具705、向南駛向同一十字路口的交通工具710、向西駛向同一十字路口的交通工具715、向東駛向同一十字路口的交通工具720（卡車）及向南駛向同一十字路口的交通工具725（卡車）。該等交通工具（交通工具705、交通工具710、交通工具715、交通工具720及/或交通工具725）之每一者皆可是資料來源202中的一個及/或接收方設備208中的一個的實例，如將交通工具之每一者連接到MEC 740的雙向箭頭所示。從交通工具之每一者的相應前方呈對角延伸的虛線分別表示交通工具之每一者的感測器212（例如，影像感測器及/或深度感測器）的視場。

在十字路口處圖示TMC 755。TMC 755是TMC 204的實例，且包括交通燈（例如，TMC 755的交通控制引擎222的一部分）和相機（例如，TMC 755的感測器218中的一個）。TMC 755周圍的虛線圓圈表示TMC 755的相機的視場。RSU 750和TMC 755通訊地耦合，其中TMC 755將資料發送到RSU 750及/或經由RSU 750發送到MEC 740。RSU 750及/或TMC 755可是TMC 204的實例，且可向MEC 740發送資料（例如，感測器資料及/或交通資料）。eNodeB或gNodeB 745可用於在節點（例如，交通工具、RSU 750、TMC 755及/或相機760）與MEC 740之間傳送資料。eNodeB或gNodeB 745可表示伺服器206、資料來源202（例如，作為基於蜂巢信號的定位系統的一部分）、接收方設備208（例如，將資訊傳送到其他接收方設備208）或其組合的一部分。

圖8是圖示在向不同交通工具提供不同的增強視野的道路環境中的協調增強感測的實例的俯視視圖800。羅盤890在圖8的道路環境中提供方向。MEC 840被示為圖8的道路環境的一部分。MEC 840可是伺服器206的實例。圖8的道路環境亦包括eNodeB或gNodeB 845、RSU 850、建築物上的相機860和TMC 855。RSU 850和相機860可表示資料來源202及/或其感測器212的實例。使用箭頭將RSU 850和相機860示為向MEC 840發送資料（例如，感測器資料）。從相機860延伸的虛線表示相機860的感測器212（例如，影像感測器）的視場。

圖8的道路環境中的交通工具包括向南駛向十字路口的交通工具805、向西駛向同一十字路口的交通工具810、向西駛向同一十字路口的交通工具820、向西駛向同一十字路口的交通工具830（卡車）及向西駛向同一十字路口的交通工具835（卡車）。該等交通工具（交通工具805、交通工具810、交通工具820、交通工具830及/或交通工具835）之每一者皆可是資料來源202中的一個及/或接收方設備208中的一個的實例，如將交通工具之每一者連接到MEC 840的雙向箭頭所示。從交通工具之每一者的相應前方呈對角延伸的虛線分別表示交通工具之每一者的感測器212（例如，影像感測器及/或深度感測器）的視場。

從交通工具810延伸的虛線箭頭表示交通工具810的計畫路線815。交通工具810的計畫路線815指示交通工具810計畫在十字路口右轉。從交通工具820延伸的虛線箭頭表示交通工具820的計畫路線825。交通工具820的計畫路線825指示交通工具820計畫在十字路口左轉。MEC 840可基於來自交通工具310及/或交通工具320的通訊（例如，V2X通訊）、基於對諸如由交通工具310及/或交通工具320使用的轉向信號之類的指示信號（例如，來自相機860及/或其他相機的視野）的偵測或其組合來決定該等計畫移動。

回應於決定計劃移動（例如，交通工具810的計畫路線815及/或交通工具820的計畫路線825），MEC 840產生交通工具810的環境870的增強表示及將交通工具810的環境870的增強表示發送到交通工具810。MEC 840產生交通工具820的環境875的增強表示及將交通工具820的環境875的增強表示發送到交通工具820。因為交通工具810和交通工具820的類似地定位且兩者皆在相同的方向（向西）沿著相同的道路朝同一十字路口行駛，因此交通工具810的環境870的增強表示和交通工具820的環境875的增強表示是相似的，且各自包括在上述方向（向西）中的相應交通工具前方的環境（包括道路）的相應區域的表示，包括十字路口的至少一部分。然而，由於交通工具810和交通工具820的計畫移動不同，即交通工具810計畫右轉（向北）而交通工具820計畫左轉（向南），因此交通工具810的環境870的增強表示和交通工具820的環境875的增強表示是不同的。例如，交通工具810的環境870的增強表示包括更北（交通工具310轉向的方向）的環境的區域且包括十字路口以北的街道的部分，而交通工具820的環境875的增強表示包括更南（交通工具320轉向的方向）的環境的區域且包括十字路口以南的街道的部分。

在十字路口處圖示TMC 855。TMC 855是TMC 204的實例，且包括停車標誌（例如，TMC 855的交通控制引擎222的一部分）和相機（例如，TMC 855的感測器218中的一個）。TMC 855周圍的虛線圓圈表示TMC 855的相機的視場。TMC 855的相機的視場與交通工具820的環境875的增強表示重疊，且因此來自TMC 855的相機的感測器資料可用於產生交通工具820的環境875的增強表示。RSU 850和TMC 855通訊地耦合，其中TMC 855將資料發送到RSU 850及/或經由RSU 850發送到MEC 840。RSU 850及/或TMC 855可是TMC 204的實例，且可向MEC 840發送資料（例如，感測器資料及/或交通資料）。eNodeB或gNodeB 845可用於在節點（例如，交通工具、RSU 850、TMC 855及/或相機860）與MEC 840之間傳送資料。eNodeB或gNodeB 845可表示伺服器206、資料來源202（例如，作為基於蜂巢信號的定位系統的一部分）、接收方設備208（例如，將資訊傳送到其他接收方設備208）或其組合的一部分。

圖9是圖示可用於協調增強感測操作的神經網路（NN）900的實例的方塊圖。神經網路900可包括任何類型的深度網路，如迴旋神經網路（CNN）、自編碼器、深度信念網路（DBN）、遞迴神經網路（RNN）、產生對抗網路（GAN）及/或其他類型的神經網路。神經網路900可是協調增強感測系統200的一或多個已訓練的機器學習模型232中的一個的實例，其可由物件追蹤引擎228、資料融合引擎230、警報引擎244或其組合使用。

神經網路900的輸入層910包括輸入資料。輸入層910的輸入資料可包括表示一或多個輸入影像訊框的圖元的資料。在一些實例中，輸入層910的輸入資料包括表示由一或多個影像感測器擷取的影像資料的圖元的資料。影像感測器的實例包括感測器212、感測器218、感測器238、相機335的影像感測器、相機337的影像感測器、圖4中的UE中的任一個UE的影像感測器、RSU 407的影像感測器、HV 502的影像感測器、RSU 508的影像感測器、HV 502的影像感測器、RSU 508的影像感測器、HV 602的影像感測器、RSU 608的影像感測器、相機760的影像感測器、TMC 755的影像感測器、RSU 750的影像感測器、eNodeB或gNodeB 745的影像感測器、圖7中的交通工具中的任一個的影像感測器、相機860的影像感測器、TMC 855的影像感測器、RSU 850的影像感測器、eNodeB或gNodeB 845的影像感測器、圖8中的交通工具中的任一個的影像感測器、擷取操作1005的感測器資料的至少一部分的影像感測器、輸入設備1145，或其組合。在一些實例中，輸入層910的輸入資料包括由深度感測器擷取的深度資料及/或由本文描述的其他感測器類型擷取的其他感測器資料。以上列出的影像感測器的實例中的任一個可此外或替代地包括深度感測器及/或本文描述的其他感測器類型。在一些實例中，輸入層910的輸入資料包括與感測器資料相關聯的中繼資料。在一些實例中，輸入層910的輸入資料此外或替代地包括交通資料（例如，來自TMC 204的交通控制引擎222）、來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）或其組合。輸入資料可包括使用諸如SDSM 534、SDSM 610及/或SDSM 612的SDSM發送的輸入資料（例如，感測器資料）。

影像可包括來自影像感測器的影像資料，其包括原始圖元資料（包括基於例如拜耳濾波器的每圖元單一顏色）或處理後的圖元值（例如，RGB影像的RGB圖元）。神經網路900包括多個隱藏層912A、912B至912N。隱藏層912A、912B至912N包括「N」數量個隱藏層，其中「N」是大於或等於一的整數。隱藏層的數量可根據給定應用程式的需要而包括儘可能多的層。神經網路900亦包括輸出層914，其提供由隱藏層912A、912B至912N執行的處理產生的輸出。

在一些實例中，輸出層914可提供輸出資料。輸出資料的實例包括來自物件追蹤引擎228的物件追蹤資料、來自資料融合引擎230的輸出資料（例如，包括對接收方設備208的環境的增強表示）、由警報引擎244產生的警報資料（例如，警報345）、由MEC 740發送的輸出資料、由MEC 840發送的輸出資料、交通工具810的環境870的增強表示、交通工具820的環境875的增強表示、操作1015的環境的增強表示，或其組合。輸出資料可包括使用諸如SDSM 534、SDSM 610及/或SDSM 612的SDSM發送的輸出資料。

神經網路900是互連濾波器的多層神經網路。可訓練每個濾波器來學習代表輸入資料的特徵。與濾波器相關聯的資訊在不同層之間共享，且每層皆在處理資訊時保留資訊。在一些情況下，神經網路900可包括前饋網路，在此種情況下不存在網路的輸出被回饋回自身的回饋連接。在一些情況下，網路900可包括遞迴神經網路，其可具有允許在讀入輸入時跨節點攜帶資訊的循環。

在一些情況下，可經由各個層之間的節點到節點互連在層之間交換資訊。在一些情況下，網路可包括迴旋神經網路，其可能不會將一個層之每一者節點皆連結到下一個層之每一者其他節點。在層之間交換資訊的網路中，輸入層910的節點可啟動第一隱藏層912A中的節點集合。例如，如圖所示，輸入層910的輸入節點之每一者可連接到第一隱藏層912A的節點之每一者。隱藏層的節點可經由將啟動函數（例如，濾波器）應用於此資訊來轉換每個輸入節點的資訊。從轉換中匯出的資訊隨後可被傳遞到下一個隱藏層912B的節點並可啟動下一個隱藏層912B的節點，該等節點可執行其自己的指定功能。示例函數包括迴旋函數、縮小、放大、資料變換及/或任何其他合適的函數。隱藏層912B的輸出隨後可啟動下一個隱藏層的節點等等。最後一個隱藏層912N的輸出可啟動輸出層914的一或多個節點，這提供處理後的輸出影像。在一些情況下，儘管神經網路900中的節點（例如，節點916）被示為具有多個輸出線，但節點具有單個輸出且被示為從節點輸出的所有線表示相同的輸出值。

在一些情況下，每個節點或節點之間的互連可具有權重，該權重是從神經網路900的訓練匯出的參數集合。例如，節點之間的互連可表示關於互連節點學習的一條資訊。互連可具有可被調整的可調數值權重（例如，基於訓練資料集），從而允許神經網路900適應輸入且能夠隨著越來越多的資料被處理而學習。

神經網路900被預先訓練以使用不同的隱藏層912A、912B至912N來處理來自輸入層910中的資料的特徵，以便經由輸出層914提供輸出。

圖10是圖示協調增強感測程序1000的流程圖。協調增強感測程序1000可由協調增強感測系統執行。在一些實例中，協調增強感測系統可包括例如影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像處理器150、ISP 154、主機處理器152、協調增強感測系統200、資料來源202、TMC 204、伺服器206、接收方設備208、交通工具310、交通工具320、交通工具330、UE 402、UE 404、UE 406、UE 408、RSU 407、HV 502、RV1 504、NV 506、RSU 508、障礙物512、VRU 522、HV 602、RV1 604、NV 605、RSU 608、VRU 622、交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、MEC 740、eNodeB或gNodeB 745、RSU 750、TMC 755、相機760、交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、MEC 840、eNodeB或gNodeB 845、RSU 850、TMC 855、相機860、NN 900、計算系統1100、處理器1110、本文描述的任何其他系統或設備、其任何部件或其組合。

在操作1005，協調增強感測系統被配置為且能夠從一或多個感測器獲得環境的感測器資料。感測器資料包括從多個視角對環境的一或多個部分的多個不同表示。感測器資料可由一或多個感測器擷取。在一些實例中，不同表示中的兩個由一或多個感測器中的不同感測器擷取。在一些實例中，不同表示中的兩個由一或多個感測器中的相同感測器擷取。在一些實例中，協調增強感測系統被配置為且可使用收發器、接收器及/或通訊介面1140從至少一個設備的一或多個感測器獲得環境的感測器資料。在一些實例中，協調增強感測系統被配置為且能夠從至少一個設備的一或多個感測器獲得環境的感測器資料。在一些實例中，至少一個設備與協調增強感測系統是非並置的。在一些實例中，協調增強感測系統被配置為且能夠從來自多個設備的多個感測器獲得環境的感測器資料。在一些實例中，多個設備彼此之間是非並置的。

一或多個感測器的實例包括感測器212、感測器218、感測器238、相機335的影像感測器、相機337的影像感測器、圖4中的UE中的任一個UE的感測器、RSU 407的感測器、HV 502的感測器、RSU 508的感測器、HV 502的感測器、RSU 508的感測器、HV 602的感測器、RSU 608的感測器、相機760的影像感測器、TMC 755的感測器、RSU 750的感測器、eNodeB或gNodeB 745的感測器、圖7中的交通工具中的任一個的感測器、相機860的影像感測器、TMC 855的感測器、RSU 850的感測器、eNodeB或gNodeB 845的感測器、圖8中的交通工具中的任一個的感測器、擷取操作1005的感測器資料的至少一部分的感測器、輸入設備1145，或其組合。在一些實例中，協調增強感測系統包括感測器連接器及/或感測器介面及/或收發器，其將一或多個感測器耦合及/或連接到協調增強感測系統的其餘部分（例如，包括協調增強感測系統的處理器及/或記憶體）。在一些實例中，協調增強感測系統經由從、經由及/或使用感測器連接器及/或感測器介面及/或收發器接收感測器資料來從一或多個感測器接收感測器資料。在一些實例中，協調增強感測系統包括一或多個感測器的至少子集。感測器連接器及/或感測器介面及/或收發器可包括一或多個有線及/或無線介面、連接器及/或收發器，如關於I/O 156、I/O 160及/或通訊介面1140所論述的彼等各者。

在一些實例中，感測器資料的至少一些不同部分及/或來自多個視角的環境的一或多個部分的多個不同表示的至少一些不同部分可由不同的感測器擷取，該等感測器可在不同的設備上及/或位於環境內的不同位置。在圖2的情境中，不同的表示可由不同的資料來源202及/或不同的TMC 204擷取。在圖3的情境中，相機337和相機335可從不同的視角擷取不同的表示。在圖4的情境中，UE之每一者可擷取不同的表示。在圖5A至圖5C的情境中，HV 502、RV1 504、NV 506、RSU 508、障礙物512及/或VRU 522之每一者可擷取感測器資料的不同部分及/或從多個視角對環境的一或多個部分的不同表示。在圖6的情境中，HV 602、RV1 604、NV 606、RSU及/或VRU 622之每一者可擷取感測器資料的不同部分及/或從多個視角對環境的一或多個部分的不同表示。在圖7的情境中，交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、RSU 750、TMC 755及/或相機760之每一者可擷取感測器資料的不同部分及/或從多個視角對環境的一或多個部分的不同表示。在圖8的情境中，交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、RSU 850、TMC 855及/或相機860之每一者可擷取感測器資料的不同部分及/或從多個視角對環境的一或多個部分的不同表示。在圖10的情境中，一或多個計算系統1100的多個輸入裝置之每一者輸入設備1145可擷取感測器資料的不同部分及/或從多個視角對環境的一或多個部分的不同表示。

環境的實例包括場景110、資料來源202所在的環境、TMC 204所在的環境、伺服器206所在的環境、接收方設備208所在的環境、圖3中所示的環境、FOV 340、FOV 342、感興趣區域350、感興趣區域352、圖4中所示的環境、圖5A至圖5C中所示的環境、圖6中所示的環境、圖7中所示的環境、圖8中所示的環境、被包括在環境870的增強表示中的環境的部分、被包括在環境875的增強表示中的環境的部分、計算系統1100所在的環境、本文描述的另一個環境或區域或地區或位置，或其組合。

一或多個感測器可是其一部分的不同設備的實例包括影像擷取和處理系統100、資料來源202、TMC 204、伺服器206、接收方設備208、交通工具310、交通工具320、交通工具330、UE 402、UE 404、UE 406、UE 408、RSU 407、HV 502、RV1 504、NV 506、RSU 508、障礙物512、VRU 522、HV 602、RV1 604、NV 605、RSU 608、VRU 622、交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、MEC 740、eNodeB或gNodeB 745、RSU 750、TMC 755、相機760、交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、MEC 840、eNodeB或gNodeB 845、RSU 850、TMC 855、相機860、計算系統1100，或其組合。在一些實例中，設備彼此之間及/或相對於協調增強感測系統是非並置的（例如，至少相距一定距離、非並置、不在共用位置及/或不在共用區域中）。在一些實例中，設備中的第一個可與設備中的至少第二個及/或協調增強感測系統並置。

在一些實例中，協調增強感測系統被配置為且可辨識環境中的交通工具。交通工具的實例包括具有影像擷取和處理系統100的交通工具、資料來源202的交通工具、接收方設備208的交通工具、交通工具310、交通工具320、交通工具330、UE 402、UE 404、UE 406、UE 408、HV 502、RV1 504、NV 506、障礙物512、VRU 522、HV 602、RV1 604、NV 605、VRU 622、交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、包括NN 900的交通工具、包括計算系統1100的交通工具、本文描述的任何其他交通工具或其組合。

在一些實例中，辨識環境中的交通工具可包括例如使用物件追蹤引擎228來辨識感測器資料中的交通工具。在一些實例中，辨識環境中的交通工具包括接收指示交通工具存在於環境中的資訊，諸如來自交通工具的交通工具計算系統的通訊，該通訊是當交通工具處於環境中時，該交通工具的交通工具計算系統發送的。在一些實例中，協調增強感測系統是交通工具。在一些實例中，辨識環境中的交通工具可包括辨識交通工具所在的環境。

在一些實例中，辨識環境中的交通工具可包括辨識其視場受限的交通工具，辨識其視場至少部分地被擋住的交通工具，辨識處於危險情況（例如，碰撞或其他即將發生的事故）的交通工具，辨識計畫執行危險操作（例如，可能導致碰撞或其他事故）的交通工具，或其組合。實例包括例如由於計畫路線315是危險的而辨識交通工具310，由於HV 502和NV 506的接近及/或NV 506是HV 502的盲點而辨識HV 502及/或NV 506，由於障礙物512而辨識HV 502及/或RV1 504，由於VRU 522而辨識HV 502及/或RV1 504，由於HV 602和NV 606的接近及/或NV 606是HV 602的盲點而辨識HV 602及/或NV 606，由於VRU 622而辨識HV 602及/或NV 606及/或RV1 604，由於交通工具705被交通工具720擋住的環境的受限FOV而辨識交通工具705，由於交通工具710被交通工具725擋住的環境的受限FOV而辨識交通工具710，由於交通工具810的被包括在環境870的增強表示中的環境的一部分的受限FOV（被交通工具830擋住）及/或由於計畫路線815而辨識交通工具810，由於交通工具820的被包括在環境875的增強表示中的環境的一部分的受限FOV（被交通工具835擋住）及/或由於計畫路線825而辨識交通工具820，使用NN 900辨識交通工具，使用物件追蹤引擎228辨識交通工具，或其組合。

在一些實例中，如在操作1005中接收環境的感測器資料包括從環境中的第二交通工具、從環境中的路側單元（RSU）、從環境中的相機、從環境中的深度感測器或其組合接收包括多個不同表示中的至少一個的感測器資料的至少一部分。第二交通工具的實例包括以上列出的交通工具的實例中的任一個。RSU的實例包括資料來源202、TMC 204、伺服器206、RSU 407、RSU 508、RSU 608、RSU 750、TMC 755、RSU 850、TMC 855，或其組合。相機的實例包括以上列出的一或多個感測器的實例中的任一個，其可包括相機及/或影像感測器。

在一些實例中，多個不同表示包括使用至少一個影像感測器（如影像擷取和處理系統100的影像感測器130及/或者本文所示及/或描述的相機中的一個的影像感測器）擷取的影像資料。在一些實例中，多個不同表示包括使用至少一個深度感測器（如一或多個LIDAR感測器、一或多個RADAR感測器、一或多個SODAR感測器、一或多個SONAR感測器、一或多個ToF感測器、一或多個結構光感測器、一或多個超聲感測器、一或多個測距儀，或其組合）擷取的深度資料。在一些實例中，感測器資料可包括由定位接收器（如GNSS接收器、IMU、加速度計、陀螺儀、陀螺量測儀、氣壓計、高度計，或其組合）擷取的定位資料。定位接收器可是交通工具的定位接收器及/或耦合到交通工具的定位接收器。

在一些實例中，從交通工具接收多個不同表示中的至少一個。在一些實例中，多個不同表示中的至少一個是從除了該交通工具以外的第一交通工具接收的。在一些實例中，多個不同表示中的至少一個是從除了該交通工具以外的第二交通工具接收的。在一些實例中，多個不同表示中的至少一個是從RSU接收的。在一些實例中，多個不同表示中的至少一個是從第二RSU接收的。在一些實例中，多個不同表示中的至少一個是從MEC接收的。在一些實例中，多個不同表示中的至少一個是從TMC 204接收的。

在操作1010，協調增強感測系統被配置為且可基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集。情境至少包括交通工具在環境中的位置。被辨識的環境的一或多個部分的多個不同表示的子集可是與交通工具最相關的環境的一或多個部分的多個不同表示的子集，其包括難以從交通工具的視角感測的環境的部分及/或環境視角（例如，由於障礙物、環境場景條件、感測器條件及/或下文進一步論述的其他原因中的任一個）、包括被包括在環境的增強表示中的環境的部分及/或環境視角，或其組合。在一些實例中，使用物件追蹤引擎228、資料融合引擎230、警報引擎244、訓練的ML模型232或其組合來辨識環境的一或多個部分的多個不同表示的子集。在一些實例中，經由協調增強感測系統自動地執行對環境的一或多個部分的多個不同表示的子集的辨識。在一些實例中，基於選擇（例如，由使用者經由使用者介面選擇）及/或偏好（例如，與使用者相關聯的偏好）自動地執行對環境的一或多個部分的多個不同表示的子集的辨識。選擇及/或偏好可與使用者相關聯，如交通工具的操作員、環境中的第二交通工具的操作員、資料來源202的操作員、TMC 204的操作員、伺服器206的操作員、接收方設備208的操作員、協調增強感測系統的至少一部分的操作員，或其組合。

在一些實例中，基於情境辨識多個不同表示的子集包括辨識包括交通工具的位置及/或鄰近交通工具的位置及/或位於交通工具的位置的預定範圍內的環境的一部分的一或多個表示。例如，交通工具310被包括在由相機337基於FOV 342擷取的環境的表示中，交通工具320被包括在由相機335基於FOV 340擷取的環境的表示中，UE 402至406被包括在由RSU 407基於範圍401擷取的環境的表示中，各種交通工具502至506及/或RSU 508被包括在由各種交通工具502至506及/或RSU 508擷取的環境的表示中，各種交通工具602至606及/或RSU 608被包括在由各種交通工具602至606及/或RSU 608擷取的環境的表示中，交通工具725被包括在由交通工具710擷取的環境的表示中及/或被包括在由相機760擷取的環境的表示中及/或被包括在由交通工具715擷取的環境的表示中，交通工具720被包括在由交通工具705擷取的環境的表示中及/或被包括在由TMC 755擷取的環境的表示中，交通工具715被包括在由交通工具720擷取的環境的表示中，交通工具830至835被包括在由交通工具810至820擷取的環境的表示中及/或被包括在由相機860擷取的環境的表示中及/或被包括在由交通工具805擷取的環境的表示中，交通工具810至820被包括在由相機860擷取的環境的表示中，交通工具805被包括在由交通工具830擷取的環境的表示等等。

在一些實例中，情境包括交通工具在環境中的行進方向，且基於情境辨識多個不同表示的子集包括辨識在交通工具的行進方向上的交通工具前方的環境的一部分的一或多個表示。例如，相機335的FOV 340中的感興趣區域350在交通工具310的基於計畫路線315的行進方向上，相機337的FOV 342中的感興趣區域352在交通工具320的基於計畫路線325的行進方向上，圖8的十字路口和北向道路在交通工具810的基於計畫路線815的行進方向上，圖8的十字路口和南向道路在交通工具820的基於計畫路線825的行進方向上等等。

在一些實例中，情境包括交通工具在環境中的速度，且基於情境辨識多個不同表示的子集包括辨識交通工具前方環境的一部分的一或多個表示。環境的一部分的大小可基於交通工具的速度。例如，與其他方向上相比，被包括在交通工具810的環境870的增強表示中的環境的一部分在交通工具810的前方和右方更遠地延伸，此是因為與其他方向上相比，交通工具810的速度在彼等方向上更高（如經由計畫路線815所示）。類似地，與其他方向上相比，被包括在交通工具820的環境875的增強表示中的環境的一部分在交通工具820的前方和左方更遠地延伸，此是因為與其他方向上相比，交通工具820的速度在彼等方向上更高（如經由計畫路線825所示）。

在一些實例中，情境包括交通工具在環境中的計畫移動，且基於情境辨識多個不同表示的子集包括根據交通工具的計畫移動來辨識交通工具前方環境的一部分的一或多個表示。交通工具的計畫移動的實例包括計畫路線315、計畫路線325、計畫路線815及/或計畫路線825。

在一些實例中，協調增強感測系統被配置為且可偵測感測器資料中的交通工具的指示燈及基於偵測到感測器資料中的交通工具的指示燈來決定交通工具的計畫移動。例如，在一些實例中，指示燈可是轉向指示燈，且交通工具的計畫移動可是轉向，如在計畫路線315、計畫路線815及/或計畫路線825中。在一些實例中，指示燈可是刹車燈，且交通工具的計畫移動可是減速或停止。

在一些實例中，協調增強感測系統被配置為且可基於感測器資料偵測交通工具的當前路徑及基於交通工具的當前路徑來決定交通工具的計畫移動。例如，計畫路線315是與轉向指示組合的交通工具310的當前路徑的延伸，計畫路線325是交通工具320的當前路徑的延伸，計畫路線815是與轉向指示組合的交通工具810的當前路徑的延伸，且計畫路線825是與轉向指示組合的交通工具820的當前路徑的延伸。

在一些實例中，協調增強感測系統被配置為且可從交通工具（例如，從交通工具的交通工具計算設備）接收交通工具的計畫移動的指示，且交通工具的計畫移動可是交通工具的計畫路線的一部分。例如，協調增強感測系統可從交通工具310接收計畫路線315的指示，可從交通工具320接收計畫路線325的指示，可從交通工具810接收計畫路線815的指示及/或可從交通工具820接收計畫路線825的指示。

在一些實例中，情境包括環境中除了交通工具以外的物件，諸如第二交通工具、行人（例如，VRU 522、VRU 622）、自行車、騎自行車的人、摩托車、騎摩托車的人、踏板車、踏板車操作員、結構（例如，建築物、燈柱、RSU）、植物（例如，樹）、動物、岩石、坑窪、道路上的溢出物、碎片、障礙物512，或其組合。在一些實例中，基於情境辨識多個不同表示的子集包括辨識包括物件的環境的一部分的一或多個表示。在一些實例中，協調增強感測系統被配置為且可基於交通工具的一或多個計畫移動來辨識交通工具與環境中的物件之間的碰撞風險。協調增強感測系統可導致基於環境的增強表示的警報在交通工具處被輸出。該警報可指示交通工具與物件之間的碰撞風險。警報345是指示交通工具310與物件（例如，第二交通工具320）之間的可能碰撞370的風險的警報的實例。可使用警報引擎244產生警報。

在一些實例中，情境包括環境中除了交通工具以外的物件的計畫移動，諸如第二交通工具、行人（例如，VRU 522、VRU 622）、自行車、騎自行車的人、摩托車、騎摩托車的人、踏板車、踏板車操作員、結構、植物、動物、岩石、坑窪、道路上的溢出物、碎片、障礙物512，或其組合。在一些實例中，基於情境辨識多個不同表示的子集包括根據物件的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。警報345是基於物件的計畫移動（例如，第二交通工具320的計畫路線325）指示交通工具310與物件（例如，第二交通工具320）之間的可能碰撞370的風險的警報的實例。可使用警報引擎244產生警報。在一些實例中，情境可辨識行人的步行路徑（例如，行人正在穿過街道或可能會穿過街道），且警報可指示交通工具與行人之間的碰撞風險。在一些實例中，協調增強感測系統可從與物件相關聯的設備（如行人的行動手機或其他使用者設備）接收物件的計畫路線的指示。在一些實例中，協調增強感測系統可從環境的表示中偵測物件的計畫路線的指示，如指示行人當前正在橫穿的人行橫道偵測器燈或者指示「步行」、「停止」或「快點」的人行橫道燈。

在一些實例中，基於情境辨識多個不同表示的子集包括辨識與多個不同表示的子集之每一者表示相關聯的置信度超過置信度臨限值。多個不同表示中的一個的置信度與多個不同表示中的一個表示包括交通工具及/或包括交通工具前方區域的環境的一部分的置信相關聯。在一些實例中，交通工具前方環境的一部分包括交通工具。

在一些實例中，置信度基於多個不同表示中的一個的解析度。例如，由於處於較高解析度表示中的交通工具的表示顯得更銳利和更清晰，而處於較低解析度表示（例如，較低解析度影像）中的交通工具的表示可能會顯得更模糊或圖元化，因此較高解析度表示（例如，較高解析度影像）可對應於較高的置信度。在一些實例中，置信度基於多個不同表示中的一個中的照明級別。在一些實例中，置信度基於使用多個不同表示中的一個的物件偵測。在一些實例中，置信度可基於與物件追蹤引擎228進行的物件偵測及/或辨識及/或追蹤相關聯的置信度、與資料融合引擎230相關聯的資料融合的置信度、與警報引擎244相關聯的警報的置信度、與訓練的ML模型232的輸出相關聯的置信度、與NN 900的輸出相關聯的置信度、來自資料來源202中的特定一個的資料的置信度、來自TMC 204的資料的置信度、與交通控制引擎222相關聯的置信度，或其組合。

例如，由於處於良好照明表示中的交通工具的表示具有清晰的線條和不同的顏色，而處於不良照明表示（例如，過度曝光及/或不足曝光的影像）中的交通工具的表示可能會顯得過亮或過暗而無法清楚地區分清晰的線條和不同的顏色，因此良好照明表示（例如，既沒有過度曝光亦沒有不足曝光的影像）可對應於較高的置信度。

在一些實例中，協調增強感測系統被配置為且可從交通管理控制器接收交通資料。情境可包括交通資料的至少一部分。交通資料的一部分可與包括交通工具的環境的至少一部分相關聯。例如，交通資料可包括由資料來源202、TMC 204、伺服器206、接收設備208、交通控制引擎222、RSU 407、RSU 508、RSU 608、RSU 750、TMC 755、RSU 850、TMC 855、以上列出的一或多個感測器的實例中的任一個、本文描述的任何交通資料或其組合偵測到及/或報告的交通資料。

在一些實例中，基於與環境中的交通工具對應的情境辨識多個不同表示的子集包括將感測器資料和情境輸入一或多個訓練的機器學習（ML）模型（例如，訓練的ML模型232及/或NN 900），該模型輸出多個不同表示的子集的指示。例如，訓練的ML模型可與物件追蹤引擎228、資料融合引擎230、交通控制引擎222、警報引擎244或其組合相關聯。在一些實例中，協調增強感測系統被配置為且可回應於接收環境的增強表示來辨識交通工具的反應，且可使用情境、多個不同表示的子集及/或反應作為訓練資料來更新一或多個已訓練的機器學習模型。例如，該反應可被回饋引擎234視為回饋，且可用於訓練該訓練的ML模型232。

在操作1015，協調增強感測系統被配置為且可至少部分地基於合併多個不同表示的子集來使得用於交通工具的環境的增強表示被產生。在一些實例中，協調增強感測系統被配置為且可至少部分地基於合併多個不同表示的子集來產生交通工具的環境的增強表示。在一些實例中，協調增強感測系統被配置為且可合併多個不同表示的子集，及將多個不同表示的合併子集發送到另一個計算系統，該另一個計算系統基於多個不同表示的合併子集產生交通工具的環境的增強表示。環境的增強表示的實例包括使用資料融合引擎230產生的環境的增強表示、使用警報引擎244產生的環境的增強表示、交通工具310的警報345中的環境的增強表示（例如，由於交通工具310的大部分視角及/或FOV被交通工具330擋住）、交通工具810的環境870的增強表示（例如，由於交通工具810的大部分視角及/或FOV被交通工具830擋住）、交通工具820的環境875的增強表示（例如，由於交通工具820的大部分視角及/或FOV被交通工具835擋住）、及本文描述的環境的其他增強表示。

在一些實例中，環境的增強表示包括從交通工具的視角（例如，視場）（例如，從交通工具的一或多個感測器的視角、從交通工具的操作員的視角、從交通工具的乘客的視角，或其組合）難以感測的環境的一部分的表示。在一些實例中，環境的增強表示包括從交通工具的視角不可能感測到的環境的一部分的表示。在一些實例中，環境的增強表示包括從交通工具的視角來看至少部分地被擋住及/或遮擋（例如，被障礙物或遮擋物至少部分地擋住及/或遮擋）的環境的一部分的表示。障礙物或遮擋物的實例包括第二交通工具、行人（例如，VRU 522、VRU 622）、自行車、騎自行車的人、摩托車、騎摩托車的人、踏板車、踏板車操作員、結構（例如，建築物、燈柱、RSU）、植物（例如，樹）、動物、岩石、碎片、障礙物512、霧、雨、煙霧、雪、冰雹、天氣條件、環境場景條件，或其組合。在一些實例中，環境的增強表示包括由於諸如以下項的光照條件及/或照明條件而導致從交通工具的視角難以感測的環境的一部分的表示：低或昏暗的光照（例如，低於光照或照明級別臨限值），其導致環境顯得昏暗及/或曝光不足；過度明亮的光照（例如，超過光照或照明級別臨限值），其導致環境顯得褪色及/或曝光過度；在環境或感測器上投射陰影的光照，該陰影影響環境的一部分的表示；在環境視圖上產生視覺偽影（例如，鏡頭光斑或散景）的光照，該視覺偽影影響環境的一部分的表示；或其組合。在一些實例中，環境的增強表示包括由於交通工具的感測器的條件而導致從交通工具的視角難以感測的環境的一部分的表示，例如，由於感測器有缺陷或被損壞、感測器的接線有故障、感測器已經失準、遮擋或損壞已經影響了與感測器相關聯的部件（例如，相機鏡頭被弄汙、弄髒、起霧、有劃痕、破裂、破損，或其組合）、傳感器具有低解析度（例如，解析度低於臨限值）、傳感器具有低精度（例如，精度低於臨限值）、傳感器具有低品質（例如，品質低於臨限值），或其組合。在一些實例中，環境的增強表示包括由於基於交通工具的感測器對環境的一部分中的一或多個物件的偵測及/或追蹤失敗或導致物件的偵測及/或追蹤具有低置信度（置信低於臨限值）而導致從交通工具的視角難以感測的環境的一部分的表示。

在一些實例中，至少部分地基於合併多個不同表示的子集使得用於交通工具的環境的增強被產生表示包括例如使用資料融合引擎230將多個不同表示的子集中的至少兩個不同表示融合在一起。例如，使用資料融合引擎230產生的環境的增強表示可包括來自兩個不同資料來源202、資料來源和TMC 204、兩個TMC 204等等的兩個不同表示的融合。交通工具310的警報345中的環境的增強表示可基於來自相機337的影像資料和來自相機335的影像資料的融合。交通工具810的環境870的增強表示可基於來自相機860、交通工具810的感測器、交通工具830的感測器、交通工具805的感測器、交通工具820的感測器及/或交通工具835的感測器的感測器資料的融合。交通工具820的環境875的增強表示可基於來自相機860、交通工具820的感測器、交通工具835的感測器、交通工具810的感測器、交通工具830的感測器、交通工具805的感測器及/或TMC 855的感測器的感測器資料的融合。在一些實例中，至少兩個不同的表示包括由影像感測器擷取的影像和由深度感測器擷取的深度資料集。將至少兩個不同的表示融合在一起可包括將影像的部分與表示環境的相應部分的深度資料集的相應部分相關聯。因此，影像的不同圖元可與跨深度資料集的不同深度相關聯。例如，若圖8的相機860包括深度感測器和影像感測器，則來自深度感測器的深度資料和來自影像感測器的影像資料的融合可產生圖8中的環境的深度影像，該深度影像圖示交通工具830、交通工具835、交通工具810和交通工具820，指示交通工具830比交通工具835更靠近相機860，及指示交通工具810比交通工具820更靠近相機860。

在一些實例中，協調增強感測系統被配置為且可使環境的增強表示的指示在交通工具處被輸出。在一些實例中，該指示包括基於環境的增強表示的警報。在一些實例中，該指示包括環境的增強表示的至少一部分。在一些實例中，指示及/或警報可包括環境的增強表示的至少一部分。在一些實例中，指示及/或警報可包括基於環境的增強表示的對交通工具（及/或交通工具的操作員）的警告，例如指示交通工具與諸如以下各項的另一個物件之間的碰撞風險：第二交通工具、行人（例如，VRU 522、VRU 622）、自行車、騎自行車的人、摩托車、騎摩托車的人、踏板車、踏板車操作員、結構（例如，建築物、燈柱、RSU）、植物（例如，樹）、動物、岩石、坑窪、道路上的溢出物、碎片、障礙物512，或其組合。指示及/或警報的實例包括警報345。可使用警報引擎244、資料融合引擎230、物件追蹤引擎228、交通控制引擎222、訓練的ML模型232，或其組合來產生指示及/或警報。在一些實例中，使環境的增強表示的指示在交通工具處被輸出包括將指示發送到交通工具。在一些實例中，使環境的增強表示的指示在交通工具處被輸出包括使用一或多個輸出設備（例如，輸出設備242、輸出設備1135）在交通工具處輸出指示。

在一些實例中，協調增強感測系統被配置為且可基於交通工具的一或多個計畫移動來辨識交通工具與物件之間的碰撞風險。協調增強感測系統可使基於環境的增強表示的指示及/或警報在交通工具處被輸出。指示及/或警報指示交通工具與物件之間的碰撞風險。警報345是指示交通工具310與物件（例如，第二交通工具320）之間的可能碰撞370的風險的警報的實例。

在一些實例中，協調增強感測系統可使用如何向交通工具提供警報及/或如何使警報在交通工具處被輸出的智慧。例如，協調增強感測系統的RSU可廣播及/或多播不同的資訊組，且可經由點到點通訊向交通工具指示廣播及/或多播資訊中的哪個與該交通工具具體地相關。在一些實例中，協調增強感測系統的MEC及/或RSU可辨識相關感測器資料並辨識如何將來自多個交通工具的該資料封包到廣播及/或多播流中。

在一些實例中，執行程序1000的協調增強感測系統包括遠離交通工具的計算設備，如多存取邊緣計算（MEC）系統（例如，伺服器206、MEC 740、MEC 840）、路側單元（RSU）系統（例如，伺服器 206、TMC 204、RSU 407、RSU 508、RSU 608、RSU 750、RSU 850）、遠端伺服器（例如，伺服器206），或者交通工具計算設備是環境中的第二交通工具的一部分。第二交通工具的實例包括以上列出的交通工具的實例中的任一個。在一些實例中，協調增強感測系統至少部分地經由從遠離交通工具的計算設備向交通工具發送環境的增強表示的指示來使環境的增強表示的指示在交通工具處被輸出。

在一些實例中，執行程序1000的協調增強感測系統包括交通工具的交通工具計算設備。在一些實例中，協調增強感測系統至少部分地經由使用交通工具的輸出設備（如輸出設備242及/或輸出設備1135）輸出環境的增強表示的指示來使環境的增強表示的指示在交通工具處被輸出。輸出設備可包括例如顯示器、揚聲器、耳機組、頭戴式耳機、觸覺回饋致動器，或其組合。例如，使用交通工具的輸出設備輸出基於環境的增強表示的警報可包括使用交通工具的顯示器顯示警報，使用交通工具的揚聲器播放警報，使用觸覺回饋致動器、輸出設備242、輸出設備1135或其組合提供觸覺回饋警報。

在一些實例中，交通工具及/或與交通工具相關聯的交通工具計算系統可被最佳化以減少時延及/或增加準確性。遠離交通工具的計算設備（如MEC、RSU或伺服器）可具有更多的計算資源和計算時間，該計算資源和計算時間可用於執行程序1000的操作及/或在本文被描述為與程序1000相關聯的操作，如追蹤物件、預測潛在碰撞及/或弄清楚如何最佳化該等交通工具的資訊。例如，在一些實例中，由於增加的計算資源及/或增加的計算時間，遠離交通工具的計算設備可相比一些交通工具能夠執行的模型來執行更高時延訓練的ML模型（其可能具有更高的準確性），在此期間可存取該等計算資源並將其用於該等操作。因此，在一些實例中，交通工具計算系統可能無法使用低時延訓練的ML模型來偵測及/或追蹤環境中的物件，但遠離交通工具的計算設備可使用更高時延、更高精度訓練的ML模型成功地偵測及/或追蹤環境中的物件，且可將物件的位置及/或移動的指示發送到交通工具（及/或基於物件的位置及/或移動來產生環境的增強表示）。交通工具計算系統甚至可使用來自遠離交通工具的計算設備的輸入來重新訓練及/或更新其訓練的ML模型，以説明最佳化其權重，從而減少無法偵測及/或追蹤物件的機會。

在一些實例中，用於向作為執行程序1000的協調增強感測系統的一部分的各種類型的計算設備提供資料及/或在該計算設備處接收資料的機制及/或技術可變化。例如，協調增強感測系統的MEC可使用5G Uu鏈路接收資料。協調增強感測系統的RSU可使用PC5接收資料。用於提供及/或接收資料的一些機制及/或技術可能具有有限的頻寬能力（例如，對許可頻寬的限制），如PC5。在用於提供及/或接收資料的此類機制及/或技術具有有限頻寬能力的情況下，被傳輸的資料（例如，感測器資料及/或環境的增強表示的指示）可在被發送到作為協調增強感測系統的一部分的計算設備及/或在該計算設備處接收之前被壓縮。可針對有限頻寬使用來最佳化傳輸機制及/或技術，例如經由一次傳輸較小部分的資料、不傳輸冗餘資料、壓縮資料、使用或增加錯誤檢查（例如，經由自動重複請求（ARQ）及/或混合ARQ（HARQ）方案）、頻寬節流或其組合。

在一些實例中，成像系統可包括：用於接收環境的感測器資料的手段，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；用於基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集的手段，其中情境至少包括交通工具在環境中的位置；及用於至少部分地基於合併多個不同表示的子集，產生交通工具的環境的增強表示的手段。

在一些實例中，用於接收感測器資料的部件包括影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像處理器150、ISP 154、主機處理器152、影像感測器130、感測器212、感測器218、感測器238、相機335的影像感測器、相機337的影像感測器、圖4中的UE中的任一個UE的感測器、RSU 407的感測器、HV 502的感測器、RSU 508的感測器、HV 502的感測器、RSU 508的感測器、HV 602的感測器、RSU 608的感測器、相機760的影像感測器、TMC 755的感測器、RSU 750的感測器、eNodeB或gNodeB 745的感測器、圖7中的交通工具中的任一個的感測器、相機860的影像感測器、TMC 855的感測器、RSU 850的感測器、eNodeB或gNodeB 845的感測器、圖8中的交通工具中的任一個的感測器、擷取操作1005、輸入設備1145或其組合的感測器資料中的至少一部分的感測器、本文描述的另一種感測器，或其組合。

在一些實例中，用於辨識多個不同表示的子集的部件包括影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像處理器150、ISP 154、主機處理器152、協調增強感測系統200、資料來源202、TMC 204、伺服器206、接收方設備208、交通控制引擎222、物件追蹤引擎228、資料融合引擎230、已訓練的ML模組232、交通工具310、交通工具320、交通工具330、UE 402、UE 404、UE 406、UE 408、RSU 407、HV 502、RV1 504、NV 506、RSU 508、障礙物512、VRU 522、HV 602、RV1 604、NV 605、RSU 608、VRU 622、交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、MEC 740、eNodeB或gNodeB 745、RSU 750、TMC 755、相機760、交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、MEC 840、eNodeB或gNodeB 845、RSU 850、TMC 855、相機860、NN 900、計算系統1100、處理器1110、本文描述的任何其他系統或設備、其任何部件或其組合。

在一些實例中，用於使得增強表示的指示在交通工具處被輸出的部件包括影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像處理器150、ISP 154、主機處理器152、協調增強感測系統200、資料來源202、TMC 204、伺服器206、接收方設備208、交通控制引擎222、物件追蹤引擎228、資料融合引擎230、警報引擎244、已已訓練的ML模組232、交通工具310、交通工具320、交通工具330、UE 402、UE 404、UE 406、UE 408、RSU 407、HV 502、RV1 504、NV 506、RSU 508、障礙物512、VRU 522、HV 602、RV1 604、NV 605、RSU 608、VRU 622、交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、MEC 740、eNodeB或gNodeB 745、RSU 750、TMC 755、相機760、交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、MEC 840、eNodeB或gNodeB 845、RSU 850、TMC 855、相機860、NN 900、計算系統1100、處理器1110、本文描述的任何其他系統或設備、其任何部件或其組合。

在一些實例中，本文描述的程序（例如，圖1的成像程序、圖2的協調增強感測程序、圖3的偵測和警報程序、圖4的通訊程序、圖5A至圖5D的偵測和通訊程序、圖6的偵測和通訊程序、圖7的協調增強感測程序、圖8的協調增強感測程序、圖9的神經網路程序、圖10的協調增強感測程序1000、圖11的計算程序及/或本文描述的其他程序）可由計算設備或裝置執行。在一些實例中，本文描述的程序可由影像擷取和處理系統100、影像擷取裝置 105A、影像處理設備105B、影像處理器150、ISP 154、主機處理器152、協調增強感測系統200、資料來源202、TMC 204、伺服器206、接收方設備208、交通工具310、交通工具320、交通工具330、UE 402、UE 404、UE 406、UE 408、RSU 407、HV 502、RV1 504、NV 506、RSU 508、障礙物512、VRU 522、HV 602、RV1 604、NV 605、RSU 608、VRU 622、交通工具705、交通工具710、交通工具715、交通工具720、交通工具725、MEC 740、eNodeB或gNodeB 745、RSU 750、TMC 755、相機760、交通工具805、交通工具810、交通工具820、交通工具830、交通工具835、MEC 840、eNodeB或gNodeB 845、RSU 850、TMC 855、相機860、NN 900、計算系統1100、處理器1110、本文描述的任何其他系統或設備、其任何部件或其組合來執行。

計算設備可包括任何合適的設備，如行動設備（例如，行動電話）、桌面計算設備、平板計算設備、可穿戴設備（例如，VR頭戴式耳機、AR頭戴式耳機、AR眼鏡、聯網手錶或智慧手錶或其他可穿戴設備）、伺服器電腦、自主交通工具或自主交通工具的計算設備、機器人設備、電視及/或具有資源能力以執行本文描述的程序的任何其他計算設備。在一些情況下，計算設備或裝置可包括各種部件，如一或多個輸入裝置、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦、一或多個相機、一或多個感測器，及/或被配置為執行本文描述的程序的步驟的其他部件。在一些實例中，計算設備可包括顯示器、被配置為傳送及/或接收資料的網路介面、其任何組合及/或其他部件。網路介面可被配置為傳送及/或接收基於網際網路協定（IP）的資料或其他類型的資料。

計算設備的部件可在電路中實現。例如，部件可包括電子電路或其他電子硬體（其可包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU）及/或其他適當的電子電路）及/或可使用電子電路或其他電子硬體來實現，及/或者可包括電腦軟體、韌體或其任何組合及/或可使用電腦軟體、韌體或其任何組合來實現，以執行本文描述的各種操作。

本文描述的程序被示為邏輯流程圖、方塊圖或概念圖，其動作表示可用硬體、電腦指令或其組合來實現的操作序列。在電腦指令的情境中，動作表示被儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該電腦可執行指令在由一或多個處理器執行時執行所引述的操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序並不意欲被解釋為限制，且可以任何順序及/或並行地組合任何數量的所描述的操作以實現該等程序。

此外，本文描述的程序可在被配置有可執行指令的一或多個電腦系統的控制下執行，且可被實現為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式，或者一或多個應用），經由硬體來實現，或其組合。如上文所提到，代碼可例如以包括可由一或多個處理器執行的多個指令的電腦程式的形式儲存在電腦可讀或機器可讀儲存媒體上。電腦可讀或機器可讀儲存媒體可是非暫時性的。

圖11是圖示用於實現本技術的某些態樣的系統的實例的示圖。具體地，圖11圖示計算系統1100的實例，其可是例如構成內部計算系統、遠端計算系統、相機或其任何部件的任何計算設備，其中系統的部件使用連接1105彼此通訊。連接1105可是使用匯流排的實體連接，或者是到處理器1110中的直接連接，如在晶片集架構中。連接1105亦可是虛擬連接、聯網連接或邏輯連接。

在一些實施例中，計算系統1100是分散式系統，其中本案中描述的功能可分佈在資料中心、多個資料中心、對等網路等內。在一些實施例中，所描述的系統部件中的一或多個表示許多此種部件，每個部件皆執行描述該部件的部分或全部功能。在一些實施例中，部件可是實體設備或虛擬裝置。

示例系統1100包括至少一個處理單元（CPU或處理器）1110和連接1105，連接1105將包括系統記憶體1115（如唯讀記憶體（ROM）1120和隨機存取記憶體（RAM）1125）的各種系統部件耦合到處理器1110。計算系統1100可包括高速記憶體的快取記憶體1112，快取記憶體1112直接與處理器1110連接、緊密靠近處理器1110或作為處理器1110的一部分整合。

處理器1110可包括任何通用處理器及硬體服務或軟體服務（如被儲存在儲存裝置1130中的服務1132、1134和1136），硬體服務或軟體服務被配置為控制處理器1110及其中軟體指令被併入實際處理器設計中的專用處理器。處理器1110本質上可是完全自包含計算系統，其包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可是對稱的或非對稱的。

為了實現使用者交互，計算系統1100包括輸入設備1145，該輸入設備1145可表示任何數量的輸入機制，如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統1100亦可包括輸出設備1135，該輸出設備1135可是多種輸出機制中的一或多個。在一些情況下，多模態系統可使得使用者能夠提供多種類型的輸入/輸出以與計算系統1100進行通訊。計算系統1100可包括通訊介面1140，該通訊介面1140通常可控制並管理使用者輸入和系統輸出。通訊介面可使用有線及/或無線收發器來執行或促進有線或無線通訊的接收及/或傳輸，有線及/或無線收發器包括使用以下各項的收發器：音訊插孔/插頭、麥克風插孔/插頭、通用序列匯流排（USB）埠/插頭、Apple® Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、藍芽®無線信號傳輸、藍芽®低能量（BLE）無線信號傳輸、IBEACON®無線信號傳輸、射頻辨識（RFID）無線信號傳輸、近場通訊（NFC）無線信號傳輸、專用短距離通訊（DSRC）無線信號傳輸、1102.11 Wi-Fi無線信號傳輸、無線區域網路（WLAN）信號傳輸、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、紅外（IR）通訊無線信號傳輸、公用交換電話網絡（PSTN）信號傳輸、整合傳輸量數位網路（ISDN）信號傳輸、3G/4G/5G/LTE蜂巢資料網路無線信號傳輸、自組織網路信號傳輸、無線電波信號傳輸、微波信號傳輸、紅外信號傳輸、可見光信號傳輸、紫外光信號傳輸、沿著電磁頻譜的無線信號傳輸，或者其某一組合。通訊介面1140亦可包括一或多個全球導航衛星系統（GNSS）接收器或收發器，其用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收到一或多個信號來決定計算系統1100的位置。GNSS系統包括但不限於基於美國的全球定位系統（GPS）、基於俄羅斯的全球導航衛星系統（GLONASS）、基於中國的北斗導航衛星系統（BDS）和基於歐洲的伽利略GNSS。在任何特定硬體佈置上的操作沒有任何限制，且因此，隨著其發展，此處的基本特徵可能容易地被改進的硬體或韌體佈置代替。

儲存裝置1130可是非揮發性及/或非暫時性及/或電腦可讀記憶體設備，且可是硬碟或可儲存可由電腦存取的資料的其他類型的電腦可讀取媒體，諸如磁帶盒、快閃記憶卡、固態記憶體設備、數位通用磁碟、盒式磁帶、軟碟、軟碟、硬碟、磁帶、磁條/磁條帶、任何其他磁儲存媒體、快閃記憶體、憶阻器記憶體、任何其他固態記憶體、壓縮磁碟唯讀記憶體（CD-ROM）光碟、可重寫壓縮磁碟（CD）光碟、數位視訊盤（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、另一種光學媒體、安全數位（SD）卡、微型安全數位（microSD）卡、記憶棒®卡、智慧卡晶片、EMV晶片、使用者身份模組（SIM）卡、微小/微型/奈米/微微SIM卡、另一種積體電路（IC）晶片/卡、隨機存取記憶體（RAM）、靜態RAM（SRAM）、動態RAM（DRAM）、唯讀記憶體（ROM）、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體EPROM（FLASHEPROM）、快取緩衝記憶體（L1/L2/L3/L4/L5/L#）、電阻式隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移矩RAM（STT-RAM）、其他記憶體晶片或盒式記憶體，及/或其組合。

儲存裝置1130可包括軟體服務、伺服器、服務等，當由處理器1110執行定義此種軟體的代碼時其使得系統執行功能。在一些實施例中，執行特定功能的硬體服務可包括被儲存在電腦可讀取媒體中的與必要的硬體元件（如處理器1110、連接1105、輸出設備1135等）連接的軟體部件，以執行該功能。

如本文所使用的，術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存裝置、光學儲存裝置、及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可包括資料可被儲存在其中且不包括以下各項的非暫時性媒體：無線地或者在有線連接上傳播的載波及/或暫時性電子信號。非暫時性媒體的實例可包括但不限於：磁碟或磁帶、諸如壓縮光碟（CD）或數位多功能光碟（DVD）的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可具有被儲存在其上的代碼及/或機器可執行指令，代碼及/或機器可執行指令可表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、軟體組件，或者指令、資料結構或程式語句的任何組合。程式碼片段可經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容來耦合到另一個程式碼片段或硬體電路。可使用包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等的任何適當的手段來傳遞、轉發或發送資訊、引數、參數、資料等。

在一些實施例中，電腦可讀儲存裝置、媒體和記憶體可包括包含位元串流等的電纜或無線信號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確地排除諸如能量、載波信號、電磁波和信號本身的媒體。

在以上描述中提供了具體細節以提供對本文提供的實施例和實例的透徹理解。然而，本領域一般技藝人士將理解的是，可在沒有該等具體細節的情況下實踐實施例。為了解釋清楚，在一些情況下，本文的技術可被呈現為包括包含如下的功能方塊的單獨的功能方塊，該等功能方塊包括設備、設備部件、以軟體體現的方法中的步驟或常式，或者硬體和軟體的組合。除了在各圖中所示及/或本文描述的部件之外，亦可使用額外的部件。例如，電路、系統、網路、程序和其他部件可被示為具有方塊圖形式的部件，以便不會在不必要的細節上模糊實施例。在其他情況下，公知的電路、程序、演算法、結構和技術可被示為不具有不必要的細節，以便避免模糊實施例。

上文可將各個實施例描述為程序或方法，該程序或方法被圖示為流程圖、流程圖、資料串流程圖、結構圖或方塊圖。儘管流程圖可將操作描述為順序的程序，但是該等操作中的許多操作可並行或同時執行。另外，可重新排列操作的順序。程序在其操作完成後被終止，但是可能具有未被包括在圖中的額外步驟。程序（process）可對應於方法、函數、程序（procedure）、子常式、副程式等。當程序對應於函數時，其終止可對應於該函數返回到調用函數或主函數。

根據上述實例的程序和方法可使用電腦可執行指令來實現，電腦可執行指令被儲存在電腦可讀取媒體中或者以其他方式可從電腦可讀取媒體得到。此類指令可包括例如指令或資料，指令或資料使得通用電腦、專用電腦或處理設備執行或者以其他方式將其配置為執行特定功能或特定的一組功能。可經由網路存取所使用的電腦資源的部分。電腦可執行指令可是例如二進位檔案、如組合語言的中間格式指令、韌體、原始程式碼等。可用於儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、設定有非揮發性記憶體的USB設備、聯網儲存裝置等。

實現根據該等公開內容的程序和方法的設備可包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或其任何組合，且可採用多種形狀因數中的任一種。當用軟體、韌體、中介軟體或微代碼來實現時，用於執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可被儲存在電腦可讀或機器可讀取媒體中。處理器可執行必要任務。形狀因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小型形狀因數的個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可體現在周邊設備或外掛程式卡中。經由另外的實例，此種功能亦可在電路板上在單個設備中執行的不同晶片或不同程序之間實現。

指令、用於傳送此類指令的媒體、用於執行其計算資源及用於支援此類計算資源的其他結構是用於提供在本案中描述的功能的示例手段。

在前方的描述中，參考本案的特定實施例描述了本案的各態樣，但是本領域技藝人士將認識到，本案不限於此。因此，儘管本文已經詳細描述了本案的說明性實施例，但是應理解的是，可以其他方式不同地體現和採用本發明概念，且所附請求項意欲被解釋為包括此種變型，除了由現有技術限制的變型。可單獨地或共同地使用上述應用的各個特徵和各態樣。此外，在不脫離本說明書的更寬泛的精神和範圍的情況下，實施例可在除了本文描述的環境和應用之外的任何數量的環境和應用中使用。因此，說明書和附圖被認為是說明性的而不是限制性的。為了說明的目的，以特定順序描述了方法。應當理解，在替代實施例中，可以與所描述的順序不同的順序來執行該方法。

本領域一般技藝人士將明白的是，在不脫離本說明書的範疇的情況下，本文中使用的小於（「＜」）和大於（「＞」）符號或術語可分別用小於或等於（「≦」）及大於或等於（「≧」）符號來替換。

在將部件描述為「被配置為」執行某些操作的情況下，此種配置可例如經由以下方式來實現：將電子電路或其他硬體設計為執行該操作，將可程式設計電子電路（例如，微處理器或其他適當的電子電路）設計為執行該操作，或其任何組合。

短語「耦合到」代表直接或間接地實體連接到另一個部件的任何部件，及/或直接或間接地與另一個部件通訊的任何部件（例如，經由有線或無線連接及/或其他適當的通訊介面而連接到另一個部件）。

敘述集合「中的至少一個」及/或集合中的「一或多個」的申請專利範圍語言或其他語言指示該集合中的一個成員或者該集合中的多個成員（以任何組合）滿足該申請專利範圍。例如，敘述「A和B中的至少一個」的申請專利範圍語言意指A、B，或者A和B。在另一個實例中，敘述「A、B和C中的至少一個」的申請專利範圍語言意指A、B、C，或者A和B，或者A和C，或者B和C，或者A和B和C。集合「中的至少一個」及/或集合中的「一或多個」的語言並不將該集合限制為在該集合中列出的項目。例如，敘述「A和B中的至少一個」的申請專利範圍語言可意指A、B或者A和B，且可另外包括未在A和B的集合中列出的項目。

結合本文揭示的實施例描述的各種說明性的邏輯方塊、模組、電路和演算法步驟可被實現為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的此種可互換性，各種說明性部件、方塊、模組、電路和步驟已經大體上根據其功能在上文進行了描述。此種功能被實現為硬體還是軟體取決於特定應用和施加在整個系統上的設計約束。技藝人士可針對每個特定應用以不同方式實現所描述的功能，但是此種實現方式決定不應被解釋為導致偏離本案的範疇。

本文描述的技術亦可用電子硬體、電腦軟體、韌體或其任何組合來實現。此種技術可在各種設備中的任一種中實現，如通用電腦、無線通訊設備手機或具有多種用途（包括在無線通訊設備手機和其他設備中的應用）的積體電路設備。被描述為模組或部件的任何特徵皆可在整合邏輯裝置中一起實現，或者分別作為離散但是可交交交互動操作的邏輯裝置來實現。若用軟體來實現，則該技術可至少部分地由電腦可讀取資料儲存媒體來實現，電腦可讀取資料儲存媒體包括程式碼，程式碼包括在被執行時執行上述方法中的一或多個的指令。電腦可讀取資料儲存媒體可形成電腦程式產品的一部分，電腦程式產品可包括封裝材料。電腦可讀取媒體可包括記憶體或資料儲存媒體，如隨機存取記憶體（RAM）（如同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁或光資料儲存媒體等。此外或替代地，該技術可至少部分地由以指令或資料結構的形式攜帶或傳送程式碼且可由電腦存取、讀取及/或執行的電腦可讀通訊媒體（如傳播的信號或波）來實現。

程式碼可由處理器執行，處理器可包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他等效的整合或離散邏輯電路。此種處理器可被配置為執行在本案中描述的技術中的任一種。通用處理器可是微處理器，但是在替代方案中，處理器可是任何一般的處理器、控制器、微控制器或狀態機。處理器亦可被實現為計算設備的組合，例如，DSP和微處理器的組合、多個微處理器、一或多個微處理器與DSP核的結合，或任何其他此種配置。因此，如本文所使用的術語「處理器」可代表前述結構中的任一種、前述結構的任何組合，或適於實現本文描述的技術的任何其他結構或裝置。另外，在一些態樣中，本文描述的功能可在被配置用於編碼和解碼的專用軟體模組或硬體模組內提供，或者被合併在組合的視訊轉碼器-解碼器（CODEC）中。

本案的說明性態樣包括：

態樣1：一種用於媒體處理的裝置，該裝置包括：記憶體；及耦合到記憶體的一或多個處理器，一或多個處理器被配置為：從至少一個設備的一或多個感測器獲得環境的感測器資料，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集，其中情境至少包括交通工具在環境中的位置；及至少部分地基於合併多個不同表示的子集，使得用於交通工具的環境的增強表示被產生。

態樣2：根據態樣1之裝置，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為辨識包括交通工具的位置的環境的一部分的一或多個表示。

態樣3：根據態樣1至2中任一項所述的裝置，其中情境包括交通工具在環境中的行進方向，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為辨識在交通工具的行進方向上的交通工具前方的環境的一部分的一或多個表示。

態樣4：根據態樣1至3中任一項所述的裝置，其中情境包括交通工具在環境中的速度，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為辨識交通工具前方的環境的一部分的一或多個表示，其中環境的一部分的大小基於交通工具的速度。

態樣5：根據態樣1至4中任一項所述的裝置，其中情境包括交通工具在環境中的計畫移動，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為根據交通工具的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。

態樣6：根據態樣5之裝置，其中一或多個處理器被配置為：偵測感測器資料中的交通工具的指示燈；及基於偵測到感測器資料中的交通工具的指示燈來決定交通工具的計畫移動，其中交通工具的計畫移動是轉向。

態樣7：根據態樣5至6中任一項所述的裝置，其中一或多個處理器被配置為：從交通工具接收交通工具的計畫移動的指示，其中交通工具的計畫移動是交通工具的計畫路線的一部分。

態樣8：根據態樣1至7中任一項所述的裝置，其中情境包括環境中除了交通工具以外的物件，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為辨識包括物件的環境的一部分的一或多個表示。

態樣9：根據態樣1至8中任一項所述的裝置，其中一或多個處理器被配置為：基於交通工具的一或多個計畫移動，辨識交通工具與環境中的物件之間的碰撞的風險；及使得基於環境的增強表示的警報在交通工具處被輸出，其中警報指示交通工具與物件之間的碰撞的風險。

態樣10：根據態樣1至9中任一項所述的裝置，其中情境包括環境中除了交通工具以外的物件的計畫移動，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為根據物件的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。

態樣11：根據態樣1至10中任一項所述的裝置，其中為了基於情境辨識多個不同表示的子集，一或多個處理器被配置為辨識與多個不同表示的子集之每一者表示相關聯的置信度超過置信度臨限值，其中多個不同表示中的一個的置信度與多個不同表示中的一個表示交通工具前方的環境的一部分的置信相關聯。

態樣12：根據態樣11之裝置，其中交通工具前方的環境的一部分包括交通工具。

態樣13：根據態樣11至12中任一項所述的裝置，其中置信度基於多個不同表示中的一個的解析度。

態樣14：根據態樣11至13中任一項所述的裝置，其中置信度基於多個不同表示中的一個中的照明級別。

態樣15：根據態樣11至14中任一項所述的裝置，其中置信度基於使用多個不同表示中的一個的物件偵測。

態樣16：根據態樣1至15中任一項所述的裝置，其中為了接收環境的感測器資料，一或多個處理器被配置為從環境中的第二交通工具接收包括多個不同表示中的至少一個的感測器資料的至少一部分。

態樣17：根據態樣1至16中任一項所述的裝置，其中為了接收環境的感測器資料，一或多個處理器被配置為從環境中的路側單元（RSU）接收包括多個不同表示中的至少一個的感測器資料的至少一部分。

態樣18：根據態樣1至17中任一項所述的裝置，其中為了接收環境的感測器資料，一或多個處理器被配置為從環境中的相機接收包括多個不同表示中的至少一個的感測器資料的至少一部分。

態樣19：根據態樣1至18中任一項所述的裝置，其中多個不同表示包括使用至少一個深度感測器擷取的深度資料。

態樣20：根據態樣1至19中任一項所述的裝置，其中多個不同表示包括使用至少一個影像感測器擷取的影像資料。

態樣21：根據態樣1至20中任一項所述的裝置，其中一或多個處理器被配置為：從交通管理控制器接收交通資料，其中情境包括交通資料的至少一部分，其中交通資料的一部分與包括交通工具的環境的至少一部分相關聯。

態樣22：根據態樣1至21中任一項所述的裝置，其中為了至少部分地基於合併多個不同表示的子集來使得交通工具的環境的增強表示被產生，一或多個處理器被配置為將多個不同表示的子集中的至少兩個不同的表示融合在一起。

態樣23：根據態樣22之裝置，其中至少兩個不同的表示包括由影像感測器擷取的影像和由深度感測器擷取的深度資料集，其中為了將至少兩個不同的表示融合在一起，一或多個處理器使影像的部分與深度資料集中表示環境的相應部分的相應部分關聯。

態樣24：根據態樣1至23中任一項所述的裝置，其中為了基於與環境中的交通工具對應的情境來辨識多個不同表示的子集，一或多個處理器被配置為將感測器資料和情境輸入一或多個已訓練的機器學習模型，該機器學習模型輸出多個不同表示的子集的指示。

態樣25：根據態樣24之裝置，其中一或多個處理器被配置為：回應於接收環境的增強表示來辨識交通工具的反應；且使用情境、多個不同表示的子集及反應作為訓練資料來更新一或多個已訓練的機器學習模型。

態樣26：根據態樣1至25中任一項所述的裝置，其中為了從一或多個感測器獲得環境的感測器資料，一或多個處理器被配置為使用接收器、收發器及/或通訊介面中的至少一個來從一或多個感測器獲得環境的感測器資料。

態樣27：根據態樣1至26中任一項所述的裝置，其中為了從一或多個感測器獲得環境的感測器資料，一或多個處理器被配置為從包括一或多個感測器中的至少一個的至少一個設備獲得環境的感測器資料。

態樣28：根據態樣27之裝置，其中至少一個設備與裝置是非並置的。

態樣29：根據態樣1至28中任一項所述的裝置，其中為了從一或多個感測器獲得環境的感測器資料，一或多個處理器被配置為從包括一或多個感測器中的至少一個的多個設備獲得環境的感測器資料。

態樣30：根據態樣29之裝置，其中多個設備彼此之間是非並置的。

態樣31：根據態樣1至30中任一項所述的裝置，其中為了基於情境辨識環境的一或多個部分的多個不同表示的子集，一或多個處理器被配置為在沒有任何使用者輸入的情況下辨識環境的一或多個部分的多個不同表示的子集。

態樣32：根據態樣1至31中任一項所述的裝置，其中為了基於情境辨識環境的一或多個部分的多個不同表示的子集，一或多個處理器被配置為基於由使用者使用使用者介面進行的選擇來辨識環境的一或多個部分的多個不同表示的子集。

態樣33：根據態樣1至32中任一項所述的裝置，其中為了基於情境辨識環境的一或多個部分的多個不同表示的子集，一或多個處理器被配置為基於與使用者相關聯的偏好來辨識環境的一或多個部分的多個不同表示的子集。

態樣34：根據態樣1至33中任一項所述的裝置，其中多個不同表示中的至少第一表示是從第一交通工具接收的，且其中多個不同表示中的至少第二表示是從第二交通工具接收的。

態樣35：根據態樣1至34中任一項所述的裝置，其中多個不同表示中的至少第一表示是從第一交通工具接收的，且其中多個不同表示中的至少第二表示是從路側單元（RSU）、多存取邊緣計算（MEC）系統或交通管理控制器（TMC）中的至少一個接收的。

態樣36：根據態樣1至35中任一項所述的裝置，其中多個不同表示中的至少第一表示是從第一路側單元（RSU）接收的，且其中多個不同表示中的至少第二表示是從第二RSU接收的。

態樣37：根據態樣1至36中任一項所述的裝置，其中多個不同表示中的至少第一表示是從交通工具接收的，且其中多個不同表示中的至少第二表示是從第二交通工具接收的。

態樣38：根據態樣1至37中任一項所述的裝置，其中多個不同表示中的至少第一表示是從交通工具接收的，且其中多個不同表示中的至少第二表示是從路側單元（RSU）、多存取邊緣計算（MEC）系統或交通管理控制器（TMC）中的至少一個接收的。

態樣39：根據態樣1至38中任一項所述的裝置，其中裝置包括遠離交通工具的計算設備，且其中一或多個處理器被配置為：在使得交通工具的環境的增強表示被產生之前辨識環境中的交通工具；及向交通工具發送環境的增強表示的指示。

態樣40：根據態樣39之裝置，其中裝置的計算設備是多存取邊緣計算（MEC）系統、路側單元（RSU）系統、遠端伺服器或交通工具計算設備中的一個，其中交通工具計算設備是環境中的第二交通工具的一部分。

態樣41：根據態樣1至39中任一項所述的裝置，其中裝置包括交通工具的交通工具計算設備，且其中一或多個處理器被配置為使用交通工具的輸出設備來輸出環境的增強表示的指示。

態樣42：一種用於成像的方法，該方法包括：從至少一個設備的一或多個感測器獲得環境的感測器資料，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集，其中情境至少包括交通工具在環境中的位置；及至少部分地基於合併多個不同表示的子集，使得用於交通工具的環境的增強表示被產生。

態樣43：根據態樣42之方法，其中基於情境辨識多個不同表示的子集包括辨識包括交通工具的位置的環境的一部分的一或多個表示。

態樣44：根據態樣42至43中任一項所述的方法，其中情境包括交通工具在環境中的行進方向，其中基於情境辨識多個不同表示的子集包括辨識在交通工具的行進方向上的交通工具前方的環境的一部分的一或多個表示。

態樣45：根據態樣42至44中任一項所述的方法，其中情境包括交通工具在環境中的速度，其中基於情境辨識多個不同表示的子集包括辨識交通工具前方的環境的一部分的一或多個表示，其中環境的一部分的大小基於交通工具的速度。

態樣46：根據態樣42至45中任一項所述的方法，其中情境包括交通工具在環境中的計畫移動，其中基於情境辨識多個不同表示的子集包括根據交通工具的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。

態樣47：根據態樣46之方法，亦包括：偵測感測器資料中的交通工具的指示燈；及基於偵測到感測器資料中的交通工具的指示燈來決定交通工具的計畫移動，其中交通工具的計畫移動是轉向。

態樣48：根據態樣46至47中任一項所述的方法，亦包括：從交通工具接收交通工具的計畫移動的指示，其中交通工具的計畫移動是交通工具的計畫路線的一部分。

態樣49：根據態樣42至48中任一項所述的方法，其中情境包括環境中除了交通工具以外的物件，其中基於情境辨識多個不同表示的子集包括辨識包括物件的環境的一部分的一或多個表示。

態樣50：根據態樣42至49中任一項所述的方法，亦包括：基於交通工具的一或多個計畫移動，辨識交通工具與環境中的物件之間的碰撞的風險；及使得基於環境的增強表示的警報在交通工具處被輸出，其中警報指示交通工具與物件之間的碰撞的風險。

態樣51：根據態樣42至50中任一項所述的方法，其中情境包括環境中除了交通工具以外的物件的計畫移動，其中基於情境辨識多個不同表示的子集包括根據物件的計畫移動來辨識交通工具前方的環境的一部分的一或多個表示。

態樣52：根據態樣42至51中任一項所述的方法，其中基於情境辨識多個不同表示的子集包括辨識與多個不同表示的子集之每一者表示相關聯的置信度超過置信度臨限值，其中多個不同表示中的一個的置信度與多個不同表示中的一個表示交通工具前方的環境的一部分的置信相關聯。

態樣53：根據態樣52之方法，其中交通工具前方的環境的一部分包括交通工具。

態樣54：根據態樣52至53中任一項所述的方法，其中置信度基於多個不同表示中的一個的解析度。

態樣55：根據態樣52至54中任一項所述的方法，其中置信度基於多個不同表示中的一個中的照明級別。

態樣56：根據態樣52至55中任一項所述的方法，其中置信度基於使用多個不同表示中的一個的物件偵測。

態樣57：根據態樣42至56中任一項所述的方法，其中接收環境的感測器資料包括從環境中的第二交通工具接收包括多個不同表示中的至少一個的感測器資料的至少一部分。

態樣58：根據態樣42至57中任一項所述的方法，其中接收環境的感測器資料包括從環境中的路側單元（RSU）接收包括多個不同表示中的至少一個的感測器資料的至少一部分。

態樣59：根據態樣42至58中任一項所述的方法，其中接收環境的感測器資料包括從環境中的相機接收包括多個不同表示中的至少一個的感測器資料的至少一部分。

態樣60：根據態樣42至59中任一項所述的方法，其中多個不同表示包括使用至少一個深度感測器擷取的深度資料。

態樣61：根據態樣42至60中任一項所述的方法，其中多個不同表示包括使用至少一個影像感測器擷取的影像資料。

態樣62：根據態樣42至61中任一項所述的方法，亦包括：從交通管理控制器接收交通資料，其中情境包括交通資料的至少一部分，其中交通資料的一部分與包括交通工具的環境的至少一部分相關聯。

態樣63：根據態樣42至62中任一項所述的方法，其中至少部分地基於合併多個不同表示的子集來使得交通工具的環境的增強表示被產生包括將多個不同表示的子集中的至少兩個不同的表示融合在一起。

態樣64：根據態樣63之方法，其中至少兩個不同的表示包括由影像感測器擷取的影像和由深度感測器擷取的深度資料集，且其中將至少兩個不同的表示融合在一起包括使影像的部分與深度資料集中表示環境的相應部分的相應部分關聯。

態樣65：根據態樣42至64中任一項所述的方法，其中基於與環境中的交通工具對應的情境來辨識多個不同表示的子集包括將感測器資料和情境輸入一或多個已訓練的機器學習模型，該機器學習模型輸出多個不同表示的子集的指示。

態樣66：根據態樣65之方法，亦包括：回應於接收環境的增強表示來辨識交通工具的反應；且使用情境、多個不同表示的子集及反應作為訓練資料來更新一或多個已訓練的機器學習模型。

態樣67：根據態樣42至66中任一項所述的方法，其中從一或多個感測器獲得環境的感測器資料包括使用接收器、收發器及/或通訊介面中的至少一個來從一或多個感測器獲得環境的感測器資料。

態樣68：根據態樣42至67中任一項所述的方法，其中從一或多個感測器獲得環境的感測器資料包括從包括一或多個感測器中的至少一個的至少一個設備獲得環境的感測器資料。

態樣69：根據態樣68之方法，其中至少一個設備與執行上述方法的裝置是非並置的。

態樣70：根據態樣42至69中任一項所述的方法，其中從一或多個感測器獲得環境的感測器資料包括從包括一或多個感測器中的至少一個的多個設備獲得環境的感測器資料。

態樣71：根據態樣70之方法，其中多個設備彼此之間是非並置的。

態樣72：根據態樣42至71中任一項所述的方法，其中基於情境辨識環境的一或多個部分的多個不同表示的子集包括在沒有任何使用者輸入的情況下辨識環境的一或多個部分的多個不同表示的子集。

態樣73：根據態樣42至72中任一項所述的方法，其中基於情境辨識環境的一或多個部分的多個不同表示的子集包括基於由使用者使用使用者介面進行的選擇來辨識環境的一或多個部分的多個不同表示的子集。

態樣74：根據態樣42至73中任一項所述的方法，其中基於情境辨識環境的一或多個部分的多個不同表示的子集包括基於與使用者相關聯的偏好來辨識環境的一或多個部分的多個不同表示的子集。

態樣75：根據態樣42至74中任一項所述的方法，其中多個不同表示中的至少第一表示是從第一交通工具接收的，且其中多個不同表示中的至少第二表示是從第二交通工具接收的。

態樣76：根據態樣42至75中任一項所述的方法，其中多個不同表示中的至少第一表示是從第一交通工具接收的，且其中多個不同表示中的至少第二表示是從路側單元（RSU）、多存取邊緣計算（MEC）系統或交通管理控制器（TMC）中的至少一個接收的。

態樣77：根據態樣42至76中任一項所述的方法，其中多個不同表示中的至少第一表示是從第一路側單元（RSU）接收的，且其中多個不同表示中的至少第二表示是從第二RSU接收的。

態樣78：根據態樣42至77中任一項所述的方法，其中多個不同表示中的至少第一表示是從交通工具接收的，且其中多個不同表示中的至少第二表示是從第二交通工具接收的。

態樣79：根據態樣42至78中任一項所述的方法，其中多個不同表示中的至少第一表示是從交通工具接收的，且其中多個不同表示中的至少第二表示是從路側單元（RSU）、多存取邊緣計算（MEC）系統或交通管理控制器（TMC）中的至少一個接收的。

態樣80：根據態樣42至79中任一項所述的方法，其中該方法由包括遠離交通工具的計算設備的裝置執行，亦包括：在使得交通工具的環境的增強表示被產生之前辨識環境中的交通工具；及向交通工具發送環境的增強表示的指示。

態樣81：根據態樣80之方法，其中裝置的計算設備是多存取邊緣計算（MEC）系統、路側單元（RSU）系統、遠端伺服器或交通工具計算設備中的一個，其中交通工具計算設備是環境中的第二交通工具的一部分。

態樣82：根據態樣42至81中任一項所述的方法，其中該方法由包括交通工具的交通工具計算設備的裝置執行，亦包括：使用交通工具的輸出設備來輸出環境的增強表示的指示。

態樣83：一種其上儲存有指令的非暫時性電腦可讀取媒體，該指令在由一或多個處理器執行時使一或多個處理器：從至少一個設備的一或多個感測器獲得環境的感測器資料，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集，其中情境至少包括交通工具在環境中的位置；及至少部分地基於合併多個不同表示的子集，使得用於交通工具的環境的增強表示被產生。

態樣84：根據態樣83之非暫時性電腦可讀取媒體，亦包括根據態樣2至41中任一項及/或態樣43至82中任一項所述的操作。

態樣85：一種用於影像處理的裝置，該裝置包括：用於從至少一個設備的一或多個感測器獲得環境的感測器資料的手段，其中感測器資料包括從多個視角對環境的一或多個部分的多個不同表示；用於基於與環境中的交通工具對應的情境來辨識環境的一或多個部分的多個不同表示的子集的手段，其中情境至少包括交通工具在環境中的位置；及用於至少部分地基於合併多個不同表示的子集，使得用於交通工具的環境的增強表示被產生的手段。

態樣86：根據態樣85之裝置，亦包括用於執行根據態樣2至41中任一項及/或態樣43至82中任一項所述的操作的手段。

100:影像擷取和處理系統 105A:影像擷取設備 105B:影像處理設備 110:場景 115:鏡頭 120:控制機構 125A:曝光控制機構 125B:對焦控制機構 125C:變焦控制機構 130:影像感測器 140:隨機存取記憶體（RAM） 145:唯讀記憶體（ROM） 150:影像處理器 152:主機處理器 154:ISP 156:I/O 160:輸入/輸出（I/O）設備 200:協調增強感測系統 202:資料來源 204:TMC 206:伺服器 208:接收方設備 210:處理器 212:感測器 214:收發器 216:處理器 218:感測器 220:收發器 222:交通控制引擎 224:處理器 226:收發器 228:物件追蹤引擎 230:資料融合引擎 232:已訓練的ML模組 234:回饋引擎 236:處理器 238:感測器 240:收發器 242:輸出設備 244:警報引擎 300:俯視視圖 310:交通工具 315:計畫路線 320:交通工具 325:計畫路線 330:交通工具 335:相機 337:相機 340:FOV 342:FOV 350:感興趣區域 352:感興趣區域 370:碰撞 400:俯視視圖 401:範圍 402:UE 404:UE 406:UE 407:RSU 408:UE 414:傳輸 416:傳輸 418:傳輸 420:傳輸 500:俯視視圖 502:主交通工具（HV） 504:第一遠端交通工具（RV1） 506:非V2X實體（NV） 508:路側單元（RSU） 510:俯視視圖 512:實體障礙物 520:俯視視圖 522:易受傷害道路使用者（VRU） 530:泳道圖 532:塊 534:感測器資料共用訊息（SDSM） 600:概念圖 602:HV 604:RV1 606:NV 608:RSU 610:SDSM 612:SDSM 622:VRU 700:俯視視圖 705:交通工具 710:交通工具 715:交通工具 720:交通工具 725:交通工具 740:MEC 745:eNodeB或gNodeB 750:RSU 755:TMC 760:相機 790:羅盤 800:俯視視圖 805:交通工具 810:交通工具 815:畫路線 820:交通工具 825:畫路線 830:交通工具 835:交通工具 840:MEC 845:eNodeB或gNodeB 850:RSU 855:TMC 860:相機 870:環境 875:環境 890:羅盤 900:神經網路 910:輸入層 912A:隱藏層 912B:隱藏層 912N:隱藏層 914:輸出層 916:節點 1000:協調增強感測程序 1005:操作 1010:操作 1015:操作 1100:計算系統 1105:連接 1110:處理器 1112:快取記憶體 1115:系統記憶體 1120:唯讀記憶體（ROM） 1125:隨機存取記憶體（RAM） 1130:儲存裝置 1132:服務 1134:服務 1135:輸出設備 1136:服務 1140:通訊介面 1145:輸入設備 E:東 HV:主交通工具 N:北 NV:非V2X實體（NV）506的 RSU:路側單元 RV1:遠端交通工具 S:南 VRU:易受傷害道路使用者 W:西

下文參考以下附圖詳細描述了本申請案的說明性實施例：

圖1是圖示根據一些實例的影像擷取和處理系統的示例架構的方塊圖；

圖2是圖示根據一些實例的執行協調增強感測程序的協調增強感測系統的示例架構的方塊圖；

圖3是圖示根據一些實例的在具有多個交通工具的道路環境中的協調增強感測的實例的俯視視圖；

圖4是圖示根據一些實例的無線通訊中涉及的設備的實例的俯視視圖；

圖5A是圖示根據一些實例的用於基於非車到萬物（非V2X）交通工具的偵測的合作和自動駕駛系統的感測器共用的實例的俯視視圖；

圖5B是圖示根據一些實例的用於基於障礙物偵測的合作和自動駕駛系統的感測器共用的實例的俯視視圖；

圖5C是圖示根據一些實例的用於基於易受傷害道路使用者（VRU）偵測的合作和自動駕駛系統的感測器共用的實例的俯視視圖；

圖5D是圖示根據一些實例的用於基於感測器資料共用訊息（SDSM）的傳輸的合作和自動駕駛系統的感測器共用的實例的泳道圖（swim lane diagram）；

圖6是圖示根據一些實例的用於合作和自動駕駛系統的感測器共用的實例的概念圖；

圖7是圖示根據一些實例的在具有多個交通工具的道路環境中的協調增強感測的實例的俯視視圖；

圖8是圖示根據一些實例的在向不同交通工具提供不同的增強視野的道路環境中的協調增強感測的實例的俯視視圖；

圖9是圖示根據一些實例的可用於協調增強感測操作的神經網路的實例的方塊圖；

圖10是圖示根據一些實例的協調增強感測程序的流程圖；及

圖11是圖示用於實現本文描述的某些態樣的計算系統的實例的示圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

200:協調增強感測系統

202:資料來源

204:TMC

206:伺服器

208:接收方設備

210:處理器

212:感測器

214:收發器

216:處理器

218:感測器

220:收發器

222:交通控制引擎

224:處理器

226:收發器

228:物件追蹤引擎

230:資料融合引擎

232:已訓練的ML模組

234:回饋引擎

236:處理器

238:感測器

240:收發器

242:輸出設備

244:警報引擎

Claims (30)

1. 一種用於感測器資料處理的裝置，該裝置包括： 至少一個記憶體；及 耦合到該至少一個記憶體的一或多個處理器，該一或多個處理器被配置為： 從一或多個感測器獲得環境的感測器資料，其中該感測器資料包括從多個視角對該環境的一或多個部分的多個不同表示； 基於與該環境中的交通工具對應的情境來辨識該環境的該一或多個部分的該多個不同表示的一子集，其中該情境至少包括該交通工具在該環境中的一位置；及 至少部分地基於合併該多個不同表示的該子集，使得用於該交通工具的該環境的增強表示被產生。
2. 根據請求項1之裝置，其中為了基於該情境來辨識該多個不同表示的該子集，該一或多個處理器被配置為：辨識包括該交通工具的該位置的該環境的一部分的一或多個表示。
3. 根據請求項1之裝置，其中該情境包括該交通工具在該環境中的行進方向，其中為了基於該情境來辨識該多個不同表示的該子集，該一或多個處理器被配置為：辨識在該交通工具的該行進方向上的該交通工具前方的該環境的一部分的一或多個表示。
4. 根據請求項1之裝置，其中該情境包括該交通工具在該環境中的一速度，其中為了基於該情境來辨識該多個不同表示的該子集，該一或多個處理器被配置為：辨識該交通工具前方的該環境的一部分的一或多個表示，其中該環境的該一部分的一大小基於該交通工具的一速度。
5. 根據請求項1之裝置，其中該情境包括該交通工具在該環境中的一計畫移動，其中為了基於該情境來辨識該多個不同表示的該子集，該一或多個處理器被配置為：根據該交通工具的該計畫移動來辨識在該交通工具前方的該環境的一部分的一或多個表示。
6. 根據請求項5之裝置，其中該一或多個處理器被配置為： 偵測該感測器資料中的該交通工具的一指示燈；及 基於偵測到該感測器資料中的該交通工具的該指示燈，決定該交通工具的該計畫移動，其中該交通工具的該計畫移動是一轉向。
7. 根據請求項5之裝置，其中該一或多個處理器被配置為： 從該交通工具接收該交通工具的該計畫移動的一指示，其中該交通工具的該計畫移動是該交通工具的一計畫路線的一部分。
8. 根據請求項1之裝置，其中該情境包括該環境中除了該交通工具以外的一物件，其中為了基於該情境來辨識該多個不同表示的該子集，該一或多個處理器被配置為辨識包括該物件的該環境的一部分的一或多個表示。
9. 根據請求項1之裝置，其中該一或多個處理器被配置為： 基於該交通工具的一或多個計畫移動，辨識該交通工具與該環境中的一物件之間的一碰撞的一風險；及 使得基於該環境的該增強表示的一警報在該交通工具處被輸出，其中該警報指示該交通工具與該物件之間的該碰撞的該風險。
10. 根據請求項1之裝置，其中為了基於該情境來辨識該多個不同表示的該子集，該一或多個處理器被配置為：辨識與該多個不同表示的該子集之每一者表示相關聯的一置信度超過一置信度臨限值，其中該多個不同表示中的一個的一置信度與該多個不同表示中的該一個表示該交通工具前方的該環境的一部分的一置信相關聯。
11. 根據請求項1之裝置，其中為了接收該環境的該感測器資料，該一或多個處理器被配置為：從該環境中的一第二交通工具接收包括該多個不同表示中的至少一個的該感測器資料的至少一部分。
12. 根據請求項1之裝置，其中為了接收該環境的該感測器資料，該一或多個處理器被配置為：從該環境中的一路側單元（RSU）接收包括該多個不同表示中的至少一個的該感測器資料的至少一部分的。
13. 根據請求項1之裝置，其中為了接收該環境的該感測器資料，該一或多個處理器被配置為：從該環境中的一相機接收包括該多個不同表示中的至少一個的該感測器資料的至少一部分的。
14. 根據請求項1之裝置，其中該多個不同表示包括使用至少一個深度感測器擷取的深度資料。
15. 根據請求項1之裝置，其中該多個不同表示包括使用至少一個影像感測器擷取的影像資料。
16. 根據請求項1之裝置，其中為了至少部分地基於合併該多個不同表示的該子集來使得用於該交通工具的該環境的該增強表示被產生，該一或多個處理器被配置為：將該多個不同表示的該子集中的至少兩個不同的表示融合在一起。
17. 根據請求項1之裝置，其中該裝置包括遠離該交通工具的一計算設備，且其中該一或多個處理器被配置為： 在使得該交通工具的該環境的該增強表示被產生之前辨識該環境中的該交通工具；及 向該交通工具發送該環境的該增強表示的一指示。
18. 根據請求項17之裝置，其中該裝置的該計算設備是一多存取邊緣計算（MEC）系統、一路側單元（RSU）系統、一遠端伺服器或一交通工具計算設備中的一個，其中該交通工具計算設備是該環境中的一第二交通工具的一部分。
19. 根據請求項1之裝置，其中該裝置包括該交通工具的一交通工具計算設備，且其中該一或多個處理器被配置為： 使用該交通工具的一輸出設備來輸出該環境的該增強表示的一指示。
20. 一種用於感測器資料處理的方法，該方法包括以下步驟： 從一或多個感測器獲得環境的感測器資料，其中該感測器資料包括從多個視角對該環境的一或多個部分的多個不同表示； 基於與該環境中的交通工具對應的情境來辨識該環境的該一或多個部分的該多個不同表示的一子集，其中該情境至少包括該交通工具在該環境中的一位置；及 至少部分地基於合併該多個不同表示的該子集，使得用於該交通工具的該環境的一增強表示被產生。
21. 根據請求項20之方法，其中基於該情境來辨識該多個不同表示的該子集包括：辨識包括該交通工具的該位置的該環境的一部分的一或多個表示。
22. 根據請求項20之方法，其中該情境包括該交通工具在該環境中的一行進方向，其中基於該情境來辨識該多個不同表示的該子集包括：辨識在該交通工具的該行進方向上的該交通工具前方的該環境的一部分的一或多個表示。
23. 根據請求項20之方法，其中該情境包括該交通工具在該環境中的一速度，其中基於該情境來辨識該多個不同表示的該子集包括：辨識該交通工具前方的該環境的一部分的一或多個表示，其中該環境的該一部分的一大小基於該交通工具的一速度。
24. 根據請求項20之方法，其中該情境包括該交通工具在該環境中的一計畫移動，其中基於該情境來辨識該多個不同表示的該子集包括：根據該交通工具的該計畫移動辨識在該交通工具前方的該環境的一部分的一或多個表示。
25. 根據請求項20之方法，其中該情境包括該環境中除了該交通工具以外的一物件，其中基於該情境來辨識該多個不同表示的該子集包括：辨識包括該物件的該環境的一部分的一或多個表示。
26. 根據請求項20之方法，其中基於該情境來辨識該多個不同表示的該子集包括：辨識與該多個不同表示的該子集之每一者表示相關聯的一置信度超過一置信度臨限值，其中該多個不同表示中的一個的一置信度與該多個不同表示中的該一個表示該交通工具前方的該環境的一部分的一置信相關聯。
27. 根據請求項20之方法，其中接收該環境的該感測器資料包括：從該環境中的一第二交通工具接收包括該多個不同表示中的至少一個的該感測器資料的至少一部分的。
28. 根據請求項20之方法，其中至少部分地基於合併該多個不同表示的該子集來使得用於該交通工具的該環境的該增強表示被產生包括：將該多個不同表示的該子集中的至少兩個不同的表示融合在一起。
29. 根據請求項20之方法，其中該方法由包括遠離該交通工具的一計算設備的一裝置執行，該方法亦包括： 在使得該交通工具的該環境的該增強表示被產生之前辨識該環境中的該交通工具；及 向該交通工具發送該環境的該增強表示的一指示。
30. 根據請求項20之方法，其中該方法由包括該交通工具的一交通工具計算設備的一裝置執行，該方法亦包括：使用該交通工具的一輸出設備來輸出該環境的該增強表示的一指示。

Images