TW201638833A - 使用圖像資料之位置資料及縮放空間表示之物件偵測 - Google Patents

使用圖像資料之位置資料及縮放空間表示之物件偵測 Download PDF

Info

Publication number
TW201638833A
TW201638833A TW104142540A TW104142540A TW201638833A TW 201638833 A TW201638833 A TW 201638833A TW 104142540 A TW104142540 A TW 104142540A TW 104142540 A TW104142540 A TW 104142540A TW 201638833 A TW201638833 A TW 201638833A
Authority
TW
Taiwan
Prior art keywords
location
zoom
data
location data
image
Prior art date
Application number
TW104142540A
Other languages
English (en)
Inventor
楊瑞多
寧 畢
楊思超
吳新宙
郭烽
任建鋒
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201638833A publication Critical patent/TW201638833A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

本發明揭示一種裝置，其包括經組態以接收一場景之圖像資料之一物件偵測器，該場景係自該裝置觀看到且包括一物件。該圖像資料與該場景之多個縮放空間表示相關聯。該物件偵測器經組態以回應於位置資料及該等多個縮放空間表示中之一第一縮放空間表示而偵測該物件。

Description

使用圖像資料之位置資料及縮放空間表示之物件偵測
本發明大體而言係關於物件偵測。更特定而言，本發明係關於回應於圖像資料及位置資料之物件偵測。
器件可使用基於圖像之技術執行物件偵測操作。舉例而言，可將攝影機安裝在運載工具上或併入於電子器件中，且攝影機可將圖像資料供應至處理器。處理器可執行電腦視覺應用程式來分析(或「掃描」)圖像資料以偵測物件，諸如在運載工具或行動器件之行進視野內或附近之障礙(例如，行人、樹木、家畜、獵物及/或另一物件)。
在一些情況中，基於圖像之物件偵測可係緩慢且無效的。舉例而言，用於辨識圖像中之物件之圖像「搜尋」可涉及多個耗時操作，諸如圖像分段及視窗化操作。此外，基於圖像之物件偵測可與大範圍之不確定性(或大誤差容限)相關聯，此可導致所偵測物件位置不可靠。此等問題可使物件偵測之既定用途落空。作為實例，在運載工具應用中，基於圖像之物件偵測可過於緩慢而無法使得運載工具能夠及時減速、停止或以其他方式改變路線以避免障礙。
一些器件可使用基於位置之資訊(諸如，雷達資訊)來偵測物件。然而，基於位置之資訊可經受大範圍之不確定性(例如，此等器件可具有大誤差容限)。
可使用位置資料及圖像資料之縮放空間表示來執行物件偵測。縮放空間表示中之每一者可係圖像資料之不同解析度版本。為了說明，器件(例如，運載工具或電子器件)可包括經組態以產生圖像資料之圖像感測器(例如，攝影機)。該器件可亦包括或接收與待偵測之物件相關聯及/或指示物件可存在於其中之場景中之一或多個區域的位置資料。舉例而言，可自經組態以產生位置資料之位置感測器(例如，雷達器件、全球定位系統(GPS)器件，等等)接收位置資料。位置感測器可耦接至圖像感測器件或與圖像感測器件分離。在另一實例中，位置資料可對應於指示所關注物件(例如，待偵測之物件)可存在於何處之三維(3D)地圖之一或多個區域，諸如場景或圖像之高出路面或地面之區域。在一些情況下，場景之一個以上區域可由3D地圖識別且經接收作為位置資料。舉例而言，可期望偵測行車道之左側及右側兩者上之物件。在此等器件中，替代搜尋所有圖像資料以偵測物件(例如，行人、樹木、家畜、獵物及/或另一物件)，器件(例如，處理器)可搜尋位置資料與圖像資料之縮放空間表示之重疊、相交或會聚處以偵測物件。器件可經組態以搜尋一或多個縮放空間表示來偵測物件，且可搜尋不同縮放空間表示以偵測不同物件。較之其他技術(例如，對所有圖像資料之「蠻力」或澈底搜尋)，搜尋位置資料與圖像資料之一或多個縮放空間表示之重疊或相交處可在計算上較不複雜，且因此比不考量位置資料之其他物件偵測技術更高效。
作為說明性非限制性實例，運載工具可執行行人偵測。為偵測行人，運載工具可利用基於模型之物件偵測，其中模型假設所關注物件在由攝影機提供之圖像資料中之高度將小於或等於特定數目個像素(例如，高度小於或等於100個像素)。當行人接近運載工具時，行人之高度可超過100個像素，且因此，該模型可不能夠成功偵測到行 人。為偵測行人，可對圖像資料之經減少取樣之縮放空間表示重新執行基於模型之物件偵測。舉例而言，若行人之高度在原始(例如，全解析度)圖像中係180個像素，則行人之高度在以因數2進行減少取樣之縮放空間表示中將係90個像素，且基於模型之物件偵測可在經減少取樣之圖像中成功偵測到行人。因此，為了在不同距離處成功偵測物件(例如，行人)，運載工具可對由攝影機擷取之圖像資料之多個縮放空間表示執行物件偵測(例如，「高」或「全」解析度表示、「中」解析度表示、「低」解析度表示，等等)。應注意，本發明並不限於運載工具之物件偵測。在各種實施例中，作為說明性非限制性實例，可以在電子器件、行動器件、個人佩戴式攝影機、頭戴式顯示器或航空載具處及/或基於由電子器件、行動器件、個人佩戴式攝影機、頭戴式顯示器或航空載具之圖像感測器擷取之圖像執行物件偵測。
反覆地全面搜尋多個縮放空間表示中之每一者可係耗時的。根據所描述技術，物件偵測器可不搜尋與物件(例如，行人)之可能位置不相交或重疊之縮放空間表示。此外，當縮放空間表示與物件之可能位置重疊時，搜尋可限制於對應於重疊之所關注區域。物件之可能位置可由位置感測器提供，該位置感測器係運載工具之一部分或與運載工具分離。另外，物件之可能位置可至少部分地基於物件可存在於其中之3D地圖之一或多個區域。應理解，如本文中所使用，偵測物件可包括：偵測物件在圖像資料中(或在圖像資料之縮放空間表示中)之表示，偵測實際實體物件(例如，基於超音波、雷達，等等)，或兩者。
在特定態樣中，一種裝置包括經組態以接收位置資料及來自圖像感測器的場景之圖像資料之物件偵測器。該場景係自運載工具觀看到且包括物件。該圖像資料與該場景之多個縮放空間表示相關聯(例如，可用於產生該等多個縮放空間表示)。該物件偵測器經組態以回 應於該位置資料及該等多個縮放空間表示中之第一縮放空間表示而偵測該物件。
在另一特定態樣中，一種方法包括：在處理器處，自圖像感測器接收場景之圖像資料，該場景係自裝置觀看到且包括物件。該圖像資料與該場景之多個縮放空間表示相關聯。該方法亦包括：在該處理器處，接收與該物件相關聯或指示該物件可存在於其中之區域的位置資料。該方法進一步包括：在該處理器處，基於該等多個縮放空間表示中之第一縮放空間表示與該位置資料之間的重疊而識別該第一縮放空間表示之搜尋區域。該方法包括：在該處理器處，在該第一縮放空間表示之搜尋區域中執行物件偵測。
在另一特定態樣中，一種裝置包括用於接收場景之圖像資料之構件，該場景係自該裝置觀看到且包括物件，其中該圖像資料與該場景之多個縮放空間表示相關聯。該裝置進一步包括用於處理之構件。用於處理之該構件經組態以基於該等多個縮放空間表示中之第一縮放空間表示和與該物件相關聯或指示該物件可存在於其中之區域的位置資料之間的重疊而識別該第一縮放空間表示之搜尋區域。用於處理之該構件亦經組態以在該第一縮放空間表示之該搜尋區域中執行物件偵測。
在另一特定態樣中，一種電腦可讀儲存器件儲存指令，該等指令可由處理器執行以致使處理器自圖像感測器接收場景之圖像資料，該場景係自裝置觀看到且包括物件。該圖像資料與該場景之多個縮放空間表示相關聯。該等指令亦可執行以接收與該物件相關聯或指示該物件可存在於其中之區域的位置資料，及基於該等多個縮放空間表示中之第一縮放空間表示與該位置資料之間的重疊而識別該第一縮放空間表示之搜尋區域。該等指令可進一步執行以在該第一縮放空間表示之該搜尋區域中執行物件偵測。
由所揭示實施例中之至少一者提供之一個特定優點係可藉由使用與該物件相關聯或指示該物件可存在於其中之區域的位置資料使對圖像資料執行之物件偵測之時間減少。舉例而言，可不對不與位置資料相交或重疊之縮放空間表示執行物件偵測，且對與位置資料相交或重疊之縮放空間表示之物件偵測可限制於所關注之重疊或相交區域。在檢閱包括以下部分：「圖式簡單說明」、「實施方式」及「申請專利範圍」之整個申請案之後，本發明之其他態樣、優點及特徵將變得明瞭。
102‧‧‧運載工具
104‧‧‧圖像感測器
106‧‧‧位置感測器
108‧‧‧處理器
110‧‧‧記憶體
111‧‧‧線段
112‧‧‧物件
113‧‧‧線段
114‧‧‧圖像資料
115‧‧‧線段
115'‧‧‧線段
116‧‧‧位置資料
117‧‧‧視野線
118‧‧‧估計區
119‧‧‧視野線
120‧‧‧第一縮放空間表示
122‧‧‧第二縮放空間表示
124‧‧‧第三縮放空間表示
128‧‧‧物件偵測器
130‧‧‧三維地圖應用程式
202‧‧‧線段
204‧‧‧線段
306‧‧‧位置感測器
340‧‧‧接收器
350‧‧‧連接
600‧‧‧基於3D地圖資料而識別所關注區域之方法
700‧‧‧物件偵測之說明性方法
800‧‧‧電子器件
810‧‧‧處理器
822‧‧‧系統單晶片器件
826‧‧‧顯示控制器
828‧‧‧顯示器
830‧‧‧輸入器件
832‧‧‧記憶體
834‧‧‧編碼器/解碼器
836‧‧‧揚聲器
838‧‧‧麥克風
840‧‧‧無線介面
842‧‧‧天線
844‧‧‧電源供應器
868‧‧‧指令
869‧‧‧物件偵測器
870‧‧‧3維地圖應用程式
880‧‧‧圖像感測器
890‧‧‧位置感測器
C0‧‧‧點
C1‧‧‧點
d‧‧‧距離
I0‧‧‧點
I1‧‧‧點
L0‧‧‧點
L1‧‧‧點
圖1係描繪可操作以使用位置資料及圖像資料之縮放空間表示執行物件偵測之說明性系統的圖；圖2A、圖2B、圖2C及圖2D係描繪圖1之系統之操作之說明性實例的圖；圖3係描繪可操作以使用位置資料及圖像資料之縮放空間表示執行物件偵測之系統之另一說明性實例的圖；圖4係描繪可操作以使用位置資料及圖像資料之縮放空間表示執行物件偵測之系統之另一說明性實施例的圖；圖5A描繪使用三維(3D)地圖資料來執行物件偵測之說明性實例；圖5B描繪可在物件偵測期間使用之遮罩之說明性實例；圖6係說明基於3D地圖資料而識別所關注區域之方法之說明性實例的流程圖；圖7係描繪使用位置資料及圖像資料之縮放空間表示進行物件偵測之方法之說明性實例的流程圖；並且圖8係電子器件之說明性實例的方塊圖。
圖1描繪經組態以執行物件偵測之系統之特定說明性實施例。在圖1之實例中，物件偵測係在運載工具102處執行。然而，應注意，本發明並不限於如此。本文中所揭示之物件偵測器件、方法、系統等等可在替代環境中實施以偵測在車流、視野等等中之物件。舉例而言，本文中所描述之一或多個功能可以以下各項實施：電子器件、行動器件、遊戲主機、汽車系統控制台(例如，ADAS)、可穿戴式器件(例如，個人佩戴式攝影機)、頭戴式顯示器，等等。額外實例包括但不限於機器人或機器人器件、無人航空載具(UAV)及遙控飛機。在圖1之實例中，運載工具102可係機動車輛(例如，汽車、卡車、機車、巴士或火車)、船舶(例如，船或艇)、航空器(例如，飛機或直升飛機)、太空船(例如，太空梭)、腳踏車或另一運載工具。作為說明性實例，運載工具102可係輪式運載工具、履帶式運載工具、軌式運載工具、空中運載工具或滑撬式運載工具。在一些情形中，運載工具102可由一或多個駕駛者操作。舉例而言，運載工具102可包括經組態以為運載工具102之駕駛者提供輔助之進階駕駛輔助系統(ADAS)。在其他情形中，運載工具102可係電腦控制運載工具。此外，儘管圖1之實例系統中之物件偵測係在運載工具102處執行，但應理解，在其他實例中，本文中所揭示之物件偵測可在「雲端」或在運載工具102外部執行。舉例而言，運載工具或其他電子器件可將位置資料及/或圖像資料提供至另一器件以執行物件偵測。
運載工具102(例如，運載工具102之ADAS)可包括一或多個圖像感測器，諸如，說明性圖像感測器104。圖像感測器104可包括攝影機，諸如基於電荷耦合器件(CCD)之攝影機及/或基於互補式金屬氧化物半導體(CMOS)之攝影機。在替代實施例中，圖像感測器104可包括不同類型之感測器(例如，紅外線)。
在圖1之實例中，運載工具102進一步包括一或多個位置感測 器，諸如說明性位置感測器106。作為說明性實例，位置感測器106可包括雷達器件、光偵測與測距(光達)器件、全球定位系統(GPS)器件、超音波器件及/或通信器件(諸如，運載工具通信網路中所使用之專用短程通信(DSRC)器件)。
在圖1之實例中，展示圖像感測器104之三角形視野。應注意，圖像感測器104之視野可以各種方式判定。作為說明性非限制性實例，圖像感測器104(或包括圖像感測器104之裝置)可包括GPS收發器，且可基於圖像感測器104(或裝置)之兩個GPS位置之間的時間差異而判定視野。兩個GPS位置之間的差異可對應於三角形視野之中心線或圖像感測器104之行進方向。作為另一說明性非限制性實例，圖像感測器104之方向可係基於耦接至圖像感測器104或包括於包括圖像感測器104之裝置(諸如運載工具、計算器件或其他裝置)中之運動感測器(例如，加速度計)而判定。因此，即使並非事先知道，仍可判定圖像感測器104之視野及方向。
運載工具102可進一步包括處理器108及記憶體110。記憶體110可儲存可由處理器108存取之指令及資料。處理器108可包括中央處理器單元(CPU)、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、電子控制單元(ECU)、另一處理器件或其組合。處理器108可包括物件偵測器128，諸如基於位置資料及基於縮放空間之物件偵測器。物件偵測器128可對應於運載工具102之硬體組件、可由處理器108執行之軟體(例如，指令)或其組合。
在操作期間，位置感測器106可將位置資料116提供至處理器108。在一些實施方案中，位置資料116可包括與一或多個物件(諸如，說明性物件112)相關聯之雷達資料、光達資料、GPS資料等等。物件112可係靜止的或可處於運動中。舉例而言，作為說明性非限制性實例，物件112可對應於行人、另一運載工具、交通信號燈、道路 障礙(例如，倒塌之交通信號燈、樹枝或瓦礫)、家畜(例如，牛、野牛、馬、綿羊或山羊)、獵物(例如，麋鹿、駝鹿、熊或鹿)，或路邊物件(例如，標誌、廣告牌或路側單元(RSU))。物件112可接近於運載工具102或安置在距運載工具顯著距離處(例如，不接近於運載工具)。舉例而言，物件112可在運載工具102之特定範圍內、在運載工具102之行進視野或方向內，在圖像感測器104之視野內，等等。在一些實施方案中，位置感測器106包括一或多個感測器，該一或多個感測器經組態以對運載工具102之行進視野進行掃描以發現物件(諸如，物件112)。舉例而言，位置感測器106可包括經組態以使用自物件112反射之信號產生位置資料116的雷達器件、超音波器件及/或光達器件。在一些實施方案中，位置感測器106經組態以接收與一或多個物件相關聯之位置資料。舉例而言，位置感測器106可包括專用短程通信器件、RFID器件、個人網路器件或另一通信器件。
圖像感測器104可產生包括物件112之場景之圖像資料114(例如，藉由擷取一或多個圖像)。圖像感測器104可將圖像資料114提供至處理器108。在一些實施方案中，圖像感測器104可回應於來自位置感測器106之命令而產生圖像資料114。在特定說明性實例中，若位置感測器106偵測到物件112(例如，使用雷達、超音波或光達技術，或藉由自另一器件接收GPS及/或DSRC資訊)，則位置感測器106可在連接圖像感測器104與位置感測器106之匯流排處確證控制信號。替代地或另外，圖像感測器104之操作可由處理器108控制。舉例而言，處理器108可回應於自位置感測器106接收到位置資料116而致使圖像感測器104產生圖像資料114。在其他情形中，圖像感測器104可獨立於位置感測器106操作。舉例而言，圖像感測器104可持續地、週期性地或偶爾地擷取圖像且可將圖像之圖像資料(例如，圖像資料114)載入至緩衝器、快取記憶體或其他記憶體(例如，記憶體110)。在此實例 中，回應於自位置感測器106接收到位置資料116，處理器108可自緩衝器、快取記憶體或其他記憶體擷取圖像資料114。為了說明，記憶體110或其部分可充當經組態以儲存自圖像感測器104接收之圖像資料之循環式緩衝器。
舉例而言，圖像資料114可與場景之多個縮放空間表示(諸如，第一縮放空間表示120、第二縮放空間表示122及第三縮放空間表示124)相關聯。縮放空間表示120、122及124中之每一者可與各別圖像解析度相關聯。舉例而言，第一縮放空間表示120可與第一圖像解析度相關聯，第二縮放空間表示122可與低於第一圖像解析度之第二圖像解析度相關聯，且第三縮放空間表示124可與低於第二圖像解析度之第三圖像解析度相關聯。在圖1之實例中，第一縮放空間表示120可對應於投影至圖像感測器104之視野中由線段111表示之「高」、「全」及/或「完全」解析度圖像平面上的場景。第二縮放空間表示122可對應於投影至由線段113表示之「中」解析度圖像平面上之場景，且第三縮放空間表示124可對應於投影至由線段115表示之「低」解析度圖像平面上之場景。因此，如圖1中所展示，線段111、113及115(及對應各別「高」、「中」及「低」解析度圖像平面)距圖像感測器104不同距離。
儘管圖1說明三個縮放空間表示，但應瞭解，本發明亦適用於不同數目個縮放空間表示(例如，兩個縮放空間表示、四個縮放空間表示，或另一數目個縮放空間表示)。在說明性實例中，第一縮放空間表示120對應於處於圖像感測器104之全或完全解析度之圖像資料114，第二縮放空間表示122對應於以第一因數(例如，2)進行減少取樣之圖像資料114，且第三縮放空間表示124對應於以大於第一因數之第二因數(例如，5)進行減少取樣之圖像資料114。處理器108可經組態以使用篩選、抽取、次取樣、內插及/或其他圖像處理技術來對較 高解析度縮放空間表示進行減少取樣以產生一或多個較低解析度縮放空間表示。舉例而言，處理器108可對第一縮放空間表示120進行減少取樣以產生第二縮放空間表示122，且可對第二縮放空間表示122進行減少取樣以產生第三縮放空間表示124。在另一說明性實施方案中，運載工具102包括多個圖像感測器，其中每一圖像感測器產生場景之不同解析度圖像或縮放空間表示。
物件偵測器128可對位置資料116及縮放空間表示120至124中之一或多者作出回應。舉例而言，物件偵測器128可基於位置資料116選擇縮放空間表示且可對所選擇縮放空間表示執行物件偵測以偵測物件112。為了說明，物件偵測器128可使用位置資料116來判定物件112定位於其中之估計區118。估計區118可對應於鑒於與位置資料116相關聯之誤差容限(例如，由於雜訊、感測器延遲、物件112及/或運載工具102之運動之速度/方向等等所致)的物件112之可能位置。物件偵測器128可判定對應於縮放空間表示120至124之圖像平面中之任一者是否與估計區118重疊或相交。在圖1之實例中，第一縮放空間表示120(對應於線段111)及第三縮放空間表示124(對應於線段115)不與估計區118重疊。回應於偵測到不存在重疊，物件偵測器128可不對第一縮放空間表示120及第三縮放空間表示124執行物件偵測(例如，以更快速地執行物件偵測及/或節省計算資源)。
在圖1之實例中，物件偵測器128可判定，第二縮放空間表示122(對應於線段113)與估計區118重疊。舉例而言，物件偵測器128可基於第二縮放空間122之解析度圖像平面與所接收位置資料116之距離而判定第二縮放空間表示122與估計區118重疊。作為回應，物件偵測器128可進一步處理第二縮放空間表示122。舉例而言，物件偵測器128可識別第二縮放空間表示122內之搜尋區域，其中搜尋區域對應於與縮放空間表示122相關聯之一組位置或區域和與位置資料116相關聯之 一組位置或區域之間的重疊、相交或會聚處。為了說明，圖1展示自上而下視圖，其中圖像感測器104具有由視野線117及119定界之水平視野。因此，第二縮放空間表示122之水平邊界在圖1中由點L0及L1標示，且估計區118與第二縮放空間表示122之間的重疊由點C0與點C1之間的線段(其可替代地標示為「線段C0C1」)表示。物件偵測器128可在C0與C1之間的搜尋區域中執行電腦視覺操作(例如，圖像分段操作)，而非在L0與L1之間的較大區域中執行，以「精確定位」物件112之位置。舉例而言，物件偵測器128可判定行人位置或辨識物件112(例如，辨識標誌上之文字)。搜尋C0與C1之間的區域可包括：搜尋圖像之延伸超出C0及C1之部分。舉例而言，C0及C1可界定由不同物件偵測搜尋窗使用之中心點。若由物件偵測器128用於識別物件112之搜尋窗具有寬度W，則介於C0與C1「之間」的搜尋區域的範圍可為C0-0.5W(當搜尋窗以C0為中心時)至C1+0.5W(當搜尋窗以C1為中心)。搜尋區域可在其他維度中以類似方式延伸(例如，在垂直維度中超過搜尋窗之高度)。搜尋窗可對應於物件模型、定界框，等等。因此，儘管本文中可用線段或點集合來描述搜尋區域，但應理解所搜尋之圖像之實際區域可延伸超過線段或點集合。
儘管圖1說明二維(2D)視圖，但本文中所描述之物件偵測操作可應用於三維(3D)情景中。為了說明，點C0、C1、L0及L1可全部在3D空間中且可具有(x,y,z)座標。在圖1中，在x-y平面中沿著x軸水平地執行物件偵測及縮減(reduction)。替代地，或另外(例如，與水平操作並行)，藉由選擇適當垂直縮放空間表示，可在x-z平面中沿著z軸垂直地執行物件偵測及縮減。將瞭解，與僅使用一個方向相比，藉由在水平縮放空間及垂直縮放空間兩者中執行操作，可更準確地判定物件112之位置。
在其他實例中，物件偵測器128可判定和與位置資料116相關聯之 估計區118重疊之多個縮放空間表示。為了說明，在圖1中，若第三縮放空間表示124對應於線段115'而非線段115，則物件偵測器128將判定第二縮放空間表示122及第三縮放空間表示124兩者皆與估計區118重疊。在此情景中，物件偵測器128可選擇對哪一重疊縮放空間表示執行物件偵測。為了說明，在一些情況中，諸如當行人極其接近且由於縮放比例而顯得非常高時，較小(例如，較低解析度)縮放空間表示對於物件偵測而言可係較佳的。在此情況中，可搜尋較低解析度縮放空間表示，而非較高解析度縮放空間表示。替代地，若搜尋較高解析度縮放空間表示且未找到物件(例如，由於行人由於縮放比例而「過高」)，則亦可搜尋較低解析度縮放空間表示。作為另一實例，當所偵測之物件相對小或具有複雜形狀時，較大(例如，較高解析度)縮放空間表示可係較佳的。
出於說明目的而參考圖2A、圖2B、圖2C及圖2D描述由物件偵測器128執行之實例程序。程序可包括：向圖像感測器104指派特定位置，諸如座標空間中之點(x0,y0)。物件112之所量測或報告位置可經指派位置(x1,y1)，該經指派位置可位於估計區118之中心處。應理解，圖像感測器104及估計區118之中心可在3D空間中分別具有座標(x0,y0,z0)及(x1,y1,z1)，但為便於闡釋，僅描述x及y座標。
線段L0L1可與距圖像感測器104之特定距離(d)相關聯(例如，基於攝影機幾何形狀、解析度及搜尋區域大小)。基於圖像感測器104之d值及位置(x0,y0)，可將線段L0L1映射、擬合或轉置至與點(x0,y0)及(x1,y1)共用相同座標系統之位置。可判定視野線117、119與估計區118之間的相交點(亦即，點C0及C1)。為了允許實現圖像資料中之位置之間的距離之計算，圖像資料可與位置資料之座標系統「融合」。在一些實施例中，可基於器件(例如，運載工具、行動器件，等等)之已知位置、視野及圖像感測器104之姿勢而離線地執行圖像資料 之3D世界空間之投影。然後，投影可與位置資料融合以識別在物件偵測期間欲掃描之點。
應瞭解，在距圖像感測器104之距離d處，物件112(例如，行人)之位置將介於C0與C1之間。線段I0I1可表示物件112之搜尋區域之中心點，且可經定義為線段L0L1與線段C0C1之相交點。應注意，在圖2A之實例中，I0=C0且I1=C1，且因此線段I0I1與線段C0C1完全相同。然而，當物件之估計區並非完全位於圖像感測器之視野內時，I0可不等於C0及/或I1可不等於C1。舉例而言，在圖2C中，I0=L0且I1=C1。
物件偵測器128可執行線性映射以將I0及I1映射至圖像座標。在圖2A之實例中，L0對應於圖像之左邊界(具有x座標0，亦即，x==0)，且L1對應於圖像之右側(具有等於圖像之寬度之x座標，亦即，x==image_width)。因此，映射函數M可定義為：
物件之搜尋區域可限制於圖像中具有介於x==M(I0)及x==M(I1)之間的x座標之位置(例如，搜尋窗之中心)。為了說明，假設圖像感測器104之水平視野係54°，如圖2A中所展示，且假設圖像感測器104之垂直視野係34°，如圖2B中所展示。應理解，水平及垂直視野在替代實施例中可係更大或更小。亦假設，線段L0L1對應於1080p解析度(1920×1080個像素)，且將一般行人之高度假設成係六英尺(約2米)，此對應於高度係80個像素之搜尋區域。進一步假定，正被搜尋之距圖像感測器104之距離係p英尺，且在彼距離處圖像之上半部對應於q英尺，如圖2B中所展示。鑒於前述假設，可確立以下方程式：
對方程式3及4進行求解以獲得p：
若將圖像感測器104假設成係(0,0)，則行人之所報告位置(亦即，對應於物件112之圓圈之中心)係(x1,y1)==(-5,120)，且所報告位置之可能誤差在30英尺內(亦即，估計區118之半徑係30)：((x-(-5))×(x-(-5)))+((y-120)×(y-120))=30×30 (方程式5)
L0位於點()處
L1位於點()處
由於L0、L1、C0及C1共線，因此所有四個點具有相同y座標，亦即，在當前實例中為132。將y==132代入至方程式5中得出解(x+5)=27.5及(x+5)=-27.5。因此，C0位於點(-32.5,132)處且C1位於點(22.5,132)處。使用先前所定義之映射M：
因此，針對物件112，搜尋區域可在左側由x==496定界且在右側由x==1281定界，此與自x==0至x==1920的搜尋相比提供大約60%之節省。此外，應理解，儘管前述實例說明水平方向上之計算及節省，但亦可藉由以類似方式基於位置資料116限制垂直方向上之搜尋區域來達成計算節省。
圖2C及圖2D說明操作之額外實例。在圖2C之實例中，物件之估計區與圖像感測器之視野部分地相交。在圖2D之實例中，執行兩個物件偵測操作：對第一縮放空間表示(對應於線段202)執行第一物件偵測操作以偵測右側之物件，且對第二縮放空間表示(對應於線段204)執行第二物件偵測操作以偵測左側之物件。
因此，圖1至圖2說明一系統之實施例，該系統經組態以改進將基於與欲偵測之物件相關聯之位置資料而對圖像資料或由其產生之縮放空間表示執行之物件偵測操作。舉例而言，位置資料可用於將物件之搜尋區域縮小成小於整個場景，此可使得能夠更快速地偵測物件。為了說明，可足夠快速地偵測到行人以使運載工具(或運載工具之駕駛者)(諸如)藉由以下操作來對行人作出反應：使運載工具減速、使運載工具重新定向，及/或若(例如)在結冰天氣應用刹車將導致運載工具滑向行人，則在使運載工具重新定向遠離行人時使運載工具加速。作為另一說明性實例，可足夠快速地執行物件偵測以使運載工具之ADAS改變運載工具之速度及/或使運載工具重新定向以避免與移動或靜止物件碰撞。
圖3說明運載工具102之替代實施例。圖3與圖1不同之處在於：產生位置資料116之位置感測器在運載工具102之外部。舉例而言，在圖3中，物件112包括位置感測器306或與其相關聯。在一些實施方案中，位置感測器306可由行人穿戴，附接或耦接至另一運載工具，或整合於另一運載工具內。如上文所論述，在一些實施方案中，位置感測器306可與物件112及運載工具102分離。舉例而言，位置感測器306可固定至路側單元(RSU)、固定至街道標誌，或固定至與運載工具102分離的另一運載工具或與另一運載工具相關聯。在一些實例中，靜止路側感測器可與RSU及/或運載工具進行通信。因此，儘管圖3說明位置感測器306與運載工具102之間的直接通信，但替代地，來自位置感測器306之資料可在到達運載工具102之前經由一或多個中間器件傳輸。為了說明，來自由行人攜載之位置感測器之資料可自位置感測器行進至RSU至第一運載工具(例如，最接近於該行人之運載工具)至第二運載工具(例如，跟隨在第一運載工具之後的運載工具)。
運載工具102可包括經組態以經由連接350(諸如，無線網路連接) 接收位置資料116之接收器340。在說明性實例中，位置感測器306及接收器340經由以下各項進行通信：蜂巢式連接、廣域網路、電機電子工程師協會(IEEE)802.11連接、特用網路連接、專用短程通信(DSRC)網路連接，或另一類型之連接。
在說明性實例中，自位置感測器306接收之位置資料116包括位置座標，例如，GPS座標。當物件112係另一運載工具(例如，位置感測器306係其他運載工具內或耦接至其他運載工具之器件之一部分)時，可使用運載工具至運載工具(V2V)通信自其他運載工具(例如，經由DRSC網路)接收位置資料116。作為另一實例，路側單元(RSU)可將交通資訊傳輸至運載工具。為了說明，物件112可包括在運載工具102之行進視野內的捲入事故中之運載工具，且位置資料116可包括捲入事故中之運載工具之位置座標。在此情形中，接收器340可使用運載工具至基礎設施(V2I)通信自RSU接收位置資料116。應理解，在其他實例中，可自多個來源接收位置資料。舉例而言，可自一個以上運載工具、RSU或位置感測器接收與共同物件相關聯之位置資料。當使用多個位置資料來源時，該等來源(及/或來自其之資料)可經彙總、優先化或用於改進彼此。舉例而言，圖1至圖2之估計區118可囊括由多個來源提供之所有位置資料，可對應於來自最可靠來源之位置資料，可基於來自多個來源中之每一者(或子集)之位置資料之交集，或可基於來自多個來源中之一些或全部來源之位置資料而以其他方式加以判定。
應注意，儘管前述實施例描述基於位置資料改進圖像資料中之物件偵測，但本發明並不限於此。根據本發明，來自第一感測器之資料可用於改進第二感測器之操作。作為說明性非限制性實例，可基於位置資料而調整圖像感測器之性質(例如，解析度、擷取頻率、所關注區域、視野(在可移動攝影機之情形中)，等等)。作為另一實例，圖像資料可用於加速由位置感測器進行之位置判定，諸如藉由基於圖像 資料而判定物件之「粗略」位置。因此，本發明使得不同類型之感測器能夠彼此進行通信以改進其各別操作。
在特定實施例中，處理器108可使用來自三維(3D)地圖應用程式130之位置資料執行物件偵測操作。為了說明，3D地圖應用程式130可指示或提供可由物件偵測器128存取之3D地圖之部分或區域以基於所搜尋之「已知」物件類別(例如，行人、運載工具、交通標誌，等等)而縮小搜尋區域。儘管圖1將位置資料116說明為由位置感測器106判定，但在替代實施例中，替代位置感測器106(或外部位置感測器，諸如圖3之位置感測器306)或除位置感測器106外，亦可基於3D地圖應用程式130而判定位置資料116。因此，本文中所描述之物件偵測技術可結合在物件偵測期間使用3D地圖資料、在物件偵測期間使用位置感測器或在物件偵測期間使用3D地圖資料及位置感測器兩者之實施例一起使用。
圖4說明其中物件偵測器128自3D地圖應用程式130接收位置資料116且不自位置感測器接收任何額外位置資料之系統之實例。由3D地圖應用程式130提供之位置資料116可指示物件類別可存在於圖像資料114內何處。舉例而言，圖4中所展示之系統可使得運載工具能夠基於自3D地圖應用程式130接收且指示行人、樹枝、其他運載工具等等可存在於圖像資料114內何處的位置資料116而執行對此等物件的偵測。
舉例而言，若物件偵測器128經組態以在場景之縮放空間表示內偵測行人，則3D地圖應用程式130可指示行人可能存在於其中之場景之一或多個區域(例如，高出路面或地面0公尺至3公尺)，且物件偵測器128可起始對所指示區域之搜尋而無需自單獨位置感測器接收資料。在另一實例中，3D地圖應用程式130可指示場景之對應於路面之一或多個區域，使得物件偵測器128可高效地偵測在路上之物件。在一些實施方案中，物件類別可由處理器108基於圖像資料114及/或位 置資料116來加以判定。替代地，物件類別可由物件112指示(例如，如參考圖3所描述，由物件112傳輸至接收器)。
在操作期間，3D地圖可係在運載工具102處動態地產生，經下載或經預先下載至運載工具102，等等。在判定路面之位置及接收位置資料116之後，物件偵測器128可基於3D地圖而將搜尋區域集中至路面(例如，可將非路面區域自圖像搜尋區域排除)。作為說明性實例，若圖1之線段L0L1之部分(或圖1之線段C0C1)對應於非路面區域，則物件偵測器128可將該部分自搜尋區域排除。非路面區域之實例包括高於或低於路面之區及在路面左側或右側之區。然而，應理解，當圖像感測器104作為運載工具或其他器件之一部分處於運動中時，所關注區域可基於運載工具或器件相對於3D地圖之位置而在圖框間不同。舉例而言，當發生地形改變(例如，運載工具接近道路中之上坡或下坡)時，所關注之搜尋區域可改變。由3D地圖應用程式130提供之位置資料116可係動態的且可取決於運載工具或器件之已知位置而改變。
在一些實施方案中，物件偵測器128經組態以基於由3D地圖應用程式130指示之3D地圖而產生搜尋區域遮罩。遮罩圖像可係使用3D地圖離線或線上產生(例如，基於儲存與計算負擔之間的折衷)。參考圖6進一步描述實例程序。
圖5A描繪其中行人位於運載工具之視野內之兩種情景，其中行人位於由運載工具可獲得之3D地圖資料表示之地形上。在第一情景中，在510處，行人較接近於運載工具，且因此，運載工具使用較小縮放空間表示來執行物件偵測。在第二情景中，在520處，行人距運載工具較遠，且因此，運載工具使用較大縮放空間表示來執行物件偵測。當多個縮放空間表示與物件之可能位置重疊時，可處理一些縮放空間表示而將其他縮放空間表示自進一步處理排除。作為說明性非限 制性實例，較小(例如，較低解析度)縮放空間表示可較宜於偵測接近運載工具之行人，此係因為較大縮放空間表示中之行人之高度及/或寬度可係過大而無法使用行人物件類別或模型進行偵測。在執行物件偵測之前，可基於由3D地圖應用程式提供之位置資料而遮蔽所搜尋之縮放空間表示。遮罩之說明性實例展示於圖5B中530處。可藉由用零或非零(例如，「1」或非零分數值)標記縮放空間表示之不同區來產生遮罩。在物件偵測期間，可搜尋用非零標記之區域，且可忽略用零標記之區域。當使用非零分數值時，非零分數值越高，可表示物件定位於對應區域中之概率越大。舉例而言，如圖5B中所展示，可在搜尋標記為「0.3」之區域之前，搜尋用「0.5」標記之區域。
在特定實施例中，可基於一組訓練樣本而產生遮罩之區域之概率(例如，圖5B之遮罩中之0.5及0.3)。該組訓練樣本可含有行人可出現於其中之地點之3D位置。該組訓練樣本亦可包括已由專家標記為「危險」之位置。舉例而言，此等「危險」位置可係其中行人有較高可能性被遮擋、難以被駕駛者注意到、被捲入事故中等等的位置。在一些實施例中，該組訓練樣本之3D位置可與概率相關聯。在產生遮罩圖像時，可將3D位置投影至圖像平面上，且可基於對應於圖像平面之基礎像素的3D位置而向遮罩之不同部分指派不同概率。
在特定實施例中，替代3D地圖資料或除3D地圖資料外，亦可對於感測器資料使用概率模型及遮罩。舉例而言，圖1至圖2之估計區118可對應於遮罩，其中不同子區具有介於零與壹之間的不同概率值。作為說明性非限制性實例，概率值可基於來自位置感測器(例如，位置感測器106)之位置資料、來自3D地圖應用程式(例如，3D地圖應用程式130)之位置資料、3D地圖資料、感測器或應用程式誤差容限、感測器校準，及/或感測器敏感性。
因此，處理器108可基於3D地圖資料及物件之物件類別而判定一 或多個搜尋區域。物件偵測器可在搜尋區域中執行物件偵測，如參考圖1所描述。應注意，當使用3D地圖資料來執行物件偵測時，可鑒於定位結果之可能不準確度而執行投影。亦即，可由於定位不準確度而列舉攝影機位置之範圍。亦應注意，在特定實施例中，遮罩/搜尋區域可係離線建構的且用於自攝影機(例如，圖像感測器104)接收之即時(或幾乎即時)串流中(例如，跳過對被遮蔽區域之搜尋)。此外，替代動態建構3D地圖，可用平面/表面估計器大致估計3D條件，該平面/表面估計器可提供大致即時(或幾乎即時)平面。舉例而言，在其中大部分道路係在平坦表面上之區域中，可藉由使用具有某一斜率變化之平面來估計3D地圖以估計所投影遮罩。在特定實施例中，前述方法亦可用於尋找特定區域中之所關注物件。舉例而言，物件偵測器128可尋找包括或接近於運載工具102之「當前」行車道之區域中之行人(或其他物件)，但可忽略人行道區域中之行人。作為另一實例，物件偵測器128可係物件追蹤框架之一部分，在該物件追蹤框架中基於遮罩限制追蹤區域。
儘管圖1至圖3描述使用來自位置感測器之位置資料來執行物件偵測，且圖4說明使用由3D地圖應用程式而非位置感測器提供之位置資料執行物件偵測，但應注意，上述實施例並非相互排斥。在一些實例中，3D地圖資料可連同來自位置感測器之資料一起使用，且可允許實現較快速物件偵測及掃描區域之進一步減少。
參考圖6，展示基於3D地圖資料而識別所關注區域之方法之特定實施例且通常將該方法指定為600。方法600包括：在區塊602處，接收3D地圖資料。舉例而言，3D地圖應用程式130可接收3D地圖資料，(諸如)自外部資料源、本端儲存器件，等等。方法600亦包括：在區塊604處，判定3D地圖之位置是否可能包括所關注物件。若包括所關注物件，則方法600包括：在區塊606處，將該位置識別為欲提供至物 件偵測器之位置資料。若位置不可能包括所關注物件，或在識別位置資料之後，方法600包括：在區塊608處，判定是否應檢查額外位置。若應檢查額外位置，則方法600返回至區塊604。為了說明，參考圖4至圖5，位置資料116可指示地形之可能包括行人(諸如，在510處，接近於運載工具之行人，或在520處，遠離運載工具之行人)之一或多個區域。
繼續區塊610，方法600包括：將所關注物件投影於具有基於所關注物件之物件類別之大小的位置資料中。在圖5A之實例中，可將行人投影於對應於運載工具正行進於之道路之所識別位置資料中。方法600進一步包括：在區塊612處，判定與經投影之所關注物件重疊之縮放空間表示，及在區塊614處，用非零值標記縮放空間表示之重疊區域。為了說明，針對較接近於運載工具之行人(圖5A中510處)，可用非零值遮蔽小縮放空間表示中之區域。針對遠離運載工具之行人(圖5A中520處)，可用非零值遮蔽大縮放空間表示中之區域。在說明性實例中，縮放空間表示可經遮蔽，如圖5B中530處所展示。
在實例中，3D地圖資料可用於更改圖像感測器之定向或視野，及/或3D地圖資料可用於選擇由多個圖像感測器產生之圖像資料之部分。作為另一實例，當運載工具向左或向右轉時，運載工具之圖像感測器可自動向左或向右致動，以使得圖像感測器繼續擷取在運載工具「前方」的圖像資料。作為另一實例，運載工具之圖像感測器可被自動致動以左右「張望」以識別行人、其他接近之運載工具、道路危險，等等。為了說明，可產生運載工具周圍之360°拼接視圖，且可在行人正橫穿駕駛者可稍後轉向之街道的情況下提前通知運載工具之駕駛者。在特定實施例中，當駕駛者正使用逐向導航提示(例如，由運載工具或運載工具內之行動器件之導航應用程式提供)時，導航提示可用於預見運載工具將進行之轉彎、將進行之車道改變等等，以便優 先化搜尋區域，判定搜尋遮罩之概率值等等。
方法600包括：在區塊616處，以遞減次序搜尋用非零值標記之縮放空間表示之區域以識別所關注物件。舉例而言，參考圖5B中所展示之遮罩，可在搜尋標記為「0.3」之區域之前，搜尋標記為「0.5」之區域。方法600在區塊618處結束。
因此，圖6之方法600說明基於3D地圖資料而對一或多個縮放空間表示執行物件偵測之實例。3D地圖資料可替代由位置感測器提供之位置資料，或除由位置感測器提供之位置資料外，亦使用3D地圖資料。
參考圖7，展示物件偵測之說明性方法且通常將該方法指定為700。方法700包括：在區塊702處，自圖像感測器接收包括物件之場景之圖像資料。圖像資料與場景之多個縮放空間表示相關聯。舉例而言，處理器108可自圖像感測器104接收圖像資料114，其中圖像資料114與縮放空間表示120至124相關聯(例如，可用於產生該等縮放空間表示)。
方法700亦包括：在區塊704處，接收與該物件相關聯或指示該物件可存在於其中之區域的位置資料。舉例而言，處理器108可自運載工具102中之機載位置感測器106接收位置資料116，如參考圖1所描述。作為另一實例，處理器108可經由接收器340自位置感測器306接收位置資料116，該位置感測器在運載工具102外部，如參考圖3所描述。在另一實例中，物件偵測器128可自3D地圖應用程式130接收位置資料116，其中位置資料指示物件可存在於其中之區域(例如，在路上、在車道中，等等)，如參考圖4所描述。在又另一實例中，可自多個來源(諸如自多個位置感測器、一位置感測器與一3D地圖應用程式，等等)接收位置資料。
方法700進一步包括：在區塊706處，判定第一縮放空間表示是 否與位置資料重疊。當第一縮放空間表示與位置資料重疊時，在區塊710處，識別第一縮放空間表示中之搜尋區域。前進至區塊712，在搜尋區域中執行物件偵測。為了說明，在圖1之實例中，物件偵測器128可判定縮放空間表示122與對應於位置資料116之估計區118重疊。作為回應，物件偵測器128可判定縮放空間表示122之搜尋區域(如參考方程式1至5所描述)，且可在搜尋區域中執行物件偵測。
替代地，當第一縮放空間表示不與位置資料重疊時，方法700包括：在區塊708處，避免對縮放空間表示執行物件偵測。為了說明，在圖1之實例中，物件偵測器可由於估計區118與縮放空間表示120及124之間不存在重疊而避免對縮放空間表示120及124執行物件偵測。繼續至區塊714，方法700包括：判定是否應檢查額外縮放空間表示(例如，當多個縮放空間表示與位置資料重疊時)。若應檢查額外縮放空間表示，則方法700返回至區塊706。若不應檢查額外縮放空間表示，或在執行物件偵測(在區塊712處)之後，方法700包括：在區塊716處，判定是否應偵測額外物件。若應偵測額外物件，則方法700返回至區塊704以處理額外物件之位置資料。若不應偵測額外物件，則方法700在區塊718處結束。
當發現多個縮放空間表示與位置資料重疊時，可對一個、一些或全部重疊縮放空間表示執行物件偵測(例如，直至偵測到所關注物件為止)。舉例而言，如參考圖5A所描述，可首先檢查最低解析度縮放空間表示以偵測接近於運載工具之行人。
方法600及/或700之一或多個操作可藉由硬體器件(諸如處理單元)來起始、控制或執行。舉例而言，取決於特定實施方案，處理單元可包括場可程式化閘陣列(FPGA)器件、特殊應用積體電路(ASIC)、處理單元(諸如中央處理單元(CPU))、數位信號處理器(DSP)、控制器、另一硬體器件、韌體器件或其組合。
參考圖8，描繪電子器件之特定說明性實施例之方塊圖且通常將其指定為800。在特定實施例中，電子器件800或其組件可由行人穿戴或攜帶(例如，作為行動電話、平板電腦、智慧型手錶等等之一部分)。在另一特定實施例中，電子器件800或其組件可包括在運載工具中或可附接/耦接至運載工具。在另一特定實施例中，電子器件800或其組件可包括於以下各項中或可附接/耦接至以下各項：路側單元(RSU)、街道標誌、交通燈或另一路側物件或器件。在進一步實施例中，電子器件800可對應於電腦(例如，膝上型電腦、平板電腦或桌上型電腦)、機上盒、娛樂單元、導航器件、個人數位助理(PDA)、電視、調諧器、收音機(例如，衛星收音機)、音樂播放器(例如，數位音樂播放器及/或攜帶型音樂播放器)、視訊播放器(例如，數位視訊播放器，諸如數位視訊光碟(DVD)播放器及/或攜帶型數位視訊播放器)、另一電子器件或其組合。
作為說明性實例，電子器件800包括記憶體832及處理器810，諸如數位信號處理器(DSP)、中央處理單元(CPU)，及/或圖形處理單元(GPU)。處理器810可執行指令868。在說明性實例中，指令868可由處理器810執行以執行本文中所描述之一或多個功能或方法，包括但不限於圖6之方法600及/或圖7之方法700。處理器810亦可包括對應於以下各項之硬體及/或執行對應於以下各項之軟體指令：物件偵測器869(例如，圖1、圖3及圖4之物件偵測器128)及3D地圖應用程式870(例如，圖1及圖4之3D地圖應用程式130)。
圖8亦展示耦接至處理器810及顯示器828之顯示控制器826。編碼器/解碼器(CODEC)834(諸如，類比音訊處理前端)亦可耦接至處理器810。揚聲器836及麥克風838可耦接至CODEC 834。圖8亦指示，無線介面840(諸如，無線控制器及/或收發器)可耦接至處理器810及天線842。在特定實施例中，電子器件800可包括多個無線介面及天線。 每一無線介面及/或天線可對應於不同通信技術或網路(例如，蜂巢式、IEEE 802.11、DSRC，等等)。
在特定實施例中，處理器810進一步耦接至圖像感測器880(例如，圖1、圖3及圖4之圖像感測器104)。處理器810亦可耦接至位置感測器890(例如，圖1之位置感測器106)。替代地，處理器810可經由接收器(諸如，無線介面840及/或天線842)自外部位置感測器接收位置資料，及/或處理器810可自3D地圖應用程式870接收位置資料。
在特定實施例中，處理器810、顯示控制器826、CODEC 834、無線介面840、圖像感測器880及位置感測器890(當存在時)被包括在系統級封裝或系統單晶片器件822中。此外，輸入器件830及電源供應器844可耦接至系統單晶片器件822。此外，在特定實施例中，如在圖8中所說明，顯示器828、輸入器件830、揚聲器836、麥克風838、天線842及電源供應器844位於系統單晶片器件822外部。然而，顯示器828、輸入器件830、揚聲器836、麥克風838、天線842及電源供應器844中之每一者可耦接至系統單晶片器件822之組件，諸如耦接至介面或耦接至控制器。
結合所描述實施例，裝置包括用於接收自該裝置觀看到且包括物件之場景的圖像資料之構件，該圖像資料與該場景之多個縮放空間表示相關聯。舉例而言，用於接收之構件可包括圖像感測器104、圖像感測器880、耦接至圖像感測器之處理器或控制器(例如，處理器108或處理器810)、經組態以接收圖像資料之另一器件，或其任一組合。該裝置亦包括用於處理之構件。用於處理之該構件經組態以基於該等多個縮放空間表示中之第一縮放空間表示和與該物件相關聯或指示該物件可存在於其中之區域的位置資料之間的重疊而識別該第一縮放空間表示之搜尋區域。用於處理之該構件亦經組態以在該第一縮放空間表示之該搜尋區域中執行物件偵測。舉例而言，用於處理之構件 可包括處理器108、物件偵測器128、處理器810、物件偵測器869、3D地圖應用程式130、3D地圖應用程式870、經組態以處理資料之另一器件，或其任一組合。在特定實施例中，裝置包括用於產生位置資料之構件。舉例而言，用於產生位置資料之構件可包括位置感測器106、位置感測器306、位置感測器890、3D地圖應用程式130、經組態以產生位置資料之另一器件，或其任一組合。在特定實施例中，裝置包括用於自外部位置感測器接收位置資料之構件。舉例而言，用於接收之構件可包括接收器340、無線介面840、天線842、經組態以自外部感測器接收資料之另一器件，或其任一組合。
可使用電腦檔案(例如，RTL、GDSII、GERBER，等等)設計及表示前述所揭示器件及功能性。電腦檔案可儲存在電腦可讀媒體上。一些或所有此等檔案可經提供至基於此等檔案製作器件之製作處置器。所得產品包括晶圓，然後將晶圓切割成晶粒且封裝成積體電路(或「晶片」)。然後，將晶片用於電子器件中，諸如運載工具102之組件、電子器件800，等等。
儘管圖1至8中之一或多者可說明根據本發明之教示之系統、裝置及/或方法，但本發明並不限於此等所說明系統、裝置及/或方法。如本文中所說明或所描述之圖1至圖8中之任一者之一或多個功能或組件可與圖1至圖8中之另一者之一或多個其他部分組合。因此，任何單個實例不應解釋為具有限制性，且本發明之實施例可以適合方式組合，而不背離本發明之教示。
熟習此項技術者將進一步瞭解，結合本文中所揭示之實施例所描述之各種說明性邏輯區塊、組態、模組、電路及演算法步驟可實施為電子硬體、由處理器執行之電腦軟體，或兩者之組合。上文已對各種說明性組件、區塊、組態、模組、電路及步驟大體就其功能性方面進行描述。將此功能性實施為硬體還是處理器可執行指令取決於特定 應用及強加於整體系統之設計約束。熟習此項技術者可針對每一特定應用以各種方式實施所描述功能性，但不應將此等實施決策解釋為導致對本發明之範疇之背離。
結合本文中所揭示之實施例所描述之方法或演算法之步驟可直接以硬體、以由處理器執行之軟體模組或以兩者之組合體現。軟體模組可駐存於以下各項中：隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、可抽換式磁碟、光碟唯讀記憶體(CD-ROM)，或此項技術中已知之任一其他形式之非暫時性電腦可讀或處理器可讀儲存媒體或儲存器件。例示性儲存媒體或器件耦接至處理器，使得處理器可自儲存媒體讀取資訊，及將資訊寫入至儲存媒體。在替代方案中，儲存媒體或器件可與處理器成整體。處理器及儲存媒體或器件可駐留於特殊應用積體電路(ASIC)中。ASIC可駐留於計算器件或使用者終端機中。在替代方案中，處理器及儲存媒體或器件可作為離散組件駐留在計算器件或使用者終端機中。電腦可讀或處理器可讀儲存媒體或儲存器件並非信號。
提供所揭示實施例之先前描述使得熟習此項技術者能夠製成或使用所揭示實施例。熟習此項技術者將容易明瞭此等實施例之各種修改，且本文中所定義之原理可應用於其他實施例而不背離本發明之範疇。因此，本發明並不意欲限制於本文中所展示之實施例，而欲賦予其與如由以下申請專利範圍所定義之原理及新穎特徵相一致之最廣可能範疇。
102‧‧‧運載工具
104‧‧‧圖像感測器
106‧‧‧位置感測器
108‧‧‧處理器
110‧‧‧記憶體
111‧‧‧線段
112‧‧‧物件
113‧‧‧線段
114‧‧‧圖像資料
115‧‧‧線段
115'‧‧‧線段
116‧‧‧位置資料
117‧‧‧視野線
118‧‧‧估計區
119‧‧‧視野線
120‧‧‧第一縮放空間表示
122‧‧‧第二縮放空間表示
124‧‧‧第三縮放空間表示
128‧‧‧物件偵測器
130‧‧‧三維地圖應用程式
C0‧‧‧點
C1‧‧‧點
d‧‧‧距離
I0‧‧‧點
I1‧‧‧點
L0‧‧‧點
L1‧‧‧點

Claims (30)

  1. 一種裝置，其包含經組態以接收位置資料及來自一圖像感測器的一場景之圖像資料之一物件偵測器，該場景係自該裝置觀看到且包括一物件，該圖像資料與該場景之多個縮放空間表示相關聯，該物件偵測器進一步經組態以回應於該位置資料及該等多個縮放空間表示中之一第一縮放空間表示而偵測該物件。
  2. 如請求項1之裝置，其中該物件偵測器經組態以基於該位置資料而識別該第一縮放空間表示之一搜尋區域，其中該搜尋區域小於該整個場景。
  3. 如請求項2之裝置，其中該搜尋區域對應於與該第一縮放空間表示相關聯之一第一區域和與該位置資料相關聯之一第二區域的一重疊。
  4. 如請求項3之裝置，其中該物件偵測器進一步經組態以產生該搜尋區域之一遮罩，該遮罩包含複數個區，每一區具有指示在該區中偵測到該物件之一概率的一指派值。
  5. 如請求項1之裝置，其中該物件偵測器經組態以回應於判定與該第一縮放空間表示相關聯之一第一區域不和與該位置資料相關聯之一第二區域重疊而選擇該等多個縮放空間表示中之一第二縮放空間表示。
  6. 如請求項5之裝置，其中該物件偵測器進一步經組態以基於該位置資料而識別該第二縮放空間表示之一搜尋區域。
  7. 如請求項6之裝置，其中該搜尋區域對應於與該位置資料相關聯之該第二區域和與該第二縮放空間表示相關聯之一第三區域的一重疊。
  8. 如請求項1之裝置，其中該位置資料與該物件相關聯且係自一位 置感測器接收。
  9. 如請求項8之裝置，其中該位置感測器包含一雷達器件、一光偵測與測距(光達)器件、一全球定位系統(GPS)器件、一超音波器件、一專用短程通信器件，或其任一組合。
  10. 如請求項8之裝置，其中該位置感測器與該裝置分離。
  11. 如請求項1之裝置，其中該位置資料對應於一指示該物件可存在於何處之三維(3D)地圖之一或多個區域。
  12. 如請求項11之裝置，其中該位置資料亦與由一位置感測器提供之該物件之一位置相關聯。
  13. 如請求項1之裝置，其中該圖像感測器及該物件偵測器可操作地耦接至該裝置。
  14. 一種偵測一物件之方法，該方法包含：在一處理器處，自一圖像感測器接收一場景之圖像資料，該場景係自一裝置觀看到且包括一物件，該圖像資料與該場景之多個縮放空間表示相關聯；在該處理器處，接收與該物件相關聯或指示該物件可存在於其中之一區域的位置資料；在該處理器處，基於該等多個縮放空間表示中之一第一縮放空間表示與該位置資料的一重疊而識別該第一縮放空間表示之一搜尋區域；及在該處理器處，在該第一縮放空間表示之該搜尋區域中執行物件偵測。
  15. 如請求項14之方法，其中該搜尋區域對應於與該第一縮放空間表示相關聯之一第一區域和與該位置資料相關聯之一第二區域的一重疊。
  16. 如請求項14之方法，其進一步包含：判定該等多個縮放空間表 示中之一第二縮放空間表示是否與該位置資料重疊。
  17. 如請求項16之方法，其進一步包含：回應於判定該第二縮放空間表示不與該位置資料重疊而避免對該第二縮放空間表示執行物件偵測。
  18. 如請求項16之方法，其進一步包含：回應於判定該第二縮放空間表示與該位置資料重疊而對該第二縮放空間表示執行物件偵測，其中該第二縮放空間表示係解析度低於該第一縮放空間表示之一表示。
  19. 如請求項14之方法，其中該位置資料與該物件相關聯且係自一位置感測器接收。
  20. 如請求項19之方法，其中該位置感測器包括一雷達器件、一光偵測與測距(光達)器件、一全球定位系統(GPS)器件、一超音波器件、一專用短程通信器件，或其任一組合。
  21. 如請求項19之方法，其中該圖像感測器、該位置感測器及該處理器可操作地耦接至該裝置。
  22. 如請求項14之方法，其進一步包含：產生該搜尋區域之一遮罩，該遮罩包含複數個區，每一區具有指示在該區中偵測到該物件之一概率的一指派值。
  23. 如請求項22之方法，其中在該搜尋區域中執行物件偵測至少部分地基於每一區之該指派值。
  24. 如請求項14之方法，其中該位置資料對應於一指示該物件可存在於何處之三維(3D)地圖之一或多個區域。
  25. 如請求項24之方法，其中該位置資料亦與由一位置感測器提供之該物件之一位置相關聯。
  26. 一種裝置，其包含：用於接收一場景之圖像資料之構件，該場景係自該裝置觀看 到且包括一物件，該圖像資料與該場景之多個縮放空間表示相關聯；及用於處理之構件，其中用於處理之該構件經組態以：基於該等多個縮放空間表示中之一第一縮放空間表示和與該物件相關聯或指示該物件可存在於其中之一區域的位置資料之間的一重疊而識別該第一縮放空間表示之一搜尋區域；及在該第一縮放空間表示之該搜尋區域中執行物件偵測。
  27. 如請求項26之裝置，其進一步包含用於產生該位置資料之構件。
  28. 如請求項26之裝置，其進一步包含用於自一外部位置感測器接收該位置資料之構件。
  29. 一種電腦可讀儲存器件，其儲存用以偵測一物件之指令，該等指令可由一處理器執行以致使該處理器進行以下操作：自一圖像感測器接收一場景之圖像資料，該場景係自一裝置觀看到且包括一物件，該圖像資料與該場景之多個縮放空間表示相關聯；接收與該物件相關聯或指示該物件可存在於其中之一區域的位置資料；基於該等多個縮放空間表示中之一第一縮放空間表示與該位置資料之間的一重疊而識別該第一縮放空間表示之一搜尋區域；及在該第一縮放空間表示之該搜尋區域中執行物件偵測。
  30. 如請求項29之電腦可讀儲存器件，其中該等指令可由該處理器進一步執行以致使該處理器進行以下操作：判定該等多個縮放空間表示中之一第二縮放空間表示是否與 該位置資料重疊；及基於該第二縮放空間表示是否與該位置資料重疊而選擇性地對該第二縮放空間表示執行或避免執行物件偵測。
TW104142540A 2015-01-16 2015-12-17 使用圖像資料之位置資料及縮放空間表示之物件偵測 TW201638833A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/598,892 US10133947B2 (en) 2015-01-16 2015-01-16 Object detection using location data and scale space representations of image data

Publications (1)

Publication Number Publication Date
TW201638833A true TW201638833A (zh) 2016-11-01

Family

ID=55229807

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104142540A TW201638833A (zh) 2015-01-16 2015-12-17 使用圖像資料之位置資料及縮放空間表示之物件偵測

Country Status (9)

Country Link
US (1) US10133947B2 (zh)
EP (1) EP3245614A1 (zh)
JP (1) JP2018505479A (zh)
KR (1) KR20170106963A (zh)
CN (1) CN107111752B (zh)
BR (1) BR112017015138A2 (zh)
CA (1) CA2971594A1 (zh)
TW (1) TW201638833A (zh)
WO (1) WO2016114885A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI741317B (zh) * 2019-07-04 2021-10-01 國立陽明交通大學 行人辨識方法與系統
TWI758980B (zh) * 2020-11-30 2022-03-21 財團法人金屬工業研究發展中心 移動載具的環境感知裝置與方法

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US20160085733A1 (en) 2005-10-26 2016-03-24 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11537636B2 (en) 2007-08-21 2022-12-27 Cortica, Ltd. System and method for using multimedia content as search queries
US9939525B2 (en) * 2013-11-29 2018-04-10 L.H. Kosowsky & Associates, Inc. Imaging system for obscured environments
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10466700B1 (en) 2015-09-25 2019-11-05 Amazon Technologies, Inc. Detecting of navigation data spoofing based on signal strength variance
US9847033B1 (en) 2015-09-25 2017-12-19 Amazon Technologies, Inc. Communication of navigation data spoofing between unmanned vehicles
US9725171B1 (en) 2015-09-25 2017-08-08 Amazon Technologies, Inc. Analyzing navigation data to detect navigation data spoofing
US9689686B1 (en) * 2015-09-25 2017-06-27 Amazon Technologies, Inc. Detecting of navigation data spoofing based on image data
US9849978B1 (en) 2015-09-25 2017-12-26 Amazon Technologies, Inc. Detecting of navigation data spoofing based on sensor data
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US10708577B2 (en) * 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
JP6354746B2 (ja) * 2015-12-24 2018-07-11 マツダ株式会社 運転支援装置
US10373019B2 (en) * 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
TWI662252B (zh) 2016-09-06 2019-06-11 財團法人工業技術研究院 路側偵測系統、路側裝置及其路側通訊方法
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10409288B2 (en) * 2017-05-03 2019-09-10 Toyota Research Institute, Inc. Systems and methods for projecting a location of a nearby object into a map according to a camera image
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
US11760387B2 (en) 2017-07-05 2023-09-19 AutoBrains Technologies Ltd. Driving policies determination
US10885714B2 (en) 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10706530B2 (en) 2017-09-11 2020-07-07 International Business Machines Corporation Object detection
US10504251B1 (en) * 2017-12-13 2019-12-10 A9.Com, Inc. Determining a visual hull of an object
US10560641B2 (en) * 2017-12-28 2020-02-11 Facebook, Inc. Systems and methods for generating a bias for a camera sensor for increasing resolution of captured images
US10681267B2 (en) 2017-12-28 2020-06-09 Facebook, Inc. Systems and methods for increasing resolution of images captured by a camera sensor
US10345822B1 (en) * 2018-01-26 2019-07-09 Ford Global Technologies, Llc Cognitive mapping for vehicles
US10591601B2 (en) * 2018-07-10 2020-03-17 Luminar Technologies, Inc. Camera-gated lidar system
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US11613261B2 (en) 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US11392738B2 (en) 2018-10-26 2022-07-19 Autobrains Technologies Ltd Generating a simulation scenario
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11536844B2 (en) * 2018-12-14 2022-12-27 Beijing Voyager Technology Co., Ltd. Dynamic sensor range detection for vehicle navigation
US11113959B2 (en) 2018-12-28 2021-09-07 Intel Corporation Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
US10964015B2 (en) 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
US10803333B2 (en) * 2019-01-30 2020-10-13 StradVision, Inc. Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US11170647B2 (en) 2019-02-07 2021-11-09 Cartica Ai Ltd. Detection of vacant parking spaces
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US11908242B2 (en) 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
CN112017239B (zh) * 2019-05-31 2022-12-20 北京市商汤科技开发有限公司 确定目标对象朝向方法、智能驾驶控制方法和装置及设备
JP7098580B2 (ja) * 2019-07-05 2022-07-11 株式会社東芝 予測装置、予測方法、プログラムおよび車両制御システム
EP3966595A4 (en) * 2019-07-23 2023-04-12 R-Go Robotics Ltd TECHNIQUES FOR CO-OPTIMIZING MOVEMENT AND SENSORY CONTROL
US11704292B2 (en) 2019-09-26 2023-07-18 Cortica Ltd. System and method for enriching a concept database
US11494935B2 (en) 2019-10-17 2022-11-08 Objectvideo Labs, Llc Scaled human video tracking
CN110866486B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US11739910B2 (en) 2019-12-16 2023-08-29 Lumileds Llc LED arrays with self-stabilizing torch functions
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11375352B2 (en) 2020-03-25 2022-06-28 Intel Corporation Devices and methods for updating maps in autonomous driving systems in bandwidth constrained networks
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11283846B2 (en) 2020-05-06 2022-03-22 Spotify Ab Systems and methods for joining a shared listening session
KR20220004453A (ko) * 2020-07-03 2022-01-11 삼성전자주식회사 객체를 인식하는 전자 장치 및 그 동작 방법
WO2022046908A1 (en) * 2020-08-25 2022-03-03 Axon Enterprise, Inc. Systems and methods for rapid license plate reading
EP4036859A1 (en) * 2021-01-27 2022-08-03 Maxar International Sweden AB A system and method for providing improved geocoded reference data to a 3d map representation
EP4095745B1 (en) 2021-05-24 2023-06-28 Axis AB An image processor and a method therein for providing a target image
US11941836B2 (en) * 2021-06-11 2024-03-26 Qualcomm Incorporated Objection detection using images and message information
JP7089103B1 (ja) * 2021-10-26 2022-06-21 東京海上日動火災保険株式会社 事故分析装置、事故分析方法、およびプログラム
US11967137B2 (en) 2021-12-02 2024-04-23 International Business Machines Corporation Object detection considering tendency of object location
CN116055867B (zh) * 2022-05-30 2023-11-24 荣耀终端有限公司 一种拍摄方法和电子设备
CN115214894B (zh) * 2022-08-31 2022-11-22 中国空气动力研究与发展中心低速空气动力研究所 一种精准确定结冰传感器最优安装位置的方法和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
JP2004157847A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 道路横断歩行者報知システム
US7804982B2 (en) * 2002-11-26 2010-09-28 L-1 Secure Credentialing, Inc. Systems and methods for managing and detecting fraud in image databases used with identification documents
JP4433887B2 (ja) 2003-07-01 2010-03-17 日産自動車株式会社 車両用外界認識装置
US7720269B2 (en) * 2003-10-02 2010-05-18 Siemens Medical Solutions Usa, Inc. Volumetric characterization using covariance estimation from scale-space hessian matrices
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
EP2026246A1 (en) * 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
US7924146B2 (en) 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
US20140035909A1 (en) * 2011-01-20 2014-02-06 University Of Iowa Research Foundation Systems and methods for generating a three-dimensional shape from stereo color images
EP2639781A1 (en) 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
KR101747220B1 (ko) * 2012-08-30 2017-06-15 한화테크윈 주식회사 이미지 피라미드의 적응적 이미지 처리 장치 및 방법
JP5494845B1 (ja) * 2013-01-17 2014-05-21 株式会社デンソーアイティーラボラトリ 情報提供システム
JP5729398B2 (ja) * 2013-01-22 2015-06-03 株式会社デンソー 車載物標検出装置
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
EP3008694B1 (en) * 2013-06-11 2021-01-27 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
US9213901B2 (en) * 2013-09-04 2015-12-15 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments
CN104125419B (zh) * 2014-06-24 2017-08-15 北京理工大学 一种基于cmos图像传感器的自适应分辨率实现方法
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
US9460517B2 (en) * 2014-10-22 2016-10-04 Pointivo, Inc Photogrammetric methods and devices related thereto
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI741317B (zh) * 2019-07-04 2021-10-01 國立陽明交通大學 行人辨識方法與系統
TWI758980B (zh) * 2020-11-30 2022-03-21 財團法人金屬工業研究發展中心 移動載具的環境感知裝置與方法
US11636690B2 (en) 2020-11-30 2023-04-25 Metal Industries Research & Development Centre Environment perception device and method of mobile vehicle

Also Published As

Publication number Publication date
CN107111752A (zh) 2017-08-29
CN107111752B (zh) 2020-08-21
CA2971594A1 (en) 2016-07-21
WO2016114885A1 (en) 2016-07-21
KR20170106963A (ko) 2017-09-22
JP2018505479A (ja) 2018-02-22
BR112017015138A2 (pt) 2018-01-30
US10133947B2 (en) 2018-11-20
US20160210525A1 (en) 2016-07-21
EP3245614A1 (en) 2017-11-22

Similar Documents

Publication Publication Date Title
CN107111752B (zh) 使用位置数据和图像数据的缩放空间表示进行物件检测
US11392135B2 (en) Systems and methods for navigating lane merges and lane splits
JP6559535B2 (ja) 障害物マップ生成装置、その方法、及び、そのプログラム
US11042157B2 (en) Lane/object detection and tracking perception system for autonomous vehicles
CN110386142B (zh) 用于自动驾驶车辆的俯仰角校准方法
US10816992B2 (en) Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
US11062609B2 (en) Information processing apparatus and information processing method
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
US20190103026A1 (en) Image Processing for Vehicle Collision Avoidance System
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN110390240B (zh) 自动驾驶车辆中的车道后处理
US20170263129A1 (en) Object detecting device, object detecting method, and computer program product
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
US10922976B2 (en) Display control device configured to control projection device, display control method for controlling projection device, and vehicle
US20220371583A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
CN114694111A (zh) 车辆定位
JP7464616B2 (ja) 速度および位置情報を使用するレーダ反射の認識
JP2019046147A (ja) 走行環境認識装置、走行環境認識方法、プログラム
WO2021074660A1 (ja) 物体認識方法及び物体認識装置
JP7429246B2 (ja) 対象を識別する方法とシステム
JP2023122597A (ja) 情報処理装置、情報処理方法及びプログラム
KR101934297B1 (ko) 3차원 LiDAR를 이용한 선분추출 기반의 교차로 인식 방법
EP4148600A1 (en) Attentional sampling for long range detection in autonomous vehicles