TWI618028B - 用於非障礙區偵測之系統及方法 - Google Patents

用於非障礙區偵測之系統及方法 Download PDF

Info

Publication number
TWI618028B
TWI618028B TW105125931A TW105125931A TWI618028B TW I618028 B TWI618028 B TW I618028B TW 105125931 A TW105125931 A TW 105125931A TW 105125931 A TW105125931 A TW 105125931A TW I618028 B TWI618028 B TW I618028B
Authority
TW
Taiwan
Prior art keywords
obstacle
vertical
horizontal
map
reliability
Prior art date
Application number
TW105125931A
Other languages
English (en)
Other versions
TW201724007A (zh
Inventor
格寇斯 丹恩
瓦蘇德弗 巴斯卡蘭
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201724007A publication Critical patent/TW201724007A/zh
Application granted granted Critical
Publication of TWI618028B publication Critical patent/TWI618028B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本發明描述一種藉由一電子器件執行之方法。該方法包括執行一深度圖之垂直處理以判定一垂直非障礙估計。該方法亦包括執行該深度圖之水平處理以判定一水平非障礙估計。該方法進一步包括組合該垂直非障礙估計與該水平非障礙估計。該方法另外包括基於該垂直非障礙估計與該水平非障礙估計之該組合而產生一非障礙圖。

Description

用於非障礙區偵測之系統及方法
本發明大體上係關於電子器件。更特定言之，本發明係關於用於非障礙區偵測之系統及方法。
最近幾十年中，電子器件之使用已變得普遍。詳言之，電子技術之進展已降低了愈加複雜且有用的電子器件之成本。成本降低及消費者需求已使電子器件之使用劇增，使得其在現代社會中幾乎隨處可見。由於電子器件之使用已推廣開來，因此具有對電子器件之新的且改良之特徵的需求。更特定言之，人們常常尋求執行新功能及/或更快、更有效且以更高品質執行功能之電子器件。 一些電子器件(例如，攝影機、視訊攝錄影機、數位攝影機、蜂巢式電話、智慧型電話、電腦、電視等)捕獲或利用影像。舉例而言，智慧型電話可捕獲及/或處理靜止及/或視訊影像。在汽車及自主汽車應用中，可藉由處理影像執行障礙偵測。處理影像可需求相對大量時間、記憶體及能量資源。所需求資源可根據處理之複雜度而變化。 可能難以實施一些複雜處理任務。舉例而言，一些平台可具有有限處理、記憶體及/或能量資源。此外，一些應用可為時間敏感性。自此論述可觀察到，改良影像處理之系統及方法可係有益的。
描述一種藉由電子器件執行之方法。方法包括執行深度圖之垂直處理以判定垂直非障礙估計。方法亦包括執行深度圖之水平處理以判定水平非障礙估計。方法進一步包括組合垂直非障礙估計與水平非障礙估計。方法另外包括基於垂直非障礙估計與水平非障礙估計之組合而產生非障礙圖。 執行垂直處理可包括將深度圖分割成數個片段。至少一個片段可包括在行中之許多像素。可針對至少一個片段估計線性模型參數以判定垂直非障礙估計。可產生包括垂直非障礙估計的可靠性值之垂直可靠性圖。 判定垂直可靠性圖可包括基於所估計線性模型參數與預定線性模型參數之間的差別判定給定片段之片段擬合錯誤。給定片段之可靠性值可藉由比較片段擬合錯誤與垂直估計臨限值來判定。可將給定片段之可靠性值應用於給定片段中之至少一個像素。 預定線性模型參數可選自複數個道路條件模型。複數個道路條件模型可具有線性模型參數之對應集合。 執行水平處理可包括獲得深度圖之至少一個像素列之深度直方圖。可自深度直方圖判定地形線。可基於至少一個像素之深度值距地形線的距離判定水平非障礙估計。可產生包括水平非障礙估計之可靠性值的水平可靠性圖。 產生水平可靠性圖可包括判定給定像素之深度值是否在深度直方圖之眾數的範圍內。當給定像素之深度值在深度直方圖之眾數範圍內時，給定像素可具有高可靠性值。 組合垂直非障礙估計與水平非障礙估計可包括並行執行垂直處理及水平處理兩者。垂直非障礙估計及水平非障礙估計可基於垂直可靠性圖及水平可靠性圖而合併。 給定像素可經識別為非障礙圖中的非障礙區，其中垂直可靠性圖及水平可靠性圖兩者由給定像素之高可靠性值表徵。給定像素可經識別為非障礙圖中的障礙區，其中垂直可靠性圖或水平可靠性圖中之至少一者由給定像素之低可靠性值表徵。可基於給定像素之座標將給定像素識別為非障礙圖中的非障礙區或障礙區，其中垂直可靠性圖及水平可靠性圖係由給定像素之不同可靠性值表徵。 組合垂直非障礙估計與水平非障礙估計可包括執行深度圖之垂直處理。可基於模型擬合可信度獲得垂直可靠性圖。垂直可靠性圖之可靠區域可經識別為非障礙區。可針對垂直可靠性圖之不可靠區域執行水平處理以判定不可靠區域是否為非障礙區。 組合垂直非障礙估計與水平非障礙估計可包括執行深度圖之水平處理。可基於深度直方圖距離獲得水平可靠性圖。水平可靠性圖之可靠區域可經識別為非障礙區。可針對水平可靠性圖之不可靠區域執行垂直處理以判定不可靠區域是否為非障礙區。 非障礙圖可用於識別由物件偵測演算法或通路偵測演算法中之至少一者使用的關注區。 亦描述一種電子器件。電子器件經組態以執行深度圖之垂直處理以判定垂直非障礙估計。電子器件亦經組態以執行深度圖之水平處理以判定水平非障礙估計。電子器件經進一步組態以組合垂直非障礙估計與水平非障礙估計。電子器件另外經組態以基於垂直非障礙估計與水平非障礙估計之組合產生非障礙圖。 亦描述一種裝置。裝置包括用於執行深度圖之垂直處理以判定垂直非障礙估計的構件。裝置亦包括用於執行深度圖之水平處理以判定水平非障礙估計的構件。裝置進一步包括用於組合垂直非障礙估計與水平非障礙估計之構件。裝置另外包括用於基於垂直非障礙估計與水平非障礙估計之組合而產生非障礙圖之構件。 亦描述一種電腦程式產品。電腦程式產品包括其上具有指令之非暫時性有形電腦可讀媒體。指令包括用於使電子器件執行深度圖之垂直處理以判定垂直非障礙估計的程式碼。指令亦包括用於使電子器件執行深度圖之水平處理以判定水平非障礙估計的程式碼。指令進一步包括用於使電子器件組合垂直非障礙估計與水平非障礙估計的程式碼。指令另外包括用於使電子器件基於垂直非障礙估計與水平非障礙估計之組合產生非障礙圖的程式碼。
在許多應用中，識別區域或環境內的非物件區以用於障礙避免係有利的。舉例而言，在使用進階駕駛員輔助系統(ADAS)之情況下，識別汽車前方之可駕駛區以用於障礙避免係重要的。其中障礙避免係重要的另一情形為其中自主交通工具(例如，無人操縱的飛行器(UAV)或自主汽車)感測其環境並在無人輸入情況下導航的交通工具自動化。 通常，自另一方向來看障礙避免之問題，其中所關注的物件(例如行人、汽車、自行車)被偵測並可經由物件偵測/識別演算法來識別且警告經提供至駕駛員以用於採取預防措施。舉例而言，障礙偵測可用以偵測並識別交通指示牌(例如，速度限制指示牌、停止指示牌、街道指示牌等)。然而，此方法可係緩慢且不準確的。此外，所有物件類別必須經預先訓練，此使得難以添加新的物件類別。 在本文中所描述的系統及方法中，替代識別物件，識別不含障礙或物件之區域。此等區域可被稱為可移動區。換言之，此等三維區域為其中移動係可能的非障礙區。舉例而言，可識別道路上之非障礙區。在識別非障礙區後，可使用該非障礙區執行各種其他應用程式，諸如道路分析、速度控制、更快及更可靠物件及通路偵測。 本文中所描述的系統及方法可用於藉由分析深度圖來識別非障礙區。在實施中，可自立體影像對產生深度圖。在道路情形中，在前面的開放空間可映射至在深度域中描述道路的線性模型。藉由使用道路片段之深度，可估計線性模型參數。所估計線性模型參數可與先前(例如預定)模型參數相比較。若擬合達成，則片段經聲明為開放區之部分。若立體影像對不可用，則諸如運動中恢復結構之方法可用以藉由使用單攝影機輸入序列獲得深度圖。 本文中所描述的系統及方法提供基於一或多個影像之垂直處理與水平處理的智慧型組合的非障礙圖之判定。下文更詳細地解釋執行識別非障礙區之系統及方法。 圖1為說明經組態以執行非障礙區偵測的電子器件102之方塊圖。電子器件102亦可被稱作無線通信器件、行動器件、行動台、用戶台、用戶端、用戶端台、使用者裝備(UE)、遠端台、存取終端機、行動終端機、終端機、使用者終端機、用戶單元等。電子器件之實例包括膝上型電腦或桌上型電腦、蜂巢式電話、智慧型電話、無線數據機、電子閱讀器、平板器件、遊戲系統、機器人、飛機、無人操縱飛行器(UAV)、汽車等。此等器件中之一些可根據一或多個行業標準操作。 在許多情形中，電子器件102可使用場景之非障礙圖126。在一個實例中，智慧型電話可產生場景之非障礙圖126以識別未佔用空間。在另一實例中，汽車可包括可使用非障礙圖126以基於所偵測交通指示牌、信號及/或其他物件調節汽車之速度、轉向、停車等的進階駕駛員輔助系統(ADAS)。在另一實例中，無人操縱飛行器(UAV)可自飛行時記錄的視訊產生非障礙圖126，可基於所偵測物件(例如，建築物、指示牌、人、封裝體等)導航，可拾取及/或遞送所偵測封裝體，等等。許多其他實例可根據本文所揭示之系統及方法來實施。舉例而言，本文所揭示之系統及方法可實施於基於使用非障礙圖126偵測的一或多個物件執行一或多個動作(例如提取某物、裝配某物、搜尋物品，等)的機器人中。 電子器件102可包括一或多個攝影機。攝影機可包括影像感測器104及光學系統108(例如，透鏡)，光學系統將位於光學系統108之視野內的物件之影像聚焦至影像感測器104上。電子器件102亦可包括攝影機軟體應用程式及顯示螢幕。當攝影機應用程式在運行時，可由影像感測器104記錄位於光學系統108之視野內的物件之影像114。此等影像114可儲存於記憶體緩衝器112中。在一些實施中，攝影機可與電子器件102分隔且電子器件102可接收來自在電子器件102外部的一或多個攝影機之影像資料。 儘管關於所俘獲影像114描述本系統及方法，但本文所論述之技術可用於任何數位影像上。因此，術語視訊圖框及數位影像可在本文中互換使用。 在許多應用中，電子器件102識別不含障礙之區係有益的。舉例而言，在ADAS的狀況下，識別汽車前方的可駕駛區以用於障礙避免係重要的。在一些方法中，自另一方向來看此問題。在此等方法中，所關注的物件(例如行人、汽車、自行車)係經由物件偵測及識別演算法來識別且警告經提供至駕駛員以用於採取預防措施。 其他方法可藉由執行影像114之垂直處理或水平處理中的一者來判定非障礙區。垂直處理及水平處理中之每一者可估計影像114中之非障礙區。然而，每一方法當經獨立地執行時具有侷限性。 當道路傾斜時，水平處理可得到不正確非障礙估計。垂直處理可對影像114執行分段。若片段為大，則擬合更可靠。然而，物件之部分亦可經包括為非障礙(亦即，無障礙)區。舉例而言，使用垂直處理，汽車之底部及頂部或行人可經不正確地識別為非障礙區。又，人行道可在垂直處理方法之情況下經不正確地識別為非障礙區。然而，若片段小，則非障礙區之不準確的偵測可出現。 本文中所描述的系統及方法提供基於一或多個影像114之垂直處理與水平處理的智慧型組合的非障礙圖126之判定。在所描述系統及方法中，替代識別物件，非障礙圖126可藉由組合深度圖之垂直處理與水平處理來判定。在一個實施中，可自一或多個影像獲得深度圖。在另一實施中，可自深度資料擷取程序(例如LIDAR)獲得深度圖。 在實施中，電子器件102可包括用於判定非障礙圖126之非障礙判定模組116。非障礙判定模組116可包括用於獲得深度圖之深度圖產生器118。非障礙判定模組116亦可包括用於執行深度圖之垂直處理以判定垂直非障礙估計的垂直估計模組120。非障礙判定模組116可進一步包括用於執行深度圖之水平處理以判定水平非障礙估計的水平估計模組122。 估計組合器124可組合垂直非障礙估計與水平非障礙估計以判定非障礙圖126。在實施中，估計組合器124可基於與估計相關聯的可靠性值智慧型地組合垂直非障礙估計與水平非障礙估計。非障礙圖126可指示一或多個影像114中之哪些區係非障礙區且哪些區係障礙區。結合圖2給出關於產生非障礙圖126的更多細節。 在實例中，非障礙圖126可包括道路上不含障礙(例如物件)的非障礙區。藉由組合影像114之垂直處理與水平處理，可消除錯誤偵測。此外，組合方法可提供更可靠非障礙估計。 所描述系統及方法可用於加速各種其他應用。舉例而言，電子器件102可使用非障礙圖126用於其他應用，諸如物件偵測、場景理解、道路分析及通路偵測。所描述系統及方法亦可解決當前通路偵測演算法不可處置的道路路緣偵測的問題。所描述系統及方法可另外幫助自主駕駛，其中基於道路之地形調整速度。 圖2為說明非障礙判定模組216之方塊圖。非障礙判定模組216可實施於電子或無線器件內。非障礙判定模組216可包括深度圖產生器218、垂直估計模組220、水平估計模組222及估計組合器224。非障礙判定模組216、深度圖產生器218、垂直估計模組220、水平估計模組222及估計組合器224可為上文結合圖1所描述的非障礙判定模組116、深度圖產生器118、垂直估計模組120、水平估計模組122及估計組合器124之組態。 深度圖產生器218可接收一或多個影像214。在組態中，如結合圖1所描述，可經由攝影機(例如，影像感測器104及光學系統108)獲得一或多個影像214。在實施中，深度圖產生器218可接收立體影像對。在另一實施中，一或多個影像214可來自視訊單影像。影像214可為由像素組成的數位影像。 深度圖產生器218可自一或多個影像214獲得深度圖230。深度圖230可包括對應於一或多個影像214之像素的像素232。深度圖230中之每一像素232具有深度值234。深度值234指示像素232相對於攝影機之距離。舉例而言，具有較高深度值234之像素232可指示相比具有較低深度值234之像素232更接近於攝影機。結合圖4A至圖4D論述深度圖230之實例。 應注意本文中所描述的演算法不需要每一像素232之深度值234。舉例而言，深度圖230可具有孔。此等孔之深度值234可在開始處理之前填充。 在立體影像對的狀況下，深度圖產生器218可找到像素232之間的對應關係以估計視差。自視差，深度圖產生器218可判定每一像素232之深度值234。替代地，在視訊單影像之情況下，深度圖產生器218可基於視訊之運動判定每一像素232之深度值234。 深度圖230可經提供至垂直估計模組220及水平估計模組222。垂直估計模組220可執行深度圖230之垂直處理以判定垂直非障礙估計242。水平估計模組222可執行深度圖230之水平處理以判定水平非障礙估計258。 垂直估計模組220可將深度圖230分割成數個片段236。每一片段236可包括在深度圖230之行中的許多像素232。換言之，垂直估計模組220可處理深度圖230之垂直片段236。片段236可為深度圖230中之像素232之行的一部分。舉例而言，片段236可為10至15像素232之向量。片段236可或可不重疊。 垂直估計模組220可估計每一片段236之線性模型參數以判定垂直非障礙估計242。在垂直方向中之每一片段236可經由線性模型估計。線性模型可表示為：， (1) 其中y 為像素232之深度值234，x 為像素232之座標，且及p 1 及p 2 為所估計線性模型參數238。若估計誤差小於垂直估計臨限值246且線性擬合具有某一斜率，則其可經標記為有效的自由空間(非障礙區266)。在實施中，大於0之斜率指示非障礙，而小於或等於0之斜率指示物件或障礙。結合圖4A至圖4D論述此方法之實例。 以矩陣形式，等式(1)之線性模型係藉由等式(2)給出。(2) 在等式(2)中，y 為深度值234之n 乘1向量，x 為垂直維度中之模型座標的n 乘2設計矩陣(亦即，n 列2行之矩陣)，且p 1 及p 2 為所估計線性模型參數238。n 之值對應於深度圖片段236中的像素232之數目。 在一種方法中，p 1 及p 2 可使用最小二乘解來求解。在此方法中，p 為未知係數p1 及p2 的向量。正規等式藉由下式給出(3) 其中為設計矩陣X 之轉置。對等式(4)中之p 的求解產生估計線性模型參數238(亦即，p 1 及p 2 )。(4) 應注意在最佳化實施中，矩陣倒置項基於位置(亦即，y 座標)而固定且可基於位置而預先計算並被儲存。又，藉由p1 、p2 及片段長度的變化，分段線性模型可估計表面中之突降及凸起。此外，此方法之主要複雜度歸因於上述等式(2)中的大小n 之兩個向量的矩陣乘法。在實例中，n 可為10或所選擇分段長度而非10。 垂直估計模組220可針對垂直非障礙估計242判定垂直可靠性圖248之可靠性值250。在實施中，垂直估計模組220可基於在估計線性模型參數238與預定線性模型參數240之間的差判定每一片段236的片段擬合誤差244。預定模型參數可被稱為[pM 1,pM 2]。垂直估計模組220可藉由比較臨限值(TH 1)檢查預定模型參數如何接近於估計參數[p 1 、 p 2 ]。舉例而言，。 垂直估計臨限值246可判定所估計線性模型參數238是否適合經訓練模型參數。預定線性模型參數240可選自複數個道路條件模型。複數個道路條件模型中之每一者可具有線性模型參數240之對應集合。道路條件模型的實例包括平坦平面、坡道、谷地等。預定線性模型參數240可由訓練判定。 垂直估計模組220可根據等式(5)使用所估計線性模型參數238判定所估計深度值()，其中為第i 個位置處之所估計深度值。(5) 使用所估計線性模型參數238情況下之深度估計誤差()可根據等式(6)來判定，其中yi 為第i 個位置處之深度值234。(6) 片段擬合誤差244(s2 )可根據等式(7)來判定，其中n 為片段236之長度。(7) 片段擬合誤差244可用作用於垂直處理之可靠性量度。垂直估計模組220可藉由比較每一片段236之片段擬合誤差244與垂直估計臨限值246來判定每一片段236之垂直可靠性值250。 垂直估計臨限值246可係基於預定線性模型參數240。垂直估計臨限值246可視哪些預定線性模型參數240被使用而變化。舉例而言，若使用平坦道路之預定線性模型參數240，則垂直估計臨限值246可具有一值。若使用坡道之預定線性模型參數240，則垂直估計臨限值246可具有不同值。 垂直估計模組220可檢查片段擬合誤差244與垂直估計臨限值246之間的差之絕對值。當給定片段236之片段擬合誤差244小於垂直估計臨限值246時給定片段236可具有高垂直可靠性值250。相對而言，當給定片段236之片段擬合誤差244大於或等於垂直估計臨限值246時給定片段236可具有低垂直可靠性值250。因此，若片段擬合誤差244與垂直估計臨限值246之間的差為小，則片段236被視為非障礙區266之部分。若差為大，則片段236並不被視為非障礙區266之部分。 在判定給定片段236之可靠性值250後，垂直估計模組220可定限垂直可靠性圖248以得到二進位圖。給定片段236之可靠性值250可與臨限值相比較以判定片段236是非物件區(例如可移動)抑或物件區(例如非可移動區)。垂直可靠性圖248可包括深度圖230中之像素232之可靠性值250。因此，垂直可靠性圖248為每一深度像素232以及每一片段236具有擬合可信度的圖。 水平估計模組222可執行深度圖230之水平處理以判定水平非障礙估計258。水平處理可包括獲得深度圖230之像素232的每一列之深度直方圖252。結合圖6A至圖6D描述深度直方圖252之實例。深度直方圖252亦可被稱作視差直方圖。 在實施中，深度直方圖252可藉由獲得深度圖230中之每一列的直方圖而獲得。舉例而言，對於來自深度圖230的像素232之列，可產生對應於列中之像素232的深度值234之直方圖。 水平估計模組222可自深度直方圖252判定地形線254。地形線254之端點的y座標判定最近及最遠自由空間距離。 可使用線提取方法判定地形線254。可對深度直方圖252應用霍夫變換。霍夫變換可自深度直方圖252提取多個線段。舉例而言，霍夫變換可產生10至20個小線。線段可經合併以形成地形線254。在實施中，可基於非障礙空間之斜率特性限制地形線254之角度(例如在-20度與-40度之間)。 水平估計模組222可基於每一像素232的深度值234距地形線254之距離判定每一像素232之水平非障礙估計258。具有位於地形線254之水平估計臨限值260內的深度值234之像素232可經識別為非障礙區266。舉例而言，若像素232之深度值234處於地形線254之某一視差範圍內，則像素232可標記為非障礙區266。若像素232之深度值234處於地形線254之某一視差範圍外部，則像素232可經標記為障礙區268。 水平估計模組222亦可基於深度直方圖252距離判定水平可靠性圖262。水平可靠性圖262可包括每一像素232的水平非障礙估計258之可靠性值264。 至深度直方圖252之眾數256的距離可用作用於水平處理之可靠性量度。水平估計模組222可判定每一像素232之深度值234是否在深度直方圖252之眾數256的可靠性臨限值261內。當給定像素232之深度值234在深度直方圖252的眾數256之可靠性臨限值261內時，給定像素232可具有高可靠性值264。 估計組合器224可組合垂直非障礙估計242與水平非障礙估計258以判定非障礙圖226。此組合可係基於垂直可靠性值250及水平可靠性值264。在一種方法中，垂直處理及水平處理可經並行執行且所得非障礙估計242、258合併。在另一方法中，垂直處理及水平處理可順序地執行且所得非障礙估計合併。 對於並列處理方法，垂直處理及水平處理兩者可經並行執行。舉例而言，垂直估計模組220可執行垂直處理且水平估計模組222可如上文所描述同時執行水平處理。估計組合器224可藉由將每一像素232識別為非障礙區266或障礙區268而產生非障礙圖226。此識別可係基於垂直可靠性圖248之垂直可靠性值250及水平可靠性圖262之水平可靠性值264。 若垂直可靠性圖248及水平可靠性圖262兩者指示像素232具有高可靠性，則像素232可經識別為非障礙圖226中之非障礙區266。換言之，給定像素232可經識別為非障礙圖226中之非障礙區266，其中垂直可靠性圖248及水平可靠性圖262兩者係由給定像素232之高可靠性值表徵。 在實施中，此可藉由以各別臨限值定限垂直可靠性圖248及水平可靠性圖262而達成。舉例而言，若給定像素232的垂直可靠性值250及水平可靠性值264大於臨限值，則像素232可經識別為非障礙區266。在垂直可靠性圖248及水平可靠性圖262兩者指示低可靠性的狀況下，像素232可經標記為障礙區268。 對於垂直可靠性圖248或水平可靠性圖262中之任一者指示高可靠性且另一者指示低可靠性的狀況，可執行一或多個不同合併方法。在一種方法中，若垂直可靠性圖248或水平可靠性圖262中之至少一者指示給定像素232具有低可靠性，則給定像素232經識別為非障礙圖226中之障礙區268。換言之，給定像素232可經識別為非障礙圖226中之障礙區268，其中垂直可靠性圖248及水平可靠性圖262中之至少一者係由給定像素232之低可靠性值表徵。在此方法中，若可靠性映射248、262中的一者指示低可靠性，則像素232可僅僅基於彼可靠性圖248、262而標記。 在另一方法中，垂直可靠性圖248及水平可靠性圖262係由給定像素232之不同可靠性值250、264表徵。在此狀況下，給定像素232可基於給定像素232之座標而識別為非障礙區266或障礙區268。在此方法中，若可靠性圖248、262兩者在可靠性方面彼此接近(例如一者高於另一者)，則可藉由考慮像素232座標而進一步增強決策。 在實例中，RHij 為來自水平處理的第i 及第j 個像素232之水平可靠性值264，且RVij 為來自垂直處理的垂直可靠性值250(其中可靠性值250、264兩者在由不同方法獲得情況下經正規化)。若|RHij -RVij |＜TH，則此將指示可靠性圖248、262之接近性。此外，RHij 可與RVi +n,j +n 比較，其中n 為＜N (例如，對於720p解析度，N=5)。 對於順序處理方法，可首先執行垂直處理或水平處理。在執行第一處理之後，可針對整個深度圖230計算可靠性圖(例如垂直可靠性圖248或水平可靠性圖262)。對於可靠性未滿足的像素232，調用第二處理。第一及第二處理之結果可經合併以獲得非障礙圖226。結合圖9描述以垂直處理開始的順序處理之實例。結合圖10描述以水平處理開始的順序處理之實例。 非障礙判定模組216可執行非障礙圖226之額外處理。在實施中，非障礙判定模組216可執行離群值移除。舉例而言，少數像素232可為非障礙區266內的經不正確標記之障礙區268。非障礙判定模組216可識別此等離群值且改變其狀態至非障礙或障礙。非障礙判定模組216可執行非障礙圖226之額外過濾以使其為後續操作作準備。 非障礙圖226可用於不同操作。在一個實施中，非障礙圖226可用於識別由物件偵測演算法使用的關注區。可如結合圖14所描述而實現此。在另一實施中，非障礙圖226可用於識別由通路偵測演算法使用的關注區。可如結合圖15所描述而實現此。 如在圖2中所說明，所說明組件中之一或多者可視需要藉由處理器228實施。舉例而言，可藉由處理器228實施非障礙判定模組216。在一些組態中，不同處理器可用於實施不同組件(例如，一個處理器可實施深度圖產生器218，另一處理器可用於實施垂直估計模組220，另一處理器可用於實施水平估計模組222且又一個處理器可用於實施估計組合器224)。 應注意旋轉影像214並執行對角線處理係可能的。若影像214旋轉，則垂直及水平處理可變成對角線處理。因此，雖然本文中使用術語垂直及水平處理，但可認識到可使用對應座標映射經由旋轉之影像橫跨不同區段而應用處理。 圖3為說明用於執行非障礙區偵測的方法300之流程圖。方法300可參看圖1藉由電子器件102(例如非障礙判定模組116)實施。電子器件102可自一或多個影像214獲得302深度圖230。在一個實施中，電子器件102可自立體影像對產生深度圖230。在另一實施中，電子器件102可自視訊單影像產生深度圖230。深度圖230中之每一像素232可具有深度值234。 電子器件102可執行304深度圖230之垂直處理以判定垂直非障礙估計242。垂直處理可包括將深度圖230分割成數個片段236。每一片段236可包括在行中之許多像素232。電子器件102可估計每一片段236之線性模型參數238以判定垂直非障礙估計242。電子器件102可判定包括垂直非障礙估計242之可靠性值250的垂直可靠性圖248。 電子器件102可執行306深度圖230之水平處理以判定水平非障礙估計258。水平處理可包括獲得深度圖230之像素232的每一列之深度直方圖252。電子器件102可自深度直方圖252判定地形線254。電子器件102可基於每一像素232的深度值234距地形線254之距離判定每一像素232之水平非障礙估計258。電子器件102亦可針對每一像素232之水平非障礙估計258判定包括可靠性值264的水平可靠性圖262。 電子器件102可組合308垂直非障礙估計242與水平非障礙估計258以判定非障礙圖226。在一個實施中，電子器件102可執行並列垂直處理及水平處理。在此實施中，電子器件102可組合垂直非障礙估計242與水平非障礙估計258，如結合圖10所描述。在另一實施中，電子器件102可執行以垂直處理開始的順序處理，如結合圖11A至圖11B所描述。在又一實施中，電子器件102可執行以水平處理開始的順序處理，如結合圖12A至圖12B所描述。 圖4A至圖4D說明深度圖430之垂直處理的實例。深度圖430可自一或多個影像404產生。深度圖430可包括對應於原始影像404之像素的位置。深度圖430中之每一位置(例如座標)可具有對應於原始影像404之像素的水平座標472及垂直座標474a。 若自原始解析度計算深度，則深度圖430可匹配原始影像404之大小。在深度圖430之可視化中，深度值434可自原始影像404之對應座標獲得。應注意當產生非障礙圖226時可或可不產生深度圖430之可視化。 深度圖430中之每一像素232可具有深度值434。在此實例中，深度值434a可介於0至120之範圍內，其中0指示最遠距離且120指示最近距離。應注意不同值可用於深度值434。 在實施中，深度映射之視差可藉由以下等式解釋。Z =fB /d ，其中Z 為沿著攝影機Z軸之距離，f 為焦距(以像素計)，B 為基線(以米計)，d 為視差(以像素計)。當視差為小時，深度為大。可以米為單位發現深度。 應注意來自立體影像404之深度估計演算法可不完全可靠。舉例而言，深度估計演算法可並不能夠指派某些區域中之深度值434。深度填充演算法可用於填寫遺漏深度值434。舉例而言，相鄰深度值434可傳播至鄰接區。傳播可自左或自右。替代地，遺漏深度值434可藉由在左與右之間以及頂部與底部之間內插填寫。 此實例展示第一行470a及第二行470b。在第一行圖表475a中，針對第一行470a中之像素232展示深度值434b。在此第一行圖表475a中，相較於來自第一行470a的像素232之垂直座標474b標繪深度值434b。應注意在此實例中，自0至40且在400像素之後的零值係由於此處不存在所指派深度。由於立體影像可被校準，因此其在校準之後可不具有匹配視野(FOV)。可僅僅在相同FOV內僅僅執行深度估計。 在第二行圖表475b中，針對第二行470b中之像素232展示深度值434c。在此第二行圖表475b中，相較於來自第二行470b的像素232之垂直座標474c標繪深度值434c。0至150之虛線為展示演算法結果的映射。映射可僅僅為傾斜(亦即，歪斜)線(其指定非物件道路區)。對於至物件(其為平坦線)之圖，接著可使用相同演算法，但映射參數可改變。 圖表475a、475b中之實線來自原始深度值。根據所描述系統及方法產生虛線。應注意映射可基於虛線之斜率。在此等圖表475a、475b中，大於0之斜率指示非障礙區266。小於或等於0之斜率指示障礙區268。 在垂直處理期間，電子器件102可將深度圖430分割成數個片段236。每一片段236可包括在行470中之許多像素232。舉例而言，片段236可為10至15像素232之向量。電子器件102可判定垂直非障礙估計242並可估計線性模型參數238，如結合圖2所描述。若估計誤差小於臨限值246且線性擬合具有某一斜率，則片段236可標記為有效的非障礙區266。 圖5為說明用於使用垂直處理執行非障礙區偵測的方法500之流程圖。方法500可藉由電子器件102(例如非障礙判定模組116)實施。電子器件102可將深度圖430分割502成數個片段236。每一片段236可包括在行470中之n 數目個像素232。在實施中，n 可等於10個像素232。 電子器件102可估計504每一片段236之線性模型參數238以判定垂直非障礙估計242。此可根據上文所描述的等式1至等式4而實現。 電子器件102可判定506包括垂直非障礙估計242之可靠性值250的垂直可靠性圖248。舉例而言，電子器件102可基於在估計之線性模型參數238與預定線性模型參數240之間的差判定每一片段236的片段擬合誤差244。片段擬合誤差244可根據上述等式5至等式7而判定。預定線性模型參數240可選自複數個道路條件模型(例如平坦、坡道、谷)。複數個道路條件模型中之每一者可具有線性模型參數240之對應集合。 電子器件102可藉由比較每一片段236之片段擬合誤差244與垂直估計臨限值246判定每一片段236之可靠性值250。當給定片段236之片段擬合誤差244小於垂直估計臨限值246時給定片段236可具有高可靠性值250。 電子器件102可將給定片段236之可靠性值250應用於給定片段236中之每一像素232。因此，垂直可靠性圖248中之每一像素232可具有指示垂直非障礙估計242之可信度的可靠性值250。 圖6A至圖6D說明深度圖630之水平處理的實例。深度圖630可自一或多個影像114產生。圖6A中所說明之深度圖630為結合圖4B描述之相同深度圖430(經壓縮以適合頁面)。深度圖630可包括對應於原始影像114之像素的位置。深度圖630中之每一位置可具有對應於原始影像114之像素232的水平座標672及垂直座標674。 電子器件102可產生深度直方圖652。深度直方圖652可藉由獲得深度圖630中之每一列的深度之直方圖而產生。舉例而言，深度直方圖652可藉由在垂直軸線中投影深度圖630而產生。 可針對影像114中之每一列計算深度直方圖652。深度直方圖652中的框組之數目對應於影像114中的最大視差值之數目。舉例而言，對於720p影像框組之數目可為150，或對於較大解析度影像其可為較大且對於較小解析度影像其可為較小。圖6B之右側的x 軸對應於視差值，且影像114中之強度值對應於彼視差值之直方圖計數。著色愈暗，視差值愈高，著色愈淺，直方圖之視差值愈低。在此實例中，視差框組之最大數目為150。在深度直方圖652中，相對於垂直座標674標繪視差值。 電子器件102可針對深度直方圖652應用霍夫變換以提取線段676。霍夫變換可自深度直方圖252提取多個線段676。舉例而言，霍夫變換可產生10至20個小線段676。 線段676可經合併以形成地形線654。地形線254之端點的x座標判定最近及最遠自由空間距離。在實施中，地形線254之角度可受限(例如在-20度與-40度之間)，此係因為非障礙空間具有某些斜率特性。 若深度直方圖652給出具有負斜率之線，則其對應於汽車前方沒有任何障礙的道路片段。障礙將由在90度處的直垂直線表示。地形線254指示攝影機前方的深度值正緩慢減少此係因為深度值係在影像114之列中分析。若存在物件，則對於某一數目之列，物件將具有相同深度值。在此狀況下，深度值將不減少。斜率(亦即，地形線254之角度)可根據道路可具有的最大斜率而選擇。 電子器件102可將具有位於地形線654之水平估計臨限值260內的深度值634之像素232標記為非障礙區266。具有位於地形線654之水平估計臨限值260外部的深度值634之彼等像素232可經標記為障礙區268。 圖7為說明用於使用水平處理執行非障礙區偵測的方法700之流程圖。方法700可藉由電子器件102(例如非障礙判定模組116)實施。電子器件102可獲得702深度圖230之像素232的每一列之深度直方圖252。可如結合圖6A至圖6D所描述而實現此。 電子器件102可自深度直方圖252判定704地形線254。可如結合圖6A至圖6D所描述而實現此。 電子器件102可基於每一像素232的深度值234距地形線254之距離判定706每一像素232之水平非障礙估計258。具有位於地形線654之水平估計臨限值260內的深度值634之彼等像素232可經標記為非障礙區266。具有位於地形線654之水平估計臨限值260外部的深度值634之彼等像素232可經標記為障礙區268。 電子器件102可針對每一像素232之水平非障礙估計258判定708包括可靠性值264的水平可靠性圖262。舉例而言，至深度直方圖252之眾數256的距離可用作用於水平處理之可靠性量度。電子器件102可判定每一像素232之深度值234是否在深度直方圖252之眾數256的可靠性臨限值261內。當給定像素232之深度值234在深度直方圖252的眾數256之可靠性臨限值261內時，給定像素232可具有高可靠性值264。 圖8為說明用於組合垂直非障礙估計242與水平非障礙估計258以判定非障礙圖226的方法800之流程圖。方法800可藉由電子器件102(例如非障礙判定模組116)實施。在此方法800中，電子器件102可並行執行垂直處理及水平處理。 電子器件102可執行802深度圖230之垂直處理以判定垂直非障礙估計242。可如結合圖5所描述而實現此。 電子器件102可基於模型擬合可信度獲得804垂直可靠性圖248。可如結合圖5所描述而實現此。 電子器件102可執行806深度圖230之水平處理以判定水平非障礙估計258。可如結合圖7所描述而實現此。 電子器件102可基於深度直方圖252距離獲得808水平可靠性圖262。可如結合圖7所描述而實現此。 應注意步驟802、804、806、808可並行執行。舉例而言，在電子器件102執行垂直處理步驟802及804的同時，電子器件102可同時執行水平處理步驟806及808。 電子器件102可合併810垂直非障礙估計242及水平非障礙估計258以獲得非障礙圖226。此合併可係基於垂直可靠性圖248及水平可靠性圖262。 若垂直可靠性圖248及水平可靠性圖262兩者指示像素232具有高可靠性，則像素232可經識別為非障礙圖226中之非障礙區266。舉例而言，若垂直可靠性圖248指示高垂直可靠性值250且水平可靠性圖262指示高水平可靠性值264，則像素232可經標記為非障礙圖226中之非障礙區266。 對於垂直可靠性圖248或水平可靠性圖262中之任一者指示高可靠性且另一者指示低可靠性的狀況，可執行一或多個不同合併方法。在一種方法中，若垂直可靠性圖248或水平可靠性圖262中之至少一者指示給定像素232具有低可靠性值250、264，則給定像素232經識別為非障礙圖226中之障礙區268。在另一方法中，垂直可靠性圖248及水平可靠性圖262可指示不同可靠性值250、264。在此狀況下，給定像素2332可基於給定像素232之座標而識別為非障礙區266或障礙區268。 圖9為說明用於組合垂直非障礙估計242與水平非障礙估計258以判定非障礙圖226的另一方法900之流程圖。方法900可藉由電子器件102(例如非障礙判定模組116)實施。在此方法900中，電子器件102可執行緊接著水平處理的垂直處理之順序應用程式。 電子器件102可執行902深度圖230之垂直處理以判定垂直非障礙估計242。可如結合圖5所描述而實現此。 電子器件102可基於模型擬合可信度獲得904垂直可靠性圖248。可如結合圖5所描述般實現此操作。 電子器件102可基於垂直可靠性圖248將可靠區域識別906為非障礙區266。舉例而言，垂直可靠性圖248中具有高垂直可靠性值250的每一像素232可經標記為非障礙圖226中之非障礙區266。 電子器件102可對垂直可靠性圖248之不可靠區域執行908水平處理以判定不可靠區域是否為非障礙區266。舉例而言，電子器件102可對具有低可靠性值250的像素232之至少一個列執行水平處理。應注意，列之長度可與影像114一樣寬或可以比影像寬度短。水平處理可如結合圖7所描述般實現以判定水平非障礙估計258。非障礙圖226可基於不可靠區域之水平可靠性圖262的結果而更新。 圖10為說明用於組合垂直非障礙估計242與水平非障礙估計258以判定非障礙圖226的又一種方法1000之流程圖。方法1000可藉由電子器件102(例如非障礙判定模組116)實施。在此方法1000中，電子器件102可執行緊接著垂直處理的水平處理之順序應用程式。 電子器件102可執行1002深度圖230之水平處理以判定水平非障礙估計258。可如結合圖7所描述般實現此操作。 電子器件102可基於深度直方圖252距離獲得1004水平可靠性圖262。可如結合圖7所描述般實現此操作。 電子器件102可基於水平可靠性圖262將可靠區域識別1006為非障礙區266。舉例而言，水平可靠性圖262中具有高水平可靠性值264的每一像素232可經標記為非障礙圖226中之非障礙區266。 電子器件102可對水平可靠性圖262之不可靠區域執行1008垂直處理以判定不可靠區域是否為非障礙區266。舉例而言，電子器件102可對具有低水平可靠性值264的像素232之一或多個行執行垂直處理。像素232之該一或多個行可與影像114一樣高或可小於影像高度。 垂直處理可如結合圖5所描述而實現以判定垂直非障礙估計242。非障礙圖226可基於不可靠區域之垂直可靠性圖248的結果而更新。 圖11A至圖11B說明判定影像1114中之非障礙區1166的實例。在此實例中，原始影像1114a為單向道路之影像。 經處理影像1114b展示根據本文中所描述之系統及方法判定的非障礙區1166。經處理影像1114b展示來自演算法之中間步驟的實例，並非最終結果。此處展示的此情況可為應進一步被處理的非障礙圖126中之孔。此外，此說明單獨來自垂直處理之結果。 非障礙區1166包括對應於道路之開放區。非障礙區1166中之某些離群值區1178並不識別為非障礙區1166之部分。如本文所使用，離群值意謂影像1114b中之深度值不適合預定模型。此可歸因於深度值的可能錯誤估計(例如輸入深度值可能不完美)，因此一些區呈現為孔(或離群值)。此等離群值區1178可藉由執行影像1114之額外處理而移除。 圖12A至圖12B說明判定影像1214中之非障礙區1266的另一實例。在此實例中，原始影像1214a為交叉路口之影像。經處理影像1214b展示根據本文中所描述之系統及方法判定的非障礙區1266。 圖13A至圖13B說明判定距非障礙區1366之距離1380的實例。此實例展示結合圖11A至圖11B描述的道路之經處理影像1314。根據本文中所描述的系統及方法判定非障礙區1366。 在圖13B之深度圖1330中，x 及y 座標為座標位置且著色指示深度。在此實例中，深度圖1330包括非障礙區1366之深度資訊。深度圖1330指示在攝影機前方多遠將存在自由空間。 使用來自深度圖1330之深度值234，電子器件102可判定與非障礙區1366b相關聯的各種距離。舉例而言，電子器件102可判定非障礙區1366b之最遠距離係在距影像感測器104 45米至50米之間。類似地，電子器件102可判定最近汽車距影像感測器104大致11米。 圖14說明使用非障礙圖226以識別由物件偵測演算法使用的關注區(ROI)1482之實例。此實例展示結合圖11A至圖11B描述的道路之經處理影像1414。根據本文中所描述的系統及方法判定非障礙區1466。 電子器件102接著可識別潛在障礙區268之一或多個ROI 1482。舉例而言，電子器件102可自非障礙圖226識別障礙區268。在實施中，未標記為非障礙區1466之像素232可經識別為障礙區268。此等障礙區268可包括於一或多個ROI 1482中。在此實例中，電子器件102將四個ROI 1482a至1482d識別為潛在物件區。 電子器件102可在所識別ROI 1482中運行物件偵測器。舉例而言，電子器件102可偵測ROI 1482是否包括汽車、交通信號、行人、通路、路緣等。 識別非障礙區1466首先產生用於物件偵測的減少之搜尋區。此可減少針對物件偵測執行的處理量。 圖15說明使用非障礙圖226以識別由通路偵測演算法使用的關注區(ROI)1582之實例。此實例展示道路之經處理影像1514。根據本文中所描述的系統及方法判定非障礙區1566。 電子器件102接著可識別道路側及/或路緣之一或多個ROI 1582。舉例而言，電子器件102可自非障礙圖226識別障礙區268。在此實例中，電子器件102將非障礙區1566之側面的兩個ROI 1582a至1582b識別為潛在道路側及/或路緣。 電子器件102可在所識別ROI 1582a至1582b中運行通路偵測器。識別非障礙區1566首先產生用於通路偵測的減少之搜尋區。此可減少針對通路偵測執行的處理量。 圖16為說明用於基於所估計線性模型參數238分類道路的方法1600之流程圖。方法1600可藉由電子器件102(例如非障礙判定模組116)實施。 電子器件102可獲得1602道路影像114之深度圖230。深度圖230可如結合圖2所描述而產生。 電子器件102可執行1604片段擬合以估計線性模型參數238。可如結合圖2所描述判定所估計線性模型參數238。 電子器件102可基於所估計線性模型參數238分類1606道路。舉例而言，電子器件102可比較所估計線性模型參數238與複數個預定線性模型參數240。如上文所描述，預定線性模型參數240可與複數個道路條件模型相關聯。複數個道路條件模型中之每一者可具有線性模型參數240之對應集合。道路條件模型的實例包括平坦平面、斜坡(例如坡道)、谷地、不規則道路等。 在實施中，可經由訓練獲得預定線性模型參數240。可使用預先標記測試數據，其中預先標記係指平坦道路或不規則道路等之經標記影像114及深度圖230。在使用此資料情況下，可產生預定線性模型參數240。 電子器件102可判定預定線性模型參數240中之哪些最好擬合所估計線性模型參數238。可根據最好擬合所估計線性模型參數238的道路條件模型分類1606道路。因此，藉由分類1606道路，電子器件102可判定道路影像114中之自由空間的類型。 圖17說明可包括於電子器件1702內的某些組件。電子器件1702可為攝影機、視訊攝錄影機、數位攝影機、蜂巢式電話、智慧型電話、電腦(例如桌上型電腦、膝上型電腦、等)、平板電腦器件、媒體播放器、電視、汽車、個人攝影機、動作攝影機、監測攝影機、安裝攝影機、連接攝影機、機器人、飛機、無人駕駛飛機、無人操縱的飛行器(UAV)、保健裝備、遊戲控制台、個人數位助理(PDA)、機上盒等或可包括於其內。電子器件1702包括處理器1728。處理器1728可為通用單一或多個晶片微處理器(例如ARM)、特殊用途微處理器(例如數位信號處理器(DSP))、微控制器、可程式化閘陣列等。處理器1728可被稱為中央處理單元(CPU)。儘管電子器件1702中僅展示單一處理器1728，但在替代組態中，可使用處理器(例如ARM及DSP)之組合。 電子器件1702亦包括記憶體1739。記憶體1739可為能夠儲存電子資訊的任何電子組件。記憶體1739可體現為隨機存取記憶體(RAM)、唯讀記憶體(ROM)、磁碟儲存媒體、光學儲存媒體、RAM中之快閃記憶體器件、隨處理器包括的機載記憶體、EPROM記憶體、EEPROM記憶體、暫存器等，包括其組合。 資料1721a及指令1741a可儲存於記憶體1739中。指令1741a可能可由處理器1728執行以實施本文所描述之方法中的一或多者。執行指令1741a可涉及使用儲存於記憶體1739中的資料。當處理器1728執行指令1741時，可將指令1741b之各種部分載入於處理器1728上，且可將資料1721b之各種片段載入於處理器1728上。 電子器件1702亦可包括允許傳輸信號至電子器件1702之傳輸器1725及自電子器件1702接收信號的接收器1727。傳輸器1725及接收器1727可統稱為收發器1729。一或多個天線1737a至1737b可電耦接至收發器1729。電子器件1702亦可包括(未圖示)多個傳輸器、多個接收器、多個收發器及/或額外天線。 電子器件1702可包括數位信號處理器(DSP)1731。電子器件1702亦可包括通信介面1733。通信介面1733可允許實現一或多個種類之輸入及/或輸出。舉例而言，通信介面1733可包括一或多個埠及/或通信器件以用於將其他器件連結至電子器件1702。另外或替代地，通信介面1733可包括一或多個其他介面(例如，觸控式螢幕、小鍵盤、鍵盤、麥克風、攝影機等)。舉例而言，通信介面1733可實現使用者與電子器件1702相互作用。 電子器件1702之各種組件可藉由一或多個匯流排耦接至一起，該一或多個匯流排可包括功率匯流排、控制信號匯流排、狀態信號匯流排、資料匯流排等。為清楚起見，各種匯流排在圖17中被說明為匯流排系統1723。 根據本發明，電子器件中之電路可經調適以自一或多個影像獲得深度圖。深度圖中之每一像素可具有深度值。相同電路、不同電路或相同或不同電路之第二區段可經調適以執行深度圖之垂直處理以判定垂直非障礙估計。相同電路、不同電路或相同或不同電路之第三區段可經調適以執行深度圖之水平處理以判定水平非障礙估計。相同電路、不同電路或相同或不同電路之第四區段可經調適以組合垂直非障礙估計與水平非障礙估計以判定非障礙圖。另外，同一電路、不同電路或同一或不同電路的第五區段可經調適以控制提供上文所描述功能性的電路或電路區段的組態。 術語「判定」涵蓋多種動作，且因此「判定」可包括計算(calculating、computing)、處理、推導、研究、查找(例如，在表、資料庫或另一資料結構中查找)、確定及其類似者。又，「判定」可包括接收(例如，接收資訊)、存取(例如，存取記憶體中之資料)及其類似者。又，「判定」可包括解析、選擇、挑選、建立及其類似者。 短語「基於」並不意味著「僅基於」，除非以其他方式明確地指定。換言之，短語「基於」描述「僅基於」及「至少基於」兩者。 術語「處理器」應廣義上解譯為涵蓋通用處理器、中央處理單元(CPU)、微處理器、數位信號處理器(DSP)、控制器、微控制器、狀態機等。在一些情況下，「處理器」可指特殊應用積體電路(ASIC)、可程式化邏輯器件(PLD)、場可程式化閘陣列(FPGA)等。術語「處理器」可指處理器件之組合，例如DSP與微處理器之組合、複數個微處理器之組合、一或多個微處理器結合DSP核心，或任何其他此類組態。 術語「記憶體」應廣義上解譯為涵蓋能夠儲存電子資訊的任何電子組件。術語記憶體可指各種類型處理器可讀媒體，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除PROM(EEPROM)、快閃記憶體、磁性或光學資料儲存器、暫存器等。若處理器可自記憶體讀取資訊及/或寫入資訊至記憶體，則記憶體被稱為與處理器進行電子通信。與處理器成一體的記憶體與處理器進行電子通信。 術語「指令」及「程式碼」應被廣泛地解譯為包括任何類型之電腦可讀表述。舉例而言，術語「指令」及「程式碼」可指一或多個程式、常式、子常式、功能、程序等。「指令」及「程式碼」可包含單一電腦可讀表述或許多電腦可讀表述。 本文中所描述功能可在藉由硬體執行的軟件或韌體中實施。功能可儲存為電腦可讀媒體上之一或多個指令。術語「電腦可讀媒體」或「電腦程式產品」係指可藉由電腦或處理器存取的任何有形儲存媒體。作為實例而非限制，電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件，或可用以攜載或儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取的任何其他媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及Blu-ray® 光碟，其中磁碟通常以磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。應注意，電腦可讀媒體可為有形且非暫時性的。術語「電腦程式產品」係指計算器件或處理器，其與可由該計算器件或處理器執行、處理或計算之程式碼或指令(例如，「程式」)相組合。如本文所使用，術語「程式碼」可指可由計算器件或處理器執行之軟體、指令、程式碼或資料。 亦可在傳輸媒體上傳輸軟體或指令。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸軟體，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於傳輸媒體之定義中。 本文中所揭示之方法包含用於達成所描述方法之一或多個步驟或動作。在不脫離申請專利範圍之範疇的情況下，方法步驟及/或動作可彼此互換。換言之，除非對於所描述方法之恰當操作需要步驟或動作之特定次序，否則可修改特定步驟及/或動作之次序及/或使用而不脫離申請專利範圍之範疇。 另外，應瞭解用於執行本文所描述之方法及技術的模組及/或其他適當構件可經下載及/或另外藉由器件獲得。舉例而言，可將器件耦接至伺服器以促進用於執行本文中所描述之方法的構件之轉移。替代地，本文中所描述的各種方法可經由儲存構件(例如，隨機存取記憶體(RAM)、唯讀記憶體(ROM)、諸如緊密光碟(CD)或軟性磁碟之實體儲存媒體，等等)提供，使得器件可在將儲存構件耦接或提供至器件後獲得各種方法。 應理解，申請專利範圍並不限於上文所說明之精確組態及組件。在不偏離申請專利範圍之範疇的情況下，可在本文所描述之系統、方法及裝置的配置、操作及細節方面進行各種修改、改變及變更。
102‧‧‧電子器件
104‧‧‧影像感測器
108‧‧‧光學系統
112‧‧‧記憶體緩衝器
114‧‧‧影像
116‧‧‧非障礙判定模組
118‧‧‧深度圖產生器
120‧‧‧垂直估計模組
122‧‧‧水平估計模組
124‧‧‧估計組合器
126‧‧‧非障礙圖
214‧‧‧影像
216‧‧‧非障礙判定模組
218‧‧‧深度圖產生器
220‧‧‧垂直估計模組
222‧‧‧水平估計模組
224‧‧‧估計組合器
226‧‧‧非障礙圖
228‧‧‧處理器
230‧‧‧深度圖
232‧‧‧像素
234‧‧‧深度值
236‧‧‧片段
238‧‧‧所估計線性模型參數
240‧‧‧預定線性模型參數
242‧‧‧垂直非障礙估計
244‧‧‧片段擬合誤差
246‧‧‧垂直估計臨限值
248‧‧‧垂直可靠性圖
250‧‧‧垂直可靠性值
252‧‧‧深度直方圖
254‧‧‧地形線
256‧‧‧眾數
258‧‧‧水平非障礙估計
260‧‧‧水平估計臨限值
261‧‧‧水平可靠性臨限值
262‧‧‧水平可靠性圖
264‧‧‧水平可靠性值
266‧‧‧非障礙區
268‧‧‧障礙區
300‧‧‧方法
404‧‧‧影像
430‧‧‧深度圖
434a‧‧‧深度值
434b‧‧‧深度值
434c‧‧‧深度值
470a‧‧‧第一行
470b‧‧‧第二行
474a‧‧‧垂直座標
474b‧‧‧垂直座標
474c‧‧‧垂直座標
475a‧‧‧第一行圖表
475b‧‧‧第二行圖表
500‧‧‧方法
630‧‧‧深度圖
652‧‧‧深度直方圖
654‧‧‧地形線
672‧‧‧水平座標
674‧‧‧垂直座標
676‧‧‧線段
700‧‧‧方法
800‧‧‧方法
900‧‧‧方法
1000‧‧‧方法
1114a‧‧‧原始影像
1114b‧‧‧經處理影像
1166‧‧‧非障礙區
1214a‧‧‧原始影像
1214b‧‧‧經處理影像
1266‧‧‧非障礙區
1314‧‧‧經處理影像
1330‧‧‧深度圖
1366‧‧‧非障礙區
1414‧‧‧經處理影像
1466‧‧‧非障礙區
1482a‧‧‧第一ROI
1482b‧‧‧第二ROI
1482c‧‧‧第三ROI
1482d‧‧‧第四ROI
1514‧‧‧經處理影像
1566‧‧‧非障礙區
1582a‧‧‧第一ROI
1582b‧‧‧第二ROI
1600‧‧‧方法
1702‧‧‧電子器件
1721a‧‧‧資料
1721b‧‧‧資料
1723‧‧‧匯流排系統
1725‧‧‧傳輸器
1727‧‧‧接收器
1728‧‧‧處理器
1729‧‧‧收發器
1731‧‧‧數位信號處理器(DSP)
1733‧‧‧通信介面
1737a‧‧‧天線
1737b‧‧‧天線
1739‧‧‧記憶體
1741a‧‧‧指令
1741b‧‧‧指令
圖1為說明經組態以執行非障礙區偵測的電子器件之方塊圖； 圖2為說明非障礙判定模組之方塊圖； 圖3為說明用於執行非障礙區偵測的方法之流程圖； 圖4A至圖4D說明深度圖之垂直處理的實例； 圖5為說明用於使用垂直處理執行非障礙區偵測的方法之流程圖； 圖6A至圖6D說明深度圖之水平處理的實例； 圖7為說明用於使用水平處理執行非障礙區偵測的方法之流程圖； 圖8為說明用於組合垂直非障礙估計與水平非障礙估計以判定非障礙圖的方法之流程圖； 圖9為說明用於組合垂直非障礙估計與水平非障礙估計以判定非障礙圖的另一方法之流程圖； 圖10為說明用於組合垂直非障礙估計與水平非障礙估計以判定非障礙圖的又一個方法之流程圖； 圖11A至圖11B說明判定影像中之非障礙區的實例； 圖12A至圖12B說明判定影像中之非障礙區的另一實例； 圖13A至圖13B說明判定距非障礙區之距離的實例； 圖14說明使用非障礙圖以識別由物件偵測演算法使用的關注區(ROI)之實例； 圖15說明使用非障礙圖以識別由通路偵測演算法使用之ROI的實例； 圖16為說明用於基於所估計線性模型參數分類道路的方法之流程圖；且 圖17說明可包括於電子器件內的某些組件。
102‧‧‧電子器件
104‧‧‧影像感測器
108‧‧‧光學系統
112‧‧‧記憶體緩衝器
114‧‧‧影像
116‧‧‧非障礙判定模組
118‧‧‧深度圖產生器
120‧‧‧垂直估計模組
122‧‧‧水平估計模組
124‧‧‧估計組合器
126‧‧‧非障礙圖

Claims (30)

  1. 一種藉由一電子器件執行的方法，其包含：執行一深度圖之垂直處理以判定一垂直非障礙估計，其中執行垂直處理包含：將該深度圖分割成數個片段，其中至少一片段係該深度圖中像素之一行之一部分，及估計用於該至少一個片段之線性模型參數以判定該垂直非障礙估計；執行該深度圖之水平處理以判定一水平非障礙估計；組合該垂直非障礙估計與該水平非障礙估計；及基於該垂直非障礙估計與該水平非障礙估計之該組合產生一非障礙圖。
  2. 如請求項1之方法，其中執行垂直處理進一步包含：產生包括該垂直非障礙估計之一可靠性值的一垂直可靠性圖。
  3. 如請求項2之方法，其中判定該垂直可靠性圖包含：基於該等所估計線性模型參數與預定線性模型參數之間的一差判定一給定片段之一片段擬合誤差；藉由比較該片段擬合誤差與一垂直估計臨限值來判定該給定片段之一可靠性值；及將該給定片段之該可靠性值應用於該給定片段中之至少一個像素。
  4. 如請求項3之方法，其中該等預定線性模型參數係選自複數個道路條 件模型，其中該複數個道路條件模型具有線性模型參數之一對應集合。
  5. 如請求項1之方法，其中執行水平處理包含：獲得該深度圖之像素的至少一個列的一深度直方圖；自該深度直方圖判定一地形線；基於至少一個像素之一深度值距該地形線的一距離判定一水平非障礙估計；及產生包括該水平非障礙估計之一可靠性值的一水平可靠性圖。
  6. 如請求項5之方法，其中產生該水平可靠性圖包含：判定一給定像素之該深度值是否在該深度直方圖之一眾數之一範圍內，其中當該給定像素之該深度值在該深度直方圖的該眾數之該範圍內時該給定像素具有一高可靠性值。
  7. 如請求項1之方法，其中組合該垂直非障礙估計與該水平非障礙估計包含：並行執行該垂直處理及該水平處理兩者；及基於一垂直可靠性圖及一水平可靠性圖而合併該垂直非障礙估計及該水平非障礙估計。
  8. 如請求項7之方法，其中一給定像素經識別為該非障礙圖中之一非障礙區，其中該垂直可靠性圖及該水平可靠性圖兩者係由該給定像素的一高可靠性值表徵。
  9. 如請求項7之方法，其中一給定像素經識別為該非障礙圖中之一障礙區，其中該垂直可靠性圖或該水平可靠性圖中之至少一者係由該給定像素的一低可靠性值表徵。
  10. 如請求項7之方法，其中一給定像素係基於該給定像素之一座標而識別為該非障礙圖中的一非障礙區或障礙區，其中該垂直可靠性圖及該水平可靠性圖係由該給定像素的不同可靠性值表徵。
  11. 如請求項1之方法，其中組合該垂直非障礙估計與該水平非障礙估計包含：執行該深度圖之垂直處理；基於一模型擬合可信度獲得一垂直可靠性圖；將該垂直可靠性圖之可靠區域識別為非障礙區；及對該垂直可靠性圖之不可靠區域執行水平處理以判定該等不可靠區域是否為非障礙區。
  12. 如請求項1之方法，其中組合該垂直非障礙估計與該水平非障礙估計包含：執行該深度圖之水平處理；基於一深度直方圖距離獲得一水平可靠性圖；將該水平可靠性圖之可靠區域識別為非障礙區；及對該水平可靠性圖之不可靠區域執行垂直處理以判定該等不可靠區 域是否為非障礙區。
  13. 如請求項1之方法，其中該非障礙圖用於識別由一物件偵測演算法或一通路偵測演算法中之至少一者使用的一關注區。
  14. 一種電子器件，其包含一處理器、與該處理器電子通信之記憶體、及儲存在該記憶體中之指令，該等指令可由該處理器執行以：執行一深度圖之垂直處理以判定一垂直非障礙估計，其中可由該處理器執行以執行垂直處理之該等指令包含可由該處理器執行以進行以下操作的指令：將該深度圖分割成數個片段，其中至少一片段係該深度圖中像素之一行之一部分，及估計用於該至少一個片段之線性模型參數以判定該垂直非障礙估計；執行該深度圖之水平處理以判定一水平非障礙估計；組合該垂直非障礙估計與該水平非障礙估計；及基於該垂直非障礙估計與該水平非障礙估計之該組合產生一非障礙圖。
  15. 如請求項14之電子器件，其中可由該處理器執行以執行垂直處理之該等指令進一步包含可由該處理器執行以進行以下操作的指令：產生包括該垂直非障礙估計之一可靠性值的一垂直可靠性圖。
  16. 如請求項14之電子器件，其中可由該處理器執行以執行水平處理之該等指令包含可由該處理器執行以進行以下操作的指令： 獲得該深度圖之像素的至少一個列的一深度直方圖；自該深度直方圖判定一地形線；基於至少一個像素之一深度值距該地形線的一距離判定一水平非障礙估計；及產生包括該水平非障礙估計之一可靠性值的一水平可靠性圖。
  17. 如請求項14之電子器件，其中可由該處理器執行以組合該垂直非障礙估計與該水平非障礙估計之該等指令包含可由該處理器執行以進行以下操作的指令：並行執行該垂直處理及該水平處理兩者；及基於一垂直可靠性圖及一水平可靠性圖而合併該垂直非障礙估計及該水平非障礙估計。
  18. 如請求項14之電子器件，其中可由該處理器執行以組合該垂直非障礙估計與該水平非障礙估計的該等指令包含可由該處理器執行以進行以下操作的指令：執行該深度圖之垂直處理；基於一模型擬合可信度獲得一垂直可靠性圖；將該垂直可靠性圖之可靠區域識別為非障礙區；及對該垂直可靠性圖之不可靠區域執行水平處理以判定該等不可靠區域是否為非障礙區。
  19. 如請求項14之電子器件，其中可由該處理器執行以組合該垂直非障礙 估計與該水平非障礙估計的該等指令包含可由該處理器執行以進行以下操作的指令：執行該深度圖之水平處理；基於一深度直方圖距離獲得一水平可靠性圖；將該水平可靠性圖之可靠區域識別為非障礙區；及對該水平可靠性圖之不可靠區域執行垂直處理以判定該等不可靠區域是否為非障礙區。
  20. 一種裝置，其包含：用於執行一深度圖之垂直處理以判定一垂直非障礙估計之構件，其中用於執行垂直處理之該構件包含：用於將該深度圖分割成數個片段之構件，其中至少一個片段包括一行中之許多像素，及用於估計用於至少一個片段之線性模型參數以判定該垂直非障礙估計之構件；用於執行該深度圖之水平處理以判定一水平非障礙估計之構件；用於組合該垂直非障礙估計與該水平非障礙估計之構件；及用於基於該垂直非障礙估計與該水平非障礙估計之該組合產生一非障礙圖之構件。
  21. 如請求項20之裝置，其中用於執行垂直處理的該構件進一步包含：用於產生包括該垂直非障礙估計之一可靠性值的一垂直可靠性圖之構件。
  22. 如請求項20之裝置，其中用於執行水平處理的該構件包含： 用於獲得該深度圖之像素的至少一個列的一深度直方圖之構件；用於自該深度直方圖判定一地形線之構件；用於基於至少一個像素之一深度值距該地形線的一距離判定一水平非障礙估計之構件；及用於產生包括該水平非障礙估計之一可靠性值的一水平可靠性圖之構件。
  23. 如請求項20之裝置，其中用於組合該垂直非障礙估計與該水平非障礙估計的該構件包含：用於並行執行該垂直處理及該水平處理兩者之構件；及用於基於一垂直可靠性圖及一水平可靠性圖而合併該垂直非障礙估計及該水平非障礙估計之構件。
  24. 如請求項20之裝置，其中用於組合該垂直非障礙估計與該水平非障礙估計的該構件包含：用於執行該深度圖之垂直處理之構件；用於基於一模型擬合可信度獲得一垂直可靠性圖之構件；用於將該垂直可靠性圖之可靠區域識別為非障礙區之構件；及用於對該垂直可靠性圖之不可靠區域執行水平處理以判定該等不可靠區域是否為非障礙區之構件。
  25. 如請求項20之裝置，其中用於組合該垂直非障礙估計與該水平非障礙估計的該構件包含： 用於執行該深度圖之水平處理之構件；用於基於一深度直方圖距離獲得一水平可靠性圖之構件；用於將該水平可靠性圖之可靠區域識別為非障礙區之構件；及用於對該水平可靠性圖之不可靠區域執行垂直處理以判定該等不可靠區域是否為非障礙區之構件。
  26. 一種非暫時性有形電腦可讀媒體，其包含電腦可執行程式碼，該等電腦可執行程式碼包含：用於使一電子器件執行一深度圖之垂直處理以判定一垂直非障礙估計的程式碼，其中用於使該電子器件執行垂直處理之該程式碼包含：用於使該電子器件將該深度圖分割成數個片段的程式碼，其中至少一個片段包括一行中之許多像素，及用於使該電子器件估計用於至少一個片段之線性模型參數以判定該垂直非障礙估計的程式碼；用於使該電子器件執行該深度圖之水平處理以判定一水平非障礙估計的程式碼；用於使該電子器件組合該垂直非障礙估計與該水平非障礙估計的程式碼；及用於使該電子器件基於該垂直非障礙估計與該水平非障礙估計之該組合產生一非障礙圖的程式碼。
  27. 如請求項26之非暫時性有形電腦可讀媒體，其中用於使該電子器件執行垂直處理的該程式碼進一步包含：用於使該電子器件產生包括該垂直非障礙估計之一可靠性值的一垂 直可靠性圖的程式碼。
  28. 如請求項26之非暫時性有形電腦可讀媒體，其中用於使該電子器件執行水平處理的該程式碼進一步包含：用於使該電子器件獲得該深度圖之像素的至少一個列之一深度直方圖的程式碼；用於使該電子器件自該深度直方圖判定一地形線的程式碼；用於使該電子器件基於至少一個像素之一深度值距該地形線的一距離判定一水平非障礙估計的程式碼；及用於使該電子器件產生包括該水平非障礙估計之一可靠性值的一水平可靠性圖的程式碼。
  29. 如請求項26之非暫時性有形電腦可讀媒體，其中用於使該電子器件組合該垂直非障礙估計與該水平非障礙估計的該程式碼包含：用於使該電子器件並行執行該垂直處理及該水平處理兩者之程式碼；及用於使該電子器件基於一垂直可靠性圖及一水平可靠性圖合併該垂直非障礙估計及該水平非障礙估計的程式碼。
  30. 如請求項26之非暫時性有形電腦可讀媒體，其中用於使該電子器件組合該垂直非障礙估計與該水平非障礙估計的該程式碼包含：用於使該電子器件執行該深度圖之垂直處理的程式碼；用於使該電子器件基於一模型擬合可信度獲得一垂直可靠性圖的程 式碼；用於使該電子器件將該垂直可靠性圖之可靠區域識別為非障礙區的程式碼；及用於使該電子器件對該垂直可靠性圖之不可靠區域執行水平處理以判定該等不可靠區域是否為非障礙區的程式碼。
TW105125931A 2015-09-18 2016-08-15 用於非障礙區偵測之系統及方法 TWI618028B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/858,471 US9761000B2 (en) 2015-09-18 2015-09-18 Systems and methods for non-obstacle area detection
US14/858,471 2015-09-18

Publications (2)

Publication Number Publication Date
TW201724007A TW201724007A (zh) 2017-07-01
TWI618028B true TWI618028B (zh) 2018-03-11

Family

ID=56738213

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105125931A TWI618028B (zh) 2015-09-18 2016-08-15 用於非障礙區偵測之系統及方法

Country Status (8)

Country Link
US (4) US9761000B2 (zh)
EP (1) EP3350746A1 (zh)
JP (1) JP6794436B2 (zh)
KR (1) KR20180056685A (zh)
CN (1) CN108027877B (zh)
JO (1) JO3741B1 (zh)
TW (1) TWI618028B (zh)
WO (1) WO2017048383A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
WO2018180104A1 (ja) * 2017-03-31 2018-10-04 パイオニア株式会社 判定装置、判定方法並びに判定用プログラム及びデータ構造
US10486485B1 (en) * 2017-04-19 2019-11-26 Zoox, Inc. Perception based suspension control
US11214143B2 (en) * 2017-05-02 2022-01-04 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
CN109657523B (zh) * 2017-10-10 2021-03-30 北京京东乾石科技有限公司 一种可行驶区域检测方法和装置
CN109829351B (zh) * 2017-11-23 2021-06-01 华为技术有限公司 车道信息的检测方法、装置及计算机可读存储介质
KR102323394B1 (ko) * 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
CN111886626A (zh) * 2018-03-29 2020-11-03 索尼公司 信号处理设备和信号处理方法、程序及移动体
CN110796633A (zh) * 2019-09-10 2020-02-14 浙江大华技术股份有限公司 无人机降落安全检测方法、装置、计算机设备和存储介质
FR3102739A1 (fr) * 2019-11-06 2021-05-07 Psa Automobiles Sa Procédé et système permettant à un système d’aide à la conduite d’un véhicule automobile de différencier des types d’intersections routières
CN111192283A (zh) * 2019-12-26 2020-05-22 昆山伟宇慧创智能科技有限公司 一种限高杆检测和高度计算方法
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude
CN111307159B (zh) * 2020-03-19 2022-11-18 哈尔滨工程大学 一种多auv三维协同航路规划方法
CN113496146A (zh) * 2020-03-19 2021-10-12 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
JP2021164059A (ja) * 2020-03-31 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112150490B (zh) * 2020-09-30 2024-02-02 北京小狗吸尘器集团股份有限公司 图像检测方法、装置、电子设备和计算机可读介质
FR3129511A1 (fr) * 2021-11-23 2023-05-26 Multitec Innovation Système d’assistance au stationnement d’un véhicule équipé d’une plateforme mobile, telle un hayon élévateur arrière ou latéral, et procédé correspondant
CN116884236B (zh) * 2023-06-26 2024-04-16 中关村科学城城市大脑股份有限公司 交通流量采集设备和交通流量采集方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317954A (zh) * 2009-02-16 2012-01-11 戴姆勒股份公司 检测对象的方法
CN104424660A (zh) * 2013-09-04 2015-03-18 国际商业机器公司 用于高效可视面查找的方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
TR201010439A2 (tr) 2010-12-14 2012-07-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Derinlik verilerinin yukarı örneklenmesi
US9076046B2 (en) * 2010-12-15 2015-07-07 Honda Motor Co., Ltd. Lane recognition device
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103123722B (zh) 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103854008B (zh) 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN104899869B (zh) * 2015-05-14 2017-09-01 浙江大学 基于rgb‑d相机和姿态传感器的平面和障碍检测方法
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317954A (zh) * 2009-02-16 2012-01-11 戴姆勒股份公司 检测对象的方法
CN104424660A (zh) * 2013-09-04 2015-03-18 国际商业机器公司 用于高效可视面查找的方法及系统

Also Published As

Publication number Publication date
CN108027877B (zh) 2022-10-18
KR20180056685A (ko) 2018-05-29
US20170084038A1 (en) 2017-03-23
US10395377B2 (en) 2019-08-27
US20180012367A1 (en) 2018-01-11
EP3350746A1 (en) 2018-07-25
US20180158193A1 (en) 2018-06-07
CN108027877A (zh) 2018-05-11
US9905015B2 (en) 2018-02-27
US20190333229A1 (en) 2019-10-31
TW201724007A (zh) 2017-07-01
WO2017048383A1 (en) 2017-03-23
JP6794436B2 (ja) 2020-12-02
JP2018530825A (ja) 2018-10-18
JO3741B1 (ar) 2021-01-31
US9761000B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
TWI618028B (zh) 用於非障礙區偵測之系統及方法
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
EP3338248B1 (en) Systems and methods for object tracking
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
JP2020509494A (ja) マルチモーダル融合による３ｄオブジェクト検出と配向推定の結合
Parra et al. Robust visual odometry for vehicle localization in urban environments
JP2018508078A (ja) オブジェクト追跡のためのシステムおよび方法
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
Azartash et al. An integrated stereo visual odometry for robotic navigation
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
Yoo et al. Accurate object distance estimation based on frequency‐domain analysis with a stereo camera
Wang et al. Lane detection algorithm based on temporal–spatial information matching and fusion
CN111656404B (zh) 图像处理方法、系统及可移动平台
CN112800822A (zh) 利用结构约束和物理约束进行3d自动标记
CN111815667B (zh) 一种相机移动条件下高精度检测运动目标的方法
US20230386231A1 (en) Method for detecting three-dimensional objects in relation to autonomous driving and electronic device
Ariche et al. Object detection and distance estimation via lidar and camera fusion for autonomous driving
Yoo et al. Object distance estimation based on frequency domain analysis using a stereo camera
Pandya et al. A Velocity Estimation Technique for a Monocular Camera Using mmWave FMCW Radars. Electronics 2021, 10, 2397
CN117876990A (zh) 感测信息处理装置及方法
Kim et al. A Development of SSUPI Algorithm for Stereo Vision System in Vehicle and Implementation in FPGA System
유인섭 Vision-based Distance Measurement and Localization for Automated Driving