TWI678546B - 距離偵測方法、距離偵測系統與電腦程式產品 - Google Patents

距離偵測方法、距離偵測系統與電腦程式產品 Download PDF

Info

Publication number
TWI678546B
TWI678546B TW107144888A TW107144888A TWI678546B TW I678546 B TWI678546 B TW I678546B TW 107144888 A TW107144888 A TW 107144888A TW 107144888 A TW107144888 A TW 107144888A TW I678546 B TWI678546 B TW I678546B
Authority
TW
Taiwan
Prior art keywords
image
vehicle
street view
distance
feature points
Prior art date
Application number
TW107144888A
Other languages
English (en)
Other versions
TW202022402A (zh
Inventor
李崇瑋
Chong-wei LI
廖志彬
Chih-Pin Liao
Original Assignee
緯創資通股份有限公司
Wistron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司, Wistron Corporation filed Critical 緯創資通股份有限公司
Priority to TW107144888A priority Critical patent/TWI678546B/zh
Priority to US16/372,432 priority patent/US11308637B2/en
Application granted granted Critical
Publication of TWI678546B publication Critical patent/TWI678546B/zh
Publication of TW202022402A publication Critical patent/TW202022402A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)

Abstract

距離偵測方法、距離偵測系統與電腦程式產品。所述方法包括：根據一第一距離，比對一街景影像與一即時影像；根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離；以及輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者。

Description

距離偵測方法、距離偵測系統與電腦程式產品
本發明是有關於一種距離偵測方法、距離偵測系統與電腦程式產品，且特別是有關於一種結合特徵點的比對以及深度資訊的距離偵測方法、距離偵測系統與電腦程式產品。
在目前的導航系統中，導航系統通常會通知使用者關於該使用者所駕駛的車輛與目的地之間的距離或者該使用者所駕駛的車輛與需轉彎的路口之間的距離。例如，導航系統會輸出語音以通知使用者其車輛距離目的地還有100公尺，或者在前方100公尺的路口左轉等。一般來說，前述距離的計算方式通常是利用車輛的全球定位系統(Global Positioning System，GPS)所取得的座標與目的地(或路口)的座標進行計算。需注意的是，定位精確度低一直是GPS的問題，因此前述回報給使用者的距離通常不準確。特別是，在市區路口較多的地方，相差幾公尺可能就是不同 的路口，更可能造成導航錯誤的風險。
本發明提供一種距離偵測方法、距離偵測系統與電腦程式產品，可以提升導航系統回報給使用者的距離的精準度。
本發明提出一種距離偵測方法，用於對一車輛進行導航，所述方法包括：根據一第一距離，比對一街景影像與一即時影像；根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離；以及輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者。
本發明提出一種距離偵測系統，用以對一車輛進行導航，所述系統包括車用系統。車用系統包括處理器。所述處理器根據一第一距離，比對一街景影像與一即時影像。所述處理器根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離。所述處理器輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者。
本發明提出一種電腦程式產品，包括一電腦可讀取記錄媒體，所述電腦可讀取記錄媒體記錄至少一程式指令，所述程式指令在載入一電子裝置後，用以執行下列步驟：根據一第一距離，比對一街景影像與一即時影像；根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離；以及輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者。
基於上述，本發明的距離偵測方法、距離偵測系統與電腦程式產品是結合特徵點的比對以及深度資訊提升導航系統回報給使用者的距離的精準度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
1000‧‧‧距離偵測系統
20‧‧‧導航系統
22‧‧‧街景系統
24‧‧‧車用系統
240‧‧‧處理器
242‧‧‧影像擷取裝置
244‧‧‧深度感測裝置
30‧‧‧使用者
S201‧‧‧「取得車輛的起點位置的第三座標以及目的地位置的第四座標」的步驟
S203‧‧‧「根據第三座標以及第四座標，從導航系統取得導航路徑」的步驟
S205‧‧‧「取得導航路徑中目標位置的第一座標」的步驟
S207‧‧‧「根據第一座標以及車輛的車頭方向，從街景系統取得對應於前述目標位置的街景影像，其中所述街景影像是對應於所述車頭方向」的步驟
S209‧‧‧「取得車輛的目前位置的第二座標」的步驟
S211‧‧‧「根據第一座標以及第二座標，判斷車輛的目前位置與目標位置之間的第一距離是否小於第二門檻值」的步驟
S213‧‧‧「藉由配置在車輛上的影像擷取裝置拍攝目標位置以取得即時影像」的步驟
S215‧‧‧「比對街景影像與即時影像以判斷街景影像與即時影像的匹配程度是否大於第一門檻值」的步驟
S217‧‧‧「藉由配置在車輛上的深度感測裝置對目標位置進行感測以獲得一第一深度，將此第一深度作為車輛到目標位置的距離，並輸出此第一深度」的步驟
2000‧‧‧導航路徑
P1~P4‧‧‧座標
D1~D3‧‧‧車頭方向
IMG1~IMG3‧‧‧街景影像
S401‧‧‧「取得街景影像中的多個第四特徵點以及即時影像中的多個第五特徵點」的步驟
S403‧‧‧「對多個第四特徵點進行分群以獲得多個第一特徵點群組，並從第一特徵點群組中選擇一第二特徵點群組，其中第二特徵點群組的第一特徵點的數量大於第一特徵點群組中第二特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量」的步驟
S405‧‧‧「對多個第五特徵點進行分群以獲得多個第三特徵點群組，並從第三特徵點群組中選擇一第四特徵點群組，其中第四特徵點群組的第二特徵點的數量大於第三特徵點群組中第四特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量」的步驟
S407‧‧‧「對第一特徵點以及第二特徵點進行匹配以獲得被匹配的多個第三特徵點，刪除第三特徵點中匹配錯誤的錯誤特徵點，計算被匹配的第三特徵點的數量，並將第三特徵點的數量作為匹 配程度」的步驟
IMG4‧‧‧即時影像
Pt1、Pt2‧‧‧特徵點
D_Pt1‧‧‧深度
D_IMG‧‧‧深度圖
圖1是依照本發明的一實施例所繪示的距離偵測系統的示意圖。
圖2是依照本發明的一實施例所繪示的距離偵測方法的流程圖。
圖3是依照本發明的一實施例所繪示的導航路徑中的目標位置的示意圖。
圖4是依照本發明的一實施例所繪示的判斷街景影像與即時影像的匹配程度是否大於第一門檻值的方法的流程圖。
圖5A至圖5D是依照本發明的一實施例所繪示的獲得第一深度的示意圖。
現將詳細參考本發明之示範性實施例，在附圖中說明所述示範性實施例之實例。另外，凡可能之處，在圖式及實施方式 中使用相同標號的元件/構件代表相同或類似部分。
圖1是依照本發明的一實施例所繪示的距離偵測系統的示意圖。
請參照圖1，距離偵測系統1000包括導航系統20、街景系統22以及車用系統24。導航系統20、街景系統22以及車用系統24彼此之間可以透過有線或無線的方式彼此電性連接。距離偵測系統1000例如是被配置在一車輛中。
導航系統20可以根據車輛目前的位置以及目的地位置規畫出導航路徑，並提供相關的導航資訊給使用者30以引導使用者30駕駛其車輛往該目的地位置。導航系統20可以是例如Google地圖中導航的功能或其他的導航系統，在此並不作限制。
街景系統22可以根據一座標取得該座標的位置的至少一街景影像。街景系統22可以是例如Google地圖或其他的街景系統，在此並不作限制。
車用系統24包括處理器240、影像擷取裝置242、深度感測裝置244以及儲存裝置(未繪示)。其中，影像擷取裝置242、深度感測裝置244以及儲存裝置分別耦接至處理器240。需注意的是，在本實施例中，深度感測裝置244以及影像擷取裝置242是被配置於一車輛上。
處理器240可以是中央處理器(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor， DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。
影像擷取裝置242是用以擷取一或多張影像。舉例來說，影像擷取裝置242可以配備有電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他種類的感光元件的攝像鏡頭。
深度感測裝置244可以是相同於影像擷取裝置242的影像擷取裝置，其可以用於擷取影像並且讓處理器240根據深度感測裝置244所擷取的影像以及影像擷取裝置242所擷取的影像來產生深度圖以判斷影像擷取裝置242所拍攝的影像(或深度感測裝置244所拍攝的影像)中的物體的深度。或者，深度感測裝置244也可以是用來發射紅外線與接收該紅外線的反射以獲取深度的深度感測器。或者，深度感測裝置244也可以是其他種類可以取得深度資訊的感測器，在此不做限制。
前述的儲存裝置可以是任何型態的固定或可移動隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本範例實施例中，儲存裝置中儲存有多個程式碼片段，在上述程式碼片段被安裝後，會由處理器240來執行。例如，儲存裝置中包括多個模組，藉由這些模組來分別執行本發明的距離偵測方法的各個運作，其中各模組是由一或多個程式碼片 段所組成。然而本發明不限於此，距離偵測系統1000的各個運作也可以是使用其他硬體形式的方式來實現。在本範例實施例中，導航系統20與街景系統22也是以程式碼片段儲存於前述的儲存裝置中。在上述程式碼片段被安裝後，會由處理器240來執行導航系統20與街景系統22的功能。
在本實施例中，車用系統24例如還會配置有位置感測器(未繪示)。位置感測器可以耦接至處理器240。位置感測器可以是全球定位系統(Global Positioning System，GPS)等可獲得配置有距離偵測系統1000的車輛的座標的儀器。此外，導航系統20與街景系統22也可以分別地從位置感測器取得配置有距離偵測系統1000的車輛的座標。
圖2是依照本發明的一實施例所繪示的距離偵測方法的流程圖。
請同時參照圖1與圖2，首先，使用者30可以例如可以將欲抵達的目的地位置輸入至導航系統20中。導航系統20例如會以使用者30目前所駕駛的車輛的位置作為起始位置，並藉由車用系統24中的位置感測器取得此起始位置的座標(亦稱為，第三座標)。此外，導航系統20還會取得目的地位置的座標(亦稱為，第四座標)(步驟S201)。
接著，導航系統20會根據第三座標以及第四座標規劃出一導航路徑以提供給處理器240(步驟S203)。處理器240可以藉由導航系統20取得導航路徑中至少一目標位置的座標(亦稱為， 第一座標)(步驟S205)。
舉例來說，圖3是依照本發明的一實施例所繪示的導航路徑中的目標位置的示意圖。
請參照圖3，導航系統20可以根據起始位置的座標P1(即，前述的第三座標)以及目的地位置的座標P4(即，前述的第四座標)規劃並取得導航路徑2000。導航系統20會取得導航路徑2000中的至少一目標位置的座標。在此需說明的是，所述「目標位置」例如是導航路徑中需轉彎的路口及/或目的地位置。而路口的座標P2~P3以及目的地位置的座標P4即前述的「目標位置的座標」(即，第一座標)。
請再次參照圖1與圖2，在藉由導航系統20取得第一座標後，處理器240會根據第一座標以及使用者30所駕駛的車輛的車頭方向，從街景系統22取得對應於前述目標位置的街景影像，其中所述街景影像是對應於所述車頭方向(步驟S207)。
更詳細來說，請再次參照圖3，當導航系統20取得三個目標位置的座標P2、P3、P4後，處理器240會根據三個座標P2、P3、P4以及在導航路徑中車輛前進時的三個車頭方向D1、D2、D3，從街景系統22取得在座標P2上車頭方向D1所面對的街景影像IMG1、在座標P3上車頭方向D2所面對的街景影像IMG2以及在座標P4上車頭方向D3所面對的街景影像IMG3。
請再次參照圖1與圖2，在執行獲得對應於目標位置的街景影像後，處理器240會透過位置感測器取得使用者30駕駛的車 輛的一目前位置的座標(亦稱為，第二座標)(步驟S209)。換句話說，在步驟S209中，使用者30可以根據前述的導航路徑2000駕駛其車輛。而在車輛的行駛過程中，處理器240會透過位置感測器取得車輛的目前位置的座標。
之後，處理器240會根據前述的第一座標以及前述的第二座標，判斷使用者30所駕駛的車輛的目前位置與目標位置的其中之一之間的距離(亦稱為，第一距離)是否小於一門檻值(亦稱為，第二門檻值)(步驟S211)。當使用者30所駕駛的車輛的目前位置與目標位置的其中之一之間的距離非小於第二門檻值時，會再次地執行步驟S209。然而，當使用者30所駕駛的車輛的目前位置與目標位置的其中之一之間的距離小於第二門檻值時，處理器240會藉由配置在使用者30所駕駛的車輛上的影像擷取裝置242拍攝目前所接近的目標位置以取得一即時影像(步驟S213)。
請再次參照圖3，以使用者30所駕駛的車輛靠近對應於座標P2的目標位置為例，當處理器240根據座標P2(即，前述的第一座標)以及車輛的目前位置的座標(即，前述的第二座標)判斷使用者30所駕駛的車輛的目前位置與對應於座標P2的目標位置之間的距離小於第二門檻值(例如，800公尺)時，處理器240會藉由配置在使用者30所駕駛的車輛上的影像擷取裝置242朝著車頭方向D1拍攝目前所接近的對應於座標P2的目標位置以取得一即時影像。假設在此情況下，請同時參照圖1、圖2與圖3，在執行步驟S213後，處理器240會比對街景影像IMG1與前述的即時影 像以判斷街景影像IMG1與即時影像的匹配程度是否大於一門檻值(亦稱為，第一門檻值)(步驟S215)。
圖4是依照本發明的一實施例所繪示的判斷街景影像與即時影像的匹配程度是否大於第一門檻值的方法的流程圖。
請參照圖4，圖2中步驟S215的詳細流程可以如圖4所示。請同時參照圖3與圖4，延續以使用者30所駕駛的車輛靠近對應於座標P2的目標位置為例。首先，處理器240會取得街景影像IMG1中的多個特徵點(亦稱為，第四特徵點)以及前述的即時影像中的多個特徵點(亦稱為，第五特徵點)(步驟S401)。舉例來說，可以例如使用加速穩健特徵(Speeded Up Robust Features，SURF)演算法或尺度不變特徵轉換(Scale-invariant feature transform，SIFT)演算法取得前述街景影像IMG1中的第四特徵點以及即時影像中的第五特徵點。
之後，處理器240例如會使用K-mean演算法對街景影像IMG1中的第四特徵點進行分群以獲得多個特徵點群組(亦稱為，第一特徵點群組)，並從此些第一特徵點群組中選擇一特徵點群組(亦稱為，第二特徵點群組)。其中，第二特徵點群組的特徵點(亦稱為，第一特徵點)的數量大於第一特徵點群組中第二特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量(步驟S403)。換句話說，第二特徵點群組所具有的特徵點的數量是前述第一特徵點群組中最多的。
此外，處理器240例如會使用K-mean演算法對即時影像 中的第五特徵點進行分群以獲得多個特徵點群組(亦稱為，第三特徵點群組)，並從此些第三特徵點群組中選擇一特徵點群組(亦稱為，第四特徵點群組)。其中，第四特徵點群組的特徵點(亦稱為，第二特徵點)的數量大於第三特徵點群組中第四特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量(步驟S405)。換句話說，第四特徵點群組所具有的特徵點的數量是前述第三特徵點群組中最多的。
在獲得前述的第一特徵點與第二特徵點後，處理器240會對第一特徵點以及第二特徵點進行匹配以獲得即時影像的第二特徵點中被匹配的多個特徵點(亦稱為，第三特徵點)。換句話說，此些第三特徵點在街景影像中IMG1的第一特徵點中分別具有相對應的特徵點。此外，處理器240還可以例如執行隨機抽樣一致(RANdom SAmple Consensus，RANSAC)演算法刪除第三特徵點中匹配錯誤的錯誤特徵點，之後再計算被匹配的第三特徵點的數量，並將第三特徵點的數量作為一匹配程度(步驟S407)。
請再次參照圖1、圖2與圖3，延續以使用者30所駕駛的車輛靠近對應於座標P2的目標位置的範例，在執行步驟S215的運作中，當街景影像IMG2與即時影像的匹配程度大於第一門檻值時，車用系統24會執行步驟S217。當街景影像與即時影像的匹配程度非大於第一門檻值時，會結束圖2的流程。詳細來說，當第三特徵點的數量在第二特徵點的數量中所佔的百分比大於百分之八十時，處理器240會判斷前述的匹配程度大於第一門檻值 (即，百分之八十)。當第三特徵點的數量在第二特徵點的數量中所佔的百分比非大於百分之八十時，處理器240會判斷前述的匹配程度非大於第一門檻值。當匹配程度大於第一門檻值時，處理器240會藉由深度感測裝置244對對應於座標P2的目標位置進行感測以獲得一深度(亦稱為，第一深度)，並將第一深度作為車輛到對應於座標P2的目標位置的距離，並輸出此第一深度給導航系統20並藉由導航系統20輸出此第一深度給使用者30以提示使用者30(步驟S217)。
更詳細來說，圖5A至圖5D是依照本發明的一實施例所繪示的獲得第一深度的示意圖。
請參照圖5A至圖5D，延續前述使用者30所駕駛的車輛靠近對應於座標P2的目標位置為例，圖5A是繪示前述的街景影像IMG1，圖5B是繪示影像擷取裝置242朝著圖3中車頭方向D1拍攝目前所接近的對應於座標P2的目標位置的即時影像IMG4。圖5C是繪示執行前述圖4的流程以獲得即時影像IMG4中的多個第三特徵點Pt1與街景影像中IMG1中分別與第三特徵點Pt1相對應的多個特徵點Pt2之間的對應關係。而在前述的步驟S217中，處理器240會取得深度感測裝置244所拍攝的對應於座標P2的目標位置的影像(亦稱為，第一影像)。處理器240會根據此第一影像以及即時影像IMG4獲得如圖5D中的深度圖D_IMG。更詳細來說，影像擷取裝置242與深度感測裝置244是被水平配置並且間隔一距離。當影像擷取裝置242與深度感測裝置244同時地對一 場景擷取影像時，可以藉由影像擷取裝置242與深度感測裝置244所擷取的影像來獲得用以表示該場景中各個物體的深度圖。因此，如圖5D所示，在根據第一影像以及即時影像IMG4獲得深度圖D_IMG後，處理器240會根據即時影像IMG4中的第三特徵點Pt1的位置，獲得此些第三特徵點Pt1在深度圖D_IMG中的多個深度D_Pt1(亦稱為，第二深度)。處理器240會對此些第二深度取平均以獲得前述的第一深度。舉例來說，前述的第二深度分別為58.05公尺、57.39公尺以及56.25公尺，則第一深度可以是57.23公尺。然而需注意的是，本發明不限於此，在其他實施例中也可以是以其他方式取得前述的第一深度。例如，深度感測裝置244可以是發射紅外線與接收該紅外線的反射以獲取前述的第一深度。
綜上所述，本發明的距離偵測方法、距離偵測系統與電腦程式產品是結合特徵點的比對以及深度資訊提升導航系統回報給使用者的距離的精準度。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims (21)

  1. 一種距離偵測方法，用於對一車輛進行導航，所述方法包括：根據一第一距離，比對一街景影像與一即時影像；根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離；以及輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者，其中比對所述街景影像與所述即時影像的步驟包括：比對所述街景影像與所述即時影像以判斷所述街景影像與所述即時影像的一匹配程度是否大於一第一門檻值；以及當所述匹配程度大於所述第一門檻值時，輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者的步驟包括：取得一第一深度以作為所述車輛到所述目標位置的距離並輸出所述第一深度，其中所述第一深度是由配置在所述車輛上的一深度感測裝置對所述目標位置進行感測所獲得。
  2. 如申請專利範圍第1項所述的距離偵測方法，其中比對所述街景影像與所述即時影像的步驟之前，所述方法還包括：取得所述車輛的一導航路徑；取得所述導航路徑中所述目標位置的一第一座標；取得所述車輛的一目前位置的一第二座標；以及根據所述第一座標以及所述第二座標，判斷所述車輛的所述目前位置與所述目標位置之間的所述第一距離。
  3. 如申請專利範圍第2項所述的距離偵測方法，其中比對所述街景影像與所述即時影像的步驟包括：從一街景系統取得對應於所述目標位置的所述街景影像；以及取得所述目標位置的所述即時影像，其中所述即時影像是由配置在所述車輛上的一影像擷取裝置所拍攝。
  4. 如申請專利範圍第3項所述的距離偵測方法，其中從所述街景系統取得對應於所述目標位置的所述街景影像的步驟包括：根據所述第一座標以及所述車輛的一車頭方向，從所述街景系統取得對應於所述車頭方向的所述街景影像。
  5. 如申請專利範圍第3項所述的距離偵測方法，其中取得所述目標位置的所述即時影像的步驟之前，所述方法更包括：判斷所述第一距離是否小於一第二門檻值；僅當所述第一距離小於所述第二門檻值時，執行取得所述目標位置的所述即時影像的步驟。
  6. 如申請專利範圍第1項所述的距離偵測方法，其中比對所述街景影像與所述即時影像的步驟包括：取得所述街景影像中的多個第一特徵點以及所述即時影像中的多個第二特徵點；以及對所述第一特徵點以及所述第二特徵點進行匹配以計算被匹配的多個第三特徵點的數量，並將所述多個第三特徵點的數量作為一匹配程度。
  7. 如申請專利範圍第6項所述的距離偵測方法，其中取得所述街景影像中的所述多個第一特徵點以及所述即時影像中的所述多個第二特徵點的步驟包括：取得所述街景影像中的多個第四特徵點以及所述即時影像中的多個第五特徵點；對所述多個第四特徵點進行分群以獲得多個第一特徵點群組，並從所述多個第一特徵點群組中選擇具有所述多個第一特徵點的一第二特徵點群組，其中所述多個第一特徵點的數量大於所述多個第一特徵點群組中所述第二特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量；以及對所述多個第五特徵點進行分群以獲得多個第三特徵點群組，並從所述多個第三特徵點群組中選擇具有所述多個第二特徵點的一第四特徵點群組，其中所述多個第二特徵點的數量大於所述多個第三特徵點群組中所述第四特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量。
  8. 如申請專利範圍第7項所述的距離偵測方法，其中對所述第一特徵點以及所述第二特徵點進行匹配的步驟包括：刪除所述多個第三特徵點中匹配錯誤的至少一錯誤特徵點。
  9. 如申請專利範圍第6項所述的距離偵測方法，更包括：取得所述深度感測裝置拍攝的一第一影像；根據所述第一影像以及所述即時影像獲得一深度圖；獲得所述多個第三特徵點在所述深度圖中的多個第二深度；以及對所述多個第二深度取平均以獲得一第一深度，並將所述第一深度作為所述車輛到所述目標位置的距離。
  10. 如申請專利範圍第2項所述的距離偵測方法，其中取得所述車輛的所述導航路徑的步驟包括：取得所述車輛的一起點位置的一第三座標以及一目的地位置的一第四座標；以及根據所述第三座標以及所述第四座標，從一導航系統取得所述導航路徑。
  11. 一種距離偵測系統，用以對一車輛進行導航，所述系統包括：一車用系統，包括一處理器以及一深度感測裝置，所述深度感測裝置被配置在所述車輛上，其中所述處理器根據一第一距離，比對一街景影像與一即時影像，所述處理器根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離，以及所述處理器輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者，其中在比對所述街景影像與所述即時影像的運作中，所述處理器比對所述街景影像與所述即時影像以判斷所述街景影像與所述即時影像的一匹配程度是否大於一第一門檻值，當所述匹配程度大於所述第一門檻值時，在輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者的運作中，所述處理器取得一第一深度以作為所述車輛到所述目標位置的距離並輸出所述第一深度，其中所述第一深度是由所述深度感測裝置對所述目標位置進行感測所獲得。
  12. 如申請專利範圍第11項所述的距離偵測系統，更包括：一導航系統，其中在比對所述街景影像與所述即時影像的運作之前，所述導航系統取得所述車輛的一導航路徑，所述導航系統取得所述導航路徑中所述目標位置的一第一座標，所述導航系統取得所述車輛的一目前位置的一第二座標，以及所述處理器根據所述第一座標以及所述第二座標，判斷所述車輛的所述目前位置與所述目標位置之間的所述第一距離。
  13. 如申請專利範圍第12項所述的距離偵測系統，更包括：一街景系統，其中在比對所述街景影像與所述即時影像的運作中，所述處理器從所述街景系統取得對應於所述目標位置的所述街景影像，以及所述處理器取得所述目標位置的所述即時影像，其中所述即時影像是由配置在所述車輛上的一影像擷取裝置所拍攝。
  14. 如申請專利範圍第13項所述的距離偵測系統，其中在從所述街景系統取得對應於所述目標位置的所述街景影像的運作中，所述處理器根據所述第一座標以及所述車輛的一車頭方向，從所述街景系統取得對應於所述車頭方向的所述街景影像。
  15. 如申請專利範圍第13項所述的距離偵測系統，其中在取得所述目標位置的所述即時影像的運作之前，所述處理器判斷所述第一距離是否小於一第二門檻值，僅當所述第一距離小於所述第二門檻值時，執行取得所述目標位置的所述即時影像的運作。
  16. 如申請專利範圍第11項所述的距離偵測系統，其中在比對所述街景影像與所述即時影像的運作中，所述處理器取得所述街景影像中的多個第一特徵點以及所述即時影像中的多個第二特徵點，以及所述處理器對所述第一特徵點以及所述第二特徵點進行匹配以計算被匹配的多個第三特徵點的數量，並將所述多個第三特徵點的數量作為一匹配程度。
  17. 如申請專利範圍第16項所述的距離偵測系統，其中在取得所述街景影像中的所述多個第一特徵點以及所述即時影像中的所述多個第二特徵點的運作中，所述處理器取得所述街景影像中的多個第四特徵點以及所述即時影像中的多個第五特徵點，所述處理器對所述多個第四特徵點進行分群以獲得多個第一特徵點群組，並從所述多個第一特徵點群組中選擇具有所述多個第一特徵點的一第二特徵點群組，其中所述多個第一特徵點的數量大於所述多個第一特徵點群組中所述第二特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量，以及所述處理器對所述多個第五特徵點進行分群以獲得多個第三特徵點群組，並從所述多個第三特徵點群組中選擇具有所述多個第二特徵點的一第四特徵點群組，其中所述多個第二特徵點的數量大於所述多個第三特徵點群組中所述第四特徵點群組以外的每一個其他特徵點群組所具有的特徵點的數量。
  18. 如申請專利範圍第17項所述的距離偵測系統，其中在對所述第一特徵點以及所述第二特徵點進行匹配的運作中，所述處理器刪除所述多個第三特徵點中匹配錯誤的至少一錯誤特徵點。
  19. 如申請專利範圍第16項所述的距離偵測系統，其中在取得所述第一深度的運作中，所述處理器取得所述深度感測裝置拍攝的一第一影像，所述處理器根據所述第一影像以及所述即時影像獲得一深度圖，所述處理器獲得所述多個第三特徵點在所述深度圖中的多個第二深度，以及所述處理器對所述多個第二深度取平均以獲得所述第一深度，並將所述第一深度作為所述車輛到所述目標位置的距離。
  20. 如申請專利範圍第12項所述的距離偵測系統，其中在取得所述車輛的所述導航路徑的運作中，所述處理器取得所述車輛的一起點位置的一第三座標以及一目的地位置的一第四座標，以及所述處理器根據所述第三座標以及所述第四座標，從一導航系統取得所述導航路徑。
  21. 一種電腦程式產品，包括一電腦可讀取記錄媒體，所述電腦可讀取記錄媒體記錄至少一程式指令，所述程式指令在載入一電子裝置後，用以執行下列步驟：根據一第一距離，比對一街景影像與一即時影像；根據所述街景影像與所述即時影像的比對結果，判斷所述車輛到一目標位置的距離；以及輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者，其中比對所述街景影像與所述即時影像的步驟包括：比對所述街景影像與所述即時影像以判斷所述街景影像與所述即時影像的一匹配程度是否大於一第一門檻值；以及當所述匹配程度大於所述第一門檻值時，輸出所述車輛到所述目標位置的距離以提示所述車輛的使用者的步驟包括：取得一第一深度以作為所述車輛到所述目標位置的距離並輸出所述第一深度，其中所述第一深度是由配置在所述車輛上的一深度感測裝置對所述目標位置進行感測所獲得。
TW107144888A 2018-12-12 2018-12-12 距離偵測方法、距離偵測系統與電腦程式產品 TWI678546B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107144888A TWI678546B (zh) 2018-12-12 2018-12-12 距離偵測方法、距離偵測系統與電腦程式產品
US16/372,432 US11308637B2 (en) 2018-12-12 2019-04-02 Distance detection method, distance detection system and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107144888A TWI678546B (zh) 2018-12-12 2018-12-12 距離偵測方法、距離偵測系統與電腦程式產品

Publications (2)

Publication Number Publication Date
TWI678546B true TWI678546B (zh) 2019-12-01
TW202022402A TW202022402A (zh) 2020-06-16

Family

ID=69582522

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144888A TWI678546B (zh) 2018-12-12 2018-12-12 距離偵測方法、距離偵測系統與電腦程式產品

Country Status (2)

Country Link
US (1) US11308637B2 (zh)
TW (1) TWI678546B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100094542A1 (en) * 2007-06-25 2010-04-15 M & Soft, Inc. Method for displaying intersection enlargement in navigation device
TW201137313A (en) * 2010-04-22 2011-11-01 Mitac Int Corp Real-time image navigation system and method
TW201341758A (zh) * 2012-04-03 2013-10-16 Wistron Corp 用於實景導航之定位方法、定位系統及電腦可讀取儲存媒體
WO2016188547A1 (en) * 2015-05-22 2016-12-01 Here Global B.V. An apparatus and associated methods for providing turn guidance
CN108413973A (zh) * 2018-02-12 2018-08-17 上海与德科技有限公司 车辆转弯提示方法、装置、终端及计算机可读介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101952688A (zh) * 2008-02-04 2011-01-19 电子地图北美公司 用于与传感器检测到的对象进行地图匹配的方法
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
TWI391629B (zh) 2008-11-25 2013-04-01 Ind Tech Res Inst 導航資訊修正方法及其導航裝置
US9127952B2 (en) * 2012-02-01 2015-09-08 General Motors Llc Estimation of vehicle location
CN103971399B (zh) * 2013-01-30 2018-07-24 深圳市腾讯计算机系统有限公司 街景图像过渡方法和装置
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
CN108107571B (zh) * 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
US20160146616A1 (en) * 2014-11-21 2016-05-26 Alpine Electronics, Inc. Vehicle positioning by map matching as feedback for ins/gps navigation system during gps signal loss
CN104729485B (zh) 2015-03-03 2016-11-30 北京空间机电研究所 一种基于车载全景影像与街景地图匹配的视觉定位方法
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
US11067995B2 (en) * 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
US10444761B2 (en) * 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors
JP7011472B2 (ja) * 2018-01-15 2022-01-26 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100094542A1 (en) * 2007-06-25 2010-04-15 M & Soft, Inc. Method for displaying intersection enlargement in navigation device
TW201137313A (en) * 2010-04-22 2011-11-01 Mitac Int Corp Real-time image navigation system and method
TW201341758A (zh) * 2012-04-03 2013-10-16 Wistron Corp 用於實景導航之定位方法、定位系統及電腦可讀取儲存媒體
WO2016188547A1 (en) * 2015-05-22 2016-12-01 Here Global B.V. An apparatus and associated methods for providing turn guidance
CN108413973A (zh) * 2018-02-12 2018-08-17 上海与德科技有限公司 车辆转弯提示方法、装置、终端及计算机可读介质

Also Published As

Publication number Publication date
US11308637B2 (en) 2022-04-19
US20200193625A1 (en) 2020-06-18
TW202022402A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
EP3420530B1 (en) A device and method for determining a pose of a camera
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
US20200116498A1 (en) Visual assisted distance-based slam method and mobile robot using the same
CN109117825B (zh) 车道线处理方法和装置
US9420265B2 (en) Tracking poses of 3D camera using points and planes
CN108986164B (zh) 基于图像的位置检测方法、装置、设备及存储介质
US10504244B2 (en) Systems and methods to improve camera intrinsic parameter calibration
US11189022B2 (en) Automatic detection, counting, and measurement of logs using a handheld device
CN113418543B (zh) 自动驾驶传感器的检测方法、装置、电子设备及存储介质
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
US20230260216A1 (en) Point cloud annotation device, method, and program
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
CN109443305B (zh) 一种测距方法及装置
US20220398854A1 (en) Lane line determination method and system, vehicle, and storage medium
CN108369739B (zh) 物体检测装置和物体检测方法
JP2019164521A (ja) 追尾装置
CN113984039A (zh) 运动轨迹的校正方法、装置、系统和存储介质
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
TWI635256B (zh) 基於相位對焦的定位方法及其系統
TWI678546B (zh) 距離偵測方法、距離偵測系統與電腦程式產品
CN111275765A (zh) 一种确定目标gps的方法、装置及摄像机
KR20170106823A (ko) 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
KR20120111857A (ko) 로봇물고기의 물체 추적 방법
KR20180113294A (ko) 곡률 반경을 이용하여 차선을 검출하는 장치 및 방법