TWI682361B - 路面影像重建與載具定位之方法與系統 - Google Patents

路面影像重建與載具定位之方法與系統 Download PDF

Info

Publication number
TWI682361B
TWI682361B TW107145184A TW107145184A TWI682361B TW I682361 B TWI682361 B TW I682361B TW 107145184 A TW107145184 A TW 107145184A TW 107145184 A TW107145184 A TW 107145184A TW I682361 B TWI682361 B TW I682361B
Authority
TW
Taiwan
Prior art keywords
image
time
road
pixels
road surface
Prior art date
Application number
TW107145184A
Other languages
English (en)
Other versions
TW202022804A (zh
Inventor
林哲聰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW107145184A priority Critical patent/TWI682361B/zh
Priority to US16/223,046 priority patent/US20200191577A1/en
Priority to CN201811608773.2A priority patent/CN111325753A/zh
Priority to JP2019098294A priority patent/JP2020095668A/ja
Application granted granted Critical
Publication of TWI682361B publication Critical patent/TWI682361B/zh
Publication of TW202022804A publication Critical patent/TW202022804A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本發明揭露一種路面影像重建方法與系統。路面影像重建方法包括：擷取步驟，用以擷取t-n時刻影像 I t-n 與t時刻影像 I t ，該t-n時刻影像 I t-n 與該t時刻影像 I t 包含相同的路面像素與不同的路面像素；分析步驟，用以分析該t-n時刻影像 I t-n 與該t時刻影像 I t 以取得複數特徵對應點；估測步驟，用以由該等特徵對應點，估測該t-n時刻影像 I t-n 與該t時刻影像 I t 之幾何關係；以及拼接步驟，用以根據該特徵對應點幾何關係、與該t-n時刻影像 I t-n 與該t時刻影像 I t 中該等相同的路面像素相較該等不同的路面像素之距離，拼接該t-n時刻影像 I t-n 與該t時刻影像 I t 為一完整路面影像 I t-n, t 。路面影像重建系統包括一影像擷取裝置與一運算單元；其中，影像擷取裝置用以擷取影像，運算單元用以執行路面影像重建方法中影像擷取以外之步驟。本發明亦揭露運用該路面影像重建方法與系統所產生之完整路面影像的載具定位方法與系統。

Description

路面影像重建與載具定位之方法與系統
本發明是有關於一種影像重建與定位之方法與系統，且特別是有關於一種路面影像重建與載具定位之方法與系統。
理論上，現今自駕車已可於一般天候下順利運行；但是，全球定位系統（Global Positioning System, GPS）訊號易受屏蔽而影響其定位精度，造成自駕車定位不準，而路面標誌（如交通標誌或標線）可做為重要定位資訊來源，供自駕車在小範圍內重新定位自身位置；然而，路面標誌亦可能受其他車輛或物件遮蔽，致使路面標誌難以辨識，進而造成自駕車定位與導航有所偏差。
本發明提供一種路面影像重建方法與系統，藉此產生不受其他物件遮蔽的完整路面影像，以供後續路面標誌辨識。
依照本發明一實施例，提供一種路面影像重建方法，包括：擷取步驟，用以擷取t-n時刻影像 I t-n 與t時刻影像 I t ，該t-n時刻影像 I t-n 與該t時刻影像 I t 包含相同的路面像素與不同的路面像素；分析步驟，用以分析該t-n時刻影像 I t-n 與該t時刻影像 I t 以取得複數特徵對應點；估測步驟，用以由該等特徵對應點，估測該t-n時刻影像 I t-n 與該t時刻影像 I t 之幾何關係；以及拼接步驟，用以根據該幾何關係、與該t-n時刻影像 I t-n 與該t時刻影像 I t 中該等相同的路面像素相較該等不同的路面像素之距離，拼接該t-n時刻影像 I t-n 與該t時刻影像 I t 為一完整路面影像 I t-n, t 。
依照本發明另一實施例，提供一種路面影像重建系統，包括一影像擷取裝置與一運算單元；其中，影像擷取裝置用以擷取影像，運算單元用以執行路面影像重建方法中影像擷取以外之步驟。
本發明亦提供載具定位方法與系統，藉由完整路面影像中辨識出的路面標誌、地圖系統中的圖資、以及全球定位系統的座標之多重資訊來源，推論出載具於圖資中的確切位置。
依照本發明又一實施例，提供一種載具定位方法，用以定位具有一影像擷取裝置之一載具，該載具定位方法包括：擷取步驟，擷取t-n時刻影像 I t-n 與t時刻影像 I t ，該t-n時刻影像 I t-n 與該t時刻影像 I t 包含相同的路面像素與不同的路面像素；分析步驟，用以分析該t-n時刻影像 I t-n 與該t時刻影像 I t 以取得複數特徵對應點；估測步驟，用以由該等特徵對應點，估測該t-n時刻影像 I t-n 與該t時刻影像 I t 之幾何關係；拼接步驟，用以根據該幾何關係、與該t-n時刻影像 I t-n 與該t時刻影像 I t 中該等相同的路面像素相較該等不同的路面像素之距離，拼接該t-n時刻影像 I t-n 與該t時刻影像 I t 為一完整路面影像 I t-n, t ；辨識步驟，用以由該完整路面影像 I t-n, t 中偵測與辨識路面標誌；測距步驟，用以估測該等路面標誌與該載具之距離；比對步驟，用以比對該完整路面影像 I t-n, t 中的該等路面標誌與圖資中的路面標誌資訊；以及定位步驟，用以根據上述測距步驟所得之距離、比對步驟所得之路面標誌比對結果、以及全球定位系統所提供之該載具的潛在位置，推論出該載具於該圖資中的確切位置。
依照本發明在一實施例，提供一種載具定位系統，用於定位一載具，該系統包括全球定位系統、地圖系統、影像擷取裝置、以及運算單元；其中，全球定位系統提供該載具的潛在位置，地圖系統具有包含路面標誌資訊之圖資，影像擷取裝置用以擷取影像，運算單元用以執行載具定位方法中影像擷取以外之步驟。
基於上述，本發明藉由路面影像重建，產生不受其他物件遮蔽的完整路面影像以辨識路面標誌，以及搭配運用地圖系統與全球定位系統之相關資訊，達到準確定位載具之功效。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
請參考以下實施例及隨附圖式，以便更充分地了解本發明，但是本發明仍可以藉由多種不同形式來實踐，且不應將其解釋為限於本文所述之實施例。為了方便理解，下述說明中相同的元件將以相同之符號標示來說明。而在圖式中，為求明確起見對於各構件以及其相對尺寸可能未按實際比例繪製。
請同時參照圖1、圖2、圖3A~圖3B與圖4。圖1是依照本發明一實施例的一種路面影像重建與載具定位方法的流程圖。圖2是依照本發明一實施例的一種路面影像重建與載具定位系統的方塊示意圖。圖3A是依照本發明一實施例之影像擷取裝置所擷取之t-n時刻前視影像示意圖。圖3B是依照本發明一實施例之影像擷取裝置所擷取之t時刻前視影像示意圖。圖4之(A)是依照本發明一實施例之運算單元所處理之t-n時刻上視影像示意圖。圖4之(B)是依照本發明一實施例之運算單元所處理之t時刻上視影像示意圖。圖4之(C)是依照本發明一實施例之運算單元所重建之完整路面影像示意圖。
依照本發明一實施例，一種路面影像重建系統1主要包括影像擷取裝置10與運算單元20，該路面影像重建系統1係用以執行路面影像重建步驟S100（詳細步驟見S101~S106），說明如下。
首先，在步驟S101中，影像擷取裝置10從相同視角擷取複數張相鄰時刻的不同影像，如t-n時刻影像 I t-n 與t時刻影像 I t 。在典型的行車情境中，於裝設有影像擷取裝置10的載具（本段落後續以「本車」稱之）的前方，可能有其他車輛或行人等移動物件，因此，在不同時刻所擷取的影像中，路面標誌受遮蔽的情況也會不同；換言之，該t-n時刻影像 I t-n 與該t時刻影像 I t 中會包含相同的路面像素與不同的路面像素。如圖3A所示，在t-n時刻的前視影像中，前車3與本車距離較近（前車3佔該張影像的空間相對較大），定義出該車道的左車道線4與右車道線5受到前車3遮蔽，且車道中路面上的指示標線6亦部分受前車3遮蔽，而無法判斷該指示標線6所指為何；而如圖3B所示，在t時刻的前視影像中，前車3與本車距離較遠（前車3佔該張影像的空間相對較小），前車3未遮蔽車道的左車道線4與右車道線5，且路面上的指示標線6亦未受前車3遮蔽，因而可知該指示標線6指示前行；也就是說，在t-n時刻與t時刻的前視影像中指示標線6在不同時刻的影像中由不同的路面像素構成。
接著，在步驟S102中，可針對該t-n時刻影像 I t-n 與該t時刻影像 I t 進行影像分割，致使t-n時刻影像 I t-n 與t時刻影像 I t 中可行駛區域之路面像素具有不同於其他像素之視覺特性。如圖3A~圖3B所示，可行駛區域之路面像素與前車3、樹木9等物件之像素以不同的顏色圖層覆蓋，藉此區隔出可行駛區域之路面像素與非行駛區域之其他像素。影像分割演算法可採用基於深度學習的模型，如FCN（Fully Convolutional Network）、Segnet等，亦可採用非基於深度學習的模型，如SS（Selective Search），只要能將各影像中可行駛區域之路面像素與其他像素區分開即可。透過影像分割，可將t-n時刻影像 I t-n 與t時刻影像 I t 中的非路面像素濾除，保留可行駛區域之路面像素以供後續重建完整的路面影像。影像分割步驟可提高後續的運算效能。在另一實施例中，路面影像重建方法可不包括步驟S102，只要所擷取之不同時刻的影像具有路面像素，即可進行後續完整路面影像之重建。
接著，在步驟S103中，可將不同時刻的影像轉換為上視影像，如圖4之(A)~圖4之(C)所示。在上視影像中，路面標誌具有尺寸不變性（Scale Invariance），有利於簡化後續影像分析過程。在另一實施例中，路面影像重建方法可不包括步驟S103，如所擷取之影像已為上視影像，或是在後續影像分析過程中以其他技術手段達成路面標誌之尺寸不變性。
接著，在步驟S104中，分析該等相鄰時刻的複數影像，以求取該等影像間的特徵對應點。此處請留意，如圖4之(A)與圖4之(B)所示，在不同時刻，中間車道的路面標誌受其他載具8所遮蔽的情況不同，因而該t-n時刻影像 I t-n 與該t時刻影像 I t 包含相同與不同的路面像素。步驟S104詳細說明如下。首先，在相鄰時刻的複數張成對影像（例如圖4之(A)所示的t-n時刻影像 I t-n 與圖4之(B)所示的t時刻影像 I t ）中各別尋找複數特徵，如角點、邊緣、或區塊等特徵；接著，比對該等特徵以確認t-n時刻影像 I t-n 與t時刻影像 I t 間的特徵對應點（correspondence），例如圖4之(A)與圖4之(B)中最左邊車道中左彎箭頭的最上方角點7。舉例來說，特徵對應點分析可採用尺度不變特徵轉換演算法（Scale-Invariant Feature Transform, SIFT）、加速強健特徵演算法（Speeded Up Robust Features, SURF）、或其他可求取二影像間特徵對應點的演算法。
接著，在步驟S105中，根據前一步驟S104所求取之特徵對應點，估測該等複數影像之幾何關係。詳細作法如後。首先，在該t-n時刻影像 I t-n 中，各特徵對應點於t-n時刻的座標值可定義為 x，在該t時刻影像 I t 中，各特徵對應點經轉換後於t時刻的座標值可定義為 x’，此處該等座標值是以齊次座標表示，且轉換前後兩者之關係定義為 x ’ = H x ，其中H為一3x3矩陣，用以描述t-n時刻影像 I t-n 與t時刻影像 I t 之幾何關係。藉由已知的若干組特徵對應點的座標值，即可求解3x3矩陣H；具體而言，欲估測此一矩陣H的9個元素，需提供4組以上的已知特徵對應點，接著，由該等已知特徵對應點搭配採用例如直接線性轉換演算法（Direct Linear Transformation, DLT）與隨機抽樣一致演算法（Random Sample Consensus, RANSAC），即可估測3x3矩陣H之最佳解。一旦決定3x3矩陣H，即可求得在t-n時刻影像 I t-n 中任一像素（包含特徵對應點）經轉換後於t時刻影像 I t 中的座標值。
接著，在步驟S106中，根據前述步驟S105所得，拼接該t-n時刻影像 I t-n 與該t時刻影像 I t 為路面標誌未受遮蔽的完整路面影像 I t-n, t 。其中，為使拼接後的完整路面影像 I t-n, t 較為自然，依照本實施例，根據一拼接權重α，將t-n時刻影像 I t-n 與t時刻影像 I t 以線性方式拼接。如圖4之(A)~圖4之(C)所示，可將t-n時刻影像 I t-n 之下方邊界定義為 L t-n, btm ，t時刻影像 I t 之上方邊界定義為 L t, top ，並將拼接權重α定義為( y- L t, top )/( L t-n, btm - L t, top )，其中 y代表任一路面像素在 Y方向上的座標。在位於下方邊界座標 L t-n, btm 與上方邊界座標 L t, top 之間的所有路面像素則透過以下線性的拼接函式予以拼接： I t-n, t =α I t-n + (1-α) I t 。由該拼接權重α與拼接函式之定義可知，在本實施例中，為求得較佳的影像拼接結果，拼接影像考量t-n時刻影像 I t-n 與t時刻影像 I t 中相同的路面像素相較不同的路面像素之距離。換言之，越靠下方邊界座標 L t-n, btm 之該等路面像素將以t-n時刻影像 I t-n 中所呈現者為主，越靠上方邊界座標 L t, top 之該等路面像素則以t時刻影像 I t 中所呈現者為主，若任一路面像素於某一時刻影像中有所缺漏，則以另一時刻影像中所存在之對應路面像素為主。至此步驟S106，即完成完整路面影像 I t-n, t 之重建。
前述方法所得之完整路面影像 I t-n, t 可進一步用以定位裝設有影像擷取裝置10的載具（本段落後續以「本車」稱之）。請參照圖1的路面影像重建步驟S100與載具定位步驟S300，與圖2的載具定位系統2，簡要說明如下。在本實施例中，載具定位系統2可包含影像擷取裝置10、運算單元20、地圖系統30、全球定位系統（GPS）40。載具定位系統2中的運算單元20可針對路面號誌未受遮蔽的完整路面影像 I t-n, t 進行路面標誌偵測與辨識（步驟S301）例如基於深度學習之物體偵測演算法；接著，可透過例如逆透視模型估測本車至該路面標誌之距離（步驟S302），比對由完整路面影像 I t-n, t 中辨識出的路面標誌與一地圖系統30所提供圖資中的路面標誌資訊（步驟S303），根據上述步驟S302所得之距離、步驟S303所得之路面標誌比對結果、以及搭配全球定位系統40所提供之本車的潛在位置，即可推論出本車於該圖資中的確切位置，並可呈現於裝設於本車的顯示單元50上，以供使用者目視，作為後續行車路線規劃參考。換言之，在本車的潛在位置與該路面標誌對應圖資中路面標誌資訊皆為已知的情況下，依照本實施例之載具定位方法，可以高於全球定位系統（GPS）定位精度之程度定位本車位置。在GPS定位精度下降或失效的情況下，例如建築物林立的小巷道中、或是天候不佳時，搭配本實施例之路面影像重建方法，將可降低GPS定位不準之影響，仍可精準定位出本車於圖資中的位置。
此處請特別留意，本案提及之路面影像重建方法的運用方式不限於載具定位，舉例而言，其亦可運用於建立具有所有路面標誌之地圖資料庫。
綜合上述，依照本發明之實施例，藉由複數張相鄰時刻的影像，透過其中的特徵對應點，即可拼接該等影像以產生一路面標誌未受遮蔽的完整路面影像。並且，依照本發明實施例所重建之路面影像，因路面標誌不受遮蔽，故後續可進行路面標誌偵測與辨識，以協助定位或其他可能運用。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1‧‧‧路面影像重建系統 2‧‧‧載具定位系統 10‧‧‧影像擷取裝置 20‧‧‧運算單元 30‧‧‧地圖系統 40‧‧‧全球定位系統 50‧‧‧顯示單元 3‧‧‧前車 4‧‧‧左車道線 5‧‧‧右車道線 6‧‧‧路面標線 7‧‧‧角點 8‧‧‧其他載具 9‧‧‧樹木Lt, top ‧‧‧上方邊界座標Lt-n, btm ‧‧‧下方邊界座標It-n ‧‧‧t-n時刻影像It ‧‧‧t時刻影像It-n, t ‧‧‧完整路面影像 S100~S106‧‧‧步驟 S300~S304‧‧‧步驟
圖1是依照本發明一實施例的一種路面影像重建與載具定位方法的流程圖。 圖2是依照本發明一實施例的一種路面影像重建與載具定位系統的方塊示意圖。 圖3A是依照本發明一實施例之影像擷取裝置所擷取之t-n時刻前視影像示意圖。 圖3B是依照本發明一實施例之影像擷取裝置所擷取之t時刻前視影像示意圖。 圖4中之(A)是依照本發明一實施例之運算單元所處理之t-n時刻上視影像示意圖。 圖4中之(B)是依照本發明一實施例之運算單元所處理之t時刻上視影像示意圖。 圖4中之(C)是依照本發明一實施例之運算單元所重建之完整路面影像示意圖。
S100~S106‧‧‧步驟
S300~S304‧‧‧步驟

Claims (9)

  1. 一種路面影像重建方法，由一電子裝置執行下列步驟，包括：擷取步驟，擷取t-n時刻影像I t-n 與t時刻影像I t ，該t-n時刻影像I t-n 與該t時刻影像I t 包含相同的路面像素與不同的路面像素；分析步驟，分析該t-n時刻影像I t-n 與該t時刻影像I t 以取得複數特徵對應點；估測步驟，依據該等特徵對應點的座標值，計算該t-n時刻影像I t-n 與該t時刻影像I t 之幾何關係，所述幾何關係是將該t-n時刻影像I t-n 中特徵對應點的座標值轉換為該t時刻影像I t 中特徵對應點的座標值的一矩陣；以及拼接步驟，根據該估測步驟所得之該幾何關係、該t-n時刻影像I t-n 與該t時刻影像I t 中相同的路面像素相較不同的路面像素之距離，將該t-n時刻影像I t-n 與該t時刻影像I t 以線性方式接合為完整路面影像I t-n,t 。
  2. 如申請專利範圍第1項所述的路面影像重建方法，在該分析步驟之前，更包括：分割步驟，分割該t-n時刻影像I t-n 與該t時刻影像I t ，致使該t-n時刻影像I t-n 與該t時刻影像I t 中可行駛區域之路面像素具有不同於其他像素之視覺特性。
  3. 如申請專利範圍第1項所述的路面影像重建方法，在該分析步驟之前，更包括：轉換步驟，轉換該t-n時刻影像I t-n 與該t時刻影像I t 為上視影像。
  4. 如申請專利範圍第1項所述的路面影像重建方法，該分析步驟包括：在該t-n時刻影像I t-n 與該t時刻影像I t 中各別尋找複數特徵；以及比對該等特徵以確認該t-n時刻影像I t-n 與該t時刻影像I t 之該等特徵對應點。
  5. 如申請專利範圍第4項所述的路面影像重建方法，該估測步驟包括：定義該t-n時刻影像I t-n 之各該特徵對應點於t-n時刻的座標值為x；定義該t時刻影像I t 之各該特徵對應點於t時刻的座標值為 x’ ；定義 x’ =H x ，其中H為3x3矩陣，且該等座標值是以齊次座標值表示；以及藉由已知的該等特徵對應點的座標值，求解3x3矩陣H。
  6. 如申請專利範圍第1項所述的路面影像重建方法，該拼接步驟包括：定義該t-n時刻影像I t-n 之下方邊界座標為L t-n,btm ； 定義該t時刻影像I t 之上方邊界座標為L t,top ；定義拼接權重α為(y-L t,top )/(L t-n,btm -L t,top )，其中y代表各該路面像素在Y方向上的座標；以及根據該拼接權重α，將位於該下方邊界座標L t-n,btm 與該上方邊界座標L t,top 之間該t-n時刻影像I t-n 與該t時刻影像I t 中該等路面像素以線性方式拼接，以產生該完整路面影像I t-n,t ，其中，該t-n時刻影像I t-n 、該t時刻影像I t 、與該完整路面影像I t-n,t 之關係可定義為I t-n,t =αI t-n +(1-α)I t 。
  7. 一種載具定位方法，於定位裝設有影像擷取單元之載具，由一電子裝置執行下列步驟，該定位方法包括：擷取步驟，擷取t-n時刻影像I t-n 與t時刻影像I t ，該t-n時刻影像I t-n 與該t時刻影像I t 包含相同的路面像素與不同的路面像素；分析步驟，分析該t-n時刻影像I t-n 與該t時刻影像I t 以取得複數特徵對應點；估測步驟，依據該等特徵對應點的座標值，計算該t-n時刻影像I t-n 與該t時刻影像I t 之幾何關係，所述幾何關係是將該t-n時刻影像I t-n 中特徵對應點的座標值轉換為該t時刻影像I t 中特徵對應點的座標值的一矩陣；以及拼接步驟，根據該估測步驟所得之該幾何關係、與該t-n時刻影像I t-n 與該t時刻影像I t 中該等相同的路面像素相較該等不同的路面像素之距離，將該t-n時刻影像I t-n 與該t時刻影像I t 以線 性方式接合為一完整路面影像I t-n,t ；辨識步驟，由該完整路面影像I t-n,t 中偵測與辨識路面標誌；測距步驟，計算該等路面標誌與該載具之距離；比對步驟，比對該完整路面影像I t-n,t 中的該等路面標誌與一圖資中的路面標誌資訊；以及定位步驟，根據該測距步驟所得之距離、該比對步驟所得之路面標誌比對結果、以及全球定位模組所提供之該載具的第一位置，計算出該載具於該圖資中的確切位置。
  8. 一種路面影像重建系統，包括：影像擷取單元，擷取t-n時刻影像I t-n 與t時刻影像I t ，該t-n時刻影像I t-n 與該t時刻影像I t 包含相同的路面像素與不同的路面像素；以及運算單元，執行下列步驟：分析步驟，分析該t-n時刻影像I t-n 與該t時刻影像I t 以取得複數特徵對應點；估測步驟，依據該等特徵對應點的座標值，計算該t-n時刻影像I t-n 與該t時刻影像I t 之幾何關係，所述幾何關係是將該t-n時刻影像I t-n 中特徵對應點的座標值轉換為該t時刻影像I t 中特徵對應點的座標值的一矩陣；以及拼接步驟，根據該估測步驟所得之該幾何關係、與該t-n時刻影像I t-n 與該t時刻影像I t 中該等相同的路面像素相較該等不同的路面像素之距離，將該t-n時刻影像I t-n 與該t時刻 影像I t 以線性方式接合為一完整路面影像I t-n,t 。
  9. 一種載具定位系統，用於定位載具，該載具定位系統包括：全球定位模組，提供該載具的第一位置；地圖子系統，具有圖資，其包含路面標誌資訊；影像擷取單元，裝設於該載具上，該影像擷取單元擷取t-n時刻影像I t-n 與t時刻影像I t ，該t-n時刻影像I t-n 與該t時刻影像I t 包含相同的路面像素與不同的路面像素；以及運算單元，執行下列步驟：分析步驟，分析該t-n時刻影像I t-n 與該t時刻影像I t 以取得複數特徵對應點；估測步驟，依據該等特徵對應點的座標值，計算該t-n時刻影像I t-n 與該t時刻影像I t 之幾何關係，所述幾何關係是將該t-n時刻影像I t-n 中特徵對應點的座標值轉換為該t時刻影像I t 中特徵對應點的座標值的一矩陣；以及拼接步驟，根據該估測步驟所得之該幾何關係、與該t-n時刻影像I t-n 與該t時刻影像I t 中該等相同的路面像素相較該等不同的路面像素之距離，將該t-n時刻影像I t-n 與該t時刻影像I t 以線性方式接合為完整路面影像I t-n,t ；辨識步驟，由該完整路面影像I t-n,t 中偵測與辨識該路面標誌；測距步驟，計算該等路面標誌與該載具之距離； 比對步驟，比對該完整路面影像I t-n,t 中的該等路面標誌與該地圖子系統之該圖資中的該等路面標誌資訊；以及定位步驟，根據該測距步驟所得之距離、該比對步驟所得之路面標誌比對結果、以及該全球定位模組所提供之該載具的該第一位置，計算出該載具於該圖資中的確切位置。
TW107145184A 2018-12-14 2018-12-14 路面影像重建與載具定位之方法與系統 TWI682361B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107145184A TWI682361B (zh) 2018-12-14 2018-12-14 路面影像重建與載具定位之方法與系統
US16/223,046 US20200191577A1 (en) 2018-12-14 2018-12-17 Method and system for road image reconstruction and vehicle positioning
CN201811608773.2A CN111325753A (zh) 2018-12-14 2018-12-27 路面影像重建与载具定位的方法与系统
JP2019098294A JP2020095668A (ja) 2018-12-14 2019-05-27 道路画像再構成及び車両測位のための方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107145184A TWI682361B (zh) 2018-12-14 2018-12-14 路面影像重建與載具定位之方法與系統

Publications (2)

Publication Number Publication Date
TWI682361B true TWI682361B (zh) 2020-01-11
TW202022804A TW202022804A (zh) 2020-06-16

Family

ID=69942486

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145184A TWI682361B (zh) 2018-12-14 2018-12-14 路面影像重建與載具定位之方法與系統

Country Status (4)

Country Link
US (1) US20200191577A1 (zh)
JP (1) JP2020095668A (zh)
CN (1) CN111325753A (zh)
TW (1) TWI682361B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755214B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 區分物件的方法、電腦裝置及儲存介質

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436257B (zh) * 2021-06-09 2023-02-10 同济大学 一种基于道路几何信息的车辆位置实时检测方法
TWI777821B (zh) * 2021-10-18 2022-09-11 財團法人資訊工業策進會 用於貨櫃場車輛的車輛定位系統以及車輛定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120807A (en) * 2009-12-10 2011-06-16 Ind Tech Res Inst Apparatus and method for moving object detection
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像系统及其校准方法和校准程序
CN106705962A (zh) * 2016-12-27 2017-05-24 首都师范大学 一种获取导航数据的方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163645A (ja) * 2000-11-28 2002-06-07 Toshiba Corp 車両検出装置及びその方法
WO2008130219A1 (en) * 2007-04-19 2008-10-30 Tele Atlas B.V. Method of and apparatus for producing road information
JP5074171B2 (ja) * 2007-12-21 2012-11-14 アルパイン株式会社 車載システム
TWI554976B (zh) * 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
JP6450589B2 (ja) * 2014-12-26 2019-01-09 株式会社モルフォ 画像生成装置、電子機器、画像生成方法及びプログラム
KR20240005161A (ko) * 2016-12-09 2024-01-11 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
DE102017209700A1 (de) * 2017-06-08 2018-12-13 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Kanten in einem Kamerabild, und Fahrzeug
JP7426174B2 (ja) * 2018-10-26 2024-02-01 現代自動車株式会社 車両周囲画像表示システム及び車両周囲画像表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120807A (en) * 2009-12-10 2011-06-16 Ind Tech Res Inst Apparatus and method for moving object detection
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像系统及其校准方法和校准程序
CN106705962A (zh) * 2016-12-27 2017-05-24 首都师范大学 一种获取导航数据的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755214B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 區分物件的方法、電腦裝置及儲存介質

Also Published As

Publication number Publication date
JP2020095668A (ja) 2020-06-18
US20200191577A1 (en) 2020-06-18
TW202022804A (zh) 2020-06-16
CN111325753A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US20220319024A1 (en) Image annotation
CN107341453B (zh) 一种车道线提取方法及装置
CN109598794B (zh) 三维gis动态模型的构建方法
JP5714940B2 (ja) 移動体位置測定装置
JP4717760B2 (ja) 物体認識装置および映像物体測位装置
US10872246B2 (en) Vehicle lane detection system
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
TWI682361B (zh) 路面影像重建與載具定位之方法與系統
WO2008130233A1 (en) Method of and apparatus for producing road information
JP2006053756A (ja) 物体検出装置
CN111046743A (zh) 一种障碍物信息标注方法、装置、电子设备和存储介质
US20150302611A1 (en) Vehicle dimension estimation from vehicle images
Chong et al. Integrated real-time vision-based preceding vehicle detection in urban roads
US10438362B2 (en) Method and apparatus for homography estimation
US10936920B2 (en) Determining geographical map features with multi-sensor input
JP5267330B2 (ja) 画像処理装置および方法
JP2011134207A (ja) 運転記録装置および地図作成システム
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
JP2011170599A (ja) 屋外構造物計測装置及び屋外構造物計測方法
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
US20210134034A1 (en) Region clipping method and recording medium storing region clipping program
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
Kaddah et al. Road marking features extraction using the VIAPIX® system
Zhuang et al. Wavelet transform-based high-definition map construction from a panoramic camera