TWI811954B - 定位系統及物件位置的校正方法 - Google Patents

定位系統及物件位置的校正方法 Download PDF

Info

Publication number
TWI811954B
TWI811954B TW111101383A TW111101383A TWI811954B TW I811954 B TWI811954 B TW I811954B TW 111101383 A TW111101383 A TW 111101383A TW 111101383 A TW111101383 A TW 111101383A TW I811954 B TWI811954 B TW I811954B
Authority
TW
Taiwan
Prior art keywords
roadside
information
image
position information
image recognition
Prior art date
Application number
TW111101383A
Other languages
English (en)
Other versions
TW202328704A (zh
Inventor
李侑城
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW111101383A priority Critical patent/TWI811954B/zh
Priority to CN202210132377.7A priority patent/CN116489598A/zh
Priority to US17/694,688 priority patent/US11854221B2/en
Priority to EP22165233.2A priority patent/EP4212902A1/en
Publication of TW202328704A publication Critical patent/TW202328704A/zh
Application granted granted Critical
Publication of TWI811954B publication Critical patent/TWI811954B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0018—Transmission from mobile station to base station
    • G01S5/0036—Transmission from mobile station to base station of measured values, i.e. measurement on mobile and position calculation on base station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0045—Transmission from base station to mobile station
    • G01S5/0063—Transmission from base station to mobile station of measured values, i.e. measurement on base station and position calculation on mobile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Abstract

本發明實施例提供一種定位系統及物件位置的校正方法。物件位置的校正方法包含取得路側單元的路側位置資訊。取得一個或更多個物件的物件位置資訊。物件位置資訊是基於衛星定位系統。依據一個或更多個影像擷取裝置的影像決定物件或路側單元的影像辨識結果。依據路側位置資訊及影像辨識結果校正物件的物件位置資訊。藉此，可改進位置估測的準確度。

Description

定位系統及物件位置的校正方法
本發明是有關於一種定位技術，且特別是有關於一種定位系統及物件位置的校正方法。
路側單元(Road Side Unit，RSU)可收集道路上的車輛的路況資訊，但在未設有路側單元的道路或在路側單元的監測範圍以外的道路上，車輛需要透過自身的感測裝置來感測周遭的車輛、行人或公共設施。值得注意的是，感測裝置有相互干擾問題，並受限於資料處理量及掃瞄區域。
另一方面，前述技術的缺陷將降低位置估測的準確度。因此，電子地圖上的偵測結果可能有諸如物件飄移、移動不連續或未在道路上移動等情況。此外，道路使用人僅能得知自身周圍情況，但無法了解視野外的情況，因此難以事先預警事故。
有鑑於此，本發明實施例提供一種定位系統及物件位置的校正方法，額外參考影像辨識結果，以提升定位準確度。
本發明一實施例的物件位置的校正方法包括(但不僅限於)下列步驟：取得一個或更多個路側單元(Road Side Unit，RSU)的路側位置資訊。取得一個或更多個物件的物件位置資訊。物件位置資訊是基於衛星定位系統。依據一個或更多個影像擷取裝置的影像決定物件或路側單元的影像辨識結果。依據路側位置資訊及影像辨識結果校正一個或多個物件的物件位置資訊。
本發明一實施例的定位系統包括(但不僅限於)一個或多個路側單元、一個或更多個影像擷取裝置及運算裝置。路側單元用以提供路側位置資訊。影像擷取裝置用以提供影像。運算裝置經配置用以取得一個或更多個路側單元的路側位置資訊，取得一個或更多個物件的物件位置資訊，並依據路側位置資訊及影像辨識結果校正一個或多個物件或物件的物件位置資訊。物件位置資訊是基於衛星定位系統。影像辨識結果是針對物件或路側單元並依據影像擷取裝置的影像所決定。
基於上述，依據本發明實施例的定位系統及物件位置的校正方法，融合影像辨識結果及基於衛星定位系統的位置，並據以得出更加準確的位置，進而增強預警機制。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依據本發明一實施例的定位系統1的示意圖。請參照圖1，定位系統1包括(但不僅限於)路側單元10、影像擷取裝置30、行動裝置40、行動裝置60、雲端伺服器50、及定位衛星ST。須說明的是，圖1中各裝置的數量及位置僅是用於範例說明，並可依據實際需求而調整。
路側單元10可以設於號誌燈、路燈、電箱、其他設備或建築物上。在一實施例中，路側單元10可支援Wi-Fi、藍芽、或其他通訊技術，並據以與其他裝置通訊。在一實施例中，影像擷取裝置30對道路、出入口或特定區域拍攝，以取得影像。在一實施例中，路側單元10可以包括影像擷取裝置30。在一實施例中，路側單元10可透過基於任一類型衛星導航系統(Global Navigation Satellite System，GNSS)的定位衛星ST定位或電子地圖直接標定，並據以取得自身的位置(例如，座標或相對位置)。
在一實施例中，影像擷取裝置30可以是相機、攝影機或監視器，並據以擷取指定視野內的影像。
行動裝置40、60可以是車載單元(On-board Unit，OBU)、智慧型手機、平板電腦、穿戴式裝置、或感測裝置。在一實施例中，行動裝置40可設於車輛或其他交通工具，或是使用者U攜帶行動裝置60。在一實施例中，行動裝置40及/或行動裝置60包括影像擷取裝置30。在一實施例中，行動裝置40及/或行動裝置60可透過定位衛星ST，並據以取得自身的位置(例如，座標或相對位置)。
雲端伺服器50可以是電腦系統、工作站、或後台主機。在一實施例中，雲端伺服器50可經由網路(例如，網際網路、區域網路或私人網路)或藍芽與路側單元10及行動裝置40、60通訊。
為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中定位系統1中各裝置之運作流程。另須說明的是，下文中的部分或全部操作可能由運算裝置20執行，且運算裝置20可以是路側單元10、行動裝置40、60、雲端伺服器50或邊緣運算(edge computing)裝置。因此，下文中的執行主體僅是用於範例說明，且仍可替換成其他運算裝置20。
圖2是依據本發明一實施例的物件位置的校正方法的流程圖。請參照圖2，運算裝置20取得一個或更多個路側單元10的路側位置資訊(步驟S210)。在一實施例中，路側位置資訊是路側單元10自身的位置。例如，路側單元10透過定位衛星ST取得GPS座標或其他衛星定位系統的座標。又例如，運算裝置20取得路側單元10在電子地圖上的座標。再例如，運算裝置20可透過NFC、藍芽或其他無線通訊技術的訊號強度來估測路側單元10相對於行動裝置40的距離。更例如，運算裝置20可透過深度相機或距離感測器估測周圍物件的相對距離。
在另一實施例中，路側位置資訊為一個或更多物件的物件估測位置。物件可以是路側單元10或行動裝置40、60，也可以是任何類型的交通工具、動物、建築物、植物或設備。物件估測位置是依據影像辨識結果及基於衛星定位系統的物件位置資訊兩者所估測的位置資訊，並待後續實施例詳述。
運算裝置20取得一個或更多個物件的物件位置資訊(步驟S230)。具體而言，這些物件設有或攜帶行動裝置40或行動裝置60，使得行動裝置40或行動裝置60可透過基於衛星定位系統的定位衛星ST取得物件的物件位置資訊。例如，汽車的車載單元取得GPS座標，並反應於事件(例如，定時器、移動速度、事故或手動觸發)而回報GPS座標給雲端伺服器50。又例如，雲端伺服器50分享行動裝置40的GPS座標給路側單元10。
在一實施例中，物件位置資訊對應於物件的識別碼。識別碼例如是行動裝置識別碼、機器識別碼或其他裝置識別資訊。例如，行動裝置40所回報的座標訊息更夾帶國際行動裝置辨識碼(International Mobile Equipment Identity，IMEI)。
在一實施例中，物件位置資訊對應一個時間戳記(timestamp)。這時間戳記記錄物件位置資訊的取得或傳送時間。
在一些實施例中，行動裝置40還可能提供諸如速度、方向等運動資訊。
運算裝置20依據一個或更多個影像擷取裝置30的影像決定物件或路側單元10的影像辨識結果(步驟S250)。具體而言，運算裝置20可基於神經網路的演算法(例如，YOLO、基於區域的卷積神經網路(Region Based Convolutional Neural Networks，R-CNN)、或快速R-CNN(Fast CNN))或是基於特徵匹配的演算法(例如，方向梯度直方圖(Histogram of Oriented Gradient，HOG)、Harr、或加速穩健特徵(Speeded Up Robust Features，SURF)的特徵比對)實現物件偵測，並據以辨識物件的類型(例如，人、腳踏車、大卡車、轎車或廠牌)、外觀(例如，顏色、或形狀)及/或識別資訊(例如，車牌、或其他物件特徵，且又稱標籤)。
在一實施例中，影像辨識結果是路側單元10在影像中的位置(又稱像素位置)。例如，基於像素在影像中的位置形成二維座標系，且二維座標可代表影像中的那些像素的位置。在一實施例中，影像辨識結果是物件在影像中的位置(又稱像素位置)。在一實施例中，影像辨識結果是物件的數量。在一實施例中，影像辨識結果是物件的運動資訊。例如，速度或移動方向。在一些實施例中，前述物件或路側單元10在影像中的位置可以是一個代表位置的座標。這代表位置可以位於物件的下緣中心、中心點或其輪廓內的任一點。
在一實施例中，各影像或影像辨識結果對應一個時間戳記。這時間戳記記錄影像或影像辨識結果的取得或傳送時間。在一實施例中，影像或影像辨識結果對應影像擷取裝置30的鏡頭資訊。鏡頭資訊可以是鏡頭解析度、視野或鏡面曲率。
運算裝置20依據路側位置資訊及影像辨識結果校正物件的物件位置資訊(步驟S270)。具體而言，由於衛星定位所得的物件位置資訊可能有誤差，因此可進一步透過其他資訊校正物件位置資訊。不同於雷達或光達，本發明實施例藉助於影像辨識結果。
以下舉兩實施例說明位置校正。圖3是依據本發明一實施例的校正方法的流程示意圖。請參照圖3，路側單元10上傳路側位置資訊(步驟S310)，且路側位置資訊為路側單元10自身的位置。由於路側單元10通常固定不動，因此運算裝置20可將路側單元10自身的位置視為正確的位置並作為參考錨點。雲端伺服器50可將路側位置資訊分享給行動裝置40(步驟S320)。
此外，影像辨識結果是路側單元10在行動裝置40的影像擷取裝置30所拍攝的影像中的位置。舉例而言，圖4A是依據本發明一實施例的影像辨識結果的示意圖，且圖4B是依據本發明一實施例的物件與路側單元的位置示意圖。請參照圖4A及圖4B，假設行動裝置40設於物件O0，且其影像擷取裝置30可拍攝到物件O1~O5及路側單元10。而路側單元10在影像中的位置(例如以其底側中心作為位置代表點)可作為影像辨識結果。此外，表(1)是基於物件O0上的影像擷取裝置30所拍攝影像的影像辨識結果： 表(1)
裝置識別碼 周圍物件數量 物件編號 物件顏色 物件的像素位置
ID1 5 O1 白 (620,480)
      O2 白 (1196,685)
      O3 黃 (213,370)
      O4 黃 (320,350)
      O5 白 (130,350)
物件種類 時間戳記 識別資訊 註記 鏡頭解析度
轎車 1315897287 AAY-8186 前方攝影機 1280×720
機車 1315897287 未知 前方攝影機 1280×720
車 1315897287 未知 前方攝影機 1280×720
車 1315897287 未知 前方攝影機 1280×720
卡車 1315897287 未知 前方攝影機 1280×720
在一實施例中，ID1可以是行動裝置40的本身唯一裝置識別碼(即，物件的識別碼)，例如IMEI。運算裝置20(以行動裝置40為例)可決定路側位置資訊與影像辨識結果之間的第一位置轉換關係。這第一位置轉換關係是基於衛星定位的路側位置資訊與像素位置之間的轉換函數或對照表。也就是說，將路側單元10在影像中的位置帶入第一位置轉換關係可得出路側單元10自身的位置(例如，GPS座標)。
在一實施例中，路側位置資訊與物件的物件位置資訊之間的座標距離相關於第一位置轉換關係。以表(1)為例，路側單元10與物件O0的座標距離作為第一位置轉換關係的變因。藉此，運算裝置20利用座標距離來修正影像估測位置的誤差，從而提升估測值的準確度。
舉例而言，在一實施例中，ID2是行動裝置40的本身唯一裝置識別碼。路側單元10在物件O1的行動裝置40的影像擷取裝置30所拍攝的影像中的位置。假設物件O1也有行動裝置40設於其上，且其影像擷取裝置30可拍攝到物件O3~O5及路側單元10，而路側單元10在影像中的位置可作為影像辨識結果。此外，表(2)是基於物件O1上的影像擷取裝置30所拍攝影像的影像辨識結果： 表(2)
裝置識別碼 周圍物件數量 物件編號 物件顏色 物件的像素位置
ID2 3 O3 黃 (213,370)
      O4 黃 (320,350)
      O5 白 (130,350)
物件種類 時間戳記 識別資訊 註記 鏡頭解析度
車 1315897287 未知 前方攝影機 1280×720
車 1315897287 未知 前方攝影機 1280×720
卡車 1315897287 未知 前方攝影機 1280×720
除此之外，因為運算裝置20可對不同行動裝置40所回傳之辨識結果及表格內容(如表(1)、表(2)，但還可能是物件上的行動裝置40所回傳的辨識結果及表格內容)進行比對，且在同一時間戳記以共同路側單元10作為參考點，因此運算裝置20可比對出物件O1及O0之間相對位置及前後關係。藉此，可透過更多不同行動裝置40的回傳結果提升推估值的準確度。
在一實施例中，影像擷取裝置30的影像擷取多張影像，且這些影像對應於不同的多個時間戳記。運算裝置20可依據那些時間戳記的第一位置轉換關係決定不同時間戳記下物件的物件估測位置。隨著物件移動，相同物件在不同時間點的像素位置會改變。而不同像素位置可能對應到不同座標距離。例如，當時間戳記為1315897287時，路側單元10的像素位置(230,700)對應於座標距離d及第一位置轉換關係；當時間戳記為1315897288時，路側單元10的像素位置(231,704)對應於座標距離d1及另一個第一位置轉換關係。在不同時間戳記下，若運算裝置20所取得的像素位置與物件位置資訊之間的第一位置轉換關係越多，則使用相同或接近時間戳記的轉換關係將可助於提供更加準確的估測位置。
接著回到圖3，運算裝置20可依據第一位置轉換關係將影像中的物件的位置轉換成對應的物件估測位置(步驟S330)，並據以校正物件位置資訊。即，運算裝置20可依據這第一位置轉換關係校正單純基於衛星定位系統的物件位置資訊。更具體而言，除了路側單元10的位置，影像辨識結果可能更包括其他物件(下文稱周圍物件)的位置。運算裝置20可將周圍物件在影像中的位置依據第一位置轉換關係轉換成物件估測位置(例如，GPS座標)。
此外，行動裝置40可將周圍物件的物件估測位置及自身位置提供給雲端伺服器50(步驟S340)。而雲端伺服器50也可分享前述位置給其他裝置(步驟S350)。這物件估測位置可取代其他裝置所回報的物件位置資訊或以權重關係校正物件位置資訊。
圖5是依據本發明另一實施例的校正方法的流程示意圖。請參照圖5，行動裝置40可將自身影像擷取裝置30所拍攝的影像或基於這影像所得出的影像辨識結果回傳給雲端伺服器50(步驟S510)。此外，行動裝置40可將自己對於周圍物件的物件估測位置及對應時間戳記回報給雲端伺服器50(步驟S520)。這物件估測位置的決定可參酌前述圖3的實施例，且於此不再贅述。
另一方面，路側單元10上傳路側位置資訊(步驟S530)，且路側位置資訊為路側單元10對物件的物件估測位置。相似地，由於路側單元10通常固定不動，因此路側單元10可將自身位置(例如，GPS座標)作為正確的參考座標。路側單元10可基於正確的參考座標及自身的影像擷取裝置30的影像中的像素位置決定第一位置轉換關係，並依據這第一位置轉換關係推算其他物件的物件估測位置。
舉例而言，圖6是依據本發明一實施例的路側單元10的影像擷取裝置30所擷取的影像的示意圖。請接著參照圖7A是圖6的影像辨識結果。影像辨識結果包括機車S、多用途車SU、廂型車V、轎車C、卡車T、行人P、腳踏車B、交通號誌TL及道路線RL。此外，圖7A中箭頭表示物件的移動方向。值得注意的是，除了路側單元10，交通號誌TL及道路線RL也可作為參考錨點，並用於估測第一位置轉換關係。路側單元10即可基於第一位置轉換關係決定周圍物件的物件估測位置。路側單元10可將自己對於周圍物件的物件估測位置、影像辨識結果及對應時間戳記回報給雲端伺服器50。
運算裝置20(以雲端伺服器50為例)可將路側位置資訊與來自行動裝置40的物件估測位置匹配(步驟S540)。具體而言，路側單元10所提供的物件估測位置可對應於自身的影像辨識結果，且行動裝置40所提供的物件估測位置匹配也對應於自身的影像辨識結果。在一實施例中，影像辨識結果更包括物件的種類、外觀及/或識別資訊(例如：車牌號碼)。運算裝置20可依據物件的種類、外觀及/或識別資訊將路側位置資訊中的物件估測位置映射至其他裝置所回報的相同或相近時間戳記的物件估測位置。例如，運算裝置20可比對路側單元10及行動裝置40的影像辨識結果中的物件顏色及車牌號碼，以確認兩個物件估測位置是針對相同物件。
在另一實施例中，各物件位置資訊對應於一個物件的識別碼。以表(1)為例，可利用裝置識別碼區別不同物件。因此，運算裝置20可依據物件的識別碼將路側位置資訊中的物件估測位置映射至其他裝置所回報的相同或相近時間戳記的物件估測位置。以表(1)為例，運算裝置20可找尋路側位置資訊及來自物件O0的物件估測位置中裝置識別碼為ID1的物件估測位置，以確認物件估測位置中是針對物件O1。
另值得注意的是，若物件估測位置有不匹配(或無法映射)的情況，則表示這物件估測位置的物件可能位於其他裝置的視野盲區。因此，即便路側單元10或行動裝置40的影像擷取裝置30未拍攝到部分物件，路側單元10或行動裝置40也能透過其他裝置的影像辨識結果得知這些物件的存在及其位置。
運算裝置20可進一步使用路側位置資訊校正其他裝置所回報的物件估測位置，並將校正結果回傳給行動裝置40(步驟S550)。例如，路側位置資訊中的物件估測位置作為參考位置，並可進一步供來自其他裝置的物件估測位置比對以得知誤差。這誤差可供其他裝置作為位置校正的參考。在一些實施例中，假設路側單元的透鏡解析度較差或具有較差影像辨識結果，則運算裝置20可進一步使用行動裝置40的物件估測位置校正路側位置資訊，並將校正結果回傳給路側單元10。
在一實施例中，運算裝置20(以行動裝置40為例)可決定路側位置資訊與影像辨識結果之間的第二位置轉換關係。這第二位置轉換關係是的物件估測位置與像素位置之間的轉換函數或對照表。也就是說，將物件在影像中的位置帶入第二位置轉換關係可得出物件的實際位置(例如，GPS座標)。
運算裝置20可依據影像辨識結果決定物件的初估位置資訊。這初估位置資訊例如是行動裝置40基於第一位置轉換關係所得出針對周圍物件的物件估測位置。即，影像辨識結果中的物件在影像中的位置經第一位置轉換關係轉換成物件估測位置。運算裝置20可依據初估位置資訊與路側位置資訊之間的誤差決定第二位置轉換關係。例如，行動裝置40可依據雲端伺服器50的校正結果決定自身所得出的物件估測位置的誤差。當校正結果到達一定數量時，行動裝置40可解算出第二位置轉換關係。相較於行動裝置40一開始所用的第一位置轉換關係，這第二位置轉換關係進一步考量了與路側單元10之間誤差並將有助於提升位置估測的準確度。此外，運算裝置20可依據這第二位置轉換關係校正單純基於衛星定位系統的物件位置資訊。例如，將基於第二位置轉換關係所得出的物件估測位置取代物件位置資訊。
在一實施例中，假設電子地圖在校正前採用未校正的物件位置資訊定位物件。運算裝置20可依據校正的物件位置資訊校正物件在電子地圖中的位置。由於融合影像辨識結果的物件估測位置相較於原先的物件位置資訊更加準確，因此電子地圖基於物件估測位置所呈現的物件將可確實坐落於道路或人行道上。此外，若影像辨識結果包括道路線，則運算裝置20可進一步判斷物件與道路線的相對位置關係，並據以確定校正的物件位置資訊符合影像中物件與道路線的相對位置關係。舉例而言，圖7B是依據本發明一實施例的電子地圖映射的示意圖。請參照圖7B，機車S可確實坐落於電子地圖的道路上。
以下再舉兩應用情境說明。圖8A及圖8B是依據本發明一實施例的應用情境的物件與路側單元10的位置示意圖。請先參照圖8A，物件O7觀察周圍物件的結果與物件O1的觀察結果一致(例如，正前方及左前方皆有周圍物件)，但兩者有衛星定位誤差ER1、ER2。因此，若僅基於衛星定位及這些物件O1、O7的前方影像，則雲端伺服器50可能誤判這些物件O1~O7的相對位置。路側單元10可取得這些物件O1~O7的影像辨識結果(步驟S810)，依據這影像辨識結果判斷物件O1、O7判斷並校正物件O1、O7的位置(步驟S820)。例如，影像辨識結果是物件O7位於物件O1後方。此外，雲端伺服器50可將校正的位置提供給物件O1、O7的行動裝置40，甚至通知物件O1關於前方有物件O8的告警(步驟S830)。
請參照圖8B，即便這些物件O1~O7離開路側單元10的偵測範圍，雲端伺服器50仍可基於物件O1~O7的行動裝置40持續回報的GPS座標追蹤所有物件O1~O7的相對位置。
圖9是依據本發明一實施例的另一應用情境的物件與路側單元的位置示意圖。請參照圖9，物件O2不在路側單元10的偵測範圍且物件O8位於物件O2的影像擷取裝置30的視野盲區。此外，物件O4不在路側單元10的偵測範圍且物件O8位於物件O4的影像擷取裝置30的視野盲區。物件O1的行動裝置40可將物件O8的偵測資訊經由雲端伺服器50分享給物件O2、O3的行動裝置40。物件O5的行動裝置40可將物件O8的偵測資訊經由雲端伺服器50分享給物件O4的行動裝置40。藉此，物件O2、O3、O4的行動裝置40皆可得知前方有物件O8。
圖10A是依據本發明一實施例的第一人稱視角的示意圖。請參照圖10A，為了方便圖1中的使用者U使用行動裝置60可清楚了解前方路況，行動裝置60可基於更新的位置資訊呈現第一人稱視角畫面。假設使用者U前方的物件O1遮蔽物件O8，行動裝置60可改變物件O1的透明度，以呈現物件O8。
圖10B是圖10A的電子地圖的示意圖。請參照圖10B，行動裝置60可提供電子地圖的切換選擇，以方便使用者U了解物件O8或其他物件的相對位置。此外，針對事故、意外或威脅行進路線的情況，行動裝置60可以不同顏色(例如:紅色、藍色)、顏色深淺漸層或其他視覺效果強調甚至是提供語音提醒。
經校正的位置資訊還能進一步整合在導航系統。舉例而言，圖10C是說明將圖10B整合於導航地圖。請參照圖10C，行動裝置60可依據導航路線提供路口優先注意的目標方向及位置，並將導航路線整合在上圖所示整合物件位置的電子地圖。藉此，可方便使用者U了解事故或意外是否在導航路線上。
電子地圖還能進一步整合大眾運輸工具的行駛資訊。當大眾運輸工具接近導航路線或使用者U時，行動裝置60可提前預警。或者，電子地圖還能進一步整合天災或人物災害的告警資訊。當導航路線或使用者U接近災害發生地時，行動裝置60可提前預警。
除此之外，本發明實施例整合了影像辨識結果。影像辨識還能偵測諸如招牌、門牌、號誌、道路標誌、或執法相機。若導航目的地或行經路線上的物件符合影像辨識結果，則行動裝置60還能進一步在電子地圖、導航系統或第一人稱視角介面強調所辨識的特定物件。
綜上所述，在本發明實施例的定位系統及物件位置的校正方法中，基於影像辨識結果判斷周圍物件的相對位置。將路側單元作為參考錨點，並基於路側單元的自身位置及影像辨識結果校正物件位置資訊。雲端伺服器整合並分享所有裝置的資訊，使行動裝置或路側單元皆能得知物件在道路上或監控區域中的完整情況。藉此，可提供準確的位置估測，更可據以提前告警。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1:定位系統 10:路側單元 20:運算裝置 30:影像擷取裝置 40:行動裝置 50:雲端伺服器 60:行動裝置 ST:定位衛星 U:使用者 S210~S270、S310~S350、S510~S550、S810~S830:步驟 O0~O8:物件 S:機車 SU:多用途車 V:廂型車 C:轎車 T:卡車 P:行人 B:腳踏車 TL:交通號誌 RL:道路線 ER1、ER2:衛星定位誤差
圖1是依據本發明一實施例的定位系統的示意圖。 圖2是依據本發明一實施例的物件位置的校正方法的流程圖。 圖3是依據本發明一實施例的校正方法的流程示意圖。 圖4A是依據本發明一實施例的影像辨識結果的示意圖。 圖4B是依據本發明一實施例的物件與路側單元的位置示意圖。 圖5是依據本發明另一實施例的校正方法的流程示意圖。 圖6是依據本發明一實施例的路側單元的影像擷取裝置所擷取的影像的示意圖。 圖7A是圖6的影像辨識結果。 圖7B是依據本發明一實施例的電子地圖映射的示意圖。 圖8A及圖8B是依據本發明一實施例的應用情境的物件與路側單元的位置示意圖。 圖9是依據本發明一實施例的另一應用情境的物件與路側單元的位置示意圖。 圖10A是依據本發明一實施例的第一人稱視角的示意圖。 圖10B是圖10C的電子地圖的示意圖。 圖10C是說明將圖10B整合於導航地圖。
S210~S270:步驟

Claims (20)

  1. 一種物件位置的校正方法，包括： 取得至少一路側單元(Road Side Unit)的一路側位置資訊； 取得至少一物件的一物件位置資訊，其中該物件位置資訊是基於一衛星定位系統； 依據至少一影像擷取裝置的一影像決定該至少一物件或該至少一路側單元的一影像辨識結果；以及 依據該路側位置資訊及該影像辨識結果校正該至少一物件的該物件位置資訊。
  2. 如請求項1所述的物件位置的校正方法，其中該路側位置資訊為該至少一路側單元自身的位置，該影像辨識結果是該至少一路側單元在該影像中的位置，且依據該路側位置資訊及該影像辨識結果校正該至少一物件的該物件位置資訊的步驟包括： 決定該路側位置資訊與該影像辨識結果之間的一第一位置轉換關係；以及 依據該第一位置轉換關係校正該物件位置資訊。
  3. 如請求項2所述的物件位置的校正方法，其中依據該第一位置轉換關係校正該物件位置資訊的步驟包括： 依據該第一位置轉換關係將該影像中的該至少一物件的位置轉換成對應的一物件估測位置；以及 依據該物件估測位置校正該物件位置資訊。
  4. 如請求項2所述的物件位置的校正方法，其中該路側位置資訊與該至少一物件的該物件位置資訊之間的一座標距離相關於該第一位置轉換關係。
  5. 如請求項2所述的物件位置的校正方法，其中該至少一影像擷取裝置擷取多張該影像，該些影像對應於不同的多個時間戳記(timestamp)，且決定該路側位置資訊與該影像辨識結果之間的該第一位置轉換關係的步驟包括： 依據該些時間戳記的該第一位置轉換關係，以決定不同時間戳記下的該至少一物件的一物件估測位置。
  6. 如請求項1所述的物件位置的校正方法，其中該路側位置資訊為該至少一物件的一物件估測位置，該影像辨識結果是該至少一物件在該影像中的位置，且依據該路側位置資訊及該影像辨識結果校正該至少一物件的該物件位置資訊的步驟包括： 決定該路側位置資訊與該影像辨識結果之間的一第二位置轉換關係；以及 依據該第二位置轉換關係校正該物件位置資訊。
  7. 如請求項6所述的物件位置的校正方法，其中決定該路側位置資訊與該影像辨識結果之間的該第二位置轉換關係的步驟包括： 依據該影像辨識結果決定該至少一物件的一初估位置資訊；以及 依據該初估位置資訊與該路側位置資訊之間的誤差，以決定該第二位置轉換關係。
  8. 如請求項6所述的物件位置的校正方法，其中該影像辨識結果更包括該至少一物件的種類、外觀及識別資訊中的至少一者，且該校正方法更包括： 依據該至少一物件的種類、外觀及識別資訊中的至少一者，將該路側位置資訊中的該至少一物件的該物件估測位置映射至一裝置所回報的該物件估測位置。
  9. 如請求項6所述的物件位置的校正方法，其中該物件位置資訊對應於一該物件的識別碼，且該校正方法更包括： 依據該至少一物件的識別碼將該物件估測位置映射至一裝置所回報的物件估測位置。
  10. 如請求項6所述的物件位置的校正方法，更包括： 依據校正的物件位置資訊校正該至少一物件在一電子地圖中的位置，其中該電子地圖在校正前採用未校正的該物件位置資訊定位該至少一物件。
  11. 一種定位系統，包括： 至少一路側單元，用以提供一路側位置資訊； 至少一影像擷取裝置，用以提供一影像；以及 一運算裝置，經配置用以： 取得該至少一路側單元的該路側位置資訊； 取得至少一物件的物件位置資訊，其中該物件位置資訊是基於一衛星定位系統；以及 依據該路側位置資訊及一影像辨識結果校正該至少一物件的該物件位置資訊，其中該影像辨識結果是針對該至少一物件或該至少一路側單元並依據該至少一影像擷取裝置的該影像所決定。
  12. 如請求項11所述的定位系統，其中該路側位置資訊為該至少一路側單元自身的位置，該影像辨識結果是該至少一路側單元在該影像中的位置，且該運算裝置更經配置用以： 決定該路側位置資訊與該影像辨識結果之間的一第一位置轉換關係；以及 依據該第一位置轉換關係校正該物件位置資訊。
  13. 如請求項12所述的定位系統，其中該運算裝置更經配置用以： 依據該第一位置轉換關係將該影像中的該至少一物件的位置轉換成對應的一物件估測位置；以及 依據該物件估測位置校正該物件位置資訊。
  14. 如請求項12所述的定位系統，其中該路側位置資訊與該至少一物件的該物件位置資訊之間的一座標距離相關於該第一位置轉換關係。
  15. 如請求項12所述的定位系統，其中該至少一影像擷取裝置擷取多張該影像，該些影像對應於不同的多個時間戳記，且該運算裝置更經配置用以： 依據該些時間戳記的該第一位置轉換關係，以決定不同時間戳記下的該至少一物件的一物件估測位置。
  16. 如請求項11所述的定位系統，其中該路側位置資訊為該至少一物件的一物件估測位置，該影像辨識結果是該至少一物件在該影像中的位置，且該運算裝置更經配置用以： 決定該路側位置資訊與該影像辨識結果之間的一第二位置轉換關係；以及 依據該第二位置轉換關係校正該物件位置資訊。
  17. 如請求項16所述的定位系統，其中該運算裝置更經配置用以： 依據該影像辨識結果決定該至少一物件的一初估位置資訊；以及 依據該初估位置資訊與該路側位置資訊之間的誤差，以決定該第二位置轉換關係。
  18. 如請求項16所述的定位系統，其中該影像辨識結果更包括該至少一物件的種類、外觀及識別資訊中的至少一者，且該運算裝置更經配置用以： 依據該至少一物件的種類、外觀及識別資訊中的至少一者，將該路側位置資訊中的該至少一物件的該物件估測位置映射至一裝置所回報的該物件估測位置。
  19. 如請求項16所述的定位系統，其中該物件位置資訊對應於一該物件的識別碼，且該運算裝置更經配置用以： 依據該至少一物件的識別碼將該物件估測位置映射至一裝置所回報的該物件估測位置。
  20. 如請求項16所述的定位系統，其中該運算裝置更經配置用以： 依據校正的物件位置資訊校正該至少一物件在一電子地圖中的位置，其中該電子地圖在校正前採用未校正的該物件位置資訊定位該至少一物件。
TW111101383A 2022-01-13 2022-01-13 定位系統及物件位置的校正方法 TWI811954B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW111101383A TWI811954B (zh) 2022-01-13 2022-01-13 定位系統及物件位置的校正方法
CN202210132377.7A CN116489598A (zh) 2022-01-13 2022-02-14 定位系统及物件位置的校正方法
US17/694,688 US11854221B2 (en) 2022-01-13 2022-03-15 Positioning system and calibration method of object location
EP22165233.2A EP4212902A1 (en) 2022-01-13 2022-03-29 Positioning system and calibration method of object location

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111101383A TWI811954B (zh) 2022-01-13 2022-01-13 定位系統及物件位置的校正方法

Publications (2)

Publication Number Publication Date
TW202328704A TW202328704A (zh) 2023-07-16
TWI811954B true TWI811954B (zh) 2023-08-11

Family

ID=81448639

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111101383A TWI811954B (zh) 2022-01-13 2022-01-13 定位系統及物件位置的校正方法

Country Status (4)

Country Link
US (1) US11854221B2 (zh)
EP (1) EP4212902A1 (zh)
CN (1) CN116489598A (zh)
TW (1) TWI811954B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
US20210096215A1 (en) * 2019-10-01 2021-04-01 Qualcomm Incorporated Vehicle-to-everything assisted dynamic calibration of automotive sensors
CN113284193A (zh) * 2021-06-22 2021-08-20 智道网联科技(北京)有限公司 Rs设备的标定方法、装置及设备
US20210350572A1 (en) * 2019-05-05 2021-11-11 Tencent Technology (Shenzhen) Company Limited Positioning method, apparatus, device, and computer-readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
CN111783502A (zh) 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN113284194A (zh) 2021-06-22 2021-08-20 智道网联科技(北京)有限公司 多rs设备的标定方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210350572A1 (en) * 2019-05-05 2021-11-11 Tencent Technology (Shenzhen) Company Limited Positioning method, apparatus, device, and computer-readable storage medium
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
US20210096215A1 (en) * 2019-10-01 2021-04-01 Qualcomm Incorporated Vehicle-to-everything assisted dynamic calibration of automotive sensors
CN113284193A (zh) * 2021-06-22 2021-08-20 智道网联科技(北京)有限公司 Rs设备的标定方法、装置及设备

Also Published As

Publication number Publication date
TW202328704A (zh) 2023-07-16
CN116489598A (zh) 2023-07-25
US20230222681A1 (en) 2023-07-13
US11854221B2 (en) 2023-12-26
EP4212902A1 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
CN105793669B (zh) 车辆位置推定系统、装置、方法以及照相机装置
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US11971274B2 (en) Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map
TWI534764B (zh) 車輛定位裝置與方法
KR102027408B1 (ko) 디지털 맵을 생성하기 위한 방법 및 시스템
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US10909395B2 (en) Object detection apparatus
US20130057686A1 (en) Crowd sourcing parking management using vehicles as mobile sensors
US10480949B2 (en) Apparatus for identifying position of own vehicle and method for identifying position of own vehicle
KR20130127822A (ko) 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법
KR20070090194A (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
CN105654732A (zh) 一种基于深度图像的道路监控系统及方法
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
KR102167835B1 (ko) 영상 처리 방법 및 장치
JP2021099793A (ja) インテリジェント交通管制システム及びその制御方法
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11948381B2 (en) Determining object mobility parameters using an object sequence
TWI811954B (zh) 定位系統及物件位置的校正方法
CN111435565A (zh) 道路交通状态检测方法、装置、电子设备及存储介质
TW202341006A (zh) 物件追蹤整合方法及整合裝置
US10958846B2 (en) Method, device and system for configuration of a sensor on a moving object
EP3223188A1 (en) A vehicle environment mapping system
CN115440034B (zh) 一种基于摄像头的车路协同实现方法及实现系统
JP2024047160A (ja) 情報登録支援装置、方法及びプログラム