TWI840037B - 產生交通事件動態影像的方法 - Google Patents

產生交通事件動態影像的方法 Download PDF

Info

Publication number
TWI840037B
TWI840037B TW111149152A TW111149152A TWI840037B TW I840037 B TWI840037 B TW I840037B TW 111149152 A TW111149152 A TW 111149152A TW 111149152 A TW111149152 A TW 111149152A TW I840037 B TWI840037 B TW I840037B
Authority
TW
Taiwan
Prior art keywords
event
information
moving
map information
map
Prior art date
Application number
TW111149152A
Other languages
English (en)
Other versions
TW202427412A (zh
Inventor
朱宏國
林正華
王升躍
余嘉浩
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW111149152A priority Critical patent/TWI840037B/zh
Priority to CN202310389385.4A priority patent/CN118229845A/zh
Priority to US18/303,569 priority patent/US20240212224A1/en
Application granted granted Critical
Publication of TWI840037B publication Critical patent/TWI840037B/zh
Publication of TW202427412A publication Critical patent/TW202427412A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

一種產生交通事件動態影像的方法。所述方法包括：將行進動態影像對應的移動軌跡座標組與電子地圖進行地圖對位，以自電子地圖中獲得與移動軌跡座標組對應的軌跡地圖資訊組；在軌跡地圖資訊組中取得符合事件軌跡模型的至少一事件地圖資訊及對應的行進動態影像之數筆影像幀資訊，並依據事件軌跡模型取得虛擬物件之數筆位置資訊；基於所述影像幀資訊在行進動態影像中擷取動態影像片段，並基於虛擬物件之位置資訊將虛擬物件與動態影像片段進行合成，產生對應於事件軌跡模型的交通事件動態影像。

Description

產生交通事件動態影像的方法
本發明是有關於一種產生動態影像的方法，且特別是有關於一種產生交通事件動態影像的方法。
隨著科技的發展，為了避免人為疏失所引發的交通事故，提出了自動駕駛技術。自動駕駛技術經由感測器來感測周圍環境並可自動導航。而為了增加自動駕駛功能的安全性，需要充分的訓練資料集來作為深度學習模型的訓練與驗證用。然而，在一般車用訓練中，所需訓練資料集需要花費大量時間去錄製。即，針對每一種場景、每一種天氣型態都需要實地去錄製。而邊角案例(corner-case)更是不容易收集，相關成本也很高。
目前在自駕車的訓練階段中的邊角案例收集有下述兩種方法。方法1：收集實際發生的邊角案例影片來做為訓練資料集。然，一般只能透過網路取收集行車記錄器的影像，故，篩選成本高，且難以獲得高品質且合適的影像。此外，網路收集的實際影片，難以規範影像品質，也無法調整鏡頭和客製化邊角案例。此 外，缺少以本車為邊角案例的影片。方法2：透過車輛模擬器編排來產生訓練資料集。方法2雖然可以客製化影像，然成本較高。越細緻的虛擬影像，其產生的所需時間越多。此外，方法2所獲得的影像皆為虛擬影像，真實程度較低，恐會影響後續訓練結果。
本發明提供一種產生交通事件動態影像的方法，結合真實場景和虛擬物件，能夠在高性價比的情況下提供大量且多元的訓練素材。
本發明的產生交通事件動態影像的方法，其是利用處理器來執行，所述方法包括：地圖對位步驟，將行進動態影像對應的移動軌跡座標組與電子地圖進行地圖對位，以自電子地圖中獲得與移動軌跡座標組對應的軌跡地圖資訊組；事件適配步驟，在軌跡地圖資訊組中取得符合事件軌跡模型的至少一事件地圖資訊及對應的行進動態影像之數筆影像幀資訊，並依據事件軌跡模型產生虛擬物件之數筆位置資訊；影像生成步驟，基於所述影像幀資訊在行進動態影像中擷取動態影像片段，並基於虛擬物件之位置資訊將虛擬物件與動態影像片段進行合成，產生對應於事件軌跡模型的交通事件動態影像。
在本發明的一實施例中，所述行進動態影像包括數個影像幀，且移動軌跡座標組包括數個移動軌跡座標。所述方法更包括：影像對位步驟，取得行進動態影像以及對應的移動軌跡座標 組，並將行進動態影像與移動軌跡座標組進行時間對位，使得行進動態影像的每一影像幀具有對應的移動軌跡座標。
在本發明的一實施例中，所述移動軌跡座標組包括多個移動軌跡座標。所述地圖對位步驟更包括：在電子地圖中決定移動軌跡座標組所在的地圖區塊，其中地圖區塊包括多個路徑節點地圖資訊；將移動軌跡座標組的多個移動軌跡座標與這些路徑節點地圖資訊進行比對，以從這些路徑節點地圖資訊中決定多個軌跡地圖資訊，其中所述多個軌跡地圖資訊為分別與所述多個移動軌跡座標相距最短的路徑節點地圖資訊；以及集合所述多個軌跡地圖資訊產生軌跡地圖資訊組。
在本發明的一實施例中，地圖對位步驟更包括：在電子地圖中決定移動軌跡座標組所在的地圖區塊，其中地圖區塊包括多個路徑節點地圖資訊；將移動軌跡座標組的多個移動軌跡座標與所述多個路徑節點地圖資訊進行比對，以從這些路徑節點地圖資訊中決定多個軌跡地圖資訊，其中這些軌跡地圖資訊為分別以所述多個移動軌跡座標為圓心在預定半徑範圍內的多個路徑節點地圖資訊；以及集合所述多個軌跡地圖資訊產生軌跡地圖資訊組。
在本發明的一實施例中，所述各路徑節點地圖資訊包括路徑型態及位置座標。
在本發明的一實施例中，所述事件軌跡模型包括物件軌跡、事件類型、事件時段以及事件路徑資訊，而所述事件適配步驟更包括：在軌跡地圖資訊組所包括的多個軌跡地圖資訊中找出 符合事件類型及事件路徑資訊的至少一事件地圖資訊。
在本發明的一實施例中，所述事件路徑資訊包括角度範圍、寬度範圍以及移動速度範圍。
在本發明的一實施例中，所述事件類型為道路事件或路口事件。
在本發明的一實施例中，所述一虛擬物件包括至少一虛擬車輛。而事件適配步驟更包括：依據至少一事件地圖資訊，自移動軌跡座標組所中取得分別與所述事件地圖資訊距離最近的移動軌跡座標，並依據所述取得的移動軌跡座標取得對應的行進動態影像之該些影像幀資訊，其中該些影像幀資訊是影像幀的時間戳記；及基於每一個影像幀資訊執行：取得對應於影像幀資訊的移動軌跡座標，依據移動軌跡座標與事件軌跡模型，運算至少一虛擬車輛對應於影像幀資訊的位置資訊。
在本發明的一實施例中，所述至少一虛擬車輛對應於影像幀資訊的位置資訊是相對位置資訊。
在本發明的一實施例中，所述行進動態影像具有一總時間，且所述方法更包括影像長度判斷步驟，影像長度判斷步驟包括包括：判斷所述總時間是否大於或等於事件軌跡模型的事件時段，並且當總時間大於或等於事件時段時執行事件適配步驟，以及當總時間小於事件時段時停止執行事件適配步驟。事件適配步驟更包括在取得所述影像幀資訊與所述位置資訊後，根據事件時段或最晚的時間戳記更新所述總時間。
在本發明的一實施例中，在事件適配步驟中，是依照時間順序在軌跡地圖資訊組的多個軌跡地圖資訊中，判斷所述多個軌跡地圖資訊是否符合事件類型及事件路徑資訊，以找出符合事件類型及事件路徑資訊的至少一事件地圖資訊，且總時間是自執行判斷是否符合的軌跡地圖資訊對應的影像幀起算的行進動態影像的時間長度。
在本發明的一實施例中，在事件適配步驟中，當時間最晚之影像幀對應的軌跡地圖資訊未符合事件類型及事件路徑資訊時，結束事件適配步驟。
在本發明的一實施例中，所述影像生成步驟更包括：在由虛擬物件與動態影像片段所合成的動態影像中加入天氣效果，以產生該交通事件動態影像。
基於上述，本揭露是在實際拍攝的行進動態影像中來擷取符合事件軌跡模型的動態影像片段，進而將所述動態影像片段與虛擬物件進行合成來獲得交通事件動態影像。據此，可多次利用同一個行進動態影像來獲得不同場景下的大量交通事件動態影像。
100:電子裝置
110:處理器
120:儲存器
31:影像對位模組
32:地圖對位模組
33:事件適配模組
34:影像截取模組
35:影像合成模組
310:移動軌跡座標組
311:移動軌跡座標
311-1~311-6:導航點
320:行進動態影像
321、321-1~321-6:影像幀
330:電子地圖
340:事件軌跡模型
342:虛擬物件的物件資訊
350:軌跡地圖資訊組
352:影像幀資訊
360:動態影像片段
400:車輛
41:定位裝置
42:攝像機
510:地圖區塊
610:路徑節點
620:匹配節點
710:動態影像片段
720:虛擬物件
730:交通事件動態影像
730a~760d:合成影像幀
P31、P32-1、P32-2、P33、P34:階段
S31:影像收集步驟
S32-1:影像對位步驟
S205、S32-1:地圖對位步驟
S210、S33:事件適配步驟
S215、S34:影像生成步驟
圖1是依照本發明一實施例的電子裝置的方塊圖。
圖2是依照本發明一實施例的產生交通事件動態影像的方法 流程圖。
圖3A是依照本發明另一實施例的產生交通事件動態影像的架構示意圖。
圖3B是依照本發明另一實施例的產生交通事件動態影像的方法流程圖。
圖4是依照本發明一實施例的影像收集步驟的示意圖。
圖5是依照本發明一實施例的在電子地圖中取出地圖區塊的示意圖。
圖6是依照本發明一實施例的地圖對位步驟的示意圖。
圖7A及圖7B是依照本發明一實施例的合成影像的示意圖。
圖1是依照本發明一實施例的電子裝置的方塊圖。請參照圖1，電子裝置100可採用任一具有運算功能的電子設備來實現，透過電子裝置100來量產自駕車產業所需的訓練資料集。電子裝置100至少包括處理器110以及儲存器120。處理器110耦接至儲存器120。
處理器110例如為中央處理單元(Central Processing Unit，CPU)、物理處理單元(Physics Processing Unit，PPU)、可程式化之微處理器(Microprocessor)、嵌入式控制晶片、數位訊號處理器(Digital Signal Processor，DSP)、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似裝置。
儲存器120例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。儲存器120中儲存了一或多個程式碼片段，上述程式碼片段在被安裝後，會由處理器110來執行下述產生交通事件動態影像的方法。
圖2是依照本發明一實施例的產生交通事件動態影像的方法流程圖。請參照圖2，本實施例主要分為三個階段，即，地圖對位步驟S205、事件適配步驟S210以及影像生成步驟S215。
在地圖對位步驟S205中，處理器110將行進動態影像對應的移動軌跡座標組與電子地圖進行地圖對位，以自電子地圖中獲得與移動軌跡座標組對應的軌跡地圖資訊(waypoint)組。在此，移動軌跡座標組包括在多個取樣時間點所獲得的多個移動軌跡座標。地圖對位是用以在實際的電子地圖中找出每一個移動軌跡座標對應的實際座標。
在此，電子地圖例如是從各個國家政府所建構的地圖資料庫中所獲取，故，電子地圖提供的地圖資訊(waypoint)會包括多條實際道路各自的道路座標、道路識別碼、路寬等道路資訊，以及多個路口各自的路口座標與每一個路口連接至哪幾個道路識別碼等路口資訊。
處理器110將行進動態影像所包括的每一個影像幀對應的移動軌跡座標與電子地圖進行地圖對位，以在電子地圖中找出 移動軌跡座標對應的軌跡地圖資訊，也就是移動軌跡座標對應位置的道路資訊及/或路口資訊等，進而由找出的軌跡地圖資訊構成軌跡地圖資訊組。經由地圖對位，可使得行進動態影像和電子地圖之間具有關聯性。
接著，在事件適配步驟S210中，處理器110在軌跡地圖資訊組中取得符合事件軌跡模型的數筆事件地圖資訊、對應的行進動態影像之數筆影像幀資訊，並依據事件軌跡模型產生虛擬物件之數筆位置資訊。本實施例的虛擬物件是至少一虛擬車輛，而所述影像幀資訊例如是影像幀的時間戳記。
所述事件軌跡模型包括事件類型、事件時段以及事件路徑資訊。以將交通事件動態影像作為交通事件的訓練素材而言，事件軌跡模型為用於建構交通事件的事件路況與軌跡的模型。在一實施例中，事件類型包括車輛在道路中可能會發生的交通事件類型，例如道路事件或路口事件。路徑資訊包括角度範圍、寬度範圍以及移動速度範圍。並且，事件類型具有對應的車輛軌跡資訊。車輛軌跡資訊用以指示至少一虛擬車輛的軌跡資訊。所述虛擬車輛包括自主車輛(ego-vehicle，底下稱為EGO車輛)以及外部車輛(Non-ego traffic vehicle，底下稱為NEGO車輛)至少其中一者，NEGO車輛指EGO車輛以外的事件相關外部車輛。
道路事件所指例如為前車停止(Lead Vehicle Stopped，LVS)、逆向對撞、或蛇行(drifting)等在直線道路中發生的事件。前車停止所指為：自主車輛直行並跟隨在撞擊車輛的後方的情況 下，撞擊車輛突然停止所發生的衝撞。逆向對撞所指為：自主車輛在原車道上行駛的狀態下，與對向行駛的撞擊車輛發生衝撞。
路口事件所指例如為直線交叉路口-左側對撞(Straight crossing path-left，SCP-L)、直線交叉路口-右側對撞(Straight crossing path-right，SCP-R)、左轉進入路徑(Left turn into path，LTIP)、右轉進入路徑(Right turn into path，RTIP)、左轉穿越路徑-逆向對撞(Left turn across path-opposite direction，LTAP-OD)或左轉穿越路徑-橫向對撞(Left turn across path-lateral direction，LTAP-LD)等。然，所述事件類型僅為舉例說明，並不以此為限。
然後，在影像生成步驟S215中，處理器110基於所述影像幀資訊在行進動態影像中擷取動態影像片段，並基於虛擬物件之位置資訊將虛擬物件與動態影像片段進行合成，產生對應於事件軌跡模型的交通事件動態影像。即，將真實場景(行進動態影像中的動態影像片段)和虛擬物件進行合成，最終產生所需要的交通事件動態影像。
前述方法也可以是以雲端服務的方式實現，也就是由伺服器執行運算，例如車輛搭載之前視鏡頭記錄的行進動態影像及移動軌跡座標組，可回傳至提供服務之伺服器，由伺服器基於回傳的行進動態影像及移動軌跡座標組執行前述方法，以產生交通事件動態影像。
圖3A是依照本發明另一實施例的產生交通事件動態影像的方法的架構示意圖。圖3B是依照本發明另一實施例的產生交 通事件動態影像的方法流程圖。圖3A所示是依照圖3B之產生交通事件動態影像的方法的架構。圖3A所示的架構包括5個階段P31、P32-1、P32-2、P33、P34，並且以影像對位模組31、地圖對位模組32、事件適配模組33、影像截取模組34以及影像合成模組35來進行說明。在一實施例中，所述各模組例如是由一或多個程式碼片段組成，且儲存在儲存器120中。
請參照圖3A及圖3B，首先，在步驟S31中，執行影像收集步驟，可同時參見圖3A的階段P31。在此，利用定位裝置41收集移動軌跡座標組310，並且利用攝像機42紀錄實際行車前視角的行車動態影像320。
舉例來說，圖4是依照本發明一實施例的影像收集步驟的示意圖。請參照圖4，本實施例採用車輛400收集實際行車的資料。車輛400中搭配設置有定位裝置41以及攝像機42。定位裝置41例如為採用全球定位系統(Global Positioning System，GPS)的裝置。攝像機42例如是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭的攝影機、照相機等。
在車輛400的移動過程中，同時通過定位裝置41來獲得車輛400在多個取樣時間點的移動軌跡座標組310以及通過攝像機42來拍攝車輛400行進中前視角的行進動態影像320。例如，定位裝置41每隔一段時間(例如0.1秒)將當下的GPS座標記錄下進而獲得移動軌跡座標組310。即，移動軌跡座標組310包括對 應於多個取樣時間點的多個導航點，每一個導航點記錄有對應的移動軌跡座標311。而行進動態影像320包括多個影像幀321，且每一影像幀321具有各自的時間戳記。
在處理器110取得行進動態影像320以及對應的移動軌跡座標組310之後，在步驟S32-1中，執行影像對位步驟，可同時參見圖3A的階段P32-1。在此，利用影像對位模組31對行進動態影像320和移動軌跡座標組310進行時間對位，藉此可使得行進動態影像320的每一個影像幀具有對應的移動軌跡座標。在一實施例中，影像對位模組31以時間戳記對行進動態影像320和移動軌跡座標組310進行時間對位，使得行進動態影像320的每一張影像幀321都具有對應的移動軌跡座標。
例如，搭配圖4進行說明，影像對位模組31在讀取影像幀321-1~321-6的影像幀資訊而獲得的時間戳記為t1~t6，則影像對位模組31會自移動軌跡座標組310中取出時間戳記分別為t1~t6的導航點311-1~311-6，之後在影像幀321-1~321-6對應的影像幀資訊中分別記錄下導航點311-1~311-6作為移動軌跡座標311。
在影像對位步驟後，在步驟S32-2中，執行地圖對位步驟，可同時參見圖3A的階段P32-2。在此，地圖對位模組32對移動軌跡座標組310與電子地圖330進行地圖對位，以在電子地圖330中獲得與移動軌跡座標組310對應的軌跡地圖資訊組350。具體而言，地圖對位模組32會先在電子地圖330中決定移動軌跡 座標組310所在的地圖區塊。此一地圖區塊包括多個路徑節點地圖資訊。之後，地圖對位模組32將移動軌跡座標組310所包括的全部移動軌跡座標與所述路徑節點地圖資訊進行比對，以從這些路徑節點地圖資訊中決定多個軌跡地圖資訊，並且集合這些軌跡地圖資訊建構軌跡地圖資訊組350。所述多個軌跡地圖資訊為分別與所述多個移動軌跡座標相距最短的路徑節點地圖資訊。所述軌跡地圖資訊的決定方式並不以最短距離為限，所述多個軌跡地圖資訊也可以是分別以所述多個移動軌跡座標為圓心在一預定半徑範圍內的多個路徑節點地圖資訊。
底下以圖5、圖6來進一步說明。圖5是依照本發明一實施例的在電子地圖中取出地圖區塊的示意圖。圖6是依照本發明一實施例的地圖對位步驟的示意圖，其中是顯示了部分的移動軌跡座標與部分的路徑節點。
處理器110透過地圖對位模組32在電子地圖330找出移動軌跡座標組310的移動軌跡座標311對應的位置，藉此來找出能夠涵蓋移動軌跡座標組310的地圖區塊510，如圖5所示。例如，以最小矩形包覆電子地圖330上的移動軌跡座標組310，而獲得地圖區塊510。在此，地圖區塊510包括多個路徑節點地圖資訊，其以R樹(R-tree)的方式儲存。路徑節點地圖資訊包括路徑型態及位置座標。路徑型態為路口或道路。
接著，請參照圖6，空心圓點代表地圖區塊510所包括的路徑節點610(一個路徑節點610具有對應於實際的電子地圖330 上的路徑節點地圖資訊)，實心圓點代表移動軌跡座標組310所包括的移動軌跡座標311。透過地圖對位模組32將移動軌跡座標組310所包括的多個移動軌跡座標311與地圖區塊510所包括的全部路徑節點610的座標進行比對，以在這些路徑節點610中找出分別與移動軌跡座標311相距最短的路徑節點(即虛線框所框選)作為匹配節點620，並集合這些匹配節點620的路徑節點地圖資訊建構軌跡地圖資訊組350。例如，地圖對位模組32可找出與各移動軌跡座標311距離最短的一個路徑節點610作為匹配節點620。或者，地圖對位模組32以各移動軌跡座標311對應於電子地圖330中的座標為圓心，以一預設長度為半徑來設定一個搜尋範圍，之後將電子地圖330中的此一搜尋範圍內的全部路徑節點610作為是匹配節點620。
通過上述方式，將移動軌跡座標組310轉換為電子地圖330上的軌跡地圖資訊組350，進而可使用電子地圖330所提供的路徑節點地圖資訊。例如，路徑節點地圖資訊包括路徑型態與位置座標。所述路徑型態用以指示各匹配節點620為路口或道路。補充說明的是，在執行了影像對位步驟及地圖對位步驟後，可取得行進動態影像320的每一張影像幀321、移動軌跡座標組310、軌跡地圖資訊組350三者之間的對應關係。
接著，在執行事件適配步驟(對應於階段P33)之前，在步驟S33-1中，先執行影像長度判斷步驟。具體而言，事件適配模組33先判斷行進動態影像320的總時間是否大於或等於事件軌 跡模型340的事件時段，並在判定總時間大於或等於事件時段時，前往步驟S33，執行事件適配步驟。在每一次執行完事件適配步驟之後，更新總時間，並返回步驟S33-1。在判定總時間小於事件時段時不執行事件適配步驟，前往步驟S34。
在步驟S33中，執行事件適配步驟，可同時參見圖3A的階段P33。此時，事件適配模組33在軌跡地圖資訊組350中取得符合事件軌跡模型340的事件地圖資訊、對應的動態影像之數筆影像幀資訊352。並且，事件適配模組33依據事件軌跡模型340運算虛擬物件的位置資訊342。事件軌跡模型340還包括物件軌跡，例如是對應於事件類型的自主虛擬車輛(也就是EGO車輛)移動的位置資訊及/或碰撞虛擬車輛(也就是NEGO車輛)移動的位置資訊。以虛擬物件為虛擬車輛而言，虛擬車輛對應於影像幀資訊的位置資訊342是相對位置資訊。
具體而言，事件適配模組33在軌跡地圖資訊組350所包括的多個軌跡地圖資訊中找出符合事件軌跡模型340所定義的事件類型及事件路徑資訊的事件地圖資訊。事件適配模組33是依照時間順序在軌跡地圖資訊組350的多個軌跡地圖資訊中，判斷這些軌跡地圖資訊是否符合事件類型及事件路徑資訊，以找出符合事件類型及事件路徑資訊的一或多筆事件地圖資訊；而影像長度判斷步驟(步驟S33-1)中，總時間即是自執行判斷是否符合的軌跡地圖資訊對應的影像幀起算的行進動態影像320的時間長度。
在事件適配步驟中，當時間最晚之影像幀對應的軌跡地 圖資訊未符合事件類型及事件路徑資訊時，結束事件適配步驟。
以路口事件而言，處理器110透過事件適配模組33依照時間順序在軌跡地圖資訊組350的軌跡地圖資訊中找出路徑型態為“路口”，且同時滿足事件路徑資訊的事件地圖資訊，然而當執行到時間順序最晚的軌跡地圖資訊後未有符合路徑型態(“路口”)或者事件路徑資訊，則結束事件適配步驟，並前往步驟S34。以道路事件類型而言，處理器110透過事件適配模組33依照時間順序在軌跡地圖資訊組350中找出路徑型態為“道路”或“路口”，且同時滿足事件路徑資訊的事件地圖資訊，然而當執行到時間順序最晚的軌跡地圖資訊後未有符合路徑型態(“道路”或“路口”)或事件地圖資訊者，則結束事件適配步驟。在本實施例中，事件地圖資訊的位置為事件中雙方的交會點，例如是交通事故的雙方車輛交會而碰撞的位置。
前述事件軌跡模型340的事件路徑資訊包括發生事件類型需滿足的條件，例如角度範圍、寬度範圍以及移動速度範圍，具體而言是指發生事件類型的路口的道路間角度需符合落在角度範圍內，發生事件類型所在的道路或路口的寬度需落在寬度範圍內，並且基於錄製的行進動態影像320來計算虛擬物件(也就是EGO車輛)在事件地圖資訊之位置(例如交會點)的速度且應落在設定的移動速度範圍內。藉此，可判斷此軌跡地圖資訊是否符合事件類型以利後續產生交通事件動態影像。以交通事件類型SCP-L為例，事件路徑資訊包括角度範圍90度、移動速度範圍為時速40 公里至60公里之間；以交通事件類型Drifting為例，事件路徑資訊包括寬度範圍大於7M、移動速度範圍為時速40公里至60公里之間。在執行事件適配步驟時，判斷事件路徑資訊是否符合時可設定一偏差值，並且可調整偏差值改變事件適配的精確度。
詳細來說，在事件適配步驟(對應於階段P33)中，事件適配模組33倘若在軌跡地圖資訊組350中找到符合事件類型的軌跡地圖資訊，卻不符合事件路徑資訊，則繼續尋找下一個符合事件類型的軌跡地圖資訊。倘若在軌跡地圖資訊組350中找到符合事件類型的軌跡地圖資訊，且符合事件路徑資訊，將此軌跡地圖資訊設定為事件地圖資訊。
在取得事件地圖資訊後，事件適配模組33取得事件地圖資訊對應的移動軌跡座標，再依據此移動軌跡座標決定對應的行進動態影像之影像幀，並紀錄下影像幀之影像幀資訊352。本實施例的影像幀資訊352是影像幀之時間戳記。取得事件地圖資訊對應的時間戳記後，依據事件時段運算事件類型發生的結束時間及起始時間，並取得事件類型發生的所有影像幀之時間戳記。例如，假設事件時段為10秒，事件地圖資訊對應的影像幀之時間戳記為2：30，則此事件類型發生的起始時間為2：22，結束時間為2：31，事件適配模組33記錄下時間2：22至時間2：31之間所有影像幀之時間戳記。
另外，在取得事件類型發生的所有影像幀之影像幀資訊(時間戳記)後，事件適配模組33基於每一時間戳記逐一執行： 取得對應於時間戳記的移動軌跡座標，依據對應的移動軌跡座標與事件軌跡模型，運算並記錄虛擬車輛於此時間戳記的位置資訊，也就是虛擬車輛在此時間戳記的影像幀的座標。在本實施例中虛擬車輛的位置資訊是與自主車輛的相對位置，但也可以是絕對位置，不以相對位置為限。在逐一對事件類型發生的所有時間戳記執行運算後，事件適配模組33取得並儲存虛擬車輛在各時間戳記中的位置資訊。
進一步說明，運算虛擬車輛的位置資訊的另一實施例，事件適配模組33自移動軌跡座標組310所包括的數個移動軌跡座標中取出與每一事件地圖資訊對應的移動軌跡座標，並基於移動軌跡座標取得EGO車輛的事件第一軌跡，亦即事件類型發生的所有影像幀的行進軌跡座標的集合。之後，依據事件軌跡模型340、事件第一軌跡，建構NEGO車輛的事件第二軌跡，亦即每一影像幀中虛擬物件的位置資訊的集合。例如，以事件類型為SCP-L舉例而言，假設將攝像機42所取得的行進動態影像320作為EGO車輛的主視角畫面，並且假設一事件地圖資訊對應的時間戳記為2：22與2：31之間，也就是事件類型發生的起訖時間。在此情況下，集合時間戳記2：22~2：31之間的影像幀對應的行進軌跡座標來產生事件第一軌跡，並且運算自移動軌跡座標的左側往移動軌跡座標移動的事件第二軌跡，亦即虛擬物件的位置資訊。
在事件適配步驟中，經由事件適配步驟而取得事件類型發生的所有影像幀之影像幀資訊(時間戳記)及虛擬車輛的位置 資訊之後，將總時間減去事件時段，並更新總時間後，返回步驟S33-1，接續根據更新後的總時間執行影像長度判斷步驟。在其他實施例中，也可以是從事件類型發生的時間戳記中最晚者之後的行進動態影像320長度來更新總時間，後續根據更新後的總時間以執行影像長度判斷步驟，因此不以減去事件時段為限。在其他實施例中，總時間也可以是預計進行事件適配步驟的軌跡地圖資訊對應之影像幀起算之行進動態影像的長度，因此不以減去事件時段為限。
在步驟S34中，執行影像生成步驟，可一併參見圖3A的階段P34。在此，影像截取模組34與影像合成模組35依據事件配置步驟中取得並記錄的資訊，例如影像幀資訊352及虛擬物件的位置資訊，來產生交通事件動態影像。本實施例的影像幀資訊352為影像幀的時間戳記。詳細而言，在影像生成步驟中，影像截取模組34基於影像幀資訊352，從行進動態影像320中擷取動態影像片段360，並將動態影像片段360提供給影像合成模組35。例如，假設其中一組影像幀資訊352是記錄自2：21至2：30之間的影像幀的時間戳記，則影像截取模組34取出2：21~2：30對應的動態影像片段360。
接著，影像合成模組35基於虛擬物件的物件資訊342、每一時間戳記對應的虛擬物件的位置資訊，來產生對應於事件軌跡模型340的交通事件動態影像。
進一步地說，每一筆影像幀資訊352可對應於一筆虛擬 物件的位置資訊，亦即影像合成模組355可取得虛擬物件在動態影像片段360的每一影像幀中的座標，因此在影像生成步驟中，影像合成模組355依據影像幀資訊352及虛擬物件的位置資訊將該虛擬物件合成在動態影像片段360中，產生交通事件動態影像。
另外，還可進一步在所合成的動態影像中加入天氣效果，以獲得不同天氣狀態下的交通事件動態影像。例如，在合成的動態影像中加入雨絲或是霧氣等天氣效果。
圖7A及圖7B是依照本發明一實施例的合成影像的示意圖。請參照圖7A及圖7B，假設此範例的事件軌跡模型340中記錄的事件類型為“蛇行”。在所獲得的動態影像片段710中，加入一台虛擬車輛(NEGO車輛)720，並基於虛擬車輛720對應的事件第二軌跡來獲得合成後的交通事件動態影像730。即，將動態影像片段710作為以EGO車輛為主要視角的移動畫面(作為背景畫面)，基於事件第二軌跡來設定虛擬車輛720對應至不同時間點所應呈現的姿態，以在動態影像片段710所包括的每一個影像幀中加入不同姿態下的虛擬車輛720以獲得多個合成影像幀，如合成影像幀730a~730d所示。
補充說明的是，本揭露以車輛交通事件來說明，然而行進動態影像也可以是無人機行進中紀錄的前視動態影像，電子地圖也可以是呈現特定高度的空中地圖，經由前述產生交通事件動態影像的方法來產生無人機行進的交通事件動態影像，因此不以地面交通事件為限。此外，本揭露的虛擬物件是以外部車輛為例， 然而也可以是動物，例如行人、貓或狗等可能造成交通事件的相關對象，而在非地面交通事件的情況下，虛擬物件也可以是飛行器、鳥或空中可能造成交通事件的障礙物。
綜上所述，本揭露結合由攝像機所錄製的真實場景(行進動態影像)的優點和虛擬物件的合成來靈活產生各種事件軌跡模型的優點，並降低模擬器建構環境模型的成本以高性價比的方式來量產各種事件軌跡模型的交通事件動態影像。據此，解決自駕車產業於訓練決策系統的邊角案例資料集的數量不足的問題。
由於本揭露採用實際錄製的影像作為背景畫面，故背景畫面呈現的車流、交通環境等都是真實場景。因此，透過本揭露所獲得的交通事件動態影像的真實性高於模擬器所建構的環境。相較於由模擬器所建立的環境模型的高昂成本，本揭露只需要實景拍攝數次便可自動來獲得對應於各種事件軌跡模型的交通事件動態影像，故，不僅節省執行模擬器的資源也節省了建構虛擬環境的耗時。此外，相較於網路收集的行車記錄器畫面，本揭露可以客製化各種不同的事件軌跡模型(例如邊角案例)，此外在實景拍攝的過程中也可調整攝像機的角度和位置，藉此來客製化不同拍攝角度的事件軌跡模型。
通過本揭露可以獲得收集不易的邊角案例的交通事件動態影像，並且能夠使得一個實景拍攝的行進動態影像做多次的利用，並搭配各種事件軌跡模型來獲得所需的交通事件動態影像。如此一來，可利用少量的真實場景來大量生產符合各種事件軌跡 模型的交通事件動態影像(訓練資料集)，以供深度學習模型的訓練與驗證用。
S205:地圖對位步驟
S210:事件適配步驟
S215:影像生成步驟

Claims (12)

  1. 一種產生交通事件動態影像的方法，其是利用一處理器來執行，所述方法包括執行以下步驟：影像對位步驟，將一行進動態影像以及其對應的一移動軌跡座標組進行一時間對位，使得該行進動態影像所包括的數個影像幀各自對應至該移動軌跡座標組所包括的數個移動軌跡座標中的其中一個；地圖對位步驟，將該行進動態影像對應的該移動軌跡座標組與一電子地圖進行一地圖對位，以自該電子地圖中獲得與該移動軌跡座標組對應的一軌跡地圖資訊組；事件適配步驟，在該軌跡地圖資訊組中找出符合一事件軌跡模型所定義的道路事件或路口事件的至少一事件地圖資訊及對應的行進動態影像之數筆影像幀資訊，並依據該事件軌跡模型產生一虛擬物件之數筆位置資訊；影像生成步驟，基於該些影像幀資訊在該行進動態影像中擷取一動態影像片段，並基於該虛擬物件之該些位置資訊，將該虛擬物件與該動態影像片段進行合成，產生對應於該事件軌跡模型的一交通事件動態影像。
  2. 如請求項1所述的產生交通事件動態影像的方法，其中該地圖對位步驟更包括：在該電子地圖中決定該移動軌跡座標組所在的一地圖區塊，其中該地圖區塊包括多個路徑節點地圖資訊； 將該移動軌跡座標組的該些移動軌跡座標與該些路徑節點地圖資訊進行比對，以從該些路徑節點地圖資訊中決定多個軌跡地圖資訊，其中該些軌跡地圖資訊為分別與該些移動軌跡座標相距最短的該些路徑節點地圖資訊；以及集合該些軌跡地圖資訊產生該軌跡地圖資訊組。
  3. 如請求項1所述的產生交通事件動態影像的方法，其中該地圖對位步驟更包括：在該電子地圖中決定該移動軌跡座標組所在的一地圖區塊，其中該地圖區塊包括多個路徑節點地圖資訊；將該移動軌跡座標組的該些移動軌跡座標與該些路徑節點地圖資訊進行比對，以從該些路徑節點地圖資訊中決定多個軌跡地圖資訊，其中該些軌跡地圖資訊為分別以該些移動軌跡座標為圓心在一預定半徑範圍內的該些路徑節點地圖資訊；以及集合該些軌跡地圖資訊產生該軌跡地圖資訊組。
  4. 如請求項2所述的產生交通事件動態影像的方法，其中每一該些路徑節點地圖資訊包括一路徑型態及一位置座標。
  5. 如請求項1所述的產生交通事件動態影像的方法，其中該事件軌跡模型包括一物件軌跡、一事件類型、一事件時段以及一事件路徑資訊，該事件類型為該道路事件或該路口事件，而該事件適配步驟更包括：在該軌跡地圖資訊組所包括的多個軌跡地圖資訊中找出符合該事件類型及該事件路徑資訊的該至少一事件地圖資訊。
  6. 如請求項5所述的產生交通事件動態影像的方法，其中該事件路徑資訊包括角度範圍、寬度範圍以及移動速度範圍。
  7. 如請求項5所述的產生交通事件動態影像的方法，其中該虛擬物件包括至少一虛擬車輛，而該事件適配步驟更包括：依據該至少一事件地圖資訊，自該移動軌跡座標組中取得分別與該至少一事件地圖資訊距離最近的至少一移動軌跡座標；依據取得的該至少一移動軌跡座標，取得對應的行進動態影像之該些影像幀資訊，其中該些影像幀資訊分別是該些影像幀的時間戳記；及基於每一該些影像幀資訊執行：取得對應於該影像幀資訊的該移動軌跡座標，依據該移動軌跡座標與該事件軌跡模型，運算該至少一虛擬車輛對應於該影像幀資訊的該位置資訊。
  8. 如請求項7所述的產生交通事件動態影像的方法，其中該至少一虛擬車輛對應於該影像幀資訊的該位置資訊是相對位置資訊。
  9. 如請求項7所述的產生交通事件動態影像的方法，其中該行進動態影像具有一總時間，該方法更包括影像長度判斷步驟，該影像長度判斷步驟包括：判斷該總時間是否大於或等於該事件軌跡模型的該事件時段，並且當該總時間大於或等於該事件時段時執行該事件適配步驟，及當該總時間小於該事件時段時停止執行該事件適配步驟， 其中，該事件適配步驟更包括在取得該些影像幀資訊與該些位置資訊後，根據該事件時段或最晚的時間戳記更新該總時間。
  10. 如請求項9所述的產生交通事件動態影像的方法，其中該事件適配步驟中，是依照時間順序在該軌跡地圖資訊組的該些軌跡地圖資訊中，判斷該些軌跡地圖資訊是否符合該事件類型及該事件路徑資訊，以找出符合該事件類型及該事件路徑資訊的該至少一事件地圖資訊，且該總時間是自執行判斷是否符合的該軌跡地圖資訊對應的影像幀起算的該行進動態影像的時間長度。
  11. 如請求項10所述的產生交通事件動態影像的方法，其中該事件適配步驟中，當時間最晚之該影像幀對應的該軌跡地圖資訊未符合該事件類型及該事件路徑資訊時，結束該事件適配步驟。
  12. 如請求項1所述的產生交通事件動態影像的方法，其中該影像生成步驟更包括：在由該虛擬物件與該動態影像片段所合成的動態影像中加入天氣效果，以產生該交通事件動態影像。
TW111149152A 2022-12-21 2022-12-21 產生交通事件動態影像的方法 TWI840037B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111149152A TWI840037B (zh) 2022-12-21 2022-12-21 產生交通事件動態影像的方法
CN202310389385.4A CN118229845A (zh) 2022-12-21 2023-04-13 生成交通事件动态图像的方法
US18/303,569 US20240212224A1 (en) 2022-12-21 2023-04-20 Method for generating traffic event video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111149152A TWI840037B (zh) 2022-12-21 2022-12-21 產生交通事件動態影像的方法

Publications (2)

Publication Number Publication Date
TWI840037B true TWI840037B (zh) 2024-04-21
TW202427412A TW202427412A (zh) 2024-07-01

Family

ID=91503017

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111149152A TWI840037B (zh) 2022-12-21 2022-12-21 產生交通事件動態影像的方法

Country Status (3)

Country Link
US (1) US20240212224A1 (zh)
CN (1) CN118229845A (zh)
TW (1) TWI840037B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200926033A (en) * 2007-07-18 2009-06-16 Steven Kays Adaptive electronic design
TWI668141B (zh) * 2018-11-07 2019-08-11 國家中山科學研究院 Virtual thermal image driving data generation system
US20200033885A1 (en) * 2019-08-20 2020-01-30 Lg Electronics Inc. Method for controlling vehicle in autonomous driving system and apparatus thereof
CN111505965A (zh) * 2020-06-17 2020-08-07 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN115344503A (zh) * 2022-10-18 2022-11-15 深圳市城市交通规划设计研究中心股份有限公司 面向自动驾驶规划控制测试的交通流仿真系统与仿真方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200926033A (en) * 2007-07-18 2009-06-16 Steven Kays Adaptive electronic design
TWI668141B (zh) * 2018-11-07 2019-08-11 國家中山科學研究院 Virtual thermal image driving data generation system
US20200033885A1 (en) * 2019-08-20 2020-01-30 Lg Electronics Inc. Method for controlling vehicle in autonomous driving system and apparatus thereof
CN111505965A (zh) * 2020-06-17 2020-08-07 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN115344503A (zh) * 2022-10-18 2022-11-15 深圳市城市交通规划设计研究中心股份有限公司 面向自动驾驶规划控制测试的交通流仿真系统与仿真方法

Also Published As

Publication number Publication date
US20240212224A1 (en) 2024-06-27
TW202427412A (zh) 2024-07-01
CN118229845A (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
US10417816B2 (en) System and method for digital environment reconstruction
Izquierdo et al. The prevention dataset: a novel benchmark for prediction of vehicles intentions
Patil et al. The h3d dataset for full-surround 3d multi-object detection and tracking in crowded urban scenes
Grassi et al. Parkmaster: An in-vehicle, edge-based video analytics service for detecting open parking spaces in urban environments
Fernández Llorca et al. Vision‐based vehicle speed estimation: A survey
Mandal et al. Object detection and tracking algorithms for vehicle counting: a comparative analysis
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
US20190287254A1 (en) Lidar noise removal using image pixel clusterings
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN110415277A (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN111771207A (zh) 增强的车辆跟踪
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
US20220237919A1 (en) Method, Apparatus, and Computing Device for Lane Recognition
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
Zhou et al. Developing and testing robust autonomy: The university of sydney campus data set
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
Rezaei et al. Traffic-Net: 3D traffic monitoring using a single camera
CN114724131A (zh) 一种车辆追踪方法、装置、电子设备及存储介质
JP2022039188A (ja) 位置姿勢算出方法および位置姿勢算出プログラム
Rizzoli et al. Syndrone-multi-modal uav dataset for urban scenarios
CN110225236A (zh) 为视频监控系统配置参数的方法、装置和视频监控系统
Choe et al. Traffic analysis with low frame rate camera networks
CN118015377A (zh) 一种基于多无人机图像的道路车辆轨迹提取方法
Notz et al. Extraction and assessment of naturalistic human driving trajectories from infrastructure camera and radar sensors