TWI711977B - 搜尋行車記錄影片的方法及裝置 - Google Patents

搜尋行車記錄影片的方法及裝置 Download PDF

Info

Publication number
TWI711977B
TWI711977B TW108144476A TW108144476A TWI711977B TW I711977 B TWI711977 B TW I711977B TW 108144476 A TW108144476 A TW 108144476A TW 108144476 A TW108144476 A TW 108144476A TW I711977 B TWI711977 B TW I711977B
Authority
TW
Taiwan
Prior art keywords
vehicle
candidate
target
image
frame
Prior art date
Application number
TW108144476A
Other languages
English (en)
Other versions
TW202123065A (zh
Inventor
陳昱全
林炳宏
Original Assignee
中華電信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中華電信股份有限公司 filed Critical 中華電信股份有限公司
Priority to TW108144476A priority Critical patent/TWI711977B/zh
Application granted granted Critical
Publication of TWI711977B publication Critical patent/TWI711977B/zh
Publication of TW202123065A publication Critical patent/TW202123065A/zh

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種搜尋行車記錄影片的方法及裝置，其可用於取代透過人工查找大量影像的作法。藉此，本發明可滿足使用者搜索需求及提高用於佐證影像的準確率、有效縮短人工審核影像內容的時間增進效益。

Description

搜尋行車記錄影片的方法及裝置
本發明是有關於一種影像搜尋技術，且特別是有關於一種搜尋行車記錄影片的方法及裝置。
伴隨家用行車記錄器的普及化，在道路間發生意外時常缺少佐證資料，例如當下交通號誌。而相對於道路監視器，則行車紀錄器影像扮演相當重要的角色，能夠提供連續的影像片段及多個影像視角將大幅提升畫面可用及可信度。此外，由大量行車紀錄器影快速符合使用者搜尋條件並準確裁切影片，用最少的時間成本讓使用者獲取最重要的舉證資料是非常重要的。有鑑於5G行動網路還在萌芽期，其技術應用於車載網路 (Vehicular Ad-Hoc Network)發展階段，加上網路各大論壇徵求行車紀錄器影像的文章時有所聞，始終缺乏帶有完整功能的行車記錄器相關服務平台，提供自動上傳、自動標記、查詢、精準搜索及回饋等功能。
有鑑於此，本發明提供一種搜尋行車記錄影片的方法及裝置，其可用於解決上述技術問題。
本發明提供一種搜尋行車記錄影片的方法，包括：取得關聯於一目標行車記錄影像的一目標時間、一目標地點、至少一目標車輛顏色、至少一目標車輛品牌；取得一影像標籤索引表，其中影像標籤索引表包括多個影像標籤，且前述影像標籤對應於多個車輛影格、多個路牌影格及多個道路物件影格及其個別對應的一真實時間及一地理位置資訊；基於目標時間、目標地點與各影像標籤對應的地理位置資訊從前述影像標籤中找出多個候選標籤，其中前述候選標籤對應於多個候選車輛影格；取得包括多個車輛標籤的一標籤車輛對應表，其中各車輛影格包括至少一車輛，且各車輛標籤對應於各車輛的一品牌機率矩陣及一顏色機率矩陣；基於影像標籤索引表及標籤車輛對應表估計各候選車輛影格與目標行車記錄影像之間的一特定匹配度；基於各候選車輛影格對應的特定匹配度從前述候選標籤中找出至少一最佳標籤；提供關聯於各最佳標籤的一特定行車記錄影片。
本發明提供一種搜尋行車記錄影片的裝置，包括儲存電路及處理器。儲存電路儲存多個模組。處理器耦接儲存電路，並存取前述模組以執行下列步驟：取得關聯於一目標行車記錄影像的一目標時間、一目標地點、至少一目標車輛顏色、至少一目標車輛品牌；取得一影像標籤索引表，其中影像標籤索引表包括多個影像標籤，且前述影像標籤對應於多個車輛影格、多個路牌影格及多個道路物件影格及其個別對應的一真實時間及一地理位置資訊；基於目標時間、目標地點與各影像標籤對應的地理位置資訊從前述影像標籤中找出多個候選標籤，其中前述候選標籤對應於多個候選車輛影格；取得包括多個車輛標籤的一標籤車輛對應表，其中各車輛影格包括至少一車輛，且各車輛標籤對應於各車輛的一品牌機率矩陣及一顏色機率矩陣；基於影像標籤索引表及標籤車輛對應表估計各候選車輛影格與目標行車記錄影像之間的一特定匹配度；基於各候選車輛影格對應的特定匹配度從前述候選標籤中找出至少一最佳標籤；提供關聯於各最佳標籤的一特定行車記錄影片。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
請參照圖1，其是依據本發明之一實施例繪示的行車記錄影片搜尋裝置示意圖。在本實施例中，行車記錄影片搜尋裝置100包括儲存電路102及處理器104。
儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。
處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。
在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的搜尋行車記錄影片方法。
在一實施例中，使用者可利用5G車載網路即時上傳所拍攝到的行車記錄器影片，並可自行選擇自行手動上傳或是自動化介接行車資訊，項目包含影像索引編號、影像儲存位址、上傳時間戳計、上傳用戶名稱、影像開始時間戳計等基本資訊，影像內容也將被上傳至行車記錄影片搜尋裝置100的影片儲存池，但可不限於此。
為便於理解本發明的概念，以下將輔以一第一實施例進行說明，但其並非用以限定本發明可能的實施方式。
在第一實施例中，在取得使用者上傳的行車記錄器影片之後，處理器104例如可將其相關資訊記錄為如下表1所示形式。
影片索引編號 影片儲存位址 上傳時間戳記 上傳用戶名稱 影片開始時間戳記
F2B6A7494B80979D 位址1 2019-08-13T22:23:33 User1 2019-08-13T20:30:10
098A6938CFC2CACC 位址2 2019-08-13T21:55:07 User2 2019-08-13T20:20:00
B4E08C6770D2CB65 位址3 2019-08-13T21:03:32 User3 2019-08-13T20:17:30
4E41A63BE0967482 位址4 2019-08-17T18:10:16 User4 2019-08-17T08:12:16
表1
由上表1可看出，其記錄有4段行車記錄器影片，而其個別具有對應的影片索引編號、影片儲存位址、上傳時間戳記、上傳用戶名稱及影片開始時間戳記等資訊。舉例而言，對於影片索引編號為「F2B6A7494B80979D」的行車記錄器影片而言，其儲存位址、上傳時間、上傳用戶及影片開始時間分別例如是「位址1」、「2019-08-13T22:23:33」、「User1」及「2019-08-13T20:30:10」，但本發明可不限於此。對於其他的行車記錄器影片而言，本領域具通常知識者應可依據以上教示理解相關欄位的涵義，於此不另贅述。
概略而言，本發明的方法可在取得使用所欲搜尋的目標行車記錄影像相關的目標時間、目標地點、目標車輛顏色、目標車輛品牌之後，找出對應的行車記錄器影片供參考。為實現此目的，本發明的方法大致可包括兩個階段：（1）標籤建立階段；（2）搜尋階段。
在一實施例中，為達成提供使用者快速查詢之功效，處理器104可在標籤建立階段中先將使用者上傳的影像/影片資料轉換成結構化資料，相關細節將輔以圖2作說明。
請參照圖2，其是依據本發明之一實施例繪示的建立標籤流程圖。
在步驟S210中，處理器104可取得多個行車記錄器影片。在一實施例中，處理器104可先設定所欲考慮的行車記錄器影片的時間提取門檻，並據以提取相應的行車記錄器影片以作進一步處理。
舉例而言，在第一實施例中，假設所設定的時間提取門檻為「2019年08月13日」，則處理器104可依表1而在步驟S210取得對應於「F2B6A7494B80979D」、「098A6938CFC2CACC」及「B4E08C6770D2CB65」等影片索引編號的行車記錄器影片。為便於說明，以下將「F2B6A7494B80979D」、「098A6938CFC2CACC」及「B4E08C6770D2CB65」等影片索引編號對應的行車記錄器影片分別稱為第一影片、第二影片及第三影片。
在一實施例中，在取得上述行車記錄器影片（即，第一至第三影片）之後，處理器104可先對其進行影像前處理，以利後續查詢及匹配演算法使用。例如，處理器104可採用高斯混合（Gaussian Mixture-base）前景背景分離、濾波遮罩等方式對上述行車記錄器影片進行前處理，而其主要目的為降低每幀影像中的雜訊，增加辨識率及模型辨識速度，但本發明可不限於此。
之後，在步驟S220中，處理器104可對（經前處理後的）前述行車記錄器影片進行車輛辨識操作，以在各行車記錄器影片的前述影格中找出包括至少一車輛的前述車輛影格，其中各車輛影格包括至少一車輛影像區域。
在一實施例中，處理器104可先基於一第一預設時間隔將第一、第二、第三影片分別切分為多個影格。舉例而言，在處理器104基於第一預設時間間隔將第一影片切分為多個影格之後，這些影格兩兩之間的時間間隔即為上述第一預設時間間隔。並且，各影格可具有對應的地理位置資訊（可包括經度及緯度），亦即其被產生時當下的地理位置。
之後，處理器104可對第一、第二、第三影片的各影格執行車輛辨識操作。在一實施例中，處理器104例如可採用經訓練的深度卷積神經網路（例如LeNet、VGG及GoogLeNet等）以對第一、第二、第三影片的各影格執行車輛辨識操作，以找出包括車輛的車輛影格。並且，處理器104還可將各車輛影格中對應於車輛的車輛影像區域協同相關的辨識機率予以記錄。
在第一實施例中，在執行步驟S220之後，相關的辨識結果可如下表2所例示。
影片索引編號 影格位址 車輛影像區域的左上角 車輛影像區域的右下角 辨識機率
F2B6A7494B80979D 12 UL1 LR1 0.99
F2B6A7494B80979D 49 UL2 LR2 0.90
F2B6A7494B80979D 150 UL3 LR3 0.96
098A6938CFC2CACC 84 UL4 LR4 0.97
B4E08C6770D2CB65 126 UL5 LR5 0.92
B4E08C6770D2CB65 216 UL6 LR6 0.72
表2
由上表2可看出，處理器104在第一影片（即，影片索引編號「F2B6A7494B80979D」）中共辨識出3個車輛影格，其個別是第一影片的第12、49及150個影格。並且，在第一影片的第12個影格中的車輛影像區域係分別以UL1及LR1作為左上角位置及右下角位置的長方形區域。亦即，處理器104判定在第一影片的第12個影格中，在上述長方形區域內存在一車輛，且相關的辨識機率（或稱辨識信心值）為0.99。基此，本領域具通常知識者應可理解第一影片的第49及150個影格的相關欄位之涵義，於此不另贅述。
此外，由表2還可看出，處理器104在第二影片中共辨識出1個車輛影格（即第84個影格），並在第三影片中共辨識出2個車輛影格（即，第126及216個影格），而其相關欄位之涵義可參照先前的說明，於此不另贅述。
在步驟S230中，處理器104可對各車輛影格的各車輛影像區域執行車輛品牌辨識操作及車輛顏色辨識操作，以辨識各車輛影像區域中的車輛的品牌及顏色，其中各車輛影格中各車輛的品牌及顏色分別表徵為對應的品牌機率矩陣及顏色機率矩陣。
在第一實施例中，處理器104例如可採用經訓練的一機器學習模型（例如支持向量機（SVM））來對各車輛影像區域執行車輛顏色辨識操作。舉例而言，假設所考慮的顏色依序為黑、白、紅、藍、綠及黃等6種顏色，則在處理器104以上述機器學習模型對一車輛影像區域中的車輛進行辨識時，此機器學習模型可相應產生此車輛的顏色相關的顏色機率向量。
在第一實施例中，處理器104可將屬於同一行車記錄器影片的顏色機率向量匯整為顏色機率矩陣。舉例而言，在處理器104對第一影片中的3個車輛影像區域進行車輛顏色辨識操作之後，可相應地將所述3個車輛影像區域對應的顏色機率向量匯整如下：
Figure 02_image001
在
Figure 02_image003
中，第一行例如是對應於第一影片的第12個影格中的車輛影像區域的顏色機率向量，而由第一行的各個元素可看出，處理器104判定此車輛影像區域中車輛的顏色為黑、白、紅、藍、綠及黃的機率為別為0.15、0.13、0、0.60、0及0.02。另外，在
Figure 02_image003
中，第二行例如是對應於第一影片的第49個影格中的車輛影像區域的顏色機率向量，而由第二行的各個元素可看出，處理器104判定此車輛影像區域中車輛的顏色為黑、白、紅、藍、綠及黃的機率為別為0.56、0.40、0、0.01、0.03及0。此外，在
Figure 02_image003
中，第三行例如是對應於第一影片的第150個影格中的車輛影像區域的顏色機率向量，而由第三行的各個元素可看出，處理器104判定此車輛影像區域中車輛的顏色為黑、白、紅、藍、綠及黃的機率為別為0.27、0.07、0.66、0、0及0。
相似地，在處理器104對第二影片中的1個車輛影像區域進行車輛顏色辨識操作之後，可相應地將所述1個車輛影像區域對應的顏色機率向量匯整如下：
Figure 02_image005
。同理，在處理器104對第三影片中的2個車輛影像區域進行車輛顏色辨識操作之後，可相應地將所述2個車輛影像區域對應的顏色機率向量匯整如下：
Figure 02_image007
。對於本領域具通常知識者而言，應可依據
Figure 02_image003
的相關說明理解
Figure 02_image009
及
Figure 02_image011
中各數值的涵義，於此不另贅述。
此外在第一實施例中，處理器104例如可採用經訓練的另一機器學習模型來對各車輛影像區域執行車輛品牌辨識操作。舉例而言，假設所考慮的品牌依序為品牌1、品牌2、品牌3、品牌4、品牌5及品牌6等6種品牌，則在處理器104以上述機器學習模型對一車輛影像區域中的車輛進行辨識時，此機器學習模型可相應產生此車輛的品牌相關的品牌機率向量。
在第一實施例中，處理器104可將屬於同一行車記錄器影片的品牌機率向量匯整為品牌機率矩陣。舉例而言，在處理器104對第一影片中的3個車輛影像區域進行車輛品牌辨識操作之後，可相應地將所述3個車輛影像區域對應的品牌機率向量匯整如下：
Figure 02_image013
在
Figure 02_image015
中，第一行例如是對應於第一影片的第12個影格中的車輛影像區域的品牌機率向量，而由第一行的各個元素可看出，處理器104判定此車輛影像區域中車輛的品牌為品牌1~6的機率為別為0、0.41、0.16、0.16、0.25及0.03。另外，在
Figure 02_image015
中，第二行例如是對應於第一影片的第49個影格中的車輛影像區域的品牌機率向量，而由第二行的各個元素可看出，處理器104判定此車輛影像區域中車輛的品牌為品牌1~6的機率為別為0.38、0.10、0.17、0.11、0.09及0.15。此外，在
Figure 02_image015
中，第三行例如是對應於第一影片的第150個影格中的車輛影像區域的品牌機率向量，而由第三行的各個元素可看出，處理器104判定此車輛影像區域中車輛的品牌為品牌1~6的機率為別為0.21、0.03、0.19、0.28、0.05及0.24。
相似地，在處理器104對第二影片中的1個車輛影像區域進行車輛品牌辨識操作之後，可相應地將所述1個車輛影像區域對應的品牌機率向量匯整如下：
Figure 02_image017
。同理，在處理器104對第三影片中的2個車輛影像區域進行車輛品牌辨識操作之後，可相應地將所述2個車輛影像區域對應的品牌機率向量匯整如下：
Figure 02_image019
。對於本領域具通常知識者而言，應可依據
Figure 02_image015
的相關說明理解
Figure 02_image021
及
Figure 02_image023
中各數值的涵義，於此不另贅述。
在第一實施例中，在取得各車輛的品牌機率矩陣及顏色機率矩陣之後，在步驟S240中，處理器104可將各車輛影格中各車輛對應的品牌機率矩陣及顏色機率矩陣整合為標籤車輛對應表。在第一實施例中，標籤車輛對應表可如下表3所例示。
標籤索引編號 標籤辨識機率 C 1 C 2 … C 6 B 1 B 2 … B 6
1 0.99 0.15 0.13 … 0.02 0.00 0.41 … 0.03
2 0.90 0.56 0.40 … 0.00 0.38 0.10 … 0.15
3 0.96 0.27 0.07 … 0.00 0.21 0.03 … 0.24
4 0.97 0.20 0.04   0.76 0.09 0.24   0.06
5 0.92 0.43 0.49   0.02 0.43 0.05   0.19
6 0.72 0.18 0.11   0.00 0.10 0.18   0.22
表3 在表3中，所記載的6個標籤索引編號可分別對應於表2所示的6個車輛影格，而各標籤索引編號對應的C 1~ C 6例如是對應的顏色機率矩陣中的元素，且各標籤索引編號對應的B 1~ B 6例如是對應的品牌機率矩陣中的元素。以標籤索引編號1為例，其對應於表2中第一影片的第12個影格，而C 1~ C 6即為
Figure 02_image003
中第一行的6個元素，且B 1~ B 6即為
Figure 02_image015
中第一行的6個元素。再以標籤索引編號4為例，其對應於表2中第二影片的第84個影格，而C 1~ C 6即為
Figure 02_image025
中的6個元素，且B 1~ B 6即為
Figure 02_image021
中的6個元素。基於上述教示，本領域具通常知識者應可相應理解表3中其他欄位的涵義，於此不另贅述。
此外，在第一實施例中，在執行步驟S210以取得行車記錄器影片（即第一、第二、第三影片）之後，處理器104還可執行步驟S250以對前述行車記錄器影片進行路牌辨識操作，以在各行車記錄器影片的前述影格中找出包括路牌的路牌影格，其中各路牌影格包括路牌影像區域。
在一實施例中，處理器104可先基於一第二預設時間隔（其可短於第一預設時間間隔）將第一、第二、第三影片分別切分為多個影格。舉例而言，在處理器104基於第二預設時間間隔將第一影片切分為多個影格之後，這些影格兩兩之間的時間間隔即為上述第二預設時間間隔。並且，各影格可具有對應的地理位置資訊（可包括經度及緯度），亦即其被產生時當下的地理位置。
之後，處理器104可對第一、第二、第三影片的各影格執行路牌辨識操作。在一實施例中，處理器104例如可採用經訓練的深度卷積神經網路（例如LeNet、VGG及GoogLeNet等）以對第一、第二、第三影片的各影格執行路牌辨識操作，以找出包括路牌（例如指示路牌或限速路牌）的路牌影格。並且，處理器104還可將各路牌影格中對應於路牌的路牌影像區域協同相關的辨識機率予以記錄，而記錄的結果可如下表4所例示。
影片索引編號 影格位址 路牌影像區域的左上角 路牌影像區域的右下角 辨識機率 路牌名稱
F2B6A7494B80979D 49 UL7 LR7 0.62 指示路牌
F2B6A7494B80979D 54 UL8 LR8 0.75 指示路牌
098A6938CFC2CACC 223 UL9 LR9 0.95 限速路牌
表4 在第一實施例中，處理器104可僅將辨識機率高於某機率門檻值（例如0.5）的路牌影格予以記錄，並還可將各路牌對應的路牌名稱予以記錄。
由上表4可看出，處理器104在第一影片（即，影片索引編號「F2B6A7494B80979D」）中共辨識出2個路牌影格，其個別是第一影片的第49及54個影格。並且，在第一影片的第49個影格中的車輛影像區域係分別以UL7及LR7作為左上角位置及右下角位置的長方形區域。亦即，處理器104判定在第一影片的第49個影格中，在上述長方形區域內存在一路牌（例如是指示路牌），且相關的辨識機率（或稱辨識信心值）為0.62。基此，本領域具通常知識者應可理解第一影片的第54個影格的相關欄位之涵義，於此不另贅述。
此外，由表4還可看出，處理器104在第二影片中共辨識出1個路牌影格（即第223個影格），而其相關欄位之涵義可參照先前的說明，於此不另贅述。
在第一實施例中，在執行步驟S210以取得行車記錄器影片（即第一、第二、第三影片）之後，處理器104還可執行步驟S260以對前述行車記錄器影片進行道路物件辨識操作，以在各行車記錄器影片的前述影格中找出包括道路物件的道路物件影格，其中各道路物件影格包括道路物件影像區域。
在一實施例中，處理器104可先基於第二預設時間隔將第一、第二、第三影片分別切分為多個影格。之後，處理器104可對第一、第二、第三影片的各影格執行道路物件辨識操作。在一實施例中，處理器104例如可採用經訓練的深度卷積神經網路（例如LeNet、VGG及GoogLeNet等）以對第一、第二、第三影片的各影格執行道路物件辨識操作，以找出包括道路物件（例如紅綠燈或行人紅綠燈）的道路物件影格。並且，處理器104還可將各道路物件影格中對應於道路物件的道路物件影像區域協同相關的辨識機率予以記錄，而記錄的結果可如下表5所例示。
影片索引編號 影格位址 道路物件影像區域的左上角 道路物件影像區域的右下角 辨識機率 道路物件名稱
B4E08C6770D2CB65 156 UL10 LR10 0.59 紅綠燈
表5 在第一實施例中，處理器104可僅將辨識機率高於某機率門檻值（例如0.5）的道路物件影格予以記錄，並還可將各道路物件對應的道路物件名稱予以記錄。
由上表5可看出，處理器104在第三影片（即，影片索引編號「B4E08C6770D2CB65」）中共辨識出1個道路物件影格，其是第三影片的第156個影格。並且，在第一影片的第156個影格中的道路物件影像區域係分別以UL10及LR10作為左上角位置及右下角位置的長方形區域。亦即，處理器104判定在第三影片的第156個影格中，在上述長方形區域內存在一道路物件（例如是紅綠燈），且相關的辨識機率（或稱辨識信心值）為0.59。
在第一實施例中，在執行步驟S220、S250及S260以取得表2、表4及表5之後，處理器104可執行步驟S270以依據各行車記錄器影片的開始時間估計各車輛影格、各路牌影格及各道路物件影格對應的真實時間。
以表2中第一影片的第12個影格為例，假設第一預設時間間隔為10秒，則第一影片的第12個影格對應的時間為第一影片的第110秒（即，(12-1)x10），即第12個影格與第1個影格之間的時間差為110秒（第一影片的第1個影格對應的時間為第一影片的第0秒）。在此情況下，處理器104可將第一影片的開始時間（即表1記錄的2019-08-13T20:30:10）加上110秒以估計第一影片的第12個影格的真實時間，即2019-08-13T20:32:00。同理，其他車輛影格、路牌影格及道路物件影格對應的真實時間可依據同樣原則予以估計。
之後，在步驟S280中，處理器104可將各車輛影格、各路牌影格及各道路物件影格對應的真實時間及地理位置資訊整合為影像標籤索引表。在第一實施例中，經整合而得的影像標籤索引表可如下表6所例示。
影片索引編號 標籤索引編號 影格位址 影像區域左上角 影像區域右下角 緯度 經度 時間戳記 是否為車輛
F2B6A7494B80979D 1 12 UL1 LR1 24.830742 121.003847 2019-08-13T20:32:00 是
F2B6A7494B80979D 2 49 UL2 LR2 24.824929 121.014002 2019-08-13T20:38:10 是
F2B6A7494B80979D 3 150 UL3 LR3 24.805907 121.049203 2019-08-13T20:55:00 是
098A6938CFC2CACC 4 84 UL4 LR4 24.832137 121.011545 2019-08-13T20:34:00 是
B4E08C6770D2CB65 5 126 UL5 LR5 24.824695 121.014522 2019-08-13T20:38:00 是
B4E08C6770D2CB65 6 216 UL6 LR6 24.838166 120.995745 2019-08-13T20:53:00 是
F2B6A7494B80979D 7 49 UL7 LR8 24.824929 121.014002 2019-08-13T20:38:10 否
F2B6A7494B80979D 8 54 UL8 LR8 24.823725, 121.016474 2019-08-13T20:39:00 否
098A6938CFC2CACC 9 223 UL9 LR9 24.809331 120.983167 2019-08-13T20:54:10 否
B4E08C6770D2CB65 10 156 UL10 LR10 24.828134, 121.008650 2019-08-13T20:43:00 否
表6
在取得表6之後，本發明方法的標籤建立階段已可視為大致完成，而其之後的搜尋階段將輔以圖3作詳細說明。
請參照圖3，其是依據本發明之一實施例繪示的搜尋行車記錄影片的方法流程圖。本實施例的方法可由圖1的行車記錄影片搜尋裝置100執行，以下即搭配圖1所示的元件說明圖3各步驟的細節。
首先，在步驟S310中，處理器104可取得關聯於一目標行車記錄影像的目標時間、目標地點、目標車輛顏色、目標車輛品牌。在一實施例中，當使用者欲搜尋某個目標行車記錄影像時，可直接透過行車記錄影片搜尋裝置100所提供的使用者介面將上述目標時間、目標地點、目標車輛顏色、目標車輛品牌進行輸入，藉以讓處理器104可取得上述資訊。舉例而言，假設有一使用者欲搜尋2019年08月13日晚上8點40分前後車禍之行車影像，地點為新竹縣竹北市光明六路新竹市縣縣政府附近，則此使用者可將「2019年08月13日晚上8點40分」作為目標時間，以及將「新竹縣竹北市光明六路新竹市縣縣政府」作為目標地點輸入至上述使用者介面中。在此情況下，處理器104可相應地將上述資訊轉換為對應的格式。例如，處理器104可將上述目標地點（以
Figure 02_image027
表示）及目標時間（以
Figure 02_image029
）分別表徵為：
Figure 02_image031
；
Figure 02_image033
，其中
Figure 02_image035
例如是使用者所輸入地點的GPS位置。
此外，假設使用者認為其所欲找尋車輛的顏色為黑色及白色的機率分別為70%及30%，而所欲找尋車輛的品牌為品牌1，則使用者可將對應於黑色及白色的70%及30%作為目標車輛顏色輸入至上述使用者介面，並將品牌1作為目標車輛品牌輸入至上述使用者介面。在此情況下，處理器104可將相應地將這些資訊轉換為對應的格式。例如，處理器104可將目標車輛顏色（以
Figure 02_image037
表示）及目標車輛品牌（以
Figure 02_image039
表示）分別表徵為：
Figure 02_image041
；
Figure 02_image043
。
之後，在步驟S320中，處理器104可取得影像標籤索引表，其中影像標籤索引表可包括多個影像標籤，且前述影像標籤對應於多個車輛影格、多個路牌影格及多個道路物件影格及其個別對應的真實時間及地理位置資訊。在第一實施例中，處理器104例如可取得如表6所示的影像標籤索引表，其可包括對應於標籤索引編號1~10的10個影像標籤，但可不限於此。
接著，在步驟S330中，處理器104可基於目標時間（
Figure 02_image029
）、目標地點（
Figure 02_image035
）與各影像標籤對應的地理位置資訊從前述影像標籤中找出多個候選標籤，其中前述候選標籤對應於多個候選車輛影格。
在第一實施例中，處理器104可從影像標籤中找出與目標時間相近（例如同一天）的一或多個對應於車輛影格的影像標籤（例如對應於標籤索引編號1~6的6個影像標籤），並估計目標地點與各影像標籤對應的地理位置資訊之間的距離差。例如，處理器104可基於haversine公式計算目標地點與上述6個影像標籤個別的GPS位置之間的距離差，並可表徵如下：
Figure 02_image045
，其中
Figure 02_image047
的第i個元素可代表目標地點上述6個影像標籤的第i個影像標籤的地理位置資訊之間的距離差。之後，處理器104可據以從從前述影像標籤中取得候選標籤，其中各候選標籤對應的距離差小於距離門檻值。在第一實施例中，假設距離門檻值為4，則處理器104可據以將上述6個影像標籤中的第1、2、4、5、6個影像標籤作為候選標籤（因第3個影像標籤對應的距離差大於距離門檻值而被排除），但可不限於此。亦即，基於以上教示，處理器104共可取得5個候選標籤，其分別為上述6個影像標籤中的第1、2、4、5、6個影像標籤。更具體而言，第1、2、3、4、5個候選標籤係個別對應於上述6個影像標籤中的第1、2、4、5、6個影像標籤。
之後，在步驟S340中，處理器104可取得包括多個車輛標籤的標籤車輛對應表，其中各車輛標籤對應於各車輛影格中各車輛的品牌機率矩陣及顏色機率矩陣。例如，處理器104可取得表3的標籤車輛對應表，其包括對應於標籤索引編號1~6的6個車輛標籤，而各車輛標籤對應的品牌機率矩陣及顏色機率矩陣可參照先前實施例中的說明，於此不另贅述。
接著，在步驟S350中，處理器104可基於影像標籤索引表及標籤車輛對應表估計各候選車輛影格與目標行車記錄影像之間的特定匹配度。
在第一實施例中，處理器104可從前述車輛標籤中找出對應於前述候選標籤的多個特定車輛標籤，並取得各特定車輛標籤對應的品牌機率矩陣及顏色機率矩陣。依表3可知，對應於前述候選標籤（即，表6中的第1、2、4、5、6個影像標籤）的多個特定車輛標籤即為表3中的第1、2、4、5、6個車輛標籤。在此情況下，處理器104所取得的對應於各特定車輛標籤的顏色機率矩陣（以
Figure 02_image049
表示）及品牌機率矩陣（以
Figure 02_image051
表示）可分別表徵為：
Figure 02_image053
；
Figure 02_image055
之後，處理器104可依據至目標車輛顏色（
Figure 02_image037
）及各特定車輛標籤對應的顏色機率矩陣（
Figure 02_image049
）估計各候選車輛影格與目標行車記錄影像的顏色匹配度。在一實施例中，各候選車輛影格與目標行車記錄影像的顏色匹配度可表徵為：
Figure 02_image057
，其中
Figure 02_image059
為餘弦相似度運算子，
Figure 02_image061
為轉置運算子，
Figure 02_image063
為範數運算子。在第一實施例中，
Figure 02_image065
可計算為：
Figure 02_image067
。
相似地，處理器104還可依據目標車輛品牌（
Figure 02_image069
）及各特定車輛標籤對應的品牌機率矩陣（
Figure 02_image051
）估計各候選車輛影格與目標行車記錄影像的品牌匹配度。在一實施例中，各候選車輛影格與目標行車記錄影像的顏色匹配度可表徵為：
Figure 02_image071
，而在第一實施例中，
Figure 02_image073
可計算為：
Figure 02_image075
。
接著，處理器104可依據目標地點（
Figure 02_image035
）與各候選標籤對應的地理位置資訊估計各候選車輛影格與目標行車記錄影像的地點匹配度。在一實施例中，各候選車輛影格與目標行車記錄影像的地點匹配度可表徵為：
Figure 02_image077
，而在第一實施例中，
Figure 02_image079
可計算為：
Figure 02_image081
。
並且，處理器104還可依據目標時間（
Figure 02_image029
）與各候選標籤對應的真實時間估計各候選車輛影格與目標行車記錄影像的時間匹配度。在一實施例中，處理器104可估計目標時間與各候選標籤對應的真實時間之間的時間差，並據以計算各候選車輛影格與目標行車記錄影像的時間匹配度。在一實施例中，目標時間與各候選標籤對應的真實時間之間的時間差可表徵為
Figure 02_image083
，且各候選車輛影格與目標行車記錄影像的時間匹配度可表徵為：
Figure 02_image085
在第一實施例中，
Figure 02_image087
可計算為：
Figure 02_image089
，其中
Figure 02_image083
的第i個元素可代表目標時間（即，「
Figure 02_image091
」）與第i個候選標籤之間的分鐘差。以第1個候選標籤（即表6中的標籤索引編號1）為例，其真實時間為「2019-08-13T20:32:00」，而其與目標時間之間的分鐘差為8分鐘，故
Figure 02_image083
的第1個元素為8。再以第3個候選標籤（即表6中的標籤索引編號4）為例，其真實時間為「2019-08-13T20:34:00」，而其與目標時間之間的分鐘差為6分鐘，故
Figure 02_image083
的第3個元素為6。基於以上教示，本領域具通常知識者應可理解
Figure 02_image083
中其他元素的涵義，於此不另贅述。
之後，處理器104可基於各候選車輛影格的顏色匹配度、品牌匹配度、地點匹配度及時間匹配度估計各候選車輛影格的特定匹配度。在一實施例中，各候選車輛影格的特定匹配度可表徵為
Figure 02_image093
，其中
Figure 02_image095
。
基此，在第一實施例中，
Figure 02_image093
可計算為：
Figure 02_image097
。
在取得各候選車輛影格對應的特定匹配度（
Figure 02_image093
）之後，在步驟S360中，處理器104可基於各候選車輛影格對應的特定匹配度從前述候選標籤中找出最佳標籤，並在步驟S370中提供關聯於各最佳標籤的特定行車記錄影片。
在一實施例中，處理器104可將具較高特定匹配度的一或多個候選車輛影格對應的候選標籤作為上述最佳標籤。舉例而言，在第一實施例中，由於第2個候選標籤（對應於表6的標籤索引編號2）及第4個候選標籤（對應於表6的標籤索引編號5）對應於較高的特定匹配度（即，3.129及3.137），故處理器104可將其視為最佳標籤，並將相關的第一影片及第三影片作為上述特定行車記錄影片提供予使用者參考。
然而，由於以上作法所取得的特定行車記錄影片可能較不精確，且佐證可用性亦較低，故本發明另針對第一實施例提供以下第二實施例記載的變化實施方式，以期提供具更高精確性及佐證可用性的特定行車記錄影片予使用者參考。
具體而言，在第二實施例中，在基於各候選車輛影格對應的特定匹配度從前述候選標籤中找出至少一最佳標籤的步驟S360之前，處理器104可更基於前述路牌影格及前述道路物件影格修正各候選車輛影格對應的特定匹配度。
在一實施例中，假設前述候選車輛影格包括屬於第一行車記錄器影片的至少一第一候選車輛影格，則處理器104可從前述路牌影格及前述道路物件影格中找出屬於第一行車記錄器影片的多個輔助物件影格，其中各輔助物件影格對應的真實時間與目標時間之間的一時間差小於一時間門檻值（例如10分鐘）。
舉例而言，假設同屬於第一影片的第1、2個候選車輛影格（其對應於表6中的標籤索引編號1、2）為所考慮的第一候選車輛影格，則處理器104可從表6的路牌影格（例如標籤索引編號7、8、9）及道路物件影格（例如標籤索引編號10）中找出屬於第一影片的多個輔助物件影格，且各輔助物件影格對應的真實時間與目標時間之間的一時間差小於一時間門檻值。在此情況下，所找出的輔助物件影格例如是對應於表6中的標籤索引編號7、8的路牌影格。之後，處理器104可取得前述輔助物件影格的一平均辨識機率。
舉另一例而言，假設屬於第二影片的第3個候選車輛影格（其對應於表6中的標籤索引編號4）為所考慮的第一候選車輛影格，則處理器104可從表6的路牌影格（例如標籤索引編號7、8、9）及道路物件影格（例如標籤索引編號10）中找出屬於第二影片的多個輔助物件影格，且各輔助物件影格對應的真實時間與目標時間之間的一時間差小於一時間門檻值。在此情況下，處理器104未能找出符合條件的輔助物件影格。
舉再一例而言，假設同屬於第三影片的第4、5個候選車輛影格（其對應於表6中的標籤索引編號5、6）為所考慮的第一候選車輛影格，則處理器104可從表6的路牌影格（例如標籤索引編號7、8、9）及道路物件影格（例如標籤索引編號10）中找出屬於第三影片的多個輔助物件影格，且各輔助物件影格對應的真實時間與目標時間之間的一時間差小於一時間門檻值。在此情況下，所找出的輔助物件影格例如是對應於表6中的標籤索引編號10的道路物件影格。之後，處理器104可取得前述輔助物件影格的一平均辨識機率。
在第二實施例中，屬於第一影片及第二影片的輔助影格及其對應的平均辨識機率可例示如下表7。
影片索引編號 標籤索引編號 標籤個數 平均辨識機率
F2B6A7494B80979D 7, 8 2 (0.62+0.75)/2=0.685
B4E08C6770D2CB65 10 1 0.59
表7
之後，處理器104可依據表7修正一特定候選車輛影格對應的特定匹配度，其中特定候選車輛影格為至少一第一候選車輛影格中具最高特定匹配度的一者。
舉例而言，假設同屬於第一影片的第1、2個候選車輛影格（其對應於表6中的標籤索引編號1、2）為所考慮的第一候選車輛影格，則第2個候選車輛影格將因具有較高的特定匹配度（即，3.129）而被定義為對應於第一影片的特定候選車輛影格。在此情況下，處理器104可將對應於第一影片的平均辨識機率（即0.685）加上特定候選車輛影格的特定匹配度（即，3.129）以產生修正後的特定候選車輛影格的特定匹配度（即，0.685+3.129=3.814）。
此外，由於未有對應於第二影片的輔助物件影格，故屬於第二影片的第3個候選車輛影格（其對應於表6中的標籤索引編號4）的特定匹配度未得到任何修正。
舉另一例而言，假設同屬於第三影片的第4、5個候選車輛影格（其對應於表6中的標籤索引編號5、6）為所考慮的第一候選車輛影格，則第4個候選車輛影格將因具有較高的特定匹配度（即，3.137）而被定義為對應於第三影片的特定候選車輛影格。在此情況下，處理器104可將對應於第三影片的平均辨識機率（即0.59）加上特定候選車輛影格的特定匹配度（即，3.137）以產生修正後的特定候選車輛影格的特定匹配度（即，0.59+3.137=3.727）。
在第二實施例中，上述修正的機制可如下表8所例示。
影片索引編號 標籤索引編號 特定候選車輛影格的特定匹配度 平均辨識機率 修正後的特定匹配度
F2B6A7494B80979D 1,2 max(1.328, 3.129)=3.129 0.685 0.685+3.129=3.814
098A6938CFC2CACC 4 1.69 0 1.69
B4E08C6770D2CB65 5,6 max(3.137,0.729)= 3.137 0.59 0.59+3.137=3.727
表8
之後，在依據步驟S360的教示決定最佳標籤之後，處理器104可依據表8執行步驟S370以提供關聯於各最佳標籤的特定行車記錄影片。
為便於說明，在第二實施例中將假設處理器104判定最佳標籤為第2個候選標籤（對應於表6的標籤索引編號2）、第4個候選標籤（對應於表6的標籤索引編號5）及第5個候選標籤（對應於表6的標籤索引編號6），但本發明可不限於此。
在第二實施例中，若特定候選車輛影格對應於最佳標籤中的一第一最佳標籤，則處理器104可從第一行車記錄器影片中擷取第一片段作為關聯於第一最佳標籤的特定行車記錄影片，其中第一片段包括特定候選車輛影格及對應的前述輔助物件影格。具體而言，處理器104可從特定候選車輛影格及對應的前述輔助物件影格的時間戳記中取出最早的一者，並將其提前一段緩衝時間作為第一片段的片段開始時間。並且，處理器104可從特定候選車輛影格及對應的前述輔助物件影格的時間戳記中取出最晚的一者，並將其延後一段緩衝時間作為第一片段的片段結束時間。亦即，處理器104可從第一影片中取出介於上述片段開始時間及片段結束時間之間的片段作為第一片段，但本發明可不限於此。
以第一影片為例，由於其對應的特定候選車輛影格（即第2個候選車輛影格）對應於第2個候選標籤，故處理器104可從第一影片中擷取一片段作為關聯於第2個候選標籤的特定行車記錄影片，且此片段可包括第2個候選車輛影格及對應的輔助物件影格（即標籤索引編號7、8）。
以第二影片為例，由於其對應的特定候選車輛影格（即對應於表6的影像標籤索引4的第3個候選車輛影格）對應於第3個候選標籤，故處理器104可從第二影片中擷取一片段作為關聯於第3個候選標籤的特定行車記錄影片，且此片段可包括第3個候選車輛影格（其未整對應的輔助物件影格）。
以第三影片為例，由於其對應的特定候選車輛影格（即對應於表6的影像標籤索引5的第4個候選車輛影格）對應於第4個候選標籤，故處理器104可從第三影片中擷取一片段作為關聯於第4個候選標籤的特定行車記錄影片，且此片段可包括第4個候選車輛影格及對應的輔助物件影格（即標籤索引編號10）。
基於以上教示，第二實施例中第一、第二、第三影片所對應的特定行車記錄影片可例示如下表9。
影片索引編號 標籤索引編號 標籤時間戳記 最早輔助物件時間戳記 片段開始時間 片段結束時間
F2B6A7494B80979D 2 2019-08-13T20:38:10 2019-08-13T20:38:10 2019-08-13T20:38:00 2019-08-13T20:38:20
098A6938CFC2CACC 4 2019-08-13T20:34:00 無 2019-08-13T20:33:50 2019-08-13T20:34:10
B4E08C6770D2CB65 5 2019-08-13T20:38:00 2019-08-13T20:38:00 2019-08-13T20:37:50 2019-08-13T20:38:10
表9
之後，處理器104可依第一、第二、第三影片個別的修正後的特定候選車輛影格的特定匹配度將第一、第二、第三影片對應的特定行車記錄器影片進行降冪排序。排序後的結果為第一、第三及第二影片。
並且，處理器104可在第一、第二、第三影片個別的特定行車記錄器影片中以紅色框標示物件範圍，並輔以文字說明，以及顯示於前端的使用者介面供使用者參考。
以第二影片對應的特定行車記錄器影片為例，處理器104可基於影像標籤索引4而標示範圍介於UL4至LR4之間的紅色框，並標記此紅色框內的物件為屬於品牌5的黃色車輛，辨識機率達97%。同樣地，處理器104亦可標示輔助物件以供使用者參考。例如，在第一影片對應的特定行車記錄器影片中可標記有兩個指示路牌，而其個別的範圍為介於UL7至LR7以及介於UL8至LR8之間。
之後，使用者可從上述特定行車記錄器影片中選擇精準度較高且符合搜尋意圖的片段（例如對應於第一影片的特定行車記錄器影片），並透過介接將此片段、GPS位置帶入舉報系統或是自行下載使用於其他法律途徑平台，或是對第一、第二及第三影片補充標籤回饋至影像標籤索引表，但本發明可不限於此。
綜上所述，本發明提供的方法可改善先前技術中缺乏一套用於行車道路領域系統的完整搜索影像方法的缺陷，並可取代透過人工查找大量影像方式抑或是單一管道協尋影像記錄，從而滿足使用者搜索需求及提高用於佐證影像的準確率、有效縮短人工審核影像內容的時間增進效益。
此外，本發明的另一目的為降低偽造疑慮提升佐證可用性，改善因地理資訊(如GPS)及時間容易偽造造成影像價值降低之缺點，除了辨識大量車體物件，強化辨識其他道路物件例如當下之號誌狀況、路牌，並計算利於佐證影像片段之優先次序，使用者不僅可獲取符合意圖之影像內容，也能夠額外取得前後段時間軸影像中利於佐證用途物件，充分萃取影像價值及提升舉證可用性。
由上可知，本發明的方法及裝置至少具有以下特點：（1）運用5G車載網路 (Vehicular Ad-Hoc Network) 能夠達到車輛對路邊設備無線通訊技術之特色，自動上傳行車紀錄器畫面至影像儲存池 (Video Storage Pool)，以可用性角度、清晰度為核心特點，快速提供相關佐證之行車紀錄器畫面；（2）利用物體偵測技術 (Object Detection)，將路牌及道路常規物件納入辨識範圍，結合市面上常見之相關車輛辨識技術 (Vehicle Recognition)，提供更多標籤的可能性，有效節省人工序列屬性之查詢時間；（3）改善先前車輛辨識技術對於提供相關佐證資料不足之缺陷，在假造GPS以及道路號誌狀況之議題上，利用提供連續關鍵影格 (Frame) 和辨識用的三種模型：車輛辨識、路牌辨識、道路常規物件辨識，增加佐證之可信度及可用度；（4）運用影像回饋機制，修正模型辨識能力，提升後續查詢匹配演算法之精準度。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:行車記錄影片搜尋裝置
102:儲存電路
104:處理器
S210~S280、S310~S370:步驟
圖1是依據本發明之一實施例繪示的行車記錄影片搜尋裝置示意圖。 圖2是依據本發明之一實施例繪示的建立標籤流程圖。 圖3是依據本發明之一實施例繪示的搜尋行車記錄影片的方法流程圖。
S310~S370:步驟

Claims (14)

  1. 一種搜尋行車記錄影片的方法，包括：取得關聯於一目標行車記錄影像的一目標時間、一目標地點、至少一目標車輛顏色、至少一目標車輛品牌；取得一影像標籤索引表，其中該影像標籤索引表包括多個影像標籤，且該些影像標籤對應於多個車輛影格、多個路牌影格及多個道路物件影格及其個別對應的一真實時間及一地理位置資訊；基於該目標時間、該目標地點與各該影像標籤對應的該地理位置資訊從該些影像標籤中找出多個候選標籤，其中該些候選標籤對應於多個候選車輛影格；取得包括多個車輛標籤的一標籤車輛對應表，其中各該車輛影格包括至少一車輛，且各該車輛標籤對應於各該車輛的一品牌機率矩陣及一顏色機率矩陣；基於該影像標籤索引表及該標籤車輛對應表估計各該候選車輛影格與該目標行車記錄影像之間的一特定匹配度；基於該些路牌影格及該些道路物件影格修正各該候選車輛影格對應的該特定匹配度；基於各該候選車輛影格對應的該特定匹配度從該些候選標籤中找出至少一最佳標籤；提供關聯於各該最佳標籤的一特定行車記錄影片。
  2. 如申請專利範圍第1項所述的方法，其中基於該影像標籤索引表及該標籤車輛對應表估計各該候選車輛影格與該目標行車記錄影像之間的該特定匹配度的步驟包括：從該些車輛標籤中找出對應於該些候選標籤的多個特定車輛標籤，並取得各該特定車輛標籤對應的該品牌機率矩陣及該顏色機率矩陣；依據該至少一目標車輛顏色及各該特定車輛標籤對應的該顏色機率矩陣估計各該候選車輛影格與該目標行車記錄影像的一顏色匹配度；依據該至少一目標車輛品牌及各該特定車輛標籤對應的該品牌機率矩陣估計各該候選車輛影格與該目標行車記錄影像的一品牌匹配度；依據該目標地點與各該候選標籤對應的該地理位置資訊估計各該候選車輛影格與該目標行車記錄影像的一地點匹配度；依據該目標時間與各該候選標籤對應的該真實時間估計各該候選車輛影格與該目標行車記錄影像的一時間匹配度；基於各該候選車輛影格的該顏色匹配度、該品牌匹配度、該地點匹配度及該時間匹配度估計各該候選車輛影格的該特定匹配度。
  3. 如申請專利範圍第2項所述的方法，其中各該特定車輛標籤對應的該顏色機率矩陣表徵為M C,labels' ，該至少一目標車輛顏 色表徵為Query C,user，且各該候選車輛影格與該目標行車記錄影像的該顏色匹配度表徵為：
    Figure 108144476-A0305-02-0038-1
     其中cosine_similarity(．)為餘弦相似度運算子，(．) T 為轉置運算子，norm(．)為範數運算子。
  4. 如申請專利範圍第2項所述的方法，其中各該特定車輛標籤對應的該品牌機率矩陣表徵為M B,labels' ，該至少一目標車輛品牌表徵為Query B,user ，且各該候選車輛影格與該目標行車記錄影像的該品牌匹配度表徵為：
    Figure 108144476-A0305-02-0038-2
     其中cosine_similarity(．)為餘弦相似度運算子，(．) T 為轉置運算子，norm(．)為範數運算子。
  5. 如申請專利範圍第2項所述的方法，其中基於該目標地點與各該影像標籤對應的該地理位置資訊從該些影像標籤中找出該些候選標籤的步驟包括：估計該目標地點與各該影像標籤對應的該地理位置資訊之間的一距離差；從該些影像標籤中取得該些候選標籤，其中各該候選標籤對應的該距離差小於一距離門檻值。
  6. 如申請專利範圍第5項所述的方法，其中各該候選標籤對應的該距離差表徵為GPS_diff labels' ，且各該候選車輛影格與該目標行車記錄影像的該地點匹配度表徵為： S GPS =1-norm(GPS_diff labels' )其中norm(．)為範數運算子。
  7. 如申請專利範圍第2項所述的方法，其中依據該目標時間與各該候選標籤對應的該真實時間估計各該候選車輛影格與該目標行車記錄影像的該時間匹配度的步驟包括：估計該目標時間與各該候選標籤對應的該真實時間之間的一時間差，並據以計算各該候選車輛影格與該目標行車記錄影像的該時間匹配度。
  8. 如申請專利範圍第7項所述的方法，其中該目標時間與各該候選標籤對應的該真實時間之間的該時間差表徵為Time_diff labels' ，且各該候選車輛影格與該目標行車記錄影像的該時間匹配度表徵為：S T =1-norm(Time_diff labels' )其中norm(．)為範數運算子。
  9. 如申請專利範圍第2項所述的方法，其中各該候選車輛影格與該目標行車記錄影像的該顏色匹配度表徵為S C ，各該候選車輛影格與該目標行車記錄影像的該品牌匹配度表徵為S B ，各該候選車輛影格與該目標行車記錄影像的該地點匹配度表徵為S GPS ，各該候選車輛影格與該目標行車記錄影像的該時間匹配度表徵為S T ，且各該候選車輛影格的該特定匹配度表徵為S，其中S=S B +S C +S GPS +S T 。
  10. 如申請專利範圍第1項所述的方法，其中在取得關聯於該目標行車記錄影像的該目標時間、該目標地點、該至少一目標車輛顏色、該至少一目標車輛品牌的步驟之前，所述方法更包括：取得多個行車記錄器影片，其中各該行車記錄器影片包括多個影格，且各影格具有對應的地理位置資訊；對該些行車記錄器影片進行一車輛辨識操作，以在各該行車記錄器影片的該些影格中找出包括至少一車輛的該些車輛影格，其中各該車輛影格包括至少一車輛影像區域；對各該車輛影格的各該車輛影像區域執行一車輛品牌辨識操作及一車輛顏色辨識操作，以辨識各該車輛影像區域中的該車輛的品牌及顏色，其中各該車輛影格中各該車輛的品牌及顏色分別表徵為對應的該品牌機率矩陣及該顏色機率矩陣；將各該車輛影格中各該車輛對應的該品牌機率矩陣及該顏色機率矩陣整合為該標籤車輛對應表。
  11. 如申請專利範圍第3項所述的方法，更包括：對該些行車記錄器影片進行一路牌辨識操作，以在各該行車記錄器影片的該些影格中找出包括至少一路牌的至少一路牌影格，其中各該路牌影格包括至少一路牌影像區域；對該些行車記錄器影片進行一道路物件辨識操作，以在各該行車記錄器影片的該些影格中找出包括至少一道路物件的至少一道路物件影格，其中各該道路物件影格包括至少一道路物件影像區域； 依據各該行車記錄器影片的一開始時間估計各該車輛影格、各該路牌影格及各該道路物件影格對應的該真實時間；將各該車輛影格、各該路牌影格及各該道路物件影格對應的該真實時間及該地理位置資訊整合為該影像標籤索引表。
  12. 如申請專利範圍第1項所述的方法，其中該些候選車輛影格包括屬於一第一行車記錄器影片的至少一第一候選車輛影格，該些路牌影格及該些道路物件影格個別具有一辨識機率，且基於該些路牌影格及該些道路物件影格修正各該候選車輛影格對應的該特定匹配度的步驟包括：從該些路牌影格及該些道路物件影格中找出屬於該第一行車記錄器影片的多個輔助物件影格，其中各該輔助物件影格對應的該真實時間與該目標時間之間的一時間差小於一時間門檻值；取得該些輔助物件影格的一平均辨識機率，並據以修正一特定候選車輛影格對應的該特定匹配度，其中該特定候選車輛影格為該至少一第一候選車輛影格中具最高特定匹配度的一者。
  13. 如申請專利範圍第12項所述的方法，其中反應於判定該特定候選車輛影格對應於該最佳標籤中的一第一最佳標籤，提供關聯於各該最佳標籤的該特定行車記錄影片的步驟包括：從該第一行車記錄器影片中擷取一第一片段作為關聯於該第一最佳標籤的該特定行車記錄影片，其中該第一片段包括該特定候選車輛影格及該些輔助物件影格。
  14. 一種搜尋行車記錄影片的裝置，包括： 一儲存電路，其儲存多個模組；一處理器，其耦接該儲存電路，並存取該些模組以執行下列步驟：取得關聯於一目標行車記錄影像的一目標時間、一目標地點、至少一目標車輛顏色、至少一目標車輛品牌；取得一影像標籤索引表，其中該影像標籤索引表包括多個影像標籤，且該些影像標籤對應於多個車輛影格、多個路牌影格及多個道路物件影格及其個別對應的一真實時間及一地理位置資訊；基於該目標時間、該目標地點與各該影像標籤對應的該地理位置資訊從該些影像標籤中找出多個候選標籤，其中該些候選標籤對應於多個候選車輛影格；取得包括多個車輛標籤的一標籤車輛對應表，其中各該車輛影格包括至少一車輛，且各該車輛標籤對應於各該車輛的一品牌機率矩陣及一顏色機率矩陣；基於該影像標籤索引表及該標籤車輛對應表估計各該候選車輛影格與該目標行車記錄影像之間的一特定匹配度；基於該些路牌影格及該些道路物件影格修正各該候選車輛影格對應的該特定匹配度；基於各該候選車輛影格對應的該特定匹配度從該些候選標籤中找出至少一最佳標籤；提供關聯於各該最佳標籤的一特定行車記錄影片。
TW108144476A 2019-12-05 2019-12-05 搜尋行車記錄影片的方法及裝置 TWI711977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108144476A TWI711977B (zh) 2019-12-05 2019-12-05 搜尋行車記錄影片的方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108144476A TWI711977B (zh) 2019-12-05 2019-12-05 搜尋行車記錄影片的方法及裝置

Publications (2)

Publication Number Publication Date
TWI711977B true TWI711977B (zh) 2020-12-01
TW202123065A TW202123065A (zh) 2021-06-16

Family

ID=74669840

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144476A TWI711977B (zh) 2019-12-05 2019-12-05 搜尋行車記錄影片的方法及裝置

Country Status (1)

Country Link
TW (1) TWI711977B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201242368A (en) * 2011-04-13 2012-10-16 Chunghwa Telecom Co Ltd Object track tracing system of intellegent image monitoring system
US20160047666A1 (en) * 2014-08-15 2016-02-18 Gil Emanuel Fuchs Determination and Display of Driving Risk
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
CN107292291A (zh) * 2017-07-19 2017-10-24 北京智芯原动科技有限公司 一种车辆识别方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201242368A (en) * 2011-04-13 2012-10-16 Chunghwa Telecom Co Ltd Object track tracing system of intellegent image monitoring system
US20160047666A1 (en) * 2014-08-15 2016-02-18 Gil Emanuel Fuchs Determination and Display of Driving Risk
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
CN107292291A (zh) * 2017-07-19 2017-10-24 北京智芯原动科技有限公司 一种车辆识别方法和系统

Also Published As

Publication number Publication date
TW202123065A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
WO2022027873A1 (zh) 基于多模态信息融合的车辆再识别方法及装置
US10289940B2 (en) Method and apparatus for providing classification of quality characteristics of images
WO2022121766A1 (zh) 一种可行驶区域的检测方法及装置
Morishita et al. SakuraSensor: Quasi-realtime cherry-lined roads detection through participatory video sensing by cars
US9100630B2 (en) Object detection metadata
US9870511B2 (en) Method and apparatus for providing image classification based on opacity
CN104331509A (zh) 照片管理方法及装置
EP2676209A1 (en) Automatic event recognition and cross-user photo clustering
WO2019218459A1 (zh) 一种照片存储方法、存储介质、服务器和装置
US20140198982A1 (en) System and method for recognizing offensive images
Ji et al. Integrating visual selective attention model with HOG features for traffic light detection and recognition
Razalli et al. Emergency vehicle recognition and classification method using HSV color segmentation
US20150227817A1 (en) Category Histogram Image Representation
CN111767878A (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN105513080B (zh) 一种红外图像目标显著性评估方法
US20140112545A1 (en) Information processing apparatus and information processing method
CN114003672B (zh) 一种道路动态事件的处理方法、装置、设备和介质
WO2019034151A1 (zh) 图片管理方法、装置、电子设备及可读存储介质
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
WO2023179031A1 (zh) 一种图像处理方法、装置、电子设备、存储介质及计算机程序产品
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品
TWI711977B (zh) 搜尋行車記錄影片的方法及裝置