TWI515449B - A continuous image processing method - Google Patents

Description

一種連續影像之處理方法

本發明係有關一種連續影像之處理方法，尤指一種本發明藉由一填補技術，予以回補遺失的該GPS軌跡信號，再藉由處理程式的計算比對處理，而可將該影像檔案與該GPS軌跡信號進行同步化處理，並擷取出影像檔案中的等間距影像，而有助於應用公路影像的收集、比對與記錄等的作業。

全球定位系統(Global Positioning System，GPS)早年除了做為測量、工程、學術研究之用外，受限於GPS體積極大的問題，多半應用於國防軍事單位。但隨著GPS接收晶片體積縮減及價格降低以後，目前已推廣至一般的消費者所使用，其無論是專業領域、個人追蹤、車隊管理、物流派遣、汽車導航、行動電話、數位相機(攝影機)或一般觀光旅遊資料中，皆有使用到GPS的空間，故GPS的相關應用電子產品即如雨後春筍般冒出。

一般的GPS在應用於數位相機時，可將數位相片拍攝地點的經緯度及時間做一記錄，該數位相片更可與電子地圖相結合，而於電子地圖經緯度上顯示與數位相片相關的地點，因而可藉由一行車紀錄器取得該GPS與相片或影像做結合的技術，則可用於公路養護的領域中，以取代傳統以人工對公路照相的不便，及避免習知技術使用定時拍攝公路實景照片影像的缺失。

傳統人工照相係以人員以定距離(例如：50公尺)拍攝相關公路實景照片，再將該些照片整理出相關的紙本資料，再由相關人員對照先前資料或現況資料，來判斷公路那一個區段或那一個地點需要做施工維護，如此便耗費大量人力做照片拍攝及比對的工作，既費時又沒有效率，具有極大的改善空間。

另外，有定時技術可支援街景拍攝的功能，其技術在於設定一預計時間(例如：5秒鐘)定時拍攝照片，當預計時間一到即可拍攝一相關公路實景照片再儲存於記憶裝置內，以供相關人員讀取該記憶裝置內的照片，而判斷公路中那一個區段或那一個地點需做施工維護，惟因定時拍攝常受到行車速度不固定(例如：塞車或等待紅燈)，使得同一地點拍攝數張照片，因此當相關人員播放影像時，即會造成影像播放不順暢的缺失，且上述技術也無法支援比對不同時段同一個區域公路路況的狀態。

基於解決以上所述習知技藝的缺失，本發明為一種連續影像之處理方法，其主要目的為利用一行車紀錄器拍攝公路的實景影像，使該行車紀錄器具有該些實景影像的GPS軌跡信號與影像檔案，但該GPS軌跡信號可能會因天侯、地形或行車紀錄器故障的因素產生信號遺失，而造成GPS訊號以及影像檔案不連續的現象，本發明節由一填補技術，予以回補遺失的該GPS軌跡信號，再藉由處理程式的計算比對處理，而可將該影像資料與該GPS軌跡信號進行同步化處理，並擷取出影像檔案中的等間距影像，而有助於應用公路影像的收集、比對與記錄等的作業。

本發明之另一目的在於提供一資料處理程式模組，用以分別接收行車紀錄器所紀錄的GPS軌跡信號與影像檔案(H.264格式影像資料)，並計算GPS軌跡信號中的等間距座標及時間，再比對GPS軌跡信號與影像檔案，以得知影像檔案中所對應該時間的等間距影像，接著可予以擷取出該等間距影像與座標及時間，並轉成輸出檔案格式，再透過不同程式模組(Google Earth、影像及報表展示)得以檢視不同時間拍攝的影像，而有利後端人員比對管理。

為達上述目的，本發明為一種連續影像之處理方法，其係包括有下列步驟：a.提供一影像檔案與一GPS軌跡信號並給予一處理程式；b.判斷該GPS軌跡信號是否有缺漏，若為是執行步驟c.，若為否執行步驟d.； c.執行該GPS軌跡信號之填補處理；d.執行該影像檔案及該GPS軌跡信號處理，以計算比對擷取出該影像檔案中的等間距影像；e.將已處理過的影像資料以一特定影像格式做處理；f.將該特定影像格式做一壓縮管理展示處理；以及g.結束。

較佳者，該影像檔案與該GPS軌跡信號係由一行動裝置所提供。

較佳者，該影像檔案之儲存時間長度範圍為1分鐘至30分鐘。

較佳者，該步驟f.之該壓縮管理展示處理係將壓縮處理完成之影像檔案可依使用者需求載入特定位置不同時期拍攝的影像。

較佳者，該壓縮管理展示處理可進一步針對影像進行輸出，並在影像上面標示對應的里程椿號。

較佳者，該步驟c.之該填補處理係包括有下列步驟：c1.偵測該GPS軌跡信號是否為一異常信號，若為是執行步驟c2.；若為否執行步驟c3.；c2.刪除該異常信號，並填補一空白資料；c3.判斷一GPS信號時間是否與該影像檔案時間長度相同，若為是執行步驟c5；若為否執行步驟c4；c4.於該空白資料中插入一等間距的一虛擬GPS軌跡信號；c5.於該影像檔案中生成一特定筆數的GPS軌跡信號，以對應該影像檔案的一特定格數之畫格；以及c6.輸出一等間距GPS軌跡信號的影像檔案。

較佳者，該虛擬GPS軌跡信號主要參考行駛車速以及該影像檔案的時間。

較佳者，該步驟c3之GPS信號時間較影片時間長時，則刪除較影像時間長的GPS軌跡信號。

較佳者，該步驟c3之影像時間與GPS記錄時間的長度關係，共有下列四種狀況及相對應之處理模式：狀況1：該影像檔案時間與GPS記錄時間一樣長，則依預設公式進 行計算；狀況2：該影像檔案的起始時間早於GPS記錄時間，則GPS記錄時間往前回補，以未接收到GPS的方式進行處理；狀況3：該影像檔案的結束時間晚於GPS記錄時間，則GPS記錄時間往後回補，以未接收到GPS的方式進行處理；以及狀況4：該影像檔案的起始時間早於GPS記錄時間，且影像的結束時間晚於GPS記錄時間，則GPS記錄時間往前後回補，以未接收到GPS的方式進行處理。

為進一步對本發明有更深入的說明，乃藉由以下圖示、圖號說明及新型詳細說明，冀能對 貴審查委員於審查工作有所助益。

1‧‧‧提供一影像檔案與一GPS軌跡信號並給予一處理程式

2‧‧‧判斷該GPS軌跡信號是否有缺漏

3‧‧‧執行該GPS軌跡信號之填補處理

4‧‧‧判斷該處理程式是否已自動擷取該影像檔案

5‧‧‧判斷該處理程式是否已擷取該GPS軌跡信號

6‧‧‧執行該影像檔案及該GPS軌跡信號處理

7‧‧‧執行該GPS軌跡信號處理

8‧‧‧執行手動影像擷取處理

9‧‧‧將已處理過的影像資料以一特定影像格式做處理

10‧‧‧將該特定影像格式做一壓縮管理展示處理

11‧‧‧結束

31‧‧‧偵測該GPS軌跡信號是否為一異常信號

32‧‧‧刪除該異常信號，並填補一空白資料

33‧‧‧判斷一GPS信號時間是否與該影像檔案時間長度相同

34‧‧‧於該空白資料中插入一等間距的一虛擬GPS軌跡信號

35‧‧‧於該影像檔案中生成一特定筆數的GPS軌跡信號，以對應該影像檔案的一特定格數之畫格

36‧‧‧輸出一等間距GPS軌跡信號的影像檔案

41‧‧‧影像檔案

42‧‧‧GPS軌跡信號

43‧‧‧執行影像檔案及GPS軌跡信號處理

431‧‧‧比對對應時間之影像

432‧‧‧計算等間距座標及時間

433‧‧‧擷取等間距影像

44‧‧‧輸出KMZ檔案

45‧‧‧Google Earth展示

46‧‧‧影像及照片展示

461‧‧‧載入多筆KMZ檔案

462‧‧‧影像資料展示

463‧‧‧影像標示輸出

464‧‧‧影像報表輸出

圖1係為本發明連續影像之處理方法流程圖；圖2係為本發明GPS軌跡信號之填補處理流程圖；圖3係為本發明之連續影像之處理架構圖。

茲配合下列之圖式說明本發明之詳細結構，及其連結關係，以利於 貴審查委員做一瞭解。

請參閱圖1所示，係為本發明連續影像之處理方法流程圖，其係包括有下列步驟：1~提供一影像檔案與一GPS軌跡信號並給予一處理程式；2~判斷該GPS軌跡信號是否有缺漏，若為是執行步驟3，若為否執行步驟4；3~執行該GPS軌跡信號之填補處理；4~判斷該處理程式是否已自動擷取該影像檔案，若為是執行步驟5；若為否執行步驟8；5~判斷該處理程式是否已擷取該GPS軌跡信號，若為是執行步驟6；若為否執行步驟7；6~執行該影像檔案及該GPS軌跡信號處理，以計算比對擷取出該影像檔案中的等間距影像；7~執行該GPS軌跡信號處理，係指資料輸出時僅有等間距的軌跡 資料，並未有其對應相片資料，執行該GPS軌跡信號處理以取得對應相片資料；8~執行手動影像擷取處理，係指於播放影片時，由使用者自行決定要抓那一張相片影像，及該張相片影像對應到的GPS座標資料；9~將已處理過的影像資料以一特定影像格式做處理；10~將該特定影像格式做一壓縮管理展示處理；以及11~結束。

請參閱圖2所示，係為本發明GPS軌跡信號之填補處理流程圖，其係為揭露上述步驟3的詳細處理方法，包括有下列：31~偵測該GPS軌跡信號是否為一異常信號，若為是執行步驟32；若為否執行步驟33；32~刪除該異常信號，並填補一空白資料；33~判斷一GPS信號時間是否與該影像檔案時間長度相同，若為是執行步驟35；若為否執行步驟34。至於若GPS信號時間較影片時間長時，則刪除較影像時間長的GPS軌跡信號；影像時間與GPS記錄時間的長度關係，共有下列四種狀況及相對應之處理模式：

狀況1：影像檔案時間與GPS記錄時間一樣長，則依設定公式進行計算，並執行步驟35。

狀況2：影像檔案的起始時間早於GPS記錄時間，則GPS記錄時間往前回補，以未接收到GPS的方式進行處理。

狀況3：影像檔案的結束時間晚於GPS記錄時間，則GPS記錄時間往後回補，以未接收到GPS的方式進行處理。

狀況4：影像檔案的起始時間早於GPS記錄時間，且影像的結束時間晚於GPS記錄時間，則GPS記錄時間往前後回補，以未接收到GPS的方式進行處理。

34~於該空白資料中插入一等間距的一虛擬GPS軌跡信號，該等間距的範圍為10公尺至100公尺； 35~於該影像檔案中生成一特定筆數的GPS軌跡信號，以對應該影 像檔案的一特定格數之畫格，該特定筆數係為每秒30筆，且該特定格數係指每秒30格，當然該每秒30格只是一個舉例，是為以眼觀視影片的流暢格數，本發明應不以此自限；以及36~輸出一等間距GPS軌跡信號的影像檔案。

請參閱圖3所示，係為本發明連續影像之處理架構圖，其中利用一行動裝置(如：行車紀錄器)，可同時獲得一影像檔案41及一GPS軌跡信號42，該影像檔案41及該GPS軌跡信號42即可進行一執行影像檔案及GPS軌跡信號處理43，該執行影像檔案及GPS軌跡信號處理43包括一比對對應時間之影像431、一計算等間距座標及時間432及一擷取等間距影像433，該執行影像檔案及GPS軌跡信號處理43的處理結果可輸出KMZ檔案44，該輸出KMZ檔案44可直接透過Google Earth展示45或是經由影像及報表展示46輸出呈現，該影像及報表展示46包括有載入多筆KMZ檔案461、影像資料展示462、影像標示輸出463及影像報表輸出464之應用。

上述該影像檔案41與該GPS軌跡信號42係由一行動裝置所提供，該行動裝置泛指一行車紀錄器、一智慧型手機(Smartphone)、一平板電腦(Tablet PC)或一筆記型電腦(Notebook)。

藉由上述架構揭露，本發明主要將行車紀錄器的GPS軌跡信號(巡查路線)與影像檔案(H.264格式影像資料)進行計算、比對、擷取動作，意即為該處理程式係包括有一計算單元、一比對單元及一擷取單元，該計算單元用以計算GPS軌跡信號的等間距座標及時間，再利用該比對單元將影像檔案與GPS軌跡信號的等間距座標及時間進行比對，以比對出該影像檔案中所對應該時間的影像，接著透過該擷取單元予以擷取出所對應時間的等間距影像與座標及時間，以避免習知技術因行車速度不固定造成影像播放不順暢的缺失，再將擷取的等間距影像與計算出的座標及時間一併輸入至轉檔模組而轉成至少一輸出檔案，該轉檔模組係將KML(Keyhole Marup Language)檔案壓縮儲存成KMZ檔案格式，以縮短KML下載的傳輸時間；該輸出檔案可再透過Google Earth展示而可呈現輸出檔案的影像，即可在Google Earth瀏覽路線，也 可點選圖標上的影像資料；另外，輸出檔案也可透過管理展示處理，予以影像標示輸出方式呈現，即可在影像上面標示對應的里程樁號，或以影像報表輸出方式呈現，即以如：Microsoft Office Word報表顯示，而可顯示所擷取的等間距影像與座標及時間，俾有利後端人員比對管理。

本發明利用一行車記錄器進行巡查記錄時，會產生一巡查影像檔案(H.264格式)及一巡查軌跡記錄檔(GPS座標)，但其中影像檔案的部份，會依設定的時間進行分段儲存，可為1分鐘至30分鐘之間，當然該儲存時間為使用者可任意調整，本發明不以此自限。

利用處理程式載入行車記錄器輸出的資料(巡查影像檔案及巡查軌跡記錄檔)，在程式畫面中可列表顯示同一次拍攝的影像資料清單，只需設定輸出的影像間隔(有10公尺、50公尺、100公尺)，處理程式便可自動輸出等間距的影像資料，並壓縮輸出成KMZ檔。

輸出的KMZ檔，可直接使用Google Earth進行瀏覽，除可瀏覽路線外，亦可點選圖標上的影像資料。

輸出的KMZ檔透過管理展示處理，則可載入多筆的KMZ檔，可同時勾選多筆進行比對(目前設定為三筆，可再增加)。在程式的衛星空照圖中，點選畫面中的軌跡資料，即可將所載入不同時期拍攝的影像定位在鄰近的特定位置，方便後端人員進行比對檢視。若有誤差時，可各別對影像進行調整，亦可將所有影像同動顯示，亦可切換該處的谷歌街景影像(Google StreetView)。

管理展示處理還可針對影像進行輸出，並在上面標示對應的里程樁號，或是相關報表。

由於影像檔案與GPS檔案是兩個獨立的檔案，且影像檔案在記錄時，分段之間可能會有秒數遺失的問題，且GPS檔案在信號接收過程中可能會有斷訊之情形，因此如何將兩個檔案進行同步，並回補遺失的影像秒數及GPS信號是最為困難的技術。

本發明藉由一填補技術，即利用數學演算法，可以透過歷史 資料、GPS訊號異常前行駛狀況或是交通路況的推播技術以推估遺失GPS訊號路段的車速，並透過影像的時間標記予以回補內插遺失的GPS信號，再藉由處理程式的計算比對處理，即利用時間軸的觀念，而可將影像檔案與GPS檔案進行同步化處理，並擷取出影像檔案中的等間距影像。如果發現GPS信號時間較影片時間長時，刪除較影像時間長的GPS軌跡信號。再者，本發明藉由該影像檔案的影像格式為H.264，而可透過DirectX技術進行影像擷取，但該影像擷取的原則，係依GPS檔案資料所計算出來的距離，並利用其時間資料，而可找到對應到的影像時間，然後再進行擷取，予以達到連續影像處理效果者。

藉由上述圖1至圖3之揭露，即可瞭解本發明為一種連續影像之處理方法，其主要目的為利用一行車紀錄器拍攝公路的實景影像，使該行車紀錄器具有該些實景影像的GPS軌跡信號與影像檔案，但該GPS軌跡信號可能會因天侯、地形或行車紀錄器故障的因素產生信號遺失，而造成GPS訊號以及影像檔案不連續的現象，本發明藉由一填補技術，予以回補內插遺失的該GPS軌跡信號，再藉由處理程式的計算比對處理，而可將該影像檔案與該GPS軌跡信號進行同步化處理，並擷取出影像檔案中的等間距影像，而有助於應用公路養護之快速比對的作業，再者，提供一資料處理程式模組，用以分別接收行車紀錄器所紀錄的GPS軌跡信號與影像檔案(H.264格式影像資料)，並計算GPS軌跡信號的等間距座標及時間，再比對GPS軌跡信號與影像檔案，以得知影像檔案中所對應該時間的等間距影像，接著可予以擷取出該等間距影像與座標及時間，並轉成輸出檔案格式，再透過不同程式模組(Google Earth、影像及報表展示)得以檢視不同時間拍攝的影像，而有利後端人員比對管理。因此當本案所揭露內容應用於公路養護領域時，俾可取代以傳統人工對公路照相的不便處，而具有快速比對公路路況的效果，具備專利要件新穎和進步性，故提出專利申請，以尋求專利權之保護。

綜上所述，本發明之結構特徵及各實施例皆已詳細揭示，而 可充分顯示出本發明案在目的及功效上均深賦實施之進步性，極具產業之利用價值，且為目前市面上前所未見之運用，依專利法之精神所述，本發明案完全符合新型專利之要件。

唯以上所述者，僅為本發明之較佳實施例而已，當不能以之限定本發明所實施之範圍，即大凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬於本發明專利涵蓋之範圍內，謹請 貴審查委員明鑑，並祈惠准，是所至禱。

1‧‧‧提供一影像檔案與該一GPS軌跡信號並給予一處理程式

2‧‧‧判斷該GPS軌跡信號是否有缺漏

3‧‧‧執行該GPS軌跡信號之填補處理

4‧‧‧判斷該處理程式是否已自動擷取該影像檔案

5‧‧‧判斷該處理程式是否已擷取該GPS軌跡信號

6‧‧‧執行該影像檔案及該GPS軌跡信號處理

7‧‧‧執行該GPS軌跡信號處理

8‧‧‧執行手動影像擷取處理

9‧‧‧將已處理過的影像資料以一特定影像格式做處理

10‧‧‧將該特定影像格式做一壓縮管理展示處理

11‧‧‧結束

Claims (9)

1. 一種連續影像之處理方法，其係包括有下列步驟：a.提供一影像檔案與一GPS軌跡信號並給予一處理程式；b.判斷該GPS軌跡信號是否有缺漏，若為是執行步驟c.，若為否執行步驟d.；c.執行該GPS軌跡信號之填補處理，該填補處理係包括有下列步驟：c1.偵測該GPS軌跡信號是否為一異常信號，若為是執行步驟c2.；若為否執行步驟c3.；c2.刪除該異常信號，並填補一空白資料；c3.判斷一GPS信號時間是否與該影像檔案時間長度相同，若為是執行步c5；若為否執行步驟c4；c4.於該空白資料中插入一等間距的一虛擬GPS軌跡信號；c5.於該影像檔案中生成一特定筆數的GPS軌跡信號，以對應該影像檔案的一特定格數之畫格；以及c6.輸出一等間距GPS軌跡信號的影像檔案；d.執行該影像檔案及該GPS軌跡信號處理，以計算比對擷取出該影像檔案中的等間距影像；e.將已處理過的影像資料以一特定影像格式做處理；f.將該特定影像格式做一壓縮管理展示處理；以及g.結束。
2. 如申請專利範圍第1項所述之連續影像之處理方法，其中該處理程式係包括有一計算單元、一比對單元及一擷取單元，該計算單元用以計算GPS軌跡信號的等間距座標及時間，再利用該比對單元將影像檔案與GPS軌跡信號的等間距座標及時間進行比對，以比對出該影像檔案中所對應該時間的影像，接著透過該擷取單元予以擷取出所對應時間的等間距影像與座標及時間。
3. 如申請專利範圍第1項所述之連續影像之處理方法，其中該影像檔案與該GPS軌跡信號係由一行動裝置所提供。
4. 如申請專利範圍第1項所述之連續影像之處理方法，其中該影像檔案之儲存時間長度範圍為1至30分鐘。
5. 如申請專利範圍第1項所述之連續影像之處理方法，其中該步驟f.之該壓縮管理展示處理係將壓縮處理完成之影像檔案可依使用者需求載入特定位置不同時期拍攝的影像。
6. 如申請專利範圍第5項所述之連續影像之處理方法，其中該壓縮管理展示處理可進一步針對影像進行輸出，並在影像上面標示對應的里程椿號。
7. 如申請專利範圍第1項所述之連續影像之處理方法，其中該虛擬GPS軌跡信號主要參考行駛車速以及該影像檔案的時間。
8. 如申請專利範圍第1項所述之連續影像之處理方法，其中該步驟c3之GPS信號時間較影片時間長時，則刪除較影像時間長的GPS軌跡信號。
9. 如申請專利範圍第1項所述之連續影像之處理方法，其中該步驟c3之影像時間與GPS記錄時間的長度關係，共有下列四種狀況及相對應之處理模式：狀況1：該影像檔案時間與GPS記錄時間一樣長，則依設定公式進行計算；狀況2：該影像檔案的起始時間早於GPS記錄時間，則GPS記錄時間往前回補，以未接收到GPS的方式進行處理；狀況3：該影像檔案的結束時間晚於GPS記錄時間，則GPS記錄時間往後回補，以未接收到GPS的方式進行處理；以及狀況4：該影像檔案的起始時間早於GPS記錄時間，且影像的結束時間晚於GPS記錄時間，則GPS記錄時間往前後回補，以未接收到GPS的方式進行處理。