TWI668141B - Virtual thermal image driving data generation system - Google Patents
Virtual thermal image driving data generation system Download PDFInfo
- Publication number
- TWI668141B TWI668141B TW107139779A TW107139779A TWI668141B TW I668141 B TWI668141 B TW I668141B TW 107139779 A TW107139779 A TW 107139779A TW 107139779 A TW107139779 A TW 107139779A TW I668141 B TWI668141 B TW I668141B
- Authority
- TW
- Taiwan
- Prior art keywords
- thermal image
- data
- vehicle
- road
- image data
- Prior art date
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本發明提供一種虛擬熱影像行車資料產生系統，整合一熱影像擷取單元、一資料儲存單元及一綜合處理單元以合成一虛擬熱影像行車資料，藉由有限的車輛資料虛擬各種場景的道路行車訓練資料，可有效提升人工智慧之深度學習對於各種特殊狀況之決策正確性。
Description
本發明係關於一種虛擬熱影像產生系統，特別是一種關於行車資料之虛擬熱影像產生系統。
習知目前車輛自動駕駛系統(自駕系統)在行車決策行為上，許多機制皆仰賴深度學習之人工智慧，因此目前許多行車決策判斷，不乏使用YOLO Net,Seg Net,R-CNN Net...等等各式各樣之類神經網絡，而隨著深度學習之成熟，自駕系統在歐美國家已經做過許多實地之測試，不管是路寬偵測亦或是車輛偵測，目前已在許多歐美的自駕車上皆獲得相當好的成果，為提升自動駕駛的深度學習效率及準確性，如何在有限運算資源的行車電腦上完美運行深度學習，將會是未來自駕系統在實作上會遭遇之問題。
人工智慧的深度學習固然有很強的自我學習及判斷能力，然而若無訓練資料作為學習樣品，深度學習之網絡亦將是巧婦難為無米之炊，因此目前當歐美之車輛自動駕駛系統移至東南亞或是大陸等交通環境複雜且氣候環境不同
之地區，其決策系統便無法正確預測系統設定之行車情境，而歸咎其主要原因，便是關鍵訓練資料之不足；亞洲氣候多變，且汽機車混雜，過去歐美車輛自動駕駛系統之學習上，並無法取得這些訓練資料，因此便無法對亞洲的行車環境做出正確的決策與應變，並且由於這些交通複雜的國家，要取得對應訓練資料亦相對不易，因此車輛自動駕駛系統在交通複雜之國家的推廣與成長，也因為訓練資料難以取得使得深度學習訓練非常難以突破。
因此目前業界極需發展出一種可產生虛擬行車資料之產生系統，藉由有限的車輛資料虛擬各種場景的道路行車訓練資料，可有效提升人工智慧之深度學習對於各種特殊狀況之決策正確性。
鑒於上述習知技術之缺點，本發明之主要目的在於提供一種虛擬熱影像行車資料產生系統，整合一熱影像擷取單元、一資料儲存單元及一綜合處理單元以合成一虛擬熱影像行車資料，藉由有限的車輛資料虛擬各種場景的道路行車訓練資料，可有效提升人工智慧之深度學習對於各種特殊狀況之決策正確性。
為了達到上述目的，根據本發明所提出之一方案，提供一種虛擬熱影像行車資料產生系統，包含：一熱影
像擷取單元，係用於擷取車輛複數角度之熱影像資料，並取得一車輛熱影像資料，錄製道路之熱影像資料，並取得一道路熱影像資料；一資料儲存單元，係用於儲存該車輛熱影像資料與該道路熱影像資料；一綜合處理單元，該綜合處理單元讀取該車輛熱影像資料以建立一車輛模組，該綜合處理單元讀取該道路熱影像資料將該車輛模組與該道路熱影像資料合成一虛擬熱影像行車資料。
本發明之虛擬熱影像行車資料產生系統，其中，更包含一環境偵測單元，該環境偵測單元偵測擷取車輛熱影像資料時之環境並取得一車輛環境資料，該環境偵測單元偵測錄製道路熱影像資料時之環境並取得一道路環境資料。
本發明之虛擬熱影像行車資料產生系統，其中，該車輛環境資料及該道路環境資料係包含GPS、天氣及時間。
本發明之虛擬熱影像行車資料產生系統，其中，該資料儲存單元更用於儲存該車輛環境資料及該道路環境資料，該綜合處理單元讀取該車輛環境資料、該道路環境資料及該車輛熱影像資料後，該綜合處理單元根據該道路環境資料與該車輛環境資料，針對該車輛熱影像資料進行調整以建立一車輛模組。
以上之概述與接下來的詳細說明及附圖，皆是
為了能進一步說明本發明達到預定目的所採取的方式、手段及功效，而有關本發明的其他目的及優點，將在後續的說明及圖式中加以闡述。
110‧‧‧熱影像擷取單元
120‧‧‧資料儲存單元
130‧‧‧綜合處理單元
140‧‧‧虛擬熱影像行車資料
210‧‧‧車輛熱影像資料
220‧‧‧道路熱影像資料
230‧‧‧車輛模組
240‧‧‧車輛環境資料校正
250‧‧‧虛擬熱影像行車資料
260‧‧‧經校正之虛擬熱影像行車資料
第一圖係為虛擬熱影像行車資料產生系統之實施例一示意圖；第二圖係為虛擬熱影像行車資料產生系統之實施例二示意圖。
以下係藉由特定的具體實例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本發明之優點及功效。
請參閱第一圖，如圖所示，係為本發明虛擬熱影像行車資料產生系統之實施例一示意圖，本實施例之虛擬熱影像行車資料產生系統，包含一熱影像擷取單元(110)、一資料儲存單元(120)及一綜合處理單元(130)，先利用該熱影像擷取單元(110)拍攝車輛複數角度的熱影像資料，更佳地，可拍攝同一車輛的360度全周角度的熱影像資料，以利之後車輛建模，將該車輛複數角度之熱影像資料建立成一車輛熱
影像資料，並儲存於該資料儲存單元(120)，再利用該熱影像擷取單元(110)錄製道路之熱影像資料，並取得一道路熱影像資料後儲存於該資料儲存單元(120)，該綜合處理單元(130)可與該資料儲存單元(120)電性連接，該綜合處理單元(130)在讀取該資料儲存單元(120)的車輛熱影像資料及道路熱影像資料後，將該車輛熱影像資料處理後，建立一車輛模組，更佳地，可藉由車輛的360度全周角度的熱影像資料建立一3D車輛模組，該綜合處理單元(130)可利用AR(Augmented Reality)擴增實境的技術將該車輛模組及該道路熱影像資料合成一虛擬熱影像行車資料(140)，藉由上述方式，可拍攝各種車輛及各種道路之熱影像後，合適地虛擬各種場景的道路行車訓練資料。
為提升人工智慧之深度學習對於各種特殊狀況之決策正確性，本發明虛擬熱影像行車資料產生系統更可包含一環境偵測單元，該環境偵測單元偵測擷取車輛熱影像資料時之環境並取得一車輛環境資料，該環境偵測單元偵測錄製道路熱影像資料時之環境並取得一道路環境資料，該車輛環境資料及該道路環境資料可包含GPS、天氣及時間，該資料儲存單元可儲存該車輛環境資料及該道路環境資料，該綜合處理單元讀取該車輛環境資料與該車輛熱影像資料後，根據該道路環境資料與該車輛環境資料，針對該車輛熱影像資料進行調整以建立一車輛模組，舉例而言，因本發明是量測
熱影像，因此量測時的氣溫、太陽光強度、太陽光斜射角度等，都會影響車輛及道路整體的熱影像畫面，藉由該道路環境資料與該車輛環境資料進行調整校正，讓這些車輛模型能更自然的融入道路中，最後產生虛擬熱影像資料，進而提供人工智慧訓練資料，達成提升人工智慧之深度學習對於各種特殊狀況之決策正確性的目的。
請參閱第二圖，如圖所示，係為本發明虛擬熱影像行車資料產生系統之實施例二示意圖，本實施例之虛擬熱影像行車資料產生系統，包含一熱影像擷取單元、一資料儲存單元、一綜合處理單元、一環境偵測單元，先利用該熱影像擷取單元拍攝車輛複數角度的熱影像資料，將該車輛複數角度之熱影像資料建立成一車輛熱影像資料(210)，並儲存於該資料儲存單元，再利用該熱影像擷取單元錄製道路之熱影像資料，並取得一道路熱影像資料(220)後儲存於該資料儲存單元，同時，該環境偵測單元偵測擷取車輛熱影像資料時之環境並取得一車輛環境資料，該環境偵測單元偵測錄製道路熱影像資料時之環境並取得一道路環境資料，該資料儲存單元亦可儲存該車輛環境資料及該道路環境資料，該綜合處理單元可與該資料儲存單元電性連接，該綜合處理單元讀取該車輛熱影像資料以建立一車輛模組(230)，該綜合處理單元亦可在讀取該資料儲存單元的車輛熱影像資料(210)及其環境資料、道路熱影像資料(220)及其環境資料後，根據該道路環
境資料(220)與該車輛環境資料(210)，進行車輛環境資料校正(240)以校正該車輛模組(230)，該綜合處理單元將該車輛模組及該道路熱影像資料合成一經校正之虛擬熱影像行車資料(260)，由第三圖可知藉由車輛環境資料校正(240)，可將一虛擬熱影像行車資料(250)校正為經一校正之虛擬熱影像行車資料(260)。
本發明提供一種虛擬熱影像行車資料產生系統，整合一熱影像擷取單元、一資料儲存單元及一綜合處理單元以合成一虛擬熱影像行車資料，藉此，本發明亦可設計動態物件控制系統(車輛或行人)以及行車情境模擬系統，透過情境設計，將熱影像模型透過規劃好的位置與路徑合成至熱影像道路資料庫中，藉以產生大量的熱影像訓練資料以及創造更多傳統資料收集方式不容易取得之特殊行車情境，例如各種車輛違規情境，可有效提升人工智慧之深度學習對於各種特殊狀況之決策正確性。
上述之實施例僅為例示性說明本發明之特點及功效，非用以限制本發明之實質技術內容的範圍，任何熟悉此技藝之人士均可在不違背發明之精神及範疇下，對上述實施例進行修飾與變化，因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。
Claims (4)
- 一種虛擬熱影像行車資料產生系統，包含：一熱影像擷取單元，係用於擷取車輛複數角度之熱影像資料，並取得一車輛熱影像資料，該車輛熱影像資料係為車輛的360度全周角度的熱影像資料，錄製道路之熱影像資料，並取得一道路熱影像資料；一資料儲存單元，係用於儲存該車輛熱影像資料與該道路熱影像資料；一綜合處理單元，該綜合處理單元讀取該車輛熱影像資料以建立一車輛模組，該車輛模組係為3D車輛模組，該綜合處理單元讀取該道路熱影像資料將該車輛模組與該道路熱影像資料合成一虛擬熱影像行車資料。
- 如請求項1所述之虛擬熱影像行車資料產生系統，其中，更包含一環境偵測單元，該環境偵測單元偵測擷取車輛熱影像資料時之環境並取得一車輛環境資料，該環境偵測單元偵測錄製道路熱影像資料時之環境並取得一道路環境資料。
- 如請求項2所述之虛擬熱影像行車資料產生系統，其中，該車輛環境資料及該道路環境資料係包含GPS、天氣及時間。
- 如請求項2所述之虛擬熱影像行車資料產生系統，其中，該資料儲存單元更用於儲存該車輛環境資料及該道路環境資料，該綜合處理單元讀取該車輛環境資料、該道路環境資料 及該車輛熱影像資料後，該綜合處理單元根據該道路環境資料與該車輛環境資料，針對該車輛熱影像資料進行調整以建立一車輛模組。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107139779A TWI668141B (zh) | 2018-11-07 | 2018-11-07 | Virtual thermal image driving data generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107139779A TWI668141B (zh) | 2018-11-07 | 2018-11-07 | Virtual thermal image driving data generation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI668141B true TWI668141B (zh) | 2019-08-11 |
| TW202017771A TW202017771A (zh) | 2020-05-16 |
Family
ID=68316432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107139779A TWI668141B (zh) | 2018-11-07 | 2018-11-07 | Virtual thermal image driving data generation system |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI668141B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI840037B (zh) * | 2022-12-21 | 2024-04-21 | 財團法人工業技術研究院 | 產生交通事件動態影像的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357194A (zh) * | 2016-05-10 | 2017-11-17 | 通用汽车环球科技运作有限责任公司 | 自主驾驶车辆中的热监测 |
| CN107784709A (zh) * | 2017-09-05 | 2018-03-09 | 百度在线网络技术（北京）有限公司 | 处理自动驾驶训练数据的方法和装置 |
| CN108513059A (zh) * | 2017-02-24 | 2018-09-07 | 三星电子株式会社 | 图像处理方法、设备以及自动驾驶车辆 |
-
2018
- 2018-11-07 TW TW107139779A patent/TWI668141B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357194A (zh) * | 2016-05-10 | 2017-11-17 | 通用汽车环球科技运作有限责任公司 | 自主驾驶车辆中的热监测 |
| CN108513059A (zh) * | 2017-02-24 | 2018-09-07 | 三星电子株式会社 | 图像处理方法、设备以及自动驾驶车辆 |
| CN107784709A (zh) * | 2017-09-05 | 2018-03-09 | 百度在线网络技术（北京）有限公司 | 处理自动驾驶训练数据的方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI840037B (zh) * | 2022-12-21 | 2024-04-21 | 財團法人工業技術研究院 | 產生交通事件動態影像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202017771A (zh) | 2020-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11632536B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
| Maddern et al. | 1 year, 1000 km: The oxford robotcar dataset | |
| CN111797526B (zh) | 一种仿真测试场景构建方法及装置 | |
| JP2017151973A (ja) | 現実世界の映像分析性能を評価するための仮想世界の生成 | |
| CN110135376A (zh) | 确定图像传感器的坐标系转换参数的方法、设备和介质 | |
| US20240017747A1 (en) | Method and system for augmenting lidar data | |
| Hinz | Detection and counting of cars in aerial images | |
| WO2024016877A1 (zh) | 一种面向车路协同的路测感知仿真系统 | |
| CN107481291A (zh) | 基于标识虚线物理坐标的交通监控模型标定方法及系统 | |
| CN107066975A (zh) | 基于深度传感器的视频识别与跟踪系统及其方法 | |
| TWI668141B (zh) | Virtual thermal image driving data generation system | |
| Murray et al. | Mobile mapping system for the automated detection and analysis of road delineation | |
| CN114238541A (zh) | 敏感目标信息获取方法、装置和计算机设备 | |
| CN112712098B (zh) | 图像数据处理方法及装置 | |
| Bai et al. | Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| Tschentscher et al. | A simulated car-park environment for the evaluation of video-based on-site parking guidance systems | |
| Hsiang et al. | Development of Simulation-Based Testing Scenario Generator for Robustness Verification of Autonomous Vehicles | |
| Malec | Semantic segmentation with carla simulator | |
| CN111964685A (zh) | 用于创建用于车辆的定位地图的方法和系统 | |
| CN117078470B (zh) | 一种基于bim+gis的三维征拆管理系统 | |
| CN117372632B (zh) | 二维图像的标注方法、装置、计算机设备及存储介质 | |
| Chen | Visible & thermal imaging and deep learning based approach for automated robust detection of potholes to prioritize highway maintenance | |
| CN116310189B (zh) | 地图模型构建方法及终端 | |
| Elmquist | Toward Quantifying the Simulation to Reality Difference for Autonomous Applications Reliant on Image-Based Perception |