TWI506601B - 車輛監控系統和車輛監控方法 - Google Patents
車輛監控系統和車輛監控方法 Download PDFInfo
- Publication number
- TWI506601B TWI506601B TW100148191A TW100148191A TWI506601B TW I506601 B TWI506601 B TW I506601B TW 100148191 A TW100148191 A TW 100148191A TW 100148191 A TW100148191 A TW 100148191A TW I506601 B TWI506601 B TW I506601B
- Authority
- TW
- Taiwan
- Prior art keywords
- display
- vehicle
- distance
- surrounding environment
- scene image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本發明涉及一種車輛監控系統和車輛監控方法,尤其涉及一種監控車輛周邊環境的安全監控系統及安全監控方法。
為了輔助觀察車輛的周邊環境,一般車輛上設置有後視鏡。但是後視鏡也會存在視覺盲點,使得駕駛員在駕駛車輛時容易出現事故。雖然傳統的車載監控系統能夠監控周圍環境,但是該車載監控系統不能顯示立體的影像給駕駛員,從而使得駕駛員不能真實感受周圍環境。
鑒於以上內容,有必要提供一種車輛監控系統和車輛監控方法,可顯示立體的周邊環境的場景影像給駕駛員。
一種車輛監控系統,用於監控一車輛的周圍環境,該系統包括:一影像獲取模組,該影像獲取模組用於獲取至少一攝像裝置攝取的周圍環境的至少一個場景影像,該至少一個場景影像中包括物體各點與對應攝像裝置之間的距離資訊;一物體偵測模組,該物體偵測模組用於利用物體偵測技術,在獲取的至少一場景影像中獲取各個場景影像中各個點到攝像裝置的距離;一模型建立模組,該模型建立模組用於根據該物體偵測模組獲取的至少一個場景影像中各個點到攝像裝置的距離將該至少一場景影像建立至少一個三維模型;及一顯示控制模組,該顯示控制模組用於控制至少一顯示設備顯示該建立的至少一個三維模型。
一種車輛監控方法,用於監控一車輛的周圍環境,該車輛監控方法包括:獲取至少一攝像裝置攝取的周圍環境的至少一個場景影像,該至少一個場景影像中包括物體各點與對應攝像裝置之間的距離資訊;利用物體偵測技術,在獲取的至少一場景影像中獲取各個場景影像中各個點到攝像裝置的距離;根據該獲取的至少一場景影像中各個點到攝像裝置的距離將該至少一場景影像建立至少一個三維模型;及控制至少一顯示設備顯示該建立的至少一個三維模型。
本發明籍由該影像獲取模組獲取周圍環境的場景影像,籍由該物體偵測模組偵測場景影像中各個點到攝像裝置的距離,籍由模型建立模組根據該距離將該場景影像建立三維模型,並籍由該顯示設備顯示該建立的三維模型,從而可顯示立體的周圍環境影像給駕駛員。
如圖1所示,是本發明一實施方式的車輛監控裝置1的方框示意圖。該車輛監控裝置1設置於該車輛上,用於將至少一攝像裝置2攝取的周圍環境的場景影像建立三維模型,並籍由至少一個顯示設備3將該三維模型顯示給駕駛員,從而形成一真實的周圍環境給駕駛員參考。在本實施方式中,該顯示設備3的數量為一個,其為可顯示立體效果的顯示器。
該攝像裝置2用於攝取場景,並生成場景影像。在本實施例中,所述攝像裝置2為一種深度攝影機(Depth-sensing Camera),如時間飛行(Time of Flight,TOF)攝影機,用於攝取場景影像,該場景影像中包括被攝物體的景深資訊。所述被攝物體的景深資訊是指被攝物體各點與攝像裝置的距離資訊。由於攝像裝置2在拍攝目標物時,將發射一定波長的信號,當信號遇到目標物時即會反射至攝像裝置2,根據信號發射與接收之間的時間差即可計算出目標物上各點與攝像裝置2之間的距離資訊,因此所述攝像裝置2可得到場景影像中被攝物體各點與攝像裝置2之間的距離資訊,即景深資訊,以下稱為場景影像中被攝物體各點與攝像裝置2之間的距離資訊。如圖2所示,在本實施方式中,該攝像裝置的數量為四個,且分別設置於該車輛外面的前面、後面、左邊及右邊。在其他實施方式中,該攝像裝置可為一個,設置在後面、左邊及右邊中的任意一側。
該車輛監控裝置1包括一車輛監控系統10、一中央處理器(Central Processing Unit, CPU)20以及一記憶體30。在本實施方式中,該車輛監控系統10包括一影像獲取模組11、一物體偵測模組12、一模型建立模組13及一顯示控制模組14。本發明所稱的模組是指一種能夠被車輛監控裝置1的中央處理器20所執行並且能夠完成特定功能的一系列電腦程式塊,其存儲於該車輛監控裝置1的記憶體30中。
該影像獲取模組11用於獲取攝像裝置2攝取的周圍環境的場景影像。
該物體偵測模組12利用物體偵測技術,在獲取的場景影像中獲取場景影像中各個點到對應攝像裝置2的距離。在本實施例中,所述物體偵測技術可以採用Robust即時物件檢測方法(Robust Real-time Object Detection Method)。
該模型建立模組13用於根據該攝取的場景影像中各個點到攝像裝置的距離將該對應的攝像裝置攝取的場景影像建立三維模型,從而形成真實的三維情景。
該顯示控制模組14用於控制該顯示設備3以子畫面的形式顯示由該四個攝像裝置2攝取的場景影像所建立的三維模型。在其他實施方式中該顯示設備3的數量為四個,每個顯示設備3分別對應於一攝像裝置2,用於分別顯示由對應的攝像裝置2攝取的圖像所建立的三維模型。其中該四個顯示設備3彼此相互接觸,形成一方形,以方便駕駛員觀看。
在本實施方式中,該顯示控制模組14還用於根據周圍環境中的物體與該車輛的距離的不同而控制該顯示設備3對該些物體顯示不同的顏色,其中物體偵測模組12獲取的周圍環境中的物體到對應攝像裝置2的距離可被認為是周圍環境中的物體到車輛的距離。例如,在周圍環境中,與該車輛的距離大於10m的物體顯示在顯示設備3上的顏色為綠色,與該車輛的距離小於10m的物體顯示在顯示設備3上的顏色為紅色,從而駕駛員可籍由觀察顯示在顯示設備3的物體的顏色而大概知道該物體與該車輛的距離,防止駕駛員因為誤判周圍環境中的物體與該車輛的距離而使得該車輛被刮傷。較佳的,離車輛距離小於一預定距離的物體,採用醒目的顏色進行顯示,從而提醒用戶注意。
在本實施方式中,該車輛監控系統10還包括一判斷模組15,該判斷模組15用於根據該獲取的各個場景影像中各個點到攝像裝置2的距離判斷該周圍環境是否有物體與該車輛之間的距離小於一預設值。當該判斷模組15判斷該周圍環境中有物體與該車輛之間的距離小於一預設值時,產生一警告資訊來提示駕駛員。
在其他實施方式中,該攝像裝置2的數量可為少於四個,設置於該車輛的前方、後方、左方或者右方,用於監控該車輛的前方、後方、左方或者右方。
請參考圖3,為本發明一實施方式的車輛監控方法的流程圖。該車輛監控方法應用於如圖1所示的車輛監控系統10上。
在步驟S301中,該影像獲取模組11獲取該四個攝像裝置2攝取的周圍環境的場景影像。
在步驟S302中,該物體偵測模組12偵測獲取的場景影像中的各個點到對應攝像裝置2的距離。
在步驟S303中,該模型建立模組13根據該獲取的場景影像中各個點到攝像裝置2的距離將該對應的攝像裝置2攝取的場景影像建立三維模型。
在步驟S304中,該顯示控制模組14控制該顯示設備3以子畫面的形式顯示由該四個攝像裝置2攝取的場景影像所建立的三維模型。
在本實施方式中,該顯示控制模組14還根據周圍環境中的物體與該車輛的距離的不同而控制該顯示設備3對該些物體顯示不同的顏色,其中物體偵測模組12獲取的周圍環境中的物體到對應攝像裝置2的距離可被認為是周圍環境中的物體到車輛的距離。
在本實施方式中,該判斷模組15還根據該獲取的各個場景影像中各個點到攝像裝置2的距離判斷該周圍環境是否有物體與該車輛之間的距離小於一預設值。當該判斷模組15判斷該周圍環境中有物體與該車輛之間的距離小於一預設值時,產生一警告資訊來提示駕駛員。
最後應說明的是,以上實施例僅用以說明本發明的技術方案而非限制,儘管參照較佳實施例對本發明進行了詳細說明,本領域的普通技術人員應當理解,可以對本發明的技術方案進行修改或等同替換,而不脫離本發明技術方案的精神和範圍。
1...車輛監控裝置
2...攝像裝置
3...顯示設備
10...車輛監控系統
11...影像獲取模組
12...物體偵測模組
13...模型建立模組
14...顯示控制模組
15...判斷模組
20...中央處理器
30...記憶體
圖1係本發明一實施方式的車輛監控系統的較佳實施例的架構圖。
圖2係本發明攝像裝置設置的示意圖。
圖3係本發明一實施方式的車輛監控方法的流程圖。
1...車輛監控裝置
2...攝像裝置
3...顯示設備
10...車輛監控系統
11...影像獲取模組
12...物體偵測模組
13...模型建立模組
14...顯示控制模組
15...判斷模組
20...中央處理器
30...記憶體
Claims (10)
- 一種車輛監控系統,用於監控一車輛的周圍環境,其改良在於,該系統包括:
一影像獲取模組,該影像獲取模組用於獲取至少一攝像裝置攝取的周圍環境的至少一個場景影像,該至少一個場景影像中包括物體各點與對應攝像裝置之間的距離資訊;
一物體偵測模組,該物體偵測模組用於利用物體偵測技術,在獲取的至少一場景影像中獲取各個場景影像中各個點到攝像裝置的距離;
一模型建立模組,該模型建立模組用於根據該物體偵測模組獲取的至少一個場景影像中各個點到攝像裝置的距離將該至少一場景影像建立至少一個三維模型;及
一顯示控制模組,該顯示控制模組用於控制至少一顯示設備顯示該建立的至少一個三維模型。 - 如申請專利範圍第1項所述之車輛監控系統,其中,物體偵測模組獲取的周圍環境中的物體到對應攝像裝置的距離被認為是周圍環境中的物體到車輛的距離,該顯示控制模組還根據該物體偵測模組獲取的周圍環境中的物體與該車輛的距離的不同而控制該顯示設備對該些物體顯示不同的顏色。
- 如申請專利範圍第1項所述之車輛監控系統,其中,該攝像裝置的數量為四個,分別設置於車輛的前方、後方、左方和右方,該顯示設備的數量為一個,該顯示控制模組控制該顯示設備以子畫面顯示的形式顯示由該四個攝像裝置攝取的場景影像所建立的三維模型。
- 如申請專利範圍第1項所述之車輛監控系統,其中,該攝像裝置的數量為四個,分別設置於車輛的前方、後方、左方和右方,該顯示設備的數量為四個,每個顯示設備分別對應於一攝像裝置,該顯示控制模組控制該顯示設備分別顯示由該四個攝像裝置攝取的場景影像所建立的三維模型。
- 如申請專利範圍第1項所述之車輛監控系統,其中,該系統還包括一判斷模組,該判斷模組用於根據該物體偵測模組獲取的距離來判斷該周圍環境是否有物體與該車輛之間的距離小於一預設值,當該判斷模組判斷該周圍環境中有物體與該車輛之間的距離小於一預設值時,該判斷模組產生一警告資訊來提示駕駛員。
- 一種車輛監控方法,用於監控一車輛的周圍環境,其改良在於,該車輛監控方法包括:
獲取至少一攝像裝置攝取的周圍環境的至少一個場景影像,該至少一個場景影像中包括物體各點與對應攝像裝置之間的距離資訊;
利用物體偵測技術,在獲取的至少一場景影像中獲取各個場景影像中各個點到攝像裝置的距離;
根據該獲取的至少一場景影像中各個點到攝像裝置的距離將該至少一場景影像建立至少一個三維模型;及
控制至少一顯示設備顯示該建立的至少一個三維模型。 - 如申請專利範圍第6項所述之車輛監控方法,獲取的周圍環境中的物體到對應攝像裝置的距離被認為是周圍環境中的物體到車輛的距離,其中,該車輛監控方法還包括:
根據周圍環境中的物體與該車輛的距離的不同而控制該顯示設備對該些物體顯示不同的顏色。 - 如申請專利範圍第6項所述之車輛監控方法,該攝像裝置的數量為四個,分別設置於車輛的前方、後方、左方和右方,該顯示設備的數量為一個,其中,該顯示方法包括:
控制該顯示設備以子畫面顯示的形式顯示由該四個攝像裝置攝取的場景影像所建立的三維模型。 - 如申請專利範圍第6項所述之車輛監控方法,該攝像裝置的數量為四個,分別設置於車輛的前方、後方、左方和右方,該顯示設備的數量為四個,每個顯示設備分別對應於一攝像裝置,其中,該顯示方法包括:
控制每個顯示設備分別顯示由對應的攝像裝置攝取的場景影像所建立的三維模型。 - 如申請專利範圍第6項所述之車輛監控方法,其中,該方法還包括:
根據該獲取的距離來判斷該周圍環境中是否有物體與該車輛之間的距離小於一預設值;
當該判斷模組判斷該周圍環境中有物體與該車輛之間的距離小於一預設值時,產生一警告資訊。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011104270203A CN103167276A (zh) | 2011-12-19 | 2011-12-19 | 车辆监控系统和车辆监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201327500A TW201327500A (zh) | 2013-07-01 |
TWI506601B true TWI506601B (zh) | 2015-11-01 |
Family
ID=48589985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100148191A TWI506601B (zh) | 2011-12-19 | 2011-12-23 | 車輛監控系統和車輛監控方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130155190A1 (zh) |
CN (1) | CN103167276A (zh) |
TW (1) | TWI506601B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104553983B (zh) * | 2013-10-24 | 2017-02-15 | 鸿富锦精密工业(深圳)有限公司 | 车辆预警系统及方法 |
CN104742899A (zh) * | 2013-12-27 | 2015-07-01 | 鸿富锦精密工业(深圳)有限公司 | 车辆辅助系统及车辆辅助方法 |
CN104742902B (zh) * | 2013-12-27 | 2017-05-10 | 鸿富锦精密工业(深圳)有限公司 | 车辆辅助系统及车辆辅助方法 |
CN104802708A (zh) * | 2014-01-23 | 2015-07-29 | 致伸科技股份有限公司 | 行车影像辅助系统 |
CN104952254B (zh) * | 2014-03-31 | 2018-01-23 | 比亚迪股份有限公司 | 车辆识别方法、装置和车辆 |
US20160070343A1 (en) * | 2014-09-09 | 2016-03-10 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
CN106772383B (zh) * | 2016-12-31 | 2019-03-22 | 智车优行科技(北京)有限公司 | 车辆周围物体的检测呈现方法、装置和系统、车辆 |
CN112277805A (zh) * | 2020-10-30 | 2021-01-29 | 湖南行必达网联科技有限公司 | 车辆监控系统和方法 |
CN113805589A (zh) * | 2021-08-31 | 2021-12-17 | 中煤科工集团重庆研究院有限公司 | 基于多源传感器数据的移动平台控制系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1462762A1 (en) * | 2003-03-25 | 2004-09-29 | Aisin Seiki Kabushiki Kaisha | Circumstance monitoring device of a vehicle |
TW200732184A (en) * | 2006-02-23 | 2007-09-01 | Webpro Vision Technology Corp | Vehicular monitoring device and system |
US20090115784A1 (en) * | 2007-11-07 | 2009-05-07 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
TWI347502B (en) * | 2007-12-21 | 2011-08-21 | Inventec Corp | Car monitoring system and car monitoring method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3515926B2 (ja) * | 1999-06-23 | 2004-04-05 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP3494434B2 (ja) * | 1999-10-21 | 2004-02-09 | 松下電器産業株式会社 | 駐車支援装置 |
JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
JP5376223B2 (ja) * | 2009-05-18 | 2013-12-25 | アイシン精機株式会社 | 運転支援装置 |
CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
CN101739843B (zh) * | 2009-12-04 | 2012-08-29 | 河海大学常州校区 | 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 |
TW201322179A (zh) * | 2011-11-28 | 2013-06-01 | Hon Hai Prec Ind Co Ltd | 街景建立系統及街景建立方法 |
-
2011
- 2011-12-19 CN CN2011104270203A patent/CN103167276A/zh active Pending
- 2011-12-23 TW TW100148191A patent/TWI506601B/zh not_active IP Right Cessation
-
2012
- 2012-02-28 US US13/406,540 patent/US20130155190A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1462762A1 (en) * | 2003-03-25 | 2004-09-29 | Aisin Seiki Kabushiki Kaisha | Circumstance monitoring device of a vehicle |
TW200732184A (en) * | 2006-02-23 | 2007-09-01 | Webpro Vision Technology Corp | Vehicular monitoring device and system |
US20090115784A1 (en) * | 2007-11-07 | 2009-05-07 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
TWI347502B (en) * | 2007-12-21 | 2011-08-21 | Inventec Corp | Car monitoring system and car monitoring method |
Also Published As
Publication number | Publication date |
---|---|
CN103167276A (zh) | 2013-06-19 |
US20130155190A1 (en) | 2013-06-20 |
TW201327500A (zh) | 2013-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI506601B (zh) | 車輛監控系統和車輛監控方法 | |
US9479740B2 (en) | Image generating apparatus | |
JP5748920B2 (ja) | 車両周辺の表示方法 | |
JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
US10144351B2 (en) | Information presentation system | |
KR101888960B1 (ko) | 도로 평탄도 측정 장치 및 방법 | |
US9162621B2 (en) | Parking support apparatus | |
TWI522257B (zh) | 車用安全系統及其運作方法 | |
JP2005024463A (ja) | ステレオ広視野画像処理装置 | |
JP2009183473A (ja) | 視線方向検出装置及び視線方向検出方法 | |
WO2017066956A1 (zh) | 车载监控方法及装置 | |
KR20140094794A (ko) | 주차 보조 장치 및 그 주차 보조 방법 | |
JP2013005233A (ja) | 車両周辺監視装置 | |
KR20180065049A (ko) | 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치 | |
JP2008026998A (ja) | 障害物位置算出システム、及び障害物位置算出方法 | |
JP2019188855A (ja) | 車両用視認装置 | |
US9704062B2 (en) | Method and apparatus for warning an obstacle of a vehicle | |
JP2006160193A (ja) | 車両運転支援装置 | |
TW201420398A (zh) | 行車安全監控系統及方法 | |
KR101664297B1 (ko) | 차량용 어라운드 뷰 모니터링 시스템 및 그 방법 | |
JP2009126493A (ja) | 障害物検出装置 | |
JP2007030753A (ja) | 障害物表示システム、及び障害物表示方法 | |
TW201441079A (zh) | 車輛輔助系統及車輛輔助方法 | |
JP2018113622A (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
WO2018123547A1 (ja) | 車両用視認装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |