KR102284622B1 - 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법 - Google Patents
열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법 Download PDFInfo
- Publication number
- KR102284622B1 KR102284622B1 KR1020200022080A KR20200022080A KR102284622B1 KR 102284622 B1 KR102284622 B1 KR 102284622B1 KR 1020200022080 A KR1020200022080 A KR 1020200022080A KR 20200022080 A KR20200022080 A KR 20200022080A KR 102284622 B1 KR102284622 B1 KR 102284622B1
- Authority
- KR
- South Korea
- Prior art keywords
- black ice
- imaging camera
- drone
- thermal imaging
- block
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001931 thermography Methods 0.000 claims abstract description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 9
- 206010039203 Road traffic accident Diseases 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 9
- 230000008014 freezing Effects 0.000 description 5
- 238000007710 freezing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/50—Aeroplanes, Helicopters
- B60Y2200/51—Aeroplanes
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법에 관한 것으로, 제 1 블랙아이스 발생 예상 영역에 드론을 비행시키는 단계와, 상기 제 1 블랙아이스 발생 예상 영역에 대해 상기 드론에 탑재된 제 1 열화상 카메라를 이용하여 촬영하는 단계와, 상기 제 1 열화상 카메라를 이용하여 촬영된 제 1 열화상 이미지에서 표면온도에 따라 제 1 일반블록과 제 1 블랙아이스블록을 검출하는 단계와, 상기 제 1 블랙아이스블록이 기 설정된 블록수를 초과할 경우 무선통신망을 통해 복수의 차량으로 제 1 블랙아이스 위치 정보를 전송하는 단계와, 상기 복수의 차량에서 각각 상기 제 1 블랙아이스 위치 정보와 제 1 경고 알람을 제공하는 단계를 포함함으로써, 안전운전을 유도할 수 있을 뿐만 아니라 교통사고 발생을 미연에 방지할 수 있다.
Description
본 발명은 열화상 카메라를 탑재한 드론과 열화상 카메라를 탑재한 차량에서 촬영된 열화상 이미지를 이용하여 블랙아이스를 감지 및 검출하고, 이를 운전자에게 경고함으로써, 안전운전을 유도할 수 있을 뿐만 아니라 교통사고 발생을 미연에 방지할 수 있는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법에 관한 것이다.
잘 알려진 바와 같이, 블랙아이스는 기온이 급격히 내려갈 경우, 도로 위에 녹았던 눈이 다시 얇은 빙판으로 얼어붙는 도로 결빙 현상으로, 블랙아이스는 검정색 얼음이 아니라, 투명한 얼음이 아스팔트 위를 마치 코팅한 것처럼 뒤덮어 운전자의 눈에는 도로에 얼음이 없는 건조한 상태(검정색)로 보이는 현상이다.
만약, 비가 영상의 기온에서 내리더라도, 지상의 기온이 영하권이고 도로의 표면온도가 기온보다 더 낮은 영하 2~3도까지 떨어지는 경우, 비는 내리는 순간 바닥에 얼게 되는데, 빗방울이 어는점 이하로 내려가서도 얼지 않는 과냉각 상태를 유지하다 지표에 떨어지면서 순식간에 얼어붙게 된다.
즉, 대기의 기온이 0℃ 부근이라도 도로 표면의 온도가 영하라면, 빗방울은 쉽게 달라붙어 얼 수 있다.
한편, 도로 표면의 온도는 대기의 기온보다 이른 아침에는 낮고, 낮에는 높기 때문에, 어는 비는 보통 새벽과 오전 사이에 많이 발생하고, 어는 비는 같은 도로에서도 교각에 빈번히 발생하는데, 그 이유는 교각과 같은 지역은 지표면에 열손실이 크기 때문이다.
상술한 바와 같은 블랙아이스에 의한 도로 노면 결빙 상태에서는 각종 교통사고가 빈번하게 발생할 수 있기 때문에, 이를 정확하게 검출하여 운전자에게 제공함으로써, 교통사고를 미연에 방지할 수 있는 기술 개발이 절실한 실정이다.
본 발명은 열화상 카메라를 탑재한 드론과 열화상 카메라를 탑재한 차량에서 촬영된 열화상 이미지를 이용하여 블랙아이스를 감지 및 검출하고, 이를 운전자에게 경고함으로써, 안전운전을 유도할 수 있을 뿐만 아니라 교통사고 발생을 미연에 방지할 수 있는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법을 제공하고자 한다.
그리고, 본 발명은 블랙아이스 발생 예상 영역에 드론을 비행시켜 드론에 탑재된 열화상 카메라를 이용하여 촬영된 열화상 이미지에서 표면온도에 따라 일반블록과 블랙아이스블록을 검출하고, 블랙아이스블록이 기 설정된 블록수를 초과할 경우 복수의 차량으로 블랙아이스 위치 정보를 전송하며, 블랙아이스 위치 정보와 경고 알람을 각각의 차량에 제공함으로써, 드론을 통해 블랙아이스의 발생을 효과적으로 검출하여 그 주변을 운행하는 차량에 효과적으로 경고할 수 있는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법을 제공하고자 한다.
또한, 본 발명은 복수의 차량 중 어느 하나의 차량에서 블랙아이스 발생 예상 영역에 대해 탑재된 열화상 카메라를 이용하여 촬영된 열화상 이미지에서 표면온도에 따라 일반블록과 블랙아이스블록을 검출하고, 블랙아이스블록이 기 설정된 블록수를 초과할 경우 다른 차량들로 블랙아이스 위치 정보를 전송하며, 블랙아이스 위치 정보와 경고 알람을 각각의 다른 차량에 제공함으로써, 차량을 통해 블랙아이스의 발생을 효과적으로 검출하여 그 주변을 운행하는 다른 차량에 효과적으로 경고할 수 있는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법을 제공하고자 한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따르면, 제 1 블랙아이스 발생 예상 영역에 드론을 비행시키는 단계와, 상기 제 1 블랙아이스 발생 예상 영역에 대해 상기 드론에 탑재된 제 1 열화상 카메라를 이용하여 촬영하는 단계와, 상기 제 1 열화상 카메라를 이용하여 촬영된 제 1 열화상 이미지에서 표면온도에 따라 제 1 일반블록과 제 1 블랙아이스블록을 검출하는 단계와, 상기 제 1 블랙아이스블록이 기 설정된 블록수를 초과할 경우 무선통신망을 통해 복수의 차량으로 제 1 블랙아이스 위치 정보를 전송하는 단계와, 상기 복수의 차량에서 각각 상기 제 1 블랙아이스 위치 정보와 제 1 경고 알람을 제공하는 단계를 포함하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 1 블랙아이스블록을 검출하는 단계는, 블랙아이스에 대응하는 기 설정된 온도 범위를 나타내는 색상 범위의 픽셀수가 기 설정된 기준픽셀수를 초과할 경우 상기 제 1 블랙아이스블록으로 판단하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 1 블랙아이스블록은, YOLOv3(You Only Look Once v3), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나의 딥러닝 방식으로 검출되는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 블랙아이스 모니터링 방법은, 상기 복수의 차량 중 어느 하나의 차량에서 제 2 블랙아이스 발생 예상 영역에 대해 탑재된 제 2 열화상 카메라를 이용하여 촬영하는 단계와, 상기 제 2 열화상 카메라를 이용하여 촬영된 제 2 열화상 이미지에서 표면온도에 따라 제 2 일반블록과 제 2 블랙아이스블록을 검출하는 단계와, 상기 제 2 블랙아이스블록이 상기 기 설정된 블록수를 초과할 경우 무선통신망을 통해 다른 차량들로 제 2 블랙아이스 위치 정보를 전송하는 단계와, 상기 다른 차량들에서 각각 상기 제 2 블랙아이스 위치 정보와 제 2 경고 알람을 제공하는 단계를 더 포함하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 2 블랙아이스블록을 검출하는 단계는, 블랙아이스에 대응하는 기 설정된 온도 범위를 나타내는 색상 범위의 픽셀수가 기 설정된 기준픽셀수를 초과할 경우 상기 제 2 블랙아이스블록으로 판단하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법이 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 제 2 블랙아이스블록은, YOLO(You Only Look Once), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나의 딥러닝 방식으로 검출되는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법이 제공될 수 있다.
본 발명은 열화상 카메라를 탑재한 드론과 열화상 카메라를 탑재한 차량에서 촬영된 열화상 이미지를 이용하여 블랙아이스를 감지 및 검출하고, 이를 운전자에게 경고함으로써, 안전운전을 유도할 수 있을 뿐만 아니라 교통사고 발생을 미연에 방지할 수 있다.
그리고, 본 발명은 블랙아이스 발생 예상 영역에 드론을 비행시켜 드론에 탑재된 열화상 카메라를 이용하여 촬영된 열화상 이미지에서 표면온도에 따라 일반블록과 블랙아이스블록을 검출하고, 블랙아이스블록이 기 설정된 블록수를 초과할 경우 복수의 차량으로 블랙아이스 위치 정보를 전송하며, 블랙아이스 위치 정보와 경고 알람을 각각의 차량에 제공함으로써, 드론을 통해 블랙아이스의 발생을 효과적으로 검출하여 그 주변을 운행하는 차량에 효과적으로 경고할 수 있다.
또한, 본 발명은 복수의 차량 중 어느 하나의 차량에서 블랙아이스 발생 예상 영역에 대해 탑재된 열화상 카메라를 이용하여 촬영된 열화상 이미지에서 표면온도에 따라 일반블록과 블랙아이스블록을 검출하고, 블랙아이스블록이 기 설정된 블록수를 초과할 경우 다른 차량들로 블랙아이스 위치 정보를 전송하며, 블랙아이스 위치 정보와 경고 알람을 각각의 다른 차량에 제공함으로써, 차량을 통해 블랙아이스의 발생을 효과적으로 검출하여 그 주변을 운행하는 다른 차량에 효과적으로 경고할 수 있다.
도 1은 본 발명의 제 1 실시예에 따라 열화상 카메라와 드론을 이용하여 블랙아이스를 모니터링하는 과정을 나타낸 플로우차트이고,
도 2는 본 발명의 실시예에 따라 열화상 카메라와 드론을 이용하여 블랙아이스를 모니터링하는 시스템 구성을 예시한 도면이며,
도 3 및 도 4는 본 발명의 실시예에 따라 열화상 카메라의 열화상 이미지를 이용하여 블랙아이스를 검출하는 것을 설명하기 위한 도면이고,
도 5는 본 발명의 제 2 실시예에 따라 열화상 카메라와 차량을 이용하여 블랙아이스를 모니터링하는 과정을 나타낸 플로우차트이다.
도 2는 본 발명의 실시예에 따라 열화상 카메라와 드론을 이용하여 블랙아이스를 모니터링하는 시스템 구성을 예시한 도면이며,
도 3 및 도 4는 본 발명의 실시예에 따라 열화상 카메라의 열화상 이미지를 이용하여 블랙아이스를 검출하는 것을 설명하기 위한 도면이고,
도 5는 본 발명의 제 2 실시예에 따라 열화상 카메라와 차량을 이용하여 블랙아이스를 모니터링하는 과정을 나타낸 플로우차트이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 제 1 실시예에 따라 열화상 카메라와 드론을 이용하여 블랙아이스를 모니터링하는 과정을 나타낸 플로우차트이고, 도 2는 본 발명의 실시예에 따라 열화상 카메라와 드론을 이용하여 블랙아이스를 모니터링하는 시스템 구성을 예시한 도면이며, 도 3 및 도 4는 본 발명의 실시예에 따라 열화상 카메라의 열화상 이미지를 이용하여 블랙아이스를 검출하는 것을 설명하기 위한 도면이다.
도 1 내지 도 4를 참조하면, 제 1 블랙아이스 발생 예상 영역에 드론(10)을 비행시킬 수 있다(단계110). 예를 들면, 드론(10)은 지상통제센터 또는 제어단말기의 제어에 따라 제 1 블랙아이스 발생 예상 영역에 대한 GPS 위치 정보를 제공받아 GPS 위성(20)으로부터 GPS 정보를 수신하고, 이를 이용하여 제 1 블랙아이스 발생 예상 영역을 비행할 수 있다.
그리고, 제 1 블랙아이스 발생 예상 영역에 대해 드론(10)에 탑재된 제 1 열화상 카메라를 이용하여 촬영할 수 있다(단계120). 예를 들면, 제 1 열화상 카메라를 촬영한 제 1 열화상 이미지는 도 2에 도시한 바와 같이 제공될 수 있다.
다음에, 제 1 열화상 카메라를 이용하여 촬영된 제 1 열화상 이미지에서 표면온도에 따라 제 1 일반블록과 제 1 블랙아이스블록을 검출할 수 있다(단계130).
예를 들면, 도 2에 도시한 바와 같은 제 1 열화상 이미지에서 도 3에 도시한 바와 같이 각각의 블록으로 분할한 후에, 각 블록의 표면온도를 색상에 따라 분류하여 해당 블록이 제 1 일반블록인지, 혹은 제 1 블랙아이스블록인지 검출할 수 있는데, 블랙아이스는 물로 이루어져 있어 아스팔트보다 비열이 2배 정도 높기 때문에 아스팔트보다 느리게 냉각되어 다른 색상 범위를 가질 수 있고, 물의 결빙이 진행되고 있을 경우 응고열이 발생하기 때문에 아스팔트보다 상대적으로 높은 온도의 색상 범위를 가질 수 있다.
여기에서, 상기 단계(130)에서는 블랙아이스에 대응하는 기 설정된 온도 범위(예를 들면, -8.5°~ -9.5° 등)를 나타내는 색상 범위의 픽셀수가 기 설정된 기준픽셀수를 초과할 경우 제 1 블랙아이스블록으로 판단할 수 있다.
또한, 블랙아이스의 판단을 위해 지면의 온도와 범위의 연속성이 필요하게 되는데, 전체 범위를 블록으로 나누어 각 블록을 아이스블록과 일반블록으로 분류할 수 있다.
예를 들면, 전체 픽셀수가 25개이고 기준픽셀수를 13으로 설정할 경우 블랙아이스에 대응하는 색상 범위의 픽셀수가 13을 초과할 경우(즉, 14-25개인 경우) 해당 블록을 제 1 블랙아이스블록으로 판단 및 분류할 수 있고, 반대로 블랙아이스에 대응하는 색상 범위의 픽셀수가 13 이하인 경우(즉, 1-13개인 경우) 해당 블록을 제 1 일반블록으로 판단 및 분류할 수 있다.
한편, 딥러닝 방식으로 제 1 블랙아이스블록을 검출할 수 있으며, 이를 위해서 YOLO(You Only Look Once), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나를 이용할 수 있는데, YOLO 알고리즘은 원본 이미지를 동일한 크기의 그리드로 나눈 후, 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 바운딩박스(bounding-box)의 개수를 예측하고, 이를 기반으로 신뢰도를 계산하며, 이미지에 객체가 포함되어 있는지, 또는 배경만 단독으로 있는지의 여부를 고려하여 높은 객체 신뢰도를 가진 위치를 선택해 객체를 파악할 수 있다.
보다 구체적으로 본 발명의 실시예는 YOLO, 좀더 구체적으로는 YOLO v3을 활용하여 구현될 수 있다.
그리고, CNN의 경우 입력 이미지에 대해 컨볼루션 레이어(convolution layer)에서 필터를 이용하여 데이터의 특징을 추출하여 특징 지도(feature map)을 생성하고, 풀링 레이어(pooling layer)에서 이미지의 차원을 축소하여 부표본을 만드는 과정합을 줄여 성능을 향상시키며, 풀리 커넥트 레이어(fully connected layer)에서 추출된 특성으로부터 만들어진 최종 특징 지도를 이용하여 객체를 검출할 수 있다.
또한, SSD의 경우 다양한 크기의 형상 맵(feature map)을 이용하여 객체를 인식하여, 훈련속도나 정확도를 높이는 것이 특징이며, SSD는 하나의 입력 이미지에 대한 CNN을 실행하여 형상 맵(feature map)을 계산하는데, 합성곱 층이 진행됨에 따라 크기가 줄어든게 된다. SSD는 이 과정에서 추출된 모든 형상 맵들을 추론 과정에서 사용하여 객체를 인식하는데, 형상 맵이 다양하게 사용되어 여러 스케일의 객체를 검출한다는 특징을 갖는다.
보다 구체적으로 본 발명에서의 SSD는 바운딩박스 및 객체 분류 확률을 예측하기 위해 이 형상 맵을 4*4 크기로 CNN을 수행하며, CNN 처리 후에 바운딩박스를 예측함으로써, 다양한 스케일의 객체를 검출할 수 있다.
보다 구체적으로, SSD의 경우 바운딩박스를 활용하여, 모바일 환경에서도 사용가능할 정도로 빠른 검출 속도를 보인다는 장점이 있고, 이는 차량이나 드론의 열화상 영상을 실시간적으로 확인하여, 문제를 도출해야 하는 본원 발명에 보다 더 적합한 방식이라고 볼 수 있다.
한편, R-CNN의 경우 입력 이미지를 선별 검색(selective search)을 통해 객체 후보들을 추출하고, 이 후보들을 각각 컨볼루션 레이어에서 특징을 추출하며, 분류기(classifier)에서 분류하는 동시에 바운딩박스를 그리는 방식으로 객체를 검출할 수 있다. 이러한 방식은 전술한 CNN보다 영역을 먼저 추출하고 이후에 컨볼루션 레이어를 통과시키므로, 처리 속도가 CNN에 비해, 더 빠르다는 장점이 있다.
그리고, 제 1 블랙아이스블록이 기 설정된 블록수를 초과할 경우 무선통신망(30)을 통해 복수의 차량, 즉, 제 1 차량(41) 및 제 2 차량(43)으로 제 1 블랙아이스 위치 정보를 전송할 수 있다(단계140). 예를 들면, 도 3에 도시한 바와 같이 전체 블록이 16이고, 기 설정된 블록수가 5로 설정된 상태에서 제 1 블랙아이스블록이 7개인 경우 이는 블랙아이스가 발생된 영역으로 판단한 후에, GPS 위성으로부터 해당 제 1 블랙아이스 위치 정보를 수신하여 제 제 1 차량(41) 및 제 2 차량(43)으로 전송할 수 있다.
이어서, 복수의 차량, 즉, 제 1 차량(41) 및 제 2 차량(43)에서 각각 제 1 블랙아이스 위치 정보와 제 1 경고 알람을 제공할 수 있다(단계150). 예를 들면, 제 1 차량(41) 및 제 2 차량(43)에서 각각 제 1 블랙아이스 위치 정보를 네비게이션 화면 등에 시각적으로 표시할 수 있고, 시각적인 경고 알람(예를 들면, 색상 변화 반복 등), 청각적인 경고 알람(예를 들면, 부저음 출력 등) 등을 포함하는 제 1 경고 알람을 제공할 수 있다.
따라서, 본 발명은 열화상 카메라를 탑재한 드론과 열화상 카메라를 탑재한 차량에서 촬영된 열화상 이미지를 이용하여 블랙아이스를 감지 및 검출하고, 이를 운전자에게 경고함으로써, 안전운전을 유도할 수 있을 뿐만 아니라 교통사고 발생을 미연에 방지할 수 있다.
그리고, 본 발명은 블랙아이스 발생 예상 영역에 드론을 비행시켜 드론에 탑재된 열화상 카메라를 이용하여 촬영된 열화상 이미지에서 표면온도에 따라 일반블록과 블랙아이스블록을 검출하고, 블랙아이스블록이 기 설정된 블록수를 초과할 경우 복수의 차량으로 블랙아이스 위치 정보를 전송하며, 블랙아이스 위치 정보와 경고 알람을 각각의 차량에 제공함으로써, 드론을 통해 블랙아이스의 발생을 효과적으로 검출하여 그 주변을 운행하는 차량에 효과적으로 경고할 수 있다.
다음에, 상술한 바와 같은 열화상 카메라를 탑재한 차량을 이용하여 블랙아이스를 검출하여 다른 차량에 경고하는 과정에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 제 2 실시예에 따라 열화상 카메라와 차량을 이용하여 블랙아이스를 모니터링하는 과정을 나타낸 플로우차트이다. 여기에서, 제 2 실시예는 제 1 실시예와 그 구체적인 기술 내용은 유사하므로, 전체적인 과정에 대해서만 설명하기로 한다.
도 5를 참조하면, 복수의 차량 중 어느 하나의 차량, 즉, 제 1 차량(41)에서 제 2 블랙아이스 발생 예상 영역에 대해 탑재된 제 2 열화상 카메라를 이용하여 촬영할 수 있다(단계210).
그리고, 제 2 열화상 카메라를 이용하여 촬영된 제 2 열화상 이미지에서 표면온도에 따라 제 2 일반블록과 제 2 블랙아이스블록을 검출할 수 있다(단계220).
여기에서, 상기 단계(220)에서는 블랙아이스에 대응하는 기 설정된 온도 범위를 나타내는 색상 범위의 픽셀수가 기 설정된 기준픽셀수를 초과할 경우 제 2 블랙아이스블록으로 판단할 수 있다.
한편, 딥러닝 방식으로 제 2 블랙아이스블록을 검출할 수 있으며, 이를 위해서 YOLO(You Only Look Once), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나의 딥러닝 방식을 이용할 수 있다.
상기 딥러닝 방식은 전술한 제 1 블랙아이스블록의 검출시 활용한 딥러닝 방식과 동일하게 적용할 수 있다.
그리고, 제 2 블랙아이스블록이 기 설정된 블록수를 초과할 경우 무선통신망(30)을 통해 다른 차량들(여기서는, 제 2 차량(43))으로 제 2 블랙아이스 위치 정보를 전송할 수 있다(단계230).
이어서, 다른 차량들(여기서는, 제 2 차량(43))에서 각각 제 2 블랙아이스 위치 정보와 제 2 경고 알람을 제공할 수 있다(단계240).
또한, 상술한 실시예에서는 제 1 블랙아이스 발생 예상 영역에 드론(10)을 이용하고, 이후 제 2 블랙아이스 발생 예상 영역에 복수의 차량( 제 1 차량(41) 등)을 이용하여, 제 1, 2 블랙아이스블록들의 검출을 시도하지만, 복수의 차량에서 먼저 블랙아이스 발생 예상 영역을 통과하면서 블랙아이스블록의 검출을 시도하고, 특정한 기준 임계치보다 블랙아이스블록의 개수가 많은 경우, 드론(10)을 출동하도록 하여, 블랙아이스 발생 예상 영역을 이용하도록 하는 실시예도 가능하다. 즉, 드론(10)과 차량들을 하이브리드로 활용하여 블랙아이스의 검출 등에 활용할 수 있다.
따라서, 본 발명은 복수의 차량 중 어느 하나의 차량에서 블랙아이스 발생 예상 영역에 대해 탑재된 열화상 카메라를 이용하여 촬영된 열화상 이미지에서 표면온도에 따라 일반블록과 블랙아이스블록을 검출하고, 블랙아이스블록이 기 설정된 블록수를 초과할 경우 다른 차량들로 블랙아이스 위치 정보를 전송하며, 블랙아이스 위치 정보와 경고 알람을 각각의 다른 차량에 제공함으로써, 차량을 통해 블랙아이스의 발생을 효과적으로 검출하여 그 주변을 운행하는 다른 차량에 효과적으로 경고할 수 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
10 : 드론
20 : GPS 위성
30 : 무선통신망
41 : 제 1 차량
43 : 제 2 차량
20 : GPS 위성
30 : 무선통신망
41 : 제 1 차량
43 : 제 2 차량
Claims (6)
- 제 1 블랙아이스 발생 예상 영역에 드론을 비행시키는 단계와,
상기 제 1 블랙아이스 발생 예상 영역에 대해 상기 드론에 탑재된 제 1 열화상 카메라를 이용하여 촬영하는 단계와,
상기 제 1 열화상 카메라를 이용하여 촬영된 제 1 열화상 이미지에서 표면온도에 따라 제 1 일반블록과 제 1 블랙아이스블록을 검출하는 단계와,
상기 제 1 블랙아이스블록이 기 설정된 블록수를 초과할 경우 무선통신망을 통해 복수의 차량으로 제 1 블랙아이스 위치 정보를 전송하는 단계와,
상기 복수의 차량에서 각각 상기 제 1 블랙아이스 위치 정보와 제 1 경고 알람을 제공하는 단계와,
상기 복수의 차량 중 어느 하나의 차량에서 제 2 블랙아이스 발생 예상 영역에 대해 탑재된 제 2 열화상 카메라를 이용하여 촬영하는 단계와,
상기 제 2 열화상 카메라를 이용하여 촬영된 제 2 열화상 이미지에서 표면온도에 따라 제 2 일반블록과 제 2 블랙아이스블록을 검출하는 단계와,
상기 제 2 블랙아이스블록이 상기 기 설정된 블록수를 초과할 경우 무선통신망을 통해 다른 차량들로 제 2 블랙아이스 위치 정보를 전송하는 단계와,
상기 다른 차량들에서 각각 상기 제 2 블랙아이스 위치 정보와 제 2 경고 알람을 제공하는 단계를 포함하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법.
- 제 1 항에 있어서,
상기 제 1 블랙아이스블록을 검출하는 단계는, 블랙아이스에 대응하는 기 설정된 온도 범위를 나타내는 색상 범위의 픽셀수가 기 설정된 기준픽셀수를 초과할 경우 상기 제 1 블랙아이스블록으로 판단하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법.
- 제 2 항에 있어서,
상기 제 1 블랙아이스블록은, YOLO(You Only Look Once), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나의 딥러닝 방식으로 검출되는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법.
- 삭제
- 제 1 항에 있어서,
상기 제 2 블랙아이스블록을 검출하는 단계는, 블랙아이스에 대응하는 기 설정된 온도 범위를 나타내는 색상 범위의 픽셀수가 기 설정된 기준픽셀수를 초과할 경우 상기 제 2 블랙아이스블록으로 판단하는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법.
- 제 5 항에 있어서,
상기 제 2 블랙아이스블록은, YOLO(You Only Look Once v3), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나의 딥러닝 방식으로 검출되는 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200022080A KR102284622B1 (ko) | 2020-02-24 | 2020-02-24 | 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200022080A KR102284622B1 (ko) | 2020-02-24 | 2020-02-24 | 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102284622B1 true KR102284622B1 (ko) | 2021-08-02 |
Family
ID=77315614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200022080A KR102284622B1 (ko) | 2020-02-24 | 2020-02-24 | 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102284622B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216592A (ja) * | 2000-02-03 | 2001-08-10 | Mitsubishi Cable Ind Ltd | 道路の路面状態検知装置 |
| KR101516236B1 (ko) | 2015-01-21 | 2015-05-07 | 군산대학교산학협력단 | 노면의 얼음 감지 시스템 |
| KR101785243B1 (ko) * | 2017-03-13 | 2017-10-12 | 주식회사 에이치케이 | 노면의 온도 센싱을 이용한 제설 및 제빙 시스템 |
| KR20190123095A (ko) * | 2018-04-23 | 2019-10-31 | 이길호 | 드론 기반의 전방위 열화상 이미지 처리 방법 및 이를 위한 열화상 이미지 처리 시스템 |
| KR20190140272A (ko) * | 2018-06-11 | 2019-12-19 | 이상현 | 블랙 아이스 감지 장치 및 방법 |
| KR102074462B1 (ko) * | 2019-04-24 | 2020-02-06 | 주식회사 인트모션 | 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법 |
-
2020
- 2020-02-24 KR KR1020200022080A patent/KR102284622B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216592A (ja) * | 2000-02-03 | 2001-08-10 | Mitsubishi Cable Ind Ltd | 道路の路面状態検知装置 |
| KR101516236B1 (ko) | 2015-01-21 | 2015-05-07 | 군산대학교산학협력단 | 노면의 얼음 감지 시스템 |
| KR101785243B1 (ko) * | 2017-03-13 | 2017-10-12 | 주식회사 에이치케이 | 노면의 온도 센싱을 이용한 제설 및 제빙 시스템 |
| KR20190123095A (ko) * | 2018-04-23 | 2019-10-31 | 이길호 | 드론 기반의 전방위 열화상 이미지 처리 방법 및 이를 위한 열화상 이미지 처리 시스템 |
| KR20190140272A (ko) * | 2018-06-11 | 2019-12-19 | 이상현 | 블랙 아이스 감지 장치 및 방법 |
| KR102074462B1 (ko) * | 2019-04-24 | 2020-02-06 | 주식회사 인트모션 | 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11300966B2 (en) | Vehicle control method and apparatus, device, vehicle and storage medium | |
| US9465987B1 (en) | Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms | |
| EP3361412B1 (en) | Black ice detection system, program, and method | |
| CN111800507A (zh) | 一种交通监控方法及交通监控系统 | |
| CN112201051B (zh) | 一种无人机端路面车辆违停检测及取证系统和方法 | |
| KR102288312B1 (ko) | 블랙 아이스를 검출하는 방법 및 장치 | |
| CN111209780A (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
| KR101785401B1 (ko) | 무인비행체를 이용한 적재불량 차량 단속 시스템 및 그 방법 | |
| CN105788269A (zh) | 基于无人机的异常交通识别方法 | |
| CN105074789A (zh) | 火灾检测系统 | |
| CN113593250A (zh) | 一种基于视觉识别的违章停车检测系统 | |
| KR102231343B1 (ko) | 교량 시설물 보호를 위한 해상경보시스템 | |
| CN114445803A (zh) | 驾驶数据的处理方法、装置及电子设备 | |
| US11748664B1 (en) | Systems for creating training data for determining vehicle following distance | |
| CN114089786A (zh) | 一种基于无人机视觉的沿山区公路自主巡检系统 | |
| Branco et al. | MaNIAC-UAV-a methodology for automatic pavement defects detection using images obtained by Unmanned Aerial Vehicles | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN114170569A (zh) | 一种路面异常情况监测方法、系统、存储介质及设备 | |
| KR102026686B1 (ko) | 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버 | |
| CN111222394A (zh) | 一种渣土车超载检测方法、装置及系统 | |
| Hallowell et al. | An automated visibility detection algorithm utilizing camera imagery | |
| US20240078815A1 (en) | Device and method for recognizing obstacles for a vehicle | |
| KR102284622B1 (ko) | 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법 | |
| US20230136925A1 (en) | Mobile roadway sensing | |
| CN115187936B (zh) | 一种海上平台防登临监控系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |