KR102288312B1 - 블랙 아이스를 검출하는 방법 및 장치 - Google Patents

블랙 아이스를 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR102288312B1
KR102288312B1 KR1020200017486A KR20200017486A KR102288312B1 KR 102288312 B1 KR102288312 B1 KR 102288312B1 KR 1020200017486 A KR1020200017486 A KR 1020200017486A KR 20200017486 A KR20200017486 A KR 20200017486A KR 102288312 B1 KR102288312 B1 KR 102288312B1
Authority
KR
South Korea
Prior art keywords
road
information
black ice
learning
sensor
Prior art date
Application number
KR1020200017486A
Other languages
English (en)
Inventor
권장우
김주형
이선우
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200017486A priority Critical patent/KR102288312B1/ko
Application granted granted Critical
Publication of KR102288312B1 publication Critical patent/KR102288312B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Ecology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 획득하는 단계; 상기 블랙 아이스 검출을 위하여 구성된 딥러닝 모델에 상기 도로 정보를 입력하여 학습시키는 단계; 및 상기 학습을 통하여 획득된 학습 결과로서 도로의 표면 정보를 검출하는 단계를 포함할 수 있다.

Description

블랙 아이스를 검출하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTING BLACK ICE}
아래의 설명은 블랙 아이스를 검출 및 예상하는 기술에 관한 것이다.
일반적으로 겨울철 눈이나 비, 서리, 안개 등에 의해 산악, 상시 응달, 교량과 같은 도로의 구간 등에서 발생하 는 결빙을 제거하여 차량의 안전하고 원활한 운행을 이룰 수 있도록 하는 결빙 방지 장치나 예방방법이 사용되고 있다. 이러한 도로 결빙 방지 장치와 예방방법은 예컨대, 도로의 노면에 열선을 매설하고, 눈이 내릴 때 전원을 인가 하여 발열시킴으로써 노면이 결빙되는 것을 방지하도록 하거나, 또는 도로의 온도, 습도 및 조도 등과 같은 환 경을 측정하고 측정된 환경 정보에 의해 도로의 결빙을 예측하여 해당 구간으로 진입하는 차량에 경보하고 도로 관리자에게 통지하는 것 등이 개시된 바 있다.
그러나, 종래의 도로 결빙 방지 장치와 예방방법은 도로의 노면 온도 및 습도와 적설 또는 결빙 여부를 측정하여 노면이 결빙될 수 있는 상황이 되거나 또는 눈이 내리는 경우 노면을 가열함으로써 노면의 결빙을 방지하기 때문에 외기 온도, 외기 습도, 노면 온도가 모두 영하로 측정되고, 적설 또는 결빙이 측정되어야만 결빙방지장치가 동작하도록 이루어진다.
이에 따라, 외부기온이 영상일 경우이면서 도로표면이 영하일 경우, 공기 중의 수분 또는 어는 비(freezing rain)가 도로 표면과 접촉하면서 발생하는 블랙 아이스(black ice: 투명한 얼음이 아스팔트 위를 마치 코팅한 것처럼 뒤덮어 도로에 얼음이 없는 건조한 상태(검정색)로 보이는 현상)를 예방하지 못해, 운전자가 착시현상을 일으켜 차량의 미끄러짐, 추돌, 전복, 중앙선 침범 등과 같은 사고를 예방하지 못하는 문제점이 있었다.
블랙 아이스를 검출 및 예상하는 방법 및 장치를 제공할 수 있다.
검출 장치에 의해 수행되는 블랙 아이스 검출하는 방법은, 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 획득하는 단계; 상기 블랙 아이스 검출을 위하여 구성된 딥러닝 모델에 상기 도로 정보를 입력하여 학습시키는 단계; 및 상기 학습을 통하여 획득된 학습 결과로서 도로의 표면 정보를 검출하는 단계를 포함할 수 있다.
상기 도로 정보를 획득하는 단계는, 상기 검출 장치에 포함된 비전 센서를 통하여 도로를 촬영함에 따라 획득된 도로 영상 정보, 상기 검출 장치에 IR 센서를 통하여 도로를 촬영함에 따라 도로 온도 정보를 포함하는 센서 정보를 획득하는 단계를 포함하고, 상기 검출 장치는, 도로 정보를 획득하기 위한 비전 센서 및 IR 센서를 포함하는 센서 장치를 포함하고, 상기 검출 장치에 포함된 센서 장치를 통하여 도로의 기 설정된 영역에 대한 센서 정보가 획득될 수 있다.
상기 도로 정보를 획득하는 단계는, 기상상태 조건으로 눈, 비를 포함하는 기상상태 및 습도, 강수확률을 포함하는 기상 정보, 상습결빙 구간을 포함하는 도로 노면정보를 획득하는 단계를 포함할 수 있다.
상기 학습시키는 단계는, 상기 블랙 아이스 검출을 위하여 DNN 기반의 딥러닝 모델을 구성하는 단계를 포함할 수 있다.
상기 학습시키는 단계는, YOLACT 심층신경망 모델을 구성함에 따라 각 이미지의 특징을 추출하기 위하여 FPN(Feature Pyramid Network)를 이용하여 도로를 포함하는 객체를 분리하는 단계를 포함할 수 잇다.
상기 학습시키는 단계는, 상기 YOLACT 심층신경망 모델의 통해 상기 도로 정보를 입력 데이터로 입력함에 따라 특징을 추출하고, 추출된 특징으로부터 도로 영역, 도로의 종류 및 도로의 위치를 파악하는 단계를 포함할 수 있다.
상기 학습시키는 단계는, 도로 노면정보에서 상습 결빙구간 값을 0 내지 9로 정량화하고, 기상 정보를 수치화하고, 상기 정량화된 도로 노면정보 및 수치화된 기상 정보를 합성곱을 통하여 적응적 임계치를 획득하는 단계를 포함할 수 있다.
상기 도로의 표면 정보를 검출하는 단계는, 상기 학습 결과로서, 블랙 아이스를 포함하는 영역을 검출하는 단계를 포함할 수 있다.
상기 도로의 표면 정보를 검출하는 단계는, 센서 정보를 딥러닝 모델을 이용하여 포트홀을 포함하는 운전에 저해가 되는 객체 영역을 검지함과 동시에 센서 정보를 기반으로 도로의 온도 정보를 측정하여 블랙 아이스를 예측하는 단계를 포함할 수 있다.
검출 장치는, 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 획득하는 획득부; 상기 블랙 아이스 검출을 위하여 구성된 딥러닝 모델에 상기 도로 정보를 입력하여 학습시키는 학습부; 및 상기 학습을 통하여 획득된 학습 결과로서 도로의 표면 정보를 검출하는 검출부를 포함할 수 있다.
학습 모델을 통하여 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 학습시킴으로써 도로의 표면 정보(블랙 아이스)를 효과적으로 검출할 수 있다.
도 1은 일 실시예에 따른 검출 장치에서 블랙 아이스를 검출하는 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 검출 장치에서 구성된 딥러닝 모델에 기초하여 블랙 아이스를 검출하는 것을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 검출 장치에서 구성된 딥러닝 모델을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 검출 장치에서 객체를 분리하는 동작을 설명하기 위한 예이다.
도 5는 일 실시예에 따른 검출 장치의 구성을 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 검출 장치에서 블랙 아이스를 검출하는 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 검출 장치에서 블랙 아이스를 검출하는 동작을 설명하기 위한 도면이다.
검출 장치는 블랙 아이스를 검출 및 예상하기 위한 것으로, 도로 정보를 획득하기 위한 비전 센서(Red, Green, Blue Camera) 및 IR 센서(Infrared camera)를 포함하는 센서 장치를 포함하고, 검출 장치에 포함된 센서 장치(모듈)를 통하여 도로의 기 설정된 영역에 대한 센서 정보를 획득할 수 있다. 예를 들면, 검출 장치는 특정 위치에 고정된 형태로 설치되어 있을 수 있으며, 또는 차량의 블랙박스를 통하여 예를 들면, 검출 장치는 비전 센서 및 IR 센서를 통하여 도로의 기 설정된 영역을 촬영함에 따라 획득된 각각의 또는 통합된 이미지 정보를 포함하는 센서 정보를 획득할 수 있다. 일례로, 검출 장치는 카메라 정보(RGB), 열화상 정보(T)를 획득할 수 있다.
또한, 검출 장치는 기상상태 조건으로 눈, 비를 포함하는 기상상태 및 습도, 강수확률을 포함하는 기상 정보, 상습결빙 구간을 포함하는 도로 노면정보를 획득할 수 있다. 예를 들면, 검출 장치는 비전 센서 및 IR 센서로부터 센서 정보가 획득한 시간에 대응하는 기상 정보 및 도로 노면정보를 획득할 수 있다. 또는, 검출 장치는 현재의 기상 정보 및 도로 노면정보를 획득할 수 있다. 이때, 검출 장치는 기상 정보를 외부 서버로부터 전달받을 수 있고, 또는 기상 정보를 검출 장치에서 검색을 통하여 기상 정보를 획득할 수 있다. 검출 장치는 사전에 학습을 통하여 획득된 학습 결과를 이용하여 도로에 대한 상습결빙 구간을 포함하는 도로 노면정보를 축적할 수 있고, 또는 상습결빙 구간을 포함하는 도로 노면정보를 외부 서버로부터 전달받거나 검출 장치에서 검색을 통하여 획득할 수도 있다.
검출 장치는 획득된 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 블랙 아이스 검출을 위하여 구성된 딥러닝 모델에 도로 정보를 입력하여 학습시킬 수 있다. 검출 장치는 블랙 아이스 검출을 위하여 DNN 기반의 딥러닝 모델을 구성할 수 있다.
일례로, 도 4를 참고하면, 딥러닝 모델 분류 모델 중 하나인 객체 분리(Instance Segmentation) 방법을 사용할 수 있다. 객체 분리는 객체에 대하여 인식하고 해당 객체의 형태를 잡아주는 방법으로 진행될 수 있다. 동일한 클래스라도 각각이 구분되어 인식될 수 있다. 예를 들면, 도로에 차량들이 존재할 경우, 각각의 차량들을 구분하여 인식할 수 있다.
도 2를 참고하면, 딥러닝 모델을 설명하기 위한 도면이다. 객체 분리 모델은 수많은 연산량을 요구하기 때문에 연산량을 감소시키기 위한 연구가 그 동안 많이 진행되어 왔다. 실시예에서는 그 중 YOLACT라는 심층신경망 모델을 이용하여 객체 분리를 수행할 수 있다.
검출 장치는 YOLACT 심층신경망 모델을 구성함에 따라 각 이미지의 특징을 추출하기 위하여 FPN(Feature Pyramid Network)를 이용하여 도로를 포함하는 객체를 분리할 수 있다. 결과값으로 객체를 포함하는 영역과 마스크 영역에 대한 임계치가 다르게 나오는데 이러한 임계치는 사용자에 따라서 다르고 훈련시키는 데이터에 따라 다르게 설정될 수 있다.
예를 들면, FPN은 탑다운(Top-down) 방식으로 특징을 추출하며, 각 추출된 결과들인 각 추출된 결과들인 low-resolution 및 high-resolution 들을 묶는 방식이다.　 각 레벨에서 독립적으로 특징을 추출하여 객체를 탐지하게 되는데,　상위 레벨의 이미 계산 된 특징을 재사용 하므로 멀티 스케일 특징들을 효율적으로 사용할 수 있다.　 CNN 자체가 레이어를 거치면서 피라미드 구조를 만들고 forward 를 거치면서 더 많은 의미(Semantic)를 가지게 된다.　 각 레이어마다 예측 과정을 넣어서 스케일(Scale) 변화에 더 강한 모델이 되는 것이다.　 이는 skip connection, top-down, cnn forward 에서 생성되는 피라미드 구조를 합친 형태이다.　 포워드(forward) 에서 추출된 의미 정보들을 탑 다운(top-down) 과정에서 업샘플링하여 해상도를 올리고 포워드에서 손실된 지역적인 정보들을 skip connection 으로 보충해서 스케일 변화에 강인하게 되는 것이다. FPN 모델에 ConvNet 의 피라미드 계층 구조가 활용될 수 있다. 피라미드 특징 계층 구조는 낮은 수준에서 높은 수준까지의 의미를 모두 갖고 있으며, 전체적으로 높은 수준의 의미 정보들을 갖춘 피라미드를 생성하게 된다.　 FPN 은 Region Proposeal Network(RPN) 와 Fast R-CNN을 기반으로 한다.　　 FPN 은 입력으로 임의의 크기의 단일 스케일 영상을 다루며,　전체적으로 컨볼루션 방식으로 비례된 크기의 특징 맵을 다중 레벨로 출력하게 된다.　 이 프로세스는 Backbone Convolutional Architecture 와는 독립적이며　ResNet을 사용하여 결과를 보여주게 된다.　
검출 장치는 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 블랙 아이스 검출을 위하여 구성된 딥러닝 모델에 도로 정보를 입력하여 학습시킴에 따라 학습 결과로서 도로 표면 정보를 획득할 수 있다. 예를 들면, 검출 장치는 이미지로부터 배경 영역 객체를 포함하는 객체 영역을 분리할 수 있고, 분리된 객체 영역으로부터 도로를 포함하는 객체 영역을 추출할 수 있다. 또는, 검출 장치는 이미지로부터 도로 또는 차량을 포함하는 객체 영역을 추출할 수 있다. 검출 장치는 YOLACT 심층신경망 모델의 통해 도로 정보를 입력 데이터로 입력함에 따라 특징을 추출하고, 추출된 특징으로부터 도로 영역, 도로의 종류 및 도로의 위치를 파악할 수 있다. 예를 들면, 검출 장치는 도로 영역, 도로의 종류 및 도로의 위치 중 어느 하나가 파악될 수 있다. 검출 장치는 검출된 영역과 관련하여 고속도로, 자동차 전용도로, 대교, 교각 등 도로의 종류를 판단할 수 있다. 이때, 검출 장치는 사전에 도로의 종류를 판단하기 위한 데이터(예를 들면, 특징 정보)가 저장되어 있을 수 있으며, 검출된 영역과 기 저장된 데이터를 비교하여 도로의 종류를 판단할 수 있다. 또한, 검출 장치는 도로의 위치에 대한 좌표 정보를 파악할 수 있다.
검출 장치는 딥러닝 모델을 통하여 객체를 검지함에 있어서, 포트홀과 같은 도로 또는 운전과 관련된 객체 영역을 검지할 수 있다. 만약, 보도블록에 존재하는 사람 또는 건물 등과 같이 도로 또는 운전과 관련없는 객체 영역일 경우, 객체를 검지하였더라도 블랙 아이스 판단을 위한 프로세스는 진행하지 않으며, 추후에, 블랙 아이스로 인하여 사고 발생 가능성의 여부에 따라 도로 또는 운전과 관련없는 객체 영역에 대한 추가적인 프로세스가 진행될 수 있을 것이다.
도 3을 참고하면, 검출 장치는 도로 노면정보에서 상습 결빙구간 값을 0 내지 9로 정량화하고, 기상 정보를 수치화하고, 정량화된 도로 노면정보 및 수치화된 기상 정보에 대한 합성곱(컨볼루션)을 통하여 적응적 임계치를 획득할 수 있다. 일례로, 검출 장치는 기상 정보의 각각의 요소 정보, 도로 노면 정보 상습 결빙구간을 각각의 요소 정보로 설정하고, 설정된 각각의 요소 정보를 1차원 컨볼루션을 하여 임계치를 획득할 수 있다. 예를 들면, 검출 장치는 학습 결과에 대한 결과값이 임계치 이상일 경우, 블랙 아이스로 판단할 수 있고, 학습 결과에 대한 결과값이 임계치 이하일 경우, 블랙 아이스가 아닌 것으로 판단할 수 있다. 또는, 검출 장치는 블랙 아이스를 판단하기 위하여 설정된 임계치 범위에 기초하여 학습 결과에 대한 결과값이 임계치 범위에 포함되는지 여부를 판단하여 객체 영역에 대한 블랙 아이스를 판단할 수도 있다.
일례로, 검출 장치는 비전 센서와 IR센서는 딥러닝 모델을 이용하여 포트홀 등의 운전에 저해가 되는 객체 영역을 검지함과 동시에 IR센서를 기반으로 도로 등의 온도를 측정하여 블랙 아이스를 예측할 수 있다. 이때, 검출 장치는 검지된 객체 영역의 온도가 기 설정된 기준 이하일 경우 블랙 아이스가 발생할 확률이 높은 것으로 판단하여, 검지된 객체 영역을 블랙 아이스가 발생할 것으로 예측할 수 있다. 또한, 검출 장치는 검지된 객체 영역이 상습결빙 구간인지 여부를 판단하여 블랙 아이스를 예측할 수 있다. 예를 들면, 검출 장치는 상습결빙 구간에 대한 정보를 저장하고 있을 수 있으며, 검지된 객체 영역의 위치 정보가 상습결빙 구간에 포함될 경우, 검지된 객체 영역에 대한 블랙 아이스를 예측할 수 있다.
또한, 검출 장치는 검지된 객체 영역으로부터 블랙 아이스를 판단함에 따라 블랙 아이스로 인한 위험도를 추가적으로 판단할 수 있다. 예를 들면, 검출 장치는 검지된 객체 영역 주변에 존재하는 차량들의 밀도에 따라서 블랙 아이스로 인한 사고 위험도(확률 정보)를 계산할 수 있다. 이에, 블랙 아이스로 인한 사고 위험도가 50%이상으로 판단될 경우, 블랙 아이스 주변에 존재하는 차량들 또는 차량들의 전자 기기로 통신을 통하여 알림 메시지 또는 알람을 발생시킬 수 있다. 또한, 검출 장치는 블랙 아이스로 인한 사고 위험도에 따라 등급을 분류할 수 있고, 분류된 등급에 따라 알림 메시지 또는 알람을 다르게 발생시킬 수 있다.
도 5는 일 실시예에 따른 검출 장치의 구성을 설명하기 위한 블록도이고, 도 6은 일 실시예에 따른 검출 장치에서 블랙 아이스를 검출하는 방법을 설명하기 위한 흐름도이다.
검출 장치(100)에 포함된 프로세서는 획득부(510), 학습부(520) 및 검출부(530)를 포함할 수 있다. 이러한 프로세서 및 프로세서의 구성요소들은 도 6의 블랙 아이스를 검출하는 방법이 포함하는 단계들(610 내지 630)을 수행하도록 검출 장치를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서의 구성요소들은 검출 장치(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.
프로세서는 블랙 아이스를 검출하는 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 검출 장치(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 검출 장치를 제어할 수 있다.
단계(610)에서 획득부(510)는 기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 획득할 수 있다. 획득부(510)는 검출 장치에 포함된 비전 센서를 통하여 도로를 촬영함에 따라 획득된 도로 영상 정보, 상기 검출 장치에 IR 센서를 통하여 도로를 촬영함에 따라 도로 온도 정보를 포함하는 센서 정보를 획득할 수 있다. 획득부(510)는 기상상태 조건으로 눈, 비를 포함하는 기상상태 및 습도, 강수확률을 포함하는 기상 정보, 상습결빙 구간을 포함하는 도로 노면정보를 획득할 수 있다.
단계(620)에서 학습부(520)는 블랙 아이스 검출을 위하여 구성된 딥러닝 모델에 상기 도로 정보를 입력하여 학습할 수 있다. 학습부(520)는 블랙 아이스 검출을 위하여 DNN 기반의 딥러닝 모델을 구성할 수 있다. 학습부(520)는 YOLACT 심층신경망 모델을 구성함에 따라 각 이미지의 특징을 추출하기 위하여 FPN(Feature Pramid Network)를 이용하여 도로를 포함하는 객체를 분리할 수 있다. 학습부(520)는 YOLACT 심층신경망 모델의 통해 상기 도로 정보를 입력 데이터로 입력함에 따라 특징을 추출하고, 추출된 특징으로부터 도로 영역, 도로의 종류 및 도로의 위치를 파악할 수 있다. 학습부(520)는 도로 노면정보에서 상습 결빙구간 값을 0 내지 9로 정량화하고, 기상 정보를 수치화하고, 정량화된 도로 노면정보 및 수치화된 기상 정보를 합성곱을 통하여 적응적 임계치를 획득할 수 있다.
단계(630)에서 검출부(530)는 학습을 통하여 획득된 학습 결과로서 도로의 표면 정보를 검출할 수 있다. 검출부(530)는 학습 결과로서, 블랙 아이스를 포함하는 영역을 검출할 수 있다. 검출부(530)는 센서 정보를 딥러닝 모델을 이용하여 포트홀을 포함하는 운전에 저해가 되는 객체를 검지함과 동시에 센서 정보를 기반으로 도로의 온도 정보를 측정하여 블랙 아이스를 예측할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 검출 장치에 의해 수행되는 블랙 아이스 검출 방법에 있어서,
    기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 획득하는 단계;
    블랙 아이스 검출을 위한 딥러닝 모델에 상기 도로 정보를 입력하여 학습시키는 단계; 및
    상기 학습을 통하여 획득된 학습 결과로서 도로의 표면 정보를 검출하는 단계
    를 포함하고,
    상기 학습시키는 단계는,
    YOLACT 심층신경망 모델을 구성함에 따라 각 이미지의 특징을 추출하기 위하여 FPN(Feature Pyramid Network)를 이용하여 도로를 포함하는 객체를 분리하고, 상기 YOLACT 심층신경망 모델을 통해 상기 도로 정보를 입력 데이터로 입력함에 따라 특징을 추출하고, 추출된 특징으로부터 도로 영역, 도로의 종류 및 도로의 위치를 파악하고, 도로 노면정보에서 상습 결빙구간 값을 0 내지 9로 정량화하고, 기상 정보를 수치화하고, 상기 정량화된 도로 노면정보 및 수치화된 기상 정보를 합성곱을 통하여 적응적 임계치를 획득하는 단계
    를 포함하고,
    상기 블랙 아이스 검출을 위한 딥러닝 모델은, 포트홀과 같은 도로 또는 운전과 관련된 객체 영역이 검출되도록 학습된 것으로, 상기 도로 또는 운전과 관련없는 객체 영역일 경우, 객체 영역을 검출하였더라도 블랙 아이스 판단을 진행하지 않도록 구성된 것
    을 포함하는 블랙 아이스 검출 방법.
  2. 제1항에 있어서,
    상기 도로 정보를 획득하는 단계는,
    상기 검출 장치에 포함된 비전 센서를 통하여 도로를 촬영함에 따라 획득된 도로 영상 정보, 상기 검출 장치에 IR 센서를 통하여 도로를 촬영함에 따라 도로 온도 정보를 포함하는 센서 정보를 획득하는 단계
    를 포함하고,
    상기 검출 장치는, 도로 정보를 획득하기 위한 비전 센서 및 IR 센서를 포함하는 센서 장치를 포함하고, 상기 검출 장치에 포함된 센서 장치를 통하여 도로의 기 설정된 영역에 대한 센서 정보가 획득되는, 블랙 아이스 검출 방법.
  3. 제1항에 있어서,
    상기 도로 정보를 획득하는 단계는,
    기상상태 조건으로 눈, 비를 포함하는 기상상태 및 습도, 강수확률을 포함하는 기상 정보, 상습결빙 구간을 포함하는 도로 노면정보를 획득하는 단계
    를 포함하는 블랙 아이스 검출 방법.
  4. 제1항에 있어서,
    상기 학습시키는 단계는,
    상기 블랙 아이스 검출을 위하여 DNN 기반의 딥러닝 모델을 구성하는 단계
    를 포함하는 블랙 아이스 검출 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 도로의 표면 정보를 검출하는 단계는,
    상기 학습 결과로서, 블랙 아이스를 포함하는 영역을 검출하는 단계
    를 포함하는 블랙 아이스 검출 방법.
  9. 제8항에 있어서,
    상기 도로의 표면 정보를 검출하는 단계는,
    센서 정보를 딥러닝 모델을 이용하여 포트홀을 포함하는 운전에 저해가 되는 객체 영역을 검지함과 동시에 센서 정보를 기반으로 도로의 온도 정보를 측정하여 블랙 아이스를 예측하는 단계
    포함하는 블랙 아이스 검출 방법.
  10. 검출 장치에 있어서,
    기상 정보, 도로 노면정보 및 도로의 센서 정보 중 어느 하나를 포함하는 도로 정보를 획득하는 획득부;
    블랙 아이스 검출을 위한 딥러닝 모델에 상기 도로 정보를 입력하여 학습시키는 학습부; 및
    상기 학습을 통하여 획득된 학습 결과로서 도로의 표면 정보를 검출하는 검출부
    를 포함하고,
    상기 학습부는,
    YOLACT 심층신경망 모델을 구성함에 따라 각 이미지의 특징을 추출하기 위하여 FPN(Feature Pyramid Network)를 이용하여 도로를 포함하는 객체를 분리하고, 상기 YOLACT 심층신경망 모델을 통해 상기 도로 정보를 입력 데이터로 입력함에 따라 특징을 추출하고, 추출된 특징으로부터 도로 영역, 도로의 종류 및 도로의 위치를 파악하고, 도로 노면정보에서 상습 결빙구간 값을 0 내지 9로 정량화하고, 기상 정보를 수치화하고, 상기 정량화된 도로 노면정보 및 수치화된 기상 정보를 합성곱을 통하여 적응적 임계치를 획득하는 것을 포함하고,
    상기 블랙 아이스 검출을 위한 딥러닝 모델은, 포트홀과 같은 도로 또는 운전과 관련된 객체 영역이 검출되도록 학습된 것으로, 상기 도로 또는 운전과 관련없는 객체 영역일 경우, 객체 영역을 검출하였더라도 블랙 아이스 판단을 진행하지 않도록 구성된 것
    을 포함하는 검출 장치.
KR1020200017486A 2020-02-13 2020-02-13 블랙 아이스를 검출하는 방법 및 장치 KR102288312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200017486A KR102288312B1 (ko) 2020-02-13 2020-02-13 블랙 아이스를 검출하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200017486A KR102288312B1 (ko) 2020-02-13 2020-02-13 블랙 아이스를 검출하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102288312B1 true KR102288312B1 (ko) 2021-08-10

Family

ID=77316318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200017486A KR102288312B1 (ko) 2020-02-13 2020-02-13 블랙 아이스를 검출하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102288312B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780200A (zh) * 2021-09-15 2021-12-10 安徽理工大学 基于计算机视觉的路面多种病害面积检测及定位方法
KR102381458B1 (ko) * 2021-10-26 2022-03-30 심수민 블랙 아이스 또는 안개가 발생된 도로 또는 교량의 교통 사고 단위 예방 시스템
KR102381456B1 (ko) * 2021-10-26 2022-03-30 심수민 블랙 아이스 또는 안개가 발생된 도로 또는 교량의 교통 사고 예방 시스템
CN114413832A (zh) * 2021-12-02 2022-04-29 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
KR102445621B1 (ko) * 2021-12-28 2022-09-21 주식회사 미래기후 노면 온도 복원 모델을 이용한 기상 감정 보조 방법
KR20230083737A (ko) 2021-12-03 2023-06-12 주식회사 인포웍스 LiDAR 및 EO 센서 정보 융합을 이용한 블랙아이스 검출 시스템
KR20230083736A (ko) 2021-12-03 2023-06-12 주식회사 인포웍스 심층 신경망 기반 다분광 카메라 정보를 활용한 블랙아이스 검출 시스템
KR20240010115A (ko) 2022-07-15 2024-01-23 주식회사 송암이엔지 블랙아이스 탐지 비전 시스템 및 탐지 방법과 학습 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001165677A (ja) * 1999-12-10 2001-06-22 Denso Corp 路面凍結予測装置
KR101318463B1 (ko) * 2013-05-13 2013-10-16 현대오토에버 주식회사 노면상태 정보제공 시스템
CN108513674A (zh) * 2018-03-26 2018-09-07 深圳市锐明技术股份有限公司 一种车前积雪与结冰的检测报警方法、存储介质和服务器
KR101898577B1 (ko) * 2017-09-29 2018-09-13 숭실대학교산학협력단 도로 상태 예측 시스템 및 도로 상태 예측 방법
KR20190019822A (ko) * 2017-08-18 2019-02-27 삼성전자주식회사 이미지의 시맨틱 분리를 위한 시스템 및 방법
KR20190057501A (ko) * 2017-11-20 2019-05-29 디토닉 주식회사 기상 상황에 따른 도로 위험도 예측 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001165677A (ja) * 1999-12-10 2001-06-22 Denso Corp 路面凍結予測装置
KR101318463B1 (ko) * 2013-05-13 2013-10-16 현대오토에버 주식회사 노면상태 정보제공 시스템
KR20190019822A (ko) * 2017-08-18 2019-02-27 삼성전자주식회사 이미지의 시맨틱 분리를 위한 시스템 및 방법
KR101898577B1 (ko) * 2017-09-29 2018-09-13 숭실대학교산학협력단 도로 상태 예측 시스템 및 도로 상태 예측 방법
KR20190057501A (ko) * 2017-11-20 2019-05-29 디토닉 주식회사 기상 상황에 따른 도로 위험도 예측 시스템 및 방법
CN108513674A (zh) * 2018-03-26 2018-09-07 深圳市锐明技术股份有限公司 一种车前积雪与结冰的检测报警方法、存储介质和服务器

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780200A (zh) * 2021-09-15 2021-12-10 安徽理工大学 基于计算机视觉的路面多种病害面积检测及定位方法
KR102381458B1 (ko) * 2021-10-26 2022-03-30 심수민 블랙 아이스 또는 안개가 발생된 도로 또는 교량의 교통 사고 단위 예방 시스템
KR102381456B1 (ko) * 2021-10-26 2022-03-30 심수민 블랙 아이스 또는 안개가 발생된 도로 또는 교량의 교통 사고 예방 시스템
CN114413832A (zh) * 2021-12-02 2022-04-29 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
CN114413832B (zh) * 2021-12-02 2023-12-15 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
KR20230083737A (ko) 2021-12-03 2023-06-12 주식회사 인포웍스 LiDAR 및 EO 센서 정보 융합을 이용한 블랙아이스 검출 시스템
KR20230083736A (ko) 2021-12-03 2023-06-12 주식회사 인포웍스 심층 신경망 기반 다분광 카메라 정보를 활용한 블랙아이스 검출 시스템
KR102445621B1 (ko) * 2021-12-28 2022-09-21 주식회사 미래기후 노면 온도 복원 모델을 이용한 기상 감정 보조 방법
KR20240010115A (ko) 2022-07-15 2024-01-23 주식회사 송암이엔지 블랙아이스 탐지 비전 시스템 및 탐지 방법과 학습 방법

Similar Documents

Publication Publication Date Title
KR102288312B1 (ko) 블랙 아이스를 검출하는 방법 및 장치
JP6180482B2 (ja) マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析）
Bossu et al. Rain or snow detection in image sequences through use of a histogram of orientation of streaks
US9679203B2 (en) Traffic violation detection
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
CN109993789B (zh) 一种共享单车的违停判定方法、装置及相机
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
JP5325899B2 (ja) 侵入警報ビデオ処理装置
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN109961057B (zh) 一种车辆位置获得方法及装置
Suhweil et al. Smart controlling for traffic light time
KR102517546B1 (ko) 차량 주행 위험 예측 시스템 및 그 방법
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
CN106781458A (zh) 一种交通事故监控方法及系统
KR102167292B1 (ko) 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
WO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
CN113515968A (zh) 街道的异常事件检测方法、装置、设备及介质
KR102458136B1 (ko) 적재 불량 트럭 단속 시스템
Srividhya et al. [Retracted] A Machine Learning Algorithm to Automate Vehicle Classification and License Plate Detection
Lee et al. Black ice detection using CNN for the Prevention of Accidents in Automated Vehicle
Ruseruka et al. Augmenting roadway safety with machine learning and deep learning: Pothole detection and dimension estimation using in-vehicle technologies
KR102363760B1 (ko) 실시간으로 노면을 모니터링하기 위한 전자 장치와 그의 동작 방법 및 그를 포함하는 시스템
Vo et al. Advanced Night time Object Detection in Driver-Assistance Systems using Thermal Vision and YOLOv5
Li et al. A video-based algorithm for moving objects detection at signalized intersection
Kansal et al. Real time system for vehicle counting with speed estimation and license plate detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant