KR101136330B1 - 노면 상태 판별 장치 및 노면 상태 판별 방법 - Google Patents

노면 상태 판별 장치 및 노면 상태 판별 방법 Download PDF

Info

Publication number
KR101136330B1
KR101136330B1 KR1020090118243A KR20090118243A KR101136330B1 KR 101136330 B1 KR101136330 B1 KR 101136330B1 KR 1020090118243 A KR1020090118243 A KR 1020090118243A KR 20090118243 A KR20090118243 A KR 20090118243A KR 101136330 B1 KR101136330 B1 KR 101136330B1
Authority
KR
South Korea
Prior art keywords
image
color
road surface
weight
state
Prior art date
Application number
KR1020090118243A
Other languages
English (en)
Other versions
KR20110061741A (ko
Inventor
김철용
조남익
구형일
Original Assignee
주식회사 래도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 래도 filed Critical 주식회사 래도
Priority to KR1020090118243A priority Critical patent/KR101136330B1/ko
Publication of KR20110061741A publication Critical patent/KR20110061741A/ko
Application granted granted Critical
Publication of KR101136330B1 publication Critical patent/KR101136330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 발명은 노면 상태 판별 장치 및 노면 상태 판별 방법에 관한 것으로, 본 발명에 따른 노면 상태 판별 장치는 복수의 편광 영상으로부터 편광비 영상을 산출하는 편광비 연산부와, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 색감 특징 정보를 추출하는 색감 특징 추출부와, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 질감 특징 정보를 추출하는 질감 특징 추출부와, 및 상기 편광비 연산부로부터 입력된 상기 편광비 영상과, 상기 질감 특징 추출부로부터 입력된 질감 특징 정보와, 및 상기 색감 특징 추출부로부터 입력된 색감 특징 정보를 이용하여 건조, 수막, 동결 및 적설 중 어느 하나로 분류하는 학습 분류부를 제공함으로써, 자동으로 정확한 노면의 상태를 판별할 수 있다.

Description

노면 상태 판별 장치 및 노면 상태 판별 방법{ROAD SURFACE STATE DETERMINATION APPARATUS AND ROAD SURFACE STATE DETERMINATION METHOD}
본 발명은 노면 상태 판별 장치 및 노면 상태 판별 방법에 관한 것으로, 특히 자동차 등이 주행하는 도로에서의 노면 상의 수분의 유무나 동결 상태 등의 노면 상태를 판별하는 노면 상태 판별 장치 및 노면 상태 판별 방법에 관한 것이다.
도로의 동결, 적설 등의 위험 상태를 자동으로 감지하여 이를 운전자에게 미리 알려줌으로써 운전 사고를 줄이기 위한 노면 상태 판별 장치에 관한 기술들이 공지되어 있다.
종래의 노면 상태 판별 장치들은 매설식 센서를 장착하거나 사람이 도로의 각 지점에 설치되어 있는 카메라를 주시하여 판단하는 방법을 이용하였다. 그러나 이러한 종래의 노면 상태 판별 장치들은 상대적으로 높은 장착 비용, 인건비 상승 및 잦은 고장 등의 문제점이 있었다.
이러한 문제점을 해결하기 위하여, 도로에 설치된 카메라로부터 취득된 영상 정보와 주변에 설치된 센서를 통해 얻어진 온도 또는 습도 등의 추가 정보를 분석하여 노면 상태를 자동으로 판단하는 노면 상태 판별 장치가 연구되고 있었다.
또한, 도로에 설치된 카메라로부터 취득된 편광 정보만을 이용하여 도로의 표면 상태를 분류하는 경우 건조와 적설 또는 동결과 적설이 잘못 분류되는 경우가 종종 발생하였다.
상술한 문제점을 해결하기 위한 것으로, 본 발명은 학습 분류기를 이용하여 자동으로 노면의 상태를 판별하는 노면 상태 판별 장치 및 노면 상태 판별 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 노면의 각 상태에 대하여 다양한 형태가 존재할 수 있는 질감 특징 정보를 이용하여 노면의 상태를 정확하게 판별하는 노면 상태 판별 장치 및 노면 상태 판별 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명에 따른 노면 상태 판별 장치는, 복수의 편광 영상으로부터 편광비 영상을 산출하는 편광비 연산부와, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 색감 특징 정보를 추출하는 색감 특징 추출부와, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 질감 특징 정보를 추출하는 질감 특징 추출부와, 및 상기 편광비 연산부로부터 입력된 상기 편광비 영상과, 상기 질감 특징 추출부로부터 입력된 질감 특징 정보와, 및 상기 색감 특징 추출부로부터 입력된 색감 특징 정보를 이용하여 건조, 수막, 동결 및 적설 중 어느 하나로 분류하는 학습 분류부를 제공한다.
상기 학습 분류부는 건조 상태를 판별하기 위한 가중치를 부여하는 건조 가중치 모듈과, 수막 상태를 판별하기 위한 가중치를 부여하는 수막 가중치 모듈과, 동결 상태를 판별하기 위한 가중치를 부여하는 동결 가중치 모듈과, 및 적설 상태 를 판별하기 위한 가중치를 부여하는 적설 가중치 모듈을 포함하고, 상기 편광비 연산부로부터 입력된 상기 편광비 영상과, 상기 질감 특징 추출부로부터 입력된 질감 특징 정보와, 및 상기 색감 특징 추출부로부터 입력된 색감 특징 정보는 상기 건조 가중치 모듈, 상기 수막 가중치 모듈, 상기 동결 가중치 모듈 및 상기 적설 가중치 모듈에 각각 입력되는 것이 바람직하다.
상기 편광비 연산부는 상이한 각도로 장착된 편광 렌즈를 구비한 제1 카메라 및 제2 카메라로부터 출력된 편광 영상들로부터 편광비 영상을 산출하는 것이 바람직하다.
상기 색감 특징 추출부는 색감 특징 정보로 R 영상, G 영상, B 영상 및 밝기를 포함할 수 있다.
상기 질감 특징 추출부는 질감 특징 정보로
Figure 112011085889688-pat00001
,
Figure 112011085889688-pat00002
,
Figure 112011085889688-pat00003
, a×c, p×c 및 c를 포함할 수 있다.
상기 학습 분류부는 건조, 수막, 동결 및 적설 중 어느 하나로 분류하기 위하여 온도 데이터를 더 입력받을 수 있다.
상기 온도 데이터는 기상 정보를 이용하는 것이 바람직하다.
본 발명에 따른 노면 상태 판별 방법은, 복수의 편광 영상을 획득하는 단계와, 상기 복수의 편광 영상으로부터 편광비 영상을 산출하고, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 색감 특징 정보를 추출하고, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 질감 특징 정보를 추출하는 단계 와, 상기 편광비 영상과, 상기 질감 특징 정보와, 및 상기 색감 특징 정보를 이용하여 건조, 수막, 동결 및 적설 중 어느 하나로 분류하는 단계를 제공함으로써, 상술한 목적을 달성한다.
상기 건조, 수막, 동결 및 적설 중 어느 하나로 분류하는 단계는 상기 편광비 영상과, 상기 질감 특징 정보와, 및 상기 색감 특징 정보를 건조 상태를 판별하기 위한 가중치를 부여하는 건조 가중치 모듈과, 수막 상태를 판별하기 위한 가중치를 부여하는 수막 가중치 모듈과, 동결 상태를 판별하기 위한 가중치를 부여하는 동결 가중치 모듈과, 및 적설 상태를 판별하기 위한 가중치를 부여하는 적설 가중치 모듈에 각각 입력하여 분류하는 것이 바람직하다.
상기 건조, 수막, 동결 및 적설 중 어느 하나로 분류된 데이터를 색상으로 표시하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 노면 상태 판별 장치 및 노면 상태 판별 방법은 학습 분류기를 이용함으로써 자동으로 정확한 노면의 상태를 판별할 수 있다.
또한, 노면 상태 판별 장치 및 노면 상태 판별 방법은 노면의 각 상태에 대하여 다양한 형태가 존재할 수 있는 질감 특징 정보를 이용함으로써, 노면의 동결 및 적설 상태를 정확하게 분류할 수 있다.
이하, 첨부한 예시 도면에 의거하여 본 발명의 일실시예에 따른 노면 상태 판별 장치를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 노면 상태 판별 장치의 블록도이고, 도 2a 내지 도 2c는 도 1의 편광비 연산부에서 출력되는 편광비 영상을 보여주는 도면이고, 도 3a 내지 도 3g는 도 1의 질감 특징 추출부에서 출력되는 질감 특징 정보들의 성질을 보여주는 도면이다.
도 1에 도시된 바와 같이, 노면 상태 판별 장치(100)는 제1 카메라(110), 제2 카메라(112), 편광비 연산부(120), 질감 특징 추출부(140), 색감 특징 추출부(130), 기상 정보 저장부(150), 학습 분류부(160) 및 디스플레이부(170)를 포함한다.
제1 카메라(110) 및 제2 카메라(112)는 편광 렌즈(미도시됨)가 다른 각도로 장착되어 있다. 따라서 제1 카메라(110) 및 제2 카메라(112)에 촬상된 영상은 소장의 각도로 편광된 영상들이다. 도 1에서는 제1 카메라(110)와 제2 카메라(112)를 도시하여 설명하고 있으나, 수직 편광 필터와 수평 편광 필터를 구비한 카메라를 이용하여 편광된 영상들을 얻을 수도 있는바, 편광된 영상들은 제1 카메라(110)와 제2 카메라(112)로부터 반드시 얻어야 하는 것은 아니다.
편광비 연산부(120)는 편광비를 산출하기 위하여 제1 카메라(110)로부터 입력된 제1 편광 영상과 제2 카메라(112)로부터 입력된 제2 편광 영상을 연산한다. 이 연산의 결과 편광비는 제1 편광 영상과 제2 편광 영상의 밝기의 비로 주어진다. 그리고 편광비 연산부(120)에서 산출된 편광비 영상 P는 학습 분류부(160)에 입력 된다.
동결이나 수막에 의해 반사된 빛은 반사된 각도에 따라서 특정한 방향으로 편광되기 때문에, 동결이나 수막인 도로를 촬영하게 되면 수직 편광 및 수평 편광의 영상의 휘도 차이가 크게 발생한다. 도 2a는 제1 편광 영상을 보여주는 도면이며, 도 2b는 제2 편광 영상을 보여주는 도면이고, 도 2c는 제1 편광 영상 및 제 2 편광 영상을 이용한 편광비 영상을 보여주는 도면이다. 도 2c에서 알 수 있듯이, 제1 편광 영상 및 제 2 편광 영상의 밝기의 비를 얻음으로써 동결이나 수막 상태를 파악할 수 있다.
색감 특징 추출부(130)는 제2 카메라(112)로부터 입력된 편광 영상을 이용하여 색감 특징 정보들 C을 추출한다. 이 색감 특징 정보들은 R 영상, G 영상, B 영상 및 밝기(intensity)이다.
일반적으로 노면 상태를 판별하기 위한 영상 처리는 명암 위주의 영상 중심으로 구현되어 있다. 그러나 노면 상태를 제대로 판별하기 위해서는 색상을 이용하는 것이 바람직하다.
영상에서 각 오브젝트들을 구분하기 위하여 색상 공간을 이용해 전체 영상의 색상 영역을 분할할 수도 있다. 여기서 이용되는 색상 공간은 RGB를 이용한다. 이 RGB 색상 공간을 이용하는 이유는 색상의 빛을 물리적으로 검출하고 만드는데 사용되기 때문이다. 빛의 삼원색은 빨강(R), 초록(G) 및 파랑(B)이며, 모니터는 이 삼원색의 빛을 조합하여 다양한 색깔의 영상을 보여준다.
한편, 노면 상태 판별 장치(100)가 편광비 연산부(120) 및 색감 특징 추출 부(130)만을 구비한 경우 노면 상태를 판별함에 있어, 건조와 적설, 동결과 적설이 잘못 인식되는 경우가 종종 발생했다 즉, 노면의 색깔은 일정하지 않으며, 일조량 또는 태양의 방향에 따라서 색깔은 크게 변할 수 있기 때문에 노면 상태를 분류하는 것이 용이하지 않았다. 그래서 본 발명에 따른 노면 상태 판별 장치(100)는 노면의 각 상태에 대하여 다양한 형태가 존재할 수 있는 질감 특징 정보를 이용하기 위하여 질감 특징 추출부(140)를 구비한다.
질감 특징 추출부(140)는 제2 카메라(112)로부터 입력된 편광 영상을 이용하여 질감 특징 정보들 T을 추출한다.
사람들은 눈으로 파악되는 질감을 통하여 노면의 상태를 파악할 수 있다. 그러나 종래의 노면 상태 판별 장치들은 편광 영상을 이용하여 노면의 상태를 파악했을 뿐, 이 질감을 이용하여 노면 상태를 판별하지 않았다.
질감은 색감과 다르게 하나의 픽셀에 의하여 생기는 성질이 아니라 그 부근 분포에 의하여 생기는 현상이다. 질감에 관한 연구는 질감에 따른 영역 분할, 질감에 따른 영상 분류, 질감이 비슷한 영상 합성 등의 분야에서 연구되었다. 특히, 비슷한 스케일과 선명한 영상이 입력으로 가능할 때에는 질감에 따른 영상 분류를 수행하는 방법들이 많이 제안되었다. 이 영상 분류를 수행하는 방법은 필터 뱅크(filter bank)를 이용하는 방법으로부터 구조 텐서(structure tenser)를 이용하는 방법까지 다양하다.
그 중에서 비교적 단순하면서도 우수한 성능을 보이는 방법의 한 예가 Blodword: Image Segmentation Using Expectation-Maximization and Its Application to Image Querying. PAMI 2002에 기재되어 있으며, 이 질감 특징 정보들로
Figure 112011085889688-pat00007
,
Figure 112011085889688-pat00008
,
Figure 112011085889688-pat00009
, a×c, p×c 및 c가 기재되어 있다.
여기서 Gσ(x,y)는 가우시안 평활 커널(Gaussian smoothing kernal)의 가분 이항식 근사값(separable binomial approximation)이며, L, a 및 b는 Lab 색상 공간에서 컬러를 표현하는 값이다. 여기서 p는 극성(polarity), c는 표준화된 질감 콘트라스트(normalized texture contrast)이다. * 연산자는 컨볼루션(convolution) 연산을 표시하기 위한 연산자로서, 필터와 영상과의 컨볼루션 연산을 표시한다.
도 2a는 오리지널 영상을 도시한 도면이고, 도 2b 내지 도 2g는 이 질감 특징 정보들인
Figure 112011085889688-pat00013
,
Figure 112011085889688-pat00014
,
Figure 112011085889688-pat00015
, a×c, p×c 및 c를 각각 도시한 도면이다. 도 2b 내지 도 2g에서 알 수 있듯이, 이 질감 특징 정보들은 영역별로 구분되는 성질을 보여주고 있다. 이 질감 특징 정보들을 이용하여 노면 상태를 분류한 결과, 동결 및 적설을 좀 더 정확하게 분류할 수 있었다.
기상 정보 저장부(150)에는 온도 및 습도 등의 기상 정보가 저장된다. 즉, 기상 정보 저장부(150)에 저장된 온도, 습도 및 기압 등의 기상 정보 W도 노면의 상태를 판별하는 정보로 이용된다. 예를 들어, 온도가 0℃ 이상으로 어느 이상 경과하면 결빙 상태가 아닐 것임을 예상할 수 있다.
한편, 노면 상태 판별 장치(100)는 인터페이스부(미도시됨)를 이용하여 기상 정보를 발신하는 다른 장치로부터의 온도 및 습도 등의 기상 정보를 수신받아 기상 정보 저장부(150)에 저장한다. 이와 같이, 노면 상태 판별 장치(100)는 학습 분류부(160)에서 온도 및 습도 등의 기상 정보를 이용함으로써, 온도 센서 및 습도 센서를 별도로 설치할 필요가 없다.
학습 분류부(160)는 입력되는 다양한 영상 정보들을 종합하여 도로의 상태를 학습하고, 이 학습 과정에 기초하여 노면의 상태를 분류한다. 즉, 학습 분류부(160)는 편광비 연산부(120)로부터 입력된 편광비 영상과, 질감 특징 추출부(140)로부터 입력된 질감 특징 정보들과, 및 색감 특징 추출부(130)로부터 입력된 색감 특징 정보를 이용하여 노면 상태를 건조, 수막, 동결 및 적설 중 어느 하나로 분류할 수 있도록 학습된다. 또한, 학습 분류부(160)는 다양한 종류의 정보들과 누적된 데이터베이스를 효율적으로 이용한 고성능의 분류기이다.
도 4는 도 1에 도시된 학습 분류부를 보다 상세하게 도시한 블록도이다.
도 4에서 알 수 있듯이, 학습 분류부(160)는 건조 가중치 모듈(410), 수막 가중치 모듈(420), 동결 가중치 모듈(430), 적설 가중치 모듈(440) 및 종합 판단 모듈(450)을 포함한다. 그리고 이 학습 분류부(160)는 노면 상태를 판별하기 위한 학습 기법으로 AdaBoost 학습 기법을 이용한다.
건조 가중치 모듈(410)은 (건조) vs (수막, 동결, 적설)을 위한 모듈로, 편광비 연산부(120)에서 산출된 편광비 영상 P1과, 질감 특징 추출부(140)로부터 입력된 질감 특징 정보들인
Figure 112011085889688-pat00019
,
Figure 112011085889688-pat00020
,
Figure 112011085889688-pat00021
, a×c, p×c 및 c와, 색감 특징 추출부(130)로부터 입력된 색감 특징 정보들인 R 영상, G 영상, B 영상 및 밝기와, 그리고 기상 정보 저장부(150)로부터 입력된 온도 정보 및 습도 정보를 이용하며, 입력된 정보들이 건조에서 나오는 정보들일 경우 큰 값을 출력하며 그렇지 않을 경우 작은 값을 출력한다.
수막 가중치 모듈(420)은 (수막) vs (건조, 동결, 적설)을 위한 모듈로, 편광비 연산부(120)에서 산출된 편광비 영상 P1과, 질감 특징 추출부(140)로부터 입력된 질감 특징 정보들인
Figure 112011085889688-pat00025
,
Figure 112011085889688-pat00026
,
Figure 112011085889688-pat00027
, a×c, p×c 및 c와, 색감 특징 추출부(130)로부터 입력된 색감 특징 정보들인 R 영상, G 영상, B 영상 및 밝기와, 그리고 기상 정보 저장부(150)로부터 입력된 온도 정보 및 습도 정보를 이용하며, 입력된 정보들이 수막에서 나오는 정보들일 경우 큰 값을 출력하며 그렇지 않을 경우 작은 값을 출력한다.
동결 가중치 모듈(430)은 (동결) vs (건조, 수막, 적설)을 위한 모듈로, 편광비 연산부(120)에서 산출된 편광비 영상 P1과, 질감 특징 추출부(140)로부터 입력된 질감 특징 정보들인
Figure 112011085889688-pat00031
,
Figure 112011085889688-pat00032
,
Figure 112011085889688-pat00033
, a×c, p×c 및 c와, 색감 특징 추출부(130)로부터 입력된 색감 특징 정보들인 R 영상, G 영상, B 영상 및 밝기와, 그리고 기상 정보 저장부(150)로부터 입력된 온도 정보 및 습도 정보를 이용하며, 입력된 정보들이 동결에서 나오는 정보들일 경우 큰 값을 출력하며 그렇지 않을 경우 작은 값을 출력한다.
적설 가중치 모듈(440)은 (적설) vs (건조, 수막, 동결)을 위한 모듈로, 편광비 연산부(120)에서 산출된 편광비 영상 P1과, 질감 특징 추출부(140)로부터 입력된 질감 특징 정보들인
Figure 112011085889688-pat00037
,
Figure 112011085889688-pat00038
,
Figure 112011085889688-pat00039
, a×c, p×c 및 c와, 색감 특징 추출부(130)로부터 입력된 색감 특징 정보들인 R 영상, G 영상, B 영상 및 밝기와, 그리고 기상 정보 저장부(150)로부터 입력된 온도 정보 및 습도 정보를 이용하며, 입력된 정보들이 적설에서 나오는 정보들일 경우 큰 값을 출력하며 그렇지 않을 경우 작은 값을 출력한다.
그리고 건조 가중치 모듈(410), 수막 가중치 모듈(420), 동결 가중치 모듈(430) 및 적설 가중치 모듈(440)의 각각에 이용되는 AdaBoost 기법은 다음과 같다. 다만, 각 모듈에 적용되는 AdaBoost 기법은 동일하므로, 편의상 건조 가중치 모듈(410)만을 들어 설명한다.
건조 가중치 모듈(410)에는 학습을 위해서 건조 노면 영상과 그렇지 아니한 비건조 노면 영상으로부터 추출된 특징벡터(x 1 )와, 건조 노면 영상과 비건조 노면 영상의 각각에 대하여 매겨진 라벨 y i =1, -1이 입력된다(i=1,2,...).
y i =1, -1 각각에 대하여 가중치 w1(i) = 1/2m, 1/2n를 초기화한다. 여기서 m, n은 건조 노면 영상과 비건조 노면 영상에서 추출한 샘플의 수이다.
그리고 t=1,2,...,T인 경우, 먼저 가중치를 정규화하고, 가중치를 이용하여 최적의 에러값을 가지는 최적의 분류기 ht(x)를 구하고, αt를 선택하고, 또한 가중치를 갱신한다.
그리고 최종적으로 결정되는 건조 가중치 모듈(410)에서의 분류기는 H(x) = sign[Σαt*ht(x)](t=1,...,T)이다.
본 발명은 이 AdaBoost 기법을 이용하여 (1) 일조량, 도로 표면의 원래의 색 등에 따른 영상의 다양한 변화와, (2) 동결 또는 적설의 다양한 질감 패턴을 학습하게 된다.
그리고 건조 가중치 모듈(410), 수막 가중치 모듈(420), 동결 가중치 모듈(430), 적설 가중치 모듈(440)의 각 가중치는 편광비 영상과 색감 특징 정보들을 이용하여 동결 또는 수막과 건조 또는 적설을 분류될 수 있도록 가중치를 부여할 수 있고, 온도를 이용하여 동결 또는 수막을 분류할 수 있도록 가중치를 부여할 수 있고, 습도를 이용하여 건조 또는 적설을 분류할 수 있도록 가중치를 부여할 수 있으며, 질감 특징 정보들을 이용하여 동결 또는 적설을 분류할 수 있도록 가중치를 부여할 수 있다.
종합 판단부(450)는 건조 가중치 모듈(410), 수막 가중치 모듈(420), 동결 가중치 모듈(430), 적설 가중치 모듈(440)에서의 출력값을 이용하여, 노면 상태를 건조, 수막, 동결 및 적설 중 어느 하나로 분류한다.
디스플레이부(170)는 학습 분류부(160)에서 판별한 건조, 수막, 동결 및 적설 정보를 표시한다.
도 5는 본 발명의 일실시예에 따른 노면의 상태를 분류하여 도시한 도면이 다.
도 5에 도시되어 있듯이, 노면 상태 판별 장치(100)는 디스플레이부(170)에 색상으로 건조, 수막, 동결 및 적설을 분류하여 표시하고 있다.
도 6은 본 발명의 일실시예에 따른 노면 상태 판별 방법의 흐름도이다.
먼저, 노면 상태 판별 장치(100)는 복수의 편광 영상을 획득한다(S602). 즉, 노면 상태 판별 장치(100)는 제1 카메라(110)로부터 제1 편광 영상과 제2 카메라(112)로부터 제2 편광 영상을 얻는다.
편광비 연산부(120)는 편광비를 산출하기 위하여 제1 카메라(110)로부터 입력된 제1 편광 영상과 제2 카메라(112)로부터 입력된 제2 편광 영상으로부터 편광비를 얻는다(S604).
색감 특징 추출부(130)는 제2 카메라(112)로부터 입력된 편광 영상을 이용하여 색감 특징 정보들을 추출한다(S606). 이 색감 특징 정보들은 R 영상, G 영상, B 영상 및 밝기(intensity)이다.
질감 특징 추출부(140)는 제2 카메라(112)로부터 입력된 편광 영상을 이용하여 질감 특징 정보들을 추출한다(S608). 이 질감 특징 정보들은
Figure 112011085889688-pat00043
,
Figure 112011085889688-pat00044
,
Figure 112011085889688-pat00045
, a×c, p×c 및 c이다.
기상 정보 저장부(150)에 저장된 온도 및 습도 등의 기상 정보가 학습 분류 부(160)에 제공된다(S610).
학습 분류부(160)는 입력되는 다양한 영상 정보들을 종합하여 도로의 상태를 학습하고, 이 학습 과정에 기초하여 노면의 상태를 분류한다(S612). 즉, 학습 분류부(160)는 편광비 연산부(120)로부터 입력된 편광비 영상과, 질감 특징 추출부(140)로부터 입력된 질감 특징 정보들과, 및 색감 특징 추출부(130)로부터 입력된 색감 특징 정보를 이용하여 노면 상태를 건조, 수막, 동결 및 적설 중 어느 하나로 분류한다. 이 경우 학습 분류부(160)는 건조 가중치 모듈(410), 수막 가중치 모듈(420), 동결 가중치 모듈(430), 적설 가중치 모듈(440) 및 종합 판단 모듈(450)을 포함할 수 있다.
디스플레이부(170)는 도 5에 도시된 바와 같이, 학습 분류부(160)에서 판별한 건조, 수막, 동결 및 적설 정보를 색상으로 구분하여 표시한다(S614).
본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일실시예에 따른 노면 상태 판별 장치의 블록도이다.
도 2a 내지 도 2c는 도 1의 편광비 연산부에서 출력되는 편광비 영상을 보여주는 도면이다.
도 3a 내지 도 3g는 도 1의 질감 특징 추출부에서 출력되는 질감 특징 정보들의 성질을 보여주는 도면이다.
도 4는 도 1에 도시된 학습 분류부를 보다 상세하게 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 노면의 상태를 분류하여 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 노면 상태 판별 방법의 흐름도이다.

Claims (10)

  1. 상이한 각도로 장착된 편광 렌즈를 구비한 제1 카메라 및 제2 카메라로 노면을 촬영한 복수의 편광 영상으로부터 편광비 영상을 산출하는 편광비 연산부와,
    상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 색감 특징 정보를 추출하는 색감 특징 추출부와,
    상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여
    Figure 112011085889688-pat00069
    ,
    Figure 112011085889688-pat00070
    ,
    Figure 112011085889688-pat00071
    , a×c, p×c 및 c를 포함하는 질감 특징 정보를 추출하는 질감 특징 추출부와, (여기서, Gσ(x,y)는 가우시안 평활 커널의 가분 이항식 근사값, L, a 및 b는 Lab 색상 공간에서 컬러를 표현하는 값, p는 극성, c는 표준화된 질감 콘트라스트, *는 컨볼루션 연산자)
    건조 상태를 판별하기 위한 가중치를 부여하는 건조 가중치 모듈과, 수막 상태를 판별하기 위한 가중치를 부여하는 수막 가중치 모듈과, 동결 상태를 판별하기 위한 가중치를 부여하는 동결 가중치 모듈과, 및 적설 상태를 판별하기 위한 가중치를 부여하는 적설 가중치 모듈을 포함하고, 상기 편광비 연산부로부터 입력된 상기 편광비 영상과, 상기 질감 특징 추출부로부터 입력된 질감 특징 정보와, 및 상기 색감 특징 추출부로부터 입력된 색감 특징 정보를, 상기 건조 가중치 모듈, 상기 수막 가중치 모듈, 상기 동결 가중치 모듈 및 상기 적설 가중치 모듈에 각각 입력하여, 촬영된 노면의 상태를 건조, 수막, 동결 및 적설 중 어느 하나로 분류하는 학습 분류부를 포함하는 것을 특징으로 하는 노면 상태 판별 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 색감 특징 추출부는 색감 특징 정보로 R 영상, G 영상, B 영상 및 밝기를 포함하는 것을 특징으로 하는 노면 상태 판별 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 학습 분류부는 건조, 수막, 동결 및 적설 중 어느 하나로 분류하기 위하여 온도 데이터를 더 입력받는 것을 특징으로 하는 노면 상태 판별 장치.
  7. 제6항에 있어서,
    상기 온도 데이터는 기상 정보를 이용하는 것을 특징으로 하는 노면 상태 판별 장치.
  8. 상이한 각도로 장착된 편광 렌즈를 구비한 제1 카메라 및 제2 카메라로 노면을 촬영하여 복수의 편광 영상을 획득하는 단계와,
    상기 복수의 편광 영상으로부터 편광비 영상을 산출하고, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여 색감 특징 정보를 추출하고, 상기 복수의 편광 영상 중 어느 하나의 편광 영상을 이용하여
    Figure 112011085889688-pat00075
    ,
    Figure 112011085889688-pat00076
    ,
    Figure 112011085889688-pat00077
    , a×c, p×c 및 c를 포함하는 질감 특징 정보를 추출하는 단계와, (여기서, Gσ(x,y)는 가우시안 평활 커널의 가분 이항식 근사값, L, a 및 b는 Lab 색상 공간에서 컬러를 표현하는 값, p는 극성, c는 표준화된 질감 콘트라스트, *는 컨볼루션 연산자)
    상기 편광비 영상과, 상기 질감 특징 정보와, 및 상기 색감 특징 정보를 이용하여 상기 편광비 영상과, 상기 질감 특징 정보와, 및 상기 색감 특징 정보를, 건조 상태를 판별하기 위한 가중치를 부여하는 건조 가중치 모듈과 수막 상태를 판별하기 위한 가중치를 부여하는 수막 가중치 모듈과 동결 상태를 판별하기 위한 가중치를 부여하는 동결 가중치 모듈과 및 적설 상태를 판별하기 위한 가중치를 부여하는 적설 가중치 모듈에 각각 입력하여, 촬영된 노면의 상태를 건조, 수막, 동결 및 적설 중 어느 하나로 분류하는 단계를 포함하는 것을 특징으로 하는 노면 상태 판별 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 건조, 수막, 동결 및 적설 중 어느 하나로 분류된 데이터를 색상으로 표시하는 단계를 더 포함하는 것을 특징으로 하는 노면 상태 판별 방법.
KR1020090118243A 2009-12-02 2009-12-02 노면 상태 판별 장치 및 노면 상태 판별 방법 KR101136330B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090118243A KR101136330B1 (ko) 2009-12-02 2009-12-02 노면 상태 판별 장치 및 노면 상태 판별 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090118243A KR101136330B1 (ko) 2009-12-02 2009-12-02 노면 상태 판별 장치 및 노면 상태 판별 방법

Publications (2)

Publication Number Publication Date
KR20110061741A KR20110061741A (ko) 2011-06-10
KR101136330B1 true KR101136330B1 (ko) 2012-04-20

Family

ID=44396036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090118243A KR101136330B1 (ko) 2009-12-02 2009-12-02 노면 상태 판별 장치 및 노면 상태 판별 방법

Country Status (1)

Country Link
KR (1) KR101136330B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244143B1 (ko) * 2020-12-17 2021-04-22 전남대학교산학협력단 기계학습한 엣지 서버환경에서 블랙아이스, 포트홀, 안개 등을 포함하는 도로 상태를 파악하여 사고발생을 예측함으로써 교통사고를 예방하는 사고발생 예측 장치 및 그 제어방법
KR102290548B1 (ko) * 2021-03-25 2021-08-13 전남대학교산학협력단 딥러닝 모델 기반의 도로 상태 판단을 통한 교통 사고 예방 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101326991B1 (ko) 2011-12-01 2013-11-13 현대자동차주식회사 노면의 성질 감지 장치 및 그 방법
KR101618551B1 (ko) 2014-07-02 2016-05-09 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR101766239B1 (ko) * 2015-07-02 2017-08-08 이승래 도로 표면 상태 인식 장치 및 방법
KR102102161B1 (ko) * 2018-05-18 2020-04-20 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
KR102317633B1 (ko) * 2020-05-19 2021-10-27 재단법인대구경북과학기술원 복수의 도로 영상을 기반으로 하는 도로의 실시간 블랙아이스 검출 시스템 및 그 방법
KR102252557B1 (ko) * 2020-07-17 2021-05-14 세종대학교산학협력단 저조도 이미지의 컨트라스트 향상 방법 및 그 장치
KR102359843B1 (ko) * 2021-04-14 2022-02-09 정태웅 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법
KR102359365B1 (ko) * 2021-05-31 2022-02-08 (주)에스알디코리아 도로 기후조건 시각화 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357386A (ja) 2000-06-14 2001-12-26 Takuwa Corp 路面状況検出方法およびその装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357386A (ja) 2000-06-14 2001-12-26 Takuwa Corp 路面状況検出方法およびその装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한태환, 류승기, "웨이블릿 영상처리에 의한 도로표면상태 인식 및 분류", 조명?전기설비학회논문지, 제22권 제4호, pp. 26-34, 2008.4 *
한태환, 류승기, "웨이블릿 영상처리에 의한 도로표면상태 인식 및 분류", 조명?전기설비학회논문지, 제22권 제4호, pp. 26-34, 2008.4*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244143B1 (ko) * 2020-12-17 2021-04-22 전남대학교산학협력단 기계학습한 엣지 서버환경에서 블랙아이스, 포트홀, 안개 등을 포함하는 도로 상태를 파악하여 사고발생을 예측함으로써 교통사고를 예방하는 사고발생 예측 장치 및 그 제어방법
WO2022131439A1 (ko) * 2020-12-17 2022-06-23 전남대학교산학협력단 기계학습한 엣지 서버환경에서 블랙아이스, 포트홀, 안개 등을 포함하는 도로 상태를 파악하여 사고발생을 예측함으로써 교통사고를 예방하는 사고발생 예측 장치 및 그 제어방법
KR102290548B1 (ko) * 2021-03-25 2021-08-13 전남대학교산학협력단 딥러닝 모델 기반의 도로 상태 판단을 통한 교통 사고 예방 장치 및 방법

Also Published As

Publication number Publication date
KR20110061741A (ko) 2011-06-10

Similar Documents

Publication Publication Date Title
KR101136330B1 (ko) 노면 상태 판별 장치 및 노면 상태 판별 방법
CN103761529B (zh) 一种基于多色彩模型和矩形特征的明火检测方法和系统
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
CN109740478B (zh) 车辆检测及识别方法、装置、计算机设备及可读存储介质
EP1862941B1 (en) Method and apparatus for identifying properties of an object detected by a video surveillance camera
Bevilacqua Effective shadow detection in traffic monitoring applications
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN110040595B (zh) 一种基于图像直方图的电梯门状态检测方法及系统
CN103544484A (zh) 一种基于surf的交通标志识别方法及系统
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN101916383A (zh) 基于多摄像机的车辆检测跟踪识别系统
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
Wali et al. Shape matching and color segmentation based traffic sign detection system
Chen et al. Toward community sensing of road anomalies using monocular vision
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
CN114882400A (zh) 一种基于ai智能机器视觉技术的骨料检测分类方法
CN113221603A (zh) 一种检测监控设备被异物遮挡的方法及装置
Thomas et al. Recent advances towards a robust, automated hurricane damage assessment from high-resolution images
Zingman et al. Morphological operators for segmentation of high contrast textured regions in remotely sensed imagery
CN112241691B (zh) 基于无人机巡检与图像特征的渠道冰情智能识别方法
Li et al. Real-time traffic sign detection algorithm based on dynamic threshold segmentation and SVM
Kaur et al. An Efficient Method of Number Plate Extraction from Indian Vehicles Image
CN109299655A (zh) 一种基于无人机的海上溢油在线快速识别方法
Marinas et al. Detection and tracking of traffic signs using a recursive Bayesian decision framework
Kaur et al. Text Extraction from Natural Scene using PCA.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee