KR20240053377A

KR20240053377A - 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법

Info

Publication number: KR20240053377A
Application number: KR1020220133387A
Authority: KR
Inventors: 김민현
Original assignee: 주식회사 모바휠
Priority date: 2022-10-17
Filing date: 2022-10-17
Publication date: 2024-04-24

Abstract

본 발명은 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 도로의 기설정된 감지 영역으로 음파 신호를 송신한 후에 반사된 신호를 수신하는 음파센서와 상기 기설정된 감지 영역을 포함하는 도로에 대한 이미지를 획득하는 비전센서를 함께 구비하되, 인공지능을 이용하여 상기 음파센서로부터 획득한 신호와 상기 비전센서로부터 획득한 이미지를 융합하여 분석함으로써 도로의 노면 상태를 정확하게 감지할 수 있도록 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법을 제공한다.

Description

비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법 {MONITORING SYSTEM FOR ROAD CONDITION HAVING VISION SENSOR AND SOUND WAVE SENSOR AND METHOD THEREOF}

본 발명은 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 도로의 기설정된 감지 영역으로 음파 신호를 송신한 후에 반사된 신호를 수신하는 음파센서와 상기 기설정된 감지 영역을 포함하는 도로에 대한 이미지를 획득하는 비전센서를 함께 구비하되, 인공지능을 이용하여 상기 음파센서로부터 획득한 신호와 상기 비전센서로부터 획득한 이미지를 융합하여 분석함으로써 도로의 노면 상태를 정확하게 감지할 수 있도록 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 관한 것이다.

미국에서는 매년 600 만건 내외의 교통사고가 발생한다. 특히, 노면의 미끄러움만으로 미국에서만 한해 평균 120 만건 이상의 사고가 발생하고, 이러한 사고로 매년 5000명 이상이 사망하고 있다. 이에, 노면의 미끄러움은 국가와 보험사에 큰 부담으로 작용하는 하나의 사회적 문제로 대두되고 있다.

한국도 예외는 아니다. 매년 겨울철마다 블랙아이스 사고가 발생하며, 최근 5년간 6,500 건이 발생했으며, 사망자수는 200 여명에 달한다.

우리나라에서 융설 과정은 4단계로 이뤄지고 있는데, 이 모든 과정의 전달이 사람에 의해 수동적으로 전달되고 있으며, 최종 단계까지 전달될 때까지 수 시간이 소요된다. 지난번 상주영천고속도로의 블랙아이스 사고의 경우도, 담당공무원이 예보를 확인했지만 사전 융설을 요청하지 않아 발생한 인재였다.

이러한 사고는 노면의 상태를 실시간으로 감지할 수 있는 센서 및 이를 이용한 알림 시스템의 부재로 인한 것이다.

한편, 지금까지 노면의 종류나 노면의 마찰계수를 추정하는 방법으로 제안 된 방법으로는 크게 두 가지가 있다.

하나는 직접적 방법으로 물리적인 마찰을 일으켜서 알아내는 방법이고, 다른 하나는 간접적 방법으로 전파나 음파를 이용하는 방법이다.

먼저, 직접적 방법에는 휠기반의 방법과 차량 동역학 기반의 방법이 있다.

이 두 방법의 공통점은 운전자의 의도와 무관하게 브레이크를 작동시켜서 차량의 감속 정도로 노면의 마찰계수를 추정하는 것이다.

이 방법은 마찰계수를 알고 싶은 해당 노면을 밟아야지만 알 수 있고 차량 동역학 모델이 필수적으로 필요하다. 또한 브레이크를 동작시켜야 하므로 승차감이나 연비에 영향을 주는 한계가 있다.

한편, 간접적 방법에는 전자기파와 음파를 이용한 방식이 있는데, 이 두 방식 모두 물리적인 마찰이 필요하지 않으므로, 차량 동역학 모델에 대해 독립적으로 사용할 수 있으며 해당 노면의 접촉 없이 미리 노면의 상태를 알 수 있는 장점이 있다.

상기 전자기파 기반의 방식은 카메라, 라이다, 레이더 등을 사용하는데, 상당히 멀리 볼 수 있지만, 정확도가 상대적으로 떨어지며, 시스템의 가격이 수백에서 수천 달러에 형성되어 매우 고가에 속한다. 또한, 데이터의 양이 많아서 데이터 셋(Data Set)을 만드는데 어려움도 있다.

또한 전자기파 방식 중 하나인 이미지 센서를 사용한 방식이 있으며, 영상 센서인 카메라를 이용해서 노면의 종류를 구분한다. 하지만 이미지 센서의 경우 조도에 영향을 크게 받으며, 블랙아이스는 사람에 눈에 잘 보이지 안 듯, 비전센서는 이를 감지하지 못한다. 이러한 한계로 이미지 센서를 사용 방법의 평균 성능은 70% 미만이다, 또한, 이미지 센서뿐 아니라 고성능의 영상 처리장치가 필요하여 그 비용이 상대적으로 크다.

블랙아이스의 경우 사람의 눈에 보이지 않듯이 이미지 센서로도 감지가 불가능하다. 즉, 이미지 센서 방식으로는 다양한 종류의 노면을 구분할 수 없는 한계가 있다.

한편, 상기 음파를 이용한 방식으로는, 패시브(Passive) 센싱 방식과 액티브(Active) 센싱 방식이 있는데, 패시브 센싱 방식으로 일정 시간동안 타이어에서 나는 소음을 마이크로 녹음한 후 인공신경망을 이용하여 분류하는 방식이 있다. 이러한 방식에서 타이어가 지나간 노면에 대해서만 노면의 종류를 알 수가 있고 분류에 긴 시간이 소요되는 한계가 있다. 한편, 액티브 센싱 방식 중에는, 거리와 반사 세기 정보만 이용하여 반사된 노면을 구분하는 연구가 있는데, 이는 주변 외란에 약하다는 단점이 있다.

한편, 요즘 도로에 번호판이 하늘색인 전기차와 수소차가 많이 보이고 있다. 블룸버그에 의하면 2040년에는 판매되는 차량의 반 이상이 전기차가 될 것이라고 예측하고 있으며, 도로에 다니는 차량의 3분의 1이 전기차가 될것이라고 예상하고 있다.

전기차의 주행가능 거리인 마일리지를 늘리기 위해 차량 제조사들은 회생 제동을 적극적으로 활용하고 있다. 그런데 회생제동으로 인해 차가 미끄러져서 사고가 났다는 소식을 어렵지 않게 들을 수 있다. 회생 제동으로 뒷바퀴에 견인력을 잃었다던지 바퀴가 잠기는 증상이 발생한다

현재 테슬라의 회생제동 설정을 보면 표준과 낮음으로 변경시킬 수는 있지만 끄는 옵션은 없다. 이러한 사고가 나는 이유는 회생제동 모듈의 제어주기가 100ms로 다른 시스템보다 긴 편이며 제조사가 회생제동 기능을 끌 수 있게 만들지 않는 이유는 차량의 이동가능 거리가 급격히 하락하기 때문이다.

주행하는 노면의 상태에 따라 회생제동을 하면 가장 좋을 것 같지만 노면의 종류를 차량이 지나가기 전에 미리 알 수 없어 이러한 문제가 생긴다고 할 수 있다.

한편, 음파를 송신하고 수신하기까지의 거리(간격)가 먼 경우, 그 사이에 송신 음파 신호 및 수신 음파 신호는 대기(공기)를 통해 전해지며 자연스럽게 감쇄가 일어난다. 따라서, 감쇄된 수신 음파 신호를 이용할 경우 노면 상태를 결정하는 시스템의 정확도가 떨어지게 되는 문제점이 있다.

한국등록특허 [10-1716270]에서는 전방 지면 상태 추정 장치 및 방법이 개시되어 있다.

한국등록특허 [10-2136576]에서는 노면 상태 측정 장치 및 노면 상태 진단 시스템가 개시되어 있다.

한국등록특허 [10-2156295]에서는 초음파 신호를 이용한 노면 종류 추정 방법 및 장치가 개시되어 있다.

한국등록특허 [10-2207816]에서는 센서 데이터를 이용한 노면 상태 측정 방법 및 그 장치가 개시되어 있다.

한국등록특허 [10-1716270](등록일자: 2017. 03. 08) 한국등록특허 [10-2136576](등록일자: 2020. 07. 16) 한국등록특허 [10-2156295](등록일자: 2020. 09. 09) 한국등록특허 [10-2207816](등록일자: 2021. 01. 20)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 도로의 기설정된 감지 영역으로 음파 신호를 송신한 후에 반사된 신호를 수신하는 음파센서와 상기 기설정된 감지 영역을 포함하는 도로에 대한 이미지를 획득하는 비전센서를 함께 구비하되, 인공지능을 이용하여 상기 음파센서로부터 획득한 신호와 상기 비전센서로부터 획득한 이미지를 융합하여 분석함으로써 도로의 노면 상태를 정확하게 감지할 수 있도록 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법을 제공하는 것이다.

본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템은, 도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하기 위한 음파센서(10); 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하기 위한 비전센서(20); 상기 음파센서가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류하기 위한 인공신경망(30); 상기 비전센서에 의해 획득한 이미지를 입력 신호로 하여 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할하기 위한 세그멘테이션 처리부(40); 및 상기 음파센서, 상기 비전센서, 상기 인공신경망 및 상기 세그멘테이션 처리부의 동작을 제어하고, 상기 인공신경망으로부터 출력되는 상기 기설정된 지점의 노면 상태, 및 상기 세그멘테이션 처리부로부터 출력되는 다수의 세그멘테이션된 영역을 융합하여 해당 도로의 노면 상태를 결정하기 위한 제어부(70)를 포함한다.

상기 제어부(70)는, 상기 각 세그멘테이션된 영역의 중점의 위치를 계산하고, 각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산하고, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단하고, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단하고, 상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정하는 것을 특징으로 한다.

상기 인공신경망(30)은, 1D CNN (Conventional Neural Network) 또는 ANN (Artificial Neural Network) 중 어느 하나로 구현된 인공지능 모델인 것을 특징으로 하고, 상기 세그멘테이션 처리부(40)는, 오토 인코더(Auto-Encoder) 또는 유넷(U-Net)으로 구현되는 합성곱인공신경망(CNN : Conventional Neural Network) 기반의 이미지 세그멘테이션 모델 (image segmentation model)인 것을 특징으로 한다.

또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템은, 도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하기 위한 음파센서(10); 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하기 위한 비전센서(20); 상기 음파센서가 획득한 반사된 신호로부터 제1 특징을 추출하기 위한 제1 특징 추출부(81); 상기 비전센서에 의해 획득한 이미지로부터 제2 특징을 추출하기 위한 제2 특징 추출부(82); 상기 제1 특징 및 제2 특징을 입력으로 하고 상기 음파센서가 획득한 신호 및 상기 비전센서에 의해 획득한 이미지로부터 추출된 특징으로부터 학습된 노면 데이터조합분류모델에 기반하여 해당 도로의 노면 상태를 분류하기 위한 조합 인공신경망(90); 및 상기 음파센서, 상기 비전센서, 상기 제1 특징 추출부, 상기 제2 특징 추출부, 및 상기 조합 인공신경망의 동작을 제어하는 제어부(70)를 포함한다.

상기 조합 인공신경망(90)은, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델에 의해 학습 및 분류되는 것을 특징으로 한다.

또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법은, 도로 상태 모니터링을 위해 음파센서가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하는 음파데이터획득단계(S10); 상기 음파센서가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류하는 노면상태감지단계(S20); 비전센서가 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하는 이미지촬영단계(S30); 상기 비전센서에 의해 획득한 이미지를 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할하기 위한 세그멘테이션단계(S40); 상기 기설정된 지점의 노면 상태 및 상기 다수의 구분되는 세그멘테이션된 영역을 융합하여 분석하기 위한 융합분석단계(S50); 상기 융합분석단계(S50)의 분석에 따라 해당 도로의 노면 상태를 결정하기 위한 노면상태결정단계(S60); 해당 도로의 노면 상태에서 위험이 감지되었는지 판단하는 위험판단단계(S70); 및 해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달하는 위험알림단계(S80)를 포함한다.

상기 융합분석단계(S50)는, 상기 각 세그멘테이션된 영역의 중점의 위치를 계산하는 중점계산단계(S51); 각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산하는 직선의방정식계산단계(S52); 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단하는 제1양음관계판단단계(S53); 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단하는 제2양음관계판단단계(S54); 및 상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정하는 단계(S55)를 포함하는 것을 특징으로 한다.

상기 위험알림단계(S80)는, 상기 다수의 구분되는 세그멘테이션된 영역을 포함하는 이미지에 위험 영역이 표시되어 상기 관제서버로 전송되는 것을 특징으로 한다.

또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법은, 도로 상태 모니터링을 위해 음파센서가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하는 음파데이터획득단계(S110); 상기 반사된 신호의 제1 특징을 추출하는 제1 특징추출단계(S120); 비전센서가 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하는 이미지촬영단계(S130); 상기 이미지의 제2 특징을 추출하는 제2 특징추출단계(S140); 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징을 조합하여 학습된 분류모델에 기반하여 해당 도로의 노면 상태를 분석하는 노면상태분석단계(S150); 상기 노면상태분석단계(S150)의 분석에 따라 해당 도로의 노면 상태를 결정하기 위한 노면상태결정단계(S160); 해당 도로의 노면 상태에서 위험이 감지되었는지 판단하는 위험판단단계(S170); 해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달하는 위험알림단계(S180)를 포함한다.

상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델에 의해 학습 및 분류되는 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따르면, 상기 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따르면, 상기 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 의하면, 도로의 기설정된 감지 영역으로 음파 신호를 송신한 후에 반사된 신호를 수신하는 음파센서와 상기 기설정된 감지 영역을 포함하는 도로에 대한 이미지를 획득하는 비전센서를 함께 구비하되, 인공지능을 이용하여 상기 음파센서로부터 획득한 신호와 상기 비전센서로부터 획득한 이미지를 융합하여 분석함으로써 도로의 노면 상태를 정확하게 감지할 수 있는 효과가 있다.

또한, 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 의하면, 넓은 영역에 대한 직관적 인식 구분이 가능한 비전센서의 장점과, 대상 객체의 물성을 이용하여 광원의 영향을 받지 않고 정확하게 대상을 인식할 수 있는 음파센서 기술을 융합하여 넓은 범위의 노면을 정확하게 인지할 수 있는 효과가 있다.

또, 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 의하면, 세그멘테이션을 통해 음파센서로 측정된 부분을 포함하는 노면 영역이 어떤 형상인지를 정확히 파악할 수 있기 때문에, 결빙이나 도로 젖음이 국소적으로 발생한 노면에서도 정확한 노면의 상태 파악이 가능한 효과가 있다.

아울러, 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법에 의하면, 노면에서 블랙아이스 등 위험이 감지될 경우, 세그멘테이션의 결과로 영역 분할된 이미지에서 위험 정보를 결합하여 관리자(관제 서버)에게 노면 위험 구간에 대한 알림을 전송하는 형식으로 활용할 수 있으므로, 관리자가 블랙아이스가 형성된 영역을 바로 확인 할 수 있어 대응이 신속히 이루어질 수 있다.

도 1은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도.
도 3은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 균일한 노면의 인식 방법을 설명하는 도면.
도 4는 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 비균일한 노면의 인식 방법을 설명하는 도면.
도 5는 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 음파센서의 감지 영역이 어떤 세그멘테이션 영역인지 찾는 방법을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 인공신경망(30)의 일 예를 설명하기 위한 도면.
도 7은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 세그멘테이션처리부(40)의 일 예를 설명하기 위한 도면.
도 8은 본 발명에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 일실시예 흐름도.
도 9는 도 8의 융합분석단계(S50)의 일실시예 상세 흐름도.
도 10은 본 발명의 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도.
도 11은 본 발명에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 다른 실시예 흐름도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.

도 1은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 도로(100) 상에 구조물(1)이 위치하고, 상기 구조물(1)에는 음파센서(10) 및 비전센서(20)가 구비된다.

상기 음파센서(10)는 도로(100)에서 차량의 주행로 상에 위치하여 도로면에 수직이 되도록 상기 구조물(1)에 구비되며, 상기 비전센서(20)는 도로의 전체 영역이 촬영되도록 상기 구조물(1)에 설치될 수 있다.

한편, 도 1에는 상기 음파센서(10) 및 상기 비전세서(20)로부터 획득한 데이터를 제어부(미도시)로 전달하기 위한 통신부(50)가 도시되어 있다.

비전센서(20)는 인공신경망의 발전과 함께 산업 전 분야에서 인공지능 모델과 결합한 솔루션이 확산되고 있고 사물 인식, 검출, 세그멘테이션 분야에서의 주류 기술 중 하나이다. 인공지능 기술의 발전으로 인해, 사람이 사진(이미지)으로부터 직관적으로 대상을 인식하고 영역을 구분하는 방식과 유사하게 비전센서(20)가 동작할 수 있는 알고리즘이 실현되고 있다.

그러나, 비전센서(20)는 매체 특성상 광원의 영향을 크게 받아, 조명환경에 대한 보정처리 기술이 꾸준히 연구 개발되어 왔으나, 아직까지 야외 환경에서의 실용화에서는 풀리지 못한 난제들이 많다.

그 중 하나의 문제가 노면에서의 블랙아이스의 감지 여부라고 할 수 있는데, 광원 환경에 따라 도로의 결빙 상태, 즉 블랙아이스와 단순히 젖은 상태의 노면을 분간할 수 없다는 것이다. 분간할 수 없는 대상 간의 식별은 이미지로부터 분류 알고리즘을 수립할 수 없고 인공지능 학습을 위한 데이터 제작도 불가하다.

한편, 음파센서(10)를 이용한 사물의 인식은, 음파를 이용하여 인식 대상 표면을 타격 후 반사되는 신호의 파형 분석을 통해 가능하며, 반사가 이뤄지는 대상 표면의 음향 임피던스나 표면 거칠기에 따라 반사파가 결정되는 원리를 이용한다.

즉, 음파센서(10)는 넓은 범위의 음파 스펙트럼을 이용하면 외부 노이즈에 강인해져 노면의 블랙아이스 인식이 가능하다.

그러나, 음파센서(10)는 펜슬-빔(Pencil beam) 형태로 음파를 탐상체에 송/수신하여 대상 표면으로부터 반사된 임피던스를 통해 물성을 파악하는데, 탐상체 표면의 좁은 면적(101)만 관찰할 수 있기 때문에 비전센서(20)와 비교하여 탐지 가능 면적이 매우 작다.

즉, 비전센서는 음파센서와 비교했을 때 넓은 범위의 재질을 확인할 수 있지만 그 재질에 대한 인지 정확도가 낮은 한편, 음파센서는 비전센서와 비교했을 때 좁은 범위의 재질만 확인할 수 있지만 재질에 대한 인지 정확도가 높다.

따라서, 본 발명은 넓은 영역에 대한 직관적 인식 구분이 가능한 비전센서의 장점과, 대상 객체의 물성을 이용하여 광원의 영향을 받지 않고 정확하게 대상을 인식할 수 있는 음파센서 기술을 융합하여 넓은 범위의 노면을 정확하게 인지하는 방법에 관한 것이다.

도 2는 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템은, 음파센서(10), 비전센서(20), 인공신경망(30), 세그멘테이션 처리부(40), 및 제어부(70)를 포함한다.

상기 음파센서(10)는 도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신한다.

상기 비전센서(20)는 상기 기설정된 지점을 포함하는 도로 면의 영상을 획득한다.

상기 인공신경망(30)은 상기 음파센서(10)가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류한다. 상기 노면 상태는 마른 노면(dry), 물(water), 블랙아이스(ice), 및 눈(snow) 등을 포함한다.

상기 세그멘테이션 처리부(40)는 상기 비전센서(2)에 의해 획득한 이미지를 입력 신호로 하여 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할한다.

상기 제어부(70)는 상기 음파센서(10), 상기 비전센서(20), 상기 인공신경망(30) 및 상기 세그멘테이션 처리부(40)의 동작을 제어하고, 상기 인공신경망(30)으로부터 출력되는 상기 기설정된 지점의 노면 상태, 및 상기 세그멘테이션 처리부(40)로부터 출력되는 다수의 세그멘테이션된 영역을 융합하여 해당 도로의 노면 상태를 결정한다.

상기 제어부(70)가 해당 도로의 노면 상태를 결정하는 과정은 도 5를 들어 자세히 설명하기로 한다.

상기 제어부(70)는 음파 센서가 지면을 타격한 지점을 포함하는 세그멘테이션 영역을 산출한다. 단, 본 발명에 따른 시스템의 설치 시점에서 음파센서의 지면 타격점(감지 영역)은 노면에서 상습 결빙 구간으로 설정하는 것이 바람직하며, 해당 감지 영역의 위치는 시스템에서 이미 알고 있어야 한다.

최종적으로, 음파센서가 지면을 타격한 지점(감지 영역)을 포함하는 세그멘테이션 영역에 파형 데이터의 분류 클래스(노면 종류)를 할당한 이미지 정보를 출력할 수 있다.

도 3은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 균일한 노면의 인식 방법을 설명하는 도면이다.

도 3을 참고하면, (a)는 비전센서(20)의 촬영 이미지이고, 음파센서(10)의 감지 영역(기설정된 영역)(300)의 위치를 표시하였다. (b)는 (a)의 촬영 이미지를 세그멘테이션하여 세그멘테이션된 영역이 표시된 것을 도시하였다. (c)는 학습된 노면 분류모델(인공지능 모델)에 기반하여 노면의 종류를 분류하여 상기 감지 영역(300)의 노면 상태를 감지한다. (d)는 (c)에서 감지한 영역(300)이 포함되는 세그멘테이션 영역을 (b)의 세그멘테이션 영역들로부터 찾아 최종적으로 블랙 아이스 영역이 표시된 이미지를 도시하였다.

여기서, (b)는 도로의 전 영역이 하나의 세그멘테이션 영역으로 구분이 되고, 음파센서(10)를 통해 노면을 감지한 감지 영역(300)은 블랙아이스로 감지되었기에, 최종적으로 (d)와 같은 결과를 출력한다.

도 4는 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 비균일한 노면의 인식 방법을 설명하는 도면이다.

도 4를 참고하면, (a)는 비전센서(20)의 촬영 이미지이고, 음파센서(10)의 감지 영역(기설정된 영역)(300)의 위치를 표시하였다. (b)는 (a)의 촬영 이미지를 세그멘테이션하여 세그멘테이션된 영역이 표시된 것을 도시하였다. (c)는 학습된 노면 분류모델(인공지능 모델)에 기반하여 노면의 종류를 분류하여 상기 감지 영역(300)의 노면 상태를 감지한다. (d)는 (c)에서 감지한 영역(300)이 포함되는 세그멘테이션 영역을 (b)의 세그멘테이션 영역들로부터 찾아 최종적으로 블랙 아이스 영역이 표시된 이미지를 도시하였다.

여기서, (b)는 도로가 젖은 영역 및 마른 영역을 포함하는 다수의 세그멘테이션 영역으로 구분이 되고, 음파센서(10)를 통해 노면을 감지한 감지 영역(300)은 블랙아이스로 감지되었기에, 최종적으로 (d)와 같은 결과를 출력한다.

다시 말하면, 본 발명은 음파센서로 정확히 인식된 노면 정보가 비전센서로 얻은 노면 영상의 어느 부분/영역까지 해당되는지에 대한 문제를 비전센서를 통해 신뢰도 있게 확정해줄 수 있는 기술이다.

본 발명에서, 노면 감지 알고리즘의 동작은 주기적 (분, 초 단위) 또는 비-동기적인 요청에 의해 수행될 수 있으며, 노면의 미끄러움 위험 감지는 음파센서 및 비전센서를 통해 데이터를 획득하고, 음파센서에서 획득한 데이터를 기반으로 노면의 종류(상태)을 감지하고, 비전센서로 확보한 영상에서 이미지 세그멘테이션을 통하여 음파센서의 감지 부분을 포함한 영역을 검출한다.

즉, 노면에서 블랙아이스 등 위험이 감지될 경우, 세그멘테이션의 결과로 영역 분할된 이미지에서 위험 정보를 결합하여 관리자(관제 서버)에게 노면 위험 구간에 대한 알림을 전송하는 형식으로 활용할 수 있다.

도 5는 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 음파센서의 감지 영역이 어떤 세그멘테이션 영역인지 찾는 방법을 설명하기 위한 도면이다.

제어부(70)는 상기 인공신경망(30)으로부터 출력되는 상기 기설정된 지점의 노면 상태, 및 상기 세그멘테이션 처리부(40)로부터 출력되는 다수의 세그멘테이션된 영역을 융합하여 해당 도로의 노면 상태를 결정한다.

상기 제어부(70)는, 상기 각 세그멘테이션된 영역의 중점의 위치를 계산하고, 각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산하고, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단하고, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단하고, 상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정한다.

도 5를 참고하여 상세하게 설명하면, 입력 RGB 이미지가 세그멘테이션 처리된 이후 다수의 영역으로 분할되어 있는데, 그 중 A영역과 B영역이 도면과 같이 나뉘어 있다고 가정한다.

A영역의 중점은 "501"로 표시하였고, B영역의 중점은 "502"로 표시하였으며, 음파센서의 감지 영역(기설정된 지점)은 "500"으로 표시하였다.

본 발명에서 양음관계는 이미지의 제일 왼쪽 상부의 점(0,0)을 기준으로 오른쪽과 아래쪽이 (+) 방향이고, 왼쪽과 위쪽이 (-) 방향이라고 하기로 한다.

A 영역은 오각형으로 형성되어 있고, 선분 14, 45, 56, 67, 및 71로 이루어진다.

A영역의 중점(501)과 A영역의 각 선분 14, 45, 56, 67, 및 71에 대한 양음관계는, 각각 (-), (-), (-), (+), (+)가 된다.

B 영역은 사각형으로 형성되어 있고, 선분 12, 23, 34, 및 41로 이루어진다.

B영역의 중점(502)과 B영역의 각 선분 12, 23, 34, 및 41에 대한 양음관계는, 각각 (+), (-), (-), (+)가 된다.

이때, 음파센서의 감지 영역(기설정된 지점)(500)과 A영역의 각 선분 14, 45, 56, 67, 및 71에 대한 양음관계는, 각각 (+), (-), (-), (+), (+)가 되고, B영역의 각 선분 12, 23, 34, 및 41에 대한 양음관계는, 각각 (+), (-), (-), (+)가 된다.

따라서, 음파센서의 감지 영역(기설정된 지점)(500)은 B영역에 포함된다.

도 6은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 인공신경망(30)의 일 예를 설명하기 위한 도면이다.

도 6을 참고하면, 상기 인공신경망(30)은, 1D CNN (Conventional Neural Network) 또는 ANN (Artificial Neural Network) 중 어느 하나로 구현된 인공지능 모델로 형성될 수 있다.

상기 인공신경망(30)의 입력은 음파센서를 통해 수신한 반사파이며, 출력은 음파센서의 기설정된 감지 영역의 노면의 종류가 된다.

도 7은 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 세그멘테이션처리부(40)의 일 예를 설명하기 위한 도면이다.

도 7을 참고하면, 상기 세그멘테이션 처리부(40)는, 오토 인코더(Auto-Encoder) 또는 유넷(U-Net)으로 구현되는 합성곱인공신경망(CNN : Conventional Neural Network) 기반의 이미지 세그멘테이션 모델 (image segmentation model)로 형성될 수 있다.

상기 세그멘테이션 처리부(40)의 입력은 비전센서를 통해 획득한 RGB 이미지이며, 출력은 해당 이미지에 구분되는 영역들이 표시되는 세그멘테이션 이미지가 된다.

도 8은 본 발명에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 일실시예 흐름도이다.

먼저, 도로 상태 모니터링을 위해 음파센서(10)가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신한다(S10).

이후, 상기 음파센서(10)가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류한다(S20).

한편, 상기 음파센서(10)가 음파를 송신한 후 반사된 신호를 수신하는 동안, 비전센서가(20)가 상기 기설정된 지점을 포함하는 도로 면의 영상을 획득한다(S30).

이후, 상기 비전센서(20)에 의해 획득한 이미지를 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할한다(S40).

이후, 상기 기설정된 지점의 노면 상태 및 상기 다수의 구분되는 세그멘테이션된 영역을 융합하여 노면의 상태를 분석한다(S50).

이후, 상기 융합분석단계(S50)의 분석에 따라 해당 도로의 노면 상태를 결정한다(S60).

이후, 해당 도로의 노면 상태에서 위험이 감지되었는지 판단한다(S70).

상기 위험판단단계(S70)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지되지 않음에 따라 주기적으로 "S10" 및 "S30"단계로 진행한다.

한편, 상기 위험판단단계(S70)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달한다(S80).

한편, 상기 위험알림단계(S80)에서는, 상기 다수의 구분되는 세그멘테이션된 영역을 포함하는 이미지에 위험 영역이 표시되어 상기 관제서버로 전송된다.

도 9는 도 8의 융합분석단계(S50)의 일실시예 상세 흐름도이다.

상기 융합분석단계(S50)는, 먼저, 세그멘테이션된 이미지에서, 상기 각 세그멘테이션된 영역의 중점의 위치를 계산한다(S51).

이후, 각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산한다(S52).

이후, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단한다(S53).

이후, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단한다(S54).

이후, 상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정한다(S55).

도 10은 본 발명의 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도이다.

도 10에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템은, 음파센서(10), 비전센서(20), 제1 특징 추출부(81), 제2 특징 추출부(82). 조합 인공신경망(joint classifier)(90), 및 제어부(70)를 포함한다.

상기 비전센서(20)는 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득한다.

상기 제1 특징 추출부(81)는 상기 음파센서(10)가 획득한 반사된 신호로부터 제1 특징을 추출한다.

상기 제2 특징 추출부(82)는 상기 비전센서(20)에 의해 획득한 이미지로부터 제2 특징을 추출한다.

상기 조합 인공신경망(90)은 상기 제1 특징 및 제2 특징을 입력으로 하고 상기 음파센서(10)가 획득한 신호 및 상기 비전센서(20)에 의해 획득한 이미지로부터 추출된 특징으로부터 학습된 노면 데이터조합분류모델에 기반하여 해당 도로의 노면 상태를 분류한다. 상기 노면 상태는 마른 노면(dry), 물(water), 블랙아이스(ice), 및 눈(snow) 등을 포함한다.

상기 제어부(70)는 상기 음파센서(10), 상기 비전센서(20), 상기 제1 특징 추출부(81), 상기 제2 특징 추출부(82), 및 상기 조합 인공신경망(90)의 동작을 제어한다.

상기 조합 인공신경망(90)에서, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델(데이터조합분류모델)에 의해 학습 및 분류된다.

상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징값은 상관관계(Correspondence)를 이용하여 이미지 데이터와 음파 데이터의 입력 조합으로 물체(노면 종류) 분류를 학습한다. 또한, 데이터의 특성을 분석하여, 이미지 데이터 기반 분류기의 가중치 및 영향력과 음파 데이터 기반 분류기의 가중치 및 영향력을 조정하여 최종 의사결정(예측)을 할 수 있도록 훈련된다.

도 11은 본 발명에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 다른 실시예 흐름도이다.

먼저, 도로 상태 모니터링을 위해 음파센서(10)가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신한다(S110).

이후, 상기 반사된 신호의 제1 특징을 추출한다(S120).

한편, 상기 음파센서(10)가 음파를 송신한 후 반사된 신호를 수신하는 동안, 비전센서가(20)가 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득한다(S130).

이후, 상기 이미지의 제2 특징을 추출한다(S140).

이후, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징을 조합하여 학습된 분류모델에 기반하여 해당 도로의 노면 상태를 분석한다(S150).

여기서, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델에 의해 학습 및 분류된다.

이후, 상기 노면상태분석단계(S150)의 분석에 따라 해당 도로의 노면 상태를 결정한다(S160).

이후, 해당 도로의 노면 상태에서 위험이 감지되었는지 판단한다(S170).

상기 위험판단단계(S170)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지되지 않음에 따라 주기적으로 "S110" 및 "S130"단계로 진행한다.

한편, 상기 위험판단단계(S170)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달한다(S180).

한편, 상기 위험알림단계(S180)에서는, 상기 다수의 구분되는 세그멘테이션된 영역을 포함하는 이미지에 위험 영역이 표시되어 상기 관제서버로 전송될 수 있다.

이상에서 본 발명의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법에 대하여 설명하였지만, 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.

즉, 상술한 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

1: 구조물 10: 음파센서
20: 비전센서 30: 인공신경망
40: 세그멘테이션 처리부 50: 통신부
70: 제어부 81: 제1 특징 추출부
82: 제2 특징 추출부 90: 조합 인공신경망
S10: 음파데이터획득단계
S20: 노면상태감지단계
S30: 이미지촬영단계
S40: 세그멘테이션단계
S50: 융합분석단계
S60: 노면상태결정단계
S70: 위험판단단계
S80: 위험알림단계
S110: 음파데이터획득단계
S120: 제1특징추출단계
S130: 이미지촬영단계
S140: 제2특징추출단계
S150: 노면상태분석단계
S160: 노면상태결정단계
S170: 위험판단단계
S180: 위험알림단계

Claims

비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에 있어서,
도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하기 위한 음파센서(10);
상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하기 위한 비전센서(20);
상기 음파센서가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류하기 위한 인공신경망(30);
상기 비전센서에 의해 획득한 이미지를 입력 신호로 하여 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할하기 위한 세그멘테이션 처리부(40); 및
상기 음파센서, 상기 비전센서, 상기 인공신경망 및 상기 세그멘테이션 처리부의 동작을 제어하고, 상기 인공신경망으로부터 출력되는 상기 기설정된 지점의 노면 상태, 및 상기 세그멘테이션 처리부로부터 출력되는 다수의 세그멘테이션된 영역을 융합하여 해당 도로의 노면 상태를 결정하기 위한 제어부(70)
를 포함하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템.
제1항에 있어서,
상기 제어부(70)는,
상기 각 세그멘테이션된 영역의 중점의 위치를 계산하고,
각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산하고,
상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단하고,
상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단하고,
상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정하는 것을 특징으로 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템.
제2항에 있어서,
상기 인공신경망(30)은,
1D CNN (Conventional Neural Network) 또는 ANN (Artificial Neural Network) 중 어느 하나로 구현된 인공지능 모델인 것을 특징으로 하고,
상기 세그멘테이션 처리부(40)는,
오토 인코더(Auto-Encoder) 또는 유넷(U-Net)으로 구현되는 합성곱인공신경망(CNN : Conventional Neural Network) 기반의 이미지 세그멘테이션 모델 (image segmentation model)인 것을 특징으로 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템.
비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에 있어서,
도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하기 위한 음파센서(10);
상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하기 위한 비전센서(20);
상기 음파센서가 획득한 반사된 신호로부터 제1 특징을 추출하기 위한 제1 특징 추출부(81);
상기 비전센서에 의해 획득한 이미지로부터 제2 특징을 추출하기 위한 제2 특징 추출부(82);
상기 제1 특징 및 제2 특징을 입력으로 하고 상기 음파센서가 획득한 신호 및 상기 비전센서에 의해 획득한 이미지로부터 추출된 특징으로부터 학습된 노면 데이터조합분류모델에 기반하여 해당 도로의 노면 상태를 분류하기 위한 조합 인공신경망(90); 및
상기 음파센서, 상기 비전센서, 상기 제1 특징 추출부, 상기 제2 특징 추출부, 및 상기 조합 인공신경망의 동작을 제어하는 제어부(70)
를 포함하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템.
제4항에 있어서,
상기 조합 인공신경망(90)은,
상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델에 의해 학습 및 분류되는 것을 특징으로 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템.
비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법에 있어서,
도로 상태 모니터링을 위해 음파센서가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하는 음파데이터획득단계(S10);
상기 음파센서가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류하는 노면상태감지단계(S20);
비전센서가 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하는 이미지촬영단계(S30);
상기 비전센서에 의해 획득한 이미지를 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할하기 위한 세그멘테이션단계(S40);
상기 기설정된 지점의 노면 상태 및 상기 다수의 구분되는 세그멘테이션된 영역을 융합하여 분석하기 위한 융합분석단계(S50);
상기 융합분석단계(S50)의 분석에 따라 해당 도로의 노면 상태를 결정하기 위한 노면상태결정단계(S60);
해당 도로의 노면 상태에서 위험이 감지되었는지 판단하는 위험판단단계(S70); 및
해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달하는 위험알림단계(S80)
를 포함하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법.
제6항에 있어서,
상기 융합분석단계(S50)는,
상기 각 세그멘테이션된 영역의 중점의 위치를 계산하는 중점계산단계(S51);
각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산하는 직선의방정식계산단계(S52);
상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단하는 제1양음관계판단단계(S53);
상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단하는 제2양음관계판단단계(S54); 및
상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정하는 단계(S55)
를 포함하는 것을 특징으로 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법.
제6항에 있어서,
상기 위험알림단계(S80)는,
상기 다수의 구분되는 세그멘테이션된 영역을 포함하는 이미지에 위험 영역이 표시되어 상기 관제서버로 전송되는 것을 특징으로 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법.
비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법에 있어서,
도로 상태 모니터링을 위해 음파센서가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신하는 음파데이터획득단계(S110);
상기 반사된 신호의 제1 특징을 추출하는 제1 특징추출단계(S120);
비전센서가 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득하는 이미지촬영단계(S130);
상기 이미지의 제2 특징을 추출하는 제2 특징추출단계(S140);
상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징을 조합하여 학습된 분류모델에 기반하여 해당 도로의 노면 상태를 분석하는 노면상태분석단계(S150);
상기 노면상태분석단계(S150)의 분석에 따라 해당 도로의 노면 상태를 결정하기 위한 노면상태결정단계(S160);
해당 도로의 노면 상태에서 위험이 감지되었는지 판단하는 위험판단단계(S170);
해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달하는 위험알림단계(S180)
를 포함하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법.
제9항에 있어서,
상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델에 의해 학습 및 분류되는 것을 특징으로 하는 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 도로 상태 모니터링 방법.