KR20190127303A - 주행영상 기반의 알림정보 제공장치 및 방법 - Google Patents

Abstract

주행영상 기반의 알림정보 제공장치가 개시된다. 본 개시의 일 실시 예에 따른 주행영상 기반의 알림정보 제공장치는 서로 다른 타입의 이미지의 입력에 대한 학습을 통해 각각 주위상황을 결정하는 복수의 예비 주위상황 학습부와, 상기 복수의 예비 주위상황 학습부로부터 제공되는 상기 복수의 예비 주위상황을 조합한 최종 주위상황을 결정하는 최종 주위상황 학습부를 포함하는 주위상황 처리부와, 서로 다른 타입의 이미지의 입력에 대한 학습을 통해 각각 도로상황을 결정하는 복수의 예비 도로상황 학습부와, 상기 복수의 예비 도로상황 학습부로부터 제공되는 상기 복수의 예비 도로상황을 조합한 최종 도로상황을 결정하는 최종 도로상황 학습부를 포함하는 도로상황 처리부와, 차량에 마련되어 실시간 촬영 영상을 획득하고, 상기 실시간 촬영 영상의 타입을 구분하여 상기 주위상황 처리부 및 상기 도로상황 처리부에 입력하는 영상 입력부와, 상기 실시간 촬영 영상에 기초하여, 상기 주위상황 처리부에서 제공되는 상기 최종 주위상황과, 상기 도로상황 처리부에서 제공되는 상기 최종 도로상황에 대응되는 알림정보를 제공하는 알림정보 제공부를 포함할 수 있다.

Description

주행영상 기반의 알림정보 제공장치 및 방법{APPARATUS FOR PROVIDING NOTIFICATION INFORMATION BASED ON DRIVING VIDEO AND METHOD FOR THE SAME}

본 개시는 주행 영상을 분석하는 기술에 관한 것이며, 보다 구체적으로는 기계학습 기반으로 주행영상을 분석하는 방법 및 장치에 대한 것이다.

교통에서 교통 흐름과 돌발 상황이란 도로상에서 발생되는 비반복적이고 예측 불가능한 일련의 사건으로, 예를 들어, 차량의 지정체, 교통 사고, 도로 공사, 차량의 고장 등으로 인한 차로의 차단, 도로상의 장애물 존재, 도로의 유지 보수 작업, 기타 비일상적인 사건 등이 포함된다. 돌발 상황이 발생하게 되면, 교통류의 정상 흐름이 와해되고, 도로의 용량은 감소하게 되며, 교통 혼잡과 대기 오염 등 막대한 사회적, 경제적인 손실을 초래하게 된다. 그러므로 예측 불가능한 돌발 상황에 대해 효과적인 대응을 하기 위해서는 보다 신속하고 정확한 돌발 상황의 검지가 요구된다.

최근 교통 분야에서는 교통 사고의 위험 감소와 교통 정체를 해결하기 위하여 교통 체계를 지능화하여 교통 운영의 효율성을 확보하고, 교통 안전 및 환경 개선을 위한 지능형 교통 체계(Intelligent Transportation Systems: ITS) 사업이 활발히 진행되고 있다. ITS 사업에서는 교통 혼잡을 완화시키기 위한 핵심 방안 중 하나로 돌발 상황 검지 시스템을 구축하고 있다. ITS 운영을 담당하는 국내외 대부분의 교통 정보 센터에서는 돌발 상황 검지 시스템을 통해 돌발 상황을 인식하고, 관련 정보를 제공하고 있다.

종래의 교통 흐름 및 돌발 상황 검지 알고리즘으로는 패턴 인식 기법, 통계 정보 기반의 인식 기법, 객체 검출 기술 등이 있다.

패턴 인식 기법은 교통 패턴의 차이를 직접 비교하여 교통 흐름 및 돌발 상황 발생 여부를 판단한다.

통계 정보 기반의 인식 기법은 검지 자료를 다양한 통계 분석을 통해 가공하고, 그 결과를 이용하여 교통 흐름 및 돌발 상황을 파악하는 방법이다. 다양한 교통 흐름 및 돌발 상황 검지 알고리즘 중에서 국내외 대부분의 ITS에서 적용되고 있는 교통 흐름 및 돌발 상황 검지 시스템은 도로상의 두 지점에 설치된 차량 검지기(예를 들어, 영상 검지기, 루프 검지기 등 지점 검지기)를 통하여 수집된 두 지점 간 교통 파라미터(예를 들어, 차량 점유율 등) 차이를 비교 분석하고, 교통 파라미터가 일정값 이상 차이가 날 경우 교통 흐름의 지정체 상황 및 돌발 상황으로 인식하는 방법을 적용하는 시스템이다.

또 종래의 교통 흐름 및 돌발 상황을 검지하기 위하여, 객체의 검출 기술은 영상에서 원하는 특정 객체(예를 들어, 자동차, 사람, 자전거 등) 만을 인지하여 추출하는 기술을 말하는데, 이러한 객체 검출 기술은 변화가 없는 배경을 바탕으로 움직임이 있는 객채만을 인지하여 추출하는 기술이 적용되어 왔다. 그러나 종래의 객체 추출 방법은 다양한 환경 변화나 특정 객체의 이상 행동 패턴에 대한 정보를 정확하게 취득할 수 없으며, 이로 인해 데이터 분석 값 또한 많은 오차 및 편차가 발생하는 등의 문제점이 있으므로, 현실적으로 시스템에 적용하기가 어려운 실정이다.

본 개시의 기술적 과제는 주행영상에 대하여 기계학습 기반의 신경망을 구축하고, 주행에서 발생되는 다양한 상황에 대응되는 알림정보를 생성하는 방법 및 장치를 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면 주행영상 기반의 알림정보 제공장치가 제공될 수 있다. 상기 장치는 서로 다른 타입의 이미지의 입력에 대한 학습을 통해 각각 주위상황을 결정하는 복수의 예비 주위상황 학습부와, 상기 복수의 예비 주위상황 학습부로부터 제공되는 상기 복수의 예비 주위상황을 조합한 최종 주위상황을 결정하는 최종 주위상황 학습부를 포함하는 주위상황 처리부와, 서로 다른 타입의 이미지의 입력에 대한 학습을 통해 각각 도로상황을 결정하는 복수의 예비 도로상황 학습부와, 상기 복수의 예비 도로상황 학습부로부터 제공되는 상기 복수의 예비 도로상황을 조합한 최종 도로상황을 결정하는 최종 도로상황 학습부를 포함하는 도로상황 처리부와, 차량에 마련되어 실시간 촬영 영상을 획득하고, 상기 실시간 촬영 영상의 타입을 구분하여 상기 주위상황 처리부 및 상기 도로상황 처리부에 입력하는 영상 입력부와, 상기 실시간 촬영 영상에 기초하여, 상기 주위상황 처리부에서 제공되는 상기 최종 주위상황과, 상기 도로상황 처리부에서 제공되는 상기 최종 도로상황에 대응되는 알림정보를 제공하는 알림정보 제공부를 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 주행영상에 대하여 기계학습 기반의 신경망을 구축하고, 주행에서 발생되는 다양한 상황에 대응되는 알림정보를 생성하는 방법 및 장치가 제공될 수 있다.

본 개시에 따르면, 주행영상을 기반으로 주위상황 또는 도로상황을 빠르고 정확하게 인식할 수 있는 방법 및 장치가 제공될 수 있다.

본 개시에 따르면, 주행영상을 기반으로 주위상황 또는 도로상황을 확인하고, 발생될수 있는 상황을 미리 예측하여 통지할 수 있는 방법 및 장치가 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공장치의 구성을 예시하는 블록도이다.
도 2a는 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공장치에 구비된 주위상황 처리부의 상세 구성을 예시하는 도면이다.
도 2b는 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공장치에 구비된 도로상황 처리부의 상세 구성을 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공방법의 순서를 도시하는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공장치의 구성을 예시하는 블록도이다.

도 1을 참조하면, 주행영상 기반의 알림정보 제공장치는 주위상황 처리부(11), 도로상황 처리부(13), 영상 입력부(15), 및 알림정보 제공부(17)를 포함할 수 있다.

주위상황 처리부(11)와 도로상황 처리부(13)는 서로 다른 타입의 이미지의 입력에 대한 기계학습이나 딥러닝을 기반으로 구성될 수 있으며, 각각 최종 주위상황과 최종 도로상황을 결정하여 출력할 수 있다.

구체적으로, 주위상황 처리부(11)는 차량에 마련된 촬영장치에 의해 생성되는 영상(이하, '주행영상'이라 함)을 입력으로 하고, 주위상황을 출력으로 하는 기계학습 또는 딥러닝을 수행할 수 있다. 여기서 상기 주위상황은 차선관련과 관련된 상황정보(예, 차선 변경 상황, 중앙선 침범 상황, 차선 진입 상황 등), 주변 차량과 관련된 정보(예, 어린이 탑승차량, 승합차량, 버스, 일반 화물차량, 대형 화물차량, 이륜차량 등), 도로 시설물 관련과 관련된 정보(예, 터널, 건널목, 방지턱, 안전 표지판, 어린이 보호구역 등), 사람과 관련된 정보(예, 보행자 존재, 무단 횡단자 존재 등), 장소와 관련된 정보(예, 사고 처리 중인 장보, 어린이 보호구역, 속도 제한 구역, 야생동물 주의구역 등) 등을 포함할 수 있다.

나아가, 주위상황 처리부(11)에 입력되는 주행영상은 다양한 종류로 구분되어 입력될 수 있다. 예컨대, 주행영상의 종류는, 특징점 기반의 영상, 객체 기반의 영상, 통합 영상을 포함할 수 있다. 특징점 기반의 영상은 상대적으로 단순화된 정보를 구비하는 영상으로서, 색상, 기호, 문자 등을 포함하는 영상일 수 있다. 객체 기반의 영상은 사람이나 사물 등과 같은 객체를 포함하는 영상일 수 있다. 또한, 통합 영상은 전술한 특징점과, 객체를 모두 포함하는 영상을 수 있다.

주위상황 처리부(11)는 주행영상의 종류별로 각각 학습을 수행하는 것이 바람직하다. 주위상황 처리부(11)가 주행영상의 종류별로 각각 학습을 수행하는 구조 및 동적에 대해서는 도 2a를 통해 구체적으로 기술한다.

한편, 도로상황 처리부(13)는 차량에 마련된 촬영장치에 의해 생성되는 주행영상을 입력으로 하고, 도로상황을 출력으로 하는 기계학습 또는 딥러닝을 수행할 수 있다. 여기서 상기 도로상황은 도로의 주변 환경에 발생되는 상황을 나타내는 정보(예, 객체(예, 건물, 차량 등)의 연기 발생, 객체의 화재 발생 등), 도로에서 발생되는 상황을 나타내는 정보(예, 도로 침수, 상수도관 파열, 도로 침하, 도로 파손, 가로수 방해, 빙판길, 산사태 발생, 낙석 발생, 토사 유입 발생, 공사 지역 등), 기상상황과 관련된 정보(예, 눈, 비, 안개 등) 등을 포함할 수 있다.

나아가, 도로상황 처리부(13)에 입력되는 영상 역시 전술한 바와 마찬가지로 다양한 종류로 구분되어 입력될 수 있다.

도로상황 처리부(13)는 주행영상의 종류별로 각각 학습을 수행하는 것이 바람직하다. 도로상황 처리부(13)가 주행영상의 종류별로 각각 학습을 수행하는 구조 및 동적에 대해서는 도 2b를 통해 구체적으로 기술한다.

한편, 영상 입력부(15)는 차량에 마련되어 주행영상을 촬영하고, 촬영된 주행영상을 실시간으로 주위상황 처리부(11)와 도로상황 처리부(13)에 입력할 수 있다. 이때, 영상 입력부(15)는 주행영상의 종류를 구분할 수 있으며, 영상 종류별로 주위상황 처리부(11)와 도로상황 처리부(13)에 제공할 수 있다.

이에 따라, 주위상황 처리부(11)와 도로상황 처리부(13)는 주행영상의 종류에 따라 구분되어 구성된 신경망을 통해, 입력된 주행영상에 대응되는 주위상황과 도로상황을 각각 검출하여 제공할 수 있다. 이와 같이, 영상 입력부(15)가 주행영상의 종류를 구분하고, 주위상황 처리부(11)와 도로상황 처리부(13)가 주행영상의 종류에 따라 구분되어 구성된 신경망을 통해 주위상황과 도로상황을 검출함으로써, 빠르고 정확하게 주위상황과 도로상황을 결정할 수 있다.

한편, 알림정보 제공부(17)는 주위상황 처리부(11)와 도로상황 처리부(13)에서 제공되는 정보, 즉, 주위상황과 도로상황에 기초하여, 차량의 운전자에게 주위상황과 도로상황에 대응되는 알림정보를 제공할 수 있다.

예컨대, 알림정보 제공부(17)는 영상출력장치(예, 디스플레이, 차량용 HUD(head-up display) 등)를 구비하고, 상기 알림정보를 시각적인 정보로 변환하여 영상출력장치를 통해 출력할 수 있다. 다른 예로서, 알림정보 제공부(17)는 음성출력장치(예, 스피커 장치)를 구비하고, 상기 알림정보를 청각적인 정보로 변환하여 상기 음성출력장치를 통해 출력할 수 있다. 또 다른 예로서, 알림정보 제공부(17)는 소정의 통신모듈을 구비할 수 있으며, 상기 통신모듈을 통해 사용자의 휴대용 단말장치(예, 휴대폰, 스마트폰 등), 블랙박스 장치, 네비게이션 장치 등과 연결될 수 있으며, 사용자의 휴대용 단말장치(예, 휴대폰, 스마트폰 등), 블랙박스 장치, 네비게이션 장치 등에 알림정보를 전달하고, 알림정보의 출력을 요청할 수 있다. 이에 대응하여, 알림정보 제공부(17)에 연결된 사용자의 휴대용 단말장치(예, 휴대폰, 스마트폰 등), 블랙박스 장치, 네비게이션 장치 등은 시각적, 청각적, 촉각적(예, 진동 등)으로 알림정보를 출력할 수 있다.

도 2a는 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공장치에 구비된 주위상황 처리부의 상세 구성을 예시하는 도면이다.

도 2a를 참조하면, 주위상황 처리부(21)는 복수의 예비 주위상황 학습부(22a, 22b, 22c)와, 최종 주위상황 학습부(23)를 포함할 수 있다.

전술한 바와 같이 주행영상의 종류는 다양하게 존재할 수 있는데, 복수의 예비 주위상황 학습부(22a, 22b, 22c)는 영상 종류별로 각각 연결될 수 있다. 예를 들어, 주행영상의 종류가, 특징점 기반의 영상, 객체 기반의 영상, 통합 영상을 포함할 경우, 제1예비 주위상황 학습부(22a)는 특징점 기반의 영상과 연결되며, 제2예비 주위상황 학습부(22b)는 객체 기반의 영상과 연결되며, 제3예비 주위상황 학습부(22c)는 통합 영상과 연결될 수 있다.

제1예비 주위상황 학습부(22a)는 특징점 기반의 영상에 대한 학습을 수행할 수 있으며, 특징점 기반의 영상에 대응되는 신경망을 구축할 수 있다. 마찬가지로, 제2예비 주위상황 학습부(22b)는 객체 기반의 영상에 대한 학습을 수행할 수 있으며, 객체 기반의 영상에 대응되는 신경망을 구축할 수 있고, 제3예비 주위상황 학습부(22c)는 통합 영상에 대한 학습을 수행할 수 있으며, 통합 영상에 대응되는 신경망을 구축할 수 있다.

또한, 제1예비 주위상황 학습부(22a)는 특징점 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 특징점 기반의 영상에 대응되는 제1예비 주위상황을 출력할 수 있다. 마찬가지로, 제2예비 주위상황 학습부(22b)는 객체 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 객체 기반의 영상에 대응되는 제2예비 주위상황을 출력할 수 있으며, 제3예비 주위상황 학습부(22c)는 통합 영상이 입력됨에 따라, 기 구축된 신경망을 통해 통합 영상에 대응되는 제3예비 주위상황을 출력할 수 있다.

제1 내지 제3예비 주위상황은 동시에 발생되거나, 또는 서로 다른 시각에 발생될 수 있다. 제1 내지 제3예비 주위상황이 서로 다른 시각에 발생될 경우, 최종 주위상황 학습부(23)는 서로 다른 시각에 발생된 예비 주위상황을 최종 주위상황을 결정하고 이를 출력할 수 있다. 또한, 제1 내지 제3예비 주위상황이 동일한 시각 또는 대체적으로 동일한 시각(예, 미리 정해진 범위의 시간 내)에 발생될 경우, 최종 주위상황 학습부(23)는 제1 내지 제3예비 주위상황을 조합한 최종 주위상황을 결정하고 이를 출력할 수 있다.

나아가, 최종 주위상황 학습부(23)는 복수의 예비 주위상황을 입력으로 하고, 최종 주위상황을 출력으로 하는 학습을 수행하여 소정의 신경망을 구축할 수 있다. 이에 따라, 최종 주위상황 학습부(23)는 제1 내지 제3예비 주위상황 학습부(22a, 22b, 22c)를 통해 제1 내지 제3예비 주위상황이 입력됨에 따라, 기 구축된 신경망을 통해 최종 주위상황을 결정하여 출력할 수 있다.

도 2b는 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공장치에 구비된 도로상황 처리부의 상세 구성을 예시하는 도면이다.

도 2b를 참조하면, 도로상황 처리부(25)는 복수의 예비 도로상황 학습부(26a, 26b, 26c)와, 최종 도로상황 학습부(27)를 포함할 수 있다.

전술한 바와 같이 주행영상의 종류는 다양하게 존재할 수 있는데, 복수의 예비 도로상황 학습부(26a, 26b, 26c)는 영상 종류별로 각각 연결될 수 있다. 예를 들어, 영상의 종류가, 특징점 기반의 영상, 객체 기반의 영상, 통합 영상을 포함할 경우, 제1예비 도로상황 학습부(26a)는 특징점 기반의 영상과 연결되며, 제2예비 도로상황 학습부(26b)는 객체 기반의 영상과 연결되며, 제3예비 도로상황 학습부(26c)는 통합 영상과 연결될 수 있다.

제1예비 도로상황 학습부(26a)는 특징점 기반의 영상에 대한 학습을 수행할 수 있으며, 특징점 기반의 영상에 대응되는 신경망을 구축할 수 있다. 마찬가지로, 제2예비 도로상황 학습부(26b)는 객체 기반의 영상에 대한 학습을 수행할 수 있으며, 객체 기반의 영상에 대응되는 신경망을 구축할 수 있고, 제3예비 도로상황 학습부(26c)는 통합 영상에 대한 학습을 수행할 수 있으며, 통합 영상에 대응되는 신경망을 구축할 수 있다.

또한, 제1예비 도로상황 학습부(26a)는 특징점 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 특징점 기반의 영상에 대응되는 제1예비 도로상황을 출력할 수 있다. 마찬가지로, 제2예비 도로상황 학습부(26b)는 객체 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 객체 기반의 영상에 대응되는 제2예비 도로상황을 출력할 수 있으며, 제3예비 도로상황 학습부(26c)는 통합 영상이 입력됨에 따라, 기 구축된 신경망을 통해 통합 영상에 대응되는 제3예비 도로상황을 출력할 수 있다.

제1 내지 제3예비 도로상황은 동시에 발생되거나, 또는 서로 다른 시각에 발생될 수 있다. 제1 내지 제3예비 도로상황이 서로 다른 시각에 발생될 경우, 최종 도로상황 학습부(27)는 서로 다른 시각에 발생된 예비 도로상황을 최종 도로상황을 결정하고 이를 출력할 수 있다. 또한, 제1 내지 제3예비 도로상황이 동일한 시각 또는 대체적으로 동일한 시각(예, 미리 정해진 범위의 시간 내)에 발생될 경우, 최종 도로상황 학습부(27)는 제1 내지 제3예비 도로상황을 조합한 최종 도로상황을 결정하고 이를 출력할 수 있다.

나아가, 최종 도로상황 학습부(27)는 복수의 예비 도로상황을 입력으로 하고, 최종 도로상황을 출력으로 하는 학습을 수행하여 소정의 신경망을 구축할 수 있다. 이에 따라, 최종 도로상황 학습부(27)는 제1 내지 제3예비 도로상황 학습부(26a, 26b, 26c)를 통해 제1 내지 제3예비 도로상황이 입력됨에 따라, 기 구축된 신경망을 통해 최종 도로상황을 결정하여 출력할 수 있다.

도 3은 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공방법의 순서를 도시하는 흐름도이다.

본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공방법은 전술한 주행영상 기반의 알림정보 제공장치(이하, '알림정보 제공장치'라 함)에 의해 수행될 수 있다.

우선, S301 및 S302 단계는 기계학습 또는 딥러닝을 수행하여 이에 대응되는 신경망을 구축하는 준비 동작일 수 있다. S301 및 S302 단계에서, 알림정보 제공장치는 차량에 마련된 촬영장치에 의해 생성되는 주행영상을 입력으로 하고, 주위상황 또는 도로상황을 출력으로 하는 기계학습 또는 딥러닝을 수행하여 이에 대응되는 신경망을 구축할 수 있다.

여기서, 주위상황은 차선관련과 관련된 상황정보(예, 차선 변경 상황, 중앙선 침범 상황, 차선 진입 상황 등), 주변 차량과 관련된 정보(예, 어린이 탑승차량, 승합차량, 버스, 일반 화물차량, 대형 화물차량, 이륜차량 등), 도로 시설물 관련과 관련된 정보(예, 터널, 건널목, 방지턱, 안전 표지판, 어린이 보호구역 등), 사람과 관련된 정보(예, 보행자 존재, 무단 횡단자 존재 등), 장소와 관련된 정보(예, 사고 처리 중인 장보, 어린이 보호구역, 속도 제한 구역, 야생동물 주의구역 등) 등을 포함할 수 있다.

도로상황은 도로의 주변 환경에 발생되는 상황을 나타내는 정보(예, 객체(예, 건물, 차량 등)의 연기 발생, 객체의 화재 발생 등), 도로에서 발생되는 상황을 나타내는 정보(예, 도로 침수, 상수도관 파열, 도로 침하, 도로 파손, 가로수 방해, 빙판길, 산사태 발생, 낙석 발생, 토사 유입 발생, 공사 지역 등), 기상상황과 관련된 정보(예, 눈, 비, 안개 등) 등을 포함할 수 있다.

좀 더 구체적으로, 입력되는 주행영상의 종류는 다양하게 존재할 수 있는데, S301 단계에서, 알림정보 제공장치는 영상 종류별로 각각 연결되는 복수의 신경망을 구축할 수 있다. S301 단계에서 결정되는 신경망을 주위상황을 결정하기 위하 구축되는 신경망일 수 있다.

예를 들어, 주행영상의 종류가, 특징점 기반의 영상, 객체 기반의 영상, 통합 영상을 포함할 경우, 특징점 기반의 영상을 입력으로 하는 신경망과, 객체 기반의 영상을 입력으로 하는 신경망과, 통합 영상을 입력으로 하는 신경망을 구축할 수 있다. 즉, 특징점 기반의 영상이 입력됨에 따라, 알림정보 제공장치는 특징점 기반의 영상에 대응되는 제1예비 주위상황을 출력하는 신경망을 구축하고, 객체 기반의 영상이 입력됨에 따라, 알림정보 제공장치는 기반의 영상에 대응되는 제2예비 주위상황을 출력하는 신경망을 구축할 수 있다. 마찬가지로, 통합 영상이 입력됨에 따라, 알림정보 제공장치는 통합 영상에 대응되는 제3예비 주위상황을 출력하는 신경망을 구축할 수 있다.

제1 내지 제3예비 주위상황은 동시에 발생되거나, 또는 서로 다른 시각에 발생될 수 있다. 제1 내지 제3예비 주위상황이 서로 다른 시각에 발생될 경우, 알림정보 제공장치는 서로 다른 시각에 발생된 예비 주위상황을 최종 주위상황을 결정하고 이를 출력할 수 있다. 또한, 제1 내지 제3예비 주위상황이 동일한 시각 또는 대체적으로 동일한 시각(예, 미리 정해진 범위의 시간 내)에 발생될 경우, 알림정보 제공장치는 제1 내지 제3예비 주위상황을 입력으로 하고, 최종 주위상황을 출력하는 신경망을 구축할 수 있다.

이와 같이, S301 단계에서, 알림정보 제공장치는 차량에 마련된 촬영장치에 의해 생성되는 주행영상을 입력으로 하고, 최종 주위상황을 결정하는 신경망을 구축할 수 있다.

마찬가지로, S302 단계에서, 알림정보 제공장치는 영상 종류별로 각각 연결되는 복수의 신경망을 구축할 수 있으며, 이때 구축되는 신경망은 도로상황에 대응되는 신경망일 수 있다.

예를 들어, 주행영상의 종류가, 특징점 기반의 영상, 객체 기반의 영상, 통합 영상을 포함할 경우, 특징점 기반의 영상을 입력으로 하는 신경망과, 객체 기반의 영상을 입력으로 하는 신경망과, 통합 영상을 입력으로 하는 신경망을 구축할 수 있다. 즉, 특징점 기반의 영상이 입력됨에 따라, 알림정보 제공장치는 특징점 기반의 영상에 대응되는 제1예비 도로상황을 출력하는 신경망을 구축하고, 객체 기반의 영상이 입력됨에 따라, 알림정보 제공장치는 기반의 영상에 대응되는 제2예비 도로상황을 출력하는 신경망을 구축할 수 있다. 마찬가지로, 통합 영상이 입력됨에 따라, 알림정보 제공장치는 통합 영상에 대응되는 제3예비 도로상황을 출력하는 신경망을 구축할 수 있다.

제1 내지 제3예비 도로상황은 동시에 발생되거나, 또는 서로 다른 시각에 발생될 수 있다. 제1 내지 제3예비 도로상황이 서로 다른 시각에 발생될 경우, 알림정보 제공장치는 서로 다른 시각에 발생된 예비 도로상황을 최종 도로상황으로 결정하고 이를 출력할 수 있다. 또한, 제1 내지 제3예비 도로상황이 동일한 시각 또는 대체적으로 동일한 시각(예, 미리 정해진 범위의 시간 내)에 발생될 경우, 알림정보 제공장치는 제1 내지 제3예비 도로상황을 입력으로 하고, 최종 도로상황을 출력하는 신경망을 구축할 수 있다.

이와 같이, S302단계에서, 알림정보 제공장치는 차량에 마련된 촬영장치에 의해 생성되는 주행영상을 입력으로 하고, 최종 도로상황을 결정하는 신경망을 구축할 수 있다.

전술한 바와 같이, 신경망이 구축된 상태에서, 다음으로, 알림정보 제공장치는 차량에 마련되어 주행영상을 촬영하고(S303), 촬영된 주행영상의 종류를 구분할 수 있으며(S304), 영상 종류별로 구분된 주행영상을 전술한 신경망에 입력할 수 있다(S305).

이에 따라, 알림정보 제공장치는 주행영상의 종류에 따라 구분되어 구성된 신경망을 통해, 입력된 영상에 대응되는 주위상황과 도로상황을 각각 검출하여 제공할 수 있다(S306, S307).

구체적으로, S306 단계에서, 알림정보 제공장치는 특징점 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 특징점 기반의 영상에 대응되는 제1예비 주위상황을 출력할 수 있으며, 객체 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 객체 기반의 영상에 대응되는 제2예비 주위상황을 출력할 수 있다. 마찬가지로, 알림정보 제공장치는 통합 영상이 입력됨에 따라, 기 구축된 신경망을 통해 통합 영상에 대응되는 제3예비 주위상황을 출력할 수 있다.

나아가, 제1 내지 제3예비 주위상황은 동시에 발생되거나, 또는 서로 다른 시각에 발생될 수 있다. 제1 내지 제3예비 주위상황이 서로 다른 시각에 발생될 경우, 알림정보 제공장치는 서로 다른 시각에 발생된 예비 주위상황을 최종 주위상황으로 결정하고 이를 출력할 수 있다.

또한, 제1 내지 제3예비 주위상황이 동일한 시각 또는 대체적으로 동일한 시각(예, 미리 정해진 범위의 시간 내)에 발생될 경우, 알림정보 제공장치는 복수의 예비 주위상황의 입력과 최종 주위상황의 출력을 기반으로 구축된 신경망을 통해 제1 내지 제3예비 주위상황에 대응되는 최종 주위상황을 결정하여 출력할 수 있다.

마찬가지로, S307 단계에서, 알림정보 제공장치는 특징점 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 특징점 기반의 영상에 대응되는 제1예비 도로상황을 출력할 수 있으며, 객체 기반의 영상이 입력됨에 따라, 기 구축된 신경망을 통해 객체 기반의 영상에 대응되는 제2예비 도로상황을 출력할 수 있다. 마찬가지로, 알림정보 제공장치는 통합 영상이 입력됨에 따라, 기 구축된 신경망을 통해 통합 영상에 대응되는 제3예비 도로상황을 출력할 수 있다.

나아가, 제1 내지 제3예비 도로상황은 동시에 발생되거나, 또는 서로 다른 시각에 발생될 수 있다. 제1 내지 제3예비 도로상황이 서로 다른 시각에 발생될 경우, 알림정보 제공장치는 서로 다른 시각에 발생된 예비 도로상황을 최종 도로상황으로 결정하고 이를 출력할 수 있다.

또한, 제1 내지 제3예비 도로상황이 동일한 시각 또는 대체적으로 동일한 시각(예, 미리 정해진 범위의 시간 내)에 발생될 경우, 알림정보 제공장치는 복수의 예비 도로상황의 입력과 최종 도로상황의 출력을 기반으로 구축된 신경망을 통해 제1 내지 제3예비 도로상황에 대응되는 최종 도로상황을 결정하여 출력할 수 있다.

한편, S308 단계에서, 알림정보 제공장치는 전술한 동작에서 확인된 정보, 즉, 최종 주위상황과 최종 도로상황에 기초하여, 차량의 운전자에게 최종 주위상황과 최종 도로상황에 대응되는 알림정보를 제공할 수 있다.

예컨대, 알림정보 제공장치는 시각적인 정보로 변환한 알림정보를 영상출력장치를 통해 출력하거나, 청각적인 정보로 변환한 알림정보를 음성출력장치를 통해 출력할 수 있다. 또한, 다른 예로서, 알림정보 제공장치는 사용자의 휴대용 단말장치(예, 휴대폰, 스마트폰 등), 블랙박스 장치, 네비게이션 장치 등에 알림정보를 전달하고, 사용자의 휴대용 단말장치(예, 휴대폰, 스마트폰 등), 블랙박스 장치, 네비게이션 장치 등을 통해 시각적, 청각적, 촉각적(예, 진동 등)으로 변환한 알림정보를 출력할 수 있다.

도 4는 본 개시의 일 실시예에 따른 주행영상 기반의 알림정보 제공방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

도 4를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (1)

1. 전자장치에 있어서,
   서로 다른 타입의 이미지의 입력에 대한 학습을 통해 각각 주위상황을 결정하는 복수의 예비 주위상황 학습부와, 상기 복수의 예비 주위상황 학습부로부터 제공되는 상기 복수의 예비 주위상황을 조합한 최종 주위상황을 결정하는 최종 주위상황 학습부를 포함하는 주위상황 처리부와,
   서로 다른 타입의 이미지의 입력에 대한 학습을 통해 각각 도로상황을 결정하는 복수의 예비 도로상황 학습부와, 상기 복수의 예비 도로상황 학습부로부터 제공되는 상기 복수의 예비 도로상황을 조합한 최종 도로상황을 결정하는 최종 도로상황 학습부를 포함하는 도로상황 처리부와,
   차량에 마련되어 실시간 촬영 영상을 획득하고, 상기 실시간 촬영 영상의 타입을 구분하여 상기 주위상황 처리부 및 상기 도로상황 처리부에 입력하는 영상 입력부와,
   상기 실시간 촬영 영상에 기초하여, 상기 주위상황 처리부에서 제공되는 상기 최종 주위상황과, 상기 도로상황 처리부에서 제공되는 상기 최종 도로상황에 대응되는 알림정보를 제공하는 알림정보 제공부를 포함하는 주행영상 기반의 알림정보 제공장치.

Images