KR20180058624A - 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른, 차량에서의 이동 객체 출현을 탐지하는 방법에 있어서, 도로에서의 주행 가능 영역과 나머지 영역을 분류하는 제 1 학습 분류 모델 및 장애물 영역을 추출하는 제 2학습 분류 모델에 기초하여, 주행 시 촬영한 주행 영상으로부터 도로에서의 주행 가능 영역과 장애물 영역을 추출하는 단계; 미리 설정한 제약 조건에 따라 도로와 장애물을 분할하는 분할 경계를 추출하되, 경계를 이루는 픽셀들의 에너지 함수가 최소가 되도록 하는 경계를 분할 경계로서 추출하는 단계; 분할 경계에 위치하는 장애물의 높이를 각각 추정하고, 장애물의 높이 변화가 임계값 이상이 되는 영역을 잠재적 위험 영역으로 특정하는 단계; 및 주행 영상에 영상 처리에 기반한 이동 객체 탐지 알고리즘을 적용하여 이동 객체를 탐지하는 단계를 포함하되, 이동 객체를 탐지하는 단계는 주행 영상 중 잠재적 위험 영역에 대하여 이동 객체 탐지 알고리즘을 가장 우선적으로 적용하거나, 슬라이딩 윈도우의 배치 밀도를 가장 높게 설정하여 이동 객체를 탐지하는 단계를 포함하는 이동 객체 탐지 방법일 수 있다.

Description

차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTING SUDDEN MOVING OBJECJ APPEARANCE AT VEHICLE}

본 발명은 주행 환경 이해에 기반을 둔 갑작스러운 보행자 출현 경고 방법 및 시스템에 관한 것이다.

완성차 시장에서 보행자 충돌 방지를 위한 기존의 ADAS(advanced driver assistance system) 기술들은 거리 센서를 기반으로 개발되어 왔다. 대표적으로 ADAS 기술은 레이저 센서, 라이다(Lidar) 등과 같은 장비들이 사용되어 왔다.

거리 센서 기반의 ADAS 기술은 주변 장애물 및 객체들의 거리를 정확하게 측정할 수 있다. 그러므로 거리 센서 기반의 ADAS 기술은 장애물 검출과 그에 따른 차량 제어가 용이하다는 장점이 있다. 그러나 거리 센서 기반의 ADAS 기술은 센서로 들어오는 정보가 극히 제한되어 있어, 주변 상황에 대한 정확한 이해를 하기는 힘들다. 또한, 거리 센서 기반의 ADAS 기술은 센서의 종류에 따라 차체의 흔들림이나 기상 상황 변화에 쉽게 영향을 받을 수 있다. 거리 센서 기반의 ADAS 기술은 정밀성을 보장하기 위해 차량 외부에 노출된 형태로 설치되어야 하므로 차체의 외형을 변형시켜야만 하고, 설치비용이 비싸다

그러므로 최근에는 블랙박스와 같은 영상 센서를 활용한 컴퓨터 비전 기술에 기초한 보행자 충돌 방지 기술과 같은 ADAS 기술이 주목을 받고 있다. 컴퓨터 비전 기반의 보행자 충돌 방지 기술들은 통상적으로 슬라이딩 윈도우에 기반하여 보행자의 탐색을 수행하고, 주행 경로 상에 보행자가 탐지되면 위험 상황을 알려준다. 하지만 종래의 기법들은 이미지 전체를 탐색해야 한다는 점에서 많은 계산량을 요구하게 되며, 주행 환경에 따라 오인식이 자주 발생할 수도 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 주행 환경 이해에 기반을 둔 갑작스러운 보행자 출현 경고 방법 및 시스템을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른, 차량에서의 이동 객체 출현을 탐지하는 방법에 있어서, 도로에서의 주행 가능 영역과 나머지 영역을 분류하는 제 1 학습 분류 모델 및 장애물 영역을 추출하는 제 2학습 분류 모델에 기초하여, 주행 시 촬영한 주행 영상으로부터 도로에서의 주행 가능 영역과 장애물 영역을 추출하는 단계; 미리 설정한 제약 조건에 따라 도로와 장애물을 분할하는 분할 경계를 추출하되, 경계를 이루는 픽셀들의 에너지 함수가 최소가 되도록 하는 경계를 분할 경계로서 추출하는 단계; 분할 경계에 위치하는 장애물의 높이를 각각 추정하고, 장애물의 높이 변화가 임계값 이상이 되는 영역을 잠재적 위험 영역으로 특정하는 단계; 및 주행 영상에 영상 처리에 기반한 이동 객체 탐지 알고리즘을 적용하여 이동 객체를 탐지하는 단계를 포함하되, 이동 객체를 탐지하는 단계는 주행 영상 중 잠재적 위험 영역에 대하여 이동 객체 탐지 알고리즘을 가장 우선적으로 적용하거나, 슬라이딩 윈도우의 배치 밀도를 가장 높게 설정하여 이동 객체를 탐지하는 단계를 포함하는 이동 객체 탐지 방법일 수 있다.

본 발명의 다른 일 실시예에 따른, 차량에서의 이동 객체 출현을 탐지하는 장치에 있어서, 자율 주행 차량에 배치된 카메라로부터 수신한 주행 영상이 저장되고, 위험 탐지 방법을 구현하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하여 상기 주행 영상으로부터 위험 탐지 동작을 실행하는 프로세서를 포함하되, 프로세서는 도로에서의 주행 가능 영역과 나머지 영역을 분류하는 제 1 학습 분류 모델 및 장애물 영역을 추출하는 제 2학습 분류 모델에 기초하여, 주행시 촬영한 영상으로부터 도로에서 주행 가능 영역과 장애물 영역을 추출하고, 미리 설정한 제약 조건에 따라 도로와 장애물을 분할하는 분할 경계를 추출하되, 경계를 이루는 픽셀들의 에너지 함수가 최소가 되도록 하는 경계를 상기 분할 경계로서 추출하고, 상기 분할 경계에 위치하는 장애물의 높이를 각각 추정하고, 장애물의 높이 변화가 임계값 이상이 되는 영역을 잠재적 위험 영역으로 특정하고, 상기 도로 영상에 영상 처리에 기반한 이동 객체 탐지 알고리즘을 적용하여 이동 객체를 탐지하되, 프로세서는 상기 영상 중 상기 잠재적 위험 영역에 대하여 이동 객체 탐지 알고리즘을 가장 우선적으로 적용하거나, 슬라이딩 윈도우의 배치 밀도를 가장 높게 설정하여 이동 객체를 탐지하는 것인 이동 객체 탐지 장치일 수 있다.

본 발명은 주변 환경 정보를 인식하고 장애물 영역과 주행 가능 영역 사이의 경계를 추출함 돌발적인 상황에서의 보행자 출현 경고 정확성을 향상시킬 수 있다.

본 발명은 추출된 경계선을 따라 잠재적인 돌발 상황 발생 영역을 추정하게 된다. 본 발명은 추정된 영역을 이용하여 보행자를 탐색하게 되면 기존의 방식에서 영상 전체 영역을 탐색하는 것보다 효과적으로 탐색을 수행 할 수 있다. 그러므로 본 발명은 계산량을 줄일 수 있게 된다. 또한, 본 발명은 거리 변화량 정보가 아닌, 영상 분할과 장애물 높이 추정에 기반을 둔 잠재적 위험 영역 추정 방법을 제안함으로써, 다양한 주행 환경에서도 기존 방법보다 정확하게 위험 영역 추정을 수행 할 수 있다. 그리고 본 발명은 영상 분할과정에서 시간적/공간적 제약 조건들을 기반으로 영상을 저차원 그래프로 표현함으로써, 처리 계산량을 추가적으로 줄이는 효과도 가지게 된다.

부수적인 효과로써, 본 발명은 주변 상황 정보를 추출하는 과정에서 보행자 및 위험 상황 오인식을 줄일 수 있는 장점이 있다. 또한, 본 발명에서는 도로 면이나 지평선 등의 정보를 장애물 영역 추정 과정에서 함께 다루기 때문에 위험 상황을 잘못 인식하여 경고하거나, 나무와 전봇대 등의 물체가 보행자로 오인식되는 문제를 줄일 수 있다.

도 1은 본 발명의 일 실시예에 따른 보행자로 인한 위험 상황에 대한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 차량에서의 이동 객체 출현을 탐지시스템 구성도이다.
도 3은 본 발명의 일 실시예에 따른 학습 정보의 특징 중 하나인 색상 기반 형태 정보의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 학습 정보의 특징 중 하나인 윤곽선 정보의 예시도이다.
도 5은 본 발명의 일 실시에 따른 학습 정보의 특징 중 하나인 광흐름 정보의 예시도이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 장애물과 도로의 경계를 추정한 결과의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 장애물의 높이 추정의 예시도이다.
도 8는 본 발명의 일 실시예에 따른 잠재적 위험 영역의 예시도이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 정보 제공 방식의 예시도이다.
도 10은 본 발명의 일 실시예에 따른, 이동 객체를 탐지하는 과정을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 차량에서의 이동 객체 출현을 탐지하는 장치의 구성을 나타낸 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1 은 본 발명의 일 실시예에 따른 보행자로 인한 위험 상황에 대한 예시도이다.

먼저 도 1을 살펴보면 보행자-차량 간의 충돌 상황은 두 가지로 형태로 정의 될 수 있다.

첫 번째 상황은 위험 상황으로 보행자의 신체 대부분의 영역이 운전자의 시선에 노출되어 있어, 보행자 탐지가 용의하며, 행동 인식, 궤적분석 등의 다양한 분석을 통해 보행자의 상태를 판단 할 수 있는 상황이다.

다음 상황은 돌발 상황으로 보행자의 신체가 일정 이상 가려져 있어, 통상적인 보행자 인식기로 인식이 제대로 되지 않아 추출할 수 있는 정보가 거의 없어 위험 상황 판단이 어려운 상태이다. 이때, 돌발 상황의 예로는 골목길이나 차량 주변에서 갑작스러운 보행자의 등장이나 차량에서의 하차를 예로 들 수 있다.

생활권 도로에서의 주행은 도로의 폭이 협소하고 주변 장애물(주차된 차량, 벽 등)과 주행 차량 사이의 거리가 짧은 특성이 있다. 따라서 보행자가 완전히 도로 상에 진입한 상태에서 경고를 내릴 경우 이미 차량을 제동하기 힘든 경우가 발생 할 수 있다. 그러므로 이러한 상황에서는 보행자가 가려진 상태에서 빠르게 상황을 판단하는 것이 중요하다.

하지만 이러한 돌발 상황은 매우 짧은 구간에서 짧은 시간 동안 발생한다. 그리고 이러한 돌발 상황은 주행 차량 또한 이동하는 상황이다. 그러므로 돌발적인 상황을 경고하는 시스템은 전처리에서 최종 경고까지 매우 짧은 시간 안에 처리해야 함으로 기존의 보행자 탐지 및 충돌 예측 시스템으로는 처리에 어려움이 있다.

종래의 기술들은 영상 전체의 모든 위치에 대하여 순차적으로 탐색하기 때문에 많은 계산량을 요구로 한다. 여기서 위험 상황 판단을 위한 계산 시간의 주요 요소는 보행자 탐지 시간과 검색 윈도우 이동으로 인한 시간이 주를 이룰 수 있다. 보행자 탐지 시간의 경우는 이미 GPU 기반 계산 및 알고리즘이 상당 부분 개선이 이루어져 있어 추가적인 개선이 어렵다. 따라서 기존의 보행자 탐지의 프레임워크에서 계산 시간을 줄이기 위해서는 보행자 탐지에 사용될 후보 영역의 범위를 줄이는 것이 시간을 줄일 수 있는 유효한 방법이 될 수 있다.

본 발명은 주변의 장애물 영역을 인식하고 이를 바탕으로 보행자 탐색 후보 영역들을 줄임으로써, 돌발 상황 경고에 적합한 시스템을 제안한다.

종래에도 위험 영역을 정의하고 보행자 탐지 시간을 줄이는 방식이 존재하였다. 하지만 종래의 방법은 레이저 센서나 양안 카메라 기반의 거리 혹은 깊이 정보를 활용한다. 종래의 방법은 블랙박스 카메라 영상과 같이 단안 카메라 환경에서 수행이 불가능하다. 또한, 종래의 발명은 오직 주변 환경 중 시간에 따른 거리 변화가 큰 곳을 위험 영역이라고 정의하고 보행자 탐색에서 시간적 우선순위를 할당할 수 있다. 그러므로 종래의 발명은 실제 주행 환경에서 발생할 수 있는 다양한 돌발 상황에 대처하기 어렵다.

거리 변화량의 지역 최소 점과 지역 최대 점에 기반에 잠재적 위험 영역 선택은 주행 상황에서의 차체의 움직임 및 주변 환경의 구성 등의 여러 변수에 의해 잘못된 위치를 위험 영역으로 추정하는 상황이 자주 발생할 수 있다. 또한, 종래의 방법은 고정된 장애물이 아닌 변화하는 장애물(하차 시 차문 등)에 의한 상황에 취약점이 존재한다.

본 발명에서는 이러한 문제를 장애물-주행가능 영역의 경계선을 따라 문맥 정보를 활용하여 장애물의 위치 및 크기를 인식함으로써 잠재적 위험 영역 선택과 관련된 문제를 개선한다.

도 2 는 본 발명의 일 실시예에 따른 차량에서의 이동 객체 출현을 탐지시스템 구성도이다.

도 2를 참조하면 본 차량에서의 이동 객체 출현을 탐지하는 시스템은 영상 입력 모듈(a), 주변 환경 이해 모듈(b), 잠재적 위험 영역 추정 및 보행자 검출 모듈(c) 및 위험 상황 경고 모듈(d)을 포함하는 프로세서를 이용한다.

먼저 영상 입력 모듈(a)은 주행 중인 차량의 주변 상황 정보를 수신하는 역할을 수행한다. 따라서, 촬영을 수행하는 장치는 돌발 상황의 특성을 고려하여 HD급 이상의 화질 및 30fps 이상의 영상을 촬영할 수 있는 카메라를 필요로 할 수 있으나, 이에 한정된 것은 아니다. 즉, 입력 영상 모듈(a)은 HD 급보다 낮은 해상도에서도 위험 상황에 대한 경고 수행이 가능하다. 또한, 입력 영상을 촬영하는 카메라가 단안 카메라뿐만 아니라, 다중 카메라 및 스테레오 카메라와 같은 별도의 제약은 본 발명에서 한정하지 않는다.

다음으로 영상 입력 모듈(a)을 통해 수신한 영상을 주변 환경 이해 모듈(b)을 통해 각 픽셀에 대한 특징 정보를 추출하게 된다. 이때 추출한 특징 정보들을 이용하여 본 발명에서 기존에 학습된 사전 정보모델을 활용하여 영상에서 차량이 주행할 수 있는 영역과 그 외 영역을 구분하고, 최적의 경계선을 추정하게 된다.

여기서 주변 환경을 이해하기 위하여 주행 가능한 영역과 그 외 영역을 구분하기 위한 정보는 사전에 학습해야 한다. 예를 들어, 주변 환경의 색상의 형태나 윤곽선 광흐름 정보를 통해 차량이 주행할 수 있는 영역과 장애물, 그 외 영역을 분할된 이미지 형태로 표현할 수 있게 되고, 이에 대한 더 자세한 설명은 추후 서술하기로 한다.

그 후 주행 가능 영역과 장애물 영역의 경계를 기준으로 보행자 탐색 영역을 축소하고, 보행자를 검출하는 역할을 수행하는 것이 잠재적 위험 영역 추정 및 보행자 검출 모듈(c)이다.

마지막으로 위험 상황 경고 모듈(d)을 통해 앞서 추정한 잠재적 위험 영역에 대해서 운전자가 주행 중 주의를 할 수 있도록 주변 환경에 대한 정보를 제공한다. 이때 정보는 디스플레이나 경고음과 같은 음향 신호를 통해 운전자에게 전달할 수 있으나, 경고 방식이 본 발명을 제한하지는 않는다.

도 3 내지 도 5는 본 발명의 일 실시예에 따른, 발명의 장치가 주변 환경을 학습하기 위해 필요한 특징 정보들의 예시도이다. 따라서, 각각의 도면에 대한 상세설명을 진행하기 전에 학습 데이터의 구조와 학습방식을 먼저 설명한다.

학습 데이터는 주행 가능 영역(301), 장애물 영역(302), 나머지 영역(303)으로 분할된 프레임 이미지와 실제 주행 영상 및 영상 내의 픽셀 위치에 대한 클래스 정보들로 이루어질 수 있다. 이때, 학습 데이터는 30fps 기준으로 30분 분량 이상의 데이터에 의해 학습되는 것이 바람직하다.

본 발명의 일 실시예에 따르면, 사전 정보를 통한 학습을 진행하는 모델로써, 적어도 다음과 같은 2가지 모델이 사용될 수 있다.

먼저 주행 가능 영역(301)과 그 외 영역(장애물 영역(302)과 나머지 영역(303))을 분할하는 분류 모델이 사용될 수 있다. 해당 모델은 내부적으로 3가지 특징(색상 기반의 형태, 윤곽선, 광흐름)을 이용하여 학습이 수행될 수 있다.

모델의 파라메터는 각 특징을 이용하여 산출한 평균과 분산으로 표현될 수 있다. 모델 파라메터는 이진 분류 모델 또는 클러스터링 방법과 같은 기계학습 기법을 통하여 학습될 수 있는데, 이때 기계학습 기법의 예시로는 Gaussian Mixture Model(GMM), K-means Clustering, Fuzzy C Clustering, Kernel Density Estimation(KDE), RBF based Neural Network, SVM 등이 될 수 있다.

이하에서는 기계학습 기법 중 GMM을 기반으로 한 파라메터 획득 방법을 일 예로 설명한다.

이에 따르면, 본 발명의 일 실시예에 따른 프로세서는 2개의 Gaussian Mixture를 설정하고 전체 학습 데이터를 각 Mixture에 할당할 수 있다. 이때, 할당의 기준은 초기에 설정한 임의의 평균과 분산값을 사용하고, 각 Mixture에 대한 확률 분포를 계산하고 높은 확률 값을 가지는 Mixture로 데이터를 할당할 수 있다. 이와 같은 과정을 EM 알고리즘을 통하여 반복적으로 수행하여 최적의 확률 분포를 추정할 수 있다. 이에 따라, 전체 데이터를 가장 잘 표현 할 수 있는 2개의 확률 분포에 대한 파라메터가 구해질 수 있다. 또한, 앞에서 설명한 과정을 각 특징 데이터마다 적용하여 반복하는 경우, 한 특징에 대하여 2 클래스에 대한 평균과 분산을 구할 수 있으므로, 총 3개의 특징에 대하여 12개의 파라메터가 구해질 수 있다.

다음으로 장애물 영역을 추출하기 위한 인식 모델이 사용될 수 있다. 인식 모델 모델도 분류 모델과 마찬가지로 내부적으로 3가지 특징(색상 기반의 형태, 윤곽선, 광흐름)을 통해 학습이 수행될 수 있다.

또한, 장애물 영역(302)의 추출을 위해 앞서 언급되었던 클러스터링이나 분류 기법들이 사용될 수 있으며, 예컨대, KDE나 Deep Neural Network와 같이 비모수적 추정 기법이 사용될 수 있다.

이하에서는, 모델에 대해 학습이 수행되는데 사용되는 특징에 대해서 보다 구체적으로 설명하고자 한다.

먼저, 도 3은 본 발명의 일 실시예에 따른 학습 정보의 특징 중 하나인 색상 기반 형태 정보의 예시도이다.

색상 기반의 형태 정보는 일종의 세그맨테이션(Segmentation)정보로서 도 3과 같은 형태로 사전 정보가 구상된다. 색상 기반의 형태 정보는 픽셀 값의 평균과 분산 값에 기초하여 주행 가능 영역(301), 장애물 영역(302), 나머지 영역(303)과 같은 3개의 클레스로 레이블링하여 색상 기반으로 표현한 것일 수 있다.

두 번째로 도 4는 본 발명의 일 실시예에 따른 학습 정보의 특징 중 하나인 윤곽선 정보의 예시도이다.

윤곽선 정보는 영상이나 이미지 속의 객체들의 경계(Boundary)를 뜻하는 정보로 질감을 표현할 수 있다. 윤곽선 정보에는 장애물의 모양(Shape)과 방향성(Direction)을 포함하고 있다. 일반적으로 윤곽선 정보는 도 4와 같은 맵의 형태로 만들어진 후 특징 정보로 사용된다.

도 5은 본 발명의 일 실시에 따른 학습 정보의 특징 중 하나인 광흐름 정보의 예시도이다.

광흐름 정보는 영상 속 특정 프레임의 위치변화를 벡터(305)형식으로 추출한 특징점 정보이다. 특징점은 힘과 방향이 포함되고, 주로 움직이는 물체를 기준으로 밀집되어 있다. 따라서 장애물(객체)의 특징점 분포를 이용하여, 확률 분포 기반의 에너지 함수를 계산할 수 있다.

앞에서 설명한 3가지 특징 정보를 이용하면, 주행 가능 영역(301)과 장애물 영역(302)을 구분할 수 있다. 이때, 주행 가능 영역(301)과 장애물 영역(302)이 맞닿는 곳을 경계(304)로 설정할 수 있으며, 이를 나타낸 것이 본 발명의 일 실시예에 따른 도 6a와 도6b이다.

도 6a 및 도 6b를 참고하여 설명하면, 경계(304)는 아래의 3가지 조건을 따르게 된다.

첫 번째는 경계(304)의 위치에 관한 것으로 장애물-도로의 경계(304)는 수평선 보다 이하에 위치해야 한다는 것이다. 그 이유는 차량이 고가 도로로 진입할 때와 같은 특별한 경우를 제외하면, 일반적인 생활권 도로에서 소실점은 수평선의 아래에 존재하기 때문이다. 따라서 경계(304)도 수평선 아래에 위치하도록 조건을 정의해야 한다.

두 번째는 경계(304)를 구성하는 점들은 연속적이며, 영상의 좌-우에 위치하는 선이어야 한다. 도로는 주행 하는 차량의 전방으로 뻗어 있고, 이때 도로 주변의 장애물들은 도로를 따라 존재한다. 따라서 본 발명에서의 경계(304)는 영상을 기준으로 상-하의 픽셀 정보보다는 좌-우의 픽셀정보를 중요시하도록 설정한다. 또한, 본 발명에서 경계(304)는 영상을 픽셀 너비 숫자만큼 기둥처럼 분할하여 각각을 하나의 그래프 노드처럼 활용할 수 있다.

세 번째는 경계(305)를 구성하는 픽셀들은 주변에 위치하는 픽셀들에게서만 영향을 받는다고 가정한다. 그 이유는 영상 내에 존재하는 특정 픽셀들이 그 주변에 위치한 픽셀들에 의해서만 영향을 받는다고 가정한다면, 확률 모델을 가정함에 있어서 필요한 계산량을 줄일 수가 있다.

만약, 종래의 발명에서처럼 사전에 정해진 조건 없이 영상 전체의 픽셀들에 대한 경계를 추정하게 된다면, 계산량이 많아 실시간 처리가 어렵고 최적의 값을 보장하기 어렵기 때문이다.

따라서 본 발명에서 경계(304)를 설정 시 앞에서 설명한 3가지 제약을 걸기 때문에 경계(304)를 추정함에 필요한 계산을 저차원 그래프 분할 문제로 함축시킬 수 있다. 이때, 저차원 그래프 최적화 문제는 기존의 시퀸스 모델링이나 베이지안 기반의 확률 모델들을 기반으로 해결할 수 있다.

예를 들면 저차원 그래프 최적화 문제를 해결하는 대표적인 시퀸스 모델링으로는 Markov Random Field (MRF), Conditional Random Field (CRF), Hidden Markov Model (HMM), Deep Recurrent Neural Network (DRNN)와 같은 구조화된 연속형 데이터 예측 기법이 사용될 수 있고, 베이지안 기반의 확률 모델로는 MRF 프레임워크가 있을 수 있다.

이하는 베이지안 기반의 확률 모델인 MRF 프레임 워크로 저차원 그래프 최적화 문제의 해결하는 방법을 일 예를 설명한다.

MRF는 이미지상에서 분할된 경계(304)를 이루는 픽셀들에 대한 에너지 함수를 계산하고, 그 값이 최소가 되는 지점을 찾는 용도로 사용한다. 이때 에너지 함수는 이전에 학습한 파라메터를 기반으로 현재 픽셀들의 특징 값이 분할 경계인지 여부를 로그 함수의 형태로 표현한 것이다.

이때 영상의 분할을 위한 에너지 함수는 "클래스 소속 점수"와 "주변 가중치"라는 2가지 요소로 이루어질 수 있다.

클래스 소속 점수는 특정 픽셀이 특정 클래스에 소속될 확률 분포 값을 뜻하며, 이는 특정 위치에서의 픽셀이 특정 클래스에 적합 여부를 나타낸다. 또한, 주변 가중치는 특정 위치의 픽셀과 그 주변의 픽셀을 확률분포를 바탕으로 비교한 후 두 픽셀의 비교 결과값이 얼마나 일치하는지를 수치화 한 것이다. 이때 주변 가중치는 이미지를 분할한 관점에서 주변의 픽셀과 추론 값이 일치하지 않을수록 "+페널티"를 받게 되고, 일치할수록 ?-페널티"를 받게 된다. 따라서 주변 위치와 추정 결과가 일치하지 않을수록 에너지 함수의 값은 커지게 되고, 해당 위치의 픽셀이 분할 경계로 선택되지 않을 가능성이 커지게 된다.

여기서 확률 분포를 추정하는 방법에는 가우시안 분포를 사용할 수 있고, 일반화된 에너지 함수를 구하는 공식은 하기 수학식 1과 같다.

[수학식 1]

영상 분할의 관점에서, 수학식 1의 첫번째 항은 클래스 소속 점수를 의미하며 두번째 항은 주변 픽셀들에 대한 가중치 점수를 의미한다.

즉, 영상 분할의 수행 과정에서 에너지 함수는 데이터와 특징들에 대한 확률 모델 파라메터가 주어졌을 때, 각 클래스에 대한 픽셀들의 클래스 소속 점수와 주변 픽셀과의 일치 정도를 영상 전체에 대하여 계산한 것이다. 여기서, 에너지가 낮을수록 영상의 분할 결과가 잘 수행되었음을 의미하게 된다.

영상 내에서 에너지 함수를 바탕으로 그래프가 구성되고, 분할 경계가 계산될 수 있다. 그래프의 노드의 값은 각 픽셀의 클래스 소속 점수로 계산되며, 각 그래프의 주변 픽셀들과의 관계는 그래프에서 간선의 가중치 값으로 표현될 수 있다.

이 때, 그래프를 구성하는 노드는 앞에서 설명한 첫 번째 제약에 의해 영상 내 수평선보다 낮은 위치에 존재해야 하며, 노드는 두 번째 제약에 의해서 경계선은 좌-우를 횡단하는 선의 형태를 가짐으로 좌측에서 우측으로 탐색을 하게 되며, 상-하 방향으로의 픽셀 관계는 고려되지 않을 수 있다.

위의 과정을 통해 최종적으로 본 발명은 그래프에 대하여 최소 에너지를 가지는 영상 분할 경계(304)를 찾는 과정을 수행할 수 있다. 이때, 본 발명은 최적화한 해를 찾는 방법으로 Graph Cut 알고리즘, Cutting Plane 알고리즘 등이 사용될 수 있다.

본 발명의 일 실시예에 따라 앞에서 도출한 경계(304)와 장애물 영역(302) 및 장애물 영역의 높이(306)을 사용하면, 주행 가능 영역(301)에서 이동 객체의 탐색 영역을 함축할 수 있다. 또한 이동 객체의 탐색 영역 중 이동 객체의 출현 가능성이 높은 영역을 잠재적 위험 영역(307)을 설정하여 탐색에 대한 우선순위를 부여한다.

또한, 잠재적 위험 영역(307)은 일반화 된 단일 프레임 워크로 처리기법을 사용하여 탐색할 수 있다.

구체적으로 설명하면, 잠재적 위험 영역(307)을 추론하기 위해서는 먼저 앞에서 추론한 특징 정보인 광흐름, 윤곽선 및 색상 정보를 활용하여 경계(304) 주변 장애물 영역의 높이(306)를 추정할 필요가 있다. 이때, 장애물의 높이를 추정하는 이유는 앞에서 도출한 경계(304)만으로는 해당 도로의 상황을 정확하게 파악하기 어렵기 때문이다. 특히 장애물과 장애물 주변의 영역은 다른 영역들보다 이동 객체가 등장할 가능성이 높기에 해당 영역은 이동 객체의 탐색에서 높은 가중치를 받을 필요가 있다.

따라서, 도 7은 본 발명의 일 실시예에 따른 장애물의 높이 추정의 예시도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따라 경계(304)를 기준으로 세로 방향으로 장애물의 높이(306)를 계산할 수 있다.

이때 높이에 대한 정확도를 높이기 위해 경계(304) 주변 영역에 존재하는 픽셀의 색상 및 윤곽선 정보를 이용하여, 장애물 영역(302)의 픽셀과의 일치도를 산출하고, 이를 기초로 높이를 판단할 수 있게 된다.

도 8는 본 발명의 일 실시예에 따른 잠재적 위험 영역의 예시도이다.

앞에서 설명한 것과 같이 산출된 장애물 영역의 높이(306)를 이용하여, 잠재적 위험 영역(307)을 추정할 수 있다.

이를 자세히 설명하면, 잠재적 위험 영역(307)은 주행중인 차량이 보는 시점에서 발생하는 장애물 영역(302)과 주변 환경과의 높이의 차이를 통해 설정할 수 있다. 특히, 잠재적 위험 영역(307)이 설정되기 시작하는 높이의 차이는 학습이나 경험적으로 얻은 임계값의 설정을 통해 가능하다.

잠재적 위험 영역(307) 주변은 공간적으로 밀도 높게 슬라이딩 윈도우를 배치하고 그렇지 않은 영역들은 좀 더 낮은 밀도로 슬라이딩 윈도우를 배치하여, 다른 영역들보다도 잠재적 위험 영역(307) 주변을 운전자가 가장 먼저 탐색할 수 있게 만들고, 그 후에 장애물 영역(302)이나 경계(304) 주변이 탐색할 수 있도록 만들 수 있다.

그리고, 슬라이딩 윈도우에서 이동 객체 탐색기하기 위해서는 기존에 프레임워크를 활용할 수 있으며, 대표적인 탐색기로는 가려진 대상에 대한 강인한 인식이 가능한 Deformable 모델 기반의 보행자 인식기 등이 사용될 수 있다.

도 9a 및 도 9b는 본 발명의 일 실시예에 따른 정보 제공 방식의 예시도이다.

본 발명의 일 실시예에 따라, 주행 중인 도로에서 이동 객체가 검출이 되었을 때 시스템은 위험 상황 경고 모듈(d)을 통해 운전자가 인지할 수 있도록 위험 상황 정보를 제공한다. 이때, 정보 제공은 헤드업 디스플레이(HUD)나 내비게이션 화면 등을 통해 제공할 수 있으며, 운전자에게 위험상황을 알리는 디스플레이나 경고의 표기방식이 본 발명을 제한하지는 않는다.

예를 들어, 이하에서는 헤드업 디스플레이 기반의 증강현실을 일 예로 설명한다.

위험 상황 경고는 안전한 상황에서의 주행 환경 정보 제공과 돌발 상황 발생 시 경고의 두 단계로 이루어져 있다. 먼저, 안전한 상황에서의 주행 환경 정보 제공 단계에서는 운전자에게 안전한 주행 영역과 주의해야 할 장소에 대한 정보를 제공한다.

도 9a는 본 발명의 일 실시예에 따른 안전한 상황에서의 주행 환경 정보 제공 방식을 표현한 예시도이다.

도 9a를 참조하면, 본 발명은 주행 경로 주변의 이동객체가 등장할 수 있는 잠재적 위험 영역(307)의 위치를 노란색 박스형태(308)로 표시하고 있으며, 그 상단에는 보행자 주의 표지판을 표시할 수 있다. 이때 표지판의 경우 운전자의 시야를 가릴 수 있기에, 본 발명은 표지의 상단에 표시하도록 하였고, 잠재적 위험 지역이 차량과 멀리 떨어져있다고 판단 될 경우 경고를 표시하지 않도록 하였다.

또한 추가적으로 주행 가능한 영역(301)에 옅은 녹색 그라데이션으로 표시하거나, HUD 좌측 하단의 녹색 상태 등을 표시할 수 있다. 이를 통해 운전자는 현재 주변 환경이 안전한 상태임을 인지할 수 있게 된다.

반대로, 도 9b는 본 발명의 일 실시예에 따른, 돌발 상황이 발생한 상황에서의 정보 제공 방식을 표현한 예시도이다.

앞서 설명한 것과 반대로 이동 객체가 주행 가능 영역(301)을 침범할 시 운전자가 이동 객체에게 시선을 빠르게 유도할 수 있도록 한다. 이때 이동 객체를 빨간색 박스형태의(309)로 로 표시하고, 그 상단에는 정지 표지판을 표시할 수 있다.

또한, 주행 가능한 영역(301)을 옅은 붉은색 그라데이션으로 표시하거나, HUD 좌측 하단의 붉은색 상태 등을 표시함으로 운전자의 빠른 대처를 유도할 수 있게 된다.

도 10은 본 발명의 일 실시예에 따른, 이동 객체를 탐지하는 과정을 나타낸 흐름도이다.

도 10을 살펴보면, 차량 혹은 운전자 보조 시스템 단말(100)에 부착되어 있는 카메라 모듈을 통해 주행 중인 도로에 대한 시각적인 정보를 수신한다(S210).

단계(S210)에서 수신한 시각정보는 프로세서에 내장되어 있는 알고리즘을 통해 주행 가능 영역(301)과 장애물 영역(302)으로 분리하는 과정을 거친다(S220).

앞서 분리한 두 영역 사이의 경계(304)를 설정하고(S230), 경계(304)를 기준으로 장애물 영역(302)의 높이에 따른 임계값을 계산한다(S240).

임계값에 따라서 장애물로 가려지는 영역 중 일부를 잠재적 위험 영역(307)을 설정하고(S250), 위험 영역을 중심으로 출현할 수 있는 이동 객체에 대한 탐지를 진행하는 것으로 단계를 마치게 된다(S260).

도 11은 본 발명의 일 실시예에 따른 차량에서의 이동 객체 출현을 탐지하는 운전자 보조 시스템 단말의 구성을 나타낸 도면이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 차량에서의 이동 객체 출현을 탐지하는 단말(100)은 프로세서(110), 메모리(120), 카메라 모듈(130) 및 디스플레이 모듈(140)을 포함한다.

상세히 설명하면, 메모리(120)는 차량에서의 이동 객체 출현을 탐지하는 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다.

프로세서(110)는 일종의 중앙처리장치로서 차량에서의 이동 객체 출현을 탐지하는 방법을 제공하는 전체 과정을 제어한다. 프로세서(110)는 디스플레이 모듈, 카메라 모듈 및 메모리에서 수행되는 작업을 제외한 모든 작업을 제어하게 된다.

디스플레이 모듈(140)은 차량에서의 이동 객체 출현을 탐지하는 방법을 수행하기 위한 인터페이스를 표시하는 기능을 수행한다. 디스플레이 모듈(140)의 출력 형태는 앞에서 서술한 것과 같이 다양한 형태를 지닐 수 있고, 본 발명을 제한하지는 않는다.

카메라 모듈(130)은 차량에서의 이동 객체 출현을 탐지하는 방법을 수행하기 위해 주변 환경을 촬영하는 장치로서 앞에서 서술한 영상 입력 모듈(a)의 기능을 수행한다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 운전자 보조 시스템 단말
110: 프로세서 120: 메모리
130: 카메라 모듈 140: 디스플레이 모듈
301: 주행 가능 영역 302: 장애물 영역
303: 나머지 영역 304: 경계
305: 벡터 306: 장애물의 높이
307: 잠재적 위험 영역

Claims (10)

1. 차량에서의 이동 객체 출현을 탐지하는 방법에 있어서,
   도로에서의 주행 가능 영역과 나머지 영역을 분류하는 제 1 학습 분류 모델 및 장애물 영역을 추출하는 제 2학습 분류 모델에 기초하여, 주행시 촬영한 주행 영상으로부터 도로에서의 주행 가능 영역과 장애물 영역을 추출하는 단계;
   미리 설정한 제약 조건에 따라 도로와 장애물을 분할하는 분할 경계를 추출하되, 경계를 이루는 픽셀들의 에너지 함수가 최소가 되도록 하는 경계를 상기 분할 경계로서 추출하는 단계;
   상기 분할 경계에 위치하는 장애물의 높이를 각각 추정하고, 장애물의 높이 변화가 임계값 이상이 되는 영역을 잠재적 위험 영역으로 특정하는 단계; 및
   상기 주행 영상에 영상 처리에 기반한 이동객체 탐지 알고리즘을 적용하여 이동객체를 탐지하는 단계를 포함하되,
   상기 이동객체를 탐지하는 단계는 상기 주행 영상 중 상기 잠재적 위험 영역에 대하여 상기 이동객체 탐지 알고리즘을 가장 우선적으로 적용하거나, 슬라이딩 윈도우의 배치 밀도를 가장 높게 설정하여 이동객체를 탐지하는 단계를 포함하는 이동 객체 탐지 방법.
2. 제 1 항에 있어서,
   상기 제 1 학습 분류 모델은 컬러 기반 형태, 대상체의 윤곽선 및 영상에서의 광흐름(optical flow) 정보를 특징 정보로서 학습한 것으로, 이들 특징 정보들을 기초로 각 영상의 주행 가능 영역과 나머지 영역을 분류하는 것이고,
   상기 제 2 학습 분류 모델은 상기 광흐름 정보, 질감 정보 및 색상 정보를 특징 정보로서 학습한 것으로, 이들 특징 정보들을 기초로 각 영상의 장애물 영역을 분류하는 것인 이동 객체 탐지 방법.
3. 제 1 항에 있어서,
   상기 탐지된 이동 객체의 주변에 하이라이트 표시를 오버레이하여 디스플레이를 통해 출력하는 단계를 더 포함하는 이동 객체 탐지 방법.
4. 제 1 항에 있어서,
   상기 분할 경계를 추출하는 단계는
   상기 미리 설정한 제약 조건으로서, 상기 도로와 장애물의 경계는 수평선과 같거나 그 보다 낮은 위치에 존재한다는 제 1 제약 조건, 상기 도로와 장애물의 경계를 구성하는 점들은 연속적이며, 상기 영상을 수평방향으로 횡단한다는 제 2 제약 조건 및 경계선을 구성하는 점들은 주변에 위치하는 픽셀들에서만 영향을 받는다는 제 3 제약 조건을 사용하는 것인 이동 객체 탐지 방법.
5. 제 1 항에 있어서,
   상기 잠재적 위험 영역으로 특정하는 단계는
   미리 설정된 영상의 특징 정보를 기초로 경계선으로부터 수직 상방으로 탐색하면서 특징 정보가 일치하는 정도를 기초로 각 장애물의 높이를 추정하되,
   상기 영상의 특징 정보로는 광흐름 정보, 질감 정보 및 색상 정보를 사용하는 것인 이동 객체 탐지 방법.
6. 차량에서의 이동 객체 출현을 탐지하는 장치에 있어서,
   상기 자율 주행 차량에 배치된 카메라로부터 수신한 주행 영상이 저장되고, 위험 탐지 방법을 구현하는 프로그램이 저장된 메모리 및
   상기 메모리에 저장된 프로그램을 실행하여 상기 주행 영상으로부터 위험 탐지 동작을 실행하는 프로세서를 포함하되,
   상기 프로세서는 도로에서의 주행 가능 영역과 나머지 영역을 분류하는 제 1 학습 분류 모델 및 장애물 영역을 추출하는 제 2학습 분류 모델에 기초하여, 주행시 촬영한 영상으로부터 도로에서 주행 가능 영역과 장애물 영역을 추출하고, 미리 설정한 제약 조건에 따라 도로와 장애물을 분할하는 분할 경계를 추출하되, 경계를 이루는 픽셀들의 에너지 함수가 최소가 되도록 하는 경계를 상기 분할 경계로서 추출하고, 상기 분할 경계에 위치하는 장애물의 높이를 각각 추정하고, 장애물의 높이 변화가 임계값 이상이 되는 영역을 잠재적 위험 영역으로 특정하고, 상기 도로 영상에 영상 처리에 기반한 이동객체 탐지 알고리즘을 적용하여 이동객체를 탐지하되,
   상기 프로세서는 상기 영상 중 상기 잠재적 위험 영역에 대하여 이동객체 탐지 알고리즘을 가장 우선적으로 적용하거나, 슬라이딩 윈도우의 배치 밀도를 가장 높게 설정하여 이동객체를 탐지하는 것인 이동 객체 탐지 장치.
7. 제 6 항에 있어서,
   상기 제 1 학습 분류 모델은 컬러 기반 형태, 대상체의 윤곽선 및 영상에서의 광흐름(optical flow) 정보를 특징 정보로서 학습한 것으로, 이들 특징 정보들을 기초로 각 영상의 주행 가능 영역과 나머지 영역을 분류하는 것이고,
   상기 제 2 학습 분류 모델은 상기 광흐름 정보, 질감 정보 및 색상 정보를 특징 정보로서 학습한 것으로, 이들 특징 정보들을 기초로 각 영상의 장애물 영역을 분류하는 것인 이동 객체 탐지 장치.
8. 제 6 항에 있어서,
   상기 프로세서는 상기 탐지된 이동 객체의 주변에 하이라이트 표시를 오버레이하여 상기 자율 주행 차량에 배치된 디스플레이를 통해 출력하는 것인 이동 객체 탐지 장치.
9. 제 6 항에 있어서,
   상기 프로세서는 상기 미리 설정한 제약 조건으로서, 상기 도로와 장애물의 경계는 수평선과 같거나 그 보다 낮은 위치에 존재한다는 제 1 제약 조건, 상기 도로와 장애물의 경계를 구성하는 점들은 연속적이며, 상기 영상을 수평방향으로 횡단한다는 제 2 제약 조건 및 경계선을 구성하는 점들은 주변에 위치하는 픽셀들에서만 영향을 받는다는 제 3 제약 조건을 사용하는 것인 이동 객체 탐지 장치.
10. 제 6 항에 있어서,
    상기 프로세서는 미리 설정된 영상의 특징 정보를 기초로 경계선으로부터 수직 상방으로 탐색하면서 특징 정보가 일치하는 정도를 기초로 각 장애물의 높이를 추정하되, 상기 영상의 특징 정보로는 광흐름 정보, 질감 정보 및 색상 정보를 사용하는 것인 이동 객체 탐지 장치.

Images