KR20130053980A - 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치 - Google Patents

Abstract

다양한 영상 데이터를 융합하여 강건하게 장애물체를 검출할 수 있는 방법 및 장치로서, 다수의 카메라에 의해 도로와 장애물체를 포함하는 영상을 촬영하여 다수의 영상 데이터를 획득하고, 상기 영상 데이터를 융합하여 장애물체를 검출한다. 시차맵 기반 검출 단계와 상기 단일영상 특징 기반 검출 단계를 통해 검출된 장애물체 영역과, 광류 기반 검출 단계에서 검출된 움직임 검출 영역을 결합함으로써, 최종적인 장애물체 영역을 검출한다.

Description

영상 데이터 융합 기반의 장애물체 검출 방법 및 장치{Obstacle detection method using image data fusion and apparatus}

본 발명은 영상 데이터 융합 기반의 장애물체를 검출하는 방법 및 장치에 관한 것으로서, 특히 다양한 영상 데이터의 융합을 통하여 강건하게 장애물체를 검출할 수 있는 방법 및 장치에 관한 것이다.

영상을 이용하여 도로 상의 차량 등과 같은 장애물체를 검출하는 방법이 많이 연구되고 있다.

이와 같은 장애물체를 검출하기 위한 방법으로서는, 모노 영상(그레이 영상)만을 이용하는 방법, 스테레오 비전을 이용하는 방법, 광류(optical flow)를 이용하는 방법 등이 있다.

모노 영상만을 이용하는 검출 방법은 배경 영상의 다양한 패턴, 그림자 등으로 인해 검출 성능에 한계가 있으며, 스테레오 비전을 이용하는 검출 방법도 원거리 물체나 근접한 물체를 명확히 검출하지 못한다는 문제점이 있다. 또한, 광류를 이용하는 검출 방법은 처리 속도가 느리고 주변 밝기 변화에 민감하다는 문제가 있다.

일례로서, 도 1에 스테레오 비전 시스템을 이용한 종래의 검출 방법에 의해 장애물체를 검출한 결과를 나타내었다. 스테레오 비전 시스템을 이용한 검출 방법에서는, 도 1(a)에 나타낸 바와 같은 그레이 영상을 입력받아, 도 1(b)에 나타낸 바와 같은 3차원 정보인 시차맵(depth map)을 형성하고, 이를 기반으로 도 1(c)와 같이 장애물체를 검출한다.

그러나 도 1(c)의 검출 결과를 도 1(d)에 나타낸 정상적인 검출 결과와 비교해 보면, 종래의 검출 방법에서는 시차맵의 해상도, 노이즈 등으로 인하여 다수의 장애물체를 하나의 장애물체로 잘못 검출하는 등의 문제점이 존재함을 알 수 있다. 특히, 원거리의 장애물체이거나 근접한 장애물체의 경우, 단순한 시차맵 정보만으로서 정확하게 장애물체를 분리하는 것이 매우 어렵다.

이상 설명한 바와 같이, 종래의 장애물체 검출 방법들은 각각 검출 성능에 한계를 나타내고 있으므로, 종래의 검출 방법들의 단점을 보완하여 검출 성능을 향상시킬 수 있는 검출 방법에 대한 연구 및 개발이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 종래의 장애물체 검출 방법에 의한 다양한 영상 데이터를 융합하여 강건하게 장애물체를 검출할 수 있는 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기한 과제를 해결하기 위하여, 본 발명에 따른 장애물체를 검출하는 방법은 다수의 카메라에 의해 도로와 장애물체를 포함하는 영상을 촬영하여 다수의 영상 데이터를 획득하고, 상기 영상 데이터를 융합하여 장애물체를 검출하는 방법으로서, 상기 영상 데이터로부터 시차맵을 생성하고, 상기 시차맵으로부터 장애물체의 영역을 검출하는 시차맵 기반 검출 단계와, 상기 영상 데이터로부터의 영상의 특징 정보와 상기 시차맵 기반 검출 단계에서 구한 장애물체 영역의 정보를 결합하여, 새로운 장애물체 영역을 검출하는 단일영상 특징 기반 검출 단계와, 상기 영상 데이터로부터의 광류(optical flow)에 근거하여 움직임을 검출하는 광류 기반 검출 단계를 포함한다.

이때, 상기 시차맵 기반 검출 단계와 상기 단일영상 특징 기반 검출 단계를 통해 검출된 장애물체 영역과, 상기 광류 기반 검출 단계에서 검출된 움직임 검출 영역을 결합함으로써, 최종적인 장애물체 영역을 검출한다.

상기 검출 방법은 상기 검출된 장애물체 영역에 대해, 도로 접점 오차, 수평 길이, 텍스쳐(texture)를 계산함으로써 장애물체를 검증하는 베이시안 기반 검증 단계나, 상기 영상 데이터의 화소별 과거 이력에 근거하여 각 화소 내에서 검출될 수 있는 확률을 구함으로써 장애물체를 검증하는 화소별 누적 검출 확률 기반 검증 단계를 더 포함할 수 있다.

상기 시차맵 기반 검출 단계는, 상기 영상 데이터로부터 스테레오 정합을 통해 시차맵을 생성하는 시차맵 생성 단계와, 상기 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 상기 영상 데이터에서 도로의 특징 정보를 추출하는 도로 특징정보 추출 단계와, 상기 추출된 도로 특징정보와 상기 시차맵의 한 열을 비교하여 상기 도로 특징정보보다 값이 높은 구간을 장애물체 영역으로 판정하고, 상기 시차맵의 모든 열에 대해 상기 판정 과정을 반복하여 합산하는 컬럼 검출 단계를 포함한다.

상기 시차맵 기반 검출 단계는, 상기 컬럼 검출 단계를 대신하여, 상기 시차맵을 U-시차맵으로 변환하고, 상기 장애물체의 높이를 제한하여 상기 U-시차맵 상에서 클러스터링을 실행하고, 상기 U-시차맵을 시차맵으로 역변환하여 시차맵 상에 장애물체 영역을 표시하는 높이 제한 U-시차맵 검출 단계를 포함할 수도 있다.

상기 컬럼 검출 단계 혹은 상기 높이 제한 U-시차맵 검출 단계 후에, 상기 시차맵에 대해 영역별 히스토그램 과정 혹은 조감도 맵핑 과정을 실행함으로써 상기 장애물체 영역을 개별적으로 분리하는 장애물체 분리 단계를 더 포함할 수 있다.

상기 단일영상 특징 기반 검출 단계는, 상기 영상 데이터로부터 영상의 특징정보들을 추출하고, 노이즈를 제거하기 위한 필터링을 실행하는 단계와, 상기 필터링된 각각의 영상에, 상기 시차맵 기반 검출 단계에서 구한 장애물체 영역의 정보를 결합하고, 상기 장애물체 영역 내에서 샘플링을 실행하여 데이터량을 감소시키는 단계와, 상기 샘플링된 영역별로 장애물체의 영역을 검출하는 단계와, 상기 검출된 장애물체 영역의 상기 특징정보의 값과, 상기 검출된 장애물체 영역간의 거리 정보에 근거하여, 상기 장애물체 영역을 분리 또는 결합하는 단계를 포함한다.

상기 광류 기반 검출 단계는, 상기 영상 데이터로부터 영상의 특징정보를 추출하고 광류를 계산하는 단계와, 상기 카메라의 움직임에 근거하여 광류를 보정하고, 상기 광류간의 거리 및 방향을 계산하는 단계와, 상기 계산된 거리 및 방향을 기준으로 광류 클러스터링을 실행하는 단계를 포함한다.

상기한 장애물체 검출 방법을 실행하는 장애물체 검출장치는, 다수의 카메라로 이루어져서 외부로부터 영상 데이터를 획득하는 카메라부와, 상기 카메라부에 의해 획득된 영상 데이터에 대해 상기 장애물체 검출 방법을 수행하여 장애물체를 검출하는 영상 처리부와, 상기 영상 처리부에 의한 검출 결과를 표시하는 모니터링부를 포함하여 구현할 수 있다.

본 발명에 따른 장애물체 검출 방법 및 장치는 시차맵 기반, 단일영상 특징 기반 및 광류 기반의 장애물체 검출 방법을 융합하여, 각 검출 방법에서의 단점을 보완함으로써, 검출의 신뢰성을 높일 수 있다.

또한, 검출된 장애물체에 대한 검증을 실행함으로써, 검출 성능을 향상시킬 수 있다.

이와 같이, 장애물체의 검출 성능을 향상시킬 수 있는 본 발명의 검출 방법 및 장치는 로봇, 자동차, 의료 분야 등에 적용할 경우 우수한 효과를 나타낼 수 있을 것이다.

도 1(a)는 장애물체 검출 방법에 사용되는 입력 영상을 나타내는 도면.
도 1(b)는 도 1(a)의 입력 영상으로부터 생성된 시차맵을 나타내는 도면.
도 1(c)는 도 1(b)의 시차맵을 기반으로 검출한 장애물체의 검출 결과를 나타내는 도면.
도 1(d)는 도 1(a)의 입력 영상으로부터 검출되어야 할 장애물체의 정상적인 검출 결과를 나타내는 도면.
도 2는 본 발명의 실시예에 따른 장애물체 검출 방법의 흐름도를 나타내는 도면.
도 3(a)는 본 발명의 실시예에 따른 도로 특징정보 추출 과정을 나타내는 도면.
도 3(b)는 본 발명의 실시예에 따른 컬럼 검출의 과정을 나타내는 도면.
도 3(c)는 본 발명의 실시예에 따른 높이 제한 U-시차맵 검출 과정을 나타내는 도면.
도 3(d)는 본 발명의 실시예에 따른 장애물체 영역의 분리 과정을 나타내는 도면.
도 4(a)는 본 발명의 실시예에 따른 단일영상 특징 기반 검출 과정을 나타내는 도면.
도 4(b)는 본 발명의 실시예에 따른 2개의 장애물체가 있는 경우의 장애물체 분리 또는 결합 과정을 나타내는 도면.
도 5는 본 발명의 실시예에 따른 광류 기반 검출 과정을 나타내는 도면.
도 6은 본 발명의 실시예에 따른 데이터 융합 기반의 장애물체 영역 검출 과정을 나타내는 도면.
도 7은 본 발명의 실시예에 따른 장애물체의 검증 과정을 나타내는 도면.
도 8은 본 발명의 실시예에 따른 장애물체 검출 방법을 실행하는 장애물체 검출 장치의 블록도를 나타내는 도면.

이하, 첨부한 도면을 참고하여 본 발명의 바람직한 실시예에 대해 설명한다.

본 실시예에서는 도로와 차량을 포함하는 영상에 대해 장애물체를 검출하고 있으나, 본 발명은 이러한 영상으로 한정되는 것은 아니며, 이와 다른 배경이나 물체를 포함하는 영상에 대해서도 검출할 수도 있다.

도 2에 본 발명의 실시예에 따른 장애물체 검출 방법의 흐름도로 나타내었다.

도 2에 나타낸 바와 같이, 본 발명의 장애물체 검출 방법은 다수의 카메라에 의해 획득된 영상 데이터를 융합하여 장애물체를 검출하는 것으로서, 시차맵 기반 검출 단계(100), 단일영상 특징 기반 검출 단계(200) 및 광류 기반 검출 단계(300)를 융합해서 실행하고 있다.

먼저, 시차맵 기반 검출 단계(100)에 대해 설명한다.

시차맵 기반 검출 단계(100)는 상기 영상 데이터로부터 스테레오 정합을 통해 시차맵을 형성하는 시차맵 생성 단계(110)와, 상기 시차맵을 V-시차맵으로 변환하여 도로의 특징 정보를 추출하는 도로 특징정보 추출 단계(120)와, 상기 추출된 도로 특징정보와 상기 시차맵을 이용하여 컬럼 검출을 실행하는 컬럼 검출 단계(130)와, 상기 시차맵을 이용하여 상기 컬럼 검출 단계에서 검출된 장애물체 영역을 분리하는 장애물체 분리 단계(140)로 이루어진다.

시차맵은 거리 정보를 밝기값으로 표현한 것으로서 가까운 곳은 밝은 값으로 먼 곳은 어두운 값으로 나타낸다. 이러한 시차맵은 공지된 여러 가지 방법으로 생성할 수 있다.

먼저, 입력되는 영상 데이터로부터 스테레오 정합을 통해 시차맵을 생성하고, 상기 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 상기 영상 데이터에서 도로의 특징정보를 추출한다. 이러한 도로 특징정보 추출 과정을 도 3(a)에 일례로서 나타내었다.

도 3(a)에 나타낸 바와 같이, 크기가 (M x N)인 시차맵에서 (m x n)크기를 가지는 장애물체가 있다고 가정하고, 이를 시차맵의 행별 분포를 나타내는 V-시차맵 상에 표현하면, 도로 성분은 대각선으로 장애물체는 수직선으로 나타난다. 도로 성분의 값은 (M-m)이고 장애물체의 값은 m이다.

여기서, 도로 성분인 대각선만을 추출하기 위하여, 각 행 및 열별로 최대 빈도값을 구한다. 먼저, 행별로 최대 빈도값을 이용하여 이진화하면 B 구간에서는 대각선 성분이, A 구간에서는 장애물체 성분이 추출될 가능성이 높다. 물론 장애물체의 수평 크기가 작을 경우 A 구간에서도 도로 성분이 추출될 수도 있으나, 여기서는 장애물체 성분이 추출된다고 가정한다. 다음으로, 열별로 최대 빈도값을 이용하여 이진화하면, C 및 D 구간에서 도로 성분이 추출될 가능성이 높다.

다음으로, 이진화된 두 영상의 공통 부분을 추출하면 도로 성분이 될 가능성이 높은 데이터만 구할 수 있다. 상기한 과정에서 장애물체를 나타내는 수직선뿐만 아니라, 도로를 나타내는 대각선의 일부도 제거되기 때문에, 이를 보완하기 위하여 보간 과정을 실행한다.

다음으로, 상기 추출된 도로 특징정보와 상기 시차맵의 한 열을 비교하여 상기 도로 특징정보보다 값이 높은 구간을 장애물체 영역으로 판정하고, 상기 시차맵의 모든 열에 대해 상기 판정 과정을 반복하여 합산하는 컬럼 검출 과정을 실행한다. 이러한 컬럼 검출의 과정을 도면 3(b)에 일례로서 나타내었다.

도 3(b)에 나타낸 바와 같이, 도로 정보와 시차맵 상의 임의의 한 열의 값을 V-시차맵 상에 표시하여, 상기 시차맵의 값이 상기 도로 정보의 값보다 높은 구간을 장애물체 영역으로 판정한다. 이와 같이 판정하는 이유는 모든 장애물체가 도로 위에 존재하기 때문이다. 상기 시차맵 상의 모든 열에 대해 상기 판정 과정을 반복한다, 즉, 시차맵 상의 모든 열과 도로 정보를 각각 비교하여, 비교 결과에 따라 도로 정보보다 높은 구간을 모두 표시하면 정확한 장애물체 영역을 검출할 수 있다.

한편, 상기 컬럼 검출 단계(130)를 대신하여, 높이 제한 U-시차맵 검출 단계(130)를 사용할 수도 있다. U-시차맵은 시차맵을 열별로 시차값의 분포를 누적한 것으로서, 시차맵 내에서 장애물체의 위치를 대략적으로 파악할 수 있다. 생성된 U-시차맵은 그레이(gray) 값이며 적절한 문턱치를 통하여 노이즈를 제거할 수 있으며, 본 실시예에서는 노이즈 제거를 위해 높이 제한을 이용한다.

높이 제한 U-시차맵 검출 단계(130)에서는, 먼저 시차맵을 U-시차맵으로 변환하고, 상기 장애물체의 높이를 제한하여 U-시차맵 상에서 클러스터링을 실행하고, U-시차맵을 시차맵으로 역변환하여 시차맵 상에 장애물체 영역을 표시한다. 이러한 높이 제한 U-시차맵 검출 과정을 도 3(c)에 일례로서 나타내었다.

도 3(c)에 나타낸 바와 같이, 먼저 시차맵을 U-시차맵으로 변환한다. U-시차맵은 시차맵의 열별 분포를 나타낸 것으로서, 그 열에서 가장 빈도가 많은 값(시차값)이 잘 표시된다. 따라서 U-시차맵 상에서는 장애물체가 수평으로 분포를 나타내면서 표시된다. 이것을 클러스터링할 때, 높이 제한을 사용한다. 즉, 시차맵 상에서 장애물체의 높이(수직 크기)는 U-시차맵 상에서의 시차값으로 표현된다. 즉, 검출하고자 하는 장애물체의 대략적인 높이 범위를 알고 있으면, U-시차맵 상에서 클러스터링할 때, 시차값의 범위로 장애물체의 높이 범위를 정할 수 있다. 검출하고자 하는 장애물체보다 높이가 너무 큰 장애물체나, 너무 작은 장애물체는 제거할 수 있다. 마지막으로, 시차맵 상에서 장애물체 영역을 표시하기 위하여 U-시차맵을 시차맵으로 역변환하는 과정을 실행하여, 원하는 높이 이상의 장애물체만을 검출한다.

상기한 바와 같은 시차맵을 이용한 장애물체의 검출은 시차맵 전체에서 이루어지기 때문에 그 정밀도가 떨어진다. 즉, 도 3(c)에 나타낸 바와 같이, 정밀한 장애물체 분리가 이루어지지 않기 때문에 장애물체가 크게 2개로 나타날 수 있다. 이를 해결하기 위해, 상기 단계들(110, 120, 130)에 의해 검출된 장애물체의 영역을 분리하는 장애물체 분리 단계(140)를 실행한다.

장애물체 분리 단계(140)는 검출된 영역 내에서만 이루어진다. 구체적으로, 상기 시차맵에 대해 영역별 히스토그램 과정 혹은 조감도 맵핑 과정을 실행함으로써 상기 장애물체 영역을 분리한다. 이러한 장애물체 영역 분리 과정을 도 3(d)에 일례로서 나타내었다. 즉, 검출된 영역별로 히스토그램을 기반으로 더 정밀하게 장애물체를 분리하거나, 시차맵을 조감조도 맵핑하여 조감도 상에서 히스토그램을 이용하여 클러스터링 하여 분리할 수 있다.

상기한 시차맵 기반 검출 단계(100)를 실행하더라도, 도 3(d)에 나타낸 바와 같이 장애물체는 여전히 3개의 영역으로 검출되기 때문에 추가적인 검출 과정이 필요하다.

이를 위해서 본 발명에 따른 실시예에서는 단일영상 특징 기반 검출 단계(200)를 상기 시차맵 기반 검출 단계(100)와 결합하여 실행한다.

단일영상 특징 기반 검출 단계(200)는 영상의 특징정보들을 추출하고 노이즈를 제거하기 위한 필터링을 실행하는 단계(210)와, 상기 시차맵 기반 검출 단계에서 구한 장애물체 영역의 정보를 결합하고, 샘플링을 실행하는 단계(220)와, 상기 샘플링된 영역별로 장애물체의 영역을 검출하는 단계(230)와, 상기 장애물체 영역을 분리 또는 결합하는 단계(240)로 이루어진다. 이러한 단일영상 특징 기반 검출 과정을 도 4(a)에 일례로서 나타내었다.

도 4(a)에 나타낸 바와 같이, 입력되는 영상 데이터로부터 영상의 밝기, 색상, 에지 정보 등과 같은 특징 정보를 추출하고 노이즈를 제거하기 위한 필터링을 실행하고, 상기 필터링된 각각의 영상에, 상기 시차맵 기반 검출 단계에서 구한 장애물체 영역의 정보를 결합한다.

이어서, 상기 장애물체 영역 내에서 샘플링을 실행함으로써, 데이터량을 감소시켜 전체적인 속도를 높인다. 샘플링은 마르코프 체인 몬테 카를로(MCMC: Markov chain monte carlo)나 중요성 샘플링(Importance sampling) 등과 같은 샘플링 기법이 사용될 수 있다. 상기 샘플링된 영역별로 장애물체의 영역을 검출한다.

상기한 과정을 통해서도, 도 4(a)에 나타낸 바와 같이, 여전히 장애물체는 4개의 영역으로 검출되어 정밀하게 분리되지 않았으므로, 장애물체 영역을 분리 또는 결합하는 추가적인 과정을 실행한다. 이러한 분리 또는 결합 과정에 대해, 도 4(b)에 2개의 장애물체가 있는 경우의 일례를 나타내었다.

장애물체 영역을 분리 또는 결합하는 단계(240)는, 상기 검출된 장애물체 영역의 상기 특징정보의 값과, 상기 검출된 장애물체 영역간의 거리 정보를 이용한다. 도 4(b)에 나타낸 바와 같이, 검출된 장애물체의 값(D1, D2)과 거리 정보(R, R1, R2)를 이용하여, 두 장애물체가 동일한 장애물체인지 다른 장애물체인지를 판단한다. 즉, 동일한 장애물체의 경우 장애물체의 값이 유사하며, 거리도 가까울 것이다. 여기서, 장애물체의 값은 밝기 영상에서는 밝기값, 색상 영상에서는 색상값, 에지 영상에서는 에지값이 된다. 장애물체의 두 값의 차이가 작으면 동일한 장애물체로 판단한다.

거리의 경우에는, 두 장애물체간의 거리(R)가 각각의 장애물체의 대각선의 값(R1, R2)의 합보다 작으면 동일한 장애물체로 판단한다. 동일한 장애물체로 판단되면, 두 장애물체를 합치고, 다른 장애물체로 판단되면, 분리시킨다.

다음으로, 광류 기반 검출 단계(300)에 대해 설명한다.

광류 기반 검출 단계(300)는, 영상의 특징정보를 추출하고 광류를 계산하는 단계(310)와, 광류를 보정하고 광류간의 거리 및 방향을 계산하는 단계(320)와, 광류 클러스터링을 실행하는 단계(330)로 이루어진다. 이러한 광류 기반 검출 과정을 도 5에 일례로서 나타내었다.

도 5에 나타낸 바와 같이, 먼저 연속적으로 입력되는 영상 데이터로부터 다양한 특징정보를 검출하고 광류를 계산한다. 특징 정보는 영상의 코너, 에지, 색상 등의 정보이다. 특히, 카메라가 움직일 경우 카메라 자체의 움직임을 계산하여, 이를 제거하는 광류 보정 과정을 거친 후, 광류간의 거리 및 방향을 계산한다. 계산된 거리 및 방향을 기준으로 광류 클러스터링을 실행한다.

이하에서는, 상기 시차맵 기반 검출 단계와 상기 단일영상 특징 기반 검출 단계를 통해 검출된 장애물체 영역과, 상기 광류 기반 검출 단계에서 검출된 움직임 검출 영역을 융합하여, 최종적인 장애 물체를 검출하는 것에 대해 설명한다. 이와 같은 데이터 융합 기반의 장애물체 영역 검출 단계(400)에 대해 도 6에 일례로서 나타내었다.

도 6에 나타낸 바와 같이, 시차맵과 단일영상을 기반의 검출에서는 원거리의 유사한 특징을 가진 장애물체는 분리 검출되지 않지만, 광류값은 서로 다르다. 따라서 광류 기반의 움직임 검출영역을 융합하여 원거리의 유사한 특징을 가진 장애물체도 개별적인 장애물체로 검출할 수 있다.

마지막으로, 상기와 같이 시차맵, 단일영상 및 광류값을 기반으로 한 검출 방법을 융합한 데이터 융합 기반 장애물체 검출 과정 이후에, 장애물체를 검증하는 단계(500)를 더 실행할 수 있다. 이러한 장애물체의 검증 과정을 도 7에 일례로서 나타내었다.

장애물체의 검증 단계(500)에서는 장애물체의 유사도(likelihood)를 모델링하여 베이시안 기반 장애물체 검증을 실행하거나, 화소별 누적 검출 확률을 이용하여 장애물체 검증을 실행할 수 있다.

베이시안 기반 장애물체 검증은 상기 검출된 장애물체 영역에 대해, 도로 접점 오차, 수평 길이, 텍스쳐(texture) 등을 계산함으로써 장애물체를 검증한다. 도로 접점 오차의 계산은 검출된 장애물체가 도로에 접점하는지의 여부를 판단하는 것이고, 수평 길이 계산은 검출된 장애물체의 수평 길이와 시차값을 이용하여 실제 장애물체의 수평 길이를 추정하는 것이고, 텍스쳐 계산은 검출된 장애물체의 명암비(contrast)나 엔트로피(entropy) 등을 구하는 것이다.

상기 화소별 누적 검출 확률을 이용한 장애물체 검증 과정은, 검출된 장애물체 영역에 대해, 영상의 화소별 과거 이력을 저장 및 분석하고, 그 화소 내에서 검출될 수 있는 확률을 구함으로써 장애물체를 검증한다.

이와 같은 장애물체 검증 과정을 통해, 최종적인 장애물체를 검출할 수 있다. 예를 들어, 도로 상이라면 차량인지 차량이 아닌지를 검출할 수 있다.

이상 설명한 바와 같이, 본 발명의 실시예에 따른 장애물체 검출 방법에서는 시차맵, 단일영상 및 광류값을 기반으로 한 검출 방법을 융합하여 장애물체를 검출함과 더불어, 검출된 장애물체 검증함으로써, 장애물체를 더욱 정확하게 검출 및 분리할 수 있다. 이하에서는, 상기한 본 발명의 실시예에 따른 장애물체 검출 방법을 실행할 수 있는 장애물체 검출 장치에 대해 설명한다.

도 8에 본 발명의 실시예에 따른 장애물체 검출 장치(600)의 기능 블록도를 나타내었다.

도 8에 나타낸 바와 같이, 본 발명의 장애물체 검출 장치(600)는 카메라부(610), 영상 처리부(620) 및 모니터링부(630)로 구성된다.

먼저, 카메라부(610)는 다수의 카메라로 이루어져서 외부로부터의 영상을 획득한다. 다음으로, 영상 처리부(620)는 상기 카메라부(610)에 의해 획득된 영상에 대해 상기 설명한 장애물체 검출 방법을 수행하여 장애물체를 검출 및 분리한다. 다음으로, 모니터링부(630)는 상기 영상 처리부(620)에 의한 검출 결과를 표시한다.

또한, 상기 장애물체 검출 장치(600)가 차량에 탑재되어 사용되는 경우에는, 상기 영상 처리부(620)에 의해 검출된 결과를 차량의 제어 장치로 송신하여 실시간으로 차량 운행에 활용되도록 할 수 있다.

본 발명은 상기한 바람직한 실시예와 첨부한 도면을 참조하여 설명되었지만, 본 발명의 사상 및 범위 내에서 상이한 실시예를 구성할 수도 있다. 따라서 본 발명의 범위는 첨부된 청구범위에 의해 정해지며, 본 명세서에 기재된 특정 실시예에 의해 한정되지 않는 것으로 해석되어야 한다.

100: 시차맵 기반 검출 단계 110: 시차맵 생성 단계
120: 도로 특징정보 추출 단계
130: 컬럼 검출 또는 높이 제한 U-시차맵 검출 단계
140: 장애물체 분리 단계
200: 단일영상 특징 기반 검출 단계
210: 특징정보 추출 및 필터링 단계
220: 장애물체 영역 결합 및 샘플링 단계
230: 영역 검출 단계
240: 영역의 분리 또는 결합 단계
300: 광류 기반 검출 단계
310: 특징정보 추출 및 광류 계산 단계
320: 광류 보정과 광류간 거리 및 방향 계산 단계
330: 광류 클러스터링 단계
400: 데이터 융합 기반의 장애물체 영역 검출 단계
500: 장애물체의 검증 단계 600: 장애물체 검출 장치
610: 카메라부 620: 영상 처리부
630: 모니터링부

Claims (12)

1. 다수의 카메라에 의해 도로와 장애물체를 포함하는 영상을 촬영하여 다수의 영상 데이터를 획득하고, 상기 영상 데이터를 융합하여 장애물체를 검출하는 방법에 있어서,
   상기 영상 데이터로부터 시차맵을 생성하고, 상기 시차맵으로부터 장애물체의 영역을 검출하는 시차맵 기반 검출 단계와,
   상기 영상 데이터로부터의 영상의 특징 정보와 상기 시차맵 기반 검출 단계에서 구한 장애물체 영역의 정보를 결합하여, 새로운 장애물체 영역을 검출하는 단일영상 특징 기반 검출 단계와,
   상기 영상 데이터로부터의 광류(optical flow)에 근거하여 움직임을 검출하는 광류 기반 검출 단계를 포함하며,
   상기 시차맵 기반 검출 단계와 상기 단일영상 특징 기반 검출 단계를 통해 검출된 장애물체 영역과, 상기 광류 기반 검출 단계에서 검출된 움직임 검출 영역을 결합함으로써, 최종적인 장애물체 영역을 검출하는 것을 특징으로 하는 장애물체 검출 방법.
   
2. 제1항에 있어서,
   상기 검출된 장애물체 영역에 대해, 도로 접점 오차, 수평 길이, 텍스쳐(texture)를 계산함으로써 장애물체를 검증하는 베이시안 기반 검증 단계를 더 포함하는 것을 특징으로 하는 장애물체 검증 방법.
   
3. 제2항에 있어서,
   상기 검출된 장애물체 영역에 대해, 상기 영상 데이터의 화소별 과거 이력에 근거하여 각 화소 내에서 검출될 수 있는 확률을 구함으로써 장애물체를 검증하는 화소별 누적 검출 확률 기반 검증 단계를 더 포함하는 것을 특징으로 하는 장애물체 검증 방법.
   
4. 제1항에 있어서,
   상기 시차맵 기반 검출 단계는
   상기 영상 데이터로부터 스테레오 정합을 통해 시차맵을 생성하는 시차맵 생성 단계와,
   상기 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 상기 영상 데이터에서 도로의 특징 정보를 추출하는 도로 특징정보 추출 단계와,
   상기 추출된 도로 특징정보와 상기 시차맵의 한 열을 비교하여 상기 도로 특징정보보다 값이 높은 구간을 장애물체 영역으로 판정하고, 상기 시차맵의 모든 열에 대해 상기 판정 과정을 반복하여 합산하는 컬럼 검출 단계를 포함하는 것을 특징으로 하는 장애물체 검출 방법.
   
5. 제1항에 있어서,
   상기 시차맵 기반 검출 단계는
   상기 영상 데이터로부터 스테레오 정합을 통해 시차맵을 생성하는 시차맵 생성 단계와,
   상기 시차맵을 V-시차맵으로 변환하고, 상기 V-시차맵으로부터 상기 영상 데이터에서 도로의 특징정보를 추출하는 도로 특징정보 추출 단계와,
   상기 시차맵을 U-시차맵으로 변환하고, 상기 장애물체의 높이를 제한하여 상기 U-시차맵 상에서 클러스터링을 실행하고, 상기 U-시차맵을 시차맵으로 역변환하여 시차맵 상에 장애물체 영역을 표시하는 높이 제한 U-시차맵 검출 단계를 포함하는 것을 특징으로 하는 장애물체 검출 방법.
   
6. 제4항에 있어서,
   상기 컬럼 검출 단계 후에,
   상기 시차맵에 대해 영역별 히스토그램 과정 혹은 조감도 맵핑 과정을 실행함으로써 상기 장애물체 영역을 개별적으로 분리하는 장애물체 분리 단계를 더 포함하는 것을 특징으로 하는 장애물체 검출 방법.
   
7. 제5항에 있어서,
   상기 높이 제한 U-시차맵 검출 단계 후에,
   상기 시차맵에 대해 영역별 히스토그램 과정 혹은 조감도 맵핑 과정을 실행함으로써 상기 장애물체 영역을 개별적으로 분리하는 장애물체 분리 단계를 더 포함하는 것을 특징으로 하는 장애물체 검출 방법.
   
8. 제1항에 있어서,
   상기 단일영상 특징 기반 검출 단계는
   상기 영상 데이터로부터 영상의 특징정보들을 추출하고, 노이즈를 제거하기 위한 필터링을 실행하는 단계와,
   상기 필터링된 각각의 영상에, 상기 시차맵 기반 검출 단계에서 구한 장애물체 영역의 정보를 결합하고, 상기 장애물체 영역 내에서 샘플링을 실행하여 데이터량을 감소시키는 단계와,
   상기 샘플링된 영역별로 장애물체의 영역을 검출하는 단계와,
   상기 검출된 장애물체 영역의 상기 특징정보의 값과, 상기 검출된 장애물체 영역간의 거리 정보에 근거하여, 상기 장애물체 영역을 분리 또는 결합하는 단계를 포함하는 것을 특징으로 하는 장애물체 검출 방법.
   
9. 제1항에 있어서,
   상기 광류 기반 검출 단계는
   상기 영상 데이터로부터 영상의 특징정보를 추출하고 광류를 계산하는 단계와,
   상기 카메라의 움직임에 근거하여 광류를 보정하고, 상기 광류간의 거리 및 방향을 계산하는 단계와,
   상기 계산된 거리 및 방향을 기준으로 광류 클러스터링을 실행하는 단계를 포함하는 것을 특징으로 하는 장애물체 검출 방법.
   
10. 제8항에 있어서,
    상기 영상의 특징정보는 영상의 밝기, 색상, 에지 중 하나인 것을 특징으로 하는 장애물체 검출 방법.
    
11. 제9항에 있어서,
    상기 영상의 특징정보는 영상의 코너, 에지 및 색상 중 하나인 것을 특징으로 하는 장애물체 검출 방법.
    
12. 제1항 내지 제11항 중 어느 한 항에 기재된 장애물체 검출 방법을 실행하는 장애물체 검출 장치에 있어서,
    다수의 카메라로 이루어져서 외부로부터 영상 데이터를 획득하는 카메라부와,
    상기 카메라부에 의해 획득된 영상 데이터에 대해 상기 장애물체 검출 방법을 수행하여 장애물체를 검출하는 영상 처리부와,
    상기 영상 처리부에 의한 검출 결과를 표시하는 모니터링부를 포함하는 것을 특징으로 하는 장애물체 검출 장치.

Images