KR100978499B1 - 대상 특징 추출 장치 및 방법 - Google Patents

Abstract

본 발명은 대상 특징 추출 장치 및 방법에 관한 것이다.

본 발명은 대상의 이미지에 대한 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기; v-시차맵을 최대 빈도수를 이용하여 행별 및 열별로 이진화하는 이진화기; 행별로 이진화된 v-시차맵 및 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출기; 및 공동 이진화 v-시차맵을 보간하여 대상의 특징 정보를 출력하는 보간기를 포함하는 것을 특징으로 하는 대상 특징 추출 장치를 제공한다.

본 발명에 의하면, 영상 내의 임의의 대상의 특징을 추출하는 데 있어서, 다양한 형태의 대상 및 대상 주변의 물체에 관계없이 대상의 특징을 정확하게 추출할 수 있다.

스테레오, 비전, 시차맵, 이진화, 최대 빈도수, 도로, 특징, 추출

Description

대상 특징 추출 장치 및 방법{Apparatus and Method for Extracting Object Features}

본 발명은 대상 특징 추출 장치 및 방법에 관한 것이다. 더욱 상세하게는, 스테레오 비전을 이용하여 물체를 검출하기 위해 영상 내의 임의의 대상의 특징을 추출하는 데 있어서, 다양한 형태의 대상 및 대상 주변의 물체에 관계없이 대상의 특징을 정확하게 추출하기 위한 장치 및 방법에 관한 것이다.

3차원 공간에서 장애물 위치 결정(Obstacle Localization)은 지능형 차량과 로봇 항법에서 중요한 문제 중 하나이다. 특히, 지능형 차량에서 필수 기능 중 하나인 자동 순항 제어(ACC: Adaptive Cruise Control)와 차선 유지 시스템(LKS: Lane Keeping System)의 구현에서 매우 중요하다. 장애물의 위치를 결정하기 위해서는 카메라, 소나(Sonar), 레이더, 광선 레이더(Lidar)와 같은 다양한 센서들을 이용한다. 최근에는 컴퓨터 성능과 통합 기술(Integration Technology)의 향상으로 데이터 처리 시간이 감소하여, 많은 연구자가 컴퓨터 비전(Computer Vision)을 이용하여 장애물 위치 결정을 수행하고 있다.

컴퓨터 비전은 데이터 처리 시간과 관련된 몇 가지 문제점들이 있지만, 하나 의 센서로부터 많은 정보를 이용할 수 있는 사람의 시각과 유사한 많은 장점들이 있다. 최근 모노 비전(Mono Vision)의 많은 문제점을 극복할 수 있는 스테레오 비전(Stereo Vision)이 연구되어 왔다. 특히, 시차맵(Disparity Map)이라고 불리는 3차원 정보를 추출하는 많은 스테레오 알고리즘들이 제안되었다.

이를 바탕으로, 평면에서 장애물의 위치를 결정하는 두 개의 대표적인 방법이 있는데, v-시차(v-Disparity)와 열 검출(Column Detection)이다. 우선, V-시차 방법에서, 평면 컴포넌트들과 장애물 컴포넌트들 간을 구별(Discrimination)하는 v-시차맵(v-Disparity Map)이 생성된다. v-시차맵에서, 도로 평면과 같은 평면 컴포넌트들은 대각 직선들(Diagonal Straight Lines)로 표현되고 차량, 보행자와 같은 장애물 컴포넌트들은 대각 직선들 상에서 수직선들(Vertical Lines)로 표현된다. 호프 변환(Hough Transform)을 이용하여 대각 직선들을 추출할 수 있다면, 장애물의 위치는 쉽게 결정될 수 있다.

하지만, 이 방법은 평면 컴포넌트들에 의해 초래되는 대각 직선들을 추출하는 데에 기반하고 있기 때문에, 입력된 이미지에 충분한 개수의 도로 표면들이 포함될 필요가 있다. 가로수들과 보행자들, 중앙 분리대와 형체를 구분할 수 없는 도로변에 존재하는 다양한 장애물들과 같은 많은 장애물들이 있는 환경의 경우, 이러한 장애물들도 v-시차맵에서 수직선들로 표현된다. 따라서, 이러한 많은 수직선 때문에, 장애물들의 위치를 결정하기가 매우 어려운 문제점이 있다.

열 검출에서, 중간값들은 모든 입력 이미지의 각 열에서 계산되고 이러한 값들은 장애물들이 존재하는지 또는 존재하지 않는지 여부를 판단하기 위한 결정 기 준(Decision Standard)으로 할당된다. 다음 단계에서 입력된 깊이맵(Depth Map)에서 그레이값들은 각 열에서 미리 계산된 중간값들과 비교된다. 이 값들이 중간값들보다 큰 몇몇 열 인터벌(Interval)에 있다면, 이러한 열 인터벌들은 장애물로 인식된다. 열 검출은 계산 시간에서 몇 가지 단점들이 있지만, 열 검출을 통해 모든 열값들을 중간값들과 비교함으로써 장애물들의 위치를 견고하게 결정할 수 있다.

하지만, 이 방법도 도로 평면들을 충분히 담고 있는 입력 이미지들에 대해 좋은 성능을 가질 수 있다. 특히, 많은 장애물들이 특정한 열들에 존재하는 경우, 이 열들은 중간값들이라고 불리는 결정 기준을 왜곡한다. 결정 기준은 장애물들의 상태에 의존하기 때문에, 많은 장애물들이 존재하는 환경에서 그 성능이 감소하는 문제점이 있다.

전술한 문제점을 해결하기 위해 본 발명은, 영상 내의 임의의 대상의 특징을 추출하는 데 있어서, 다양한 형태의 대상 및 대상 주변의 물체에 관계없이 대상의 특징을 정확하게 추출하는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 대상의 이미지에 대한 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기; v-시차맵을 최대 빈도수를 이용하여 행별 및 열별로 이진화하는 이진화기; 행별로 이진화된 v-시차맵 및 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출기; 및 공동 이진화 v-시차맵을 보간하여 대상의 특징 정보를 출력하는 보간기를 포함하는 것을 특징으로 하는 대상 특징 추출 장치를 제공 한다.

또한, 본 발명의 다른 목적에 의하면, 대상의 이미지에 대한 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성 단계; v-시차맵을 최대 빈도수를 이용하여 행별 및 열별로 이진화하는 이진화 단계; 행별로 이진화된 v-시차맵 및 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출 단계; 및 공동 이진화 v-시차맵을 보간하여 대상의 특징 정보를 출력하는 보간 단계를 포함하는 것을 특징으로 하는 대상 특징 추출 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 대상의 이미지에 대한 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기; v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화기; 시차맵의 열별 대표값을 계산하는 대표값 계산기; 행별로 이진화된 v-시차맵의 각 시차값들과 열별 대표값을 비교하여 차이값이 기 설정된 임계값보다 큰 값들을 행별로 이진화된 v-시차맵에서 제거하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출기; 및 공동 이진화 v-시차맵을 보간하여 대상의 특징 정보를 출력하는 보간기를 포함하는 것을 특징으로 하는 대상 특징 추출 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 대상의 이미지에 대한 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성 단계; v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화 단계; 시차맵의 열별 대표값을 계산하는 대표값 계산 단계; 행별로 이진화된 v-시차맵의 각 시차값들과 열별 대표 값을 비교하여 차이값이 기 설정된 임계값보다 큰 값들을 행별로 이진화된 v-시차맵에서 제거하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출 단계; 및 공동 이진화 v-시차맵을 보간하여 대상의 특징 정보를 출력하는 보간 단계를 포함하는 것을 특징으로 하는 대상 특징 추출 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 대상의 이미지에 대한 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기; v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화기; 및 행별로 이진화된 v-시차맵의 시차값과 시차맵 및 v-시차맵 중 하나 이상의 열별 대표값을 비교하여 공동 부분을 대상의 특징 정보로서 추출하는 공동 부분 추출기를 포함하는 것을 특징으로 하는 대상 특징 추출 장치를 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 영상 내의 임의의 대상의 특징을 추출하는 데 있어서, 다양한 형태의 대상 및 대상 주변의 물체에 관계없이 대상의 특징을 정확하게 추출할 수 있다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하에서는 본 발명의 실시예를 설명하는 데 있어서, 영상 내의 임의의 대상이 도로인 것으로 가정한다. 즉, 차량에 탑재된 컴퓨터 비전 시스템이 두 개 이상의 카메라를 이용하여 도로를 촬영하고 촬영된 도로에 대한 이미지에서 장애물을 검출하기 위해 도로의 특징 정보를 추출하는 것을 예를 들어, 본 발명의 실시예를 설명한다. 다만, 이러한 가정은 설명의 편의를 위한 것일 뿐, 본 발명은 영상 내의 임의의 대상으로서 도로뿐만 아니라 인도, 책상, 실내, 운동장 등의 사물이거나 얼굴, 볼, 복부, 다리 등 사람의 신체 일부 등 다양한 형태의 물체일 수 있다.

도 1은 본 발명의 일 실시예에 따른 대상 특징 추출 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 대상 특징 추출 장치(100)는 v-시차맵 생성기(110), 이진화기(120), 공동 부분 추출기(130) 및 보간기(140)를 포함하여 구성될 수 있다. 여기서, 보간기(140)는 대상 특징 추출 장치(100)에 반드시 포함되지 않고 구현에 따라 생략될 수 있다. 이러한 대상 특징 추출 장치(100)는 컴퓨터 비 전 시스템(Computer Vision System)이나 컴퓨터 비전 시스템 내의 영상 처리 장치로 구현될 수 있다. 이러한 컴퓨터 비전 시스템 또는 영상 처리 장치는 데이터 또는 명령어를 입력받는 키보드, 마우스 등과 같은 입력 장치, 데이터를 출력하는 모니터, 프린터, 액정 화면과 같은 출력 장치, 영상을 처리하기 위한 데이터 또는 프로그램을 저장하는 메모리, 입력되는 데이터 또는 명령어나 메모리에 저장된 데이터를 이용하여 메모리에 저장된 프로그램의 알고리즘에 따라 영상을 처리하는 마이크로프로세서 등을 구비할 수 있다.

v-시차맵 생성기(110)는 대상의 이미지에 대한 시차맵(Disparity Map)이 입력되면 시차맵을 이용하여 v-시차맵(v-Disparity Map)을 생성한다. 즉, v-시차맵 생성기(110)는 컴퓨터 비전 시스템의 일종인 스테레오 비전 시스템(Stereo Vision System)의 스테레오 정합기(Stereo Matching Part) 등에 의해 생성된 시차맵이 입력되면 시차맵의 수평 라인을 시차값으로 누적하여 v-시차맵을 생성하고 출력한다.

시차맵을 예시적으로 나타낸 도 2를 참조하면, 스테레오 비전 시스템은 좌우 2 개의 카메라(즉, 스테레오 카메라)를 이용하여 대상으로서 도로를 촬영한 이미지에 맺힌 물체의 시차 정보를 획득하고, 획득된 시차 정보를 이용하여 거리 정보를 추출하며, 추출된 거리 정보를 그레이값(Gray Value)으로 표현함으로써 시차맵을 생성할 수 있다. 도 2에 도시한 시차맵에서 도로와 같은 평면은 거리가 점차 멀어지므로 그 밝기값이 일정하게 감소한다. 그 평면상에 장애물(210)이 놓이면, 평면과 달리 그 장애물(210)로 인해 장애물(210) 부분의 밝기값이 증가하는 현상이 발생한다. 따라서, 이러한 시차맵 상의 현상을 이용하여 장애물(210)을 검출할 수 있 다.

또한, v-시차맵을 예시적으로 나타낸 도 3을 참조하면, v-시차맵의 수평축은 시차값(0 내지 255)을 나타내고, 수직축은 영상 또는 시차맵의 수직 라인을 나타낸다. v-시차맵 생성기(110)는 도 2에 도시한 바와 같은 시차맵이 입력되면, 시차맵의 모든 수직 라인별로 그에 해당하는 수평 라인의 값(시차값)을 읽어 수직 라인별로 v-시차맵에 매핑하여 v-시차맵을 생성한다. 이와 같이, v-시차맵을 생성하면, 각 수직 라인별로 가장 많은 시차값을 가지는 부분이 부각된다. 그 결과, 도 3에 도시한 바와 같이, 도로와 같은 평면 성분(330)은 수직 라인값이 증가할수록 시차값이 커짐을 알 수 있다. 이는 카메라에 입력되는 영상을 기준으로 볼 때, 수직 라인값이 큰 하단 부분은 거리가 가까운 부분이므로 시차값이 높고, 수직 라인값이 작은 상단 부분은 거리가 먼 부분이므로 시차값이 작다. 그리고 평면 성분(330)은 거리가 점차 변하기 때문에, 도 3에 도시한 바와 같이 대부분 대각 직선으로 나타나고, 장애물(210)은 특정 피크값(Peak Value)을 가지므로 수직 성분(310)으로 나타난다. 이와 같은 현상을 이용하여 장애물(210)을 검출할 수 있으며, 평면 성분(330)과 수직 성분(310)이 교차하는 교차점(320)을 장애물(210)과 도로의 접점으로 검출할 수 있다. 또한, 평면 성분(330)의 연장선을 평면 성분의 추정값(340)으로 검출할 수 있다.

하지만, 도로가 직선이 아니라 휘어져 있거나 오르막 또는 내리막일 경우 등 도로의 형태가 다양할 경우, 도로 성분은 직선(330)이 아니라 곡선(410, 420, 430)으로 나타나며, 이 경우 도 3을 통해 전술한 바와 같이 직선을 평면 성분의 추정 값(340)으로 검출하는 방법을 사용하면 도로의 특징 정보를 추출하는 데 많은 오차가 발생할 수 있다. 특히, 장애물(210)과 도로의 접점의 위치를 검출하는 데 많은 오차가 발생할 수 있다. 다양한 도로 형태에 따른 v-시차맵을 예시적으로 나타낸 도 4를 참조하면, 평면 성분이 곡선(410, 420, 430)인 경우 각각 장애물(210)을 나타내는 수직 성분(310)과의 교차점(412, 422, 432)이 달라진다. 따라서, 도로의 형태에 따라 장애물(210)과의 접점이 달라질 수 있는데, 도 3을 통해 전술한 바와 같이 직선을 평면 성분의 추정값(340)으로 검출하면 정확한 접점을 검출하기 어렵다.

또한, 도로 주변에 가로수, 중앙 분리대, 보행자, 주차 차량 등의 다양한 형태의 장애물(210)이 많거나 장애물(210)의 크기가 클 경우, v-시차맵에는 도로에 대한 평면 성분 이외에 장애물(210)에 대한 많은 수직 성분이 존재하여 도로의 특징 정보를 추출하기 어렵다. 많은 장애물이 있는 경우에 대한 v-시차맵을 예시적으로 나타낸 도 5를 참조하면, 평면 성분상에 많은 수직 성분이 존재한다. 이러한 수직 성분으로 인해 평면 성분인 대각 직선을 정확하게 검출하기가 어렵다.

이와 같이, 도로의 형태가 직선이 아닌 곡선 등의 부정형의 다양한 형태인 경우 또는 도로 주변에 장애물이 많거나 장애물의 크기가 크더라도 도로 자체의 특징을 정확하게 추출할 수 있도록 v-시차맵을 가공하여 도로의 특징 정보를 추출한다.

이진화기(120)는 v-시차맵을 최대 빈도수(Maximum Frequency Value)를 이용하여 행별 및 열별로 이진화한다. 즉, 이진화기(120)는 v-시차맵 생성기(110)로부터 출력되는 v-시차맵의 각 행별 및 각 열별로 최대 빈도수를 나타내는 시차값만을 취함으로써 이진화한다. 이때, 이진화기(120)는 행별 최대 빈도수를 이용하여 v-시차맵을 행별로 이진화할 수 있으며, 마찬가지로 열별 최대 빈도수를 이용하여 v-시차맵을 열별로 이진화할 수 있다. 여기서, 행별 최대 빈도수는 v-시차맵의 시차값들 중 이진화하는 각 행에서 최대 빈도로 나타나는 시차값일 수 있으며, 열별 최대 빈도수는 v-시차맵의 시차값들 중 이진화하는 각 열에서 최대 빈도로 나타나는 시차값일 수 있다.

또한, 이진화기(120)는 v-시차맵의 각 행별 및 각 열별로 최대 빈도수를 이용하여 이진화하는 데 있어서, 각 행에 동일한 최대 빈도수를 이용하거나 각 열에 동일한 최대 빈도수를 이용할 수 있으며, 심지어는 각 행과 각 열에 동일한 최대 빈도수를 이용할 수도 있다. 여기서, 각 행 또는 각 열에 적용하는 최대 빈도수는 사용자에 의해 기 설정되거나 각 행 또는 각 열의 평균값 또는 중간값 등이 될 수도 있다. 다만, 이진화기(120)는 전술한 바와 같이, 행별 최대 빈도수와 열별 최대 빈도수를 이용하여 각 행과 각 열을 이진화하는 것이 효율적이므로, 이하에서는 행별 최대 빈도수와 열별 최대 빈도수를 이용하여 각 행과 각 열을 이진화하는 것에 대해 설명한다.

또한, 행별 최대 빈도수를 이용하여 각 행별로 이진화한다는 것은 v-시차맵의 이진화하고자 하는 행에서 최대 빈도의 시차값(즉, 제일 자주 출현하는 시차값)만을 취하고 최대 빈도의 시차값이 아닌 시차값은 버리는 작업일 수 있다. 마찬가지로, 열별 최대 빈도수를 이용하여 각 열별로 이진화한다는 것은 v-시차맵의 이진화하고자 하는 열에서 최대 빈도의 시차값(즉, 제일 자주 출현하는 시차값)만을 취 하고 최대 빈도의 시차값이 아닌 시차값은 버리는 작업일 수 있다. 도 3 내지 도 5에서는 설명의 편의를 위해, v-시차맵을 단색으로 나타내고 설명했지만, 실제로 v-시차맵은 0 내지 255의 값을 갖는 시차값으로 표현될 수 있다. 이와 같이, v-시차맵의 각 시차값들을 해당 행 또는 열에서 최대의 빈도로 나타나는 시차값을 기준으로 취하거나 버려서 이진화하는 것이다.

도로가 직선이 아닌 곡선 형태인 경우의 v-시차맵을 예시적으로 나타낸 도 6을 참조하면, 직선으로 추정한 도로 성분(610)과 장애물로 추정되는 수직 성분 간의 교차점은 612가 되며, 실제의 도로 성분(620)과 장애물로 추정되는 수직 성분 간의 교차점은 614가 되어 도로와 장애물 간의 접점 오차는 630가 된다. 즉, 630에 나타낸 간격만큼 오차가 발생하는 것이다. 도 6에 도시한 v-시차맵을 행별 최대 빈도수를 이용하여 이진화하면, 도 7에 도시한 바와 같은 행별로 이진화된 v-시차맵이 생성될 수 있다. 장애물의 수직 길이가 길거나 여러 종류의 잡영 및 스테레오 정합의 오류로 인해 도로 성분의 시차값이 수평적으로 동일한 값을 가지지 못하여 도로 성분에 대한 값이 해당 행에서 최대 빈도수가 되지 못할 수도 있다. 특히, 도 7을 참조하면, 장애물의 크기가 수직으로 매우 클 경우, 장애물에 해당하는 값이 행별 최대 빈도수가 되는 행이 있을 수 있어서, 행별로 이진화된 v-시차맵에는 도시한 바와 같이 장애물로 인한 수직 성분(710)이 도로 성분을 나타내는 대각선 상에 남을 수 있다. 따라서, 도 7과 같이, 행별로 이진화된 v-시차맵만을 이용하여 도로의 특징 정보를 추출하기 어렵다.

이러한 수직 성분(710)을 제거하기 위해, 도 5에 도시한 v-시차맵을 열별 최 대 빈도수를 이용하여 열별로 이진화하면, 도 8에 도시한 바와 같은 열별로 이진화된 v-시차맵이 생성될 수 있다. 장애물의 수평 길이가 길거나 도로 주변의 장애물이 많이 포함되어 각 열별로 도로 성분이 충분히 포함되지 못할 경우, 도로 성분의 값들이 열별 최대 빈도수가 되지 못하고 장애물에 대한 값들이 열별 최대 빈도수가 될 수 있다. 하지만, 열별로 이진화된 v-시차맵에는 행별로 이진화된 v-시차맵에서 문제가 되던 도 7에서의 수직 성분(710)에 대한 부분(810)은 열별로 비교가 되므로, 도로 성분과의 교차점(820)의 값과 비교되며, 장애물에 대한 시차값이 아무리 크다고 해도 도로 부분 중의 하나인 교차점(820)보다는 작기 때문에, 교차점(820)만 남는다. 따라서, 도 7과 도8에 각각 도시한 행별로 이진화된 v-시차맵과 열별로 이진화된 v-시차맵의 공동 부분을 추출하면 도로의 특징 정보를 정확하게 추출할 수 있다.

이를 위해, 공동 부분 추출기(130)는 행별로 이진화된 v-시차맵 및 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성한다. 즉, 공동 부분 추출기(130)는 행별로 이진화된 v-시차맵의 각 시차값들과 열별로 이진화된 v-시차맵의 시차값들 중 공통되는 시차값들만을 추출하여 공동 이진화 v-시차맵을 생성할 수 있다. 여기서, 행별로 이진화된 v-시차맵 및 열별로 이진화된 v-시차맵의 공동 부분이란 행별로 이진화된 v-시차맵의 이진화값들과 열별로 이진화된 v-시차맵의 이진화값들 중에서 동일한 위치에서 동일한 시차값을 갖는 부분일 수 있다.

공동 이진화 v-시차맵을 예시적으로 나타낸 도 9를 참조하면, 도 7에 도시한 행별로 이진화된 v-시차맵과 도 9에 도시한 열별로 이진화된 v-시차맵으로 겹쳐서 공동으로 표시되는 부분의 시차값만이 공동 이진화 v-시차맵으로 생성될 수 있다. 도 9를 통해 알 수 있듯이, 행별로 이진화된 v-시차맵과 열별로 이진화된 v-시차맵의 공동 부분만을 추출함으로써, 장애물로 인한 수직 성분을 제거하고 도로 성분에 의해 대각 성분만을 추출할 수 있다.

이와 같이, 공동 부분 추출기(130)에 의해 추출된 공동 부분이 도로의 특징 정보로서 이용될 수 있지만, 도 9에 도시한 바와 같이 공동 부분만을 추출하면서 제거되는 부분이 존재하며, 제거된 부분에 대해서는 도로의 특징 정보를 추출하지 못하기 때문에, 도로의 특징 정보를 더욱 정확하게 추출할 수 없다.

이를 위해, 대상 특징 추출 장치(100)는 보간기(140)를 추가로 포함할 수 있으며, 보간기(140)는 공동 이진화 v-시차맵을 보간하여 도로의 특징 정보를 추출한다. 즉, 보간기(140)는 공동 이진화 v-시차맵의 각 시차값들을 선형 보간법(Linear Interpolation Method) 등을 이용하여 보간함으로써 도로의 특징 정보를 더욱 정확하게 추출할 수 있다. 보간 과정을 예시적으로 나타낸 도 10을 참조하면, 제거된 부분(점선으로 표시된 부분)의 시차값은 주변의 시차값을 이용하여 보간될 수 있다.

이와 같은 대상 특징 추출 장치(100)의 구성을 통해 도로의 특징 정보는 더욱 정확하게 추출될 수 있다. 대상 특징 추출 장치(100)에 의해 추출되는 도로의 특징 정보를 예시적으로 나타낸 도 11을 참조하면, 직선을 평면 성분의 추정값으로 검출하는 방법에 따라 추출되는 도로 성분(1110)은 직선으로 추정되는 반면, 본 발 명의 일 실시예와 같이 추출되는 도로 성분(1120)은 곡선으로 추출되어 실제의 도로와 유사하게 추출됨을 알 수 있다.

또한, 도 1에는 도시하지 않았지만, 대상 특징 추출 장치(100)는 스테레오 비전 시스템과 연결되지 않거나 외부로부터 시차맵이 입력되지 않는 경우, 대상 즉, 도로를 촬영하는 촬영기와 촬영된 이미지의 물체에 대한 시차 정보로부터 거리 정보를 추출하여 시차맵을 생성하는 스테레오 정합기를 추가로 포함할 수도 있다.

도 12는 본 발명의 일 실시예에 따른 대상 특징 추출 방법을 설명하기 위한 순서도이다.

본 발명의 일 실시예에 따른 대상 특징 추출 장치(100)는 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하고(S1210), v-시차맵을 최대 빈도수를 이용하여 행별 및 열별로 이진화한다(S1220). 이때, 대상 특징 추출 장치(100)는 행별 최대 빈도수를 이용하여 행별로 이진화할 수도 있고, 열별 최대 빈도수를 이용하여 열별로 이진화할 수 있음은 전술한 바와 같다. 또한, 대상 특징 추출 장치(100)는 v-시차맵을 행별 및 열별로 이진화하는 데 있어서, 행별로 먼저 이진화하고 열별로 이진화하거나 열별로 먼저 이진화하고 행별로 이진화할 수 있을 뿐만 아니라, 행별 이진화와 열별 이진화를 병렬적으로 수행할 수 있다.

대상 특징 추출 장치(100)는 행별로 이진화된 v-시차맵과 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성하고(S1230), 생성된 공동 이진화 v-시차맵을 보간하여 대상 즉, 도로의 특징 정보를 출력할 수 있다(S1240). 다만, 단계 S1230에서 추출된 공동 부분이 도로의 특징 정보가 될 수도 있으며, 단계 S1240은 선택적으로 수행될 수도 있다.

이상에서는 v-시차맵을 행별 및 열별로 이진화하여 공동 부분을 추출함으로써, 도로의 특징 정보를 추출하는 것에 대해 본 발명의 일 실시예로서 설명했다. 이러한 본 발명의 일 실시예에 따르면, 각 행별 및 각 열별로 최대 빈도수가 되는 성분을 추출함으로써 다양한 도로 형태 및 주변 장애물의 크기나 수에 관계없이 정확하게 대상의 특징을 추출할 수 있으며, 더 나아가서는 장애물의 위치를 더욱 정확하게 추출할 수 있다. 이하에서는 v-시차맵을 행별로 이진화하고 시차맵을 열별로 대표값을 계산하여 공동 부분을 추출함으로써, 도로의 특징 정보를 추출하는 것에 대해 본 발명의 다른 실시예로서 설명한다.

도 13은 본 발명의 다른 실시예에 따른 대상 특징 추출 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 다른 실시예에 따른 대상 특징 추출 장치(1300)는 v-시차맵 생성기(1310), 이진화기(1320), 대표값 계산기(1330), 공동 부분 추출기(1340) 및 보간기(1350)를 포함하여 구성될 수 있다. 여기서, 보간기(1350)는 대상 특징 추출 장치(1300)에 반드시 포함되지 않고 선택적으로 포함될 수 있다. 또한, v-시차맵 생성기(1310), 이진화기(1320) 및 보간기(350)는 도 1을 통해 전술한 본 발명의 일 실시예에 따른 대상 특징 추출 장치(1300)의 v-시차맵 생성기(110), 이진화기(120) 및 보간기(140)와 그 기능이 동일 또는 유사하므로 상세한 설명은 생략한다. 다만, 본 발명의 다른 실시예에 따른 이진화기(1320)는 v-시차맵을 행별로 이진화할 뿐, 열별로 이진화하지 않는다. 행별로 이진화하는 것에 대해서도 전술하였으므로 상세 한 설명은 생략한다.

대표값 계산기(1330)는 입력되는 시차맵의 열별 대표값을 계산한다. 즉, 대표값 계산기(1330)는 시차맵의 각 열들에 있는 값들 중에서 해당 열을 대표하는 대표값을 계산한다. 이러한 대표값은 중간값(Median Value), 평균값(Average Value) 등이 될 수 있으나, 반드시 이에 한정되지 않는다. 이러한 대표값 특히, 중간값은 열 검출에서 결정 기준(Decision Standard)일 수 있는데, 장애물의 크기에 의해 변형되거나 왜곡될 수 있다. 따라서, 대표값만을 이용하여 도로의 특징 정보를 추출하면 성능이 저하될 수 있다.

공동 부분 추출기(1340)는 행별로 이진화된 v-시차맵의 각 시차값들과 열별 대표값을 비교하여 차이값이 기 설정된 임계값보다 큰 값들을 행별로 이진화된 v-시차맵에서 제거하여 공동 이진화 v-시차맵을 생성한다. 즉, 공동 부분 추출기(1340)는 이진화기(1320)로부터 출력되는 행별로 이진화된 v-시차맵의 각 시차값과 대표값 계산기(1330)로부터 출력되는 열별로 계산된 열별 대표값을 비교하여, 이진화된 v-시차맵의 시차값과 열별 대표값의 차이값이 기 설정된 임계값보다 크면 해당 행의 시차값을 제거하고, 그 차이값이 기 설정된 임계값 이하인 시차값들만 공동 부분으로서 추출한다. 이러한 열별 대표값은 시차맵의 각 열에 있는 값들의 중간값일 수 있다.

도 14는 본 발명의 다른 실시예에 따른 대상 특징 추출 방법을 설명하기 위한 순서도이다.

본 발명의 다른 실시예에 따른 대상 특징 추출 장치(1300)는 대상의 이미지 에 대한 시차맵이 입력되면 시차맵을 이용하여 v-시차맵을 생성하고(S1410), v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하며(S1420), 시차맵의 각 값들의 열별 대표값을 계산한다(S1430). 도 14에서는 단계 S1410과 단계 S1420 이후에 단계 S1430이 수행되는 것으로 도시했지만, 이는 설명의 편의를 위한 것일 뿐, 단계 S1430이 수행된 후 단계 S1410과 단계 S1420이 수행되거나 단계 S1410과 단계 S1410 및 단계 S1420이 병렬적으로 수행될 수 있다.

본 발명의 다른 실시예에 따른 대상 특징 추출 장치(1300)는 단계 S1420에서 행별로 이진화된 v-시차맵의 각 시차값들과 단계 S1430에서 계산된 열별 대표값을 비교하여(S1440), 차이값이 기 설정된 임계값보다 큰 값들을 행별로 이진화된 v-시차맵에서 제거하여 공동 이진화 v-시차맵을 생성하고(S1450), 공동 이진화 v-시차맵을 보간하여 대상 즉, 도로의 특징 정보를 출력한다(S1460). 단계 S1450에서 도로의 특징 정보를 출력할 수도 있으며, 단계 S1460은 선택적으로 수행될 수 있다.

이상에서 전술한 본 발명의 다른 실시예와 같이, 행별로 이진화된 v-시차맵과 열별 대표값 간의 공동 부분을 도로의 특징 정보로서 출력하는 경우에도, 도로의 형태나 장애물로 인한 영향을 줄일 수 있다.

이뿐만 아니라, 도시하지는 않았지만, 이상에서 전술한 본 발명의 일 실시예와 본 발명의 다른 실시예를 결합하여 본 발명의 또 다른 실시예로서 구현할 수도 있다. 즉, 본 발명의 또 다른 실시예에 따른 대상 특징 추출 장치는 대상의 이미지에 대한 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기, v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화기; 및 행별로 이진화된 v-시차맵 과 시차맵 및 v-시차맵 중 하나 이상의 열별 대표값을 비교하여 공동 부분을 대상의 특징 정보로서 추출하는 공동 부분 추출기를 포함하여 구성될 수 있으며, 공동 부분을 보간하여 대상의 특징 정보를 보간하는 보간기를 추가로 포함할 수 있다.

여기서, 시차맵의 열별 대표값은 본 발명의 다른 실시예를 통해 전술한 바와 같이, 시차맵의 각 열의 중간값이 될 수도 있으며, 본 발명의 또 다른 실시예를 통해 전술한 바와 같이, v-시차맵을 최대 빈도수를 이용하여 열별로 이진화하여 생성된 시차값이 될 수도 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명은 지능형 자동차, 로봇 등의 이동 객체뿐만 아니라, 공장, 댁내 등의 일상적인 공간에서 스테레오 비전을 이용한 장애물 을 검출하는 분야에 적용되어, 다양한 대상의 형태 및 주변 물체의 크기나 수에 관계없이 정확하게 대상의 특징을 추출할 수 있으며, 더 나아가서는 장애물의 위치를 더욱 정확하게 추출할 수 있는 효과를 발생하는 매우 유용한 발명이다.

도 1은 본 발명의 일 실시예에 따른 대상 특징 추출 장치를 간략하게 나타낸 블록 구성도,

도 2는 시차맵을 나타낸 예시도,

도 3은 v-시차맵을 나타낸 예시도,

도 4는 다양한 도로 형태에 따른 v-시차맵을 나타낸 예시도,

도 5는 많은 장애물이 있는 경우에 대한 v-시차맵을 나타낸 예시도,

도 6은 도로가 직선이 아닌 곡선 형태인 경우의 v-시차맵을 나타낸 예시도,

도 7은 행별로 이진화된 v-시차맵을 나타낸 예시도,

도 8은 열별로 이진화된 v-시차맵을 나타낸 예시도,

도 9는 공동 이진화 v-시차맵을 예시적으로 나타낸 예시도,

도 10은 보간 과정을 나타낸 예시도,

도 11은 추출되는 도로의 특징 정보를 나타낸 예시도,

도 12는 본 발명의 일 실시예에 따른 대상 특징 추출 방법을 설명하기 위한 순서도,

도 13은 본 발명의 다른 실시예에 따른 대상 특징 추출 장치를 간략하게 나타낸 블록 구성도,

도 14는 본 발명의 다른 실시예에 따른 대상 특징 추출 방법을 설명하기 위한 순서도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

110, 1310: v-시차맵 생성기 120, 1320: 이진화기

130, 1340: 공동 부분 추출기 140, 1350: 보간기

1330: 대표값 계산기

Claims (14)

1. 대상의 이미지에 대한 시차맵이 입력되면 상기 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기;

   상기 v-시차맵을 최대 빈도수를 이용하여 행별 및 열별로 이진화하는 이진화기;

   상기 행별로 이진화된 v-시차맵 및 상기 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출기; 및

   상기 공동 이진화 v-시차맵을 보간하여 상기 대상의 특징 정보를 출력하는 보간기

   를 포함하는 것을 특징으로 하는 대상 특징 추출 장치.
2. 제 1 항에 있어서, 상기 이진화기는,

   행별 최대 빈도수를 이용하여 상기 v-시차맵을 행별로 이진화하는 것을 특징으로 하는 대상 특징 추출 장치.
3. 제 2 항에 있어서, 상기 행별 최대 빈도수는,

   상기 v-시차맵의 시차값들 중 상기 이진화하는 각 행에서 최대 빈도로 나타나는 시차값인 것을 특징으로 하는 대상 특징 추출 장치.
4. 제 1 항에 있어서, 상기 이진화기는,

   열별 최대 빈도수를 이용하여 상기 v-시차맵을 열별로 이진화하는 것을 특징으로 하는 대상 특징 추출 장치.
5. 제 4 항에 있어서, 상기 열별 최대 빈도수는,

   상기 v-시차맵의 시차값들 중 상기 이진화하는 각 열에서 최대 빈도로 나타나는 시차값인 것을 특징으로 하는 대상 특징 추출 장치.
6. 제 1 항에 있어서, 상기 공동 부분 추출기는,

   상기 행별로 이진화된 v-시차맵의 시차값들과 상기 열별로 이진화된 v-시차맵의 시차값들 중에서 동일한 위치에서 동일한 시차값을 갖는 부분을 상기 공동 부분으로 추출하는 것을 특징으로 하는 대상 특징 추출 장치.
7. 제 1 항에 있어서, 상기 대상은,

   도로인 것을 특징으로 하는 대상 특징 추출 장치.
8. 제 1 항에 있어서, 상기 대상 특징 추출 장치는,

   상기 대상을 촬영하는 촬영기와 상기 촬영된 이미지의 물체에 대한 시차 정보로부터 거리 정보를 추출하여 상기 시차맵을 생성하는 스테레오 정합기를 추가로 포함하는 것을 특징으로 하는 대상 특징 추출 장치.
9. 대상의 이미지에 대한 시차맵이 입력되면 상기 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성 단계;

   상기 v-시차맵을 최대 빈도수를 이용하여 행별 및 열별로 이진화하는 이진화 단계;

   상기 행별로 이진화된 v-시차맵 및 상기 열별로 이진화된 v-시차맵의 공동 부분을 추출하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출 단계; 및

   상기 공동 이진화 v-시차맵을 보간하여 상기 대상의 특징 정보를 출력하는 보간 단계

   를 포함하는 것을 특징으로 하는 대상 특징 추출 방법.
10. 대상의 이미지에 대한 시차맵이 입력되면 상기 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기;

    상기 v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화기;

    상기 v-시차맵의 최대 빈도수를 이용하여 열별로 이진화한 후 최대 빈도의 시차값이 아닌 시차값을 제외하여 열별 대표값을 계산하는 대표값 계산기;

    상기 행별로 이진화된 v-시차맵의 각 시차값들과 상기 열별 대표값을 비교하여 차이값이 기 설정된 임계값보다 큰 값들을 상기 행별로 이진화된 v-시차맵에서 제거하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출기; 및

    상기 공동 이진화 v-시차맵을 보간하여 상기 대상의 특징 정보를 출력하는 보간기

    를 포함하는 것을 특징으로 하는 대상 특징 추출 장치.
11. 삭제
12. 대상의 이미지에 대한 시차맵이 입력되면 상기 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성 단계;

    상기 v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화 단계;

    상기 v-시차맵의 최대 빈도수를 이용하여 열별로 이진화한 후 최대 빈도의 시차값이 아닌 시차값을 제외하여 열별 대표값을 계산하는 대표값 계산 단계;

    상기 행별로 이진화된 v-시차맵의 각 시차값들과 상기 열별 대표값을 비교하여 차이값이 기 설정된 임계값보다 큰 값들을 상기 행별로 이진화된 v-시차맵에서 제거하여 공동 이진화 v-시차맵을 생성하는 공동 부분 추출 단계; 및

    상기 공동 이진화 v-시차맵을 보간하여 상기 대상의 특징 정보를 출력하는 보간 단계

    를 포함하는 것을 특징으로 하는 대상 특징 추출 방법.
13. 대상의 이미지에 대한 시차맵을 이용하여 v-시차맵을 생성하는 v-시차맵 생성기;

    상기 v-시차맵을 최대 빈도수를 이용하여 행별로 이진화하는 이진화기; 및

    상기 행별로 이진화된 v-시차맵의 각 시차값과 상기 v-시차맵의 최대 빈도수를 이용하여 열별로 이진화한 후 최대 빈도의 시차값이 아닌 시차값을 제외하여 계산된 열별 대표값을 비교하여 공동 부분을 상기 대상의 특징 정보로서 추출하는 공동 부분 추출기

    를 포함하는 것을 특징으로 하는 대상 특징 추출 장치.
14. 제 13 항에 있어서, 상기 대상 특징 추출 장치는,

    상기 공동 부분을 보간하여 상기 대상의 특징 정보를 보간하는 보간기를 추가로 포함하는 것을 특징으로 하는 대상 특징 추출 장치.

Images