KR20100068751A - 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치 - Google Patents

Abstract

본 발명은 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치에 관한 것이다.

본 발명은 스테레오 영상을 정합하여 초기 시차지도를 생성하고, 초기 시차지도에서 저 신뢰도의 시차값을 제거하며, 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 시차 보간기를 포함하는 것을 특징으로 하는 영상 정합 장치를 제공한다.

본 발명에 의하면, 신뢰도 높은 시차지도를 장애물 검출이나 인식에서 이용할 수 있으므로, 스테레오 비전 시스템의 성능을 향상시킬 수 있다.

스테레오 영상, 정합, 시차지도, u 시차 영상, v 시차 영상, 보간

Description

영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치{Image Matching Method and Apparatus and Object Detection Apparatus Using Same}

본 발명은 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치에 관한 것이다. 더욱 상세하게는, 영상 공간 내 거리 범위가 넓은 경우에 대해 스테레오 비전 시스템을 적용하는 데 있어서, 스테레오 영상을 정합하는 알고리즘의 결과로 생성되는 시차지도의 품질을 개선하는 방법 및 장치와 그를 이용하여 객체를 검출하는 장치에 관한 것이다.

스테레오 비전 기술은 두 개 이상의 카메라로부터 획득된 이차원 영상에서 동일한 지점에 대한 각 영상에서의 시점의 차이를 정보로 이용하여 삼차원 공간의 영상을 복원하는 기술이다. 스테레오 비전 기술에서 두 개 이상의 영상을 정합하는 기술이 핵심 기술이며 다양한 알고리즘 적 해결 방법이 제안되었다.

하지만, 기존의 스테레오 정합 알고리즘은 생성하는 시차지도(Disparity Map)가 이상적으로 모든 화소에서 정확한 시차값을 갖지 못하고, 폐색 영역(Occlusion Region), 동질 영역(Homogeneous Region), 좌-우 센서의 조명의 차이, 센서 노이즈 등 다양한 원인으로 인해 많은 영역에서 정확한 시차값을 계산할 수 없거나 오정합(Mis-Matching)이 발생하는 문제점이 있다.

특히, 근거리나 실내의 균일한 조건에서 특징 정보가 많은 대상으로 구성된 영상에 비해서 실외의 넓은 범위에 존재하는 대상을 포함한 영상에서는 앞서 기술한 오정합을 일으키는 요소들에 의해 시차지도에 노이즈 성분이 많이 포함되어 객체 검출 및 인식 등이 어려운 문제점이 있다.

전술한 문제점을 해결하기 위해 본 발명은, 스테레오 영상을 정합하는 데 있어서, 신뢰도가 낮은 시차값을 제거하고 보간하여 신뢰성이 높은 시차지도를 생성하는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 스테레오 영상을 정합하여 초기 시차지도를 생성하는 초기 정합기; 초기 시차지도에서 저 신뢰도의 시차값을 제거하는 시차 제거기; 및 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 시차 보간기를 포함하는 것을 특징으로 하는 영상 정합 장치를 제공한다.

또한, 본 발명의 다른 목적에 의하면, 스테레오 영상을 정합하여 초기 시차지도를 생성하는 단계; 초기 시차지도에서 저 신뢰도의 시차값을 제거하는 단계; 및 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 단계를 포함하는 것을 특징 으로 하는 영상 정합 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 스테레오 영상을 감지하는 영상 검출기; 스테레오 영상을 정합하여 초기 시차지도를 생성하고, 초기 시차지도에서 저 신뢰도의 시차값을 제거하며, 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 영상 정합기; 및 보간 시차지도를 이용하여 객체를 검출하는 객체 검출기를 포함하는 것을 특징으로 하는 객체 검출 장치를 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 신뢰도 높은 시차지도를 장애물 검출이나 인식에서 이용할 수 있으므로, 스테레오 비전 시스템의 성능을 향상시킬 수 있다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하에서는 본 발명의 실시예를 설명하는 데 있어서, 차량에 탑재된 컴퓨터 비전 시스템이 두 개 이상의 카메라를 이용하여 차량이나 보행자와 같은 장애물과 도로를 촬영한 스테레오 영상을 정합하고 그를 이용하여 영상 내의 객체를 검출하고 인식하는 경우를 가정하여 설명한다. 다만, 이러한 가정은 설명의 편의를 위한 것일 뿐, 본 발명은 도로가 아닌 인도, 책상, 실내, 운동장 등에 사람이나 가로수, 전봇대 등 다양한 형태의 물체를 촬영한 스테레오 영상에도 적용될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 객체 검출 장치(100)는 영상 검출기(110), 영상 정합기(130) 및 객체 검출기(140)를 포함하여 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 객체 검출 장치(100)는 영상 보정기(120) 및 객체 인식기(150)를 추가로 포함할 수 있다.

이러한 객체 검출 장치(100)는 컴퓨터 비전 시스템(Computer Vision System)이나 컴퓨터 비전 시스템 내의 영상 처리 장치로 구현될 수 있다. 이러한 컴퓨터 비전 시스템 또는 영상 처리 장치는 데이터 또는 명령어를 입력받는 키보드, 마우스 등과 같은 입력 장치, 데이터를 출력하는 모니터, 프린터, 액정 화면과 같은 출력 장치, 영상을 처리하기 위한 데이터 또는 프로그램을 저장하는 메모리, 입력되는 데이터 또는 명령어나 메모리에 저장된 데이터를 이용하여 메모리에 저장된 프로그램의 알고리즘에 따라 영상을 처리하는 마이크로프로세서 등을 구비할 수 있다.

영상 검출기(110)는 스테레오 영상(Stereo Image)을 검출한다. 이러한 영상 검출기(110)는 두 개 이상의 촬영 장치로 구현되어 두 개 이상의 영상을 검출할 수 있는데, 검출된 두 개 이상의 영상이 스테레오 영상이 된다. 여기서, 촬영 장치는 카메라로 구현될 수 있다. 특히 영상 검출기(110)가 두 개의 촬영 장치로 구현되는 경우에는 각 촬영 장치가 좌측의 영상과 우측의 영상을 검출할 수 있다.

영상 보정기(120)는 영상 검출기(110)에 의해 검출된 스테레오 영상을 보정(Rectification)한다. 영상 보정기(120)가 스테레오 영상을 보정하는 것에 대해서는 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략한다.

영상 정합기(130)는 스테레오 영상을 정합(Matching)하여 초기 시차지도(Disparity Map)를 생성하고, 초기 시차지도에서 저 신뢰도의 시차값을 제거하며, 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상(v Disparity Image) 및 u 시차 영상(v Disparity Image)을 이용하여 보간(Interpolation)하여 보간 시차지도를 생성하고 출력한다. 즉, 영상 정합기(130)는 영상 검출기(110)로부터 출력되는 스테레오 영상 또는 영상 보정기(120)로부터 출력되는 보정된 스테 레오 영상을 통상적인 영상 정합 기술을 이용하여 정합함으로써 초기 시차지도를 생성하고, 생성된 초기 시차지도에서 신뢰도가 낮은 시차값을 찾아 제거하며, 신뢰도가 낮은 시차값이 제거된 초기 시차지도에서 제거된 신뢰도가 낮은 시차값을 보간함으로써 보간 시차지도를 생성하고 출력한다. 여기서, 영상 정합기(130)로부터 출력되는 보간 시차지도는 신뢰도가 일정 수준 이상인 시차값만을 포함하는 시차지도로서 신뢰성이 높은 시차지도이다. 영상 정합기(130)에 대해서는 후술하는 과정에서 도 4를 통해 상세히 설명한다.

객체 검출기(140)는 보간 시차지도를 이용하여 객체(Object)를 검출한다. 즉, 객체 검출기(140)는 영상 정합기(130)로부터 출력되는 신뢰성이 높은 보간 시차지도를 이용하여 스테레오 영상 내에서 사물 또는 사람에 해당하는 객체를 검출한다. 객체 검출기(140)가 보간 시차지도를 이용하여 객체를 검출하는 것에 대해서는 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략한다.

객체 인식기(140)는 검출된 객체를 인식한다. 즉, 객체 인식기(140)는 객체 검출기(140)에 의해 검출된 객체가 사람인지 사물인지 등의 여부를 인식한다. 객체 인식기(140)가 검출된 객체를 인식하는 것에 대해서는 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략한다.

이와 같이, 본 발명의 일 실시예에 따른 객체 검출 장치(100)는 통상적인 영상 정합 기술을 이용하여 정합함으로써 생성되는 초기 시차지도를 이용하여 스테레오 영상 내의 객체를 검출하고 인식하는 것이 아니라, 초기 시차지도에서 신뢰도가 낮은 시차값을 제거하고 보간하여 생성되는 신뢰도가 높은 시차지도를 이용하여 스 테레오 영상 내의 객체를 검출하고 인식한다.

스테레오 영상의 한 점에 대해 시차를 결정하는 과정을 예시적으로 나타낸 도 2를 참조하면, 통상적인 스테레오 영상의 정합 기술에서는, 스테레오 영상이 좌 영상과 우 영상 두 개의 영상이라고 가정한 경우, 좌 영상을 기준 영상으로 할 때, 좌 영상의 한 점 p에 대해 우 영상의 에피폴라 라인(Epipolar Line)을 탐색하여 주어진 시차 범위(d) 내에서 각 점마다 정합 비용을 계산하고, 계산된 정합 비용을 비교하여 최소의 비용을 가지는 점에서의 시차를 바람직한 시차로 결정한다.

이와 같이 결정된 시차를 이용하여 생성되는 시차지도는 이상적으로는 모든 화소에 대해 정확한 시차값을 가지도록 구성되어야 하지만, 실제 영상에서는 폐색 영역(Occlusion Region), 동질 영역(Homogeneous Region), 좌-우 센서의 조명차, 센서 노이즈 등 다양한 원인으로 인해 많은 영역에서 정확한 시차값을 계산할 수 없거나 오정합(Mis-Matching)이 발생할 수 있다. 특히, 근거리 영상이 아닌 실내의 균일한 조건에서 특징 정보가 많은 대상으로 구성된 영상이 아닌 실외의 넓은 범위에 존재하는 대상을 포함하는 영상에서는 전술한 바와 같이 오정합을 발생시키는 요소들에 의해 시차지도에 노이즈 성분이 많이 포함되어 객체를 검출하고 인식하는 등의 스테레오 비전 시스템의 후처리(Post Processing)에 어려움을 줄 수 있다.

예를 들어, 도로를 촬영하여 획득되는 영상을 예시적으로 나타낸 도 3을 참조하면, 도로의 표면은 유사한 형태 및 색상으로 구성되어 영상을 정합하기 어려울 수 있으며, 빛의 반사로 인해 정합을 위한 특정 요소가 사라져서 영상을 정합하기 어려울 수 있다. 그리고 원거리에 존재하는 차량은 영상에서의 크기가 작아서 배경 의 물체들과 구분하기 어렵거나 특징이 될 수 있는 에지(Edge)나 코너(Corner) 등의 정보가 불명확하여 영상을 정하기가 어려울 수 있다.

따라서, 본 발명의 일 실시예에서는 전술한 바와 같이, 다양한 원인으로 인한 오정합으로 인해 시차지도의 신뢰도가 낮아지는 것을 방지하기 위해, 시차지도에서 신뢰도가 낮은 시차값을 제거하고 적합한 시차값으로 보간함으로써 신뢰도가 높은 시차지도를 생성하고 그를 이용하여 객체를 검출 및 인식하는 것이다.

도 4는 본 발명의 일 실시예에 따른 영상 정합 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 정합 장치는 도 1을 통해 전술한 객체 검출 장치(100)에서는 영상 정합기(130)로 구현될 수 있다. 이하에서는 설명의 편의를 위해, 본 발명의 일 실시예에 따른 영상 정합 장치를 영상 정합기(130)라 칭한다.

영상 정합기(130)는 초기 정합기(410), 시차 제거기(420) 및 시차 보간기(430)를 포함하여 구성될 수 있다. 이러한 영상 정합기(130)는 도 1을 통해 전술한 객체 검출 장치(100)와 별도로 독립적인 장치로 구현되는 경우, 객체 검출 장치(100)와 같이, 컴퓨터 비전 시스템(Computer Vision System)이나 컴퓨터 비전 시스템 내의 영상 처리 장치로 구현될 수 있다.

초기 정합기(410)는 스테레오 영상을 정합하여 초기 시차지도를 생성한다. 즉, 초기 정합기(410)는 스테레오 영상 정합 기술을 이용하여 시차지도를 생성하는데, 이와 같이 생성된 시차지도를 설명의 편의상 초기 시차지도라 한다. 여기서, 시차지도는, 도 2를 통해 전술한 바와 같이, 주어진 시차 범위(예를 들면, 0 내지 d)에서 각 정합 비용을 계산하고, 그 중 최소의 정합 비용을 가지는 시차를 선택함으로써 생성될 수 있다. 이때, 정합 비용은 영상의 밝기값에 의한 유사도(Similarity)나 상관도(Correlation) 등의 방법을 이용하여 계산될 수 있다. 일 예로, 정합 비용 C(x,y,d)는 수학식 1과 같은 정규화된 상호 상관(NCC: Normalized Cross-Correlation) 방법을 적용할 수 있다.

시차 제거기(420)는 초기 시차지도에서 저 신뢰도의 시차값을 제거한다. 즉, 시차 제거기(420)는 초기 정합기(410)로부터 출력되는 초기 시차지도에서 신뢰도가 낮은 시차값을 찾아 초기 시차지도에서 제거하는데, 신뢰도가 낮은 시차값이 저 신뢰도의 시차값이 된다.

여기서, 시차 제거기(420)는 신뢰도가 낮은 시차값을 찾기 위해, 초기 시차지도의 각 시차값의 신뢰값을 계산하고, 계산된 각 시차값의 신뢰값을 기준값과 비교하여 기준값 이하인 신뢰값을 가지는 시차값을 저 신뢰도의 시차값으로 결정할 수 있다. 이 경우, 저 신뢰도의 시차값은 기준값 이하의 신뢰값을 가지는 시차값이 될 수 있다. 여기서, 시차값의 신뢰값은 초기 시차지도를 생성하는 데 이용하는 시 차 범위 내의 정합 비용을 이용하여 계산될 수 있다.

예를 들어, 초기 시차지도를 생성할 때, 상관도(Correlation) 방식의 정합 비용을 계산하는 알고리즘을 사용한 경우, 각 시차값의 신뢰값 C는 시차값과 상관값 간의 관계를 예시적으로 나타낸 도 5와 수학식 2를 이용하여 계산될 수 있다.

이 경우, 시차 제거기(420)는 각 시차값의 신뢰값 C를 분석하여 기준값 T 이하의 신뢰값을 가지는 시차값은 오정합이 발생했을 확률이 높으므로, 초기 시차지도에서 해당 화소의 시차값을 제거한다.

시차 보간기(430)는 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력한다. 여기서, 시차 보간기(430)는 v 시차 영상 및 u 시차 영상을 이용하여 보간하는 데 있어서, 저 신뢰도의 시차값을 표면의 시차값 또는 주변의 객체의 시차값으로 보간할 수 있다.

이를 위해, 시차 보간기(430)는 시차 제거기(420)로부터 출력되는 저 신뢰도의 시차값이 제거된 초기 시차지도를 이용하여 v 시차 영상 및 u 시차 영상을 생성할 수 있는데, 반드시 생성해야 하는 것은 아니며 도 1을 통해 전술한 객체 검출기(140)에 의해 생성된 v 시차 영상 및 u 시차 영상을 이용할 수 있다. 시차 보간 기(430)가 v 시차 영상 및 u 시차 영상을 생성하지 않고 객체 검출기(140)에 의해 생성된 v 시차 영상 및 u 시차 영상을 이용하는 경우, 시차 보간기(430)가 v 시차 영상 및 u 시차 영상을 생성하기 위한 추가적인 계산 비용을 소모하지 않을 수 있는 장점이 있다.

v 시차 영상 및 u 시차 영상은 본래 시차지도로부터 장애물을 검출하기 위한 것이다. 시차지도, v 시차 영상 및 u 시차 영상을 예시적으로 나타낸 도 6을 참조하면, v 시차 영상은 시차지도의 수평 방향 라인의 시차값의 분포를 빈도수로 변환하고 빈도수의 순서대로 밝기값을 할당하여 생성될 수 있으며, u 시차 영상은 시차지도의 수직 방향 라인에 대해서도 동일한 방법으로 밝기값을 할당하여 생성될 수 있다.

v 시차 영상에서 넓고 평평한 공간에서의 표면의 시차는 도 6에 도시한 v 시차 영상(v disparity Image)에서 (1)과 같은 대각 직선의 형태와 유사하게 나타날 수 있다. 표면 위에 존재하는 객체는 (1)의 대각 직선 위에서 (2)와 같은 수직선의 형태와 유사하게 나타날 수 있으며, u 시차 영상에서는 객체가 존재하는 위치가 영상의 가로 방향의 위치에서 직선으로 나타날 수 있다.

또한, 시차 보간기(430)는 v 시차 영상에서 제거된 저 신뢰도의 시차값의 y좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값인 v 시차 후보값과 u 시차 영상에서 제거된 저 신뢰도의 시차값의 x좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값인 u 시차 후보값을 비교하여 동일한 후보값의 개수에 따라 다른 시차값으로 보간 시차값을 결정할 수 있다.

여기서, 시차 보간기는(430)는 동일한 후보값의 개수가 한 개인 경우에는 한 개의 동일한 후보값을 보간 시차값으로 결정할 수 있으며, 동일한 후보값이 없는 경우에는 v 시차 영상에서 제거된 저 신뢰도의 시차값의 y좌표값에 해당하는 직선상에서의 표면의 시차값을 보간 시차값으로 결정할 수 있으며, 동일한 후보값의 개수가 두 개 이상인 경우에는 두 개 이상의 동일한 후보값 중 제거된 시차값과의 차이값이 최소값이 되는 후보값을 보간 시차값으로 결정할 수 있다. 시차 보간기(430)가 v 시차 후보값과 u 시차 후보값의 비교를 통해 보간 시차값을 결정하는 것에 대해서는 후술하는 과정에서 도 7 내지 도 10을 통해 상세히 설명한다.

즉, 시차 보간기(430)는 초기 시차지도에서 제거된 저 신뢰도의 시차값 각각에 대해 보간 시차값을 결정하여 초기 시차지도에 보간함으로써 보간 시차지도를 생성하는데, 초기 시차지도에서 제거된 저 신뢰도의 시차값 각각에 대해 전술한 바와 같이, v 시차 후보값과 u 시차 후보값을 결정하고 비교하여 동일한 후보값의 개수에 따라 보간 시차값을 결정한다.

도 7은 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 순서도이다.

영상 정합기(130)는 스테레오 영상이 입력되면, 스테레오 영상을 정합하여 초기 시차지도를 생성하고(S710), 초기 시차지도에서 저 신뢰도의 시차값을 제거하며(S720), 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력한다(S730).

단계 S720에서, 영상 정합 장치(130)가 초기 시차지도에서 저 신뢰도의 시차 값을 제거하는 과정은 후술하는 과정에서 설명할 도 8에 도시한 바와 같이 구체화할 수 있으며, 단계 S730에서, 영상 정합 장치(130)가 보간 시차지도를 생성하고 출력하는 과정은 후술하는 과정에서 설명할 도 9a 및 도 9b에 도시한 바와 같이 구체화할 수 있다.

도 8은 본 발명의 일 실시예에 따라 초기 시차지도에서 저 신뢰도의 시차값을 제거하는 과정을 설명하기 위한 순서도이다.

영상 정합 장치(130)는 단계 S710에서 생성되는 초기 시차지도의 각 시차값의 신뢰값을 계산하고(S810), 계산된 각 시차값의 신뢰값과 기 설정된 기준값을 비교하여 계산된 각 시차값의 신뢰값이 기준값 이하인지 여부를 판단하여(S820), 시차값의 신뢰값이 기준값을 초과하는 경우에는 초기 시차지도에서 제거하지 않고, 시차값의 신뢰값이 기준값 이하인 경우에는 해당 시차값(즉, 기준값 이하인 신뢰값을 가지는 시차값)을 저 신뢰도의 시차값으로 결정하여 초기 시차지도에서 제거할 수 있다(S830). 이와 같이, 영상 정합 장치(130)는 초기 시차지도의 각 시차값의 신뢰값을 계산하여 기준값 이하의 신뢰값을 가지는 시차값만을 초기 시차지도에서 제거할 수 있다.

도 9a 및 도 9b는 본 발명의 일 실시예에 따라 저 신뢰도의 시차값이 제거된 초기 시차지도를 보간하여 보간 시차지도를 생성하고 출력하는 과정을 설명하기 위한 순서도이다.

영상 정합기(130)는 단계 S720에서 생성되는 저 신뢰도의 시차값이 제거된 초기 시차지도를 이용하여 v 시차 영상 및 u 시차 영상을 생성한다(S910). 여기서, 단계 S910은 반드시 수행되어야 하는 것은 아니며 필요에 따라 선택적으로 수행될 수 있다. 즉, 영상 정합기(130)는 단계 S910과 같이 v 시차 영상 및 u 시차 영상을 생성할 수도 있지만, 직접 생성하지 않고 객체 검출기(140)에 의해 기 생성된 v 시차 영상 및 u 시차 영상을 이용하여 단계 S920 및 단계 S930을 수행할 수도 있다. 이 경우, 영상 정합기(130)가 v 시차 영상 및 u 시차 영상을 생성하기 위한 추가적인 계산 비용을 소모하지 않을 수 있는 장점이 있다.

또한, 영상 정합기(130)는 v 시차 영상에서 제거된 저 신뢰도의 시차값의 y 좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값을 v 시차 후보값으로서 결정하고(S920), u 시차 영상에서 제거된 저 신뢰도의 시차값의 x 좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값을 u 시차 후보값으로서 결정한다(S930). 즉, 영상 정합기(130)는 초기 시차지도에서 제거된 저 신뢰도의 시차값을 보간하기 위해, 제거된 저 신뢰도의 시차값 각각에 대한 보간 시차값을 결정해야 한다. 이를 위해 영상 정합기(130)는, 도 10에 나타낸 바와 같이, 각 제거된 저 신뢰도의 시차값에 대해 v 시차 후보값과 u 시차 후보값을 결정한다.

v 시차 후보값과 u 시차 후보값을 결정하는 과정을 예시적으로 나타낸 도 10을 참조하면, 초기 시차지도에서 제거된 저 신뢰도의 임의의 시차값의 (x, y) 좌표가 (u, v)라고 가정한 경우, v 시차 영상에서 y 좌표값에 해당하는 직선(y=v)상에 위치하는 시차값 중에서 최대 빈도의 시차값이 v 시차 후보값이 될 수 있다. 또한, 초기 시차지도에서 제거된 저 신뢰도의 임의의 시차값의 (x, y) 좌표가 (u, v)라고 가정한 경우, u 시차 영상에서 x 좌표값에 해당하는 직선(x=u)상에 위치하는 시차 값 중에서 최대 빈도의 시차값이 u 시차 후보값이 될 수 있다. 이와 같은 과정을 통해, 초기 시차지도에서 제거된 저 신뢰도의 임의의 시차값의 주변의 객체(또는 장애물)에 대한 시차값들을 해당 임의의 시차값을 보간할 보간 시차값들의 후보로 결정할 수 있다. 도 1에서는 v 시차 후보값은 3 개로 결정되었고, u 시차 후보값은 2 개로 결정되었다.

또한, 영상 정합기(130)는 단계 S920 및 단계 S930에서 생성된 v 시차 후보값과 u 시차 후보값을 비교하고(S940), v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 한 개인지 여부를 판단하여(S950), v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 한 개인 경우, 한 개의 동일한 후보값을 보간 시차값으로 결정할 수 있으며(S952), v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 한 개가 아닌 경우, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 없는지 여부를 판단한다(S960).

영상 정합기(130)는 단계 S960의 판단 결과, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 없는 경우, v 시차 영상에서 제거된 저 신뢰도의 시차값의 y 좌표값에 해당하는 직선(y=v)상에서의 표면의 시차값을 보간 시차값으로 결정할 수 있으며(S962), v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 있는 경우, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 두 개 이상인지 여부를 판단한다(S970). 단계 S962에서 표면의 시차값을 보간 시차값으로 결정하는 것은 제거된 저 신뢰도의 시차값이 장애물이 아닌 확률이 높으므로 도로의 표면의 시차값으로 보간하는 것이다.

영상 정합기(130)는 단계 S970의 판단 결과, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 두 개 이상인 경우, 두 개 이상의 동일한 후보값 중 제거된 저 신뢰도의 시차값과의 차이값이 최소값이 되는 후보값을 보간 시차값으로 결정할 수 있다(S972). 즉, 영상 정합기(130)는 동일한 후보값이 두 개 이상인 경우에는 초기 시차지도에서 제거된 저 신뢰도의 시차값의 보간 시차값으로 결정할 수 있는 장애물이 두 개 이상인 경우이므로, 두 개 이상의 장애물의 시차값 중에서 이미 제거된 저 신뢰도의 시차값과 가장 근사치의 시차값이 가장 최적의 시차값일 수 있으므로, 가장 근사치의 시차값을 보간 시차값으로 결정하는 것이다.

여기서, 단계 S950 및 단계 S960에서 이미 동일한 후보값이 하나 이상 있거나 한 개가 아닌 것으로 판단되었으므로, 단계 S970의 판단 결과, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 두 개 이상이 아닌 경우는 발생할 수 없다. 따라서, 단계 S920의 판단 결과, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 두 개 이상이 아닌 것으로 판단한 경우에는 판단에 오류가 있는 것이므로, 절차를 종료할 수 있다.

일 예로, 단계 S920 및 단계 S930에서 v 시차 후보값이 '2, 4, 6'으로 결정되고 u 시차 후보값이 '1, 3'으로 결정되었다고 가정하면, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 없으므로, v 시차 영상에서 y=v인 직선상에 위치하는 시차값 중 표면의 시차값을 보간 시차값으로 결정할 수 있다. 여기서, 표면의 시차값은 v 시차 영상에서는 대각 직선으로 나타나는 시차값이므로, 보간 시차값으로 결정되는 시차값은 표면에 해당하는 대각 직선과 y=v인 직선이 교차하는 지점의 시차값이 될 수 있다. 다른 예로, 단계 S920 및 단계 S930에서 v 시차 후보값이 '2, 4, 6'으로 결정되고 u 시차 후보값이 '2, 3'으로 결정되었다고 가정하면, v 시차 후보값과 u 시차 후보값 중에서 동일한 후보값이 한 개 ('2')이므로, '2'를 보간 시차값으로 결정할 수 있다. 또 다른 예로, 단계 S920 및 단계 S930에서 v 시차 후보값이 '2, 4, 6'으로 결정되고 u 시차 후보값이 '2, 4'으로 결정되었다고 가정하고 제거된 저 신뢰도의 시차값이 '1'이라고 가정하면, v 시차 후보값과 u 시차 후보값 중에서 동일한 두 개의 후보값('2 및 4') 중에서 제거된 저 신뢰도의 시차값 '1'과 가장 근사한 값을 가지는 '2'를 보간 시차값으로 결정할 수 있다.

영상 정합기(130)는 단계 S920 내지 단계 S972의 과정을 초기 시차지도에서 제거된 각 저 신뢰도의 시차값에 대해 수행함으로써, 각 저 신뢰도의 시차값에 대한 보가 시차값을 결정한 후, 저 신뢰도의 시차값이 제거된 초기 시차지도를 단계 S952, 단계 S962 및 단계 S972에서 결정된 보간 시차값을 이용하여 보간함으로써, 보간 시차지도를 생성하고 출력할 수 있다(S980). 이와 같이 출력되는 보간 시차지도는 저 신뢰도의 시차값이 제거된 고 신뢰도의 시차지도가 될 수 있다.

도 11은 본 발명의 일 실시예에 따라 보간 시차지도를 생성하는 과정을 나타낸 예시도이다.

영상 정합기(130)에 입력되는 스테레오 영상 중 좌영상이 (a)와 같은 경우, 초기 시차지도의 각 시차값에 대한 신뢰값으로 영상을 나타내면, (b)와 같이 나타낼 수 있다. (b) 영상에서 밝은 점일수록 신뢰도가 높다.

(b) 영상을 이용하여 초기 시차지도에서 저 신뢰도의 시차값을 제거하면 (c) 영상과 같이 나타낼 수 있다. (c) 영상을 통해 자동차와 사람 등의 장애물들에 대한 시차값들과 도로 등에 있는 많은 시차값들이 제거된 것을 알 수 있다.

(c) 영상과 같이 저 신뢰도의 시차값이 제거된 초기 시차지도를 본 발명의 일 실시예에 따라 보간하면, (d) 영상과 같은 보간 시차지도가 생성될 수 있다. (c) 영상과 (d) 영상을 비교하면, (c) 영상에서 제거된 저 신뢰도의 시차값들이 고 신뢰도의 시차값들로 보간되어 결과적으로 생성되는 (d) 영상이 고 신뢰도를 갖게 됨을 알 수 있다.

이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 넓은 거리 범위에 존재하는 대상을 포함하며, 표면이 평평한 공간에서 영상을 검출하여 장애물들의 객체를 검출하고 인식할 때, 신뢰도가 높은 시차지도를 생성하고 그를 통해 객체를 검출하고 인식할 수 있으므로, 객체의 검출 및 인식 능력을 향상시킬 수 있다. 이러한 객체의 검출 및 인식 능력을 예를 들어, 지능형 자동차의 차간 인식이나 보행자 인식 또는 야외 감시 카메라와 같은 응용에 적용하면 뛰어난 성능을 발휘할 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아 니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 간략하게 나타낸 블록 구성도,

도 2는 스테레오 영상의 한 점에 대해 시차를 결정하는 과정을 나타낸 예시도,

도 3은 도로를 촬영하여 획득되는 영상을 나타낸 예시도,

도 4는 본 발명의 일 실시예에 따른 영상 정합 장치를 간략하게 나타낸 블록 구성도,

도 5는 시차값과 상관값 간의 관계를 나타낸 예시도,

도 6은 v 시차 영상 및 u 시차 영상을 나타낸 예시도,

도 7은 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 순서도,

도 8은 본 발명의 일 실시예에 따라 초기 시차지도에서 저 신뢰도의 시차값을 제거하는 과정을 설명하기 위한 순서도,

도 9a 및 도 9b는 본 발명의 일 실시예에 따라 저 신뢰도의 시차값이 제거된 초기 시차지도를 보간하여 보간 시차지도를 생성하고 출력하는 과정을 설명하기 위한 순서도,

도 10은 v 시차 후보값과 u 시차 후보값을 결정하는 과정을 나타낸 예시도,

도 11은 본 발명의 일 실시예에 따라 보간 시차지도를 생성하는 과정을 나타낸 예시도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100: 객체 검출 장치 110: 영상 검출기

120: 영상 보정기 130: 영상 정합기

140: 객체 검출기 150: 객체 인식기

410: 초기 정합기 420: 시차 제거기

430: 시차 보간기

Claims (13)

1. 스테레오 영상을 정합하여 초기 시차지도를 생성하는 초기 정합기;

   상기 초기 시차지도에서 저 신뢰도의 시차값을 제거하는 시차 제거기; 및

   상기 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 시차 보간기

   를 포함하는 것을 특징으로 하는 영상 정합 장치.
2. 제 1 항에 있어서, 상기 시차 제거기는,

   상기 초기 시차지도의 각 시차값의 신뢰값을 계산하고 상기 계산된 각 시차값의 신뢰값을 기 설정되는 기준값과 비교하여 상기 기준값 이하인 신뢰값을 가지는 시차값을 상기 저 신뢰도의 시차값으로 결정하는 것을 특징으로 하는 영상 정합 장치.
3. 제 1 항에 있어서, 상기 시차 보간기는,

   상기 저 신뢰도의 시차값이 제거된 초기 시차지도를 이용하여 상기 v 시차 영상 및 상기 u 시차 영상을 생성하는 것을 특징으로 하는 영상 정합 장치.
4. 제 1 항에 있어서, 상기 시차 보간기는,

   상기 저 신뢰도의 시차값을 표면의 시차값 또는 주변의 객체의 시차값으로 보간하는 것을 특징으로 하는 영상 정합 장치.
5. 제 1 항에 있어서, 상기 시차 보간기는,

   상기 v 시차 영상에서 상기 제거된 저 신뢰도의 시차값의 y좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값인 v 시차 후보값과 상기 u 시차 영상에서 상기 제거된 저 신뢰도의 시차값의 x좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값인 u 시차 후보값을 비교하여 동일한 후보값의 개수에 따라 다른 시차값으로 보간 시차값을 결정하는 것을 특징으로 하는 영상 정합 장치.
6. 제 5 항에 있어서, 상기 시차 보간기는,

   상기 동일한 후보값의 개수가 한 개인 경우, 상기 한 개의 동일한 후보값을 상기 보간 시차값으로 결정하는 것을 특징으로 하는 영상 정합 장치.
7. 제 5 항에 있어서, 상기 시차 보간기는,

   상기 동일한 후보값이 없는 경우, 상기 v 시차 영상에서 상기 제거된 저 신뢰도의 시차값의 y좌표값에 해당하는 직선상에서의 표면의 시차값을 상기 보간 시차값으로 결정하는 것을 특징으로 하는 영상 정합 장치.
8. 상기 동일한 후보값의 개수가 두 개 이상인 경우, 상기 두 개 이상의 동일한 후보값 중 상기 제거된 시차값과의 차이값이 최소값이 되는 후보값을 상기 보간 시차값으로 결정하는 것을 특징으로 하는 영상 정합 장치.
9. 스테레오 영상을 정합하여 초기 시차지도를 생성하는 단계;

   상기 초기 시차지도에서 저 신뢰도의 시차값을 제거하는 단계; 및

   상기 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 단계

   를 포함하는 것을 특징으로 하는 영상 정합 방법.
10. 제 9 항에 있어서, 상기 저 신뢰도의 시차값을 제거하는 단계는,

    상기 초기 시차지도의 각 시차값의 신뢰값을 계산하는 단계;

    상기 계산된 각 시차값의 신뢰값과 기준값을 비교하는 단계;

    상기 계산된 각 시차값의 신뢰값이 상기 기준값 이하인 경우, 상기 기준값 이하인 신뢰값을 가지는 시차값을 상기 저 신뢰도의 시차값으로 결정하여 상기 초기 시차지도에서 제거하는 단계

    를 포함하는 것을 특징으로 하는 영상 정합 방법.
11. 제 9 항에 있어서, 상기 보간 시차지도를 생성하고 출력하는 단계는,

    상기 v 시차 영상에서 상기 제거된 저 신뢰도의 시차값의 y 좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값을 v 시차 후보값으로서 결정 하는 단계;

    상기 u 시차 영상에서 상기 제거된 저 신뢰도의 시차값의 x 좌표값에 해당하는 직선상에 위치하는 시차값 중 최대 빈도의 시차값을 u 시차 후보값으로서 결정하는 단계;

    상기 v 시차 후보값과 상기 u 시차 후보값을 비교하는 단계;

    상기 v 시차 후보값과 상기 u 시차 후보값 중에서 동일한 후보값이 한 개인 경우, 상기 한 개의 동일한 후보값을 보간 시차값으로 결정하는 단계;

    상기 v 시차 후보값과 상기 u 시차 후보값 중에서 동일한 후보값이 없는 경우, 상기 v 시차 영상에서 상기 제거된 저 신뢰도의 시차값의 y 좌표값에 해당하는 직선상에서의 표면의 시차값을 보간 시차값으로 결정하는 단계;

    상기 v 시차 후보값과 상기 u 시차 후보값 중에서 동일한 후보값이 두 개 이상인 경우, 상기 두 개 이상의 동일한 후보값 중 상기 제거된 저 신뢰도의 시차값과의 차이값이 최소값이 되는 후보값을 상기 보간 시차값으로 결정하는 단계; 및

    상기 저 신뢰도의 시차값이 제거된 초기 시차지도를 상기 보간 시차값을 이용하여 보간하여 상기 보간 시차지도를 생성하고 출력하는 단계

    를 포함하는 것을 특징으로 하는 영상 정합 방법.
12. 제 11 항에 있어서, 상기 영상 정합 방법은,

    상기 저 신뢰도의 시차값이 제거된 초기 시차지도를 이용하여 상기 v 시차 영상 및 상기 u 시차 영상을 생성하는 단계를 추가로 포함하는 것을 특징으로 하는 영상 정합 방법.
13. 스테레오 영상을 감지하는 영상 검출기;

    상기 스테레오 영상을 정합하여 초기 시차지도를 생성하고, 상기 초기 시차지도에서 저 신뢰도의 시차값을 제거하며, 상기 초기 시차지도에서 제거된 저 신뢰도의 시차값을 v 시차 영상 및 u 시차 영상을 이용하여 보간하여 보간 시차지도를 생성하고 출력하는 영상 정합기; 및

    상기 보간 시차지도를 이용하여 객체를 검출하는 객체 검출기

    를 포함하는 것을 특징으로 하는 객체 검출 장치.

Images