KR101988551B1

KR101988551B1 - 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법

Info

Publication number: KR101988551B1
Application number: KR1020180004855A
Authority: KR
Inventors: 김형원; 이희승; 송찬호
Original assignee: 충북대학교 산학협력단
Priority date: 2018-01-15
Filing date: 2018-01-15
Publication date: 2019-06-12

Abstract

본 발명은 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법에 관한 것으로서, 스테레오 카메라 영상으로부터, 깊이 영상(depth image)을 구하여 배경을 제거하는 배경 제거부, 배경이 제거된 깊이 영상에서 같은 디스패리티(disparity)를 갖는 윤곽을 구하여 객체를 검출하는 객체 검출부 및 구해진 상기 윤곽에 대한 바운딩 박스(bounding box)를 원본 영상에 그린 후, 바운딩 박스 내의 부분 영상의 히스토그램(histogram)을 비교하여 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 매칭부를 포함함으로써, 객체 검출의 높은 성공률을 보장할 수 있다.

Description

스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법{EFFICIENT OBJECT DETECTION AND MATCHING SYSTEM AND METHOD USING STEREO VISION DEPTH ESTIMATION}

본 발명은 스테레오 카메라를 이용한 효율적 객체 검출 및 매칭 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라에서 획득된 양안 영상에서 스테레오 비전의 깊이 영상을 효율적으로 획득하고 이를 통해 객체를 검출 및 매칭할 수 있는 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법에 관한 것이다.

최근 자율주행 자동차에 적용하기 위한 단일 또는 두 대 이상의 카메라, RADAR, LIDAR와 같은 센서들을 이용하여 실시간으로 객체를 검출해내는 연구가 활발하다. 이러한 센서들 중, 스테레오 카메라를 이용한 영상 검출 기법도 컴퓨터 비전에서 오래 전부터 활발히 연구되고 있는 분야이다.

스테레오 비전에서 깊이 영상(depth map)을 구하는 방법으로는 사람이 객체를 보았을 때 두 눈으로부터 생기는 양안 시차를 스테레오 카메라에서도 유사하게 적용하여 깊이 영상을 구하는 것이다. 이 때의 스테레오 카메라에서의 양안 시차를 디스패리티(disparity)라고 부르며 디스패리티를 구하는 과정은 같은 장면의 두 영상에서 정합되는 점을 찾아 구한다.

위에 설명한 주제에 대해서 많은 연구들이 진행되고 있는 가운데, 본 발명에서는 깊이 영상을 구하기 위해 윈도우 기반의 방법을 사용한 절대 값 차이의 합(Sum of Absolute Differences: SAD)을 이용하는 기술을 제시한다.

대한민국 등록특허공보 제10-0762670호(등록일자 2007.09.20) 대한민국 공개특허공보 제10-2014-0120527호(공개일자 2014.10.14)

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 스테레오 카메라에서 획득된 양안 영상에서 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(Sum of Absolute Differences: SAD)을 이용하여 스테레오 비전의 깊이 영상을 효율적으로 획득하고 이를 통해 객체를 검출 및 매칭할 수 있는 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법을 제공하는데 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템은, 스테레오 카메라 영상으로부터, 깊이 영상(depth image)을 구하여 배경을 제거하는 배경 제거부, 배경이 제거된 깊이 영상에서 같은 디스패리티(disparity)를 갖는 윤곽을 구하여 객체를 검출하는 객체 검출부 및 구해진 상기 윤곽에 대한 바운딩 박스(bounding box)를 원본 영상에 그린 후, 바운딩 박스 내의 부분 영상의 히스토그램(histogram)을 비교하여 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 매칭부를 포함한다.

상기 바람직한 실시예에 따른 시스템에서, 상기 배경 제거부는 카메라로부터 객체가 멀수록 증가하는 상기 깊이 영상의 깊이 값에 대해 일정 문턱 값보다 큰 값을 갖는 경우 배경으로 판단하여 상기 깊이 영상에서 배경을 제거한다.

상기 바람직한 실시예에 따른 시스템에서, 상기 배경 제거부는 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(Sum of Absolute Differences: SAD)을 이용하여 상기 깊이 영상을 구한다.

상기 바람직한 실시예에 따른 시스템에서, 상기 배경 제거부는: 상기 스테레오 카메라에서 획득된 양안 영상의 y축 상에서 x축 방향으로 한 픽셀씩 이동하면서

를 이용하여 SAD를 구하도록, 상기 스테레오 카메라에서 획득된 양안 영상 중 우측 영상을 기준 영상으로, 좌측 영상에서 탐색 범위 값을 증가시키면서 윈도우 마스크를 시프팅하면서 상기 SAD가 최소가 되는 탐색 범위 값을 찾도록 그리고 결정된 상기 탐색 범위 값을 상기 양안 영상에서 찾은 부분 영상의 디스패리티 값으로 하여 상기 디스패리티 값을 (x, y) 좌표의 픽셀 명암 값으로 변환하여 깊이 영상으로 표현하도록 구성된다.

상기 바람직한 실시예에 따른 시스템에서, 상기 객체 검출부는: 배경이 제거된 깊이 영상에 대해 모폴로지(morphology) 연산을 통해 이미지에 대한 보상을 하도록, 캐니 에지(canny edge) 알고리즘을 이용하여 에지를 검출하도록, 검출된 에지를 대상으로 폐곡선을 찾아 윤곽들을 검출하도록 그리고 검출된 윤곽들의 크기가 지정된 최대 크기 이상인 폐곡선과 최소 크기 이하인 폐곡선을 제거하고 나머지 폐곡선에 대해 객체를 검출하도록 구성된다.

상기 바람직한 실시예에 따른 시스템에서, 상기 매칭부는: 상기 객체 검출부를 통해 깊이 영상에서 객체를 검출한 후, 상기 스테레오 카메라에서 획득된 우측 및 좌측 영상의 모든 객체에 대해 세로로 세그먼테이션을 나눈 후 히스토그램을 구하도록 그리고 상기 우측 영상에서 각 객체의 히스토그램과 가장 연관성이 높은 상기 좌측 영상에서의 객체의 히스토그램을 찾으면 객체가 매칭된다고 보아 매칭되는 동일한 객체를 검출하도록 구성된다.

한편, 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 방법은, 스테레오 카메라 영상으로부터, 깊이 영상을 구하여 배경을 제거하는 단계, 배경이 제거된 깊이 영상에서 같은 디스패리티를 갖는 윤곽을 구하여 객체를 검출하는 단계 및 구해진 윤곽에 대한 바운딩 박스를 원본 영상에 그린 후, 바운딩 박스 내의 부분 영상의 히스토그램을 비교하여 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 단계를 포함한다.

상기 바람직한 실시예에 따른 방법에서, 상기 배경을 제거하는 단계는 카메라로부터 객체가 멀수록 증가하는 상기 깊이 영상의 깊이 값에 대해 일정 문턱 값보다 큰 값을 갖는 경우 배경으로 판단하여 상기 깊이 영상에서 배경을 제거하는 단계를 포함한다.

상기 바람직한 실시예에 따른 방법에서, 상기 배경을 제거하는 단계는 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(SAD)을 이용하여 상기 깊이 영상을 구하는 단계를 더 포함한다.

상기 배경을 제거하는 단계는: 상기 스테레오 카메라에서 획득된 양안 영상의 y축 상에서 x축 방향으로 한 픽셀씩 이동하면서

를 이용하여 SAD를 구하는 단계, 상기 스테레오 카메라에서 획득된 양안 영상 중 우측 영상을 기준 영상으로, 좌측 영상에서 탐색 범위 값을 증가시키면서 윈도우 마스크를 시프팅하면서 상기 SAD가 최소가 되는 탐색 범위 값을 찾는 단계 및 결정된 상기 탐색 범위 값을 상기 양안 영상에서 찾은 부분 영상의 디스패리티 값으로 하여 상기 디스패리티 값을 (x, y) 좌표의 픽셀 명암 값으로 변환하여 깊이 영상으로 표현하는 단계를 더 포함한다.

상기 바람직한 실시예에 따른 방법에서, 상기 객체를 검출하는 단계는: 배경이 제거된 깊이 영상에 대해 모폴로지 연산을 통해 이미지에 대한 보상을 하는 단계, 캐니 에지 알고리즘을 이용하여 에지를 검출하는 단계, 검출된 에지를 대상으로 폐곡선을 찾아 윤곽들을 검출하는 단계 및 검출된 윤곽들의 크기가 지정된 최대 크기 이상인 폐곡선과 최소 크기 이하인 폐곡선을 제거하고 나머지 폐곡선에 대해 객체를 검출하는 단계를 포함한다.

상기 바람직한 실시예에 따른 방법에서, 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 단계는: 상기 객체를 검출하는 단계를 통해 깊이 영상에서 객체를 검출한 후, 상기 스테레오 카메라에서 획득된 우측 및 좌측 영상의 모든 객체에 대해 세로로 세그먼테이션을 나눈 후 히스토그램을 구하는 단계 및 상기 우측 영상에서 각 객체의 히스토그램과 가장 연관성이 높은 상기 좌측 영상에서의 객체의 히스토그램을 찾으면 객체가 매칭된다고 보는 단계를 포함한다.

상술한 바와 같이, 본 발명에 의한 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법은 스테레오 카메라의 양안 영상을 이용하여 깊이 정보가 유사한 윤곽선을 찾아서 객체들을 검출하여 높은 성공률을 보장할 수 있다.

또한, 본 발명에 의한 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법의 결과로서 검출되고 매칭된 객체들을 활용하여 매칭된 객체의 디스패리티를 스테레오 카메라로부터의 거리로 환산하여 자율주행차에서 도로상의 객체까지의 거리 측정 기술로 활용할 수 있다. 그리고, 딥 러닝 기반의 영상 인식에 활용하여, 인식할 객체의 윤곽을 배경 및 타 객체로부터 분리하여 높은 인식율을 획득하는 기술로 이용할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템의 전체적인 구성을 개략적으로 나타낸다.
도 2는 본 발명의 바람직한 실시예에 따라 배경 제거부가 스테레오 비전을 이용하여 깊이 영상을 얻는 과정을 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따라 매칭부가 스테레오 카메라에서 획득된 두 개의 양안 영상에서 동일한 객체를 매칭하는 과정을 나타낸다.
도 4는 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 방법의 전체적인 과정을 개략적으로 나타낸다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

이하 본 발명의 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템의 전체적인 구성을 개략적으로 나타낸다.

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 객체 검출 및 매칭 시스템은 배경 제거부(110), 객체 검출부(120) 및 매칭부(130)를 포함하여 구성되어, 스테레오 카메라에서 획득된 양안 영상에서 객체를 검출 및 매칭한다.

배경 제거부(110)는 스테레오 카메라에서 획득된 스테레오 이미지에서 스테레오 비전을 이용하여 깊이 영상(depth image)을 얻고 깊이 영상을 이용하여 배경을 제거한다. 구체적으로, 배경 제거부(110)는 카메라로부터 객체가 멀수록 증가하는 깊이 영상의 깊이 값에 대해 일정 문턱 값보다 큰 값을 갖는 경우 배경으로 판단하여 깊이 영상에서 배경을 제거한다. 특히, 본 발명에서는 깊이 영상을 구하기 위해 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(Sum of Absolute Differences: SAD)을 이용한다.

보다 구체적으로, 본 발명의 바람직한 실시예에 따라 배경 제거부(110)가 스테레오 비전을 이용하여 깊이 영상을 얻는 과정을 나타내는 도 2를 참조하여, 먼저 캘리브레이션이 되어있는 스테레오 이미지의 특성상 높이는 같고 좌우 위치에 대해 차이가 존재하므로, 이를 이용하여 같은 y축 상에서 x축 방향으로 한 픽셀씩 이동하면서 아래 수학식 1을 이용하여 절대 값 차이의 합(SAD)을 구한다. 우측 영상을 기준 영상으로 이용하며, 좌측 영상에서 w × w 크기의 윈도우를 마스크로 SAD를 계산한다. 좌측 영상의 d 값을 증가시키면서 마스크를 시프팅하면서 SAD가 최소가 되는 d를 찾는다. SAD가 최소가 되는 지점의 좌측 영상의 윈도우의 부분 영상이 우측 영상의 윈도우에 해당되는 것으로 판단한다. 이와 같이 결정된 d 값을 양측 영상에서 찾은 부분 영상의 디스패리티로 저장한다.

여기서, R은 우측 영상, L은 좌측 영상을 뜻하고, x는 x축 좌표 값, y는 y축 좌표 값, d는 탐색 범위를 뜻한다.

다음으로, SAD를 최소로 하는 디스패리티 값을 아래 표 1과 같이 각 x, y 좌표의 픽셀 명암 값을 변환하여 깊이 영상으로 표현한다. 객체가 카메라로부터 멀어지면 멀어질수록 양쪽 영상에서의 디스패리티가 작아진다는 것을 이용하여, 디스패리티 값이 일정 임계값 보다 작을 경우 명암 값을 0으로 지정하였고, 이로부터 배경을 제거한 깊이 영상을 얻을 수 있다.

디스패리티에 따른 명암도 지정의 예

디스패리티 값	(x, y) 좌표의 픽셀 명암 값
0 ≤ d ≤ 12	0
12 ≤ d ≤ 15	55
15 ≤ d ≤ 18	80
18 ≤ d ≤ 21	100
21 ≤ d ≤ 24	120
24 ≤ d ≤ 27	140
27 ≤ d ≤ 30	160
30 ≤ d ≤ 33	180
33 ≤ d ≤ 36	200
36 ≤ d ≤ 39	220
39 ≤ d ≤ 42	240
42 〈 d	255

객체 검출부(120)는 배경 제거부(110)에서 배경이 제거된 깊이 영상에서 같은 깊이 값을 또는 같은 디스패리티 값을 갖는 영역에 대해 윤곽을 구하여 객체를 검출한다.

보다 구체적으로, 본 발명의 바람직한 실시예에 따라 객체 검출부(120)가 배경이 제거된 깊이 영상을 이용하여 객체를 검출하는 과정을 나타내면, 먼저 배경 제거부(110)에서 배경이 제거된 깊이 영상에 대해 모폴로지(morphology) 연산을 통해 이미지에 대한 보상을 해준다. 그 후, 캐니 에지(canny edge) 알고리즘 등을 이용하여 에지를 검출하고, 검출된 에지를 대상으로 폐곡선을 찾아 윤곽들을 검출한다. 윤곽의 크기가 지정된 최대 크기 이상인 폐곡선과 최소 크기 이하인 폐곡선을 제거하고 나머지 폐곡선에 대해 객체를 검출한다.

매칭부(130)는 원본 영상에 객체 검출부(120)에서 구해진 윤곽에 대한 바운딩 박스(bounding box)에 그린 후, 바운딩 박스 내 부분 영상의 히스토그램(histogram)을 비교하여 스테레오 카메라에서 획득된 두 개의 양안 영상에서 매칭되는 객체를 검출한다.

보다 구체적으로, 본 발명의 바람직한 실시예에 따라 매칭부(130)가 스테레오 카메라에서 획득된 두 개의 양안 영상에서 동일한 객체를 매칭하는 과정을 나타내는 도 3을 참조하면, 객체 검출부(120)를 통해 깊이 영상에서 객체를 검출한 후, 매칭부(130)가 우측 및 좌측 이미지의 모든 객체에 대해 도 3과 같이 세로로 S개의 수평 세그먼테이션으로 나눈 후 히스토그램을 구한다. 이 후, 우측 이미지에서 각 객체의 히스토그램과 가장 연관성이 높은 좌측 객체의 히스토그램을 찾으면 객체가 매칭된다고 본다.

스테레오 카메라의 양안 영상에서 객체를 검출하고 각각의 두 개의 객체가 같은 객체로 매칭하는 기법은 매우 어려운 기법이다. 이는 양측의 영상에서 다른 객체에 가려서 폐색되어 있는 객체들의 경우 양측 영상에서 검출된 객체의 형태가 크게 다르게 보이는 경우가 빈번하며 이러한 객체의 경우 높은 매칭 성공률을 달성하는 것은 매우 어려운 것으로 알려져 있다.

일반적인 단안 영상의 경우는 각각의 객체를 배경 또는 다른 객체들로 분리하는 이미지 분리 작업 자체도 성공률이 낮은 어려운 작업으로 알려져 있다. 그러나 본 발명은 스테레오 카메라의 양안 영상을 이용하여 깊이 정보가 유사한 윤곽선을 찾아서 객체들을 검출하여 높은 성공률을 보장한다.

그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 방법에 대해 설명하기로 한다.

도 4는 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 방법의 전체적인 과정을 개략적으로 나타낸다.

도 4를 참조하면, 본 발명의 바람직한 실시예에 따른 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 방법은 스테레오 카메라 영상으로부터, 깊이 영상을 구하여 배경을 제거하는 단계(S410), 배경이 제거된 깊이 영상에서 같은 디스패리티를 갖는 윤곽을 구하여 객체를 검출하는 단계(S420) 및 구해진 윤곽에 대한 바운딩 박스를 원본 영상에 그린 후, 바운딩 박스 내의 부분 영상의 히스토그램을 비교하여 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 객체를 검출하는 단계(S430)를 포함하여, 스테레오 카메라에서 획득된 양안 영상에서 객체를 검출 및 매칭한다.

구체적으로, 배경을 제거하는 단계(S410)는 스테레오 카메라에서 획득된 스테레오 이미지에서 스테레오 비전을 이용하여 깊이 영상을 얻고 깊이 영상을 이용하여 배경을 제거한다. 구체적으로, 배경 제거부(110)가 카메라로부터 객체가 멀수록 증가하는 깊이 영상의 깊이 값에 대해 일정 문턱 값보다 큰 값을 갖는 경우 배경으로 판단하여 깊이 영상에서 배경을 제거한다. 특히, 해당 단계에서는 깊이 영상을 구하기 위해 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(SAD)을 이용한다.

보다 구체적으로, 도 2를 참조하면, 먼저 캘리브레이션이 되어있는 스테레오 이미지의 특성상 높이는 같고 좌우 위치에 대해 차이가 존재하므로, 이를 이용하여 같은 y축 상에서 x축 방향으로 한 픽셀씩 이동하면서 상기한 수학식 1을 이용하여 절대 값 차이의 합(SAD)을 구한다. 우측 영상을 기준 영상으로 이용하며, 좌측 영상에서 w × w 크기의 윈도우를 마스크로 SAD를 계산한다. 좌측 영상의 d 값을 증가시키면서 마스크를 시프팅하면서 SAD가 최소가 되는 d를 찾는다. SAD가 최소가 되는 지점의 좌측 영상의 윈도우의 부분 영상이 우측 영상의 윈도우에 해당되는 것으로 판단한다. 이와 같이 결정된 d 값을 양측 영상에서 찾은 부분 영상의 디스패리티로 저장한다.

다음으로, SAD를 최소로 하는 디스패리티 값을 상기한 표 1과 같이 각 x, y 좌표의 픽셀 명암 값을 변환하여 깊이 영상으로 표현한다. 객체가 카메라로부터 멀어지면 멀어질수록 양쪽 영상에서의 디스패리티가 작아진다는 것을 이용하여, 디스패리티 값이 일정 임계값 보다 작을 경우 명암 값을 0으로 지정하였고, 이로부터 배경을 제거한 깊이 영상을 얻을 수 있다.

그 다음, 객체를 검출하는 단계(S420)는 배경을 제거하는 단계(S410)에서 배경이 제거된 깊이 영상에서 같은 깊이 값을 또는 같은 디스패리티 값을 갖는 영역에 대해 윤곽을 구하여 객체를 검출한다.

보다 구체적으로, 단계 S420에서는 객체 검출부(120)가 먼저 배경 제거부(110)에서 배경이 제거된 깊이 영상에 대해 모폴로지 연산을 통해 이미지에 대한 보상을 해준다. 그 후, 캐니 에지 알고리즘 등을 이용하여 에지를 검출하고, 검출된 에지를 대상으로 폐곡선을 찾아 윤곽들을 검출한다. 윤곽의 크기가 지정된 최대 크기 이상인 폐곡선과 최소 크기 이하인 폐곡선을 제거하고 나머지 폐곡선에 대해 객체를 검출한다.

마지막으로, 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 객체를 검출하는 단계(S430)는 스테레오 카메라의 좌측 및 우측 영상에 대해 배경을 제거하는 단계(S410) 및 객체를 검출하는 단계(S420)를 통해 각각의 검출된 객체라고 판단되는 윤곽을 구하고 원본 영상에 객체 검출부(120)에서 구해진 윤곽에 대한 바운딩 박스(bounding box)에 그린 후, 바운딩 박스 내 부분 영상의 히스토그램(histogram)을 비교하여 스테레오 카메라에서 획득된 두 개의 양안 영상에서 매칭되는 동일한 객체를 검출한다.

보다 구체적으로, 도 3을 참조하면, 스테레오 카메라의 좌측 및 우측 영상에 대해 배경을 제거하는 단계(S410) 및 객체를 검출하는 단계(S420)를 통해 깊이 영상에서 객체를 검출한 후, 매칭부(130)가 우측 및 좌측 이미지의 모든 객체에 대해 도 3과 같이 세로로 S개의 수평 세그먼테이션으로 나눈 후 히스토그램을 구한다. 이 후, 우측 이미지에서 각 객체의 히스토그램과 가장 연관성이 높은 좌측 객체의 히스토그램을 찾으면 객체가 매칭된다고 본다.

살펴본 바와 같이, 본 발명은 스테레오 카메라의 양안 영상을 이용하여 깊이 정보가 유사한 윤곽선을 찾아서 객체들을 검출하여 높은 성공률을 보장한다.

이상에서 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

110 : 배경 제거부
120 : 객체 검출부
130 : 매칭부
S410 : 배경을 제거하는 단계
S420 : 객체를 검출하는 단계
S430 : 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 객체를 검출하는 단계

Claims

스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템으로서,
스테레오 카메라 영상으로부터, 깊이 영상(depth image)을 구하여 배경을 제거하는 배경 제거부;
배경이 제거된 깊이 영상에서 같은 디스패리티(disparity)를 갖는 윤곽을 구하여 객체를 검출하는 객체 검출부; 및
구해진 상기 윤곽에 대한 바운딩 박스(bounding box)를 원본 영상에 그린 후, 바운딩 박스 내의 부분 영상의 히스토그램(histogram)을 비교하여 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 매칭부;를 포함하고,
상기 배경 제거부는 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(Sum of Absolute Differences: SAD)을 이용하여 상기 깊이 영상을 구하며,
상기 배경 제거부는:
상기 스테레오 카메라에서 획득된 양안 영상의 y축 상에서 x축 방향으로 한 픽셀씩 이동하면서
(여기서, R은 우측 영상, L은 좌측 영상, x는 x축 좌표 값, y는 y축 좌표 값, d는 탐색 범위를 의미함)를 이용하여 SAD를 구하고
상기 스테레오 카메라에서 획득된 양안 영상 중 우측 영상을 기준 영상으로, 좌측 영상에서 탐색 범위 값을 증가시키면서 윈도우 마스크를 시프팅하면서 상기 SAD가 최소가 되는 탐색 범위 값을 찾으며,
결정된 상기 탐색 범위 값을 상기 양안 영상에서 찾은 부분 영상의 디스패리티 값으로 하여 상기 디스패리티 값을 (x, y) 좌표의 픽셀 명암 값으로 변환하여 깊이 영상으로 표현하도록 구성되는 것을 특징으로 하는 시스템.
청구항 1에서,
상기 배경 제거부는 카메라로부터 객체가 멀수록 증가하는 상기 깊이 영상의 깊이 값에 대해 일정 문턱 값보다 큰 값을 갖는 경우 배경으로 판단하여 상기 깊이 영상에서 배경을 제거하는, 시스템.
삭제
삭제
청구항 1에서,
상기 객체 검출부는:
배경이 제거된 깊이 영상에 대해 모폴로지(morphology) 연산을 통해 이미지에 대한 보상을 하도록,
캐니 에지(canny edge) 알고리즘을 이용하여 에지를 검출하도록,
검출된 에지를 대상으로 폐곡선을 찾아 윤곽들을 검출하도록 그리고
검출된 윤곽들의 크기가 지정된 최대 크기 이상인 폐곡선과 최소 크기 이하인 폐곡선을 제거하고 나머지 폐곡선에 대해 객체를 검출하도록 구성되는, 시스템.
청구항 1에서,
상기 매칭부는:
상기 객체 검출부를 통해 깊이 영상에서 객체를 검출한 후, 상기 스테레오 카메라에서 획득된 우측 및 좌측 영상의 모든 객체에 대해 세로로 세그먼테이션을 나눈 후 히스토그램을 구하도록 그리고
상기 우측 영상에서 각 객체의 히스토그램과 가장 연관성이 높은 상기 좌측 영상에서의 객체의 히스토그램을 찾으면 객체가 매칭된다고 보아 매칭되는 동일한 객체를 검출하도록 구성되는, 시스템.
스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 방법으로서,
스테레오 카메라 영상으로부터, 깊이 영상을 구하여 배경을 제거하는 단계;
배경이 제거된 깊이 영상에서 같은 디스패리티를 갖는 윤곽을 구하여 객체를 검출하는 단계; 및
구해진 윤곽에 대한 바운딩 박스를 원본 영상에 그린 후, 바운딩 박스 내의 부분 영상의 히스토그램을 비교하여 스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 단계;를 포함하고,
상기 배경을 제거하는 단계는 이동 윈도우 기반의 방법을 사용한 절대 값 차이의 합(SAD)을 이용하여 상기 깊이 영상을 구하는 단계를 더 포함하며,
상기 배경을 제거하는 단계는:
상기 스테레오 카메라에서 획득된 양안 영상의 y축 상에서 x축 방향으로 한 픽셀씩 이동하면서
(여기서, R은 우측 영상, L은 좌측 영상, x는 x축 좌표 값, y는 y축 좌표 값, d는 탐색 범위를 의미함)를 이용하여 SAD를 구하는 단계;
상기 스테레오 카메라에서 획득된 양안 영상 중 우측 영상을 기준 영상으로, 좌측 영상에서 탐색 범위 값을 증가시키면서 윈도우 마스크를 시프팅하면서 상기 SAD가 최소가 되는 탐색 범위 값을 찾는 단계; 및
결정된 상기 탐색 범위 값을 상기 양안 영상에서 찾은 부분 영상의 디스패리티 값으로 하여 상기 디스패리티 값을 (x, y) 좌표의 픽셀 명암 값으로 변환하여 깊이 영상으로 표현하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
청구항 7에서,
상기 배경을 제거하는 단계는 카메라로부터 객체가 멀수록 증가하는 상기 깊이 영상의 깊이 값에 대해 일정 문턱 값보다 큰 값을 갖는 경우 배경으로 판단하여 상기 깊이 영상에서 배경을 제거하는 단계를 포함하는, 방법.
삭제
삭제
청구항 7에서,
상기 객체를 검출하는 단계는:
배경이 제거된 깊이 영상에 대해 모폴로지 연산을 통해 이미지에 대한 보상을 하는 단계,
캐니 에지 알고리즘을 이용하여 에지를 검출하는 단계,
검출된 에지를 대상으로 폐곡선을 찾아 윤곽들을 검출하는 단계 및
검출된 윤곽들의 크기가 지정된 최대 크기 이상인 폐곡선과 최소 크기 이하인 폐곡선을 제거하고 나머지 폐곡선에 대해 객체를 검출하는 단계를 포함하는, 방법.
청구항 7에서,
스테레오 카메라에서 획득된 양안 영상에서 매칭되는 동일한 객체를 검출하는 단계는:
상기 객체를 검출하는 단계를 통해 깊이 영상에서 객체를 검출한 후, 상기 스테레오 카메라에서 획득된 우측 및 좌측 영상의 모든 객체에 대해 세로로 세그먼테이션을 나눈 후 히스토그램을 구하는 단계 및
상기 우측 영상에서 각 객체의 히스토그램과 가장 연관성이 높은 상기 좌측 영상에서의 객체의 히스토그램을 찾으면 객체가 매칭된다고 보는 단계를 포함하는, 방법.