KR101763376B1

KR101763376B1 - 신뢰 기반 재귀적 깊이 영상 필터링 방법

Info

Publication number: KR101763376B1
Application number: KR1020160029534A
Authority: KR
Inventors: 윤국진; 박민규
Original assignee: 광주과학기술원
Priority date: 2016-03-11
Filing date: 2016-03-11
Publication date: 2017-07-31

Abstract

본 발명은 신뢰 기반 재귀적 깊이 영상 필터링 방법에 관한 것으로서, 촬영기기로부터 오브젝트에 대한 깊이 영상을 제공받는 깊이영상 획득단계와, 상기 획득단계에서 획득된 깊이 영상을 이루는 픽셀들의 신뢰도를 판별하는 신뢰도 판별단계와, 상기 신뢰도 판별단계를 통해 판별된 신뢰도 정보를 토대로 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 필터링 단계를 포함한다.
본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법은 신뢰척도에 따라 깊이 영상의 픽셀에 대한 신뢰도를 판별하고, 상기 신뢰도가 높은 픽셀부터 순차적으로 필터링하므로 필터링된 깊이 영상의 품질이 우수하다는 장점이 있다.

Description

신뢰 기반 재귀적 깊이 영상 필터링 방법{Confidence based recursive filtering method for depth map refinement}

본 발명은 신뢰 기반 재귀적 깊이 영상 필터링 방법에 관한 것으로서, 더욱 상세하게는 신뢰 척도에 따라 깊이 영상의 픽셀에 대한 신뢰도를 판별하고, 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 신뢰 기반 재귀적 깊이 영상 필터링 방법에 관한 것이다.

깊이 영상은 보는 사람과 물체 사이의 공간적인 거리를 그레이 레벨(gray level)로 표현한 데이터로서, 양안 스테레오 영상으로부터 획득된다. 그러나 일반적으로 촬영기기로부터 획득된 깊이 영상은 잡음이 포함되어 있어 잡음을 필터링하기 위해 후처리 기법이 사용되고 있다.

획득된 깊이 영상을 후처리 기법에는 전역 최적화 기법과 잡음 제거 필터 기반의 국소적 접근 방법이 있다. 상기 잡음 제거 필터 기반의 국소적 접근 방법에는 가중치 모드 필터(Weighted mod filter), JBF(Joint Bilateral Filter) 등이 있다.

그러나 기존의 국소적 접근 방법은 필터링 시 가중치의 결정 기준, 필터의 종류 및 필터링 속도 향상에 초점이 맞춰져 있으며, 필터링되는 깊이 영상의 품질 향상에는 한계가 있다.

공개특허공보 제10-2012-0083825호: 깊이 영상 처리 장치 및 방법

본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 신뢰척도에 따라 깊이 영상의 픽셀에 대한 신뢰도를 판별하고, 상기 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 신뢰 기반 재귀적 깊이 영상 필터링 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법은 촬영기기로부터 오브젝트에 대한 깊이 영상을 제공받는 깊이영상 획득단계와, 상기 획득단계에서 획득된 깊이 영상을 이루는 픽셀들의 신뢰도를 판별하는 신뢰도 판별단계와, 상기 신뢰도 판별단계를 통해 판별된 신뢰도 정보를 토대로 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 필터링 단계를 포함한다.

상기 신뢰도 판별단계는 상기 영상 획득단계 이후에, 상기 깊이 영상을 이루는 픽셀들에 대한 신뢰도를 판별하기 위한 신뢰 척도를 설정하는 척도 설정단계와, 상기 척도 설정단계를 통해 획득된 상기 신뢰 척도에 따라 상기 깊이 영상의 픽셀들의 신뢰도를 판별하는 신뢰 설정단계를 포함하는 것이 바람직하다.

상기 척도 설정단계에서, MSER(Maximally Stable Extremal Region)에 의해 추출된 윤곽(Contour) 영역을 상기 신뢰 척도로 설정하고, 상기 신뢰 설정단계에서, 상기 신뢰 척도로 설정된 상기 윤곽으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별한다.

상기 척도 설정단계는 상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와, 상기 컬러 영상 획득단계를 통해 획득한 상기 컬러 영상의 경계선을 검출하여 상기 컬러 영상의 경계선을 상기 신뢰 척도로 설정하는 에지 설정단계를 포함한다.

상기 에지 설정단계는 상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와, 상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계와, 상기 병합단계 이후, 상기 이진 맵을 토대로 상기 신뢰 척도로 설정하는 엣지 척도 설정단계를 포함하는 것이 바람직하다.

상기 엣지 척도 설정단계는 상기 병합단계를 통해 획득한 상기 이진 맵을 이루는 픽셀들 중 상호 유사한 색상으로 연결된 픽셀들을 엣지 세그멘트들로 그룹화하는 그룹핑 단계와, 상호 유사한 색상의 픽셀들로 구성되되, 상호 인접된 상기 엣지 세그멘트들을 연결하는 세그멘트 연결단계와, 상기 엣지 세그먼트들을 상기 신뢰 척도로 설정하는 세그멘트 척도 산출단계를 포함할 수도 있다.

상기 신뢰 설정단계에서, 상기 신뢰 척도로 설정된 상기 컬러 영상의 엣지세그멘트에 대응되는 상기 깊이 영상의 기준 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별한다.

상기 척도 설정단계는 상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와, 상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와, 상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계를 포함하고, 상기 신뢰 설정단계는 상기 병합단계를 통해 획득한 상기 이진맵에서 블루 컬러를 갖는 영역에 대응되는 상기 깊이 영상의 기준영역에 인접할수록 신뢰도 낮은 픽셀로 설정할 수도 있다.

상기 척도 설정단계는 MSER(Maximally Stable Extremal Region)에 의해 추출된 윤곽(Contour) 영역을 제1신뢰 척도로 설정하는 제1신뢰척도 설정단계와, 상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하고, 상기 컬러 영상의 경계선을 검출하여 상기 컬러 영상의 경계선 정보를 토대로 제2신뢰 척도로 설정하는 제2신뢰척도 설정단계를 포함한다.

상기 제2신뢰척도 설정단계는 상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와, 상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와, 상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계와, 상기 병합단계 이후, 상기 이진 맵을 토대로 상기 제2신뢰 척도로 설정하는 엣지 척도 설정단계를 포함할 수도 있다.

상기 엣지 척도 설정단계는 상기 병합단계를 통해 획득한 상기 이진 맵을 이루는 픽셀들 중 상호 유사한 색상으로 연결된 픽셀들을 엣지 세그멘트들로 그룹화하는 그룹핑 단계와, 상호 유사한 색상의 픽셀들로 구성되되, 상호 인접된 상기 엣지 세그멘트들을 연결하는 세그멘트 연결단계와, 상기 엣지 세그먼트들을 상기 제2신뢰 척도로 설정하는 세그멘트 척도 산출단계를 포함하는 것이 바람직하다.

상기 엣지 설정단계는 상기 세그멘트 연결단계 및 세그멘트 척도 산출단계 사이에, 상기 엣지 세그멘트 내에 포함된 상기 픽셀의 수가 기설정된 값 이하일 경우, 상기 엣지 세그멘트의 신뢰도가 낮은 것으로 판단하여 상기 엣지 세그멘트를 제거하는 제거단계를 더 포함할 수도 있다.

상기 신뢰 설정단계는 상기 제1신뢰척도 설정단계를 통해 상기 제1신뢰 척도로 설정된 상기 윤곽 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 제1신뢰 산출단계와, 상기 세그멘트 설정단계를 통해 상기 제2신뢰 척도로 설정된 상기 컬러영상의 상기 엣지 세그멘트에 대응되는 상기 깊이 영상의 기준 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 제2신뢰 산출단계를 포함하는 것이 바람직하다.

상기 제2신뢰척도 설정단계는 상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와, 상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와, 상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계를 포함하고, 상기 신뢰 설정단계는 상기 제1신뢰척도 설정단계를 통해 상기 제1신뢰 척도로 설정된 상기 윤곽 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 제1신뢰 산출단계와, 상기 병합단계를 통해 획득한 상기 이진맵에서 블루 컬러를 갖는 영역에 대응되는 상기 깊이 영상의 기준영역에 인접할수록 신뢰도 낮은 픽셀로 설정하는 제2신뢰 산출단계를 포함한다.

상기 필터링 단계는 상기 제1신뢰 산출단계를 통해 획득된 상기 픽셀의 신뢰도 정보에 따라 상기 깊이 영상을 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 제1단계와, 상기 제1단계 이후에, 필터링된 상기 깊이 영상을 상기 제2신뢰 산출단계를 통해 획득된 상기 픽셀의 신뢰도 정보에 따라 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 제2단계를 포함한다.

상기 제1단계 및 제2단계에서, 가중치 중간값 필터(Weighted Median Filter)를 사용하여 상기 깊이 영상을 필터링하는 것이 바람직하다.

본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법은 신뢰척도에 따라 깊이 영상의 픽셀에 대한 신뢰도를 판별하고, 상기 신뢰도가 높은 픽셀부터 순차적으로 필터링하므로 필터링된 깊이 영상의 품질이 우수하다는 장점이 있다.

도 1은 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법에 대한 순서도이고,
도 2는 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법의 척도 설정단계에 대한 순서도이고,
도 3은 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법을 이용해 깊이 영상을 보정하기 위한 오브젝트의 컬러 이미지이고,
도 4는 도 3의 컬러 이미지에 대해 제1신뢰척도가 표시된 이미지이고,
도 5는 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법의 제2신뢰척도 설정단계에 대한 순서도이고,
도 6은 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법의 병합단계에 의해 획득된 도 3의 오브젝트의 컬러 이미지에 대한 이진 맵에 대한 이미지이고,
도 7은 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법과 종래의 후처리 방법의 깊이 영상 보정 결과에 대한 이미지이고,
도 8은 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법과 종래의 후처리 방법에 의해 보정된 깊이 영상에 대한 배드 픽셀 비율을 나타낸 그래프이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1에는 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법에 대한 순서도가 도시되어 있다. 도면을 참조하면, 신뢰 기반 재귀적 깊이 영상 필터링 방법은 깊이영상 획득단계(S100), 신뢰 판별단계(S200) 및 필터링 단계(S300)를 포함한다.

깊이영상 획득단계(S100)는 촬영기기로부터 오브젝트에 대한 깊이 영상을 제공받는 단계이다. 촬영기기는 컬러영상 및 깊이 영상을 획득할 수 있는 카메라 및 깊이 센서가 포함된 키넥트(Kinect)와 같은 기기인 것이 바람직하다.

신뢰 판별단계(S200)는 상기 획득단계에서 획득된 깊이 영상을 이루는 픽셀들의 신뢰도를 판별하는 단계이다. 상기 신뢰 판별단계(S200)는 척도 설정단계(S210) 및 신뢰 설정단계(S220)를 포함한다.

척도 설정단계(S210)는 깊이영상 획득단계(S100) 이후에, 깊이 영상을 이루는 픽셀들에 대한 신뢰도를 판별하기 위한 신뢰 척도를 설정하는 단계로서, 도 2를 참조하면, 제1신뢰척도 설정단계(S211) 및 제2신뢰척도 설정단계(S212)를 포함한다.

제1신뢰척도 설정단계(S211)는 MSER(Maximally Stable Extremal Region)에 의해 추출된 윤곽(Contour) 영역을 제1신뢰 척도로 설정하는 단계이다. 상기 MSER 기법은 극대영역(Extremal Region)으로 불리는 구분 영역(Distinguished region)을 지정한다. 여기서, 구분 영역은 연속적인 닫힌 영역(Close region)이다. 구분 영역이 국부적 최소값(local minimum)을 가지면, 상기 구분 영역은 최대로 안정적이되어, 상기 구분영역을 MSER으로 될 수 있다. 따라서, 상기의 MSER 기법에 의해 추출되는 닫힌 영역(Closed region)의 윤곽선을 추출할 수 있고, 상기 윤곽선을 제1신뢰척도로 설정한다. MSER 기법에 대하여는 'J. Matas, O. Chun, M. Urban, T. Pajdla, "Robust Wide Baseline Stereo from Maximally Stable Extremal Regions," British Machine Vision Conference, BMVC 2002'에 자세히 개시되어 있다. 한편, 제1신뢰척도 설정과정을 보다 상세히 설명하면 다음과 같다. 이러한, 제1신뢰척도는 스테레오 매칭의 기본 가정에 의해 신뢰할 수 없는 시차값이 깊이 영상에서의 고립된 지역(isolated region)에서 생성된다는 데에 기초한다.

도 4에는 도 3의 입력 이미지에 대한 MSER에 의해 추출된 윤곽(Contour) 영역이 표시된 깊이영상이 도시되어 있다.

제2신뢰척도 설정단계(S212)는 상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하고, 컬러 영상의 경계선을 검출하여 상기 컬러 영상의 경계선 정보를 토대로 제2신뢰 척도를 설정하는 단계이다. 상기 제2신뢰척도 설정단계(S212)는 도 5를 참조하면, 컬러 영상 획득단계(S231), 경계선 이미지 획득단계(S232), 병합단계(S233) 및 엣지 척도 설정단계(S234)을 포함한다.

컬러 영상 획득단계(S231)는 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 단계이다.

경계선 이미지 획득단계(S232)는 컬러 영상 획득단계(S231)를 통해 획득한 컬러 영상을 통해 경계선 이미지를 획득하는 단계이다. 이때, 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득한다. 상기 엣지 검출기는 캐니 엣지 검출기(Canny edge detector)로서, 종래에 일반적으로 사용되는 검출기이므로 상세한 설명은 생략한다.

병합단계(S233)는 경계선 이미지 획득단계(S232)를 통해 획득된 3개의 이진 경계선 이미지를 하나의 이진 맵(binary map)으로 병합하는 단계이다. 도 6에는 도 2의 입력 이미지의 이진 경계선 이미지가 병합된 이진 맵이 도시되어 있다.

엣지 척도 설정단계(S234)는 병합단계(S233) 이후, 상기 이진 맵을 토대로 상기 제2신뢰척도를 설정하는 단계이다. 상기 엣지 척도 설정단계(S234)는 그룹핑 단계, 세그멘트 연결단계, 제거단계 및 세그멘트 척도 산출단계를 포함한다.

그룹핑 단계는 병합단계(S233)를 통해 획득한 이진 맵을 이루는 픽셀들 중 상호 유사한 색상으로 연결된 픽셀들을 엣지 세그멘트로 그룹화하는 단계이다. 이진 맵을 이루는 픽셀들에 따라서 다수의 엣지 세그멘트가 생성될 수 있다.

세그멘트 연결단계는 상호 유사한 색상의 픽셀들로 구성되되, 상호 인접된 엣지 세그멘트들을 연결하는 단계이다. 이때, 엣지 세그멘트들 사이의 거리가 5픽셀이면 상호 인접된 것으로 판단하여 상기 엣지 세그멘트들을 연결하는 것이 바람직하다.

제거단계는 세그멘트 연결단계 이후에, 상기 엣지 세그멘트 내에 포함된 상기 픽셀의 수가 기설정된 값 이하일 경우, 상기 엣지 세그멘트의 신뢰도가 낮은 것으로 판단하여 상기 엣지 세그멘트를 제거하는 단계이다.

세그멘트 척도 산출단계는 제거단계 이후에, 상기 이진 맵에 생성된 엣지 세그멘트를 상기 제2신뢰척도로 설정하는 단계이다.

한편, 상술된 척도 설정단계(S210)는 MSER 기법을 이용한 제1신뢰척도 설정단계(S211)와, 컬러 영상의 경계선 이미지를 이용한 제2신뢰척도 설정단계(S212)가 포함되는 것으로 설명하였으나, 상기 척도 설정단계는 제1신뢰척도 설정단계(S211) 또는 제2신뢰척도 설정단계(S212) 중 어느 하나만 사용될 수도 있다.

신뢰 설정단계(S220)는 척도 설정단계를 통해 획득된 신뢰 척도에 따라 상기 깊이 영상의 픽셀들의 신뢰도를 판별하는 단계로서, 제1신뢰 산출단계(S221) 및 제2신뢰 산출단계(S222)를 포함한다.

제1신뢰 산출단계(S221)는 상기 제1신뢰척도 설정단계(S211)를 통해 상기 제1신뢰 척도로 설정된 상기 윤곽 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 단계이다. 제1신뢰 산출단계(S221)를 보다 상세히 설명하면 다음과 같다.

제1신뢰척도는 스테레오 매칭의 기본 가정에 의해 신뢰할 수 없는 시차값이 깊이 영상에서의 고립된 지역(isolated region)에서 생성된다는 데에 기초한다. 이 지역을 캡체하기 위해 입력된 깊이 영상으로부터 최대 또는 최소 안정적 극값 지역(MSER)들의 집합

을 검출한다. 각, 최대 또는 최소 안정적 극값지역(MSER)

는

에서의 픽셀의 인덱스도 포함한다. 다음, 하기의 수학식 1과 같이 다수의 MSER을 병합한다.

여기서, j는 임의의 픽셀i의 주변 픽셀이고,

은

의 윤곽을 나타낸다. 여기서,

에 포함된 픽셀들은

에 포함되지는 않는다. 따라서, 최대 극단적인 경우,

가

와

을 대행한다. 다음, 하기의 수학식 2에 따라 MSER들에 포함된 픽셀들의 신뢰도를 계산한다.

여기서,

는 이미지 좌표에서 두 픽셀(i,j) 사이의 유클리드 거리(Euclidean distance)이고, 픽셀의 신뢰도는

의 윤곽으로부터 픽셀까지의 최단거리에 의해 결정된다. 즉, 상기 신뢰값은

의 윤곽으로부터 거리가 증가함에 따라 감소한다. 이때, 효과적인

의 윤곽으로부터 픽셀까지의 최단거리를 계산하기 위해 챔버 거리 변환(Chamber distance transform)을 사용할 수 있다.

제2신뢰 산출단계(S222)는 세그멘트 설정단계를 통해 상기 제2신뢰 척도로 설정된 상기 컬러영상의 상기 엣지 세그멘트에 대응되는 상기 깊이 영상의 기준 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 단계이다. 제2신뢰 산출단계(S222)를 보다 상세하게 설명하면 다음과 같다.

여기서, MSER 기반 신뢰와 유사하게 엣지 세그멘트에 대응되는 깊이 영상의 기준영역과의 거리로 픽셀의 신뢰도를 결정한다. 픽셀의 신뢰도는 하기의 수학식3에 의해 정의된다.

여기서, S는 엣지 세그멘트의 집합(

)이다. 이때, 픽셀 사이의 거리는 챔버 거리 변환(Chamber distance transform)에 의해 계산된다. 도 6에 도시된 화살표는 상기 수학식 3에 의해 픽셀의 신뢰도를 나타내는 것으로서, 신뢰도가 높은 픽셀에서 낮은 픽셀로 방향을 가리킨다. 상기 도 6에 도시된 바와 같이 이진 맵에서 파란색에 가까울수록 신뢰도가 낮게 판별되며, 붉은 색 영역은 신뢰도가 비교적 높게 나타난다. 따라서, 제2신뢰 산출단계(S222)에서, 상기 병합단계(S233)를 통해 획득한 상기 이진맵에서 블루 컬러를 갖는 영역에 대응되는 상기 깊이 영상의 기준영역에 인접할수록 신뢰도 낮은 픽셀로 설정할 수도 있다.

한편, 상술된 바에 의하면 신뢰 설정단계(S220)는 제1신뢰 척도에 따라 신뢰도를 판별하는 제1신뢰 산출단계(S221) 및 제2신뢰 척도에 따라 신뢰도를 판별하는 제2신뢰 산출단계(S222)를 포함하는 것으로 설명하였으나, 상기 신뢰 설정단계(S220)는 이에 한정하는 것이 아니라 척도설정단계에서 제1신뢰척도 설정단계(S211)만 사용될 경우, 제1신뢰 산출단계(S221)만 포함하고, 척도설정단계에서 제2신뢰척도 설정단계(S212)만 사용될 경우, 제2신뢰 산출단계(S222)만을 포함하는 것이 바람직하다.

필터링 단계(S300)는 신뢰도 판별단계를 통해 획득된 상기 깊이 영상의 픽셀들의 신뢰도 정보를 토대로 상기 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 단계이다. 상기 필터링 단계(S300)는 제1단계 및 제2단계를 포함한다.

제1단계는 상기 제1신뢰 산출단계(S221)를 통해 획득된 상기 픽셀의 신뢰도 정보에 따라 상기 깊이 영상을 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 단계이다. 이때, 가중치 중간값 필터(Weighted Median Filter)를 사용하여 상기 깊이 영상을 필터링하는 것이 바람직하다. 깊이영상의 필터링 과정을 보다 상세히 설명하면 다음과 같다.

가중치 중간값 필터는 깊이 영상의 각 픽셀에 대한 시차 값(disparity value)의 가중치 중간값을 하기의 수학식 4을 통해 계산할 수 있다.

여기서, j는 임의의 픽셀i의 주변 픽셀이고, N은 주변 시스템(neighborhood system), D는 모든 가능한 시차 값의 집합이고, w_i,j는 두 픽셀i,j 사이의 논-네가티브(non-negative) 가중치이다. 다음, 상기 수학식 4는 재귀적 형태의 수학식 5로 변형될 수 있다.

필터링 결과(

)는 추가적으로

의 값에 비례하여

를 계산하는데 사용된다. 여기서, 임의의 공간 필터는 재귀형태로 변형될 수 있다. 게다가. 재귀적 필터의 성능은 재귀 순서와

의 값에 의존한다. 본 발명과 같이 신도척도가 결정되며, 상기 재귀적 필터 방식은 잘못된 시차값이 비안정적 픽셀 전에 안정적 픽셀이 필터링될 수 있기 때문에 기존의 안정적 픽셀에 영향을 주지 않는다. 또한, 상기 재귀적 필터방식에 의해 높은 노이즈 깊이 영상은 싱글 필터링 과정을 통해 보다 효과적으로 수정될 수 있다.

필터링 과정을 보다 상세하게 설명하면, 처음에는

는 결과 y을 필터링하는 픽셀이 없기 때문에 모든 픽셀에서 0으로 설정된다. 이때, 가장 신뢰도가 높은 픽셀(예를 들어, p번재 픽셀)의 시차 값을 수정하고, 0에서 1까지

의 값을 변경한다. 다음, 두번째로 신뢰도가 높은 픽셀(예를 들어, q번째 픽셀)을 수정하고,

의 값을 1로 변경한다. 상술된 과정은 신뢰도가 높은 픽셀에서 낮은 픽셀로, 순차적으로 모든 픽셀이 수정될 때까지 반복된다. 이때, 중간값 필터의 비선형 특성 때문에 실제 값 대신에 이진법의 값이 되도록

의 값을 제한한다.

더욱이 가중치 w_i,j는 입력된 깊이 영상을 평활화(smoothing)하는 동안의 구조와 같은 에지(edge)를 보존하기 위해 신중하게 모델링된다. 이때, 가중치를 계산하기 위해 종래에 사용되는 하기의 수학식 6을 이용한다.

여기서, 첫번째 항은 픽셀들 사이의 컬러 차이를 계산하고, 두번째 항은 이미지 좌표 차이를 산출한다. 상기 두 항은

와

가 제어 매개 변수인 가우스 함수(Gaussian functions)에 의해 정의된다.

제2단계는 제1단계 이후에, 필터링된 상기 깊이 영상을 상기 제2신뢰 산출단계(S222)를 통해 획득된 상기 픽셀의 신뢰도 정보에 따라 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 단계이다. 이때, 작업자는 제1단계와 동일하게 가중치 중간값 필터(Weighted Median Filter)를 사용하여 상기 깊이 영상을 필터링하는 것이 바람직하다.

한편, 상술된 바에 의하면 필터링 단계(S300)는 제1신뢰 산출단계(S221)를 통해 획득한 신뢰도 정보에 따라 필터링하는 제1단계 및 제2신뢰 산출단계(S222)를 통해 획독한 신뢰도 정보에 따라 필터링하는 제2단계를 포함하는 것으로 설명하였으나, 상기 필터링 단계(S300)는 이에 한정하는 것이 아니라 척도설정단계에서 제1신뢰척도 설정단계(S211)만 사용될 경우, 제1단계만 포함하고, 척도설정단계에서 제2신뢰척도 설정단계(S212)만 사용될 경우, 제2단계만을 포함하는 것이 바람직하다.

도 7에는 다양한 촬영 영상에 대한 종래의 깊이 영상 후처리 방법과 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법에 따른 결과물이 도시되어 있다. 도 5에서, 가장 왼쪽에는 실제 오브젝트를 촬영한 컬러 영상들이 상하방향으로 배열되어 있고, 실제 영상의 왼쪽에는 각 컬러 영상들을 실측한 영상이 배열되어 있다. 또한, 실측한 영상의 왼쪽에는 각 컬러 영상들에 대한 초기 깊이 영상이 배열되어 있고, 초기 깊이 영상 왼쪽에는 기존의 WMF만 사용하여 후처리한 영상이 배열되어 있으면, 가장 오른쪽에는 각 컬러 영상들에 대한 본 발명에 따라 필터링된 깊이 영상이 배열되어 있다. 도면을 참조하면, 본 발명에 따라 필터링된 깊이 영상이 종래의 후처리 방법에 의해 필터링된 깊이 영상보다 매끄럽고, 신뢰도가 높다는 것을 알 수 있다.

한편, 하기의 표1 및 표2에는 상기 도면에 포함된 사물에 대한 종래의 깊이 영상 후처리 방법과 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법에 대한 성능 비교 값이 기재되어 있다. 표 1,2에는 깊이 영상 중 베드 픽셀의 비율 값이 기재되어 있고, 단위는 %이다.

여기서, Dataset은 도면에 표시된 실제 사물이고, Avg.는 평균값을 의미한다. Initial은 초기 깊이 영상이고, Proposed는 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법이고, WMF는 Weighted Median Filter이고, WDF는 Weighted Mode Filter이고, JBF는 Joint Bilateral Filter이고, PWAS는 Pixel-Wise Average Strategy이고, MRF는 MRF 기반 후처리 방법이다.

상기 표 1 및 표 2에 기재된 바와 같이 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법이 종래의 깊이 영상 필터링 방법에 비해 배드 픽셀의 비율이 낮으므로 후처리 성능이 보다 향상된 것을 알 수 있다.

한편, 도 8에는 각 사물에 따른 보다 정교한 집계방법으로 집계된 배드 픽셀의 비율을 도시한 그래프이다. 여기서, Initial은 초기 깊이 영상이고, Prop.는 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법이고, WMF는 Weighted Median Filter이고, WDF는 Weighted Mode Filter이고, JPF는 Joint Bilateral Filter이고, PWAS는 Pixel-Wise Average Strategy이고, MRF는 MRF 기반 후처리 방법이다.

또한, AW는 적응 지원 가중치(Adaptive support Weight)이고, GD는 측지 거리(Geodesic distance)이고, GF는 가이드 이미지 필터(Guided image filter)이다. 도 6을 참조하면, 본 발명에 따른 신뢰 기반 재귀적 깊이 영상 필터링 방법이 종래의 깊이 영상 필터링 방법에 비해 배드 픽셀의 비율이 낮으므로 후처리 성능이 보다 향상된 것을 알 수 있다.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

S100: 깊이영상 획득단계
S200: 신뢰 판별단계
S210: 척도 설정단계
S211: 제1신뢰척도 설정단계
S212: 제2신뢰척도 설정단계
S220: 신뢰 설정단계
S221: 제1신뢰 산출단계
S222: 제2신뢰 산출단계
S231: 컬러 영상 획득단계
S232: 경계선 이미지 획득단계
S233: 병합단계
S234: 엣지 척도 설정단계
S300: 필터링 단계

Claims

촬영기기로부터 오브젝트에 대한 깊이 영상을 제공받는 깊이영상 획득단계와;
상기 깊이영상 획득단계에서 획득된 깊이 영상을 이루는 픽셀들의 신뢰도를 판별하는 신뢰도 판별단계와;
상기 신뢰도 판별단계를 통해 판별된 신뢰도 정보를 토대로 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 필터링 단계;를 포함하고,
상기 신뢰도 판별단계는
상기 깊이영상 획득단계 이후에, 상기 깊이 영상을 이루는 픽셀들에 대한 신뢰도를 판별하기 위한 신뢰 척도를 설정하는 척도 설정단계와,
상기 척도 설정단계를 통해 획득된 상기 신뢰 척도에 따라 상기 깊이 영상의 픽셀들의 신뢰도를 판별하는 신뢰 설정단계를 포함하고,
상기 척도 설정단계는
상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와,
상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와,
상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계와,
상기 병합단계 이후, 상기 이진 맵을 토대로 상기 신뢰 척도로 설정하는 것으로서, 상기 이진 맵을 이루는 픽셀들 중 상호 인접되되, 유사한 색상의 픽셀들을 연결하여 상기 신뢰 척도로 설정하는 엣지 척도 설정단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
삭제
삭제
삭제
삭제
제1항에 있어서,
상기 엣지 척도 설정단계는
상기 병합단계를 통해 획득한 상기 이진 맵을 이루는 픽셀들 중 상호 유사한 색상으로 연결된 픽셀들을 엣지 세그멘트들로 그룹화하는 그룹핑 단계와,
상호 유사한 색상의 픽셀들로 구성되되, 상호 인접된 상기 엣지 세그멘트들을 연결하는 세그멘트 연결단계와,
상기 엣지 세그멘트들을 상기 신뢰 척도로 설정하는 세그멘트 척도 산출단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제6항에 있어서,
상기 신뢰 설정단계에서, 상기 신뢰 척도로 설정된 상기 컬러 영상의 엣지세그멘트에 대응되는 상기 깊이 영상의 기준 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
촬영기기로부터 오브젝트에 대한 깊이 영상을 제공받는 깊이영상 획득단계와;
상기 획득단계에서 획득된 깊이 영상을 이루는 픽셀들의 신뢰도를 판별하는 신뢰도 판별단계와;
상기 신뢰도 판별단계를 통해 판별된 신뢰도 정보를 토대로 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 필터링 단계;를 포함하고,
상기 신뢰도 판별단계는
상기 깊이영상 획득단계 이후에, 상기 깊이 영상을 이루는 픽셀들에 대한 신뢰도를 판별하기 위한 신뢰 척도를 설정하는 척도 설정단계와,
상기 척도 설정단계를 통해 획득된 상기 신뢰 척도에 따라 상기 깊이 영상의 픽셀들의 신뢰도를 판별하는 신뢰 설정단계를 포함하고,
상기 척도 설정단계는
상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와,
상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와,
상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계를 포함하고,
상기 신뢰 설정단계는 상기 병합단계를 통해 획득한 상기 이진맵에서 블루 컬러를 갖는 영역에 대응되는 상기 깊이 영상의 기준영역에 인접할수록 신뢰도 낮은 픽셀로 설정하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
촬영기기로부터 오브젝트에 대한 깊이 영상을 제공받는 깊이영상 획득단계와;
상기 획득단계에서 획득된 깊이 영상을 이루는 픽셀들의 신뢰도를 판별하는 신뢰도 판별단계와;
상기 신뢰도 판별단계를 통해 판별된 신뢰도 정보를 토대로 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 필터링 단계;를 포함하고,
상기 신뢰도 판별단계는
상기 깊이영상 획득단계 이후에, 상기 깊이 영상을 이루는 픽셀들에 대한 신뢰도를 판별하기 위한 신뢰 척도를 설정하는 척도 설정단계와,
상기 척도 설정단계를 통해 획득된 상기 신뢰 척도에 따라 상기 깊이 영상의 픽셀들의 신뢰도를 판별하는 신뢰 설정단계를 포함하고,
상기 척도 설정단계는
MSER(Maximally Stable Extremal Region)에 의해 추출된 윤곽(Contour) 영역을 제1신뢰 척도로 설정하는 제1신뢰척도 설정단계와,
상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하고, 상기 컬러 영상의 경계선을 검출하여 상기 컬러 영상의 경계선 정보를 토대로 제2신뢰 척도로 설정하는 제2신뢰척도 설정단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제9항에 있어서,
상기 제2신뢰척도 설정단계는
상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와,
상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와,
상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계와,
상기 병합단계 이후, 상기 이진 맵을 토대로 상기 제2신뢰 척도로 설정하는 엣지 척도 설정단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제10항에 있어서,
상기 엣지 척도 설정단계는
상기 병합단계를 통해 획득한 상기 이진 맵을 이루는 픽셀들 중 상호 유사한 색상으로 연결된 픽셀들을 엣지 세그멘트들로 그룹화하는 그룹핑 단계와,
상호 유사한 색상의 픽셀들로 구성되되, 상호 인접된 상기 엣지 세그멘트들을 연결하는 세그멘트 연결단계와,
상기 엣지 세그먼트들을 상기 제2신뢰 척도로 설정하는 세그멘트 척도 산출단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제11항에 있어서,
상기 엣지 척도 설정단계는 상기 세그멘트 연결단계 및 세그멘트 척도 산출단계 사이에, 상기 엣지 세그멘트 내에 포함된 상기 픽셀의 수가 기설정된 값 이하일 경우, 상기 엣지 세그멘트의 신뢰도가 낮은 것으로 판단하여 상기 엣지 세그멘트를 제거하는 제거단계를 더 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제11항에 있어서,
상기 신뢰 설정단계는
상기 제1신뢰척도 설정단계를 통해 상기 제1신뢰 척도로 설정된 상기 윤곽 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 제1신뢰 산출단계와,
상기 제2신뢰척도 설정단계를 통해 상기 제2신뢰 척도로 설정된 상기 컬러영상의 상기 엣지 세그멘트에 대응되는 상기 깊이 영상의 기준 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 제2신뢰 산출단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제9항에 있어서,
상기 제2신뢰척도 설정단계는
상기 촬영기기로부터 상기 오브젝트에 대한 컬러 영상을 획득하는 컬러 영상 획득단계와,
상기 컬러 영상 획득 단계를 통해 획득한 상기 컬러 영상을 엣지 검출기를 이용하여 레드(Red) 채널, 그린(Green) 채널 및 블루(Blue) 채널에 대한 각각의 이진(binary) 경계선 이미지를 획득하는 경계선 이미지 획득단계와,
상기 경계선 이미지 획득단계를 통해 획득된 상기 이진 경계선 이미지들을 하나의 이진 맵(binary map)으로 병합하는 병합단계를 포함하고,
상기 신뢰 설정단계는
상기 제1신뢰척도 설정단계를 통해 상기 제1신뢰 척도로 설정된 상기 윤곽 영역으로부터 멀어질수록 상기 픽셀의 신뢰도가 낮은 것으로 판별하는 제1신뢰 산출단계와,
상기 병합단계를 통해 획득한 상기 이진맵에서 블루 컬러를 갖는 영역에 대응되는 상기 깊이 영상의 기준영역에 인접할수록 신뢰도 낮은 픽셀로 설정하는 제2신뢰 산출단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제13항 또는 제14항에서
상기 필터링 단계는
상기 제1신뢰 산출단계를 통해 획득된 상기 픽셀의 신뢰도 정보에 따라 상기 깊이 영상을 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 제1단계와,
상기 제1단계 이후에, 필터링된 상기 깊이 영상을 상기 제2신뢰 산출단계를 통해 획득된 상기 픽셀의 신뢰도 정보에 따라 신뢰도가 높은 픽셀부터 순차적으로 필터링하는 제2단계를 포함하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.
제15항에 있어서,
상기 제1단계 및 제2단계에서, 가중치 중간값 필터(Weighted Median Filter)를 사용하여 상기 깊이 영상을 필터링하는 것을 특징으로 하는 신뢰 기반 재귀적 깊이 영상 필터링 방법.