KR101681766B1 - 깊이 영상의 생성 방법 - Google Patents

Abstract

본 발명의 실시예는 3차원 영상을 제작하기 위한 깊이 영상을 생성하는 방법으로서, 복수개의 색상 영상과 깊이 영상을 취득하는 단계, 결합형 양방향 필터(joint bilateral filter)로 색상 영상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 단계, 상기 결합형 양방향 필터에 의해 보정된 깊이 영상을 시간에 따라 배열하고 시간적 평균 필터를 적용하여 평균 깊이 영상을 도출하는 단계, 상기 보정된 깊이 영상 및 평균 깊이 영상을 동적 영역 및 정적 영역으로 분류하는 단계 및 상기 동적 영역 및 정적 영역에 대해 최적화된 깊이 영상을 적용하여 최종적인 깊이 영상을 도출할 수 있다. 따라서, 3차원 영상을 제작하기 위한 연속적인 깊이 영상에서 물체 경계 부분에 깜빡임 현상이 발생하는 것을 제거할 수 있다.

Description

깊이 영상의 생성 방법{Method for Generating Depth Image}

본 발명은 깊이 영상의 생성 방법에 관한 것으로서, 보다 상세하게는 깊이 영상의 배경 영역에서 발생하는 깜빡임 현상을 제거하기 위한 방법에 관한 것이다.

3차원 영상은 3차원 영화와 같은 산업의 발전에 따라 수요가 증가하고 있으며, 3차원 영상 시스템은 사용자로 하여금 2차원에서 느낄 수 없었던 실감나는 깊이감을 가진 영상을 제공한다. 일반적으로 3차원 영상 시스템의 주요 요소로는 3차원 영상 정합, 콘텐츠 제작, 부호화, 시점 합성, 렌더링 등이 있으며, 3차원 콘텐츠는 스테레오 카메라, 멀티뷰 카메라, 깊이 카메라와 같은 제작 도구들을 사용하여 생성될 수 있고, 이러한 콘텐츠들은 사용자단으로 부호화되어 전달된 후에 3차원 콘텐츠는 깊이 영상 기반의 렌더링 기술을 통해 화면에 보여지게 된다.

3차원 영상 시스템에서 깊이 정보의 획득이 중요한 역할을 하고 있으며, 깊이 정보의 획득 방법은 능동형 방식과 수동형 방식으로 나뉘어질 수 있다.

능동형 방식은 적외선 또는 초음파 같은 물리적 광선을 이용하여 깊이를 측정하는 방식으로 ToF나 구조광을 사용하며, 이 방식은 빠르고 정확하게 깊이 정보를 얻을 수 있지만 해상도가 낮고 카메라의 노이즈를 포함하는 문제점이 있다.

수동형 방식은 스테레오 영상의 색상 패턴을 매칭하여 깊이를 측정하는 방식을 사용하는 스테레오 매칭 방법이 주로 쓰이며, 이는 색상 카메라만을 사용하기 때문에 비용이 저렴하고 실외 환경에서도 사용이 가능하지만 프로세스가 다소 복잡하며 정확성이 낮은 단점이 있다.

능동형 방식은 깊이 카메라를 사용하여 깊이 영상을 캡쳐하게 되는데, 캡쳐된 원본 영상에는 깊이값을 가지지 않은 홀 영역이 포함되어 있는 문제점이 발생하게 된다. 도 1의 (a)는 색상 카메라로부터 얻은 색상 영상이고, (b)는 깊이 카메라로부터 얻은 깊이 영상이다. (b)의 깊이 영상을 살펴보면, A 영역에서는 경계 불일치가 나타나며 B 영역에서는 폐색 영역이 존재함을 확인할 수 있다. 이러한 문제는 주로 깊이 카메라의 센서 에러 또는 적외선 송신기와 수신기의 위치 차이로 인해 발생한다고 할 수 있다. 상술한 문제들로 인해 깊이 이미지를 시간축으로 확장한 깊이 비디오에서는 물체 경계 부분에서 도 2에 나타나는 바와 같이 깊이값이 진동하게 되는 깜빡임 현상이 발생하게 되어 깊이 영상의 품질이 저하되는 문제점이 발생하였다.

본 실시예는 3차원 영상을 제작하기 위한 깊이 영상의 획득시 연속적인 깊이 영상에서 깊이값이 진동하는 깜빡임 현상을 제거하기 위한 깊이 영상의 생성 방법을 제공하는 것을 목적으로 한다.

본 실시예는 또한, 연속적인 깊이 영상에서 발생하는 깜빡임 현상을 제거함과 동시에 객체의 움직인 영역에 잔상이 표현되는 것을 해결하기 위한 깊이 영상의 생성 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예는 3차원 영상을 제작하기 위한 깊이 영상을 생성하는 방법으로서, 복수개의 색상 영상과 깊이 영상을 취득하는 단계; 결합형 양방향 필터(joint bilateral filter)로 색상 영상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 단계; 상기 결합형 양방향 필터에 의해 보정된 깊이 영상을 시간에 따라 배열하고 시간적 평균 필터를 적용하여 평균 깊이 영상을 도출하는 단계; 상기 보정된 깊이 영상 및 평균 깊이 영상을 동적 영역 및 정적 영역으로 분류하는 단계; 및 상기 동적 영역 및 정적 영역에 대해 최적화된 깊이 영상을 적용하여 최종적인 깊이 영상을 도출할 수 있다.

또한, 실시예에서 상기 보정된 깊이 영상 및 평균 깊이 영상을 동적 영역 및 정적 영역으로 분류하는 단계는, 상기 시간적 평균 깊이 영상에서 전경과 배경을 분리하는 단계와, 상기 보정된 깊이 영상으로 이루어진 배열에서 움직임 영역을 추출하는 단계와, 상기 평균 깊이 영상과 상기 움직임 영역을 정적 영역과 동적 영역으로 분리하는 단계와, 분리된 영역별로 최적화된 깊이값을 적용하는 단계를 포함할 수 있다.

본 발명에 따르면, 3차원 영상을 제작하기 위한 연속적인 깊이 영상에서 물체 경계 부분에 깜빡임 현상이 발생하는 것을 제거함과 동시에 물체의 움직임 영역에 잔상이 나타나는 것을 제거할 수 있어 깊이 영상의 배경 영역에서 시간에 따라 일관적인 깊이 영상을 획득할 수 있다.

도 1은 특정 객체에 대한 색상 영상 및 깊이 영상을 나타낸 도면으로, (a)는 색상 카메라로부터 얻은 색상 영상, (b)는 깊이 카메라로부터 얻은 깊이 영상
도 2는 종래 깊이 영상을 시간에 따라 확장시의 문제점을 나타낸 도면
도 3은 실시예에 따른 깊이 영상의 생성 방법을 나타낸 흐름도
도 4는 결합형 양방향 필터의 커널을 나타낸 도면
도 5는 실시예에 따라 깊이 영상에서 깜빡임 현상을 제거한 뒤에 깊이 영상에 잔상이 발생하는 것을 나타낸 도면
도 6은 도 5와 같은 문제점을 해결하기 위한 방법을 나타낸 실시예의 깊이 영상 생성 방법을 나타낸 흐름도
도 7 내지 도 9는 실시예에 따른 깊이 영상 생성 방법의 흐름에 따라 획득되는 깊이 영상을 나타낸 도면
도 10은 종래와 실시예에 따라 얻어진 배경 영역에서의 객체 경계영역에서의 화소 값을 비교한 그래프

이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명하지만, 본 발명의 실시예에 의해 제한되거나 한정되는 것은 아니다. 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명료하게 하기 위해 생략될 수 있다.

실시예는 3차원 영상을 제작하기 위한 깊이 영상을 생성하는 방법에 관한 것으로서, 특히 깊이 영상을 시간축으로 확장시 깊이값의 진동으로 인해 깊이 영상에 깜빡임이 발생하는 현상을 제거하기 위한 방법을 제안하고자 한다.

도 3은 실시예에 따른 깊이 영상의 생성 방법을 나타낸 흐름도이다.

도 3을 참조하면, 실시예에 따른 깊이 영상의 생성 방법은 색상 카메라와 깊이 카메라로 색상 영상 및 깊이 영상을 취득하는 단계(S10), 깊이 영상에 양방향 필터를 적용하는 단계(S20), 보정된 깊이 영상을 순차적으로 배열하는 단계(S30), 시간적 평균 필터를 적용하는 단계(S40), 시간적 평균 깊이 영상 및 보정된 깊이 영상에서 동적, 정적 영역을 분류하는 단계(S50), 결과 깊이 영상을 도출하는 단계(S60)를 포함하여 구성될 수 있다.

우선, 실시예에 따른 깊이 영상의 생성 방법은 깊이 영상의 정확도를 향상시키고 깊이 영상의 깊이값이 진동하여 발생하는 깜빡임 현상을 제거하기 위해 결합형 양방향 필터(joint bilateral filter)를 이용한 깊이 영상 후처리 기술을 사용할 수 있다. 결합형 양방향 필터는 색상 영상의 경계 정보 및 색상 영상의 색상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 필터를 의미하며, 색상 영상의 경계 정보는 색상 영상 내의 객체의 경계를 나타내는 정보일 수 있다. 결합형 양방향 필터는 양방향 필터와 유사한 특성을 가지는 필터로 깊이 영상에 적용될 수 있으며, 깊이 영상에 발생한 홀 영역을 적절한 깊이값으로 채우는 역할을 한다.

도 4는 양방향 필터의 커널을 나타낸 도면이며, 홀 영역을 채우기 위한 결합형 양방향 필터를 수식으로 나타내면 다음과 같다.

여기서, D_o(x,y)는 필터 커널의 중심인 (x, y) 좌표에서의 결과 깊이 화소값을 의미하며, D_i(u, v)는 필터 커널에서 이웃 화소위치인 (u, v)좌표에서 입력 깊이 화소값을 의미한다. 그리고, p는 필터 커널 내부의 화소 위치 집합을 나타내며, Up는 수평 위치 집합을 Vp는 수직 위치 집합을 나타내고, W(u, v)는 (u, v) 위치에서의 가중치 인자를 나타낸다. 따라서 상기 수학식은 필터 커널 내부의 화소값의 특성에 따라 가중치를 부여하여 출력 깊이 화소값에 반영하는 것이라고 할 수 있다.

가중치 인자인 W(u, v)는 두개의 가우시안 함수의 곱으로 이루어지며 다음의 수학식으로 나타내어 진다.

f(u, v)는 중심 화소와 이웃 화소간의 거리 차이를 반영하는 공간 필터이고, g(u, v)는 중심 화소와 이웃 화소간의 색상 차이를 반영하는 범위 필터이다. 만약, 입력 화소값이 0일 경우에 해당 화소는 출력 깊이 화소값에 반영되지 않도록 0으로 나타나며, 이를 제외하고 가중치 인자는 상기 공간 필터와 범위 필터의 곱으로 나타내어진다.

즉, 상술한 바와 같이 결합형 양방향 양방향 필터를 이용한 깊이 영상 후처리 기술은, 깊이 영상과 색상 영상 간의 객체 경계 불일치 문제를 효과적으로 해결할 수 있다.

이어서 실시예는 결합형 양방향 필터를 적용하여 얻어진 보정된 깊이 영상을 배열하는 단계(S30)를 수행할 수 있다. 그리고, 시간에 따라 얻어진 N개의 보정된 깊이 영상을 배열에 저장한 후에 시간적 평균 필터를 적용하는 단계(S40)가 수행될 수 있다.

시간에 따라 얻어진 N개의 보정된 깊이 영상(D₀, D_1···D_N)은 순차적으로 배열을 형성 및 저장한 후에 다음의 수학식을 통해 평균 깊이 영상이 얻어질 수 있다.

수학식 3은 각 영상에서 (x, y) 위치에 있는 모든 화소값의 누적합을 구한 후에, 이를 배열 안의 영상 개수인 N으로 나눈 것으로, D_M(x, y)를 평균 깊이 영상이라 정의할 수 있다.

도 5는 실시예에 따라 깊이 영상에서 깜빡임 현상을 제거한 뒤에 깊이 영상에 잔상이 발생하는 것을 나타낸 도면이다. 상술한 방법과 같이 평균 깊이 영상을 각 깊이 영상의 화소 영역에 적용하면 깜빡임 현상이 제거되지만, 객체가 움직임이 발생하는 경우에는 도 5와 같이 객체의 움직임 영역에 잔상이 발생하는 것을 확인할 수 있다.

실시예는 잔상 현상을 제거하기 위해서 S40 단계에서 얻어진 보정된 깊이 영상으로 이루어진 배열에서 정적, 동적 영역을 분류하는 단계(S50) 및 이를 통해 결과 깊이 영상을 도출하는 단계(S60)를 수행할 수 있다.

도 6은 객체의 움직임 영역에 잔상이 발생하는 것을 방지하기 위해 정적, 동적 영역을 분류하는 단계(S50)를 구체적으로 나타낸 흐름도이다.

우선 실시예의 S40 단계와 같이 보정된 깊이 영상의 배열에서 시간적 평균 깊이 영상을 도출하는 단계(S51)가 수행된다. 이어서, 상기 시간적 평균 깊이 영상에서 전경과 배경을 분리하는 단계(S52)가 수행될 수 있다.

그리고, 보정된 깊이 영상의 배열에서 움직임 영역을 추출하는 단계(S53)를 거친 후에, 상기 움직임 영역을 동적 영역으로 분리하는 과정이 수행된다. 그리고, S52 단계에서 얻어진 평균 깊이 영상과 S53 단계에서 얻어진 움직임 영역을 정적 영역과 동적 영역으로 분리하는 단계(S54)가 수행될 수 있다. 여기서, 평균 깊이 영상 배경 영역은 정적 영역으로 분리될 수 있고, 평균 깊이 영상 전경 영역과 보정된 깊이 영상의 배열에서 움직임 영역은 동적 영역으로 분리될 수 있다. 최종적으로 분리된 영역별로 최적화된 깊이값을 적용하는 단계(S55)를 수행함으로써 실시예에 따른 깊이 영상을 생성할 수 있다.

도 7 내지 도 9는 실시예에 따른 깊이 영상 생성 방법의 흐름에 따라 획득되는 깊이 영상을 나타낸 도면이다.

도 7은 S52 단계에서와 같이 시간적 평균 깊이 영상에서 전경과 배경을 분리하는 과정을 나타낸 것이다. 전경과 배경의 분류는 깊이값을 이용하여 수행될 수 있으며, 깊이 값이 기설정된 문턱치값을 넘으면 전경으로 넘지 않을 경우 배경으로 분류를 수행하였다.

도 8은 S53 단계에서 보정된 깊이 영상의 배열에서 움직임 영역을 추출하는 과정을 나타낸 것이다. 현재 프레임에서 전경만을 교체할 경우 움직임 영역에서 잔상이 발생하게 되므로, 도면에서와 같이 배열 안에서 움직이고 있는 영역 전체를 식별한 후에 이를 모두 교체하는 방법이 적용될 수 있다. 상기 움직임 영역은 다음의 수학식과 같이 표현될 수 있다.

여기서, 움직임 영역의 깊이값(D_MT(x, y))은 보정된 깊이 영상의 배열 안의 입력 깊이 영상 중에서 (x, y) 위치의 최대 깊이값으로 정의할 수 있다.

실시예는 도 8에 나타난 움직임 영역 전체를 보정된 깊이 영상으로 대체하였고, 배경에 해당하는 영역은 시간적 평균 영상으로 대체하였다.

도 9는 실시예의 깊이값 생성 방법을 통해 얻어진 깊이 영상을 종래와 비교하여 나타낸 도면이다. (a)와 같이 종래의 깊이 영상에서는 객체의 경계 부분에 깜빡임 현상이 심하게 나타나지만, (b)와 같이 실시예의 깊이값 생성방법을 적용한 깊이 영상에서는 깜빡임 현상이 현저히 줄어들었음을 알 수 있다.

도 10 내지 도 13은 종래와 실시예에 따라 얻어진 배경 영역과 객체 영역의 경계에서 화소 값을 비교한 그래프로, 화소의 위치에 따른 결과를 나타낸 것이다.

도 10 내지 도 13에서 가로축은 프레임수이며, 세로축은 깊이값을 나타내고 있다. 우선 (142, 80) 위치에 해당하는 화소에서의 프레임수에 따른 깊이값을 살펴보면, 깊이값의 진동폭은 종래의 경우 약 80의 범위를 가지지만, 실시예의 경우에서는 약 40의 범위를 가지게 됨을 확인할 수 있었다.

마찬가지로 도 11내지 13에 개시된 (403, 144), (159, 79), (106, 222)에 해당하는 화소에서도 종래보다 실시예에서 깊이값이 진동이 현저히 작아지게 됨을 확인할 수 있었다. 즉, 도 10 내지 도 13에 나타난 바와 같이 실시예는 깊이 영상에서 배경 영역과 객체 영역의 경계에 위치하는 화소값의 진동을 감소시키고, 깜빡임이 제거된 깊이 영상을 획득할 수 있음을 알 수 있다.

즉, 실시예는 3차원 영상을 제작하기 위한 연속적인 깊이 영상에서 물체 경계 부분에 깜빡임 현상이 발생하는 것을 제거함과 동시에 물체의 움직임 영역에 잔상이 나타나는 것을 제거할 수 있어 깊이 영상의 배경 영역에서 시간에 따라 일관적인 깊이 영상을 획득할 수 있다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

1. 3차원 영상을 제작하기 위한 깊이 영상을 생성하는 방법으로서,
   복수개의 색상 영상과 깊이 영상을 취득하는 단계;
   결합형 양방향 필터(joint bilateral filter)로 색상 영상 정보를 이용하여 깊이 영상에 대한 필터링을 수행하는 단계;
   상기 결합형 양방향 필터에 의해 보정된 깊이 영상을 시간에 따라 배열하고 시간적 평균 필터를 적용하여 평균 깊이 영상을 도출하는 단계;
   상기 보정된 깊이 영상 및 평균 깊이 영상을 동적 영역 및 정적 영역으로 분류하는 단계; 및
   상기 동적 영역 및 정적 영역에 대해 분류된 깊이 영상을 적용하여 최종적인 깊이 영상을 도출하는 단계를 포함하는 깊이 영상의 생성 방법.
2. 제 1항에 있어서,
   상기 결합형 양방향 필터는 입력 깊이 화소값에 필터 커널의 이웃 화소에 대한 입력 깊이 화소값과, 공간 필터 및 범위 필터의 곱으로 이루어진 이웃 화소에서의 가중치 인자를 반영하여 출력 깊이 화소값에 해당되는 깊이값을 채워넣으며, 하기의 수학식으로 표현되는 깊이 영상의 생성 방법.
   [수학식 1]
   

   

   
   {D₀(x, y): 필터 커널의 중심인 (x, y) 위치에서의 결과 깊이 화소값, D_i(u, v): 필터 커널에서 이웃 화소 위치인 (u, v) 위치에서의 입력 깊이 화소값, P: 필터 커널 내부의 화소 위치 집합, U_p: 수평 위치 집합, V_p: 수직 위치 집합, W(u, v): (u, v) 위치에서의 가중치 인자}
3. 제 2항에 있어서,
   상기 가중치 인자는 입력 화소값이 0일 경우 해당 화소의 출력 깊이 화소값에 반영하지 않으며, 0이 아닐 경우 중심 화소와 이웃 화소간의 거리 차이를 반영하는 공간 필터 및 중심 화소와 이웃 화소간의 색상 차이를 반영하는 범위 필터의 곱으로 도출되는 깊이 영상의 생성 방법.
4. 제 1항에 있어서,
   상기 평균 깊이 영상을 도출하는 단계는 각각의 보정된 깊이 영상의 임의 위치에 해당되는 화소값을 누적한 후에 총 영상의 개수로 나누어줌으로써 도출되는 깊이 영상의 생성 방법.
5. 제 1항에 있어서,
   상기 보정된 깊이 영상 및 평균 깊이 영상을 동적 영역 및 정적 영역으로 분류하는 단계는,
   상기 시간적 평균 깊이 영상에서 전경과 배경을 분리하는 단계와,
   상기 보정된 깊이 영상으로 이루어진 배열에서 움직임 영역을 추출하는 단계와,
   상기 평균 깊이 영상과 상기 움직임 영역을 정적 영역과 동적 영역으로 분리하는 단계와,
   분리된 영역별로 최적화된 깊이값을 적용하는 단계를 포함하는 깊이 영상의 생성 방법.
6. 제 5항에 있어서,
   상기 평균 깊이 영상의 배경 영역은 정적 영역으로 분리되고, 평균 깊이 영상의 전경 영역과 상기 보정된 깊이 영상의 배열에서 움직임 영역은 동적 영역으로 분리되는 깊이 영상의 생성 방법.
7. 제 5항에 있어서,
   분리된 영역별로 최적화된 깊이값을 적용하는 단계는,
   상기 정적 영역 및 동적 영역에 대해 시간적 평균 깊이 영상 또는 보정된 깊이 영상을 사용할지에 대한 여부를 결정하여 최종적인 결과 깊이 영상을 획득하는 과정을 포함하는 깊이 영상의 생성 방법.
8. 제 5항에 있어서,
   상기 움직임 영역은 배열 안에서 움직이고 있는 영역 전체에 해당되며, 배열 내의 입력 깊이 영상에서 임의 위치의 최대 깊이값으로 정의되는 깊이 영상의 생성 방법.
9. 제 5항에 있어서,
   상기 움직임 영역은 보정된 깊이 영상으로 대체되고, 배경 영역은 시간적 평균 영상으로 대체되는 깊이 영상의 생성 방법.

Images