KR101618776B1 - 3차원 깊이 영상의 개선 방법 - Google Patents

Abstract

본 발명의 실시예는 키넥트 기반의 실시간 다시점 영상 생성 방법으로서, 키넥트 카메라에 구비된 적외선 센서로 깊이 영상 및 색상 영상을 측정하는 단계, 상기 측정된 깊이 영상에 대해 홀 영역의 위치를 추정하여 이를 영상 형태로 나타낸 이상점 맵을 형성하는 단계, 상기 색상 영상 정보를 기반으로 이웃 영역과의 색상 차이에 대한 정규 노말 분포에서 기설정된 표준편차 내에 해당되는 색상을 가지는 이웃 픽셀을 선별하는 신뢰도 맵을 형성하는 단계, 상기 이상점 맵과 신뢰도 맵에 의해 선별된 이웃의 깊이값을 기반으로 조인트 홀 필링(Joint hole filling)을 수행하여 홀이 채워진 깊이 영상을 추출하는 단계 및 상기 홀이 채워진 깊이 영상에서 물체와 배경간 경계면의 깊이값을 도출할시, 이웃 픽셀의 깊이값의 가중치에 따른 평균을 도출하는 과정에서 컬러 어웨어 필터를 적용하는 단계를 포함하여 3차원 깊이 영상을 개선할 수 있다.

Description

3차원 깊이 영상의 개선 방법{Method for Enhancing 3-Dimensional Depth Image}

본 발명은 3차원 깊이 영상의 개선 방법으로서, 보다 상세하게는 키넥트(Kinect) 카메라를 통해 획득된 깊이 영상에서 발생되는 홀과 모서리의 불일치를 개선하기 위한 방법에 관한 것이다.

3차원 입체 영상 컨텐츠 시장이 활성화 됨에 따라서 3차원과 관련된 다양한 분야의 기술들이 발전하고 있으며, 특히 3차원 컨텐츠 제작 및 촬영 기술 분야에 있어서는 기존의 스테레오 카메라나 여러 대의 카메라를 이용한 촬영 방법과 더불어 단일 컬러 영상과 영상과의 거리 데이터 또는 깊이 지도에 DIBR(Depth Image Based Rendering) 기술을 적용하여 스테레오 영상을 생성할 수 있게 되었다.

이 중 깊이 지도의 생성을 위해 사용되는 깊이 센서는 빛을 조사하여 되돌아오는 거리를 측정하는 전통적인 TOF(Time of Flight) 카메라를 사용하는데 이는 깊이 측정을 위한 필수요소이지만 고가인 단점이 있다. 이에 최근 마이크로 소프트사에서는 키넥트(Kinect)라는 저가의 보급형 깊이 센서를 출시하여 3차원 영상 취득 장치에 많이 사용되고 있다. 키넥트 카메라는 원형 패턴을 가지는 구조광을 측정하고자하는 객체에 투사하고 패턴의 왜곡 정도를 통하여 깊이 정도를 추정한다.

그러나, 키넥트 카메라는 IR 프로젝터와 IR 카메라의 위치가 달라 발생하는 폐색 영역으로 인한 홀, 객체의 경계면과 IR 프로젝터가 수직일 경우 tdorl는 경계 주변에서의 잡음 등 카메라 내외의 문제점으로 인해 정확한 깊이 정보를 얻을 수 없는 문제점이 발생하고 있어 이를 보정하기 위한 방법들이 제안되고 있다.

한편, 방송사에서는 프로그램을 제작 할 때 실제세트 대신 가상스튜디오를 활용하여 제작함으로써 시각적 표현의 한계를 넘어서고 있다. 가상공간을 디자인한 세트는 컴퓨터 메모리에 저장하고, 디자이너는 디자인 툴을 사용하여 디자인 세트를 바꿀 수 있다. 가상스튜디오 발전은 방송프로그램 제작 메커니즘의 혁신을 가져올 첨단 분야로 각광을 받고 있다.

일반적으로 가상스튜디오의 구성요소는 카메라 트랙킹 시스템(Camera Tracking System), 크로마 스튜디오(Chroma Studio), 크로마키어(Chroma Keyer), 웍크스테이션 등이 있다. 크로마키 작업을 하기 위해서는 크로마 스튜디오가 필요하며 영상 합성 작업을 하기 위한 매트가 있어야 한다. 크로마 키어란 크로마 촬영된 영상을 배경 영상과 합성해 주는 가상 스튜디오의 핵심 장비이다. 그러나, 기존의 가상 방송 제작 및 크로마키 배경 기반의 전경 추출은 제한된 스튜디오 내에서 촬영된 영상에 대하여 전문 인력의 수작업을 통해 이루어졌으며, 오프라인 상에서 실시간으로 가상 방송을 제작하고 이를 출력하기에는 어려움이 있었다.

본 발명은 상술한 문제점을 해결하기 위하여 키넥트 카메라에서 측정된 깊이 영상의 모서리와 경계영역에서 주로 발생하는 홀, 모서리 불일치 등의 문제점을 제거하여 모서리와 경계면을 향상시킬 수 있는 3차원 깊이 영상 획득 방법을 제공하는 것을 목적으로 한다.

본 발명은 RGB 영상에 기반한 3차원 깊이 영상 개선부를 추가하여 입력 깊이 영상에 대한 문제점을 해결하고 가상 배경과 관심 객체를 합성하여 자연스러운 가상 방송 영상을 생성할 수 있는 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예는 키넥트 기반의 실시간 다시점 영상 생성 방법으로서, 키넥트 카메라에 구비된 적외선 센서로 깊이 영상 및 색상 영상을 측정하는 단계; 상기 측정된 깊이 영상에 대해 홀 영역의 위치를 추정하여 이를 영상 형태로 나타낸 이상점 맵을 형성하는 단계; 상기 색상 영상 정보를 기반으로 이웃 영역과의 색상 차이에 대한 정규 노말 분포에서 기설정된 표준편차 내에 해당되는 색상을 가지는 이웃 픽셀을 선별하는 신뢰도 맵을 형성하는 단계; 상기 이상점 맵과 신뢰도 맵에 의해 선별된 이웃의 깊이값을 기반으로 조인트 홀 필링(Joint hole filling)을 수행하여 홀이 채워진 깊이 영상을 추출하는 단계; 및 상기 홀이 채워진 깊이 영상에서 물체와 배경간 경계면의 깊이값을 도출할시, 이웃 픽셀의 깊이값의 가중치에 따른 평균을 도출하는 과정에서 컬러 어웨어 필터를 적용하는 단계를 포함하여 구성될 수 있다.

실시예에서 상기 이상점은 측정된 데이터가 없는 홀과 적외선 패턴의 불안정성에 의해 발생하는 임펄스 잡음이며, 상기 이상점 맵은 이진화기법을 사용하여 표현될 수 있다. 그리고, 상기 신뢰도 맵은 상기 색상 영상에 대한 RGB값과 깊이 영상에 대한 깊이값의 불연속성이 함께 나타난다는 가정하에 자신의 값과 유사도가 높은 RGB값을 가지는 이웃 픽셀들에 대해 판정하며, 상기 신뢰도 맵과 이상점 맵에서 선택된 이웃 픽셀들의 깊이값의 평균으로 홀의 깊이값을 산출하는 조인트 홀 필링(Joint hole filling)을 수행하는 것을 특징으로 한다.

그리고 실시예에서 상기 홀이 채워진 깊이 영상에 컬러 어웨어 필터를 적용하는 단계는, 상기 홀이 채워진 깊이 영상에 소벨 연산자를 적용하여 깊이 값의 불연속성이 존재하는 seed point를 찾고 팽창 연산을 통해 영역을 확장시켜 불확실한 깊이 값을 나타내는 관심 영역을 검출하는 단계를 포함할 수 있다.

또한, 상기 검출된 관심 영역에 대하여 불확실성이 존재하는 영역은 0, 그 외 영역은 1로 나타내는 불확실성 맵 T를 생성하는 단계를 더 포함하고, 상기 불확실성 맵과 RGB 영상을 통해 상술한 신뢰도 맵을 이용하여 칼라 어웨어 필터(color-aware filter)를 적용하여 모서리와 경계면 부분에서의 깊이 값을 추정하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면 키넥트 카메라에서 깊이 영상과 함께 측정된 컬러 영상(RGB 영상)으로부터 생성한 신뢰도 맵을 이용하여 조인트 홀 필링(joint hole filling)과 컬러 어웨어 필터(color-aware filter)를 통해 취득된 깊이 영상의 홀을 효과적으로 제거하고, 모서리와 경계면에서 발생하는 불일치를 향상시킬 수 있다.

본 발명의 실시예에 따르면 RGB 센서를 이용하여 크로마키 스튜디오에 국한되어 있던 전경 추출 및 배경 합성 부분을 대체함으로써, 오프라인에서 실시간으로 이루어지는 작업에 대해서도 가상 배경을 합성하고 생성된 가상 방송을 출력할 수 있다.

도 1은 기존 키넥트 카메라를 이용한 깊이 영상의 홀 영역을 나타낸 도면
도 2는 본 발명의 실시예에 따른 3차원 깊이 영상의 개선 방법을 타나낸 흐르름을 나타낸 도면
도 3은 본 발명의 실시예에 따른 홀 영역 추정하는 방법을 나타낸 흐름도
도 4는 본 발명의 실시예에서 모서리를 향상시키는 방법을 나타낸 흐름도
도 5는 홀이 존재하는 원본 영상과 실시예에 따른 홀 영역 추정에 따른 영상을 나타낸 도면
도 6은 조인트 홀 필링을 거친 영상과, 상기 영상에 실시예에 따른 컬러 어웨어 필터를 적용한 영상을 나타낸 도면
도 7은 본 발명의 실시예에 따른 가상 방송 영상을 생성하는 시스템을 나타낸 흐름도

이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명하지만, 본 발명의 실시예에 의해 제한되거나 한정되는 것은 아니다. 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명료하게 하기 위해 생략될 수 있다.

본 발명은 키넥트(Kinect) 카메라의 측정 방식의 한계로 인해 발생하는 홀에 의해 3차원 깊이 정보가 변질되는 것을 방지하고, RGBD 센서를 사용하여 깊이 영상을 개선하는 방법에 대하여 제안한다.

도 1은 기존 키넥트 카메라를 이용한 깊이 영상의 홀 영역을 나타낸 도면이다. 키넥트 카메라에 구비된 적외선 센서 또는 거리 센서(range sensor)로부터 측정된 깊이 영상에서 홀이 발생하는 이유는 다음과 같다. Kinect 센서는 발광부에서 3차원 공간(측정하고자 하는 대상)으로 적외선 패턴을 조사하고 이를 수광부에서 감지한 다음 패턴들의 분포 정도와 모양 특성을 기반으로 깊이 정보를 획득한다. 하지만 조사된 적외선 패턴은 물체의 경계면이나 모서리 영역에서 변형되거나 제대로 반사되지 않기 때문에 수광부에서 이러한 영역들에 대하여 제대로 된 패턴 정보를 읽어 들이기가 어렵게 된다. 이러한 이유 때문에 측정 데이터에서는 도 1에서 오른쪽의 검은 색으로 나타나는 영역과 같은 홀이 발생한다. 도 1에서 보는 것과 같이 물체의 날카로운 모서리 부분과 배경과의 경계면에서 홀이 많이 발생하는 것을 확인할 수 있다. 이러한 홀은 깊이 영상 내의 이웃 정보들과 이웃 픽셀(pixel)에 대응되는 컬러 영상의 픽셀 위치에서 얻어진 색상 이웃 정보들을 기반으로 모서리 개선을 수행하는 필터링(filtering) 기반 향상 기법들에 악영향을 끼치게 된다.

본 발명은 모서리 주변에 있는 정보들을 기반으로 개선하고자 하는 모서리 부분의 올바른 값을 추정하는데, 만약 관심 영역 주변에 홀이 존재하게 된다면 처음부터 잘못된 정보를 가지고 모서리 향상 및 깊이 정보 개선을 추정하게 되는 것이므로 잘못된 결과를 가져올 수 밖에 없다.

도 2는 본 발명의 실시예에 따른 3차원 깊이 영상의 개선 방법을 타나낸 흐르름을 나타낸 도면이다.

도 2를 참조하면, 실시예에 따른 3차원 깊이 영상의 개선 방법은 우선 입력 영상으로 깊이 영상과 컬러 영상을 측정하는 단계를 수행한다(S10).

이어서, 측정된 깊이 영상에서 발생하는 홀 영역들을 추정하고 홀들에 대한 깊이값을 추정하는 단계를 수행한다(S20). 그리고, 전경과 배경 사이의 경계면 영역에 해당되는 모서리를 검출하여 이의 깊이값을 추정하는 단계를 수행한다(S30). 본 발명은 RGBD 센서를 사용하여 측정한 깊이 영상을 개선하기 위해 홀 추정 단계와 모서리 향상 단계의 두 단계를 순차적으로 수행하였다. 상기와 같은 두 단계를 거쳐 전경과 배경의 경계면이 더욱 깔끔하게 향상된 개선된 깊이 영상을 획득하고 이에 따른 출력 영상을 생성하는 단계가 수행될 수 있다(S40). 하기에서는 3차원 깊이 영상의 개선하기 위해 각 단계에서 수행되는 깊이값의 추정방법에 대해 구체적으로 살펴본다.

도 3은 본 발명의 실시예에 따른 홀 영역 추정하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 본 발명에서 홀을 추정하는 방법을 구체화한 것으로 실시예에서는 조인트 홀 필링(joint hole filling) 방법으로 홀의 추정을 수행한다.

실시예에서 입력되는 깊이 및 색상 정보는 미소 영역(아주 작은 영역)에서 관찰했을때 서서히 점진적으로 변화하는 것으로 가정한다. 즉, 관심 픽셀에 대해 인접하는 또는 아주 가까이 위치한 이웃 픽셀들의 깊이 데이터를 측정하였을 때, 같은 물체 내에서의 깊이 정보가 큰 폭으로 변화하지 않고 서서히 변화한다는 것을 의미한다. 실시예는 이러한 가정을 바탕으로 하여 측정되지 않은 홀 영역에 대한 정보를 주변 영역들의 선택적 평균값으로 계산한다.

우선, 추정하고자 하는 홀 영역들을 찾는 과정이 선행되어야 한다. 대부분 홀로 나타나는 영역들은 키넥트 센서의 측정 범위를 벗어나 아주 작은 값을 가지게 되며, 실제로 키넥트 센서의 측정 범위는 50㎝~4m이고, 홀이 발생하는 영역의 데이터를 관측하면 50㎝ 이내의 거리값을 가진다. 따라서, 이러한 값들은 잘못 측정된 깊이 데이터로 판단할 수 있으며 입력된 원본 깊이 영상에서 50㎝ 이내의 거리값을 가지는 픽셀들은 모두 잘못 측정된 홀로 판단한다.

이 과정에서 표면에서의 반짝임 또는 난반사에 의해 잘못 측정된 데이터임에도 불구하고 정상 측정 범위에 들어오는 데이터가 발생할 수 있다. 실시예에서는 ROAD라는 방법을 사용하여 임펄스 잡음(impulse noise)를 찾아내는 방법으로 상기와 같은 부적합 데이터를 찾아낸다. ROAD 방법 또한 깊이 영상 데이터가 점진적으로 변화한다는 가정에 기반하며, 관심 픽셀 주변의 일정 범위 내에 존재하는 깊이 데이터들과 자기 자신의 데이터를 비교한다. 만약, 주위의 데이터 분포에 비해 일정 범위이상 크거나 작은 값을 갖는다면 이를 홀로 추정하는 방식이다. 만약, 주변의 데이터는 모두 1m에 존재하나, 자기 자신만 4m에 존재한다면 이것을 홀로 추정하는 것이다. 이는 대부분의 일반적인 물체에서는 아주 미세한 영역에서 이러한 변화가 일어나지 않는다는 판단에 기인한다.

따라서, 주변값과 자기 자신의 값의 차이에 따라 홀로 추정할 것인지에 대한 임계값을 설정한다. 임계값이 작게 설정되면 주변과 자기자신과의 차이가 조금만 달라져도 모두 홀로 판정하게 되므로 실제 올바른 측정 데이터에 대해 홀로 추정할 가능성이 발생하므로, 실시예에서는 임계값을 절대값인 60으로 설정하였다.

실시예는 상술한 바와 같이 홀 영역의 위치를 추정하고 이를 영상 형태로 나타낸 이상점 맵(outlier map)을 도출한다(S21). 이상점이란 변수의 분포에서 비정상적으로 분포를 벗어난 값을 의미한다. 실시예에 따른 이상점 맵의 검출 방법은 영상 처리시 임펄스 잡음을 선별하기 위해 제안된 임펄스 강도를 함께 고려하여, 단순히 홀 영역뿐만 아니라 적외선 패턴의 불안정성에 의해 잘못 측정된 깊이 데이터까지도 검출할 수 있다. 상술한 내용은 하기 수학식 1로 표현될 수 있다.

여기서, D는 입력된 깊이 영상이고, (i, j)는 관심있는 픽셀의 위치 좌표이며, tr₁은 측정범위, tr₂는 홀로 판정할 것인지에 대한 임계값을 나타낸다. 만약, 관심 픽셀(i, j)에서의 깊이값 D(i, j)가 측정범위(tr₁) 밖에 존재하거나, 주변값들과의 차이를 비교하였을시 임계값보다 큰 차이를 갖는 값을 가질 경우 이를 홀로 판단한다.

실시예에서는 이진화기법을 사용하여 홀로 판정된 경우는 0, 홀이 아닌 것으로 판정된 경우는 1로 나타내며, 이는 홀 영역을 추정하거나 모서리를 향상시킬시 홀로 판단된 이웃영역들이 개입하는 것을 방지하기 위한 것이다.

이어서, 찾아진 홀들에 대한 값들을 추정하기 위해서 종래에는 이웃 픽셀들의 깊이값의 평균으로 홀 영역에 대한 깊이값을 추정하였으나, 본 발명에서는 이웃 픽셀의 선택적 평균값을 사용한다. 상기 선택적 평균값은 색상 정보를 바탕으로 한 신뢰도 맵을 생성하는 단계를 수행함으로써(S22), 홀 영역에 대해 깊이값을 측정할 수 있으며, 색상 정보가 미소 영역에서 부드럽게 변한다는 가정이 사용된다.

텍스쳐나 패턴이 있는 영역을 제외하고는 물체 내의 색상변화는 일반적으로 부드럽게 이어진다. 특히 현재 처리하고자 하는 영역인 모서리와 경계면 영역에서는 동일한 평면 또는 물체 내에 색상들이 더 높은 유사성을 띄게 된다. 이는 광원으로부터 조사된 빛이 물체 표면을 통해 반사되어 우리 눈으로 들어올 때 반사각에 따라 색상의 밝기 정도가 다르게 나타나게 되기 때문이다. 즉 동일한 색상을 가지고 있는 물체라고 할지라도, 모서리 영역에서는 밝은 부분과 어두운 부분으로 나뉘게 되고 이것은 전경 물체와 배경과의 관계에서도 똑같이 이루어진다.

실시예에서는 이러한 원리를 바탕으로 홀 영역에서의 색상과 유사한 색상을 가지는 이웃 픽셀은 같은 물체 또는 평면 내에 존재한다고 판단한다. 즉, 유사한 깊이 값을 가지고 있을 것이라고 추정하는 것이다. 반대로 채우고자 하는 홀 영역과 이웃의 색상차이가 심하다면 이 이웃 영역은 동일한 물체 내에 존재하지 않을 가능성이 높은 것으로 판단할 수 있다. 이를 바탕으로 유사한 색상을 가지고 있는 이웃 픽셀들의 깊이 값은 홀 영역의 깊이 값을 추정하는데 영향을 미치게 하고, 다른 색상을 가지고 있는 이웃 픽셀의 깊이값은 영향을 미치지 못하게 만들기 위한 신뢰도 맵을 생성할 수 있다.

색상의 분포는 각각의 영역마다 다르기 때문에 절대적인 기준치를 두고 판단할 수 없다. 이웃영역의 색상 차이에 대한 분포를 정규 노말 분포로 나타냈을 때 60% 내에 들어오는 유사한 색상에 대해서만 신뢰하고 깊이 정보를 추정하는데 사용하였다. 실시예는 이를 통해 선택적인 이웃 깊이 값의 평균으로 홀 영역에 대한 깊이 값을 추정할 수 있다. 하기 수학식 2는 신뢰도 맵 W_c에 대한 수식을 나타낸 것이다.

컬러 영상 C에 대하여 관심 픽셀의 위치(i, j)에서 컬러 값 C(i, j)과 이웃 픽셀의 위치인 (u, v)에서의 컬러값 C(u, v)의 차이인 ｜C(u, v)- C(i, j)｜를 비교한다. 이 값이 주변 영역의 모든 컬러 값들과의 차이 분포의 60% 내에 들어오게 되면, {｜C(u, v)- C(i, j)｜＜ σ, σ는 주변 영역 내에서 색상 차이에 대한 표준 편차}, 이 값은 신뢰할 수 있다고 판단하고 이진화 기법을 통해 신뢰도 맵에서 1로 나타낸다. 반대로 그렇지 않은 부분, 즉 색상 차이가 많이 나는 이웃 픽셀은 신뢰도 맵에서 0으로 표시함으로써 추후에 주위 깊이 값들의 선택적 평균을 사용할 때 제외시킨다.

기존의 RGB 정보를 이용한 홀 추정 및 깊이 영상 개선 방법에서는 색상 차이에 따른 가우시안 분포(Gaussian distribution)를 가중치로 사용하여 주변 깊이 정보들의 가중치 평균을 수행하였다. 그러나 실제 환경에서 깊이 정보와 RGB 값의 불연속성이 함께 나타나기는 하지만 깊이 값과 RGB 값의 차이에 비례관계는 성립되지는 않는다.

따라서 기존의 방법들은 색상 차이에 따라 깊이값 또한 변화하기 때문에 추정된 데이터의 정확성을 보장하기가 어려웠다. 그러나 본 실시예는 색상 유사도가 높은 이웃 픽셀들만을 선별해서 평균을 취하는 방법을 선택함으로써, 3차원 공간 상에서 유사한 깊이 영역에 존재하는 이웃 깊이 영역들을 색상 유사도를 통해 선별하고 이를 통해 깊이의 경계면 차이를 더욱 정확하게 추정할 수 있다.

이어서는 상술한 바와 같이 정의된 신뢰도 맵과 이상점 맵을 활용하여 신뢰도가 높은 이웃 정보만을 이용한 조인트 홀 필링을 수행한다(S23). 실시예는 홀 영역을 이웃 영역들의 깊이 값의 평균으로 추정할 때, 홀로 판단되는 잘못된 이웃 데이터와 색상 차이가 많이 나서 다른 물체 또는 모서리의 다른 면에 존재하는 깊이 값으로 판단되는 이웃데이터를 제외시킴으로써 더욱 정확한 깊이 정보를 추정하였다. 실시예의 조인트 홀 필링을 수행하는 과정을 수학식으로 나타내면 다음과 같다.

수학식 3에 개시된 D_hf(i, j)는 관심 픽셀의 위치인 (i, j)에서 최종적으로 추정된 홀의 깊이값을 나타내며, 실시예는 기존에 검출하지 못했던 불안정한 잡음을 검출하고, 색상 차이에 따라 신뢰도가 높은 이웃 깊이 값을 선별적으로 선택하여 관심 깊이 값을 추정함으로써, 경계면이 더 잘 드러난 깊이 영상을 획득할 수 있다.

도 4는 본 발명의 실시예에서 모서리를 향상시키는 방법을 나타낸 흐름도이다. 실시예는 정확한 3차원 깊이 값을 산출하기 위한 것으로, 홀 추정을 실시한 후 불연속적인 깊이 값을 갖는 영역에서 모서리와 경계면을 향상시키는 과정을 수행할 수 있다.

적외선 패턴에 기반한 측정 방식의 한계점에 의해 모서리 불일치는 불연속적인 깊이 값을 가지는 영역에서 발생한다. 종래에는 전체적인 깊이 영상을 향상시키기 위하여 영상 전체에 대하여 결합형 양방향 필터(joint-bilateral filter)를 사용하였으나, 이는 처리해야 할 데이터의 양이 많아지기 때문에 실시간 영상 처리 방법에는 적합하지 않다.

따라서, 실시예에서는 가상 스튜디오 생성에 있어서 전경과 배경을 정확하게 분리하기 위하여 깊이 영상을 사용한다. 개선하고자 하는 관심 영역은 전경과 배경 사이의 경계면에 해당하며, 이 영역들은 실제로 많은 잡음과 모서리 불일치를 포함한다. 실시예에서는 경계면에 해당하는 관심 영역만을 선별 처리함으로써 알고리즘의 처리 시간을 감소시킬 수 있다.

우선, 전경과 배경 사이의 경계면 영역을 검출하기 위해서는 영상의 모서리(edge)를 검출하기 위한 소벨 연산자(Sobel operator)에 기반한 모서리 검출(edge detection)을 수행한다(S31). 소벨 연산자는 영상 내에서 값의 변화가 큰 영역들을 검출하는 방법으로, 깊이 값이 갑자기 변하는 영역인 물체와 배경 사이의 경계면을 검출하는 것이다. 이 방법은 단위 영역 내에서 깊이 값의 변화가 가장 큰 한 지점만을 추출해내기 때문에 모서리 불일치가 나타나는 영역 전체를 검출하는 데에는 적합하지 않다.

따라서 실시예에서는 소벨 연산자와 팽창 연산을 결합한다. 소벨 연산자를 이용해 모서리로 추정되는 seed point를 추출하고 이 seed point를 따라 팽창 연산을 수행함으로써, 모서리 불일치가 나타나는 관심 영역들을 선별한다. 팽창 연산은 seed point 주변에 존재하는 이웃들까지 모서리로 검출하는 방법이다. 홀이 채워진 깊이 영상 D_hf에 소벨 연산자(Sobel operator)를 적용하여 깊이 값의 불연속성이 존재하는 seed point를 찾고 팽창 연산을 통해 영역을 확장시키면 불확실한 깊이 값을 나타내는 관심 영역을 검출할 수 있게 된다.

실시예에서는 상기와 같이 찾아진 영역에 대하여 불확실성이 존재하는 영역은 0, 그 외 영역은 1로 나타내는 불확실성 맵 T를 생성한다(S32).

앞서 정의된 이상점 맵에서는 측정되지 않은 데이터들을 선별하여 조인트 홀 필링을 통해 측정되지 않은 데이터들을 추정하였으나, 경계면 부분에 나타나는 잡음을 포함한 데이터에 대해서는 추정하는 과정이 이루어지지 않았다.

불확실성 맵은 이상점 맵과 유사한 방식으로서 이상점 맵이 측정되지 않은 영역을 선별한 점과 대비하여, 불확실성 맵은 경계면에서 잡음을 포함하여 잘못된 깊이 정보가 입력될 가능성이 높은 영역들을 선별하는 것을 특징으로 한다. 잡음에 의해 불완전한 경계면의 데이터 또한 신뢰성이 낮기 때문에, 이후의 단계에서 추정되는 모서리의 깊이 정보의 신뢰성을 높이기 위하여 제외되는 것이 바람직하다.

불확실성 맵은 이러한 영역들을 정해줌으로써 필터 기반으로 모서리 영역의 정확한 깊이 영상을 추정할 때, 불확실하다고 판단되는 데이터를 제외시킨다. 이로 인해 결과적으로 경계면이 깔끔하게 분리된 깊이 데이터를 얻을 수 있다. 또한, 관심 영역에 대한 선별처리로 인해 전체 알고리즘의 처리 속도가 향상될 수 있다.

생성된 불확실성 맵과 RGB 영상을 통해 상술한 신뢰도 맵을 이용하여 하기의 수학식 4와 같은 칼라 어웨어 필터(color-aware filter)를 적용하면 모서리와 경계면 부분에서 RGB 정보와 일관성을 가지는 깊이 값을 추정할 수 있다.

수학식 4에 개시된 Dr(i, j)는 관심 픽셀의 위치인 (i, j)에서 최종적으로 모서리 영역이 개선된 깊이 값을 나타낸다. 불확실성 맵인 T(u,v)는 관심 픽셀의 위치 (u,v)가 소벨 연산자와 팽창 연산의 결합을 통해 검출된 모서리에 위치할 경우 불확실한 깊이 데이터를 가지고 있다고 판단하여 0으로 나타낸다. 상기와 같이 불확실한 깊이 데이터를 가지고 있다고 판단되어 0으로 나타내진 위치의 픽셀들은 컬러 어웨어 필터를 통한 이웃들의 가중치 평균을 도출하는 과정에서 제외된다.

여기서 g는 픽셀간 거리에 따른 가우시안 가중치 함수(Gaussian weight function)이다. 즉, 가우시간 가중치 함수로 인해 가까운 거리에 이웃 픽셀은 좀 더 중요한 정보로 판단하고 멀리 있는 이웃 픽셀들은 해당 픽셀의 깊이 정보를 추정하는데 있어 상대적으로 적은 영향을 받도록 한다.

실시예의 칼라 어웨어 필터의 원리는 물체와 배경의 경계면의 깊이 값을 주변에 위치한 이웃 픽셀의 깊이 값을 이용해 향상시키는 것을 특징으로 한다. 즉, 칼라 어웨어 필터는 유사한 색상을 가지고 있고, 모서리가 아닌 영역에 존재해 데이터의 신뢰도가 높은 정보들을 사용하며, 거리가 가까운 이웃 픽셀의 깊이 정보들에 더 많은 영향을 받도록 한다.

상술한 바와 같이 실시예는 RGBD로부터 입력된 불안정한 깊이 영상에 대하여 홀 영역과 모서리 불일치가 나타나는 영역을 선별 처리하기 위해 임펄스 강도를 고려한 홀 검출 방법과 소벨 연산자와 팽창 연산을 결합한 모서리 검출 방법을 사용하였다. 그리고, 이를 통해 처리해야 하는 영역을 축소시킴으로써 3차원 깊이 영상의 획득에 있어 전체적인 처리 속도가 향상되었고 이는 실시간 영상 처리에 더욱 적합한 방법이라 판단할 수 있다.

또한 색상 정보를 사용하는데 있어서 색상 차이에 따른 가우시간 가중치 함수를 사용했던 기존의 방법과 달리, 깊이 값을 추정하는데 사용할 이웃 영역을 색상에 유사도에 따라서 선별하는 신뢰도 맵을 정의함으로써 색상 차이에 따른 깊이 경계면의 분리를 더 명확하게 수행하였다. 이 과정에서 RGBD 센서의 한계에 의해 불확실한 데이터가 발생하는 모서리 영역을 제외시키는 불확실성 맵을 함께 사용으로써 전경과 배경의 경계면이 더 깔끔하게 개선된 깊이 영상을 획득할 수 있다.

도 5는 홀이 존재하는 원본 영상과 본 발명의 실시예에 따른 홀 영역 추정에 따른 영상을 나타낸 도면이다.

도 5를 참조하면, 구체적으로 좌측은 키넥트 센서로부터 획득한 원본 깊이 영상을 나타낸 것이고, 우측은 실시예에서 제안한 바와 같이 조인트 홀 필링 방법을 사용하여 홀 영역을 추정한 상태의 영상을 나타낸 것이다. 16bit로 표현되는 깊이 영상에 대하여 측정거리(tr₁)는 50, 임계값(tr₂)은 60을 사용하였으며, 이에 따라 수행한 알고리즘에 의해 입력 영상에서 발생한 홀들이 채워진 것을 확인할 수 있다.

도 6은 조인트 홀 필링을 거친 영상과, 실시예에 따라 이 영상에 컬러 어웨어 필터를 적용한 영상을 나타낸 도면이다.

도 6을 참조하면, 구체적으로 좌측은 도 5에서 조인트 홀 필링을 거친 상태의 영상을 나타내고, 우측은 실시예에 따른 컬러 어웨어 필터를 이용한 알고리즘을 적용한 것으로 객체의 모서리와 경계면 부분이 깔끔하게 향상된 것을 확인할 수 있다.

도 7은 본 발명의 실시예에 따른 가상 방송 영상을 생성하는 시스템을 나타낸 도면이다.

도 7을 참조하면, 본 발명의 가상 방송 영상 생성 시스템은 합성하고자 하는 가상 배경을 입력받는 가상 배경 입력부(110), RGBD 영상 입력부(140), 관심 객체의 분리를 위한 깊이 영상 개선부(150), 관심 객체의 분리를 위한 전경 추출부(160), 추출된 관심 객체와 가상배경을 합성하는 배경 합성부(120) 및 합성된 영상을 출력하는 영상 출력부(130)로 구성될 수 있다.

기존의 가상 방송 제작 및 크로마키 배경 기반의 전경 추출은 제한된 스튜디오 내에서 촬영된 영상에 대하여 전문 인력의 수작업을 통해 이루어져, 오프라인 상에서 실시간으로 가상 방송을 제작하고 이를 출력하기에는 어려움이 있었다. 이에, 본 발명은 RGBD 영상을 입력 받는 RGBD 영상 입력부(140)를 구비하며, 크로마키 스튜디오에 국한되어 있던 전경 추출 및 배경 합성부분의 기능을 수행할 수 있어, 전시회, 컨퍼런스, 포럼, 컨센션 등과 같이 오프라인에서 실시간으로 이루어지는 발표에 대해서도 가상 배경을 합성하고, 생성된 가상 방송을 출력할 수 있게 된다.

RGBD 영상 입력부(140)에서 추출된 RGB 정보가 가진 홀과 경계면 불일치 문제를 해결하기 위해 깊이 영상 개선부(150)에서는 조인트 홀 필링 알고리즘을 사용하여 홀을 추정하여 채우고, 전경 추출부(160)에서는 컬러 어웨어 필터를 적용하여 이질감 없이 가상 배경과 관심 객체를 합성하고 자연스러운 가상 방송 영상을 생성할 수 있다. 그리고, 경계면이 향상된 깊이 영상에 특정 깊이 값을 가지는 영역만을 추출하는 전경 추출 과정을 거치게 되면 배경으로부터 전경을 분리할 수 있게 되는데, 이를 통해 기존에 생성되어 있는 가상 배경과 오프라인에서 획득한 전경을 실시간으로 합성하면 실시간 가상 방송을 생성할 수 있다.

따라서, 실시예를 적용한 가상 방송 영상 생성 시스템은 RGBD 센서를 이용해 크로마키 스튜디오에 국한되어 있던 전경 추출 및 배경 합성 부분을 대체함으로써 전시회, 컨퍼런스, 포럼, 컨센션 등과 같이 오프라인에서 실시간으로 이루어지는 발표에 대해서도 가상 배경을 합성하고, 생성된 가상 방송을 출력할 수 있다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

1. 키넥트 기반의 실시간 다시점 영상 생성 방법으로서, 키넥트 카메라에 구비된 적외선 센서로 깊이 영상 및 색상 영상을 측정하는 단계;
   상기 측정된 깊이 영상에 대해 홀 영역의 위치를 추정하여 이를 영상 형태로 나타낸 이상점 맵을 형성하는 단계;
   상기 색상 영상 정보를 기반으로 이웃 영역과의 색상 차이에 대한 정규 노말 분포에서 기설정된 표준편차 내에 해당되는 색상을 가지는 이웃 픽셀을 선별하는 신뢰도 맵을 형성하는 단계;
   상기 이상점 맵과 신뢰도 맵에 의해 선별된 이웃의 깊이값을 기반으로 조인트 홀 필링(Joint hole filling)을 수행하여 홀이 채워진 깊이 영상을 추출하는 단계; 및
   상기 홀이 채워진 깊이 영상에서 물체와 배경간 경계면의 깊이값을 도출할시, 이웃 픽셀의 깊이값의 가중치에 따른 평균을 도출하는 과정에서 컬러 어웨어 필터를 적용하는 단계;
   를 포함하는 3차원 깊이 영상의 개선 방법.
2. 제 1항에 있어서,
   상기 이상점은 측정된 데이터가 없는 홀과 적외선 패턴의 불안정성에 의해 발생하는 임펄스 잡음이며, 상기 이상점 맵은 하기의 수학식 1에 기재된 이진화기법을 사용하여 표현되는 3차원 깊이 영상의 개선 방법.
   [수학식 1]
   

   

   
   (D: 깊이 영상, ROAD: 임펄스 강도, D: 입력된 깊이 영상, (i, j): 관심있는 픽셀의 위치 좌표, tr₁: 측정범위, tr₂는 홀로 판정할 것인지에 대한 임계값)
3. 제 2항에 있어서,
   상기 신뢰도 맵은 상기 색상 영상에 대한 RGB값과 깊이 영상에 대한 깊이값의 불연속성이 함께 나타난다는 가정하에 자신의 값과 유사도가 높은 RGB값을 가지는 이웃 픽셀들에 대해 표준편차 내에 해당되는 색상을 가지는지의 여부를 판정하며, 하기의 수학식 2로 표현되는 3차원 깊이 영상의 개선 방법.
   [수학식 2]
   

   

   
   (C(u, v): 색상 영상에서 이웃 픽셀의 좌표, σ: 이웃 픽셀 내에서의 색상 차이에 대한 표준편차)
4. 제 3항에 있어서,
   상기 신뢰도 맵과 이상점 맵에서 선택된 이웃 픽셀들의 깊이값의 평균으로 홀의 깊이값을 산출하는 조인트 홀 필링(Joint hole filling)을 수행하며, 상기 조인트 홀 필링은 하기 수학식 3으로 표현되는 3차원 깊이 영상의 개선 방법.
   [수학식 3]
   

   

   
   (D_hf: 홀이 채워진 깊이 영상)
5. 제 1항에 있어서,
   상기 홀이 채워진 깊이 영상에 컬러 어웨어 필터를 적용하는 단계는,
   상기 홀이 채워진 깊이 영상에 소벨 연산자를 적용하여 깊이 값의 불연속성이 존재하는 seed point를 찾고 팽창 연산을 통해 영역을 확장시켜 불확실한 깊이 값을 나타내는 관심 영역을 검출하는 단계를 포함하는 3차원 깊이 영상의 개선 방법.
6. 제 5항에 있어서,
   상기 검출된 관심 영역에 대하여 불확실성이 존재하는 영역은 0, 그 외 영역은 1로 나타내는 불확실성 맵 T를 생성하는 단계를 더 포함하는 3차원 깊이 영상의 개선 방법.
7. 제 6항에 있어서,
   상기 불확실성 맵과 RGB 영상을 통해 상술한 신뢰도 맵을 이용하여 칼라 어웨어 필터(color-aware filter)를 적용하여 모서리와 경계면 부분에서의 깊이 값을 추정하는 단계를 포함하고, 상기 칼라 어웨어 필터는 하기 수학식 4로 표현되는 3차원 깊이 영상의 개선 방법.
   [수학식 4]
   

   

   
   (g는 픽셀간 거리에 따른 가우시안 가중치 함수(Gaussian weight function))

Images