KR101803065B1

KR101803065B1 - 영상 처리 방법 및 그 장치

Info

Publication number: KR101803065B1
Application number: KR1020150084179A
Authority: KR
Inventors: 신승협; 정일권
Original assignee: 한국전자통신연구원
Priority date: 2015-06-15
Filing date: 2015-06-15
Publication date: 2017-11-29
Also published as: KR20160147434A

Abstract

저해상도 깊이 영상을 고해상도 깊이 영상을 보정하는 영상 처리 방법이 제공된다. 이 영상 처리 방법은, 제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는 제1 깊이 영상(depth image), 상기 깊이 영상에 대응하는 실사 영상(real image) 및 가상 객체를 포함하는 컴퓨터 그래픽 영상(CG image)을 입력받는 단계와, 상기 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수보다 큰 제2 양자화 단계의 수로 보정한 제2 깊이 영상을 생성하는 단계 및 상기 제2 깊이 영상, 상기 실사 영상 및 상기 컴퓨터 그래픽 영상을 혼합한 혼합 현실 영상(mixed real image)을 생성하는 단계를 포함한다.

Description

영상 처리 방법 및 그 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}

본 발명은 영상 처리 방법 및 그 장치에 관한 것으로서, 특히, 혼합 현실 영상을 생성하기 위한 영상 처리 방법 및 그 장치에 관한 것이다.

실제 장면을 촬영한 실사 영상과 컴퓨터 그래픽스 기술로 생성한 CG 영상을 합성하여 혼합 현실 영상(mixed reality image)을 생성하는 혼합 현실 기술(mixed reality technology)은 사용자의 증강 현실 체험(augmented reality experience)을 한 단계 끌어올릴 수 있는 기술이다.

혼합 현실 기술은 의료, 차량 내비게이션 등 다양한 분야에 적용되어 왔으며, 최근, 구글 글래스, 소형 HMD 등의 웨어러블 기기 산업의 성장으로 혼합 현실 기술의 중요성은 더욱 커지고 있다.

고품질의 혼합 현실 영상을 만들기 위해서는 실제 장면의 색상 정보뿐만 아니라 깊이 정보도 필요하다.

깊이 정보를 얻는 방법에는 여러 가지 방법이 있으나 속도와 정확성 면에서 깊이 카메라를 이용하는 방법이 가장 널리 사용되고 있다.

깊이 카메라는 구조광(structured light), ToF(Time of Flight) 등의 방식을 이용하여 실제 영상 내의 각 픽셀의 깊이 값을 획득할 수 있다.

일반적으로 깊이 카메라의 출력 영상은 8비트 깊이의 회색 영상(grayscale image)으로 깊이 값을 총 256 단계로 양자화하여 표현한다.

이러한 깊이 영상은 사용자의 동작 분석 등의 응용 분야에서는 적용 가능하지만, 고해상도 및 고품질의 혼합 영상을 생성하는 데에는 여러 문제가 있다.

특히, 깊이 영상과 CG 영상을 합성하는 경우, 가장 큰 문제가 되는 것은 깊이 영상 위에 나타나는 CG 영상에 포함된 객체(이하, CG 객체)의 그림자 품질이다. 즉, 양자화된 깊이 영상에 합성된 CG 객체의 그림자의 에지 부분이 계단과 같은 형태로 시인된다. 이것은 원래 실사 영상의 그림자 품질과 대비되어 전체 혼합 영상의 사실성을 떨어뜨린다. 이러한 문제는 깊이 카메라의 깊이 해상도가 낮기 때문이다.

따라서, 본 발명의 목적은 저해상도의 깊이 영상을 고해상도의 깊이 영상으로 보정하고, 보정된 깊이 영상을 이용하여 실시 영상과 CG 영상을 혼합한 혼합 영상의 표시 품질을 높이는 영상 처리 방법 및 그 장치를 제공하는 데 있다.

상술한 목적을 달성하기 위한 본 발명의 일면에 따른 영상 처리 방법은, 제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는 제1 깊이 영상(depth image), 상기 깊이 영상에 대응하는 실사 영상(real image) 및 가상 객체를 포함하는 컴퓨터 그래픽 영상(CG image)을 입력받는 단계와, 상기 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정한 제2 깊이 영상을 생성하는 단계 및 상기 제2 깊이 영상, 상기 실사 영상 및 상기 컴퓨터 그래픽 영상을 혼합한 혼합 현실 영상(mixed real image)을 생성하는 단계를 포함한다.

본 발명의 다른 일면에 따른 영상 처리 장치는, 제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는 제1 깊이 영상(depth image), 상기 깊이 영상에 대응하는 실사 영상(real image) 및 가상 객체를 포함하는 컴퓨터 그래픽 영상(CG image)을 입력받고, 상기 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정한 제2 깊이 영상을 생성하는 영상 처리부 및 상기 제2 깊이 영상, 상기 실사 영상 및 상기 컴퓨터 그래픽 영상을 혼합한 혼합 현실 영상(mixed real image)을 생성하는 영상 혼합부를 포함한다.

본 발명에 따르면, 저해상도의 깊이 영상을 고해상도의 깊이 영상으로 보정하고, 보정된 깊이 영상을 이용하여 실시 영상과 CG 영상을 혼합한 혼합 영상을 생성함으로써, 혼합 영상의 표시 품질을 향상시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 저해상도 깊이 영상의 고속 비양자화 장치의 블록도이다.
도 2는 도 1에 도시된 영상 획득부에서 획득한 실사 영상을 보여주는 도면이다.
도 3은 도 1에 도시된 영상 획득부에서 획득한 깊이 영상을 보여주는 도면이다.
도 4는 도 1에 도시된 영상 처리부에서 입출력되는 제1 깊이 영상(DI)과 제2 깊이 영상(CDI)을 함께 보여주는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법을 보여주는 흐름도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

본 발명의 이해를 돕기 위해, 명세서 전반에 걸쳐 사용되는 용어들을 아래와 같이 소개한다.

양자화

양자화는 연속적으로 분포된 데이터를 유한한 bit-rate의 저장 공간에 저장하기 위해 이산적인 간격으로 샘플링 하는 과정이다.

이러한 양자화는 영상 처리 기술 분야에서는 색상 양자화(color quantization)로 부를 수 있으며, 입력 영상은 색상 양자화 과정을 통해 각 픽셀의 색을 가장 가까운 대표색으로 치환된다. 이러한 치환으로 인해, 결과 영상을 단일 색상 영역들로 분할된다. 따라서 색상 양자화된 영상에서는 연속적이며 세부적인 색상 변화가 사라지게 된다.

비양자화

비양자화는 양자화된 데이터로부터 원래의 연속적인 데이터를 추정하는 과정을 의미한다.

깊이 영상

깊이 영상의 각 픽셀이 8 비트의 깊이 값으로 표현되는 경우, 각 픽셀의 깊이 값은 256(2⁸)개의 양자화 단계로 표현된다. 256개의 양자화 단계로 표현되는 깊이 영상은 저해상도의 영상으로 정의한다.

본 발명에서 16 비트 이상의 깊이 값으로 표현되는 깊이 영상을 고해상도의 깊이 영상으로 설명한다.

아래에서 설명하겠지만, 영상 처리부가 배정도 부동소수점(double float) 기반의 GPU 구현되는 경우, 깊이 영상의 각 픽셀을 64 비트의 깊이 값으로 표현할 수 있지만, 각 픽셀의 깊이값을 16비트로 표현하는 경우, 즉, 깊이 영상이 65536(2¹⁶)개의 양자화 단계로 표현되는 경우에서도 적절한 표시 품질을 제공할 수 있다.

저해상도의 깊이 영상에서 고해상도의 깊이 영상으로의 보정(비양자화)은 양자화 단계의 개수 확장(256 단계 -> 65536단계)을 의미하고, 다르게는, 단계와 단계 사이의 간격 감소로 해석할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세 기술한다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치(200)는 저해상도의 깊이 영상(이하, 제1 깊이 영상)을 고해상도의 깊이 영상(이하, 제2 깊이 영상)으로 보정하고(혹은 비양자화 과정), 제2 깊이 영상, 실사 영상 및 CG 영상을 혼합함으로써, 실사 영상과 CG 영상을 혼합한 혼합 영상의 그림자 품질을 향상시킨다. 특히, 영상 처리 장치(200)는 상기 제2 깊이 영상에 혼합된 상기 가상 객체의 그림자 품질과 상기 실사 영상에 포함된 그림자 품질 간의 큰 차이로 인한 혼합 영상의 그림자 품질을 개선한다.

이를 위해, 영상 처리 장치(200)는 영상 처리를 수행할 수 있는 범용 또는 전용 컴퓨팅 장치일 수 있으며, 도 1에는 영상 처리 장치(200)의 가장 기본적인 구성들이 도시된다.

구체적으로, 영상 처리 장치(200)는 영상 획득부(210), 영상 처리부(230), 메모리(250) 및 영상 혼합부(270)를 포함한다.

영상 획득부(210)는 제1 및 제2 영상 획득부(212, 214)를 포함한다.

제1 영상 획득부(212)는 실제 객체(real object)를 촬영한 제1 깊이 영상(Depth Image: DI)을 획득하는 구성으로서, 깊이 카메라일 수 있다.

제1 깊이 영상(DI)은 거리 정보를 깊이(gray)값으로 표현한 영상으로서, 제1 깊이 영상(DI)의 각 픽셀은 제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는다. 제1 깊이 영상(DI)의 각 픽셀은 8 비트의 계조 값으로 표현하는 경우, 256(0~255) 단계로 구분되는 간격을 가질 수 있다. 본 실시 예에서 제1 영자화 단계의 수는 256 단계일 수 있다.

이러한 제1 깊이 영상(DI)은 도 2에 도시된 바와 같이, 그레이 영상일 수 있다. 거리 정보는 제1 영상 획득부(212)의 시점으로부터 실제 객체까지의 거리를 의미한다. 도 2의 제1 깊이 영상(DI)에서, 검정색에 가까운 계조로 표시되는 부분은 상기 시점으로부터 먼 거리를, 하얀색에 가까운 계조로 표시되는 부분은 시점으로부터 근접한 거리임을 나타낸다.

제2 영상 획득부(214)는 상기 실제 객체를 촬영한 실사 영상(Real Image: RI)을 획득하는 구성으로서, 실사 영상(RI)의 각 픽셀은 RGB 값을 갖는다.

실사 영상(RI)은 도 3에 도시된 바와 같이, 컬러 영상(color image)일 수 있다. 이 경우, 상기 제2 영상 획득부(214)는 컬러 영상을 획득할 수 있는 통상의 카메라일 수 있다.

영상 처리부(230)는 제1 영상 획득부(210)로부터 상기 제1 깊이 영상(DI)을 제공받는다. 영상 처리부(230)는 제공받은 제1 깊이 영상(DI)의 각 픽셀이 갖는 제1 양자화 단계의 수로 양자화된 깊이 값을 상기 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정한 제2 깊이 영상(Compensated DI: CDI)을 생성한다.

이를 위해, 영상 처리부(230)는 영역 분할부(232), 경계 보정부(234) 및 표면 재구성부(236)를 포함한다.

영역 분할부(232)는 제1 깊이 영상(DI)의 전체 영역을 다수의 영역(또는 다수의 평탄 영역)으로 분할한다. 각 영역은 동일한 깊이 값을 갖는 픽셀들의 집합으로 정의된다.

경계 보정부(234)는 각 영역 내부의 에너지를 최소화하여 인접한 영역들 간의 연속적인 연결을 위해, 각 영역의 경계(각 영역 내의 가장자리 영역)를 보정한다.

표면 재구성부(236)는 경계가 보정된 각 영역의 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정한다. 이렇게 보정된 각 영역은 부드러운 표면을 재구성되어 제2 깊이 영상(CDI)을 구성하게 된다.

표면 재구성부(236)는 깊이 값이 제2 양자화 단계의 수로 보정된 제2 깊이 영상(CDI)을 메모리(250)에 복사(또는 저장)한다.

영상 혼합부(270)는 상기 메모리(250)에 복사된 제2 깊이 영상(CDI)과 제2 영상 획득부(214)에 의해 획득한 실사 영상 및 외부에서 제작된 가상 오브젝트를 포함하는 CG 영상을 제공받고, 이들을 혼합한 혼합 현실 영상(Mixed Real Image)을 생성한다.

이하, 도 1에 도시된 영상 처리부(230)의 각 구성들(232, 234, 236)에서 수행되는 처리 과정을 좀더 상세히 설명한다.

영역 분할부(232)의 처리과정

제1 양자화 단계의 수로 양자화된 깊이값을 제2 양자화 단계의 수로 양자화된 깊이값으로 보정을 위하여, 먼저, 제1 깊이 영상(DI)을 깊이 값이 동일한 픽셀들의 집합으로 분할한다. 하나의 집합은 하나의 영역으로 정의된다.

하나의 영역 S _k 는 아래의 수학식 1로 표현되는 픽셀 집합이다

이때,

는 영역 k 에 포함된 픽셀 중 i 번째를 의미하며, (

)는 그 픽셀의 위치이다.

집합을 정의하기 위해, 각 픽셀의 깊이값과 각 픽셀에 인접한 주변 픽셀의 깊이 값이 비교된다. 각 픽셀과 동일한 깊이 값을 갖는 주변 픽셀은 하나의 집합에 포함된다. 주변 픽셀은 각 픽셀에 인접한 위쪽 픽셀, 아래쪽 픽셀, 왼쪽 픽셀 및 오른쪽 픽셀을 포함한다.

경계 보정부(234)의 처리 과정

분할된 각 영역 내의 픽셀들은 동일한 깊이 값을 갖지만, 인접한 영역은 서로 불연속적인 깊이 값을 갖는다. 인접한 영역들 간의 연속적인 연결성을 형성하기 위해, 인접한 영역들을 구분하는 경계가 보정된다.

구체적으로, 제1 깊이 값을 갖는 픽셀들의 집합을 제1 영역으로 정의하고, 상기 제1 깊이 값과 다른 제2 깊이 값을 갖는 픽셀들이 집합을 제2 영역으로 정의할 때, 상기 제1 영역의 가장 자리 영역과 상기 제1 영역의 가장 자리 영역에 인접한 상기 제2 영역의 가장 자리 영역을 상기 경계로 설정한다.

이후, 상기 제1 영역의 가장 자리 영역의 깊이값을 상기 제1 및 제2 깊이 값의 평균값으로 보정하고, 상기 제2 영역의 가장 자리 영역의 깊이값을 상기 평균값을 보정함으로써, 제1 영역과 제2 영역을 구분하는 경계가 보정된다.

표면 재구성부(236)의 처리 과정

경계가 보정된 각 영역 내의 픽셀들의 양자화된 깊이 값은

로 나타낼 수 있는 이산 라플라스 방정식(discrete Laplace equation)로 처리하여, 상기 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정(또는 비양자화)된다. 보정된 결과는 제2 깊이 영상(CDI)으로 재구성된다.

한편, 비양자화 과정의 활용도를 높이기 위해, 보정 과정(비양자화 과정)은 매우 빠른 속도로 처리될 필요가 있다. 예를 들어 실사 영상과 저해상도의 깊이 영상이 실사간으로 획득되고, 그 위에 가상 오브젝트를 포함한 CG 영상을 혼합하는 과정이 실시간으로 처리된다면, 최종 혼합 현실 영상의 사실감을 획기적으로 향상시킬 수 있다.

이를 위하여 본 발명의 일 실시 예에서는, 제1 깊이 영상(DI)으로부터 분할된 각 영역을 라플라스 방정식으로 병렬로 처리한다. 이러한 병렬 처리를 위해, 본 발명의 일 실시 예에 따른 영상 처리부(230)는 GPGPU(General Purpose Graphics Processing Unit)로 구현될 수 있다.

영상 처리부(230)가 GPGPU로 구현된 경우, 가우스-자이델 반복(Gauss-Seidel iteration) 절차에 따라 분할된 각 영역의 깊이 값을 보정(비양자화)하고, 그 보정된 결과를 메모리(250)에 복사한다.

또한 제1 깊이 영상(DI)에서 분할된 하나의 영역을 이산 라플라스 방정식으로 계산하는 동안, 제1 깊이 영상(DI)에서 분할된 다음 영역을 GPGPU에 동시에 복사하는 파이프라인 방식을 통하여 전체 계산량을 최대화한다.

도 4의 (a)는 8비트의 제1 깊이 영상(DI)의 일 예이고, (b)는 본 발명의 일 실시 예에 따른 고속 보정 과정(고속 비양자화 과정)으로 처리된 제2 깊이 영상(CDI)이다.

도 4의 (b)에서 볼 수 있듯이, 본 발명의 일 실시 예에 따른 고속 보정 과정(고속 비양자화 과정)으로 처리된 제2 깊이 영상은 8 비트의 깊이 영상에서 나타나는 계단 패턴 없이 표시 품질이 향상되었음을 알 수 있다. 도 4의 (b) 보정 후 16비트로 저장된 깊이 영상이다.

도 5는 본 발명의 일 실시 예에 따른 저해상도 깊이 영상의 고속 비양자화 방법을 보여주는 흐름도이다. 특별히 언급하지 않는 하, 아래에서 설명하는 각 단계의 수행 주체는 도 2에 도시된 영상 처리부(230)로 한정한다.

도 5를 참조하면, 먼저, 통상의 카메라를 이용하여 실제 객체를 촬영한 실사 영상과 깊이 카메라를 이용하여 상기 실제 객체를 촬영한 제1 양자화 단계의 수로 양자화된 제1 깊이 영상(DI)을 입력 받는다(S310).

이어, 제1 깊이 영상(DI)을 다수의 영역으로 분할한다(S320). 각 영역은 동일한 깊이 값을 갖는 픽셀들의 집합이다. 이때, 분할된 하나의 영역 내의 가장 자리 영역의 깊이 값과 상기 하나의 영역에 인접한 인접 영역의 가장 자리 영역을 동일한 깊이 값으로 보정한다. 동일한 깊이 값을 보정된 하나의 영역 내의 가장 자리 영역과 인접 영역 내의 가장 자리 영역은 하나의 영역과 인접 영역이 공유하는 경계 영역으로 설정된다.

이어, 분할된 각 영역들의 깊이 값을 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정하여 각 영역을 부드러운 표면으로 재구성한다(S330). 이때, 분할된 각 영역들의 깊이 값을 제2 양자화 단계의 수로 보정하기 위해, 이산 라플라스 방정식(discrete Laplace equation)이 사용될 수 있다.

이산 라플라스 방정식(discrete Laplace equation)을 사용하여 각 영역의 깊이 값을 제2 양자화 단계의 수로 비양자화함으로써, 분할된 각 영역들이 부드러운 표면으로 재구성된 제2 깊이 영상(CDI)을 얻을 수 있다.

이어, 제2 깊이 영상(CDI), 실사 영상(RI) 및 CG 영상을 혼합하여 혼합 현실 영상(MRI)을 획득한다(S340). 이와 같이, 깊이 값이 제2 양자화 단계의 수로 보정된(또는 비양자화된) 제2 깊이 영상(CDI)을 이용하여 획득한 혼합 현실 영상(MRI)에서는, 상기 제2 깊이 영상(CDI)에 혼합된 상기 가상 객체의 그림자 품질과 상기 실사 영상의 그림자 품질 간의 차이가 감소되어, 향상된 그림자 품질을 제공할 수 있게 된다.

이상에서와 같이 본 발명은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims

제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는 제1 깊이 영상(depth image), 상기 깊이 영상에 대응하는 실사 영상(real image) 및 가상 객체를 포함하는 컴퓨터 그래픽 영상을 입력받는 단계;
상기 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수 보다 많은 제2 양자화 단계의 수로 보정한 제2 깊이 영상을 생성하는 단계; 및
상기 제2 깊이 영상, 상기 실사 영상 및 상기 컴퓨터 그래픽 영상을 혼합한 혼합 현실 영상(mixed real image)을 생성하는 단계를 포함하고,
상기 제2 깊이 영상을 생성하는 단계는,
상기 제1 깊이 영상을 다수의 영역으로 분할하는 단계; 및
상기 각 영역의 깊이 값을 상기 이산 라플라스 방정식으로 병렬 처리하여 상기 제2 양자화 단계의 수로 보정하는 단계를 포함하는 것
인 영상 처리 방법.
제1항에 있어서, 상기 혼합 현실 영상을 생성하는 단계는,
상기 제2 깊이 영상에 혼합된 상기 가상 객체의 그림자 품질과 상기 실사 영상의 그림자 품질 간의 차이가 감소된 상기 혼합 현실 영상을 생성하는 단계임을 특징으로 하는 영상 처리 방법.
삭제
삭제
제1항에 있어서, 상기 제1 깊이 영상을 다수의 영역으로 분할하는 단계에서, 상기 다수의 영역 각각은,
동일한 깊이 값을 갖는 픽셀들의 집합임을 특징으로 하는 영상 처리 방법.
삭제
제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는 제1 깊이 영상(depth image), 상기 깊이 영상에 대응하는 실사 영상(real image) 및 가상 객체를 포함하는 컴퓨터 그래픽 영상을 입력받는 단계;
상기 제1 깊이 영상을 제1 영역과 제2 영역을 포함하는 다수의 영역으로 분할하되, 제1 깊이값을 갖는 픽셀들의 집합을 상기 제1 영역으로 분할하고, 상기 제1 영역에 인접하고 상기 제1 깊이값과 다른 제2 깊이값을 갖는 픽셀들의 집합을 상기 제2 영역으로 분할하는 단계;
상기 제1 영역의 가장 자리 영역과 상기 제1 영역의 가장 자리 영역에 인접한 상기 제2 영역의 가장 자리 영역을 경계로 설정하고, 상기 제1 영역의 가장 자리 영역의 깊이값을 상기 제1 및 제2 깊이 값의 평균값으로 보정하고, 상기 제2 영역의 가장 자리 영역의 깊이값을 상기 평균값으로 보정하여 상기 제1 영역과 상기 제2 영역 간의 경계를 보정하는 단계;
각 영역의 상기 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수 보다 많은 제2 양자화 단계의 수로 보정한 제2 깊이 영상을 생성하는 단계; 및
상기 제2 깊이 영상, 상기 실사 영상 및 상기 컴퓨터 그래픽 영상을 혼합한 혼합 현실 영상(mixed real image)을 생성하는 단계
를 포함하는 영상 처리 방법.
제1 양자화 단계의 수(number)로 양자화된 깊이 값을 갖는 제1 깊이 영상(depth image), 상기 깊이 영상에 대응하는 실사 영상(real image) 및 가상 객체를 포함하는 컴퓨터 그래픽 영상(CG image)을 입력받고, 상기 양자화된 깊이 값을 이산 라플라스 방정식(discrete Laplace equation)으로 처리하여 상기 제1 양자화 단계의 수보다 많은 제2 양자화 단계의 수로 보정한 제2 깊이 영상을 생성하는 영상 처리부; 및
상기 제2 깊이 영상, 상기 실사 영상 및 상기 컴퓨터 그래픽 영상을 혼합한 혼합 현실 영상(mixed real image)을 생성하는 영상 혼합부를 포함하고,
상기 영상 처리부는,
상기 제1 깊이 영상을 다수의 영역으로 분할하는 영역 분할부; 및
상기 각 영역의 깊이 값을 상기 이산 라플라스 방정식으로 병렬 처리하여 상기 제1 양자화 단계의 수를 상기 제2 양자화 단계의 수로 보정하는 표면 재구성부
를 포함함을 특징으로 하는 영상 처리 장치.
제8항에 있어서, 상기 영상 혼합부는,
상기 제2 깊이 영상에 혼합된 상기 가상 객체의 그림자 품질과 상기 실사 영상의 그림자 품질 간의 차이가 감소된 상기 혼합 현실 영상을 생성함을 특징으로 하는 영상 처리 장치.
삭제
삭제
제8항에 있어서, 상기 영역 분할부에 의해 분할된 상기 다수의 영역 각각은,
동일한 깊이 값을 갖는 픽셀들의 집합임을 특징으로 영상 처리 장치.
제8항에 있어서, 상기 다수의 영역은 제1 영역과 상기 제1 영역에 인접한 제2 영역을 포함하고,
상기 영역 분할부는,
상기 제1 깊이 영상 내에서, 제1 깊이 값을 갖는 픽셀들의 집합을 상기 제1 영역으로 분할하고, 상기 제1 깊이 영상 내에서, 상기 제1 깊이 값과 다른 제2 깊이 값을 갖는 픽셀들의 집합을 상기 제2 영역으로 분할함을 포함함을 특징으로 하는 영상 처리 장치.
제13항에 있어서, 상기 제1 영역과 상기 제2 영역의 경계를 보정하는 경계 보정부를 더 포함하고,
상기 경계 보정부는,
상기 제1 영역의 가장 자리 영역과 상기 제1 영역의 가장 자리 영역에 인접한 상기 제2 영역의 가장 자리 영역을 상기 경계로 설정하고, 상기 제1 영역의 가장 자리 영역의 깊이값을 상기 제1 및 제2 깊이 값의 평균값으로 보정하고, 상기 제2 영역의 가장 자리 영역의 깊이값을 상기 평균값을 보정함을 특징으로 하는 영상 처리 장치.
제8항에 있어서, 상기 표면 재구성부는,
가우스-자이델 반복(Gauss-Seidel iteration) 절차에 따라 상기 각 영역의 깊이 값을 상기 이산 라플라스 방정식으로 처리함을 특징으로 하는 영상 처리 장치.