KR101465663B1 - 압축 센싱을 사용하는 깊이 맵 부복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 압축 센싱을 사용하여 경계면을 처리한 후, 계단 현상을 제거하는 균질 필터를 적용하여 보다 높은 품질의 깊이 맵을 생성하는 부복호화 방법 및 장치를 제공한다.

Description

압축 센싱을 사용하는 깊이 맵 부복호화 방법 및 장치{METHODS AND APPARATUSES FOR ENCODING AND DECODING DEPTH MAP USING COMPRESSIVE SENSING}

영상 부호화 및 복호화 방법에 관한 것으로서, 더욱 상세하게는 깊이맵의 부호화 및 복호화 방법에 관한 것이다.

깊이맵은 이미지내에서 상관적인 깊이 데이터에 관련된 정보를 가진 그레이스케일 이미지이다. 깊이맵은 뷰어 또는 카메라로부터 가까운 픽셀은 밝은 픽셀 값을 가지며, 예를들어 높은 픽셀 값을 가질 수 있다. 깊이맵 데이터는 3D 비디오 어플리케이션의 영상합성에 있어서 중요한 역할을 수행한다. 깊이맵의 효율적인 압축은 추가적인 비트를 절약하기 위해 사용된다. 깊이맵은 컬러 텍스쳐 이미지와 비교하여 매우 구분되는 특징을 가진다. 깊이 맵의 보다 유용하고 중요한 점은 깊이맵은 불연속적인 스무스 영역을 가지고 그러한 영역 사이에는 샤프 경계가 존재한다. 샤프 경계의 영역은 이미지의 대부분의 에너지를 포함하고, 이는 깊이 맵 데이터의 가장 중요한 정보가 경계 영역에 집중되어 있음을 의미한다. 따라서, 경계 부분의 정확한 깊이 맵을 보존하고 추정하는 것이 중요하다.

도 1 은 H.264 코딩을 사용하여 깊이맵을 압축한 경우 복원된 깊이맵 영상의 예이다. 기존 코덱은 픽셀을 예측을 할 때, 인접해 있는 픽셀의 값을 직접적으로 사용한다. 하지만, 이 방법은 객체마다 다른 깊이값 그룹을 가지는 깊이맵에서는 적절하지 않다. 같은 객체 내에 있는 픽셀들은 인접 픽셀과 매우 유사한 픽셀값을 가지기 때문에 높은 예측을 보이지만, 그 값이 급격하게 변하는 부분에서는 나쁜 예측률을 보이기 때문이다. 따라서, 이러한 압축 방법은 깊이맵에서 가장 중요한 정보인 경계면을 압축하기에는 적절하지 않은 점이 있다.

따라서, 이러한 깊이맵 압축에 있어서, 경계면의 압축 품질을 높이는 방법이 요구된다.

상기한 문제를 해결하기 위한 본 발명의 목적은 깊이 맵의 경계부분을 고려하여 다른 부분과 별도로 부호화를 수행함으로써 깊이 맵의 압축 품질을 향상하는 부호화 방법 및 복호화 방법을 제공하는 것이다.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예들에 따른 부호화 방법은 부호화 장치에서 수행되는 영상 부호화 방법에 있어서, 영상에서 제 1 영역 및 제 2 영역을 선정하는 단계 및 상기 제 1 영역은 제 1 방법을 사용하여 부호화 하고, 상기 제 2 영역은 제 2 방법을 사용하여 부호화하는 단계를 포함한다.

상기 영상은 깊이 맵 영상일 수 있다. 상기 영상에서 제 1 영역 및 제 2 영역을 선정하는 단계는, 상기 영상에서 경계를 검출하는 단계 및 상기 영상에서 상기 검출된 경계에 대응되는 영역을 제 1 영역으로 선정하는 단계를 포함할 수 있다. 상기 제 1 방법은 압축 센싱 방법일 수 있다.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예들에 따른 복호화 방법은 영상 복호화 장치에서 수행되는 영상 복호화하는 방법에 있어서, 제 1 방법을 사용하여 영상의 제 1 영역을 복호화하는 단계 및 제 2 방법을 사용하여 상기 영상의 제 2 영역을 복호화 하는 단계를 포함한다.

상기 영상은 깊이 맵 영상이고, 상기 제 1 영역은 상기 영상의 경계에 대응되는 영역일 수 있다. 상기 제 1 방법은 압축 센싱 방법일 수 있다. 상기 복호화 방법은 복호된 영상의 홀 아티팩트를 제거하는 단계를 더 포함할 수 있다. 상기 복호된 영상의 홀 아티팩트를 제거하는 단계는 메디안 필터를 사용하여 수행될 수 있다. 상기 복호화 방법은 상기 영상의 경계 주변의 계단 아티팩트를 제거하는 단계를 더 포함할 수 있다.

상기 영상의 계단 아티팩트를 제거하는 단계는, 균질 필터를 사용할 수 있다. 상기 영상의 계단 아티팩트를 제거하는 단계는, 타겟 픽셀과 상기 타겟 픽셀의 이전 픽셀이 같은 대상을 나타내는지를 판단하는 단계를 더 포할 수 있다.

상기 타겟 픽셀과 상기 이전 픽셀 간의 픽셀값의 차이가 미리 설정된 값 이하인 경우 상기 타겟 픽셀과 상기 이전 픽셀은 동일한 대상을 나타내는 것으로 결정 할 수 있다.

상기 타겟 픽셀과 상기 타겟 픽셀 이후 픽셀인 제 1 이후 픽셀 간의 픽셀값의 차이가 미리 설정된 값보다 큰 경우, 상기 타겟 픽셀의 픽셀 값은 상기 제 1 이후 픽셀 또는 상기 이전 픽셀의 픽셀값으로 설정할 수 있다.

상기 타겟 픽셀과 상기 제 1 이후 픽셀 간의 픽셀값의 차이가 미리 설정된 값 이하이고, 상기 타겟 픽셀과 상기 제 1 이후 픽셀의 다음 픽셀인 제 2 이후 픽셀간의 픽셀값의 차이가 미리 설정된 값 보다 큰 경우, 상기 타겟 픽셀의 픽셀 값은 상기 제 2 이후 픽셀 또는 상기 이전 픽셀의 픽셀값으로 설정할 수 있다.

상기 타겟 픽셀과 상기 제 1 이후 픽셀 간의 픽셀값의 차이가 미리 설정된 값 이하이고, 상기 타겟 픽셀과 상기 제 1 이후 픽셀의 다음 픽셀인 제 2 이후 픽셀간의 픽셀값의 차이가 미리 설정된 값 보다 큰 경우, 상기 타겟 픽셀의 픽셀 값은 상기 이전 픽셀의 픽셀값으로 설정하고, 상기 제 1 이후 픽셀의 픽셀 값은 상기 제 2 이후 픽셀의 픽셀 값으로 설정할 수 있다.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예들에 따른 영상 부호화 장치는 영상 부호화를 수행하는 영상 부호화 장치에 있어서, 영상에서 제 1 영역 및 제 2 영역을 선정하고, 상기 제 1 영역은 제 1 방법을 사용하여 부호화 하고, 상기 제 2 영역은 제 2 방법을 사용하여 부호화하는 부호화부를 포함한다.

상기 영상은 깊이 맵 영상이며, 상기 영상에서 검출된 경계면에 대응되는 영역을 제 1 영역으로 선정하고, 상기 제 1 방법은 압축 센싱 방법일 수 있다.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예들에 따른 복호화 장치는 영상 복호화를 수행하는 영상 복호화 장치에 있어서, 제 1 방법을 사용하여 영상의 제 1 영역을 복호화 하고, 제 2 방법을 사용하여 상기 영상의 제 2 영역을 복호화 하는 복호화부를 포함한다.

상기 영상은 깊이 맵 영상이고, 상기 제 1 영역은 상기 영상의 경계에 대응되는 영역이며, 상기 복호화부는 복호된 영상의 홀 아티팩트를 제거하고, 상기 영상의 경계 주변의 계단 아티팩트를 제거할 수 있다.

전술한 본 발명의 일 실시예들에 따른 부복호화 방법 및 장치는 압축 센싱을 사용하여 경계면을 처리한 후, 계단 현상을 제거하는 균질 필터를 적용하여 보다 높은 품질의 깊이맵을 생성하는 효과를 가진다.

도 1 은 종래 방식인 H.264 코딩을 사용하여 깊이맵을 압축한 경우 복원된 깊이맵 영상의 예이다.
도 2는 압축 센싱을 개념적으로 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 부호화 장치가 영상을 부호화하는 방법을 설명하는 순서도이다.
도 4는 도 3에서 도시된 본 발명의 일 실시 예에 따른 부호화 단계를 상세히 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 다른 복호화 장치가 영상의 복호화를 수행하는 방법을 설명하는 순서도이다.
도 6은 도 5에서 설명되는 복호화 방법이 부가 단계를 더 포함하는 예를 설명하는 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 부호화 방법을 사용하여 압축된 영상에서 나타나는 홀 아티팩트를 나타내는 도면이다.
도 8는 본 발명의 일 실시 에에 따른 부호화 장치 또는 복호화 장치가 메디안 필터를 사용하여 홀을 제거한 예를 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 부복호화 장치가 깊이 ?의 경계 영역을 구분하여 압축 센싱 방법으로 압축한 깊이 맵 영상과 종래의 방법을 사용하여 압축한 깊이 맵 영상의 품질을 비교하는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 균질 필터를 설명하는 도면이다.
도 11은 단일 중간 단계의 예를 도시하는 도면이다.
도 12는 복수 중간 단계의 예를 도시하는 도면이다.
도 13은 본 발명의 일 실시 예에 따른 균질 필터(homogenizing filter)를 설명하는 순서도이다.
도 14는 내지 도 15는 균질 필터의 적용 조건을 설명하는 도면이다.
도 16은 본 발명의 일 실시 예에 따른 균질 필터(homogenizing filter)를 설명하는 순서도이다.
도 17은 본 발명의 일 실시 예에 따른 부복호화 방법을 수행하는 부복호화 장치를 도시하는 블록도이다.
도 18 내지 도 20은 본 발명의 일 실시 예에 따른 부복호화 방법에 따라 압축된 깊이맵과 종래 방법을 사용하여 압축된 깊이 맵의 품질을 비교한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 일 실시 예에 따른 깊이맵 부복호화 방법은 깊이맵에서 가장 중요한 정보인 경계면을 압축할 때, 모든 픽셀의 가치를 동등하게 간주하는 압축 센싱 기법의 장점을 이용하여 깊이맵의 경계면을 따로 추출하여 압축 센싱으로 부호화 및 실시한다. 이때 다른 일부분은 종래의 코덱을 이용하여 부호화 및 복호화 할 수 있다. 그리고 복호화 과정에서 그로 인해 파생되는 계단 현상을 해결해 주는 균일 필터(homogenizing filter)를 이용하여 후처리를 실시하여 보다 높은 품질의 깊이맵을 획득한다.

압축 센싱 기법은 스페어(spares) 또는 압축가능한 신호들이 원래의 신호로 재구성되는 것을 가능하게 한다. 전체 컴포넌트중에 0 아닌 값이 적게 포함되었을 경우에 스페어 또는 압축가능함이 의미 있다. 일반적으로 대부분의 신호들은 스페어 또는 압축가능한 신호들이다.

도 2는 압축 센싱을 개념적으로 설명하는 도면이다. 압축 센싱의 주된 과제는 아래의 식으로부터의 해를 찾는 것이다.

스페어 신호, x∈R^N,가 K-희소(sparse)임을 가정하자. 여기서, K-희소는 신호의 모든 컴포넌트 개수를 N이라 할 때, 신호내 N보다 매우 작은 K 개의 0 아닌 값의 요소들을 가지고, 일부 베이시스 Ψ에서 계수 벡터 θ로 변환될 수 있다. 예를들어 x = Ψθ이다. Ψ는 x를 대표하는 희소의 베이시스로 알려져 있다. 이러한 희소의 예로 푸리에(Fourier) 또는 웨이브렛(Wavelet)이 있다.

Φ는 MxN 측정 매트릭스이다. Φ는 x로부터 M개의 측정을 수행하는 샘플링 매트릭스를 가진다. 압축 센싱 이론에 따라, x로부터 3K 정도의 측정을 샘플하면, 오리지널 신호 x를 완벽하게 회복하는 것은 불가능하고, 신호 벡터 x를 균등하게 투사하는 측정 매트릭스 RIP(restricted isometry property)를 만족하는것도 불가능하다. 그리하여, 우리는 수학식 1을 사용하는 측정 y를 사용한다. 도 1은 압축 센싱 프로세스를 나타낸다. 되돌아가는(오른쪽에서 왼쪽으로) 방향은 샘플링 프로세스이다. 반대 방향은 재구성 프로세스이다.

측정 y를 사용하여, 압축 센싱은 K-희소 신호 x를 회수한다. 측정 y로부터 x를 추정하기 위해, 아래의 수학식 2와 같이 최소화된 문제로부터 가장 희소한(sparsest) 해를 찾아야 한다.

L₀ 최소화는 적절한 신호 x를 습득하는 상당히 정확한 방법이다. 그러나, 이는 NP 문제에 해당하여 해결하기 어렵다. 대신에, 압축센싱 방법은 재구성의 정확도 뿐만 아니라, 문제를 해결하기 위한 합리적인 시간을 충족하는 L₁ 최소화 문제를 사용한다. 압축 센싱 방법은 L₁최소화를 사용하여 가장 희소한 해를 찾는 아래의 수학식 3을 사용할 수 있다.

본 발명의 일 실시 예에 따른 부호화 및 복호화 방법은 영상의 경계 구조를 직접적으로 고려한다. 본 발명의 일 실시 예에 따른 부호화 및 복호화 방법은 이웃하는 두 픽셀이 단일 블록내에서 서로 다른 영역에 위치하면, 이러한 픽셀들을 각각 변형한다. 이에 반하여, 종래의 코딩 방법은 이러한 픽셀들이 서로 다른 영역에 위치하건 위치하지 않건 이러한 픽셀들을 함께 변환한다.

도 3은 본 발명의 일 실시 예에 따른 부호화 장치가 영상을 부호화하는 방법을 설명하는 순서도이다. 본 발명의 일 실시 예에 따른 부호화 장치는 먼저, 부호화 할 영상에서 제 1 영역 및 제 2 영역을 선정한다(S310). 이때, 부호화 대상 영상은 깊이맵 영상일 수 있다. 영상에서 제 1 영역 및 제 2 영역을 선정하는 단계(S310)는 영상에서 물체의 경계면을 검출하고, 영상에서 상기 검출된 경계면에 대응되는 영역을 제 1 영역으로 선정할 수 있다. 이때 제 2 영역은 영상에서 검출된 경계면을 제외한 영역일 수 있다.

다음으로, 부호화장치는 제 1 영역을 제 1 코딩 방법을 사용하여 부호화한다(S320). 예를 들어, 제 1 코딩 방법은 압축 센싱 방법일 수 있다. 제 1 영역은 압축 센싱 방법을 사용하여 압축될 수 있다. 다음으로, 부호화장치는 제 2 영역을 제 2 코딩 방법을 사용하여 부호화(S330)한다. 제 2 코딩 방법으로, 예를 들어, H.264 압축과 같은 종래의 영상 압축 방법이 사용될 수 있다. 그리하여, 부호화 장치는 영상을 제 1 영역 및 제 2 영역으로 구획하고, 각 영역을 별도의 코딩 방법을 사용하여 부호화할 수 있다.

도 4는 도 3에서 도시된 본 발명의 일 실시 예에 따른 부호화 단계를 상세히 설명하는 도면이다. 먼저, 본 발명의 일 실시 예에 따른 부호화 장치는 깊이맵 블록을 입력받는다(S410). 다음으로, 부호화 장치는 깊이맵블록을 사용하여 경계 맵을 생성한다(S420). 예를 들어, 부호화 장치는 경계 검출기를 사용하여 잔차 블록의 이진 경계 맵을 생성할 수 있다. 경계 맵으로부터 서로간에 경계가 존재하지 않을 경우에 한하여 잔차 블록 내의 각 픽셀이 각각 직접적인 이웃에 연결된 그래프가 생성된다. 다음으로, 부호화 장치는 깊이 맵 블록이 경계를 가진 블록인지를 판단한다(S430). 부호화 장치는 해당 블록이 경계를 가진 블록일 경우, 압축 센싱 기반으로 해당 블록을 부호화하고(S440), 경계를 가지지 않은 블록일 경우 H.264 기반 부호화를 수행한다(S450). 예를들어, 부호화 장치는 잔차 블록에 경계가 존재하지 않으면, 종래의 부호화 방법을 적용할 수 있다. 마지막으로 부호화 장치는 부호화된 깊이맵을 출력한다(S460). 부호화 장치는 출력되는 부호화된 깊이맵을 복호화 장치로 전송하거나, 저장하여 둘 수 있다.

본 발명의 일 실시 예에 따른 부호화 장치는 경계 블록을 압축할 때, 종래의 코딩 방법과 달리 이웃 픽셀들을 참조하지 않게 된다. 이는 압축 센싱이 단일 측정 매트릭스 곱을 사용하기에 가능하다. 이는 압축 센싱을 사용하는 경계 압축이 상이한 영역내에서의 이웃 픽셀들을 사용할 기회를 완전히 제거함을 의미한다. 이에 반하여 경계 블록을 고려하지 않는 종래 방법으로 영상 압축을 수행할 경우 압축된 픽셀에 비교하여 큰 차이 픽셀 값을 가지는 참조 인접 픽셀에 따라 아티팩트(artifacts)를 발생시킨다. 이러한 예가 예를들어, H.264를 사용하여 경계 블록에서의 깊이 영상을 압축한 결과물인 도 1에서 나타나 있다. 깊이 값들은 깊이 맵에서의 경계들에서 급격히 변경되므로, 상이한 영역의 픽셀들을 참조하는 픽셀들은 도 1에서 나타나는 바와 같이 깊이맵의 경계 부분에 있어서 품질 저하를 일으킨다.

도 5는 본 발명의 일 실시 예에 다른 복호화 장치가 영상의 복호화를 수행하는 방법을 설명하는 순서도이다. 본 발명의 일 실시 예에 다른 복호화 장치는 부호화된 영상 데이터를 사용하여 영상의 제 1 영역을 제 1 코딩 방법을 사용하여 복호화(S510)하고, 영상의 제 2 영역을 제 2 코딩 방법을 사용하여 복호화(S520)한다. 부호화된 영상 데이터는 본 발명의 일 실시 예에 따른 부호화 방법에 따라 부호화된 영상 데이터일 수 있다. 예를 들어, 부호화된 영상 데이터는 깊이맵을 부호화한 데이터로, 깊이맵의 경계면은 압축 센싱 방법을 사용하여 부호화되고, 비경계면은 H.264 압축 방법을 사용하여 부호화된 데이터일 수 있다. 복호되는 영상은 깊이 맵 영상일 수 있다. 제 1 영역은 영상의 경계면에 대응되는 영역일 수 있다. 또한, 제 1 코딩 방법은 압축 센싱 방법일 수 있다.

도 6은 도 5에서 설명되는 복호화 방법이 부가 단계를 더 포함하는 예를 설명하는 순서도이다. 본 발명의 일 실시 예에 다른 복호화 장치는 부호화된 영상 데이터를 사용하여 영상의 제 1 영역을 제 1 코딩 방법을 사용하여 복호화(S510)하고, 영상의 제 2 영역을 제 2 코딩 방법을 사용하여 복호화(S520)한다. 다음으로, 복원된 영상에서 홀을 제거하거나(S530), 영상의 경계에서 나타나는 계단효과를 제거할 수 있다(S540). S530 및 S540 단계는 선택적인 단계로써 필요에 따라 선택적으로 사용될 수 있다.

도 7은 본 발명의 일 실시 예에 따른 부호화 방법을 사용하여 압축된 영상에서 나타나는 홀 아티팩트를 나타내는 도면이다. 도 7에 나타나는 바와 같이 압축 센싱 알고리즘을 수행한 이후, 영상의 경계 인근에는 홀(hole)이 존재할 수 있다.

이러한 홀을 제거하기 위하여, 본 발명의 일 실시 예에 따른 부호화 장치 또는 복호화 장치는 홀을 제거하는 처리를 수행할 수 있다. 이를 위하여, 우리는 메디안 필터를 사용할 수 있다. 예를 들어 이러한 홀 아티팩트를 극복하기 위하여, 손상된 블록에 단순 홀 제거 방법이 적용될 수 있다. 예를 들어, 인근 영역 픽셀 값을 단순히 적용할 수 있다. 깊이 맵 픽셀들은 동일한 영역 픽셀의 깊이 값과 유사한 값을 가지기 때문에 이러한 방법은 합리적으로 깊이 홀을 제거하는 방법으로 사용될 수 있다. 도 8는 본 발명의 일 실시 에에 따른 부호화 장치 또는 복호화 장치가 메디안 필터를 사용하여 홀을 제거한 예를 나타낸다. 홀 제거 방법이 적용된 영상의 PSNR은 증가되지 않은 영상보다 1.2dB 증가되었다.

본 발명의 일 실시 예에 따른 부호화장치는 영상에서 홀을 제거하기 위하여, 압축된 영상의 경계에서, 홀이 발생하는 지를 판단한다. 영상에 홀이 존재하는 지를 판단하는 종래의 알고리즘을 사용하여 홀이 존재하는 지를 판단할 수 있다. 그리고 부호화 장치는 영상에서 홀이 존재할 경우 홀 인근의 픽셀들의 값을 사용하여 홀을 제거한다.

마찬가지 방법으로, 본 발명의 일 실시 예에 따른 복호화장치는 영상에서 홀을 제거하기 위하여, 복호화된 영상의 경계에서, 홀이 존재하는 지를 판단한다. 마찬가지로, 영상에 홀이 존재하는 지를 판단하는 종래의 알고리즘을 사용하여 홀이 존재하는 지를 판단할 수 있다. 그리고 복호화 장치는 복호화된 영상에서 홀이 존재할 경우 홀 인근의 픽셀들의 값을 사용하여 홀을 제거할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 부복호화 장치가 깊이 ?의 경계 영역을 구분하여 압축 센싱 방법으로 압축한 깊이 맵 영상과 종래의 방법을 사용하여 압축한 깊이 맵 영상의 품질을 비교하는 도면이다.

도 9의 (a)는 종래의 H.264 압축을 사용하여 압축한 깊이맵 영상으로 PSNR 값은 30.8dB이며, 에러픽셀은 전체에서 49%를 차지한다. 도 9의 (b)는 본 발명의 일 실시 예에 따라 깊이 맵의 경계 영역을 구분하여 압축 센싱 방법으로 압축한 깊이 맵 영상으로, PSNR 값은 30.3dB이며, 에러픽셀은 전체에서 8%를 차지한다. 본 발명의 일 실시 예에 따른 압축 방법에 따라 영상의 경계에 압축 센싱을 적용하여 압축한 깊이맵 영상은 수치적으로도 향상된 결과를 제공하고, 물체의 내부에 있어서 스무스 영역을 비교할 경우 원본 영상의 깊이 맵과 차이를 보이는 픽셀이 줄어든 것이 나타나 사용자들의 주관적 평가에 따를 경우에도 향상된 결과를 제공한다.

도 10은 본 발명의 일 실시 예에 따른 균질 필터를 설명하는 도면이다. 본 발명의 일 실시 예에 따른 압축 방법에 따라 영상의 경계에 압축 센싱을 적용하여 압축한 깊이맵 영상은 경계 주변의 계단효과를 제거하여 더욱 개선될 수 있다. 본 발명의 일 실시 예에 따른 압축 방법으로 영상을 부호화하고 복호화할 경우 계단 효과에 따라, 경계 인근의 픽셀이 잘못된 값을 가질 수 있다. 이러한 픽셀들은 이의 본래 값과 이웃하는 픽셀 값 간에 통상 서로 상이한 값을 가질 수 있다. 그래프상으로, 이러한 픽셀들은 계단처럼 보인다.

이러한 픽셀들은 원본 깊이 맵에서는 경계 인근에 오직 두개의 뚜렷한 픽셀 값으로 표현되지만 압축된 깊이 ?에서는 경계 근방의 픽셀이 적어도 세 단계의 픽셀값으로 표현되는 경계 근방의 픽셀들로 이하 이러한 현상을 계단 아티팩트라 정의한다. 계단 아티팩트가 발생하면, 압축된 영상의 경계 부분은 품질 향상을 위하여 다듬어질 수 있다. 이러한 효과는 깊이 맵이 5% 이하의 저 압축율에서 압축 센싱을 사용하여 압축될 때 나타날 수 있다.

계단 아티팩트에 의하여 왜곡된 영상 내 경계는 바람직하지 않은 부작용을 낳는다. 예를 들어, 3D이미지를 왜곡된 깊이 맵을 사용하여 렌더링하는 경우 조악한 품질의 결과물이 생성될 수 있다.

계단 아티팩트는 중간 단계의 픽셀 값을 가장 높은 단계의 픽셀 값이나 가장 낮은 단계의 픽셀 값으로 변경함으로써 제거될 수 있다. 깊이 맵은 일반적으로 계단 경계를 가지지 않기 때문에 이는 효과적일 수 있다.

중간 단계의 픽셀 값을 어떤 값으로 변경할 지를 결정하기 위하여, 계단 아티팩트의 형태를 판단하여야 한다. 일반적으로 계단 아티팩트는 아래의 두가지 경우로 분류될 수 있다.

먼저, 단일 중간 단계이다. 단일 중간 단계는 픽셀의 순차적 집합에서 중간 값이 인근 픽셀 간에 오직 하나의 픽셀에서 나타나는 경우이다. 도 11은 단일 중간 단계 상황의 일 예를 도시한다. 도 11의 단일 중간 단계 값은 도 10의 1010 부분 및 1014 부분에서 나타난다. 이러한 예에서, 계단 아티팩트는 중간값(1110)을 단순히 주변 픽셀의 픽셀 값(1110, 1114)중 어느 한 값으로 치환됨으로써 해결될 수 있다. 실험적으로 중간값(1112)을 높은 값(1110)으로 변경하였을 경우 낮은 값(1114)으로 변경하였을 때 보다 좋은 품질의 깊이맵 영상을 얻을 수 있는 것으로 나타났다.

다음으로, 복수 중간 단계이다. 복수 중간 단계는 픽셀의 순차적 집합에서 적어도 두개의 복수의 중간 단계 픽셀 값을 가지는 픽셀을 포함하는 경우이다. 도 12는 복수 중간 단계의 예를 도시하는 도면이다. 예를 들어, 복수 중간 단계는 중간 단계 값을 가지는 두개의 픽셀(1212, 1214)을 포함할 수 있다. 각 중간 단계 픽셀들은 보다 가까운 인접 픽셀의 값으로 변경될 수 있다. 도 12의 예에서, 92의 값을 가지는 왼쪽 중간 단계 픽셀(1212)은 왼쪽 픽셀(1210)의 픽셀값 134로 변경될 수 있고, 92의 값을 가지는 오른쪽 중간 단계 픽셀(1214)은 오른쪽 픽셀(1216)의 픽셀값 50으로 변경될 수 있다.

도 13 및 도 16은 본 발명의 일 실시 예에 따른 균질 필터(homogenizing filter)를 설명하는 순서도이다. 계단 아티팩트를 해결하기 위하여, 본 발명의 일 실시 예에 따른 균질 필터를 사용할 수 있다. 본 발명의 일 실시 예에 따른 균질 필터는 이미 설명된 본 발명의 일 실시 예에 따른 경계 적응적 방법을 사용하는 깊이맵 압축 센싱에 적용될 수 있다.

본 발명의 일 실시 예에 따른 균질필터는 두개의 단계를 포함한다. 제 1 단계는 도 13에 나타나 있다. 그리고 제 2 단계는 도 16에 나타나 있다. 제 1 단계는 타겟 픽셀 d(i, j)이 계단 효과에 의하여 손상을 받았을 가능성을 판단한다. 주어진 조건에 따라 타겟 픽셀이 잠정적으로 왜곡된 픽셀로 판단되면, 계단 효과를 받은 픽셀인지 아닌지를 결정하기 위한 제 2 단계로 진행된다.

도 13에 나타난 순서도를 참조하여 본 발명의 일 실시 예에 따른 복호화 장치에서 수행되는 균질필터의 제 1 단계를 설명한다. 먼저, 복호화 장치는 타겟 깊이 맵 픽셀 d(i, j)를 입력받는다(S1310). 여기서 i와 j는 깊이맵 영상의 x, y좌표이다. 다음으로, 복호화 장치는 타겟 픽셀의 픽셀값과 이전의 픽셀의 픽셀값의 차이가 미리 설정된 임계값 k보다 큰지를 조사한다(S1320). 임계값 k는 사용자가 필요에 따라 미리 설정할 수 있다. |d(i-1,j) - d(i,j)| > k의 조건을 충족하지 않는 픽셀은 이전의 픽셀과 동일한 영역에 위치하는 픽셀이다. 도 14는 |d(i-1,j) - d(i,j)| > k의 조건을 충족하지 않는 픽셀 d(i,j)의 예를 나타내는 도면이다. 도 14와 같이 타겟 픽셀과 이전 픽셀의 픽셀값의 차이가 미리 설정된 값보다 작거나 같은 경우, 깊이맵의 경계에 해당하지 않는 픽셀로 판단할 수 있다. 예를 들어, 이러한 픽셀은 인접한 픽셀과 함께 동일한 물체의 깊이를 표현하는 픽셀이다. 복호화 장치는 |d(i-1,j) - d(i,j)| > k의 조건을 충족하지 않는 픽셀은 주변 픽셀들과 픽셀값의 차이가 크지 않기 때문에 단순히 왜곡된 경계인지 또는 계단 아티팩트를 가지는 경계인지에 대하여 추가적인 조사를 수행하여야 하므로 이러한 픽셀에 대하여 제 2 단계를 진행한다(S1330).

복호화 장치는 |d(i-1,j) - d(i,j)| > k의 조건을 충족하는 픽셀에 대하여는 추가적인 변형을 수행하지 않는다. 도 15는 |d(i-1,j) - d(i,j)| > k의 조건을 충족하는 픽셀 d(i,j)의 예를 나타내는 도면이다. 도 15와 같이 타겟 픽셀과 이전 픽셀의 픽셀값의 차이가 미리 설정된 값 이상인 경우, 서로 다른 깊이의 물체를 표현하는 픽셀로 판단될 수 있다.

도 16에 나타난 순서도를 참조하여 본 발명의 일 실시 예에 따른 복호화 장치에서 수행되는 균질필터의 제 2 단계를 설명한다.

제 1 단계에서 |d(i-1,j) - d(i,j)| > k의 조건을 충족하지 않는 것으로 판단된 픽셀은 단일 중간 단계에 해당되는 픽셀인지 또는 복수 중간 단계에 해당되는 픽셀인지 검사되어야 한다. 먼저, 복호화 장치는 타겟 픽셀 d(i,j)와 타겟 픽셀의 다음 픽셀 d(i+1, j) 간의 픽셀값의 차이가 미리 설정된 임계값 보다 큰 값을 가지는지를 판단한다(S1610). |d(i,j) - d(i+1,j)|>k인 것으로 판단되면, 타겟 픽셀은 단일 중간 단계 픽셀로 결정된다(S1620). d(i, j)는 단독으로 d(i-1, j) 및 d(i+1, j) 사이의 중간값을 가지기 때문이다. 따라서, 복호화 장치는 타겟 픽셀에 타겟 픽셀이 단일 중간 단계 픽셀일 때의 픽셀 값 변경 처리를 수행한다. 예를 들어, 타겟 픽셀의 픽셀값으로 타겟 픽셀 다음 순서 픽셀의 픽셀값을 저장할 수 있다.

다음으로, 복호화 장치는 타겟 픽셀 d(i,j)와 타겟 픽셀의 다음 픽셀 d(i+1, j) 간의 픽셀값의 차이가 미리 설정된 임계값 보다 작거나 같은 값을 가지면, 예를들어 |d(i,j) - d(i+1,j)|>k가 아닌 것으로 판단되면, 타겟 픽셀 d(i,j)와 타겟 픽셀의 두번째 다음 픽셀 d(i+2, j) 간의 픽셀값의 차이가 미리 설정된 임계값 큰 값을 가지는 지를 판단한다(S1630).

복호화 장치는 S1630 단계에서, 픽셀값들의 차이가 임계값보다 작거나 같으면, 예를들어 |d(i,j) - d(i+2,j)|>k의 조건을 갖추지 않으면, 타겟 픽셀과 인근 픽셀이 동일한 물체의 깊이를 표현하는 것으로 판단하여, 타겟 픽셀의 값을 다른 값으로 변경하지 않는다(S1640).

복호화 장치는 S1630 단계에서, 픽셀값들의 차이가 임계값보다 크면, 예를들어 |d(i,j) - d(i+2,j)|>k의 조건이 성립되면, 타겟 픽셀과 타겟 픽셀의 두번째 다음 픽셀은 서로 다른 영역에 속한 픽셀인 것으로 판단할 수 있다. 이러한 경우, 복수 중간 단계 픽셀로 결정된다(S1650). 따라서, 복수 중간 단계 픽셀의 처리 방법이 적용될 수 있다. 예를 들어, 타겟 픽셀에는 타겟 픽셀의 이전 픽셀의 픽셀 값이 적용될 수 있고(d(i,j) = d(i-1,j)), 타겟 픽셀의 다음 픽셀에는 타겟 픽셀의 두번째 다음 픽셀의 픽셀값이 적용될 수 있다(d(i+1,j) = d(i+2,j)).

설명된 균질 필터는 수평적 방향에 대하여 고려되어, 순차적 픽셀의 집합이 수평적 집합인 경우에 대하여 설명되었으나, 위의 설명은 수직적 방향 또는 대각 방향에 대하여도 적용될 수 있다. 복수의 방향에 대하여 고려될 경우 계단 효과를 더욱 효과적으로 제거할 수 있다. 또한, 복수 중간 단계의 경우 2개의 중간값을 가지는 픽셀에 대한 적용이 설명되었으나, 3개 이상의 중간 단계값을 가지는 픽셀을 포함하는 경우로 확장되어 적용될 수도 있다. 예를들어, 복수 중간 단계가 3개 이상의 중간 단계값을 가지는 픽셀을 포함하는 경우로 확장되어 사용되는 경우는 복호화 장치는 중간 단계 값이 그로부터 픽셀의 위치로 판단되는 거리상, 경계를 표현하는 픽셀 중 가까운 픽셀의 픽셀값을 가지도록 설정될 수 있다. 또한, 임계값 k를 설정하여 2개의 중간 단계값을 포함하는 복수 중간 단계를 반복적으로 적용하거나 단일 중간 단계를 반복적으로 적용함으로써 적용될 수도 있다.

도 17은 본 발명의 일 실시 예에 따른 부복호화 방법을 수행하는 부복호화 장치를 도시하는 블록도이다. 부복호화 장치는 부호화 장치(1710) 및 복호화 장치(1760)를 포함한다. 부호화 장치와 복호화 장치는 필요에 따라 하나의 구성으로 제공될 수 있다.

부호화 장치(1710)는 컨텐츠 소스(1712). 부호화부(1714) 및 전송부(1716)를 포함한다. 컨텐츠 소스(1712)는 부호화될 영상 데이터를 저장한다. 컨텐츠 소스는 부호화부(1714)의 요청에 따라 부호화될 영상 데이터를 부호화부(1714)로 전달한다. 전송부(1716)는 부호화부(1714)로부터 받은 부호화된 영상 데이터를 복호화 장치로 전송할 수 있다.

부호화부(1714)는 컨텐츠 소스(1712)로부터 받은 영상을 위에서 설명한 본 발명의 일 실시 예에 따른 부호화 방법을 사용하여 부호화 한다. 예를 들어, 부호화부는 부호화 할 영상에서 제 1 영역 및 제 2 영역을 선정한다. 이때, 부호화 대상 영상은 깊이 맵 영상일 수 있다. 부호화부(1714)는 영상에서 물체의 경계면을 검출하고, 영상에서 상기 검출된 경계면에 대응되는 영역을 제 1 영역으로 선정할 수 있다. 이때 제 2 영역은 영상에서 검출된 경계면을 제외한 영역일 수 있다. 그리고, 부호화부(1714)는 제 1 영역을 제 1 코딩 방법을 사용하여 부호화한다. 예를 들어, 부호화부(1714)는 제 1 코딩 방법으로 압축 센싱 방법을 사용하여 제 1 영역을 부호화할 수 있다. 다음으로, 부호화부(1714)는 제 2 영역을 제 2 코딩 방법을 사용하여 부호화한다. 제 2 코딩 방법으로, 예를 들어, H.264 압축과 같은 종래의 영상 압축 방법이 사용될 수 있다. 그리하여, 부호화 장치는 영상을 제 1 영역 ? 제 2 영역으로 구획하고, 각 영역을 별도의 코딩 방법을 사용하여 부호화할 수 있다.

또한 부호화부(1714)는 위에서 설명한 본 발명의 일 실시 예에 따른 홀 아티팩트 제거 방법을 수행하여 부호화된 영상에서 홀 아티팩트를 제거할 수 있다.

복호화 장치(1760)는 수신부(1762), 복호화부(1764) 및 컨텐츠 재생부(1766)를 포함한다. 복호화 장치(1760)는 부호화부로부터 받은 부호화 데이터 또는 복호화된 복호화 영상을 저장하는 저장부를 더 포함할 수도 있다. 컨텐츠 재생부(1766)는 복호화부(1764)에서 복호된 영상을 받아 영상을 재생한다.

복호화부(1764)는 수신부(1762)로부터 받은 부호화된 데이터를 받아 복호화를 수행한다. 예를 들어 복호화부(1764)는 위에서 설명된 본 발명의 일 실시 예에 따른 복호화 방법을 사용한다. 복호화부(1764)는 부호화된 영상 데이터를 사용하여 영상의 제 1 영역을 제 1 코딩 방법을 사용하여 복호화하고, 영상의 제 2 영역을 제 2 코딩 방법을 사용하여 복호화한다. 부호화된 영상 데이터는 본 발명의 일 실시 예에 따른 부호화 방법에 따라 부호화된 영상 데이터일 수 있다. 예를 들어, 부호화된 영상 데이터는 깊이맵을 부호화한 데이터로, 깊이맵의 경계면은 압축 센싱 방법을 사용하여 부호화되고, 비경계면은 H.264 압축 방법을 사용하여 부호화된 데이터일 수 있다. 복호되는 영상은 깊이 맵 영상일 수 있다. 제 1 영역은 영상의 경계면에 대응되는 영역일 수 있다. 또한, 제 1 코딩 방법은 압축 센싱 방법일 수 있다.

또한, 복호화부(1764)는 위에서 설명한 본 발명의 일 실시 예에 따른 홀 아티팩트 제거 방법을 수행하여 복호화된 영상에서 홀 아티팩트를 제거하거나, 위에서 설명한 본 발명의 일 실시 예에 따른 균질 필터를 사용하여 복호화된 영상에서 계단 아티팩트를 제거 할 수 있다. 복호화부(1764)가 복호된 영상에서 홀 아티팩트를 제거하거나, 영상의 경계에서 나타나는 계단 아티팩트를 제거하는 것은 선택적으로 수행될 수 있다.

도 18 내지 도 20은 본 발명의 일 실시 예에 따른 부복호화 방법에 따라 압축된 깊이맵과 종래 방법을 사용하여 압축된 깊이 맵의 품질을 비교한 도면이다. 도 18 내지 도 20에서 (a)는 원본 깊이 맵, (b)는 깊이맵의 경계 영역은 깊이 맵으로 압축하고, 비경계 영역은 H.264 압축을 사용하여 압축한 깊이맵, (c)는 (b)의 깊이 맵에 본 발명의 일 실시 예에 따른 균질 필터를 적용한 깊이맵이며, (d)는 원본 깊이맵을 H.264 압축 만을 사용하여 압축한 깊이맵이다.

본 깊이맵의 비교 데이터를 생성하기 위하여 매틀랩(MATLAB)에서의 l1매직 및 스파스 랩(l1 magic and Sparse Lab)이 사용되었다. CS에 대한 재구성 알고리즘으로 BP(Basis Pursuit)를 사용하였다. H.264를 위해 JM 참조 소프트웨어(버전 18.1)이 사용되었다.

산출된 깊이 맵의 품질을 시각적으로 비교하여 보면, 본 발명의 일 실시 에에 따른 깊이맵 압축 방법 및 균질 필터를 적용한 영상이 다른 방법을 적용한 영상들에 비하여 계단 아티팩트가 많이 완화되고, 다른 방법들에 비하여 좋은 품질을 나타내는 것을 알 수 있다.

이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시 예들 뿐만 아니라 다양한 형태의 조합이 제공될 수 있다.

전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

1. 부호화 장치에서 수행되는 영상 부호화 방법에 있어서,
   영상에서 제 1 영역 및 제 2 영역을 선정하는 단계; 및
   상기 제 1 영역은 제 1 방법을 사용하여 부호화 하고, 상기 제 2 영역은 제 2 방법을 사용하여 부호화하는 단계를 포함하되,
   부호화된 영상의 홀 아티팩트를 제거하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
2. 제 1 항에 있어서,
   상기 영상은 깊이 맵 영상인 것을 특징으로 하는 영상 부호화 방법.
3. 제 1 항에 있어서,
   상기 영상에서 제 1 영역 및 제 2 영역을 선정하는 단계는,
   상기 영상에서 경계를 검출하는 단계; 및
   상기 영상에서 상기 검출된 경계에 대응되는 영역을 제 1 영역으로 선정하는 단계;를 포함하는 것을 특징으로 하는 영상 부호화 방법.
4. 제 1 항에 있어서,
   상기 제 1 방법은 압축 센싱 방법인 것을 특징으로 하는 영상 부호화 방법.
5. 영상 복호화 장치에서 수행되는 영상 복호화 방법에 있어서,
   제 1 방법을 사용하여 영상의 제 1 영역을 복호화 하는 단계; 및
   제 2 방법을 사용하여 상기 영상의 제 2 영역을 복호화 하는 단계를 포함하되,
   복호화된 영상의 홀 아티팩트를 제거하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
6. 제 5 항에 있어서, 상기 영상은 깊이 맵 영상이고,
   상기 제 1 영역은 상기 영상의 경계에 대응되는 영역인 것을 특징으로 하는 영상 복호화 방법.
7. 제 6 항에 있어서,
   상기 제 1 방법은 압축 센싱 방법인 것을 특징으로 하는 영상 복호화 방법.
8. 삭제
9. 제5항에 있어서,
   상기 복호된 영상의 홀 아티팩트를 제거하는 단계는 메디안 필터를 사용하여 수행되는 것을 특징으로 하는 영상 복호화 방법.
10. 제 5 항에 있어서,
    상기 영상의 경계 주변의 계단 아티팩트를 제거하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
11. 제 10 항에 있어서,
    상기 영상의 계단 아티팩트를 제거하는 단계는,
    균질 필터를 사용하는 것을 특징으로 하는 영상 복호화 방법.
12. 제 11 항에 있어서,
    상기 영상의 계단 아티팩트를 제거하는 단계는,
    타겟 픽셀과 상기 타겟 픽셀의 이전 픽셀이 같은 대상을 나타내는지를 판단하는 단계를 더 포함 하는 것을 특징으로 하는 영상 복호화 방법.
13. 제 12 항에 있어서,
    상기 타겟 픽셀과 상기 이전 픽셀 간의 픽셀값의 차이가 미리 설정된 값 이하인 경우 상기 타겟 픽셀과 상기 이전 픽셀은 동일한 대상을 나타내는 것으로 결정 하는 것을 특징으로 하는 영상 복호화 방법.
14. 제 12 항에 있어서,
    상기 타겟 픽셀과 상기 타겟 픽셀 이후 픽셀인 제 1 이후 픽셀 간의 픽셀값의 차이가 미리 설정된 값보다 큰 경우, 상기 타겟 픽셀의 픽셀 값은 상기 제 1 이후 픽셀 또는 상기 이전 픽셀의 픽셀값으로 설정하는 것을 특징으로 하는 영상 복호화 방법.
15. 제 13 항에 있어서,
    상기 타겟 픽셀과 상기 제 1 이후 픽셀 간의 픽셀값의 차이가 미리 설정된 값 이하이고, 상기 타겟 픽셀과 상기 제 1 이후 픽셀의 다음 픽셀인 제 2 이후 픽셀간의 픽셀값의 차이가 미리 설정된 값 보다 큰 경우,
    상기 타겟 픽셀의 픽셀 값은 상기 제 2 이후 픽셀 또는 상기 이전 픽셀의 픽셀값으로 설정하는 것을 특징으로 하는 영상 복호화 방법.
16. 제 13 항에 있어서,
    상기 타겟 픽셀과 상기 제 1 이후 픽셀 간의 픽셀값의 차이가 미리 설정된 값 이하이고, 상기 타겟 픽셀과 상기 제 1 이후 픽셀의 다음 픽셀인 제 2 이후 픽셀간의 픽셀값의 차이가 미리 설정된 값 보다 큰 경우,
    상기 타겟 픽셀의 픽셀 값은 상기 이전 픽셀의 픽셀값으로 설정하고, 상기 제 1 이후 픽셀의 픽셀 값은 상기 제 2 이후 픽셀의 픽셀 값으로 설정하는 것을 특징으로 하는 영상 복호화 방법.
17. 영상 부호화를 수행하는 영상 부호화 장치에 있어서,
    영상에서 제 1 영역 및 제 2 영역을 선정하고, 상기 제 1 영역은 제 1 방법을 사용하여 부호화 하고, 상기 제 2 영역은 제 2 방법을 사용하여 부호화하는 부호화부를 포함하되,
    부호화된 영상의 홀 아티팩트를 제거하는 것을 특징으로 하는 영상 부호화 장치.
18. 제 17 항에 있어서,
    상기 영상은 깊이 맵 영상이며, 상기 영상에서 검출된 경계면에 대응되는 영역을 제 1 영역으로 선정하고, 상기 제 1 방법은 압축 센싱 방법인 것을 특징으로 하는 영상 부호화 장치.
19. 영상 복호화를 수행하는 영상 복호화 장치에 있어서,
    제 1 방법을 사용하여 영상의 제 1 영역을 복호화 하고, 제 2 방법을 사용하여 상기 영상의 제 2 영역을 복호화 하는 복호화부를 포함하되,
    상기 복호화부는 복호된 영상의 홀 아티팩트를 제거하는 것을 특징으로 하는 영상 복호화 장치.
20. 제 19 항에 있어서,
    상기 영상은 깊이 맵 영상이고,
    상기 제 1 영역은 상기 영상의 경계에 대응되는 영역이며,
    상기 복호화부는 복호된 영상의 경계 주변의 계단 아티팩트를 제거하는 것을 특징으로 하는 영상 복호화 장치.
    

Images