KR100960294B1 - 디지털 비디오 신호를 후-처리하기 위한 방법 및 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 - Google Patents

Abstract

본 발명은 3D 디지털 비디오 신호를 후-처리하기 위한 방법으로서, 상기 디지털 비디오 신호는 연관된 상이 지도를 가진 복수의 뷰를 가진, 3D 디지털 비디오 신호를 후-처리하기 위한 방법에 관한 것이다. 본 발명은 상기 방법이 원래의 상이 지도로부터 투사된 상이 지도를 생성하는 제 1 단계와, 상기 투사된 상이 지도 내의 홀들을 채우는 제 2 단계를 포함하고, 상기 제 1 단계가 필터링함으로써 상기 투사된 상이 지도 상의 분리된 투사된 픽셀들을 제거하는 하부-단계를 포함하는 것을 특징으로 한다.

Description

디지털 비디오 신호를 후-처리하기 위한 방법 및 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체{METHOD FOR POST-PROCESSING A DIGITAL VIDEO SIGNAL AND A COMPUTER-READABLE MEDIUM RECORDED WITH A COMPUTER PROGRAM}

본 발명은 디지털 비디오 신호를 후-처리하기 위한 방법으로서, 상기 디지털 비디오 신호는 연관된 상이 지도(disparity map)를 가지는 복수의 뷰(view)를 가지는, 디지털 비디오 신호를 후-처리하기 위한 방법에 관한 것이다.

그러한 방법은, 예를 들어, MPEG 표준 내의 3D 비디오 애플리케이션을 위한 비디오 통신 시스템에 사용될 수 있다.

3D 장면이라 불리는 3D 비디오 신호의 대부분의 표현은 깊이 지도(depth maps)와 상이 지도에 의존한다. 일반적으로, 각각이 아마도 깊이 지도와 질감과 같은 다른 연관된 특성과 함께 들어올 가능성이 있는, 다른 시점에 대응하는 주어진 3D 장면의 영상의 세트로부터 시작한다. 하나의 시점의 깊이 지도는, 각각의 픽셀이 장면을 찍는 카메라에 대한 거리를 포함하는, 그레이 스케일 영상이다. 더 간단하게 뷰이라고도 불리는, 장면의 새로운 시점을 생성하고자 할 때, 또 다른 시점, 그 깊이 지도, 고유 카메라 파라미터 및 이 시점에서 새로운 시점으로 움직이는 카메라에 의해 가해진 변화(변위, 회전, 렌즈 변화)의 파라미터가 주어진다면, 어느 정도의 이 영역을 계산하는 것이 가능하다. 이 과정은 "재구성"이라고 불리고, 생 성된 새로운 시점은 재구성된 뷰(또는 재구성된 영상)이라고 불린다. 만약 장면의 시점(P)이 두 개의 시점으로부터 보인다면, 변환 벡터는 원래 시점의 픽셀 좌표로부터 새로운 시점의 그 픽셀 좌표를 줄 것이다. 이러한 벡터들은 상이 벡터라고 불린다. "삼차원 컴퓨터 비젼-오. 퍼거라스 MIT 프레스 1993년"의 문언에서 개시된 것과 같은, 투사된 기하학적 결과는 상이 지도의 상이 벡터들과 깊이 지도의 깊이 값들 사이의 단순한 관계를 설정한다.

비디오 신호의 전송 도중, 이 기술의 당업자에게 잘 알려진, 복수-뷰 또는 스테레오 코딩 방식은 일반적으로 시점의 특정 범위를 커버하는데 필요한 질감 및 깊이 지도를 압축함으로써 인코딩한다. 질감은, 손실있는 인코딩의 경우에 잠재적으로 잘 알려진 단점을 초래하는, 표준 방법을 사용함으로써 인코딩될 수 있는 반면, 깊이(또는 상이) 인코딩의 경우는 조금 더 위험하다. 인코딩된 깊이 지도에 대해 원래의 것과 시각적으로 비슷한 특성을 가지는 것은 반드시 이것이 동일한 재구성 특성을 가진다는 것을 의미하는 것은 아니다. 새로운 뷰 생성 과정에서, 지점 혹은 영역이 (잘못된 상이 벡터 때문에) 잘못된 장소로 변환될 수 있다. 이것은 인코딩된 지도의 "시각적" 특성이 제시하는 것보다 더 두드러질 수 있는 질감 불연속성을 생성할 것이다. 여전히, 짙은 깊이 지도는 매우 큰 파일이고, 만약 깊이 지도 크기를 적절한 범위 안으로(즉, 질감 비트-율의 20% 이하로) 유지하고 싶으면, 손실있는 압축은 거의 피할 수 없다. 그러므로, 단점 및 부적절한 깊이/상이 값을 처리해야 하고, 비디오 신호의 디코딩 후에 후-처리를 설계하고 알고리즘을 향상해야 한다.

MPEG-4 표준 내에서, 깊이 지도는, 이 기술의 당업자에게 잘 알려진 종래의 휘도 영상 인코딩과 비슷하게, 블록 단위로 인코딩된 DCT인, (<<개정 1:뷰 확장, ISO/IEC JTC1/SC 29/WG 11N 3056, 1999년 12월>>에서 개시된) 복수의 보조 요소 도구(MAC)를 이용하여 인코딩될 수 있다. 잠재하는 단점에 대해 아무런 특별한 처리가 제안되지 않았지만 전통적인 MPEG 도구는, 위에서 언급된 것처럼, 질감에는 좋지만, 꼭 깊이 지도에 좋은 것은 아니다. 고로, 예를 들어, 질감 재구성된 영상에서, 이것은 분리된 질감 픽셀, 더욱이, 다음의 시점에서 시간-불일치인 두 개의 효과와 함께 흐릿한 가장자리를 초래할 수 있다.

따라서, 본 발명의 목적은 디지털 비디오 신호를 후-처리하기 위한 방법으로서, 상기 디지털 비디오 신호가 연관된 상이 지도와 함께 복수의 뷰를 가지며, 상기 방법이 깊이 지도(또는 상이 지도) 코딩 단점을 교정하는, 디지털 비디오 신호를 후-처리하기 위한, 방법을 제공하는 것이다.

이런 목적을 위해, 청구항 제 1항에 한정된 것과 같은 방법이 제공되었다.

상세하게 알 수 있을 것처럼, 분리된 투사된 픽셀을 제거함으로써, 투사된 그리고 원래의 상이 지도의 고유값들이 제거된다.

본 발명에 따른 방법의 하나의 실시예는 청구항 제 2항에 한정된 단계들을 포함한다.

본 발명에 따른 방법의 추가의 실시예는 청구항 제 3항에 한정된 단계들을 포함한다.

본 발명에 따른 방법의 추가의 실시예는 청구항 제 4항에 한정된 단계들을 포함한다.

본 발명에 따른 방법의 추가의 실시예는 청구항 제 5항에 한정된 단계들을 포함한다.

본 발명에 따른 방법의 추가의 실시예는 청구항 제 6항에 한정된 단계들을 포함한다.

홀 경계(hole boundaries)의 주변의 투사된 픽셀들을 고려함으로써, 이것은 상기 홀을 압축 때문에 오류있는 홀 경계 값들로부터 나오는 오류있는 값들로 채우는 것을 피하는 장점을 가진다.

본 발명에 따른 방법의 추가의 실시예는 청구항 제 7항에 한정된 단계들을 포함한다.

이것은 공간에서 불일치하는 정의되지 않은 값들에 대한 보간을 피하는 장점을 가진다.

본 발명의 추가의 목적, 특성 및 장점은 다음의 상세한 설명을 읽고, 첨부된 도면을 참조로 명백해질 것이다.

도 1은 본 발명에 따른 비디오 신호를 후-처리하기 위한 방법의 개략적인 블록도.

도 2는, 도 1의 비디오 신호를 후-처리하기 위한 방법의 제 1단계에 의해 생성되는, 투사된 상이 지도 안의 몇몇 홀을 도시하는 도면.

도 3은 도 1의 비디오 신호를 후-처리하기 위한 방법의 제 1단계 도중 투사된 상이 지도 안의 홀의 필터링을 도시하는 도면.

도 4는 도 1의 비디오 신호를 후-처리하기 위한 방법의 제 2단계 도중 투사된 상이 지도 안에 홀을 채우는 단계를 도시하는 도면.

도 5는 도 1의 비디오 신호를 후-처리하기 위한 방법의 제 3 단계 도중 정의되지 않은 픽셀 값의 필터링을 도시하는 도면.

대응하는 참조 번호는 대응하는 요소에 대한 설명을 통해서 사용될 것이다.

다음의 설명에서, 이 기술의 당업자에게 잘 알려진 기능이나 구조는 불필요한 세부 사항으로 본 발명을 애매하게 할 수 있기 때문에 자세하게 설명되지 않았다.

본 발명은 디지털 비디오 신호를 후-처리하기 위한 발명에 관한 것이다.

그러한 방법은 MPEG4 안의 3D 비디오 애플리케이션을 위한 비디오 통신 시스템 안에서 사용될 수 있다.

3D 비디오 신호는 형태, 질감, 움직임 벡터, 상이 지도, 깊이 지도, 칼라, 등과 같은 다른 연관된 특징들을 가진 복수의 시점을 포함한다.

비디오 신호가 전송될 때, 이것은 인코딩된다. 인코딩 과정 도중, 다른 특징들은 인코딩되고 특히 상이 및 깊이 지도는 압축 알고리즘으로 인코딩된다. 이 압축은 단점을 가진 손상된 상이 및 깊이 지도를 초래할 수 있다.

비디오 신호의 전송 후에, 이것은 디코딩되고, 그런 후, 모든 뷰는 디코딩된 상이의 후-처리를 포함하는 알고리즘 도중에 재구성된다. 장면의 새로운 시점을 생성하고자 할 때, 또 다른 시점, 그 깊이 지도, 고유 카메라 파라미터 및 이 시점에서 새로운 시점으로 움직이는 카메라에 의해 행해진 변화(변위, 회전, 렌즈 변화)의 파라미터가 주어진다면, 상기 세로운 시점에 대한 어느 정도의 영역을 계산하는 것은 가능하다.

후-처리 방법은 또 다른 뷰 및 손상된 깊이 지도로부터 새로운 뷰의 재구성 도중에, 이후에 설명되는 것처럼 깊이 지도가 몇가지 변환(예를 들어, 투사)을 거쳐서, 원래 디코딩된 지도를 사용할 때보다 문제가 되는 값들을 감지하는 것이 더 쉬워진다는 사실에 근거한다.

먼저, 깊이와 상이 사이에 대응(투사적인 기하학)이 존재한다는 사실이 주어졌을 때, 우리는 상이 지도에 착수한다. 예를 들어, 이 기술 분야의 당업자에게 잘 알려진, "오, 퍼거라스, 삼차원 컴퓨터 비젼, MIT 프레스, 1993년"의 문헌에 설명된 에피폴라(epipolar) 제약에 따른 원래 스테레오 쌍의 정류에 의해-모두 동일한 방향인 상이 벡터를 가지는 것이 항상 가능하기 때문에, 수평 상이 벡터를 갖는 방법(비디오 카메라의 "평행 스테레오 설정"의 흔한 경우)을 설명할 것이다. 물론, 이것은 제약적인 방식이 되어서는 안된다. 이 경우에서, 상이 벡터들은 단일 값에 의해 한정된다. 그러므로, 우리는 이것들을 추가로 "상이 값"으로 지칭할 것이다.

다음에 이어질 내용에서, I_O는 원래 질감 영상이고, I_N은 새로운 재구성된 뷰이다. d는 상이 지도이고, d(x, y)는 픽셀(x, y)에서의 상이 값이 될 것이다. 새 로운 뷰가 원래 뷰의 왼쪽 또는 오른쪽에 특정의 (다소 원래 뷰와 멀리 떨어진)베이스라인으로 있다는 사실은 α계수에 의해 표현된다.

뷰의 각각의 픽셀(x, y)에 대해서, 우리는 다음과 같은 관계식을 가진다:

재구성 과정은 몇가지 방식으로 수행될 수 있고, 이러한 방식 중 일반적인 하나는(신호 처리:영상 통신 11 (1998) 페이지 205-230, 디. 트조바라스, 엔. 그라말리디스, 지. 스트린지스에 의한 "복수-뷰 3D 영상 생성을 위한 상이 필드 및 깊이 지도 코딩"의 문언에서 설명되는 것과 같이) 다음의 이후에 상세하게 설명되는 주요 단계들로 구분될 수 있다:

1. 투사된 상이 지도의 생성

2. 투사된 상이 지도 홀-채우기

3. 홀-채워진 투사된 상이 지도에 근거한 최종 I_N 뷰 생성

재구성 과정에 근거하여, 시점의 후-처리는 다음과 같이 수행되고 도 1에 도시된다.

첫 번째 단계{(1)}에 있어서, 투사된 상이 지도는 시점의 원래 상이 지도로부터 생성된다. 뷰의 N개의 픽셀은 미래의 뷰의 하나의 픽셀 위로 투사된다. N은,

-만약 아무런 픽셀이 투사되지 않았다면, 이것은 재구성된 뷰의 대응하는 픽셀이 원래 뷰로부터 차단된 새로운 뷰의 부분(차단 영역)에 놓인 경우이고, 0,

-만약 하나의 픽셀만이 또는 그 이상이 이 픽셀에 투사되었다면, 이것은 원 래 뷰의 몇 가지 픽셀들이 이들 몇가지 픽셀들을 재구성된 뷰 안의 동일한 픽셀로 투사하는 상이 값을 가진다는 것을 의미하면서, 1의 값을 취할 수 있다.

그래서, 상이 값의 목록은 미래 뷰의 이 픽셀에 대응한다. 재구성된 뷰의 모든 픽셀에 대응하는 목록의 세트는 투사된 상이 지도이다.

주된 아이디어는 계속되는 투사 프로세스로, 투사된 불균형 지도는 원래의 것과 다소 동일한 규칙성을 가져야 한다라는 것이다. 이것은 또한 만약 원래의 상이 지도가 몇 가지 불규칙성을 가진다면, 투사된 상이 지도는 동일한 불규칙성을 가질 것이란 것을 의미한다.

만약 우리가 각 픽셀에 투사된 지점의 수를 고려한다면, 일종의 규칙성이 또한 존재해야 한다. 특히, 홀의 중앙에, 분리된 투사된 픽셀이 존재해서는 안된다. 하지만, 상이 지도를 인코딩하는데 사용된 DCT 양자화 프로세스 때문에, 몇 가지 픽셀 값들은 바뀌고, 일단 투사되면, 이들은 더 이상 원래 주위를 둘러싼 픽셀들에 가깝지 않다. 그러한 픽셀들은 분리된 투사된 픽셀들이라고 불린다. 도 2에서 알 수 있듯이, 원래의 상이 지도(Do)가 존재하고, 이것은 동일한 값(do1, do2)을 가지는 픽셀의 두 개의 영역을 가진다. 투사된 상이 지도(Dp)는 "홀"의 영역(Hp1, Hp2)과 함께 픽셀의 두 개의 대응하는 영역(dp1, dp2)을 가진다.

몇 가지 압축의 단점 때문에, 몇 가지 픽셀들은 이러한 홀 영역에 잘못 투사될 수 있다. 이들은 분리된 픽셀들이라고 불린다.

후-처리하기 위한 방법은 제 1 필터링(F1)을 사용함으로써 이러한 분리된 투사된 픽셀들을 제거한다. 제 1 비-제한적인 실시예에서, 상기 필터링은 다음과 같 이 수행된다. 투사된 상이 지도(Dp)의 각각의 픽셀(Pp)에 대해서, 홀로 정의되는 주위의 픽셀들(Pps)의 수가 세어진다("주위의 픽셀"의 개념은 적용하는 것에 따라 다르다: 이것은 픽셀을 중심에 둔 직사각형, 원형, 사각형 등등의 인접한 곳일 수 있다). 만약 이 수가 특정 임계치(T1), 예를 들어, 인접한 곳에 포함된 픽셀들의 수의 절반 이상을 넘어가면, 고려되는 분리된 픽셀은 "홀"로 설정되고, 이 픽셀로 이끄는 원래 상이 지도의 임의의 픽셀은 "틀린 상이 값"으로 표시된다.

이 첫 번째 실시예는 도 3에 도시되었다. 원래의 상이 지도(Do)의 첫 번째 틀린 픽셀(Po2)은 투사된 상이 지도(Dp)의 영역(Dp2) 상에 대응하는 분리된 투사된 픽셀(Pp2)을 가진다. 원래의 상이 지도(Do)의 제 2 픽셀 및 제 3 픽셀(Po11, Po12)은 투사된 상이 지도(Dp)의 영역(Dp1) 상에 동일한 대응하는 분리된 투사된 픽셀(Pp1)을 가진다. 점선으로 된 창은, Pp2를 분리된 픽셀로 만드는, 여기서 홀(hole)로 정의된 Pp2의 주위의 픽셀들(Pps)을 정의한다. Pp1에도 동일하게 적용된다. 결과적으로, Pp1, Pp2, Po11, Po12 및 Po2에, 각각, 대응하는 원래의 상이 지도(Do)의 픽셀은 "틀린 값"으로 설정된다.

그러한 필터링이 상이 지도 상의 양자화의 예상되는 효과에 잘 맞으며, 상기 양자화는 압축의 하나의 단계이고, 상이 지도 안의 단점의 원인 중 하나라는 점이 주지되어야 한다. 상이 양자화 오류는, (주로 객체 경계에서의)직선에 의해 분리되는 두 개의 넓게 다른 그레이 레벨의 균일한 영역이 존재하는, 상이 지도의 샤프 에지(sharp edge)에서 주로 일어날 것이라는 것을 주지하라. 이러한 바로 동일한 영역들은 분리된 "틀린 상이 값"을 지적하는데 적절한 투사된 상이 지도 안의 큰 홀들을 생성하는 것들이다.

두 번째 비-제한적인 실시예에 있어서, 필터링은 다음과 같이 행해진다. 또한, 투사된 픽셀 값들의 수에 관한 한, 투사된 지도의 다른 분리된 픽셀들을 체크함으로써 오류있는 값들을 감지하는 것이 가능하다. 분리된 투사된 픽셀들은 그 주위의 픽셀들과 아무런 상관된 특성을 가지지 않는 픽셀들이다.

예를 들어, 만약 3개의 값을 포함하는 픽셀이 2개의 값을 포함하는 픽셀들에 의해 둘러싸여지면, 적어도 하나의 틀린 값을 포함할 가능성이 크다. 이 값의 세트를 그 인접한 것들과 비교함으로써, 목록 안의 틀린 값들이 검출될 수 있다.

투사된 상이 지도의 픽셀의 값들의 수의 범위는 0에서 n(n은 원래의 상이 지도에 의존한다)에 이른다는 것을 주지하라. 분리된 픽셀 검출에서 요구되는 정확성은 어느 종류의 분리된 픽셀이 처리되길 원하는 지를 결정할 것이며: 홀에 의해 둘러싸인 분리된 픽셀, 그런 후, 두 개 이상의 값을 갖는 픽셀; 어느 것이 하나의 값만을 포함하는 픽셀들에 의해 둘러싸여 있는지 등 등을 결정할 것이다. 더 많은 경우를 처리할수록, 상이 지도는 더 정확해야 하지만, 또한 알고리즘은 더 컴퓨터-강화되어야 한다. 정확성과 효율 사이의 이러한 상관 관계는 원하는 애플리케이션의 종류에 의존해야 한다.

이 필터링 프로세스를 향상시키는 방법은 계수(α)에 대한 다른 값들을 시험하는 것이다: 이렇게 함으로써, 더 많은 잘못된 값들을 검출할 수 있다. 계수(α)를 바꾸는 두 개의 다른 방법이 있다:

투사 방향을 바꾸는, 부호를 바꾸는 것: 이런 식으로, 뷰 안의 객체들의 두 가지 측면들은 향상될 수 있다. 예를 들어, 만약 뷰가 산을 포함하고, "올바른" 투사를 하고 싶으면, 상기 산의 오른쪽에 홀들을 필터링해야 하고, "왼쪽" 투사를 위해 산의 왼쪽의 홀들을 필터링해야 한다.

크기를 바꿈으로써, 상이 손상을 강조할 수 있고, 더 큰 홀을 이용하여, 더 작은 크기로는 충분히 보이지 않는 그 중 몇몇을 검출할 수 있다.

α의 다른 값들에 대해 필터를 동작시키는 것은 감지 효율을 향상시키지만 복잡성을 증가시킬 것이라는 것을 주지하라. 시험될 값들의 수의 선택은 다시 애플리케이션에 의존한다.

두 번째 단계{2)}에서, 투사된 상이 지도의 홀을 채우는 단계가 존재한다.

재구성 프로세스 도중, 투사된 상이 지도 생성에 뒤따르는 두 번째 단계는 보간을 통해 이 상이 지도의 홀을 채우는 단계로 구성된다. 일반적으로, 보간 형태는. 최종 재구성된 뷰에서, 홀들이 ("실제 생활"에서 가장 흔한 경우인)전경의 사물보다는 배경에 속하는 것에 대응한다는 것을 고려함으로써 선택된다. 하나의 예가 아래에 주어졌다. 투사된 상이 영역에서, 패딩(padding) 프로세스를 통해, 홀의 전체 선 상에서 홀-경계 상이 값을 반복한다. 패딩 프로세스는, 홀의 가장 가까운, 경계 상이 값을 취하는 단계로 구성되고, 이 값으로 상기 홀의 전체 선을 패딩한다.

임의의 경우에서, 보간은 홀 경계 상이 값에 강하게 의존한다. 압축된(즉, 손상된) 상이 지도를 사용할 때의 문제는 이 패딩 프로세스에 사용되는 홀 경계 값들이 압축 알고리즘에 의해 심각하게 바뀔 수 있어서, 더욱이 하나의 선에서 다른 선으로 가변하는 방식으로 오류가 생길 수 있다는 것이다: 그런 후, 패딩 프로세스는, 홀의 전체 선 상에서 전파되는, 이러한 오류있는 값들에 근거하여 수행된다. 시각적으로, 이것은 재구성된 뷰에서 "닳아진 에지"라고 부르는 것을 생성할 수 있다.

본 발명의 방법에 따라서, 홀 경계 값에 대한 새로운 특정 후-처리 필터(F2)가 적용되고, 이것은 위에 언급된 문제를 피한다. 이것은 홀 그자체가 아닌 홀의 경계에 적용된다.

먼저, 몇 가지 홀들이 잘못된 보간된 값들을 눈에 띄게 유도하기에 충분히 크지 않다(예들 들어, 하나의 픽셀 넓이의 홀)고 가정하면, 필터링은 주어진(애플리케이션-의존적인) 임계치(T2), 예를 들어, 3 개의 픽셀들보다 더 큰 홀의 경계에서만 수행된다.

그런 후, 이러한 선택된 홀들(H)에 대해서, 도 4에 도시된 것처럼, (경로의 홀들을 제외하고) 둘러싸는 투사된 픽셀 값들을 고려하면서, 경계 픽셀 값에 대해 메디안 필터링(median filtering)이 수행된다.

도 4의 예에서, 투사된 상이 지도(Dp)는, 픽셀(P)로 채워진 것과 홀(H)로 채워진 것, 두 가지 영역을 포함한다.

홀(H1)은 투사된 상이 지도(Dp) 안에서 선택된다. (홀이 아닌) 픽셀 값의 창(W)은 고려된 홀(H1)의 경계 픽셀 값(Vk1) 근방에 취해진다. 일단 창(W) 내의 모든 픽셀 값들이 분류되면, 중앙 값이 취해지고 경계 픽셀 값(Vk1)을 대체한다.

중앙 필터링을 통해 픽셀 값(Vk1)이 바뀐 후에 정규 패딩 처리가 새로운 픽 셀값(Vk1)으로 홀(H1)자체에 대해 수행된다.

따라서 원래의 상이 지도 경계 픽셀 값은 잘못된 값으로 표시되고, 만약 새로운 값(Vk1)이 부여되었다면, 홀(H1)의 경계 픽셀로 투사되었을, 원래의 상이 지도의 픽셀은 새로운 값(Vk1)이 부여된다. 이러한 변경은 또한 α에 대한 다른 값들을 사용할 때(위에 언급된 것처럼 부호나 크기를 바꿀 때) 수행된다.

예를 들어, 투사된 상이 지도(Dp)의 선택된 홀의 경계 픽셀은 10의 값을 가진 픽셀 번호(11)이다. 원래 상이 지도(D0)의 대응하는 픽셀은 10의 값을 갖는 픽셀 번호(1)이다. 경계 픽셀 번호(11)의 중앙 필터링 후에, 그 새로운 값은 5이다. 고로, 원래의 상이 지도(D0)의 대응하는 픽셀 번호(1)는 "잘못된" 값을 취한다. 더 나아가, 만약 새로운 값 5가 부여되었다면, 경계 픽셀 번호(11)로 투사되었을, 원래의 상이 지도(D0)의 픽셀은 새로운 값(5)이 부여된다. 실질적으로, 원래의 상이 지도(D0)의 픽셀 번호(6)는 5의 값이 부여된다.

세 번째 단계{3)}에 있어서, 최종 정규화가 바람직하게 수행된다. 이것은 선들 상에서 중앙 필터링(F3)에 의한 투사된 상이 지도의 정규화로 구성된다(이것은 예를 들어, 큰 상이 불연속성의 근방에 위치하지 않았기 때문에, 투사된 상이가 더 정규화되고, 종래의 필터링에 의해 감지될 수 없는 불규칙성을 더 부드럽게 하도록 한다). 이전처럼, 가능한 변화는 원래의 상이 지도로 변환된다.

네 번째 단계{4)}에 있어서, 홀이 채워진 투사된 상이 지도에 근거한 최종 I_N뷰 생성이 수행된다.

위에 언급된 다른 프로세싱 단계는 투사된 상이 영역에서 수행되었다. 그러므로, 첫 번째 비-제한적인 실시예에서, 디. 트조바라스, 엔.그라말리디스, 지.스트린지스에 의한 "복수-뷰 3D 영상 생성을 위한 상이 필드 및 깊이 지도 코딩", 신호 처리: 영상 통신 11 (1998) 페이지 205-230에 개시된 것과 같은 이 기술 분야의 당업자에게 잘 알려진 것처럼, 최종의 재구성된 뷰(R_VIEW)는 이 필터링된 투사된 상이 지도로부터 생성될 수 있다.

두 번째 비-제한적인 실시예에서, 재구성된 뷰는 아래에 개시된 원래의 상이 지도의 변경된 버젼으로부터 생성된다.

단계(1, 2)의 다양한 필터링 프로세스 도중에, 픽셀이 변경되거나 투사된 상이 지도에서 "잘못된 상이 값"이라고 라벨이 붙을 때마다, 원래의 상이 지도가 위에 언급되었을 뿐 아니라, 표시되고 변경된다는 것을 주지하라. 그래서, 이러한 변경 또는 라벨 붙여진 픽셀들은 원래의 상이 지도로 변환된다.

그런 후, 정의되지 않은 값들, WV나 "잘못된 상이 값"의 목록이 얻어진다.

이 목록은 최종 향상된 상이 지도를 얻기 위해 "홀 채우기" 과정 도중에 대체되어야 한다. 그렇게 하기 위한 더 신뢰성있는 과정은 다음과 같다.

정의되지 않은 값들을 가진 원래의 디코딩된 상이 지도, 즉, 변경된 원래의 상이 지도는 선들 위로 스캔된다. 정의되지 않은 값들을 채우기 위해, 정의되지 않은 값들의 경계 픽셀 값들 중 하나가 복사된다: 일반적으로, 선택할 수 있는 두 개의 가능한 경계 픽셀 값 후보가 존재한다. 하나는 정의되지 않은 값을 포함하는 픽셀의 왼쪽에 그리고 하나는 그 오른쪽에 있다. 하나의 선택은 바이리니어 (bilinear) 혹은 가장 가까운 인접 보간을 사용하는 것이다. 그러나, 홀의 가변할 수 있는 크기는 보간이 공간 상에서 일치하지 않게 할 수 있다. 고로, 원래의 디코딩된 상이 지도 안의 원래의 픽셀에 가장 가까운 값을 가지는 경계 픽셀이 바람직하게 선택된다. 비록 압축이 원래의 압축되지 않은 값을 어느 정도 바꿀 수는 있지만, 최종 값은 일반적으로 동일한 사물의 둘러싸는 픽셀에 더 가깝고, 얻어진 후-처리된 상이 지도는 원래의 압축되지 않은 것에 가깝다(실험 결과는 이 종류의 보간에 더 좋았다).

도 5에 도시된 것처럼, 원래의 디코딩된 상이 지도(Dco)와 정의되지 않은 값을 갖는 변경된 원래의 디코딩된 상이 지도(Dcco)를 볼 수 있다. 후자의 상이 지도(Dcco)에서, 교정되어야 할 하나의 정의되지 않은 값(WV1)을 볼 수 있다. 이것은 원래의 디코딩된 상이 지도(Dco)의 픽셀(Pco1)에 대응한다. 정의되지 않은 값(WV1)에 대해 두 개의 경계 픽셀 후보(Ps1, Ps2)가 존재한다. Ps1은 원래의 디코딩 된 상이 지도(Dco)의 대응하는 원래의 픽셀(Pco1)로부터 가장 가까운 값을 가지는 픽셀이다. 상기 픽셀(Ps1)은 정의되지 않은 값(WV1)을 대체한다.

일단 보간이 수행되면, 원래의 압축되지 않은 상이 지도에 가까운 교정된 상이 지도가 생성된다. 그러한 지도를 생성하는 것의 장점은 두 가지이다:

뷰 재구성 프로세스에 대해 다시 사용될 수 있다. 이 교정된 상이 지도에서 단점이 제거되면서, {아마도 정규화 단계(3)을 제외하고, 추가의 필터링할 필요없이} 이것은 최종 재구성에 대해 사용될 수 있다. 이것은 투사된 상이 지도를 사용한 것보다 더 나은 재구성 뷰를 준다.

생성된 교정된 지도는 일반적으로 더 뚜렷하고, 비정상적인 값이 없으며, 이것은 이 기술의 당업자에게 잘 알려진 콤포지팅(compositing) 및 Z-키잉(Z-keying)과 같은 깊이/상이 값에 근거한 다른 애플리케이션에 더 적절하게 한다.

본 발명이 위에 언급된 실시예들에 한정되지 않고 변형 및 변경이 첨부된 청구항에 정의된 것과 같은 본 발명의 취지와 범위에서 벗어나지 않으면서 행해질 수 있다는 것이 이해되어야 한다. 이런 측면에서, 다음의 끝맺는 글이 이어진다.

본 발명은 위에 언급된 비디오 애플리케이션에 한정되지 않는다는 것이 이해되어야 한다. 본 발명은 압축된 상이 지도를 고려하여 신호를 처리하기 위한 시스템을 사용하는 임의의 애플리케이션 내에서 사용될 수 있다. 특히, 본 발명은, 상이 지도 코딩에 적용된다면, 다른 MPEG 표준 계열(MPEG-1, MPEG-2)의 비디오 압축 알고리즘에 그리고 ITU H26X 계열(H261, H263 및 확장, 가장 최근의 H261, 참조 번호 Q15-K-59)에 적용된다.

본 발명에 따른 방법이 위에 언급된 구현에 한정되지 않는다는 것이 이해되어야 한다.

하드웨어나 소프트웨어의 하나의 항목이 몇 가지 기능들을 수행할 수 있다면, 하드웨어나 소프트웨어, 또는 둘 다를 이용하여 본 발명에 따른 방법의 기능을 구현하는 수많은 방법이 존재한다. 이것은 하드웨어나 소프트웨어, 또는 둘 다의 항목의 조합이 하나의 기능을 수행하고, 그럼으로써, 본 발명에 따른 비디오 신호를 후-처리하기 위한 방법을 변경하지 않고 하나의 기능을 형성한다는 것을 배제하지 않는다.

상기 하드웨어나 소프트웨어 항목은, 연결된 전자 회로를 이용하거나 적 절하게 프로그램된 집적 회로를 이용하는 것과 같은, 몇 가지 방식으로 구현될 수 있다. 집적 회로는 컴퓨터 안에 또는 디코더 안에 포함될 수 있다. 후자의 경우에, 디코더는, 이전에 설명된 것과 같이, 비디오 신호를 후-처리하기 위한 방법의 단계(1, 2, 3, 4)를 수행하기 위한 수단을 포함하고, 상기 수단은 위에 언급된 것과 같이 하드웨어나 소프트웨어 항목이다.

집적 회로는 명령들의 세트를 포함한다. 그래서, 예를 들어, 컴퓨터 프로그래밍 메모리 안에 또는 디코더 메모리 안에 포함된 상기 명령의 세트는 컴퓨터나 디코더가 후-처리하는 방법의 다른 단계들을 수행하도록 한다.

명령의 세트는, 예를 들어, 디스크와 같은 데이터 캐리어를 판독함으로써 프로그래밍 메모리로 로딩될 수 있다. 서비스 제공자는 또한, 예를 들어, 인터넷과 같은 통신 네트워크를 통한 명령의 세트를 사용가능하게 할 수 있다.

다음의 청구항 안의 임의의 참조 부호는 청구항을 제한하는 것으로 해석되어서는 안된다. "포함하다"의 동사와 그 파생어의 사용은 청구항에서 정의된 단계 또는 요소 이외의 단계 또는 요소의 존재를 배제하지 않는다는 것이 명백할 것이다. 요소나 단계에 대한 단수 명사의 사용은 복수의 그러한 요소나 단계의 존재를 배제하지 않는다.

상술한 바와 같이 본 발명은 디지털 비디오 신호를 후-처리하기 위한 방법으로서, 상기 디지털 비디오 신호는 연관된 상이 지도를 가지는 복수의 뷰를 가지는, 디지털 비디오 신호를 후-처리하기 위한 방법에 응용될 수 있다.

Claims (12)

1. 연관된 상이 지도(disparity map)를 갖는 복수의 뷰(view)를 가지는 디지털 비디오 신호를 후-처리(post-processing)하기 위한 방법으로서, 상기 방법은,

   원래의 상이 지도로부터 투사된 상이 지도를 생성하는 제 1 단계, 상기 투사된 상이 지도 내의 홀을 채우는 제 2 단계를 포함하고, 상기 제 1 단계는 제 1 필터링함으로써 상기 투사된 상이 지도 위의 분리된 투사된 픽셀을 제거하는 하부단계를 포함하는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
2. 제 1항에 있어서, 상기 제 1 필터링은 홀에 의해 둘러싸인 분리된 투사된 픽셀을 선택함으로써 수행되는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
3. 제 1항에 있어서, 상기 제 1 필터링은, 픽셀을 둘러싸고 있는 것들과 아무런 상관된(coherent) 특성을 가지지 않는, 분리된 투사된 픽셀을 선택함으로써 수행되는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
4. 제 2항 또는 제 3항에 있어서, 상기 제 1 필터링은 투사된 상이 지도의 두 개의 투사 방향들에 적용되는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
5. 제 2항 또는 제 3항에 있어서, 상기 제 1 필터링은 상이 지도 투사 크기를 변화시키는 하부단계를 포함하는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
6. 제 1항 내지 제 3항 중 어느 한 항에 있어서, 선택 분리된 투사 픽셀들이 홀(hole)로서 설정되고 이들 선택된 투사 픽셀로 이끄는 원래의 상이 지도 안의 대응하는 픽셀들이 잘못된 것으로 표시되어, 변경된 원래의 상이 지도를 초래하는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
7. 제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 제 2 단계는,

   -임계치(T2)보다 더 큰 홀을 선택하는 단계,

   -상기 홀 경계 픽셀 값의 둘러싸는 투사된 픽셀 값들을 고려하면서, 상기 선택된 홀의 선택된 경계 픽셀 값에 대해 중앙 필터링하는 단계,

   -상기 중앙 필터링의 결과로 홀을 패딩(padding)하는 단계를 포함하는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
8. 제 7항에 있어서, 선택된 경계 픽셀이 필터링으로부터 새로운 값을 얻을 때, 상기 선택된 경계 픽셀로 이끄는 원래의 상이 지도 안의 대응하는 픽셀은 잘못된 것으로 표시되고, 상기 새로운 값을 갖는 상기 경계 픽셀에 대응하는 원래 상이 지도의 픽셀은 상기 새로운 값이 부여되어, 변경된 원래의 상이 지도를 초래하는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
9. 제 6항에 있어서, 변경된 원래의 상이 지도의 잘못된 픽셀을 원래의 상이 지도의 원래의 픽셀에 가장 가까운 값을 가지는 그 경계 픽셀 값들 중 하나로 채우는 추가의 제 3 단계를 포함하는 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
10. 제 9항에 있어서, 재구성된 뷰가 변경된 원래의 상이 지도로부터 재구성된 것을 특징으로 하는 디지털 비디오 신호를 후-처리하기 위한 방법.
11. 디코더용 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체로서, 상기 디코더에 로딩되었을 때, 디코더가 제 1항 내지 제 3항 중 어느 한 항에 따른 방법을 수행하기 위한 디코더용 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
12. 컴퓨터용 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체로서, 상기 컴퓨터에 로딩되었을 때, 컴퓨터가 제 1항 내지 제 3항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터용 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.

Images