KR20070108092A - 다시점 동영상을 부호화 하는 방법 및 장치 - Google Patents

Abstract

본 발명에서는 원래 영상의 정보를 사용하여 원래 영상의 해상도를 낮추는 경우보다 화질이 좋으면서도, 원래 영상을 그대로 압축하는 것보다 압축률을 향상시키는 방법 및 장치를 제공한다. 본 발명에 의한 다시점 동영상을 부호화 하는 방법은 현재 부호화하고자 하는 영상의 참조 영상에 대한 움직임 또는 변이 벡터를 계산하는 단계와, 상기 현재 영상과 상기 참조 영상의 화소값 차이인 잔여신호를 다운샘플링하여 해상도를 줄이고 부호화 하는 단계와, 상기 부호화된 잔여신호를 복호화하고 업샘플링하여 원래의 해상도로 복원하는 단계와, 상기 복원된 잔여신호의 블록과 상기 움직임 또는 변이 벡터에 따라 결정되는 상기 참조 영상의 블록을 합하여 상기 현재 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.

Description

다시점 동영상을 부호화 하는 방법 및 장치{METHOD AND APPARATUS FOR ENCODING MULTI-VIEW MOVING PICTURES}

도 1은 종래의 스테레오 부호화의 원리를 설명하는 도면.

도 2는 종래의 스테레오 부호화 장치의 구성도.

도 3은 본 발명에 의한 다시점 동영상 부호화 방법의 흐름도.

도 4는 본 발명에 의한 다시점 동영상 부호화 장치의 구성도.

도 5는 본 발명에 의한 다시점 동영상 복호화 방법의 흐름도.

도 6은 본 발명에 의한 다시점 동영상 복호화 장치의 구성도.

본 발명은 다시점 동영상을 부호화 하는 것에 관련되며, 특히 입체에 대한 주관적 화질이 거의 차이나지 않으면서도 다시점 동영상에 다운샘플링 후 부호화를 적용하여 효과적으로 압축률을 높이는 것에 관련된다.

기존 전송망의 인프라를 그대로 이용하면서 다시점 입체 컨텐츠 서비스를 하 기 위해서는 압축률을 크게 높일 필요가 있다. 일반적으로 시점수가 늘어남에 따라 데이터량은 배로 증가하게 된다. 따라서 데이터량을 줄이기 위한 부호화 방법들이 제안되었는데 대표적인 방법이 뷰간의 상관성을 이용하는 것이다. 그러나 카메라의 위치에 따라 보이는 영역이 달라짐으로 발생하는 폐색 영역(occlusion area)과, 실제 변이 벡터 추정의 어려움 등으로 인해 뷰간 상관성으로 인한 코딩 이득(coding gain)은 그다지 크지 않다. 대역폭(bandwidth)이 충분한 응용 서비스는 뷰간 상관성만을 이용한 부호화기를 사용할 수 있다. 그러나 대역폭이 제한된 기존 전송망의 인프라를 그대로 이용할 경우, 단순히 뷰간 상관성만을 이용하는 기존의 스테레오 및 다시점 부호화기보다 압축률을 향상시키는 것이 필요하다.

인간 시각 시스템(human visual system)의 쌍안 억제 이론(binocular suppression theory)에 따르면, 각각의 눈에 다른 화질의 영상이 입력되었을 때 상대적으로 좋은 화질의 영상이 나쁜 화질의 영상보다 최종적으로 3차원을 인지하는데 있어 영향력이 더 크다고 한다. 따라서 좌우영상의 화질을 같게 부호화할 필요가 없으며 우영상을 적은 비트로 할당하여도 스테레오 영상에서 입체감을 느끼는 데에는 차이가 없다. 우영상의 압축률을 높이기 위한 간단한 방법으로 양자화(quantization) 단계에서 양자화 파라미터(quantization parameter: QP)를 바꾸어 양자화 레벨(quantization level)을 거칠게 하는 방법과, 영상의 해상도를 줄여서 부호화하는 방법이 있다. 전자는 간단하나 영상의 상세부분(detail)에 따라 코딩 에러(coding error)가 두드러지게 나타나는 QP 값이 다르기 때문에 적절한 QP 값을 찾기가 어렵다는 문제점이 있다. 후자는 원본 영상의 해상도를 낮추므로 인한 손실이 있으며 원래 영상(original image)의 정보를 부호화에서 전혀 사용하지 않게 된다.

종래의 스테레오 부호화의 원리가 도 1에 도시되어 있다. 도 1에서 좌영상은 기존 2차원 동영상 서비스와의 역호환성(backward compatibility)을 위해 부호화시 자신만을 참조한다. 우영상은 다운샘플링을 통해 가로방향의 해상도가 1/2로 줄여진 후, 부호화를 위해 자신뿐 아니라 좌영상도 참조한다. 즉, 기준이 되는 한 시점의 영상은 시간축상의 상관정보만을 이용하여 부호화하고, 나머지 다른 시점의 영상들은 시간축 및 공간축상의 상관정보를 이용하여 부호화한다. 도 1에 도시된 바와 같이 우영상의 해상도에 맞추어 다운샘플링된 좌영상을 참조하여야 하므로, 참조되는 좌영상에서도 다운샘플링에 의한 손실이 발생한다.

도 2는 종래의 스테레오 부호화 장치의 구성도로서, 도 1의 개념을 구현한 것이다. 좌영상은 기존의 비디오 부호화 방식(예, H.26x 시리즈와 MPEG-x 시리즈)과 동일하게 부호화한다. 우영상은 시간축으로는 기존 부호화 방식과 동일하게 부호화하며, 공간축으로는 좌영상을 참조하여 변이를 예측하는 부분이 추가된다. 그러나 전술한 바와 같이 좌영상을 참조하여 우영상을 부호화할 때, 좌영상을 우영상의 해상도에 맞추어 다운샘플링 하는 과정이 추가되며 이로 인한 손실이 발생한다.

즉, 종래의 스테레오 동영상의 부호화에서 전처리로 다운샘플링 하여 해상도를 줄인 우영상을 입력으로 사용하는 경우, 움직임 및 변이 예측시 참조되는 복원 영상 역시 다운샘플링한 후 사용하므로 원본 영상과 복원 영상에서 다운샘플링에 의한 손실이 발생한다.

이러한 문제점을 해결하기 위해 제안된 본 발명은 입체에 대한 주관적 화질이 그다지 차이나지 않으면서도 다시점 동영상에 다운샘플링 후 부호화를 적용하여 효과적으로 압축률을 높이는 것을 일 목적으로 한다.

또한 본 발명은 제한된 전송대역으로 다시점 동영상 데이터를 효과적으로 전송하는 것을 다른 목적으로 한다.

또한 본 발명은 움직임 및 변이 예측시 사용되는 참조 영상의 해상도를 줄이지 않고 그대로 사용하므로 다운샘플링에 의한 손실이 발생하지 않도록 하는 것을 또 다른 목적으로 한다.

본 발명에서는 원래 영상의 정보를 사용하여 원래 영상의 해상도를 낮추는 경우보다 화질이 좋으면서도, 원래 영상을 그대로 압축하는 것보다 압축률을 향상시키는 방법 및 장치를 제공한다.

본 발명은 다시점 동영상을 부호화 하는 방법에 있어서, 현재 부호화 하고자 하는 영상의 화소값에서 참조 영상의 화소값을 감산하여 잔여신호를 생성하는 단계와, 상기 잔여신호를 다운샘플링하여 해상도를 줄이는 단계와, 상기 다운샘플링된 잔여신호를 부호화 하는 단계를 포함하는 것을 일 특징으로 한다.

또한 본 발명은 다시점 동영상을 부호화 하는 장치에 있어서, 현재 부호화 하고자 하는 영상의 화소값에서 참조 영상의 화소값을 감산하여 잔여신호를 생성하 는 수단과, 상기 잔여신호를 다운샘플링하여 해상도를 줄이는 수단과, 상기 다운샘플링된 잔여신호를 부호화 하는 수단을 포함하는 것을 다른 특징으로 한다.

또한 본 발명은 부호화된 잔여신호를 포함하는 다시점 동영상을 복호화 하는 방법에 있어서, 상기 부호화된 잔여신호를 복호화 하는 단계와, 상기 복호화된 잔여신호를 업샘플링하여 원래의 해상도로 복원하는 단계와, 상기 해상도가 복원된 잔여신호와 이전 영상을 합하여 현재 영상을 복원하는 단계를 포함하는 것을 또 다른 특징으로 한다.

또한 본 발명은 부호화된 잔여신호를 포함하는 다시점 동영상을 복호화 하는 장치에 있어서, 상기 부호화된 잔여신호를 복호화 하는 수단과, 상기 복호화된 잔여신호를 업샘플링하여 원래의 해상도로 복원하는 수단과, 상기 해상도가 복원된 잔여신호와 이전 영상을 합하여 현재 영상을 복원하는 수단을 포함하는 것을 또 다른 특징으로 한다.

이러한 구성의 본 발명에 의하면 영상 크기를 다운샘플링 하되 원본 영상이나 복원 영상이 아닌 움직임 및 변이 예측 후, 참조 영상과 현재 영상의 차이값인 잔여신호의 해상도를 줄여 부호화한다. 변이 예측시 좌영상에서 참조하는 블록은 원래 영상을 해상도의 변화없이 부호화한 것이므로 다운샘플링에 의한 손실이 없다. 따라서 부호화된 우영상의 블록은 원본 블록과 참조 블록 모두 다운샘플링에 의한 손실이 없으며, 두 블록의 화소값 차분을 나타내는 잔여 신호의 다운샘플링으로 인한 손실만 발생한다. 이로 인해 본 발명은 입체에 대한 주관적 화질이 그다지 차이나지 않으면서도 효과적으로 압축률을 높일 수 있으며, 제한된 전송대역으로 다시점 동영상 데이터를 효과적으로 전송할 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소 또는 신호를 가리키는 것으로 사용된다.

도 3은 본 발명에 의한 다시점 동영상 부호화 방법의 흐름도이다.

먼저 현재 부호화하고자 하는 영상(이하, 현재 영상이라고 함)의 참조 영상에 대한 움직임 또는 변이 벡터를 계산한다(S302).

다음에는 현재 영상과 참조 영상의 화소값 차이인 잔여신호를 다운샘플링하여 해상도를 줄이고 부호화 한다(S304). 잔여신호의 해상도는 기준 시점의 영상에 대한 다른 시점의 영상의 인터프레임 예측에서 움직임 및 변이 예측 후에 줄인다. 부호화는 이산여현변환, 양자화, 엔트로피 부호화에 의해 수행된다. 다운샘플링 유무 또는 비율은 비율-왜곡 최적화(rate-distortion optimization) 관점에서 결정할 수 있다. H.264는 비율-왜곡 최적화 관점에서 블록의 코딩 모드를 결정하는데, 이는 특정 모드로 코딩했을 때 실제 필요한 비트와 원래 영상과의 차이를 나타내는 왜곡을 고려한 비용함수값을 구하고, 이 비용함수값이 가장 적은 모드를 그 블록의 코딩 모드로 결정하는 것을 뜻한다. 이를 다운샘플링 비율을 결정할 때도 적용하여 각 다운샘플링 비율마다 상기 현재 프레임 블록을 부호화 했을 때 실제 필요한 비트와 원래 영상과의 차이를 나타내는 왜곡을 고려한 비용함수값을 계산하고, 이 비용함수값이 가장 작은 경우로 샘플링 비율을 결정한다. 예를 들어, 1인 경우는 잔여신호의 해상도를 줄이지 않고 압축하는 경우, 가로 1/2은 가로 방향으로 잔여신 호의 해상도를 반으로 줄이는 경우를 뜻한다.

다음에는 부호화된 잔여신호를 복호화하고 업샘플링하여 원래의 해상도로 복원한다(S306). 다음에는 복원된 잔여신호의 블록과 움직임 또는 변이 벡터에 따라 결정되는 참조 영상의 블록을 합하여 현재 영상을 복원한다(S308). 다음에는 복원된 현재 영상에 대해 블록 경계에서 디블로킹(deblocking)을 수행하고 다음의 참조 영상으로 저장한다(S310).

본 발명에서는 참조 영상을 다운샘플링 하지 않고 같은 크기의 영상에서 직접 움직임 및 변이 예측을 한다. 따라서 도 2에 도시된 종래의 방법에 비해 움직임 및 변이 예측시에 보다 정확한 예측이 가능하여 현재 부호화하고자 하는 블록은 움직임 또는 변이 예측된 위치가 가리키는 참조 블록을 손실 없이 가져올 수 있다.

만약 움직임 및 변이 예측 후 생성되는 잔여신호를 그대로 부호화하면 기존의 스테레오 코덱과 동일하다. 본 발명에서는 압축률을 보다 향상시키기 위하여 도 2에서와 같이 영상 크기를 다운샘플링을 하되 원본 영상이나 복원 영상이 아닌 움직임 및 변이 예측 후, 참조 블록과 현재 블록의 차이값인 잔여신호에 대해서 다운샘플링을 한다. 이에 비해 도 2에 도시된 종래의 방법은 우영상 시퀀스를 전처리로 다운샘플링한 영상을 비디오 부호화기의 입력으로 넣으므로 원본 영상을 사용하지 않으며, 좌영상을 참조할 때 사용하는 복원 영상 역시 그대로 사용하지 않고 다운샘플링을 한 후 사용한다. 따라서 원본 영상과 복원 영상에서 다운샘플링에 의한 손실이 발생한다. 그러나 본 발명은 움직임 및 변이 예측 시 참조 영상을 그대로 사용하므로 다운샘플링에 의한 손실이 발생하지 않는다. 그러면서도 도 2에서와 같 이 다운샘플링 후 부호화 하는 것을 잔여신호에 대해 적용하여 압축률을 향상시킨다.

따라서 본 발명은 도 2에 도시된 종래 방법에 비해서 다음과 같은 장점을 갖는다. 첫째, 다운샘플링을 통한 손실이 적다. 둘째, 움직임 벡터의 크기는 종래 방법보다 2배 크지만 DPCM(Differential PCM)으로 부호화하므로 비슷한 양의 비트가 발생하며, 잔여신호 역시 두 방법 모두 다운샘플링한 후 부호화하므로 비슷한 양의 비트가 발생한다. 엄밀하게, 본 발명이 종래 방법에 비해서 가진 장점은 움직임 및 변이 예측을 하는 경우에만 해당하므로 프레임 내 예측을 하는 인트라 모드(intra mode)가 아닌 프레임간 예측을 하는 인터 모드(inter mode)의 경우에만 해당된다. 본 발명의 인트라 모드는 다운샘플링을 하지 않으므로 다운샘플링을 하는 종래 방법보다 일반적으로 비트량이 많다. 이렇게 다운샘플링하여 부호화된 잔여신호는 복호화기 또는 부호화기에서 복원 영상을 생성할 때, 복호화된 잔여신호를 원래 크기로 업샘플링하고 이를 움직임 및 변이 벡터가 가리키는 참조블록과 합하여 움직임/변위 보상을 한다. 따라서 기존 방법의 코덱에 비해 다운샘플링 및 업샘플링 하는 계산 복잡도가 추가된다.

일 예로서, 16x16 매크로 블록 단위로 부호화를 수행할 경우, 기존의 H.26x 시리즈와 MPEG-x 시리즈 부호화에서의 Inter frame prediction은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 크기로 움직임 예측을 수행하고, 4x4 단위 DCT를 수행한다. 이 때, 16x16 크기로 예측을 수행할 경우, 1개의 움직임 벡터와 16개 4x4 블록의 휘도성분 잔여신호와 8개 4x4 블록의 색차성분 잔여신호를 DCT 및 양자화하여 부호화를 수행한다. 8x8 크기로 예측을 수행할 경우는, 움직임 벡터는 4개로 되는 반면 잔여 신호는 16x16 크기 예측에서와 동일하게, 16개 4x4 블록의 휘도성분 잔여신호와 8개 4x4 블록의 색차성분 잔여신호를 DCT 및 양자화하여 부호화를 수행한다.

그러나 본 발명에서의 인터 프레임 예측(Inter frame prediction)의 경우 잔여신호를 수평 또는 수직방향으로 1/2 다운샘플링 한다고 하면, 16x16 크기로 예측을 수행할 경우, 1개의 움직임 및 변이 벡터와 8개 4x4 블록의 휘도성분 잔여신호와 4개 4x4 블록의 색차성분 잔여신호를 DCT 및 양자화하여 부호화를 수행한다. 즉, 움직임 및 변이벡터의 수는 기존 부호화 방식에서와 동일한 반면, 잔여신호만 1/2로 감소하게 되는 것이다.

8x8 크기로 예측을 수행할 경우는, 움직임 및 변이 벡터는 4개로 되는 반면 잔여 신호는 본발명의 16x16 크기 예측에서와 동일하게, 16개 4x4 블록의 휘도성분 잔여신호와 8개 4x4 블록의 색차성분 잔여신호를 DCT 및 양자화하여 부호화를 수행한다.

또한, 잔여신호를 수평 및 수직방향으로 1/2씩 다운샘플링한다고 하면, 16x16 크기로 예측을 수행할 경우, 1개의 움직임 벡터와 4개 4x4 블록의 휘도성분 잔여신호와 2개 4x4 블록의 색차성분 잔여신호를 DCT 및 양자화하여 부호화를 수행한다. 즉, 움직임 및 변이벡터의 수는 기존 부호화 방식에서와 동일한 반면, 잔여신호가 1/4로 감소하게 되는 것이다.

도 4는 본 발명에 의한 다시점 동영상 부호화 장치의 구성도로서, 우영상 부 호화시에 잔여신호를 다운샘플링하는 다운샘플링부(408)와, 복원된 잔여신호를 업샘플링하는 업샘플링부(416)가 추가된 점에서 도 2의 부호화 장치와 구별된다.

좌영상 시퀀스는 비디오 부호화기(402)를 통해 시간축상에서 부호화된다. 비디오 부호화기(402)에서 생성되는 복원된 좌영상 프레임은 참조프레임 버퍼(404)에 저장된다.

우영상 시퀀스에 대해 움직임/변이 예측부(422)는 참조프레임 버퍼(404)에서 참조하는 영상의 종류에 따라 움직임 또는 변이 예측을 수행한다. 움직임/변이 예측부(422)에서 생성되는 움직임 벡터 또는 변이 벡터는 움직임/변이 보상부(418)와 엔트로피 부호화부(412)에 제공된다. 움직임/변이 보상부(418)은 움직임 벡터 또는 변이 벡터가 지시하는 참조프레임 버퍼(404)내의 참조 영상을 판독하여 감산기(406)와 가산기(420)에 제공한다. 감산기(406)는 원래의 우영상에서 참조 영상을 감산하여 잔여 신호를 생성하고 다운샘플링부(408)로 제공한다. 다운샘플링부(408)는 제공된 잔여 신호에 대해 다운샘플링을 수행하여 해상도를 낮추고 DCT/양자화부(410)로 제공한다. DCT/양자화부(410)는 저해상도의 잔여 신호에 대해 이산여현변환과 양자화를 수행하고, 생성된 결과를 엔트로피 부호화부(412)와 역양자화/IDCT부(414)로 제공한다. 엔트로피 부호화부(412)는 DCT/양자화부(410)에서 제공되는 잔여 신호와, 움직임/변이 예측부에서 제공되는 움직임 벡터 또는 변이 벡터에 대해 엔트로피 부호화를 수행하여 다운샘플링된 우영상에 대한 부호화 스트림을 생성한다. 역양자화/IDCT부(414)는 이산여현변환과 양자화가 수행된 잔여신호에 대해 역양자화와 역이산여현변환을 수행하여 복호화한다. 업샘플링부(416)는 복호화 된 잔여신호의 해상도를 원래로 복원하여 가산기(420)로 제공한다.

도 2의 부호화 장치와 비교하면, 우영상의 움직임 및 변이 예측 모두 참조 영상의 해상도를 줄이지 않고 사용하여 다운샘플링에 의한 손실이 없게 된다. 앞서 복원된 우영상에서 움직임 예측하여 참조 블록을 가져오는 경우, 가져온 참조 블록 역시 예측 부호화했다면 잔여 신호의 다운샘플링 및 업샘플링에 의한 손실이 있을 것이다. 그러나 이것 역시 도 2의 방법보다 손실이 적다. 왜냐하면 도 2의 방법은 후처리로 복원된 영상을 업샘플링 하여야 하므로, 결국 잔여신호뿐 아니라 참조 블록의 신호 역시 손실이 있는데 반해 본 발명은 잔여신호의 부분에만 손실이 있다. 본 발명의 장점은 특히 변이 예측을 할 때 두드러진다. 변이 예측시 좌영상에서 참조하는 블록은 원래 영상을 해상도의 변화없이 부호화한 것이므로 다운샘플링에 의한 손실이 없다. 따라서 부호화된 우영상의 블록은 원본 블록과 참조 블록 모두 다운샘플링에 의한 손실이 없으며, 두 블록의 화소값 차분을 나타내는 잔여 신호의 다운샘플링으로 인한 손실만 발생하게 된다.

도 5는 본 발명에 따라 잔여신호와 움직임 또는 변이 벡터를 포함하는 부호화된 다시점 동영상을 복호화 하는 방법의 흐름도이다.

먼저 부호화된 잔여신호를 엔트로피 복호화, 역양자화 및 역이산여현변환을 통해 복호화 한다(S502). 다음에는 복호화된 저해상도 잔여신호를 업샘플링하여 원래의 해상도로 복원한다(S504). 다음에는 해상도가 복원된 잔여신호의 블록과 움직임 또는 변이 벡터에 따라 결정되는 이전 영상의 블록을 합하여 현재 영상을 복원한다(S506). 즉, 복원된 잔여신호에 대해 선택된 부호화 방식에 따라 움직임 보상 또는 변이 보상을 수행하여 블록을 복원한다. 다음에는 복원된 현재 영상에 대해 블록 경계에서 루프 필터링을 통해 디블로킹(deblocking)을 수행한다(S508).

도 6은 본 발명에 의한 다시점 동영상 복호화 장치의 구성도이다.

좌영상의 부호화 스트림은 비디오 복호화기(602)를 통해 복원되며, 복원된 좌영상은 스위치(616)를 경유하여 움직임/변이 보상부(614)로 제공된다. 스위치(616)는 움직임 보상의 경우에는 복원된 우영상이 움직임/변이 보상부(614)에 제공되도록 하고, 변이 보상의 경우에는 복원된 좌영상이 움직임/변이 보상부(614)에 제공되도록 한다.

도 4의 부호화 장치를 통해 생성된 다운샘플링된 우영상에 대한 부호화 스트림은 엔트로피 복호화부(604)와 역양자화/IDCT부(606)를 통해 복호화되고, 업샘플링부(608)를 통해 원래의 해상도로 복원되어 가산기(610)로 제공된다. 가산기(610)를 통해 복원된 우영상은 루프필터(612)를 통해 블록 경계에 대해 디블로킹이 수행된다.

좌영상은 시간축으로만 참조하였으므로 복호화기 역시 변이 보상은 하지 않고 시간축상에서 움직임 보상만을 하며 기존의 비디오 복호화기와 동일한 과정으로 복원된다. 우영상은 엔트로피 코딩, 역양자화 와 역이산여현변환을 순차적으로 행하여 해상도가 줄어든 잔여신호를 복원한 후 원래의 해상도로 되돌리는 추가된 업샘플링 과정을 통해 잔여신호가 복원된다. 복원된 잔여신호는 선택된 부호화 방식에 따라 움직임 보상 또는 변이 보상을 하여 복원 과정이 수행되며, H.264와 같은 경우는 블록 경계에서의 디블로킹(deblocking)을 위해 루프 필터링까지 하면 우영 상의 복원이 완성된다. 복원된 좌영상과 우영상은 다음에 복호화할 프레임을 위한 참조프레임으로 저장될 수 있다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

이러한 구성의 본 발명에 의하면, 영상 크기를 다운샘플링 하되 원본 영상이나 복원 영상이 아닌 움직임 및 변이 예측 후, 참조 영상과 현재 영상의 차이값인 잔여신호의 해상도를 줄여 부호화한다. 변이 예측시 좌영상에서 참조하는 블록은 원래 영상을 해상도의 변화 없이 부호화한 것이므로 다운샘플링에 의한 손실이 없다. 따라서 부호화된 우영상의 블록은 원본 블록과 참조 블록 모두 다운샘플링에 의한 손실이 없으며, 두 블록의 화소값 차분을 나타내는 잔여 신호의 다운샘플링으로 인한 손실만 발생한다. 이로 인해 본 발명은 입체에 대한 주관적 화질이 그다지 차이나지 않으면서도 효과적으로 압축률을 높일 수 있으며, 제한된 전송대역으로 다시점 동영상 데이터를 효과적으로 전송할 수 있다.

Claims (17)

1. 다시점 동영상을 부호화 하는 방법에 있어서,

   현재 부호화 하고자 하는 영상의 화소값에서 참조 영상의 화소값을 감산하여 잔여신호를 생성하는 단계와,

   상기 잔여신호를 다운샘플링하여 해상도를 줄이는 단계와,

   상기 다운샘플링된 잔여신호를 부호화 하는 단계를

   포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
2. 제 1 항에 있어서,

   상기 현재 영상의 상기 참조 영상에 대한 움직임 또는 변이 벡터를 계산하는 단계와,

   상기 부호화된 잔여신호를 복호화하고 업샘플링하여 원래의 해상도로 복원하는 단계와,

   상기 복원된 잔여신호의 블록과 상기 움직임 또는 변이 벡터에 따라 결정되는 상기 참조 영상의 블록을 합하여 상기 현재 영상을 복원하는 단계를

   추가로 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
3. 제 1 항에 있어서,

   상기 다운샘플링의 비율은 상기 현재 영상의 블록을 부호화했을 때 실제 필요한 비트와 원래 영상과의 차이를 나타내는 왜곡에 따른 비용함수값을 계산하고, 상기 비용함수값이 가장 작은 경우로 결정되는 것을 특징으로 하는 다시점 동영상 부호화 방법.
4. 제 1 항에 있어서,

   상기 잔여신호의 해상도를 줄이는 단계는 기준 시점의 영상에 대한 다른 시점의 영상의 인터프레임 예측에서 움직임 및 변이 예측 후에 수행되는 것을 특징으로 하는 다시점 동영상 부호화 방법.
5. 제 1 항에 있어서,

   상기 부호화는 이산여현변환, 양자화, 엔트로피 부호화 중 적어도 하나에 의해 수행되는 것을 특징으로 하는 다시점 동영상 부호화 방법.
6. 제 1 항에 있어서,

   상기 복원된 현재 영상을 다음의 참조 영상으로 저장하는 단계를 추가로 포 함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
7. 제 1 항에 있어서,

   상기 복원된 현재 영상에 대해 블록 경계에서 디블로킹(deblocking)을 수행하는 단계를 추가로 포함하는 것을 특징으로 하는 다시점 동영상 부호화 방법.
8. 다시점 동영상을 부호화 하는 장치에 있어서,

   현재 부호화 하고자 하는 영상의 화소값에서 참조 영상의 화소값을 감산하여 잔여신호를 생성하는 수단과,

   상기 잔여신호를 다운샘플링하여 해상도를 줄이는 수단과,

   상기 다운샘플링된 잔여신호를 부호화 하는 수단을

   포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
9. 제 8 항에 있어서,

   상기 현재 영상의 상기 참조 영상에 대한 움직임 또는 변이 벡터를 계산하는 수단과,

   상기 부호화된 잔여신호를 복호화하고 업샘플링하여 원래의 해상도로 복원하 는 수단과,

   상기 복원된 잔여신호의 블록과 상기 움직임 또는 변이 벡터에 따라 결정되는 상기 참조 영상의 블록을 합하여 상기 현재 영상을 복원하는 수단을

   추가로 포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
10. 제 8 항에 있어서,

    상기 다운샘플링의 비율은 상기 현재 영상의 블록을 부호화했을 때 실제 필요한 비트와 원래 영상과의 차이를 나타내는 왜곡에 따른 비용함수값을 계산하고, 상기 비용함수값이 가장 작은 경우로 결정되는 것을 특징으로 하는 다시점 동영상 부호화 장치.
11. 제 8 항에 있어서,

    상기 부호화는 이산여현변환, 양자화, 엔트로피 부호화 중 적어도 하나에 의해 수행되는 것을 특징으로 하는 다시점 동영상 부호화 장치.
12. 제 8 항에 있어서,

    상기 복원된 현재 영상을 다음의 참조 영상으로 저장하는 수단을 추가로 포 함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
13. 제 8 항에 있어서,

    상기 복원된 현재 영상에 대해 블록 경계에서 디블로킹(deblocking)을 수행하는 수단을 추가로 포함하는 것을 특징으로 하는 다시점 동영상 부호화 장치.
14. 부호화된 잔여신호를 포함하는 다시점 동영상을 복호화 하는 방법에 있어서,

    상기 부호화된 잔여신호를 복호화 하는 단계와,

    상기 복호화된 잔여신호를 업샘플링하여 원래의 해상도로 복원하는 단계와,

    상기 해상도가 복원된 잔여신호와 이전 영상을 합하여 현재 영상을 복원하는 단계를

    포함하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
15. 제 14 항에 있어서,

    상기 부호화는 이산여현변환, 양자화, 엔트로피 부호화 중 적어도 하나에 의해 수행되는 것을 특징으로 하는 다시점 동영상 복호화 방법.
16. 제 14 항에 있어서,

    상기 복원된 현재 영상에 대해 블록 경계에서 디블로킹(deblocking)을 수행하는 단계를 추가로 포함하는 것을 특징으로 하는 다시점 동영상 복호화 방법.
17. 부호화된 잔여신호를 포함하는 다시점 동영상을 복호화 하는 장치에 있어서,

    상기 부호화된 잔여신호를 복호화 하는 수단과,

    상기 복호화된 잔여신호를 업샘플링하여 원래의 해상도로 복원하는 수단과,

    상기 해상도가 복원된 잔여신호와 이전 영상을 합하여 현재 영상을 복원하는 수단을

    포함하는 것을 특징으로 하는 다시점 동영상 복호화 장치.

Images