KR20110138098A

KR20110138098A - 영상 인트라 예측 방법 및 장치 및 그를 적용한 영상 디코딩 방법 및 장치

Info

Publication number: KR20110138098A
Application number: KR1020100058228A
Authority: KR
Inventors: 박영오; 송관웅; 주영훈; 고성제; 남형민; 정재윤
Original assignee: 삼성전자주식회사; 고려대학교 산학협력단
Priority date: 2010-06-18
Filing date: 2010-06-18
Publication date: 2011-12-26
Also published as: WO2011159139A3; WO2011159139A2; US20110310969A1; CN103081472A

Abstract

디코딩될 블록의 경계 화소값을 백업하는 과정, 상기 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 상관성을 바탕으로 상기 디코딩 블록의 경계 화소값을 보정하는 과정, 상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 과정, 상기 백업된 디코딩 블록의 경계 화소값을 복원하는 과정을 포함하는 영상 인트라 예측 방법 및 장치 및 그를 이용한 디코딩 장치가 개시되어 있다.

Description

영상 인트라 예측 방법 및 장치 및 그를 적용한 영상 디코딩 방법 및 장치{Apparatus and method for image intra prediction and apparatus and method for decoding image using the intra prediction}

본 발명은 영상 데이터 디코딩 시스템에 관한 것이며, 특히 영상 다운 사이징을 지원하는 영상 디코더의 영상 인트라 예측 방법 및 장치 및 그를 적용한 영상 디코딩 방법 및 장치에 관한 것이다.

통상적으로 MPEG-4, H.264 등의 고성능 영상 압축 코덱(CODEC)은 적은 용량으로 고화질의 영상을 감상할 수 있다. 그러나 고화질의 영상은 복호 복잡도가 높아서 저성능의 PC나 모바일 기기 등에서 복호하는 것이 문제가 될 수 있다. 또한 모바일 기기와 같이 영상을 출력하는 디스플레이의 크기가 작을 경우 디스플레이의 크기에 따라 영상을 추가적으로 리사이징(resizing) 해야 한다. 따라서 통상적으로 영상 복호 및 리사이징의 중복적인 계산량을 낮추기 위해서 영상 복호 과정에 리사이징 기능을 포함시키는 이른바 ES(Embedded Scaling) 기술을 적용하고 있다.

ES 기술은 다양한 비디오 압축 표준 (예를 들면, MPEG-2, MPEG-4, H.264)에 따라 복호화 과정 내에 리사이징 기능을 넣어 디코딩 모듈의 복잡도를 낮추면서 동시에 영상의 해상도를 낮춘다. 이러한 ES 기술은 디코딩 과정내의 복잡도가 높은 움직임 보상(Motion Compensation:MC)과 역이산여현 변환(Inverse Discrete Cosine Transform:IDCT)을 수정한다.

예를 들면, 움직임 보상 단계에서 움직임 벡터(Motion Vector:MV)를 이용하여 예측 영상 (Predicted Frame)을 생성할 때 다운사이징된 낮은 해상도의 예측 신호를 생성하도록 수정함으로써 움직임 보상 모듈의 복잡도를 낮출 수 있다. 또한 역이산여현 변환 단계에서도 DCT 계수(coefficient)들로부터 해상도가 낮은 차분 영상을 바로 생성할 수 있게 수정함으로써 역이산 여현 변환의 복잡도를 낮출 수 있다. 따라서 디코더는 예측 영상과 차분 영상을 합하여 해상도가 낮아진 영상을 낮은 복잡도를 이용하여 복원할 수 있게 된다.

또한 H.264/AVC 는 기존 압축 표준이 가지고 있지 않은 화면 내 예측(Intra Prediction)이라는 새로운 기능을 가지고 있다.

통상적으로 H.264/AVC(Advanced Video Coding)의 인트라 예측 과정은 프레임 내의 블록을 동일 프레임 내의 정보만을 이용하여 예측 코딩하기 위한 방법으로 다양한 예측 모드를 제공한다. 이러한 예측 모드는 H.264/AVC의 압축 효율을 높이는 데에 매우 중요한 역할을 한다.

이 인트라 예측 기술은 H.264/AVC에서 압축률을 높이는 핵심적인 기능인 동시에 디코딩 복잡도의 상당 부분을 차지하고 있다. 따라서 H.264/AVC를 ES에 적용하기 위해서는 ES에 인트라 예측 기술을 구현해야 한다. 이 때 인트라 예측을 ES에 적용하기 위하여 H.264 표준에서 정의하는 방식을 그대로 사용할 경우 심각한 화질 저하가 발생하게 된다.

본 발명이 해결하고자하는 과제는 임베디드 스케일링 기능을 지원하는 압축 디코더에서 인트라 예측을 효과적으로 수행하는 영상 인트라 예측 방법 및 장치를 제공하는 데 있다.

본 발명이 해결하고자하는 다른 과제는 상기 영상 인트라 예측 방법 및 장치를 적용한 영상 디코딩 방법 및 장치를 제공하는 데 있다.

상기의 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 인트라 예측 방법에 있어서,

디코딩될 블록의 경계 화소값을 백업하는 과정;

상기 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 상관성을 이용하여 상기 디코딩 블록의 경계 화소값을 보정하는 과정;

상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 과정;

상기 백업된 디코딩 블록의 경계 화소값을 복원하는 과정을 포함한다.

상기 일 실시예에 있어서, 상기 경계 화소값 보정 과정은

상기 디코딩 블록의 경계 화소와 경계 화소에 인접한 화소를 비교하는 과정;

상기 비교 결과에 따라 경계 화소값을 조정하는 것임을 특징으로 한다.

상기 일 실시예에 있어서, 상기 경계 화소값 조정 과정은

디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이를 획득하고,

디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이가 임계치보다 크면 상기 경계 화소값을 조정하고,

디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이가 임계치보다 적으면 상기 경계 화소값을 유지하는 것임을 특징으로 한다.

상기 일 실시예에 있어서, 상기 디코딩될 블록을 예측하는 과정은

각 인트라 모드별로 다운 스케일링된 화소값을 예측하는 것임을 특징으로 한다.

인트라 모드가 DC 모드, 수평 방향 모드, 수직 방향 모드일 경우 압축 표준방식으로 화소를 예측하고, 인트라 모드가 좌/우측 대각선 방향 모드, 좌/우측 수직 방향 모드, 좌/우측 수직 방향 모드, 상/하 수평 방향 모드 일 경우 압축 표준방식에서 예측된 화소값의 평균값임을 특징으로 한다.

상기 일 실시예에 있어서, 상기 경계 화소값 복원 과정은

상기 보정된 경계 화소값을 디코딩될 블록의 경계 화소값으로 대치하는 것임을 특징으로 한다.

상기 일 실시예에 있어서, 상기 백업된 디코딩 블록의 경계 화소들은 다운 스케일링된 화소값들임을 특징으로 한다.

상기 일 실시예에 있어서, 상기 영상 인트라 예측은 임베디드 스케일링 기능을 지원하는 압축 디코더에서 수행되는 것임을 특징으로 한다.

상기의 다른 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 디코딩 방법에 있어서,

비트스트림을 엔트로피 복호화하여 레지듀얼 블록 정보와 움직임 벡터, 예측 모드 정보를 생성하는 과정;

상기 생성된 레지듀얼 블록 정보를 역 양자화하여 레지듀얼 블록 계수를 추출하는 과정;

상기 생성된 레지듀얼 블록 계수를 다운 스케일링하는 과정;

상기 디코딩 블록의 경계 화소값들과 그 경계 화소들에 인접한 화소들간의 상관성에 따라 보정된 상기 경계 화소값을 바탕으로 스케일된 인트라 예측을 수행하는 과정;

상기 레지듀얼 신호와 상기 생성된 인트라 예측 신호를 가산하여 재구성된 영상 신호를 생성하는 과정을 포함한다.

상기 일 실시예에 있어서, 상기 인트라 예측을 수행하는 과정은

상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 과정임을 특징으로 하는 영상 인트라 예측 방법.

상기의 또 다른 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 인트라 예측 장치에 있어서,

디코딩될 블록의 경계 화소값을 백업하는 영상 백업부;

상기 백업부에서 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 차이에 근거하여 상기 디코딩 블록의 경계 화소값을 보정하는 외삽부;

상기 보정된 경계 화소값을 이용하여 각 인트라 모드별로 디코딩될 블록을 예측하는 내삽부;

상기 보정된 경계 화소값을 상기 백업된 디코딩 블록의 경계 화소값으로 대치하는 영상 복구부를 포함한다.

상기의 다른 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 디코딩 장치에 있어서,

비트스트림을 엔트로피 복호화하여 레지듀얼 블록 정보와 움직임 벡터, 예측 모드 정보를 생성하는 엔트로피 디코더부;

상기 엔트로피 디코더부에서 생성된 레지듀얼 블록 정보를 역 양자화하여 레지듀얼 블록 계수를 추출하는 역 양자화부

상기 역 양자화부에서 생성된 레지듀얼 블록 계수를 다운 스케일링하는 레지듀얼 다운 사이징부;

상기 디코딩 블록의 경계 화소값들과 그 경계 화소들에 인접한 화소들간의 상관성에 따라 보정된 상기 경계 화소값을 바탕으로 스케일된 인트라 예측을 수행하는 영상 예측부;

상기 레지듀얼 다운사이징부에서 생성된 레지듀얼 신호와 상기 영상 예측부에서 생성된 인트라 예측 신호를 가산하여 재구성된 영상 신호를 생성하는 가산부를 포함한다.

상기 일 실시예에 있어서, 상기 영상 예측부는

디코딩될 블록의 경계 화소값을 백업하는 영상 백업부;

상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 내삽부;

상기 보정된 경계 화소값을 상기 백업된 디코딩 블록의 경계 화소값으로 대치하는 영상 복구부를 포함하는 것을 특징으로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 디코딩 장치의 블록도이다.
도 2는 도 1의 스케일된 인트라 예측부의 상세도이다.
도 3은 도 1의 스케일된 움직임 보상부에서 움직임 보상의 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 영상 인트라 예측 방법을 보이는 흐름도이다.
도 5는 기존의 H.264 표준이 제안하는 인트라 예측 방법의 일예를 도시한 것이다.
도 6은 기존의 H.264 인코더의 인트라 예측과 기존의 ES를 갖는 H.264 디코더의 인트라 예측을 비교한 도면이다.
도 7은 본 발명의 인트라 예측에 사용되는 경계값 조정을 위한 외삽법을 도시한 것이다.
도 8은 기존의 H.264 인코더의 인트라 예측과 본 발명의 ES를 갖는 H.264 디코더의 인트라 예측을 비교한 도면이다.
도 9는 도 4의 인트라 모드별 예측 방향을 도시한 것이다.
도 10은 Diagonal Down-Right 예측 모드의 인트라 예측시 ES에서 H.264의 인트라 예측 방식을 사용한 결과값과 원래 블록 사이즈에서 인트라 예측을 한 후 다운스케일링한 결과값을 비교한 도면이다.
도 11은 도 4의 디코딩 블록의 경계 화소값 보정을 위한 상세 흐름도 이다.
도 12는 본 발명의 일 실시예에 따른 영상 디코딩 방법의 흐름도이다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 디코딩 장치의 블록도이다.

도 1의 영상 디코딩 장치는 일 실시예로서 임베디드 스케일링 기능을 지원하는 H.264와 같은 압축 디코더일 수 있다.

도 1의 영상 디코딩 장치는 엔트로피 디코딩부(110), 역 양자화부(120), 레지듀얼 다운사이징부(130), 가산부(140), 디-블록킹 필터부(150), 프레임 저장부(160), 영상 예측부(100)로 구성된다.

엔트로피 디코딩부(110)는 입력되는 비트스트림을 엔트로피 복호화 하여 레지듀얼 블록 정보, 움직임 벡터 정보 및 예측 모드 정보(인터/인트라 모드 정보)를 추출한다. 여기서 레지듀얼 블록 정보는 현재 블록에서 예측 블록을 감산한 블록 정보이다.

역 양자화부(120)는 엔트로피 디코딩부(110)에서 추출된 레지듀얼 블록 정보를 역양자화 하여 레지듀얼 블록 계수를 추출한다.

레지듀얼 다운사이징부(130)는 역 양자화부(120)에서 추출된 레지듀얼 블록계수들을 다운 스케일링하고, 그 다운 스케일링된 레지듀얼 블록 계수들을 레지듀얼 신호로 역 변환(inverse transform)한다. 따라서 레지듀얼 다운사이징부(130)는 해상도가 낮은 레지듀얼 영상을 생성함으로서 역 변환의 복잡도를 낮출 수 있다. 여기서 역 변환의 일 실시예로서 IDCT를 들 수 있다.

다른 실시 예로, 레지듀얼 다운 사이징부(130)는 레지듀얼 블록 계수들을 레비듀얼 신호로 역 변환하고, 역 변환된 레지듀얼 신호를 다운 스케일링한다.

가산부(140)는 레지듀얼 다운사이징부(130)에서 생성된 레지듀얼 신호와 영상 예측부(170)에서 생성되는 인터 예측 신호 또는 인트라 예측 신호를 가산하여 재구성된(reconstructed) 영상 신호를 생성한다.

이때 가산부(140)는 예측 신호와 레지듀얼 신호를 합하여 해상도가 낮아진 영상을 복원한다.

디-블록킹 필터부(150)는 가산부(140)에서 재구성된(reconstructed) 영상 신호의 블록킹(blocking) 효과를 제거하기 위한 필터링을 수행하여 필터링된 영상 신호를 출력한다.

프레임 저장부(160)는 디-블록킹 필터부(150)에서 출력되는 영상을 프레임 단위로 저장한다.

영상 예측부(100)는 엔트로피 디코딩부(110)에서 생성된 예측 모드 정보(인터/인트라 모드 정보)에 따라 스케일된 인터 예측 또는 스케일된 인트라 예측을 수행한다.

영상 예측부(100)를 더 상세히 설명하면,

영상 예측부(100)는 인터 예측부(170), 스케일된 인트라 예측부(180)로 구성된다.

인터 예측부(170)는 움직임 벡터 다운 스케일링부(172), 스케일된 움직임 보상부(174)를 구비한다.

움직임 벡터 다운 스케일링부(172)는 엔트로피 디코딩부(110)에서 생성된 움직임 벡터를 다운 스케일링한다.

스케일된 움직임 보상부(174)는 움직임 벡터 다운 스케일링부(172)에서 다운 스케일된 움직임 벡터와 프레임 저장부(160)에서 저장된 영상 데이터를 이용하여 움직임 보상을 수행한다. 따라서 스케일된 움직임 보상부(174)는 다운 스케일된 움직임 벡터를 이용하여 낮은 해상도의 예측 영상을 생성함으로서 움직임 보상 모듈의 복잡도를 낮출 수 있다.

또한 스케일된 인트라 예측부(180)는 프레임 저장부(160)에 저장된 스케일된 주변 블록의 공간(spatial) 정보를 이용하여 스케일된 인트라 예측을 수행한다.

도 2는 도 1의 스케일된 인트라 예측부(180)의 상세도이다.

도 2는 스케일된 인트라 예측부(180)는 백업부(212), 외삽부(214), 내삽부(216), 복구부(218)로 구성된다.

백업부(212)는 프레임 저장부(160)에 저장된 영상 프레임을 이용하여 디코딩될 블록의 경계 화소값을 백업한다.

외삽부(214)는 백업부(212)에서 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 차이를 이용하여 상기 디코딩 블록의 경계 화소값을 보정한다.

내삽부(216)는 외삽부(214)에서 보정된 경계 화소값을 사용하여 각 인트라 모드별로 디코딩될 블록을 예측한다. 이때 내삽부(216)는 보정된 경계 화소값을 사용하여 표준으로 정해진 인트라 모드별로 다운 스케일링된 화소값을 예측한다.

복구부(218)는 보정된 경계 화소값을 디코딩될 블록의 경계 화소값으로 대치하기 위해 내삽부(216)에서 백업된 디코딩 블록의 경계 화소값을 복원한다.

도 3은 도 1의 스케일된 움직임 보상부(174)에서 움직임 보상의 일 예를 도시한 것이다.

원래 해상도의 움직임 벡터(Motion Vector)를 다운 스케일링하고, 다운 스케일된 영상과 다운 스케일된 해상도의 다운 스케일된 움직임 벡터(down-scaled motion vector)를 이용하여 다운 스케일된 해상도의 영상을 예측한다.

도 4는 본 발명의 일 실시예에 따른 영상 인트라 예측 방법을 보이는 흐름도이다.

먼저, 비트스트림이 입력되면 이전에 디코딩된 블록의 화소값을 그대로 보존하기 위해 디코딩될 블록의 경계 화소값을 백업(back-up)한다(410). 이때 디코딩될 블록의 경계 화소값은 다운 스케일된 화소값이다.

이어서, 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 상관성을 이용하여 디코딩 블록의 경계 화소값을 보정한다(420 과정).

디코딩 블록의 경계 화소값 보정을 위한 외삽법(extrapolation)을 상세히 설명한다.

기존 H.264 표준이 제안하는 인트라 예측 방법으로서, 도 5에 도시된 바와 같이 디코딩할 블록의 화소값들(a ~ p)은 이미 디코딩된 주변 매크로블럭(Macroblock)의 화소값들(A ~ M)을 이용하여 예측된다. 예를 들어 인트라 예측 모드가 diagonal down-right인 경우 화소값(d)는 (B/4 + C/2 + D/4) 수식을 통하여 계산한다. 하지만 주변 매크로블럭(Macroblock)의 화소값들(A ~ M)은 ES 기술에서이미 다운 스케일링된 화소값들이므로 인코더가 인트라 예측에 사용했던 주변 매크로블럭(Macroblock)의 화소값들과 다른 값이다. 즉, 도 6의 (a)에서 도시된 바와 같이 기존의 H.264 인코더는 재구성된 매크로블록의 화소값("150")을 이용하여 매크로블록의 화소값("150")을 예측한다. 그러나 도 6의 (b)에서 도시된 바와 같이 ES 기술을 갖는 H.264 디코더는 다운 스케일링된 화소값("100")을 사용하여 인트라 예측을 수행하기 때문에 인코더가 인트라 예측에 사용했던 주변 화소값("150")들과 다른 화소값("100")을 예측한다. 이때 예측 에러값은 주변 화소값("150")에 다운 스케일링된 화소값("100")을 차감한 값("50")이 될 수 있다.

따라서 기존 방식으로 인트라 예측을 수행하면 화면 내 예측에 오류가 발생하게 되어 화질 열화에 심각한 영향을 준다.

본 발명의 일 실시예에서는 디코딩할 블록의 경계값에 인접한 화소값들의 경향성(trend)을 이용하여 실제 디코딩할 블록의 경계값을 예측한다.

도 7에 도시된 바와 같이 인트라 예측시 디코딩할 블록의 화소값들(a ~ p)를 계산할 때 디코딩할 블록의 화소값들(a ~ p)의 주변 매크로블럭(Macroblock)의 화소값들(A ~ M)과 그들에 인접한 화소값들(A' ~ M')을 이용하여 주변 매크로블럭(Macroblock)의 화소값들(A ~ M)을 조정한다. 즉, 수학식 1과 같이 화소값(A)과 화소값(A')을 이용하여 보정된 주변 블록 화소값(A^*)을 계산한다.

여기서 α, β는 실험적으로 α=0.25, β=30 으로 정해질 수 있다.

본 발명의 외삽법(extrapolation)에서 구해진 보정된 주변 블록 화소값(A^*)을 이용하여 인트라 예측을 수행하면 도 8의 (b)에 도시된 바와 같이 ES을 갖는 H.264 디코더는 도 8의 (a)에서 H.264 인코더가 예측했던 실제 화소값("150")에 근접한 화소값을 구할 수 있다. 이때 근접 화소값은 100+Δ로 구할 수있다. 여기서 Δ = α(A-A') 이다.

따라서 도 7에와 같이 디코딩 블록의 경계 화소들((A∼M)과 그 경계 화소들에 인접한 화소들((A'∼M')을 이용하여 보정된 주변 블록 화소값(A^*∼M^*)에 해당하는 새로운 화소값들이 생성된다.

다시 도 4로 돌아가서, 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측한다(430 과정).

디코딩 블록 예측을 위한 내삽법(interpolation)을 상세히 설명한다.

예를 들어 H.264/AVC의 인트라 예측은 프레임 내의 블록을 동일 프레임내의 정보만을 이용하여 예측하며, 휘도 신호(Luminance)에 대해 4개의 16×16 예측 모드, 9개의 4×4 예측 모드가 있으며, 색차(Chrominance) 신호에 대해 4개의 8×8 예측 모드가 있다.

도 9의 (a) ~ (i)에 각 인트라 모드별 예측 방향을 도시한다.

도 9의 (a) ~ (i)에 도시된 바와 같이 4×4 블록의 인트라 예측은 Vertical 예측 모드(모드 0)(a), Horizontal 예측 모드(모드 1)(b), DC 예측 모드(모드 2)(c), Diagonal Down-Left 예측 모드(모드 3)(d), Diagonal Down-Right 예측 모드(모드 4)(e), Vertical-Right 예측 모드(모드 5)(f), Horizontal-Down 예측 모드(모드 6)(g), Vertical-Left 예측 모드(모드 7)(h) 및 Horizontal-Up 예측 모드(모드 8)(i)를 가진다. 화살표는 4×4 블록에 대한 예측 방향을 나타낸다. 모드 2는 방향성이 없는 DC 예측 모드로서 화살표로 나타나 있지 않다. 도 9에서 A^*∼ G^*는 보정된 경계 화소값들이고, a ∼ d 는 예측 화소들이다.

본 발명에서는 인트라 예측 모드가 DC 예측 모드, horizontal 예측 모드, vertical 예측 모드이면 앞서 설명한 외삽법을 통해 구한 경계값들을 이용하여 해당 블록을 예측한다. 그러나 인트라 예측 모드가 Diagonal 예측 모드인 경우 경계값들로부터 현재의 디코딩 블록의 픽셀 값들을 예측할 때 사용하는 계수들을 그대로 사용하는 데는 문제가 있다.

도 10에서 도시된 바와 같이 Diagonal Down-Right 예측 모드의 인트라 예측을 수행시 도 10의 (a)에서와 같이 ES에서 H.264의 인트라 예측 방식을 사용한 결과값과 도 10의 (b)에서와 같이 원래 블록 사이즈에서 인트라 예측을 한 후 다운스케일링한 결과값이 서로 다르다.

예를 들어 Diagonal 예측 모드인 경우 다운 스케일링된 예측 화소값 c는 c₁,c₂,c₃,c₄의 평균값이다. 이때 c₁,c₂,c₃,c₄를 H.264 표준을 이용하여 구하면, c₁= E1/4+E2/2+F1/4, c₂= G/4+E1/2+E2/4, c₃= E2/4+F1/2+F2/4, c₄= c₁되고, 결국 c= (c₁+c₂+c₃+c₄)/4 = (G+4E₁+6E₂+4F₁+F₂)/16 =(G+10E+5E)/16 이 된다.

그러나 기존의 ES에서 H.264의 인트라 예측 방식을 사용한 예측 화소값 "c"는 도 10(a)에 도시된 바와 같이 c= (G1+2E+F)/4 가 된다.

따라서 도 9에 도시된 바와 같이 예측 모드들에서 보정된 경계값(A^*∼ G^*)을 이용한 예측 화소값 "a, b, c, d"는 다음과 같이 계산될 수 있다.

1)Vertical 예측 모드 : a = c =A^*, b = d = B^* (기존 인트라 예측 방식과 동일함)

2)Horizontal 예측 모드: a = b =E^*, c = d = F^* (기존 인트라 예측 방식과 동일함)

3)DC 예측 모드: a = b = c = d =(A^* + B^* + C^* + D^*)/4 (기존 인트라 예측 방식과 동일함)

4)Diagonal Down-Left 예측 모드:a = (5A^*+ 10B^*+ C^*)/16, b = c =(5B^*+ 10C^*+ D^*)/16, d= (5C^*+ 11D^*)/16

5)Diagonal Down-Right 예측 모드:a = d = (A^*+ 2G^*+ 1E^*)/4, b = (G^*+ 10A^*+ 5B^*)/16, c = (G^*+ 10E^*+ 5F^*)/16

6)Vertical-Right 예측 모드:a = (E^*+ 5G^*+ 10A^*)/16, b = (6A^*+ 10B^*)/16, c = (F^*+ 7E^*+5G^*+ 3A^*)/16, d = (G^*+ 12A^*+ 3B^*)/16

7)Horizontal-Down 예측 모드:a = (10E^*+ 5G^*+ A^*)/16, b = (3E^*+ 5G^*+ 7A^*+ B^*)/16, c = (6E^*+ 10F^*)/16, d = (G^*+ 12E^*+ 3F^*)/16

8)Vertical-Left 예측 모드:a = (10A^*+ 6B^*)/16, b = (10B^*+ 6C^*)/16, c = (3A^*+ 12B^*+ C^*)/16, d = (3B^*+ 12C^*+ D^*)/16

9)Horizontal-Up 예측 모드:a = (10E^*+ 6F^*)/16, b = (3E^*+ 13F^*)/16, c = d = F^*

다시 정리하면, 본 발명은 도 9에서와 같이 다운 스케일된 영상에서 정확한 인트라 예측을 위해 각 인트라 모드별 영상 예측 방식을 제안한다. 즉, 디코딩될 블록의 인트라 예측 과정은 인트라 모드가 DC 모드, 수평 방향 모드, 수직 방향 모드일 경우 압축 표준방식으로 화소를 예측하고, 인트라 모드가 좌/우측 대각선 방향 모드, 좌/우측 수직 방향 모드, 좌/우측 수직 방향 모드, 상/하 수평 방향 모드 일 경우 압축 표준방식에서 예측된 화소값의 평균값이다.

또한 최적의 인트라 예측 모드를 선택하기 위해서, 정해진 모든 인트라 예측 방향에 대하여 부호화를 수행하고 율-왜곡 코스트(Rate-Distortion Cost, RDcost)를 계산하여, 그 율-왜곡 코스트값이 가장 작은 인트라 예측 방향 모드를 선택한다.

다시 도 4로 돌아가서 최종적으로, 외삽 및 내삽으로 인해 변해진 디코딩 블록의 경계 화소값을 원래대로 되돌리기 위해 백업된 디코딩 블록의 경계 화소값을 복원한다(440 과정). 예를 들면, 도 7에 도시된 바와 같이 새로운 화소값들(A^*∼M^*)은 원래 화소값((A^*∼M^*)으로 대치된다.

도 11은 도 4의 디코딩 블록의 경계 화소값 보정을 위한 상세 흐름도이다.

먼저, 디코딩 블록의 경계 화소(A라 칭함)와 그 경계 화소에 인접한 화소(A'라 칭함)를 선택한다(1110 과정).

이어서, 디코딩 블록의 경계 화소(A)와 경계 화소에 인접한 화소(A')를 비교한다(1120 과정). 즉, 디코딩 블록의 경계 화소(A)와 경계 화소에 인접한 화소(A')간의 차이를 계산한다.

이어서, 디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이가 임계치(β)보다 크면 경계 화소값을 조정시키고(1130), 디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이가 임계치(β)보다 적으면 경계 화소값을 유지한다. 여기서 임계치(β)는 실험적으로 최적의 값으로 미리 정한다.

결국, 디코딩 블록의 경계 화소(A)와 경계 화소에 인접한 화소(A')를 비교 결과에 따라 디코딩 블록의 경계 화소(A)의 보정값(A*)을 생성한다.

도 12는 본 발명의 일 실시예에 따른 영상 디코딩 방법의 흐름도이다.

먼저, 비트스트림을 엔트로피 디코딩하여 레지듀얼 블록 정보와 움직임 벡터, 예측 모드 정보를 생성한다(1210 과정).

이어서, 생성된 레지듀얼 블록 정보를 역 양자화하여 레지듀얼 블록 계수를 추출한다(1220 과정);

이어서, 생성된 레지듀얼 블록 계수를 다운 스케일링한다(1230 과정).

이어서, 디코딩 블록의 경계 화소값들과 그 경계 화소들에 인접한 화소들간의 상관성에 따라 보정된 상기 경계 화소값을 바탕으로 스케일된 인트라 예측을 수행한다(1240 과정).

이어서, 레지듀얼 신호와 상기 생성된 인트라 예측 신호를 가산하여 재구성된 영상 신호를 생성한다(1250 과정).

따라서 본 발명의 일 실시예에 의하면 임베디드 스케일링 기능을 지원하는 H.264와 같은 압축 디코더에서 인트라 예측을 효과적으로 수행함으로서 디코딩되는 영상의 화질을 높일 수 있다. 또한 본 발명의 일 실시예에 따른 인트라 예측 방법은 H.264기반의 임베디드 스케일링 영상에 뿐만 아니라 영상의 썸네일 추출을 위한 I-프레임에도 적용할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims

영상 인트라 예측 방법에 있어서,
디코딩될 블록의 경계 화소값을 백업하는 과정;
상기 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 상관성을 바탕으로 상기 디코딩 블록의 경계 화소값을 보정하는 과정;
상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 과정;
상기 백업된 디코딩 블록의 경계 화소값을 복원하는 과정을 포함하는 영상 인트라 예측 방법.
제1항에 있어서, 상기 경계 화소값 보정 과정은
상기 디코딩 블록의 경계 화소와 경계 화소에 인접한 화소를 비교하는 과정;
상기 비교 결과에 따라 경계 화소값을 조정하는 것임을 특징으로 하는 영상 인트라 예측 방법.
제2항에 있어서, 상기 경계 화소값 조정 과정은
디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이를 획득하고,
디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이가 임계치보다 크면 상기 경계 화소값을 조정하고,
디코딩 블록의 경계 화소와 경계 화소에 인접한 화소간의 차이가 임계치보다 적으면 상기 경계 화소값을 유지하는 것임을 특징으로 하는 영상 인트라 예측 방법.
제1항에 있어서, 상기 디코딩될 블록을 예측하는 과정은
상기 보정된 경계 화소값을 이용하여 각 인트라 모드별로 다운 스케일링된 화소값을 예측하는 것임을 특징으로 하는 영상 인트라 예측 방법.
제1항에 있어서, 상기 디코딩될 블록을 예측하는 과정은
인트라 모드가 DC 모드, 수평 방향 모드, 수직 방향 모드일 경우 압축 표준방식으로 화소를 예측하고, 인트라 모드가 좌/우측 대각선 방향 모드, 좌/우측 수직 방향 모드, 좌/우측 수직 방향 모드, 상/하 수평 방향 모드 일 경우 압축 표준방식에서 예측된 화소값의 평균값임을 특징으로 하는 영상 인트라 예측 방법.
제1항에 있어서, 상기 경계 화소값 복원 과정은
상기 보정된 경계 화소값을 디코딩될 블록의 경계 화소값으로 대치하는 것임을 특징으로 하는 영상 인트라 예측 방법.
제1항에 있어서, 상기 백업된 디코딩 블록의 경계 화소들은 다운 스케일링된 화소값들임을 특징으로 하는 영상 인트라 예측 방법.
제1항에 있어서, 상기 영상 인트라 예측은 임베디드 스케일링 기능을 지원하는 압축 디코더에서 수행되는 것임을 특징으로 하는 영상 인트라 예측 방법.
영상 디코딩 방법에 있어서,
비트스트림을 엔트로피 복호화하여 레지듀얼 블록 정보와 움직임 벡터, 예측 모드 정보를 생성하는 과정;
상기 생성된 레지듀얼 블록 정보를 역 양자화하여 레지듀얼 블록 계수를 추출하는 과정;
상기 생성된 레지듀얼 블록 계수를 다운 스케일링하는 과정;
상기 디코딩 블록의 경계 화소값들과 그 경계 화소들에 인접한 화소들간의 상관성에 따라 보정된 상기 경계 화소값을 바탕으로 스케일된 인트라 예측을 수행하는 과정;
상기 레지듀얼 신호와 상기 생성된 인트라 예측 신호를 가산하여 재구성된 영상 신호를 생성하는 과정을 포함하는 영상 디코딩 방법.
제9항에 있어서, 상기 인트라 예측을 수행하는 과정은
상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 과정임을 특징으로 하는 영상 디코딩 방법.
영상 인트라 예측 장치에 있어서,
디코딩될 블록의 경계 화소값을 백업하는 영상 백업부;
상기 백업부에서 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 상관성에 근거하여 상기 디코딩 블록의 경계 화소값을 보정하는 외삽부;
상기 보정된 경계 화소값을 이용하여 각 인트라 모드별로 디코딩될 블록을 예측하는 내삽부;
상기 보정된 경계 화소값을 상기 백업된 디코딩 블록의 경계 화소값으로 대치하는 영상 복구부를 포함하는 영상 인트라 예측 장치.
영상 디코딩 장치에 있어서,
비트스트림을 엔트로피 복호화하여 레지듀얼 블록 정보와 움직임 벡터, 예측 모드 정보를 생성하는 엔트로피 디코더부;
상기 엔트로피 디코더부에서 생성된 레지듀얼 블록 정보를 역 양자화하여 레지듀얼 블록 계수를 추출하는 역 양자화부
상기 역 양자화부에서 생성된 레지듀얼 블록 계수를 다운 스케일링하는 레지듀얼 다운 사이징부;
상기 디코딩 블록의 경계 화소값들과 그 경계 화소들에 인접한 화소들간의 상관성에 따라 보정된 상기 경계 화소값을 바탕으로 스케일된 인트라 예측을 수행하는 영상 예측부;
상기 레지듀얼 다운사이징부에서 생성된 레지듀얼 신호와 상기 영상 예측부에서 생성된 인트라 예측 신호를 가산하여 재구성된 영상 신호를 생성하는 가산부를 포함하는 영상 디코딩 장치.
제12항에 있어서, 상기 영상 예측부는
디코딩될 블록의 경계 화소값을 백업하는 영상 백업부;
상기 백업부에서 백업된 디코딩 블록의 경계 화소들과 그 경계 화소들에 인접한 화소들간의 차이에 근거하여 상기 디코딩 블록의 경계 화소값을 보정하는 외삽부;
상기 보정된 경계 화소값을 바탕으로 인트라 모드별로 디코딩될 블록을 예측하는 내삽부;
상기 보정된 경계 화소값을 상기 백업된 디코딩 블록의 경계 화소값으로 대치하는 영상 복구부를 포함하는 것을 특징으로 하는 영상 디코딩 장치.
제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.