KR20170128635A

KR20170128635A - 동영상 예측 부호화 장치, 동영상 예측 부호화 방법, 동영상 예측 복호 장치 및 동영상 예측 복호 방법

Info

Publication number: KR20170128635A
Application number: KR1020177032938A
Authority: KR
Inventors: 요시노리 스즈키; 충셍 분; 티오 켕 탄
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2012-09-24
Filing date: 2013-06-17
Publication date: 2017-11-22
Also published as: CN106878733A; AU2016202132A1; CN104604238A; US20190037235A1; CN106131558B; DK3654650T3; CN107087181A; MY161733A; FI3654650T3; TW201818726A; RU2602978C1; CA3118836C; US20170180751A1; CN106131558A; TWI678919B; AU2019210532A1; TWI562614B; ES2781556T3; RU2715015C1; EP3654650B1

Abstract

복호 장치는, 대상 블록의 화면 내 예측 방법을 나타내는 인트라 예측 모드와 잔차 신호의 압축 데이터를 복호하는 복호 수단; 상기 인트라 예측 모드와 인접 블록의 기재생의 참조 샘플로부터 화면 내 예측 신호를 생성하는 예측 신호 생성 수단; 대상 블록의 재생 잔차 신호를 복원하는 잔차 신호 복원 수단; 및 대상 블록의 화소 신호를 복원하여 보존하는 블록 저장 수단을 포함하고, 예측 신호 생성 수단은, 보존된 대상 블록 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 인트라 예측 모드에 기초하여 내삽 참조 샘플을 외삽하여 화면 내 예측 신호를 생성한다.

Description

동영상 예측 부호화 장치, 동영상 예측 부호화 방법, 동영상 예측 복호 장치 및 동영상 예측 복호 방법 {VIDEO PREDICTION ENCODING DEVICE, VIDEO PREDICTION ENCODING METHOD, VIDEO PREDICTION DECODING DEVICE AND VIDEO PREDICTION DECODING METHOD}

본 발명은 동영상 예측 부호화 장치 및 방법, 그리고 동영상 예측 복호 장치 및 방법에 관한 것이며, 특히, 화면 내의 예측 부호화에 사용되는 참조 샘플에 대한 필터 처리에 관한 것이다.

동영상 데이터의 전송이나 축적을 효율적으로 행하기 위해, 압축 부호화 기술이 사용된다. 동영상의 경우에는 MPEG1∼4나 H.261∼H.264의 방식이 널리 사용되고 있다.

이들의 부호화 방식에서는, 부호화의 대상이 되는 화상을 복수의 블록으로 분할한 후에 부호화·복호 처리를 행한다. 화면 내의 예측 부호화에서는, 대상 블록과 동일한 화면 내에 있는 인접하는 기(旣)재생의 화상 신호(압축된 화상 데이터가 복원된 것)를 사용하여 예측 신호를 생성한 후에, 그 예측 신호를 대상 블록의 신호로부터 감산한 차분 신호를 부호화한다. 화면 간의 예측 부호화에서는, 대상 블록과 상이한 화면 내에 있는 인접하는 기재생의 화상 신호를 참조하고, 동작의 보정을 행하고, 예측 신호를 생성하고, 그 예측 신호를 대상 블록의 신호로부터 감산한 차분 신호를 부호화한다.

통상의 화면 간 예측(인터 예측, inter prediction) 부호화에서는, 부호화의 대상이 되는 블록에 대해, 그 화소 신호에 유사한 신호를 이미 재생이 끝난 화면으로부터 탐색한다는 방법으로 예측 신호를 생성한다. 그리고, 대상 블록과 탐색한 신호가 구성하는 영역과의 사이의 공간적 변위량인 움직임 벡터와, 대상 블록의 화소 신호와 예측 신호와의 잔차 신호를 부호화한다. 이와 같이 블록마다 움직임 벡터를 탐색하는 방법은 블록 매칭(block matching)이라고 한다.

도 10은 블록 매칭 처리를 설명하기 위한 모식도이다. 여기서는, 부호화 대상인 화면(701) 상의 대상 블록(702)을 예로 예측 신호의 생성 절차를 설명한다. 참조 화면(703)은 이미 재생이 끝난 상태이며, 영역(704)은 대상 블록(702)과 공간적으로 동일 위치의 영역이다. 블록 매칭에서는, 영역(704)을 에워싸는 탐색 범위(705)를 설정하고, 이 탐색 범위의 화소 신호에서 대상 블록(702)의 화소 신호와의 절대값 오차 합이 최소가 되는 영역(706)을 검출한다. 이 영역(706)의 신호가 예측 신호가 되고, 영역(704)에서 영역(706)으로의 변위량이 움직임 벡터(707)로서 검출된다. 또한, 참조 화면(703)을 복수 준비하고, 대상 블록마다 블록 매칭을 실시하는 참조 화면을 선택하고, 참조 화면 선택 정보를 검출하는 방법도 자주 사용된다. H.264에서는, 화상의 국소적인 특징의 변화에 대응하기 위해, 움직임 벡터를 부호화하는 블록 사이즈가 상이한 복수의 예측 타입을 준비하고 있다. H.264의 예측 타입에 대해는, 예를 들면, 특허문헌 2에 기재되어 있다.

H.264의 화면 내 예측(인트라 예측, intra prediction) 부호화에서는, 부호화의 대상이 되는 블록에 인접하는 기재생의 화소값을 소정 방향으로 외삽(外揷)하여 예측 신호를 생성하는 방법을 채용하고 있다. 도 11은 ITU H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도이다. 도 11 (A)에 있어서, 대상 블록(802)은 부호화의 대상이 되는 블록이며, 그 대상 블록(802)의 경계에 인접하는 화소 A∼M으로 이루어지는 화소군(참조 샘플군)(801)은 인접 영역이며, 과거의 처리에 있어서 이미 재생된 화상 신호이다.

이 경우, 대상 블록(802)의 바로 위쪽에 있는 인접 화소인 화소군(참조 샘플군)(801)을 아래쪽으로 잡아 늘려 예측 신호를 생성한다. 또한 도 11 (B)에서는, 대상 블록(804)의 왼쪽에 있는 기재생 화소(I∼L)를 오른쪽으로 잡아 늘려 예측 신호를 생성한다. 예측 신호를 생성하는 구체적인 방법은, 예를 들면, 특허문헌 1에 기재되어 있다. 이와 같이, 도 11 (A)∼(I)에 나타낸 방법으로 생성된 9개의 예측 신호 각각을 대상 블록의 화소 신호와의 차분을 취하고, 차분 값이 가장 작은 것을 최적의 예측 신호로 한다. 이상과 같이, 화소를 외삽함으로써 예측 신호(인트라 예측 샘플)를 생성할 수 있다. 이상의 내용에 대해서는 하기 특허문헌 1에 기재되어 있다.

또한, 비특허문헌 1에 나타낸 화면 내 예측에서는, 상기한 9 종류에 더하여 참조 샘플을 잡아 늘이는 방향이 상이한 25 종류(합계 34 종류)의 예측 신호 생성 방법이 준비되어 있다.

또한, 비특허문헌 1에서는, 참조 샘플에 발생하는 왜곡을 억제하기 위해, 예측 신호를 생성하기 전에, 참조 샘플에 대해 저역 통과 필터(low pass filter)를 적용한다. 구체적으로는, 가중 계수를 1:2:1로 하는 121 필터를 참조 샘플에 적용하고나서 외삽 예측을 행한다. 이 처리는 인트라 평활 처리(intra smoothing)라 하고 있다.

도 7과 도 8에 의해 비특허문헌 1의 화면 내 예측에 대해 설명한다. 도 7은 블록 분할의 예를 나타내고 있다. 블록 사이즈를 N×N 샘플로 하는 대상 블록(210)에 인접하는 5개의 블록(220, 230, 240, 250, 260)은 이미 재생되어 있다. 대상 블록(210)의 인트라 예측에는, ref[x](x=0∼4N)로 나타내는 참조 샘플이 사용된다. 도 8에, 화면 내 예측의 처리 흐름을 나타낸다. 먼저, 단계 310에서 화면 내 예측 처리를 실시하는 예측 신호 생성기가 재생 화소를 보존하는 메모리로부터 참조 샘플 ref[x](x=0∼4N)를 취득한다. 이때, 부호화 순번 등의 이유로 인접 블록이 아직 재생되어 있지 않아, 4N+1개의 참조 샘플 ref[x]를 모두 취득할 수 없는 경우가 있다. 그때는, 존재하지 않는 샘플은 패딩 처리(padding process)(가까이 존재하는 샘플 값을 복사)에 의해 대용하여, 4N+1개의 참조 샘플을 준비한다. 패딩 처리의 상세한 것에 대해서는, 비특허문헌 1에 기재되어 있다. 다음에, 단계 320에서 예측 신호 생성기는 121 필터에 의해 참조 샘플에 평활화 처리를 행한다. 마지막으로 예측 신호 생성기는 단계 330에서, 대상 블록 내의 신호를 외삽법(화면 내 예측의 방향)에 의해 추정하고, 예측 신호(인트라 예측 샘플)를 생성한다.

- 선행기술문헌 -

(특허문헌 1) 미국 특허공보 제6765964호

(특허문헌 2) 미국 특허공보 제7003035호

(비특허문헌 1) B. Bross et. Al, "High efficiency video coding (HEVC) text specification draft 8", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-J1003, 10th Meeting: Stockholm, Sweden, 11-20 July, 2012.

도 9에 화소값이 유사한 평탄 영역의 신호의 예를 나타내지만, 원래의 화소값(오리지날 샘플값)(410)을 거친 양자화로 부호화하면, 블록 내의 재생 값(재생 샘플값)(420)이 일정 값이 되고, 블록 경계(430)에 계단형의 왜곡이 발생한다. 이 왜곡은 블록 노이즈로 알려져 있고, 통상은, 재생 화상에 블록 노이즈를 없애는 필터링을 하여 제거한다. 그러나, 화면 내 예측에 사용하는 참조 샘플은, 이 블록 노이즈를 없애는 필터 처리 전의 신호이므로, 블록 경계의 참조 샘플에 남아 있는 블록 노이즈는, 화면 내 예측에 의해, 대상 블록의 예측 신호(인트라 예측 샘플)에 전파한다. 예측 신호에 전파된 블록 노이즈는, 재생 신호에 대한 블록 노이즈 제거 처리로는 없앨 수 없기 때문에, 다음의 대상 블록의 참조 샘플군에도 그대로 전파하게 된다.

비특허문헌 1에서는, 화면 내 예측의 외삽법(화면 내 예측의 방향)으로 34 종류의 상이한 외삽 방향이 준비되어 있으므로, 블록 노이즈는 방향을 바꾸면서 전파한다. 그 결과, 화상 내의 평탄 영역의 재생 신호에는 복수의 의사(擬似) 윤곽이 발생한다. 특히 사이즈가 큰 블록에 노이즈가 전파하면 큰 블록 내를 의사 윤곽이 가로지르는 상황이 되고, 시각적인 영향이 크다.

배경기술에서 설명한 121 필터는, 참조 샘플 내의 잡음을 없애는 효과는 있지만, 탭(tap) 수가 짧으므로 도 9에 나타낸 바와 같은 계단형의 노이즈를 없앨 수가 없다.

그래서, 본 발명은 전술한 의사 윤곽과 같은 인공적인 노이즈를 억제하는 것을 목적으로 한다.

본 발명의 일 측면에 따른 동영상 예측 부호화 장치는, 입력 화상을 복수의 블록으로 분할하는 블록 분할 수단; 상기 블록 분할 수단에 의해 분할된 블록 중, 부호화 대상인 대상 블록과의 상관이 높은 블록의 화면 내 예측 신호를, 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 생성하는 예측 신호 생성 수단; 상기 대상 블록의 예측 신호와 상기 대상 블록의 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 상기 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 압축하는 잔차 신호 압축 수단; 상기 잔차 신호의 압축 데이터를 복원한 재생 잔차 신호를 생성하는 잔차 신호 복원 수단; 상기 잔차 신호의 압축 데이터를 부호화하는 부호화 수단; 및 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 수단을 포함하고, 상기 예측 신호 생성 수단은, 상기 블록 저장 수단에 보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 상기 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 인트라 예측 모드를 결정하고, 결정한 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하고, 상기 부호화 수단은, 상기 인트라 예측 모드를 압축 데이터에 포함하여 부호화하는 것을 특징으로 한다.

상기한 동영상 예측 부호화 장치에서는, 예측 신호 생성 수단은, 상기 키 참조 샘플에 기초한 값과 미리 정한 임계값과의 비교에 기초하여, 상기 참조 샘플의 내삽 처리와 참조 샘플의 평활화 처리를 적용적(適用的)으로 전환하여 실시해도 된다.

또한, 상기한 동영상 예측 부호화 장치에서는, 상기 키 참조 샘플을 참조 샘플군의 끝(端)과 중앙에 위치하는 3개의 참조 샘플로 하고, 상기 내삽 처리가 상기 키 참조 샘플 사이의 참조 샘플에 대한 쌍일차 내삽 처리(bilinear interpolation process)여도 된다.

본 발명의 일 측면에 따른 동영상 예측 복호 장치는, 복수의 블록으로 분할되어 부호화된 압축 데이터 중에서, 복호 대상이 되는 대상 블록의 화면 내 예측 방법을 나타내는 인트라 예측 모드와 잔차 신호의 압축 데이터를 복호하는 복호 수단; 상기 인트라 예측 모드와 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 화면 내 예측 신호를 생성하는 예측 신호 생성 수단; 상기 잔차 신호의 압축 데이터로부터 상기 대상 블록의 재생 잔차 신호를 복원하는 잔차 신호 복원 수단; 및 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 수단을 포함하고, 상기 예측 신호 생성 수단은, 상기 블록 저장 수단에 보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 상기 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 상기 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하는 것을 특징으로 한다.

상기한 동영상 예측 복호 장치에서는, 예측 신호 생성 수단은, 상기 키 참조 샘플에 기초한 값과 미리 정한 임계값과의 비교에 기초하여, 상기 참조 샘플의 내삽 처리와 참조 샘플의 평활화 처리를 적용적으로 전환하여 실시해도 된다.

또한, 상기한 동영상 예측 복호 장치에서는, 상기 키 참조 샘플을 참조 샘플군의 끝과 중앙에 위치하는 3개의 참조 샘플로 하고, 상기 내삽 처리가 상기 키 참조 샘플 사이의 참조 샘플에 대한 쌍일차 내삽 처리여도 된다.

본 발명은, 동영상 예측 부호화 방법에 관한 발명, 동영상 예측 복호 방법에 관한 발명, 동영상 예측 부호화 프로그램에 관한 발명, 동영상 예측 복호 프로그램에 관한 발명으로서 파악할 수도 있어, 다음과 같이 기술할 수 있다.

본 발명의 일 측면에 따른 동영상 예측 부호화 방법은, 동영상 예측 부호화 장치에 의해 실행되는 동영상 예측 부호화 방법으로서, 입력 화상을 복수의 블록으로 분할하는 블록 분할 단계; 상기 블록 분할 단계에 의해 분할된 블록 중, 부호화 대상인 대상 블록과의 상관이 높은 블록의 화면 내 예측 신호를, 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 생성하는 예측 신호 생성 단계; 상기 대상 블록의 예측 신호와 상기 대상 블록의 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 상기 잔차 신호 생성 단계에 의해 생성된 잔차 신호를 압축하는 잔차 신호 압축 단계; 상기 잔차 신호의 압축 데이터를 복원한 재생 잔차 신호를 생성하는 잔차 신호 복원 단계; 상기 잔차 신호의 압축 데이터를 부호화하는 부호화 단계; 및 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 단계를 포함하고, 상기 예측 신호 생성 단계에서는, 보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 상기 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 인트라 예측 모드를 결정하고, 결정한 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하고, 상기 부호화 단계에서는, 상기 인트라 예측 모드를 압축 데이터에 포함하여 부호화하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 동영상 예측 복호 방법은, 동영상 예측 복호 장치에 의해 실행되는 동영상 예측 복호 방법으로서, 복수의 블록으로 분할되어 부호화된 압축 데이터 중에서, 복호 대상이 되는 대상 블록의 화면 내 예측 방법을 나타내는 인트라 예측 모드와 잔차 신호의 압축 데이터를 복호하는 복호 단계; 상기 인트라 예측 모드와 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 화면 내 예측 신호를 생성하는 예측 신호 생성 단계; 상기 잔차 신호의 압축 데이터로부터 상기 대상 블록의 재생 잔차 신호를 복원하는 잔차 신호 복원 단계; 및 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 단계를 포함하고, 상기 예측 신호 생성 단계에서는, 보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 상기 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 상기 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 동영상 예측 부호화 프로그램은, 컴퓨터를, 입력 화상을 복수의 블록으로 분할하는 블록 분할 수단; 상기 블록 분할 수단에 의해 분할된 블록 중, 부호화 대상인 대상 블록과의 상관이 높은 블록의 화면 내 예측 신호를, 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 생성하는 예측 신호 생성 수단; 상기 대상 블록의 예측 신호와 상기 대상 블록의 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 상기 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 압축하는 잔차 신호 압축 수단; 상기 잔차 신호의 압축 데이터를 복원한 재생 잔차 신호를 생성하는 잔차 신호 복원 수단; 상기 잔차 신호의 압축 데이터를 부호화하는 부호화 수단; 및 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 수단으로서 기능하게 하기 위한 동영상 예측 부호화 프로그램이며, 상기 예측 신호 생성 수단은, 상기 블록 저장 수단에 보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 상기 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 인트라 예측 모드를 결정하고, 결정한 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하고, 상기 부호화 수단은, 상기 인트라 예측 모드를 압축 데이터에 포함하여 부호화하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 동영상 예측 복호 프로그램은, 컴퓨터를, 복수의 블록으로 분할되어 부호화된 압축 데이터 중에서, 복호 대상이 되는 대상 블록의 화면 내 예측 방법을 나타내는 인트라 예측 모드와 잔차 신호의 압축 데이터를 복호하는 복호 수단; 상기 인트라 예측 모드와 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 화면 내 예측 신호를 생성하는 예측 신호 생성 수단; 상기 잔차 신호의 압축 데이터로부터 상기 대상 블록의 재생 잔차 신호를 복원하는 잔차 신호 복원 수단; 및 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 수단으로서 기능하게 하기 위한 동영상 예측 복호 프로그램이며, 상기 예측 신호 생성 수단은, 상기 블록 저장 수단에 보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 참조 샘플을 취득하고, 내삽 참조 샘플을 생성하기 위해 상기 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고, 상기 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하는 것을 특징으로 한다.

본 발명의 쌍일차 내삽에 의한 참조 샘플에의 필터 처리에 의하면, 참조 샘플의 양단(兩端)의 샘플을 사용하여, 참조 샘플 내의 신호를 완만하게 변화시키므로, 의사 윤곽과 같은 인공적인 노이즈를 억제할 수 있다.

도 1은 본 발명의 실시예에 따른 동영상 예측 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 동영상 예측 복호 장치를 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 화면 내 예측 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 화면 내 예측 방법의 다른 예를 나타낸 흐름도이다.
도 5는 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 6은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 외관도이다.
도 7은 화면 내 예측에 사용하는 참조 샘플의 예를 설명하는 도면이다.
도 8은 종래 기술에서의 화면 내 예측 방법을 나타내는 흐름도이다.
도 9는 평탄 영역에서의 원래의 신호와 재생 신호의 관계를 설명하는 도면이다.
도 10은 화면 간 예측에서의 움직임 추정 처리를 설명하기 위한 모식도이다.
도 11은 참조 샘플의 외삽에 의한 화면 내 예측을 설명하기 위한 모식도이다.
도 12는 화면 내 예측에 사용하는 참조 샘플의 다른 예를 설명하는 도면이다.
도 13은 도 1의 예측 신호 생성기(103)의 처리를 설명하는 흐름도이다.
도 14는 도 2의 예측 신호 생성기(208)의 처리를 설명하는 흐름도이다.
도 15는 본 발명의 실시예에 따른 화면 내 예측 방법의 제2의 다른 예를 나타낸 흐름도이다.
도 16은 동영상 예측 부호화 프로그램의 구성을 나타낸 블록도이다.
도 17은 동영상 예측 복호 프로그램의 구성을 나타낸 블록도이다.

이하, 본 발명의 실시예에 대해, 도 1∼도 7과 도 13∼도 17을 참조하여 설명한다.

도 1은 본 발명의 실시예에 따른 동영상 예측 부호화 장치(100)를 나타낸 블록도이다. 도 1에 나타낸 바와 같이, 동영상 예측 부호화 장치(100)는, 입력 단자(101), 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역양자화기(108), 역변환기(109), 가산기(110), 엔트로피 부호화기(111), 출력 단자(112), 블록 메모리(113), 및 루프 필터기(114)를 구비한다. 감산기(105), 변환기(106), 및 양자화기(107)는, 특허청구범위에 기재된 "부호화 수단"에 대응한다. 또한, 역양자화기(108), 역변환기(109), 및 가산기(110)는, 특허청구범위에 기재된 "복호 수단"에 대응한다. 프레임 메모리(104)는 "화상 저장 수단", 블록 메모리(113)는 "블록 저장 수단"에 대응한다.

이상과 같이 구성된 동영상 예측 부호화 장치(100)에 대해, 이하 그 동작을 설명한다. 복수 장의 화상으로 이루어지는 동영상의 신호는 입력 단자(101)에 입력된다. 부호화의 대상이 되는 화상은 블록 분할기(102)에 의해, 복수의 영역으로 분할된다. 본 발명에 따른 실시예에서는, 도 7에 예를 나타낸 바와 같이 블록 사이즈는 한정되지 않는다. 복수의 블록 사이즈나 형태가 1 화면에 혼재해도 된다. 블록의 부호화 순서에 대해서는, 예를 들면, 비특허문헌 1에 기재되어 있다. 다음에, 부호화 처리의 대상이 되는 영역(이하 대상 블록이라 함)에 대해, 예측 신호를 생성한다. 본 발명에 따른 실시예에서는, 화면 간 예측과 화면 내 예측의 2종류의 예측 방법을 사용한다. 예측 신호 생성기(103)에서의 예측 신호 생성 처리에 대해서는, 도 13을 사용하여 후술한다.

감산기(105)에 의해 대상 블록의 신호(라인 L102 경유)에서 예측 신호(라인 L103 경유)를 감산하여, 잔차 신호를 생성한다. 이 잔차 신호는 변환기(106)에 의해 이산 코사인 변환되고, 각 변환계수는 양자화기(107)에 의해 양자화된다. 엔트로피 부호화기(111)는 양자화된 변환계수를 부호화하여, 예측 신호의 생성에 필요로 하는 예측 정보와 함께 출력 단자(112)로부터 송출한다.

후속의 대상 블록에 대한 화면 내 예측 또는 화면 간 예측을 행하기 위해, 압축된 대상 블록의 신호는 역처리되어 복원된다. 즉, 양자화된 변환계수는 역양자화기(108)에 의해 역양자화된 후에 역변환기(109)에 의해 역이산 코사인 변환되어, 잔차 신호를 복원한다. 가산기(110)에 의해 복원된 잔차 신호와 라인 L103로부터 전송된 예측 신호를 가산하여, 대상 블록의 신호를 재생한다. 재생된 블록의 신호는 화면 내 예측을 위해 블록 메모리(113)에 저장된다. 재생된 신호에 의해 구성되는 재생 화상은, 루프 필터기(114)에 의해 재생 화상 내에 발생하는 블록 노이즈가 제거된 후, 프레임 메모리(104)에 저장된다.

도 13에 의해, 예측 신호 생성기(103)에서의 예측 신호 처리 흐름을 설명한다. 먼저 단계 S302에서, 화면 간 예측에 필요한 예측 정보를 생성한다. 구체적으로는, 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로 하여, 이 참조 화상으로부터 대상 블록에 대한 오차가 가장 작은 예측 신호를 제공하는 움직임 벡터와 참조 화면을 탐색한다. 이때, 대상 블록은 라인 L102를 경유하여, 참조 화상은 L104를 경유하여 입력된다. 참조 화상으로서는, 과거에 부호화되고 복원된 복수 장의 화상을 참조 화상으로서 사용한다. 상세한 것은 종래의 기술인 H.264 또는 비특허문헌 1에 나타낸 방법과 같다.

단계 S303에서는, 화면 내 예측에 필요한 예측 정보를 생성한다. 도 7에 나타낸 바와 같이 대상 블록에 공간적으로 인접하는 기재생의 화소값을 사용하여, 복수의 화면 내 예측의 방향에 대해, 예측 신호를 생성한다. 그리고, 대상 블록에 대한 오차가 가장 작은 예측 신호를 제공하는 예측 방향(인트라 예측 모드)을 결정한다. 이때, 예측 신호 생성기(103)에서는, 블록 메모리(113)로부터 라인 L113을 경유하여 동일한 화면 내에 있는 기재생의 화소 신호를 참조 샘플로서 취득하고, 이들 신호를 외삽함으로써 화면 내 예측 신호를 생성한다.

다음에, 단계 S304에서는, 대상 블록에 적용하는 예측 방법을 화면 간 예측과 화면 내 예측에서 선택한다. 예를 들면, 대상 블록에 대한 오차가 작은 예측값을 제공하는 예측 방법을 선택한다. 또는, 실제로 2가지 예측 방법에 대해 부호화 처리까지 행하고, 발생한 부호량과 부호화 오차 화상의 절대값 합의 관계로부터 산출되는 평가값이 작은 쪽을 선택하도록 해도 된다. 선택한 예측 방법의 선택 정보는, 예측 신호의 생성에 필요한 정보로서 라인 L112를 경유하여 엔트로피 부호화기(111)에 전송되고 부호화된 후에 출력 단자(112)로부터 송출된다(단계 S305).

단계 S306에서 선택한 예측 방법이 화면 간 예측인 경우에는, 움직임 정보(움직임 벡터와 참조 화면 정보)에 기초하여 단계 S307에서 예측 신호가 생성되고, 생성된 화면 간 예측 신호는 라인 L103을 경유하여 감산기(105)에 출력된다. 단계 S308에서, 움직임 정보는 예측 신호의 생성에 필요한 정보로서 라인 L112를 경유하여 엔트로피 부호화기(111)에 전송되어 부호화된 후에 출력 단자(112)로부터 송출된다.

단계 S306에서 선택한 예측 방법이 화면 내 예측인 경우에는, 인트라 예측 모드에 기초하여 단계 S309에서 예측 신호가 생성되고, 생성된 화면 내 예측 신호는 라인 L103을 경유하여 감산기(105)에 출력된다. 단계 S310에서, 인트라 예측 모드는, 예측 신호의 생성에 필요한 정보로서 라인 L112를 경유하여 엔트로피 부호화기(111)에 전송되어 부호화된 후에 출력 단자(112)로부터 송출된다.

엔트로피 부호화기(111)에 사용하는 부호화 방법은 산술 부호화이어도 되고, 가변 길이 부호화이어도 된다.

도 2는 본 발명의 실시예에 따른 동영상 예측 복호 장치(200)의 블록도이다. 도 2에 나타낸 바와 같이, 동영상 예측 복호 장치(200)는 입력 단자(201), 데이터 해석기(202), 역양자화기(203), 역변환기(204), 가산기(205), 예측 신호 생성기(208), 프레임 메모리(207), 출력 단자(206), 루프 필터기(209), 및 블록 메모리(215)를 구비한다. 역양자화기(203)와 역변환기(204)는 특허청구범위에 기재된 "복호 수단"에 대응한다. 복호 수단으로서는 상기 이외의 것을 사용해도 된다. 또한 역변환기(204)가 없어도 된다. 프레임 메모리(207)는 "화상 저장 수단"에, 블록 메모리(215)는 "블록 저장 수단"에 대응한다.

이상과 같이 구성된 동영상 예측 복호 장치(200)에 대해, 이하 그 동작을 설명한다. 전술한 방법으로 압축 부호화된 압축 데이터는 입력 단자(201)로부터 입력된다. 이 압축 데이터에는, 화상을 복수의 블록으로 분할한 대상 블록을 예측해 부호화된 잔차 신호나 예측 신호의 생성에 필요한 정보가 포함되어 있다. 도 7에 예를 나타낸 바와 같이 블록 사이즈는 한정되지 않는다. 복수의 블록 사이즈나 형태가 1 화면에 혼재해도 된다. 블록의 복호 순서에 대해서는, 예를 들면, 비특허문헌 1에 기재되어 있다. 예측 신호의 생성에 필요한 정보에는, 예측 방법 선택 정보와 움직임 정보(화면 간 예측의 경우) 또는 인트라 예측 모드(화면 내 예측의 경우)가 포함되어 있다.

데이터 해석기(202)는 압축 데이터로부터 대상 블록의 잔차 신호, 예측 신호의 생성에 필요한 정보, 양자화 파라미터를 복호한다. 복호된 대상 블록의 잔차 신호는 역양자화기(203)에 의해 양자화 파라미터(라인 L202 경유)를 기초로 역양자화된다. 또한, 역양자화된 잔차 신호는, 역변환기(204)에 의해 역이산 코사인 변환되고, 그 결과로서, 잔차 신호가 복원된다. 다음에, 라인 L206을 경유하여 예측 신호의 생성에 필요한 정보가 예측 신호 생성기(208)에 전송된다. 예측 신호 생성기(208)에서는, 예측 신호의 생성에 필요한 정보에 기초하여 대상 블록의 예측 신호를 생성한다. 예측 신호 생성기(208)에서의 예측 신호의 생성 처리에 대해서는, 도 14를 사용하여 후술한다. 생성된 예측 신호는 라인 L208을 경유하여 가산기(205)에 전송되고, 복원된 잔차 신호에 가산되어, 대상 블록 신호를 재생하고, 라인 L205를 경유하여 루프 필터기(209)에 출력하는 동시에, 후속의 블록의 화면 내 예측에 사용하기 위해 블록 메모리(215)에 저장된다. 루프 필터기(209)는 라인 L205를 경유하여 입력된 재생 신호로부터 블록 노이즈를 제거하고, 블록 노이즈를 제거한 재생 화상은 후속의 화상의 복호·재생에 사용되는 재생 화상으로서 프레임 메모리(207)에 저장된다.

도 14에 의해, 예측 신호 생성기(208)에서의 예측 신호 처리 흐름을 설명한다. 먼저 단계 S402에서, 데이터 해석기(202)로 복호한 예측 방법을 취득한다.

복호한 예측 방법이 화면 간 예측인 경우(단계 S403)에는, 데이터 해석기(202)로 복호한 움직임 정보(움직임 벡터와 참조 화면 정보)를 취득하고(단계 S404), 움직임 정보에 기초하여 프레임 메모리(207)에 액세스하여, 복수의 참조 화상 중에서 참조 신호를 취득하고 예측 신호를 생성한다(단계 S405).

복호한 예측 방법이 화면 내 예측인 경우(단계 S403)에는, 데이터 해석기(202)로 복호한 인트라 예측 모드를 취득하고(단계 S406), 블록 메모리(215)에 액세스하여, 대상 블록에 인접하는 기재생의 화소 신호를 참조 샘플로서 취득하고, 인트라 예측 모드에 기초하여 예측 신호를 생성한다(단계 S407). 생성한 예측 신호는 L208을 경유하여 가산기(205)에 출력된다.

데이터 해석기(202)에 사용하는 복호 방법은 산술 복호이어도 되고, 가변길이 복호이어도 된다.

다음에, 도 3과 도 7을 사용하여, 본 발명의 실시예에서의 화면 내 예측 방법에 대해 설명한다. 즉, 도 13의 단계 S309와 도 14의 단계 S407에 대한 상세한 내용이며, 도 1의 블록 메모리(113) 또는 도 2의 블록 메모리(215)로부터 취득한 참조 샘플을 사용하여, 대상 블록의 인트라 예측 샘플을 인트라 예측 모드에 기초한 외삽법에 의해 추정하는 방법에 대해 설명한다.

본 발명에서는, 발명이 해결하려고 하는 과제에서 나타낸 의사 윤곽과 같은 노이즈의 발생을 억제하기 위해, 의사 윤곽의 요인이 되는 블록에 대해, 화면 내 예측에 사용하는 참조 샘플군에 쌍일차 내삽 처리를 적용한다. 참조 샘플군의 신호의 변화를 완만하게 함으로써, 참조 샘플군의 블록 경계에 발생하는 계단형의 노이즈의 출현을 억제한다.

도 7에서, 참조 샘플군에 적용하는 쌍일차 내삽 처리에 대해 설명한다. 대상 블록(210)의 블록 사이즈가 N×N 샘플일 때, 여기서는, 그 주위의 5개의 기재생 블록(220, 230, 240, 250, 260)에 속하는 기재생의 신호로 4N+1개의 참조 샘플군(270)(ref[x](x=0∼4N)이 구성된다. 본 실시예에서는, 참조 샘플군(270)의 끝에 있는 왼쪽 아래의 참조 샘플 BL=ref[0]과 오른쪽 위의 참조 샘플 AR=ref[4N], 및 참조 샘플군(270)의 중앙에 있고, 대상 블록의 왼쪽 위에 위치하는 왼쪽 위의 참조 샘플 AL=ref[2N], 이 3개를 쌍일차 내삽의 키 참조 샘플로서 정의한다. 이때 4N+1개의 참조 샘플은 하기와 같이 내삽 처리된다.

ref'[0]=ref[0] (1)

ref'[i]=BL＋(i*(AL-BL)＋N)/2N (i=1∼2N-1) (2)

ref'[2N]=ref[2N] (3)

ref'[2N+i]=AL＋(i*(AR-AL)＋N)/2N (i=1∼2N-1) (4)

ref'[4N]=ref[4N] (5)

여기서 ref'[x](x=0∼4N)는 내삽 처리 후의 참조 샘플(interpolated reference samples)의 값을 나타내고 있다. 그리고, 식 (2)와 (4)는, 각각 식 (2)'와 (4)'처럼 변형해도 된다.

ref'[i]=((2N-i)*BL+i*AL+N)/2N (i=1∼2N-1) (2)'

ref'[2N+i]=((2N-i)*AL+i*AR+N)/2N (i=1∼2N-1) (4)'

이와 같이, BL∼AL 사이의 참조 샘플을 키 참조 샘플 BL와 AL로 쌍일차 내삽에 의해 생성하고, AL∼AR의 사이의 참조 샘플을 키 참조 샘플 AL과 AR로 쌍일차 내삽에 의해 생성함으로써, 대상 블록에 인접하는 내삽 처리 후의 참조 샘플 값의 레벨은 완만하게 변화한다. 그 결과, 예측 신호에의 블록 노이즈의 전파를 억제할 수 있다.

다음에, 도 7에 의해, 쌍일차 내삽을 적용하는 참조 샘플의 판정 기준에 대해 설명한다. 본 실시예에서는, 3개의 키 참조 샘플과 블록 경계의 2개의 참조 샘플, 및 2개의 임계값을 사용하여 판정을 행한다. 여기서, THRESHOLD_ABOVE와 THRESHOLD_LEFT를, 각 대상 블록의 상단(上端)의 참조 샘플 ref[x](x=2N+1∼4N-1)와 좌단(左端)의 참조 샘플 ref[x](x=1∼2N-1)에 쌍일차 내삽을 적용할 것인지 여부를 결정하기 위한 판정에 사용하는 임계값으로 한다. 판정 기준을 충족시키는 참조 샘플에, 쌍일차 내삽을 적용한다.

본 실시예에서는, 하기 판정 기준을 사용한다. 하기 2개의 식에서의 Interpolate_Above와 Interpolate_Left는 불값(boolean value)이며, 우변의 식을 충족시키는 경우에는 ture(1)가 되어 쌍일차 내삽을 적용하고, 충족시키지 않는 경우에는 false(0)이 되고 종래의 121 필터에 의한 인트라 평활 처리(intra smoothing)를 적용한다.

Interpolate_Left=abs(BL＋AL-2*ref[N])< THRESHOLD_LEFT (6)

Interpolate_Above=abs(AL＋AR-2*ref[3N])< THRESHOLD_ABOVE (7)

BL, AL과 ref[3N]의 값이 직선상에 배열되는 경우, BL＋AL-2*ref[N]의 값은 0이 된다. 마찬가지로 AL, AR와 ref[3N]의 값이 직선상에 배열되는 경우, AL＋AR-2*ref[3N]의 값도 0이 된다. 즉, 상기한 2 식은, BL에서 AL를 연결하는 직선에 대한 ref[N]의 편차(deviation)의 크기, AL과 AR를 연결하는 직선에 대한 ref[3N]의 편차(deviation)의 크기를 각각의 임계값과 비교하고 있다. 산출한 2개의 편차가 대응하는 임계값 THRESHOLD_ABOVE 또는 THRESHOLD_LEFT보다 작으면 불값(Interpolate_Above 또는 Interpolate_Left)은 true가 되고, 참조 샘플에 쌍일차 내삽을 적용한다. 식 (6)과 (7)에 의해 abs(x)는 x의 절대값을 산출한다.

이때, 2개의 임계값의 값(THRESHOLD_ABOVE와 THRESHOLD_LEFT)은, 미리 설정한 고정값이어도 되고, 프레임 단위나 복수의 블록을 모은 슬라이스 단위로 부호화하고, 복호기로 복원하도록 해도 된다. 또한, 블록 단위로 부호화하고, 복호기로 복원하도록 해도 된다. 도 2에서는, 데이터 해석기(202)에 의해 2개의 임계값을 복호하고, 예측 신호 생성기(208)에 출력하고, 하기의 도 3과 도 4에 상세하게 설명하는 화면 내 예측 신호의 생성에 사용한다.

도 3에 인트라 예측 샘플을 외삽법(화면 내 예측의 방향)에 의해 추정하는 처리의 흐름도를 나타낸다. 먼저, 예측 신호 생성기(103 또는 208, 이하 번호는 생략)는, 단계 510에서, 블록 메모리(113 또는 215, 이하 번호는 생략)로부터 도 7의 화소군(270)에 나타낸 바와 같은 참조 샘플 ref[x](x=0∼4N)를 취득한다. 이때, 부호화 순번 등의 이유로 인접 블록이 아직 재생되어 있지 않고, 4N+1개의 참조 샘플을 모두 취득할 수 없는 경우에는, 존재하지 않는 샘플을 패딩 처리(가까이 존재하는 샘플 값을 복사)에 의해 생성하고, 4N+1개의 참조 샘플을 준비한다. 패딩 처리의 상세한 것에 대해서는, 비특허문헌 1에 기재되어 있다. 다음에, 단계 560에서, 식 (6)과 (7)에 기초하여, 2개의 불값 Interpolate_Above와 Interpolate_Left를 산출한다.

다음에, 예측 신호 생성기는, 단계 520에서, 대상 블록이 쌍일차 내삽 적용의 판정 기준을 충족시키는지를 판정한다. 구체적으로는, 대상 블록의 사이즈가 미리 정한 M보다 큰지를 판정하고 또한, 산출한 Interpolate_Above와 Interpolate_Left가 모두 true인지를 판단한다. 블록 사이즈를 판정 기준으로 하는 것은, 통상, 과제로 하는 의사 윤곽은 큰 블록 사이즈에서 발생하기 쉽기 때문이다. M의 값을 크게 설정함으로써, 참조 샘플의 불필요한 변경을 억제하는 효과가 있다.

이들의 2개의 판정 기준을 충족시키는 경우(블록 사이즈>=M 또한 Interpolate_Above==true 또한 Interpolate_Left==true)에는, 단계 530으로 진행하고, 충족시키지 않는 경우에는 단계 540으로 진행한다. 단계 530에서는, 식 (1) 내지 (5)에 나타낸 쌍일차 내삽 처리를 참조 샘플 ref[x](x=0∼4N)에 적용하고, 내삽 처리 후의 참조 샘플(interpolated reference samples) ref'[x](x=0∼4N)를 생성한다. 단계 540에서는, 식 (8)과 (9)에 따라, 참조 샘플 ref[x](x=0∼4N)에 121 필터에 의한 인트라 평활 처리를 적용한다.

ref'[i]=ref[i](i=0 and 4N) (8)

ref'[i]=(ref[i-1]＋2*ref[i]＋ref[i+1]＋2)/4 (i=1∼4N-1) (9)

여기서 ref'[x](x=0∼4N)는 평활화 후의 참조 샘플(smoothed reference samples)의 값을 나타내고 있다.

마지막으로, 단계 550에서는, 이미 정해져 있는 인트라 예측 모드와 내삽 후 또는 평활화 후의 참조 샘플 ref'[x](x=0∼4N)를 사용하여, 대상 블록의 인트라 예측 샘플을 외삽법(화면 내 예측의 방향)에 의해 추정한다.

도 4는, 도 3을 더욱 상세하게 설명하는 것이며, 쌍일차 내삽과 121 필터의 전환을, 왼쪽 참조 샘플(ref[x], x=0∼2N)과 위쪽 참조 샘플(ref[x], x=2N∼4N)로 나누어 독립적으로 실시하는 경우의 인트라 예측 샘플을 외삽법(화면 내 예측의 방향)에 의해 추정하는 처리의 흐름도를 나타내고 있다. 먼저, 예측 신호 생성기(103 또는 208, 이하 번호는 생략)는, 단계 610에서, 블록 메모리(113 또는 215, 이하 번호는 생략)로부터 도 7의 화소군(270)에 나타낸 바와 같은 참조 샘플 ref[x](x=0∼4N)를 취득한다. 이때, 부호화 순번 등의 이유로 인접 블록이 아직 재생되어 있지 않고, 4N+1개의 참조 샘플을 모두 취득할 수없는 경우에는, 존재하지 않는 샘플을 패딩 처리(가까이 존재하는 샘플 값을 복사)에 의해 생성하여, 4N+1개의 참조 샘플을 준비한다. 패딩 처리의 상세한 것에 대해서는, 비특허문헌 1에 기재되어 있다.

다음에, 단계 680에서, 식(6)과 (7)에 기초하여, 2개의 불값 Interpolate_Above와 Interpolate_Left를 산출한다.

다음에, 예측 신호 생성기는, 단계 620에서, 대상 블록이, 쌍일차 내삽 적용의 판정 기준을 충족시키는지를 판단한다. 구체적으로는, 대상 블록의 사이즈가 미리 정한 M보다 큰지를 판정하고 또한, 산출한 Interpolate_Above와 Interpolate_Left 중 적어도 한쪽이 true인지를 판정한다. 이 2개의 판정 기준을 충족시키는 경우(블록 사이즈>=M이고, Interpolate_Above==true 또는 Interpolate_Left==true)에는, 단계 625로 진행하고, 충족시키지 않는 경우에는 단계 660으로 진행한다. 단계 660에서는, 식 (8)과 (9)에 따라, 참조 샘플군에 121 필터에 의한 인트라 평활 처리를 적용한다.

단계 625에서는, 식 (6)에 나타낸 왼쪽 참조 샘플의 쌍일차 내삽 적용의 판정 기준을 충족시키는지를 판정한다. 즉, Interpolate_Left가 true(1)인 경우는 단계 630으로 진행하고, 식 (1)과 (2)에 나타낸 쌍일차 내삽 처리를 참조 샘플 ref[x](x=0∼2N)에 적용하고, 내삽 처리 후의 참조 샘플(interpolated reference samples) ref'[x](x=0∼2N)를 생성한다. 식 (6)의 판정 기준을 충족시키지 않는 경우에는, 단계 635로 진행하고, 식 (10)과 (11)에 따라, 왼쪽 참조 샘플 ref[x](x=0∼2N)에 121 필터에 의한 인트라 평활 처리를 적용한다.

ref'[0]=ref[0] (10)

ref'[i]=(ref[i-1]＋2*ref[i]＋ref[i+1]＋2)/4 (i=1∼2N-1) (11)

여기서 ref'[x](x=0∼2N)는 평활화 후의 참조 샘플(smoothed reference samples)의 값을 나타내고 있다.

다음에, 단계 640에서는, 식 (7)에 나타낸 위쪽 참조 샘플의 쌍일차 내삽 적용의 판정 기준을 충족시키는지를 판정한다. 즉, Interpolate_Above가 true(1)인 경우에는 단계 650으로 진행하고, 식 (3)과 (4)와 (5)에 기초하여 위쪽 참조 샘플 ref[i](i=2N+1∼4N)에 쌍일차 내삽 처리를 적용한다. 식 (7)의 판정 기준을 충족시키지 않는 경우에는, 단계 655로 진행하고, 위쪽 참조 샘플 ref[x](x=2N+1∼4N)에 식 (12)과 (13)와 (14)에 기초하여 121 필터에 의한 인트라 평활 처리를 적용한다.

ref'[2N]=ref[2N] (12)

ref'[i]=(ref[i-1]＋2*ref[i]＋ref[i+1]＋2)/4 (i=2N+1∼4N-1) (13)

ref'[4N]=ref[4N] (14)

여기서 ref'[x](x=2N+1∼4N)는 평활화 후의 참조 샘플(smoothed reference samples)의 값을 나타내고 있다.

마지막으로, 단계 670에서는, 이미 정해져 있는 인트라 예측 모드와 내삽 처리 후 또는 평활화 후의 참조 샘플 ref'[x](x=0∼4N)를 사용하여, 대상 블록의 인트라 예측 샘플을 외삽법(화면 내 예측의 방향)에 의해 추정한다. 외삽에는, 외삽되는 대상 블록 내의 샘플의 위치로부터, 내삽 처리 후 또는 평활화 후의 참조 샘플(interpolated or smoothed reference samples)을 향해, 인트라 예측의 방향으로 라인을 투영했을 때, 투영한 라인에 가까운 위치에 있는 내삽 처리 후 또는 평활화 후의 참조 샘플(interpolated or smoothed reference samples)이 이용된다.

컴퓨터를 상기한 동영상 예측 부호화 장치(100)로서 기능하게 하기 위한 동영상 예측 부호화 프로그램은, 기록 매체에 저장되어 제공 가능하게 되어 있다. 마찬가지로, 컴퓨터를 상기한 동영상 예측 복호 장치(200)로서 기능하게 하기 위한 동영상 예측 복호 프로그램은, 기록 매체에 저장되어 제공 가능하게 되어 있다. 기록 매체로서는, USB 메모리, 플렉시블 디스크, CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

예를 들면, 도 16에 나타낸 바와 같이, 동영상 예측 부호화 프로그램(P100)은 블록 분할 모듈(P101), 예측 신호 생성 모듈(P102), 잔차 신호 생성 모듈(P103), 잔차 신호 압축 모듈(P104), 잔차 신호 복원 모듈(P105), 부호화 모듈(P106), 및 블록 저장 모듈(P107)을 구비하고 있다.

또한, 예를 들면, 도 17에 나타낸 바와 같이, 동영상 예측 복호 프로그램(P200)은 복호 모듈(P201), 예측 신호 생성 모듈(P202), 잔차 신호 복원 모듈(P203), 및 블록 저장 모듈(P204)을 구비하고 있다.

이와 같이 구성된 동영상 예측 부호화 프로그램(P100) 또는 동영상 예측 복호 프로그램(P200)은, 후술하는 도 5 및 도 6에 나타낸 기록 매체(10)에 기억되고, 후술하는 컴퓨터에 의해 실행된다.

도 5는 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터(30)의 하드웨어 구성을 나타낸 도면이며, 도 6은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터(30)의 외관도이다. 여기서의 컴퓨터(30)는, CPU를 구비하고 소프트웨어에 의한 정보 처리나 제어를 행하는 DVD 플레이어, 셋톱 박스, 휴대 전화기 등을 넓게 포함한다.

도 6에 나타낸 바와 같이, 컴퓨터(30)는, 플렉시블 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12); 운영체제 (operating system)를 상주시킨 작업용 메모리(RAM)(14); 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16); 디스플레이 등의 표시 장치(18); 입력 장치인 마우스(20) 및 키보드(22); 데이터 등의 송수신을 행하기 위한 통신 장치(24); 및 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 기록 매체(10)가 판독 장치(12)에 삽입되면, 컴퓨터(30)는, 판독 장치(12)로부터 기록 매체(10)에 저장된 동영상 예측 부호화 프로그램에 액세스 가능해져, 상기 동영상 예측 부호화 프로그램에 의해 상기한 동영상 예측 부호화 장치(100)로서 동작하는 것이 가능하게 된다. 마찬가지로, 기록 매체(10)가 판독 장치(12)에 삽입되면, 컴퓨터(30)는, 판독 장치(12)로부터 기록 매체(10)에 저장된 동영상 예측 복호 프로그램에 액세스 가능해져, 상기 동영상 예측 복호 프로그램에 의해 상기한 동영상 예측 복호 장치(200)로서 동작하는 것이 가능하게 된다.

본 발명에서는, 또한 하기 변형이 가능하다.

(A) 쌍일차 내삽 적용의 판정 기준

쌍일차 내삽 적용의 판정 기준은, 상기 실시예에서 설명한 방법에 한정되지 않는다. 예를 들면, 내삽 적용의 판정 결과를 항상 true로 하고, 단계 520, 620, 625, 640을 생략해도 된다. 이 경우, 121 필터에 의한 평활화 처리(smoothing process) 대신에 내삽 처리(interpolation process)가 항상 적용된다.

판정 기준에, 인트라 예측 모드를 추가해도 된다. 예를 들면, 블록 경계에 발생하는 의사 윤곽은 블록 노이즈 제거 처리에 의해 경감되므로, 외삽 처리의 예측 방향이 수직이나 수평일 때는, 내삽 처리 적용의 판정 결과를 항상 false로 해도 된다.

판단 기준에서 블록 사이즈를 없애도 된다. 또한, 대상 블록의 블록 사이즈 대신에, 대상 블록과 인접 블록의 블록 사이즈의 상대 관계를 판단 기준으로 사용해도 된다. 도 7의 예에서는, 대상 블록(210)의 왼쪽에 인접하는 블록(260)의 블록 사이즈는, 대상 블록(210)보다 크다. 이 경우, ref[N]의 주변에서 블록 노이즈는 발생하지 않는다. 이와 같이, 인접 블록의 블록 사이즈가 대상 블록보다 큰 경우에는, 식 (6) 또는 (7)의 결과에 관계없이, 내삽 적용의 판정 기준을 false로 해도 된다. 한편, 대상 블록(210) 위쪽에 인접하는 블록(230, 240, 250)은, 대상 블록(210)보다 작다. 이 경우, ref[3N]나 ref[2N+N/2]의 주변에서 블록 노이즈가 발생할 가능성이 있으므로, 식 (6) 또는 (7)의 결과로 내삽 적용을 판정한다. 그리고, 이 대상 블록과 인접 블록의 블록 사이즈의 상대 관계는, 대상 블록의 블록 사이즈와 함께 판정 기준으로 사용해도 된다.

식 (6)과 (7)의 임계값(THRESHOLD_ABOVE와 THRESHOLD_LEFT)은 상이한 블록 사이즈, 블록 형상(블록의 세로와 가로의 사이즈 차이)이나 상이한 인트라 예측 모드로 대해 개별적으로 정해 부호화하고, 복호기로 복원하도록 해도 된다. 또한, THRESHOLD_ABOVE와 THRESHOLD_LEFT의 값을 같은 값으로 하고, 한쪽만을 부호화하고, 복호기로 복원하도록 해도 된다. 복호기에서는, 도 2의 데이터 해석기(202)에 의해 복원된 임계값이 예측 신호 생성기(208)에 입력된다. 예측 신호 생성기(208)에서는, 입력된 임계값에 기초하여, Interpolate_Above와 Interpolate_Left의 값을 산출한다(도 3의 단계 560 또는 도 4의 단계 680).

또한, 단계 520, 620, 625과 640에 판정 기준을 마련하는 대신에 판정 결과를 비트 스트림에 포함하여 부호화하고, 복호기로 복원하도록 해도 된다. 이 경우, 도 1의 예측 신호 생성기(103)에 의해, Interpolate_Above와 Interpolate_Left의 값(0이나 1)을, 대상 블록의 사이즈와 식 (6)이나 (7)의 결과에 기초하여, 2개의 값을 구하고, 예측에 필요한 예측 정보로서, 블록마다나 복수의 블록을 모은 블록군 단위로 부호화한다. 즉, 라인 L112를 경유하여 엔트로피 부호화기(111)에 전송되어 부호화된 후에 출력 단자(112)로부터 송출된다. 그리고, Interpolate_Above와 Interpolate_Left의 값(0이나 1)을 구할 때, 전술한 대상 블록과 인접 블록의 블록 사이즈의 상대 관계나 대상 블록의 사이즈 및 인트라 예측 모드를 사용해도 된다.

도 2의 데이터 해석기(202)에서는, Interpolate_Above와 Interpolate_Left의 값을 블록마다 또는 복수의 블록을 모은 블록군 단위로 복호하고, 예측 신호 생성기(208)에 입력된다. 그리고, 2개의 값은 개별적으로 부호화하고, 복호해도 되고, 2개의 값의 세트로 하여 부호화하고, 복호하도록 해도 된다.

도 15에 의해 도 2의 예측 신호 생성기(208) 내의 화면 내 예측 방법의 처리를 설명한다. 이 경우, 도 15가 도 4로 치환된다. 도 14에서는, 단계 S406에서, 인트라 예측 모드와 함께 복호된 Interpolate_Above와 Interpolate_Left의 값을 취득한다. 먼저, 예측 신호 생성기(103 또는 208, 이하 번호는 생략)는, 단계 710에서, 블록 메모리(113 또는 215, 이하 번호는 생략)로부터 도 7의 화소군(270)에 나타낸 바와 같은 참조 샘플 ref[x](x=0∼4N)를 취득한다. 이때, 부호화 순번 등의 이유로 인접 블록이 아직 재생되지 않고, 4N+1개의 참조 샘플을 모두 취득할 수 없는 경우에는, 존재하지 않는 샘플을 패딩 처리(가까이 존재하는 샘플 값을 복사)에 의해 생성하고, 4N+1개의 참조 샘플을 준비한다. 패딩 처리의 상세한 것에 대해서는, 비특허문헌 1에 기재되어 있다.

다음에, 단계 790에서, Interpolate_Above와 Interpolate_Left의 값을 취득한다. 예측 신호 생성기는, 단계 720에서, Interpolate_Above와 Interpolate_Left의 값 중 어느 하나가 1인가를 판정한다. 어느 하나의 값이 1인 경우에는, 단계 725로 진행하고, 충족시키지 않는 경우에는 단계 760으로 진행한다. 단계 760에서는, 식 (8)과 (9)에 따라, 참조 샘플군에 121 필터에 의한 인트라 평활 처리를 적용한다.

단계 725에서는, Interpolate_Left의 값이 1인 경우에는 단계 730으로 진행하여, 식 (1)과 (2)에 나타낸 쌍일차 내삽 처리를 참조 샘플 ref[x](x=0∼2N)에 적용하고, 내삽 처리 후의 참조 샘플(interpolated reference samples) ref'[x](x=0∼2N)를 생성한다. Interpolate_Left의 값이 0인 경우에는 단계 735로 진행하여, 식 (10)과 (11)에 따라, 왼쪽 참조 샘플 ref[x](x=0∼2N)에 121 필터에 의한 인트라 평활 처리를 적용한다.

다음에, 단계 740에서는, Interpolate_Above 값이 1인 경우에는 단계 750으로 진행하여, 식 (3)과 (4)와 (5)에 기초하여 위쪽 참조 샘플 ref[i](i=2N+1∼4N)에 쌍일차 내삽 처리를 적용한다. Interpolate_Above 값이 0인 경우에는 단계 755로 진행하여, 왼쪽 참조 샘플 ref[x](x=2N+1∼4N)에 식 (12)와 (13)과 (14)에 기초하여 121 필터에 의한 인트라 평활 처리를 적용한다.

마지막으로, 단계 770에서는, 복호된 인트라 예측 모드와 내삽 처리 후 또는 평활화 후의 참조 샘플 ref'[x](x=0∼4N)를 사용하여, 대상 블록의 인트라 예측 샘플을 외삽법(화면 내 예측의 방향)으로 의해 추정한다.

(B) 내삽 처리

상기에서는, 내삽 처리에 쌍일차 내삽을 사용하고 있지만, 블록 경계의 노이즈를 제거할 수 있으면 되므로, 다른 내삽 처리라도 된다. 예를 들면, 키 참조 샘플의 평균값으로 모든 참조 샘플을 치환해도 된다. 블록 사이즈나 화면 내 예측 타입으로 내삽 처리 방법을 전환해도 되고, 적용하는 내삽 처리 방법을 비트 스트림에 포함하여 부호화하고, 복호하도록 해도 된다.

(C) 참조 샘플의 화면 내 예측의 처리 흐름

인트라 예측 샘플을 외삽법(화면 내 예측의 방향)에 의해 추정하는 처리의 흐름은 도 4의 절차에 한정되지 않는다. 예를 들면, 단계 625, 630과 635는 단계 640, 650과 655와 순서를 교체해도 된다. 또한, 식 (3)과 식 (12)은, 단계 650, 655가 아니고, 단계 630, 635에서 실시해도 된다. 또한, 식 (1)(3)(5)와 식 (10)(12)(14)의 처리 결과는 동일하므로, 단계 625의 직전(단계 620과 625 사이)이나 단계 650과 655의 직후(단계 650이나 655와 단계 670의 사이)에 모아서 실시해도 된다.

또한, 단계 620의 판정 기준을 블록 사이즈만으로 해도 된다. 이때, 식 (12)을 식 (15)와 (16)으로 치환하면, 처리 결과는 도 4와 동일하게 되므로, 그렇게 해도 된다.

ref'[2N]=ref[2N]

if Interpolate_Above==true || Interpolate_Left==true (15)

ref'[2N]=(ref[2N-1]＋2*ref[2N]＋ref[2N+1]＋2)/4 others (16)

여기서 ref'[2N]는 평활화 후의 참조 샘플(smoothed reference samples)의 값을 나타내고 있다.

(D) 블록 사이즈

상기에서는, 대상 블록을 정방(正方) 블록으로 하고 있지만, 비정방 블록에도 본 발명의 참조 샘플에의 내삽 처리는 마찬가지로 적용할 수 있다. 대상 블록(290)의 블록 사이즈가 N×2N인 예를 도 12에 나타내고 있다. 이 경우, ref[x]의 수는 3N+1개가 된다.

(E) 키 참조 샘플

상기에서는, 키 참조 샘플을 참조 샘플군의 끝과 중앙의 3개로 하고 있지만, 그 수와 위치는 한정되지 않는다. 예를 들면, 참조 블록의 사이즈나 참조 블록과 인접 블록과의 상대 관계에 따라, 수나 위치를 바꾸어도 되고, 키 참조 샘플의 수와 위치를 비트 스트림에 포함하여 부호화하고, 복호하도록 해도 된다. 또한, 키 참조 샘플을 참조 샘플군의 끝과 중앙의 3개를 디폴트(default)로 하고, 디폴트를 사용하는지, 다른 키 참조 샘플을 사용하는지를 지시 정보로서 부호화하고, 복호해도 된다. 도 2의 데이터 해석기(202)에 의해, 키 참조 샘플을 갱신한다. 갱신하는 키 참조 샘플로서는, 도 7에서 ref[N+N/2]나 ref[2N+N/2]를 추가해도 되고, 이들을 ref[2N] 대신에 사용해도 된다. 또한, ref[0]과 ref[4N] 대신에 ref[N/2]과 ref[3N+N/2]을 사용하고, ref[1]∼ref[N/2-1]과 ref[3N+N/2]∼ref[4N-1]에는 121 필터를 적용하도록 해도 된다.

(F) 판정 기준의 식

단계 520, 620, 625, 640에서 사용하는 판정식은, 식 (6)과 (7)에 한정되지 않는다. 예를 들면, 도 7의 ref[N]나 ref[3N] 대신에 ref[N+1]이나 ref[3N+1]을 사용해도 된다.

100…동영상 예측 부호화 장치, 101…입력 단자, 102…블록 분할기, 103…예측 신호 생성기, 104…프레임 메모리, 105…감산기, 106…변환기, 107…양자화기, 108…역양자화기, 109…역변환기, 110…가산기, 111…엔트로피 부호화기, 112…출력 단자, 113…블록 메모리, 114…루프 필터기, 200…동영상 예측 복호 장치, 201…입력 단자, 202…데이터 해석기, 203…역양자화기, 204…역변환기, 205…가산기, 206…출력 단자, 207…프레임 메모리, 208…예측 신호 생성기, 209…루프 필터기, 215…블록 메모리.

Claims

동영상 예측 복호 장치에 의해 실행되는 동영상 예측 복호 방법으로서,
복수의 블록으로 분할되어 부호화된 압축 데이터 중에서, 복호 대상이 되는 대상 블록의 화면 내 예측 방법을 나타내는 인트라 예측 모드와 잔차 신호의 압축 데이터를 복호하는 복호 단계;
상기 인트라 예측 모드와 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 화면 내 예측 신호를 생성하는 예측 신호 생성 단계;
상기 잔차 신호의 압축 데이터로부터 상기 대상 블록의 재생 잔차 신호를 복원하는 잔차 신호 복원 단계; 및
상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 단계
를 포함하고,
상기 예측 신호 생성 단계에서는,
보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 인접한 일련의 참조 샘플을 취득하고,
내삽 참조 샘플을 생성하기 위해 상기 인접한 일련의 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고,
상기 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하고,
상기 예측 신호 생성 단계에서는,
상기 인접한 일련의 참조 샘플을 배열 ref[x](x는 0 내지 128의 정수)로 나타내고, ref[0]을 키 참조 샘플 BL로 하고, ref[64]를 키 참조 샘플 AL로 하는 경우, 참조 샘플 ref[i](i는 1 내지 63의 정수)의 내삽 처리는 식 ((64-i)*BL+i*AL+32)/64 에 기초하는,
동영상 예측 복호 방법.
동영상 예측 복호 장치에 의해 실행되는 동영상 예측 복호 방법으로서,
복수의 블록으로 분할되어 부호화된 압축 데이터 중에서, 복호 대상이 되는 대상 블록의 화면 내 예측 방법을 나타내는 인트라 예측 모드와 잔차 신호의 압축 데이터를 복호하는 복호 단계;
상기 인트라 예측 모드와 상기 대상 블록에 인접하는 기재생의 참조 샘플을 사용하여 화면 내 예측 신호를 생성하는 예측 신호 생성 단계;
상기 잔차 신호의 압축 데이터로부터 상기 대상 블록의 재생 잔차 신호를 복원하는 잔차 신호 복원 단계; 및
상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써 상기 대상 블록의 화소 신호를 복원하고, 복원된 상기 대상 블록의 화소 신호를 상기 참조 샘플로서 이용하기 위해 보존하는 블록 저장 단계
를 포함하고,
상기 예측 신호 생성 단계에서는,
보존되어 있는 상기 대상 블록의 주위의 기재생 블록으로부터 인접한 일련의 참조 샘플을 취득하고,
내삽 참조 샘플을 생성하기 위해 상기 인접한 일련의 참조 샘플 중 미리 정해진 위치의 2개 이상의 키 참조 샘플 사이를 내삽 처리하고,
상기 인트라 예측 모드에 기초하여 상기 내삽 참조 샘플을 외삽하여 상기 화면 내 예측 신호를 생성하고,
상기 예측 신호 생성 단계에서는,
상기 인접한 일련의 참조 샘플을 배열 ref[x](x는 0 내지 128의 정수)로 나타내고, ref[64]를 키 참조 샘플 AL로 하고, ref[128]을 키 참조 샘플 AR로 하는 경우, 참조 샘플 ref[64+i](i는 1 내지 63의 정수)의 내삽 처리는 식 ((64-i)*AL+i*AR+32)/64 에 기초하는,
동영상 예측 복호 방법.