KR100943581B1 - 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상복호화 방법 - Google Patents

Abstract

동화상 부호화 장치는, 복호화 화상 데이터를 필터링하여 블록간의 경계 부근에서의 고주파 노이즈인 블록 왜곡을 제거하는, 각각 필터링 강도가 다른 필터A(114a), 필터B(114b), 필터C(114c), 및 필터D(114d)를 갖는 화소간 필터(114)와, 이 화소간 필터(114)의 필터링 강도를 결정하는 필터 처리 제어부(110)를 구비한다.

Description

필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상 복호화 방법{FILTERING STRENGTH DETERMINATION METHOD, MOVING PICTURE ENCODING METHOD, AND MOVING PICTURE DECODING METHOD}

본 발명은, 블록간의 부호화 왜곡을 제거하는 필터링의 강도를 결정하는 필터링 강도의 결정 방법, 결정된 필터링의 강도에 의해 필터링하여 동화상의 부호화 또는 복호화를 행하는 동화상 부호화 방법 및 동화상 복호화 방법에 관한 것이다.

필터는, 화질을 개선하는 동시에 압축률을 개선하기 위해서 통상 비디오 압축 방법에서 이용된다. 블로키 아티팩트(blocky artifact)는, 양자화 노이즈 및 움직임 보상에 의해 저 비트 레이트의 비디오 압축의 복호화 픽처에서 통상 발생한다. 필터의 태스크의 하나는, 이들 블로키 아티팩트가 축소 또는 제거되도록 부호화 픽처에서의 블록의 경계를 평활하게 하는 것이다.

예를 들면, 현재 규격을 책정 중인 ISO/IEC 14496-2 Part 10의 위원회 초안(Committee Draft)과 같은 비디오 압축 방법에서는, 동화상의 압축을 개량하기 위해서 루프 필터를 이용하고 있다(예를 들면, Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10, JVT-C167 9.5 Deblocking Filter 참조). 이 루프 필터는, 복호화된 픽처의 화질을 개선하기 위해서 참조 및 비참조 픽처의 양쪽에 적용된다.

도 1은, 이용되는 필터의 강도를 선택하기 위해서 ISO/IEC 114496-2 Part 10 표준의 위원회 초고로 이용된 판정 알고리즘을 도시하는 도면이다.

이용되는 필터의 강도를 선택하기 위한 판정은, 2개의 인접하는 블록(p) 및 블록(q)의 블록 경계에서 실행된다. 이들의 블록(p) 또는 블록(q)이, 픽처내(Intra) 부호화되어 있는지의 여부의 판정을 행한다(단계 S102). 여기에서, 블록(p) 및 블록(q) 중 하나가 인트라 부호화되어 있는 경우(단계 S102에서 Yes)에는, 블록 경계가 매크로 블록 경계가 되는지의 여부의 판정을 행한다(단계 S103). 이 판정의 결과, 블록 경계가 매크로 블록 경계가 되는 경우, 즉 2개의 블록이 동일 매크로 블록에 포함되지 않는 경우에는, 가장 강한 필터의 강도(Bs=4)가 선택된다(단계 S103에서 Yes). 한편, 블록 경계가 매크로 블록 경계가 되지 않는 경우, 즉 이들 2개의 블록이 동일 매크로 블록에 포함되는 경우에는, 2번째의 강도(Bs=3)가 선택된다(단계 S103에서 No).

상기 판정(단계 S102)의 결과, 블록(p) 및 블록(q)의 양쪽이 인트라 부호화되어 있지 않은 경우(단계 S102에서 No)에는, 다음에 이 2개의 블록 중 어느 하나가 직교 변환 후의 공간 주파수 성분을 나타내는 계수를 포함하는지의 여부의 판정을 행한다(단계 S104). 여기에서, 2개의 블록 중 어느 하나가 계수를 포함하는 경우(단계 S104에서 Yes)에는, 3번째로 강한 필터의 강도(Bs=2)가 선택된다. 한편, 2개의 블록의 양쪽 모두 계수를 포함하지 않는, 즉 블록(p) 및 블록(q)의 양쪽에서 계수가 부호화되지 않는 경우(단계 S104에서 No)에는, 필터링이 스킵되는지의 여부 를 선택하기 위해서 다음의 판정을 행한다(단계 S105).

블록(p) 및 블록(q)의 양쪽의 참조 픽처의 인덱스 번호(Ref(p) 및 Ref(q))가 동일한지의 여부의 판정을 행한다. 또, 2개의 블록의 수직(V(p, y) 및 V(q, y)) 및 수평(V(p, x) 및 V(q, x)) 움직임 벡터를 서로 비교하여, 1화소보다도 적은 차가 존재하는지의 여부의 판정을 행한다. 이 2개의 판정의 결과, 2개의 블록의 참조 픽처의 인덱스 번호가 동일하고, 또한 그들의 수직 및 수평 움직임 벡터가 1화소보다도 떨어져 있지 않은 경우(단계 S105에서 No)에만, 이들 2개의 블록 사이의 경계의 필터링이 스킵된다. 그 밖의 모든 경우(단계 S105에서 Yes)에서, 약한 필터링(Bs=1)이 블록 경계에서 실행된다.

종래의 필터의 강도를 선택하기 위한 판정 알고리즘은, 2개의 픽처를 참조하는 예측 부호화 픽처에서의 블록에 대해서 모든 가능한 경우를 충분히 망라하고 있지 않다. 이 이유는, 2개의 픽처를 참조하는 예측 부호화 픽처의 매크로 블록에서는, 다이렉트, 순방향, 역방향 및 2개의 픽처를 참조하는 모드를 이용하여 예측할 수 있기 때문이다. 이들의 예측 모드는, 종래의 판정 알고리즘에서 고려되어 있지 않다. 동일하게, 한쪽의 블록이 다이렉트 모드를 이용하고, 또한 다른쪽의 블록이 2개의 픽처를 참조하는 예측 모드를 이용하는 경우에서, 비교에 이용되는 움직임 벡터는, 종래 기술에서 충분히 설명되어 있지 않다.

그래서, 본 발명은 상기의 사정을 감안하여 이루어진 것으로, 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도 최적의 필터링 강도를 결정할 수 있는 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상 복호화 방법을 제공하는 것 을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명에 관한 필터링 강도의 결정 방법은, 픽처를 구성하는 블록간의 부호화 왜곡을 제거하는 필터링의 강도를 결정하는 필터링 강도의 결정 방법에 있어서, 부호화가 완료된 대상 블록 및 이 대상 블록에 인접하는 부호화가 완료된 인접 블록의 부호화시의 정보인 파라미터를 취득하는 파라미터 취득 단계와, 상기 대상 블록 및 상기 인접 블록을 포함하는 픽처가 2개의 픽처를 참조하는 픽처간 예측 부호화를 행하는 픽처인 경우, 상기 대상 블록 및 상기 인접 블록의 상기 파라미터를 비교하는 비교 단계와, 상기 비교 단계에 의한 비교 결과에 기초하여 필터링의 강도를 결정하는 결정 단계를 포함하는 것을 특징으로 한다.

여기에서, 상기 파라미터는, 블록의 부호화 모드를 포함하고, 상기 비교 단계에는, 상기 대상 블록 및 상기 인접 블록 각각의 상기 부호화 모드에 기초하여, 상기 대상 블록 및 상기 인접 블록 각각이 참조하는 참조 픽처의 수가 동일한지의 여부를 판정하는 픽처수 판정 단계를 포함하며, 상기 결정 단계에서는, 상기 픽처수 판정 단계에서의 판정 결과에 따라서, 다른 필터링의 강도를 결정해도 좋다.

또, 상기 파라미터는, 또한 참조 픽처를 일의적으로 식별하기 위한 참조 인덱스를 포함하고, 상기 비교 단계에는, 또한, 상기 대상 블록 및 상기 인접 블록 각각의 상기 참조 인덱스에 기초하여, 상기 대상 블록 및 상기 인접 블록 각각이 참조하는 참조 픽처가 동일한지의 여부를 판정하는 참조 픽처 판정 단계를 포함하 며, 상기 결정 단계에서는, 상기 참조 픽처 판정 단계에서의 판정 결과에 따라서, 다른 필터링의 강도를 결정해도 좋다.

또, 상기 파라미터는, 참조 픽처에 대한 움직임 벡터를 포함하고, 상기 비교 단계에는, 또한, 상기 대상 블록 및 상기 인접 블록에 포함되는 상기 움직임 벡터에 기초하여, 상기 대상 블록의 임의의 움직임 벡터의 수평 성분과, 상기 인접 블록의 임의의 움직임 벡터의 수평 성분의 차, 또는 상기 대상 블록의 임의의 움직임 벡터의 수직 성분과, 상기 인접 블록의 임의의 움직임 벡터의 수직 성분의 차의 적어도 1개가, 소정값 이상인지의 여부를 판정하는 움직임 벡터 판정 단계를 포함하며, 상기 결정 단계에서는, 상기 움직임 벡터 판정 단계에서의 판정 결과에 따라서, 다른 필터링의 강도를 결정해도 좋다.

이것에 의해서, 2개의 픽처를 참조하는 예측 부호화 픽처에서의 블록에 대해서 가능한 모든 경우를 망라할 수 있고, 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도, 복호화 화상 데이터를 필터링하여 블록간의 경계 부근에서의 고주파 노이즈인 블록 왜곡(블록간의 부호화 왜곡)을 제거하는 필터의 필터링 강도를 최적으로 결정할 수 있다. 또, 이 필터링 강도의 결정 방법은, 동화상 부호화 장치 및 동화상 복호화 장치의 양쪽에 적용할 수 있다.

또, 본 발명에 관한 필터링 강도의 결정 방법은, 픽처를 구성하는 블록간의 부호화 왜곡을 제거하는 필터링의 강도를 결정하는 필터링 강도의 결정 방법에 있어서, 부호화가 완료된 대상 블록 및 이 대상 블록에 인접하는 부호화가 완료된 인접 블록을 포함하는 픽처의 픽처 타입을 취득하는 파라미터 취득 단계와, 상기 파 라미터 취득 단계에 의해 취득된 픽처 타입이 2개의 픽처를 참조하는 픽처간 예측 부호화를 나타내고 있는 경우에는, 1개의 픽처를 참조하는 픽처간 예측 부호화를 나타내고 있는 경우보다 강하게 필터링의 강도를 결정하는 결정 단계를 포함하는 것을 특징으로 한다.

이것에 의해서, 상기와 동일하게 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도, 복호화 화상 데이터를 필터링하여 블록간의 경계 부근에서의 고주파 노이즈인 블록 왜곡(블록간의 부호화 왜곡)을 제거하는 필터의 필터링 강도를 최적으로 결정할 수 있다. 또, 이 필터링 강도의 결정 방법은, 동화상 부호화 장치 및 동화상 복호화 장치의 양쪽에 적용할 수 있다.

또, 본 발명에 관한 동화상 부호화 방법은, 동화상을 구성하는 각 픽처를 블록 단위로 부호화하는 동화상 부호화 방법에 있어서, 본 발명에 관한 필터링 강도의 결정 방법에 의해 결정된 필터링 강도에 의해, 상기 대상 블록 및 상기 인접 블록간에 필터링을 행하는 필터링 단계를 포함하는 것을 특징으로 한다.

또, 본 발명에 관한 동화상 복호화 방법은, 동화상을 구성하는 각 픽처가 블록 단위로 부호화된 동화상 부호화 데이터를 복호화하는 동화상 복호화 방법에 있어서, 본 발명에 관한 필터링 강도의 결정 방법에 의해 결정된 필터링 강도에 의해, 상기 대상 블록 및 상기 인접 블록간에 필터링을 행하는 필터링 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명은, 이와 같은 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상 복호화 방법으로서 실현할 수 있을 뿐만 아니라, 이와 같은 필터링 강도 의 결정 방법, 동화상 부호화 방법 및 동화상 복호화 방법이 포함하는 특징적인 단계를 수단으로서 구비하는 필터링 강도의 결정 장치, 동화상 부호화 장치 및 동화상 복호화 장치로서 실현하거나, 그들의 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나 할 수도 있다. 그리고, 그와 같은 프로그램은, CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해서 배송할 수 있는 것은 말할 필요도 없다.

도 1은, 종래의 필터링 강도의 결정 방법을 도시하는 흐름도,

도 2는, 본 발명에 관한 동화상 부호화 장치의 구성을 도시하는 블록도,

도 3은, 픽처 메모리에서의 픽처의 순서를 도시하는 설명도로, (a) 입력된 순서, (b) 재배열된 순서를 도시하는 설명도,

도 4는, 픽처와 참조 인덱스의 설명도,

도 5는, 다이렉트 모드에서의 움직임 벡터를 도시하는 설명도,

도 6은, 실시 형태 1에서의 필터 처리 제어부에서의 필터링 강도의 결정 방법을 도시하는 흐름도,

도 7은, 본 발명에 관한 동화상 복호화 장치의 구성을 도시하는 블록도,

도 8은, 실시 형태 2에서의 필터 처리 제어부에서의 필터링 강도의 결정 방법을 도시하는 흐름도,

도 9는, 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하기 위한 기록 매체에 대한 설명도로, (a) 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시한 설명도, (b) 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시한 설명도, (c) 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한 설명도,

도 10은, 콘텐츠 공급 시스템의 전체 구성을 도시하는 블록도,

도 11은, 휴대 전화의 예를 도시하는 개략도,

도 12는, 휴대 전화의 구성을 도시하는 블록도,

도 13은, 디지털 방송용 시스템이 예를 도시하는 도면이다.

이하, 본 발명의 실시 형태에 대해서 도면을 참조하면서 설명한다.

(실시 형태 1)

도 2는, 본 발명에 관한 필터링 강도의 결정 방법을 이용한 동화상 부호화 장치의 구성을 도시하는 블록도이다.

동화상 부호화 장치는, 입력되는 동화상을 압축 부호화하여 부호열로서 출력하는 장치로, 도 2에 도시하는 바와 같이 픽처 메모리(101), 차분 연산부(102), 예측 잔차 부호화부(103), 부호열 생성부(104), 예측 잔차 복호화부(105), 가산 연산부(106), 움직임 벡터 검출부(107), 움직임 벡터 기억부(108), 움직임 보상 부호화부(109), 필터 처리 제어부(110), 픽처 메모리(111), 스위치(112, 113), 및 화소간 필터(114)를 구비하고 있다.

픽처 메모리(101)는, 표시 시간순으로 픽처 단위로 입력된 동화상을 격납한다. 여기에서 픽처란, 프레임 및 필드의 양자를 포함하는 화면이라는 1개의 부호 화의 단위를 의미한다. 움직임 벡터 검출부(107)는, 부호화가 완료된 복호화 화상 데이터를 참조 픽처로서 이용하고, 그 픽처내의 탐색 영역에서 최적이라고 예측되는 위치를 나타내는 움직임 벡터의 검출을 행한다. 또, 움직임 벡터 검출부(107)는, 검출한 움직임 벡터를 움직임 보상 부호화부(109) 및 움직임 벡터 기억부(108)에 통지한다.

움직임 보상 부호화부(109)는, 움직임 벡터 검출부(107)에서 검출된 움직임 벡터를 이용하여 블록의 부호화 모드를 결정하고, 이 부호화 모드에 기초하여 예측 화상 데이터를 생성한다. 이 부호화 모드란, 매크로 블록을 어떠한 방법으로 부호화하는지를 나타내는 것으로, 비인트라 부호화(움직임 보상 부호화)인지 인트라 부호화인지 등을 나타낸다. 예를 들면, 픽처간의 상관이 낮고, 움직임 예측을 행하는 것보다도 인트라 부호화 쪽이 바람직한 경우에는, 인트라 부호화를 선택한다. 이 부호화 모드는 필터 제어부(110)에 통지된다. 또, 움직임 벡터와 부호화 모드는 움직임 보상 부호화부(109)로부터 부호열 생성부(104)에 통지된다. 움직임 벡터 기억부(108)는, 움직임 벡터 검출부(107)에서 검출된 움직임 벡터를 기억한다.

차분 연산부(102)는, 픽처 메모리(101)로부터 독출된 화상 데이터와, 움직임 보상 부호화부(109)로부터 입력된 예측 화상 데이터의 차분을 연산하여, 예측 잔차 화상 데이터를 생성한다. 예측 잔차 부호화부(103)는, 입력된 예측 잔차 화상 데이터에 대해서 직교 변환이나 양자화 등의 부호화 처리를 행하여, 부호화 데이터를 생성한다. 부호열 생성부(104)는, 예측 잔차 부호화부(103)에서 생성한 부호화 데이터에 대해서 가변길이 부호화 등을 행하고, 또한 움직임 보상 부호화부(109)로부 터 입력된 움직임 벡터의 정보, 및 부호화 모드의 정보 등을 부가함으로써 부호열을 생성한다.

예측 잔차 복호화부(105)는, 입력된 부호화 데이터에 대해서 역양자화나 역직교 변환 등의 복호화 처리를 행하여, 복호화 차분 화상 데이터를 생성한다. 가산 연산부(106)는, 예측 잔차 복호화부(105)로부터 입력된 복호화 차분 화상 데이터와, 움직임 보상 부호화부(109)로부터 입력된 예측 화상 데이터를 가산하여, 복호화 화상 데이터를 생성한다. 픽처 메모리(111)는, 필터링된 복호화 화상 데이터를 격납한다.

필터 처리 제어부(110)는 입력된 움직임 벡터나 부호화 모드에 따라서, 화소간 필터(114)의 필터링 강도, 즉 필터A(114a), 필터B(114b), 필터C(114c), 필터D(114d), 및 필터링을 행하지 않는(스킵) 중의 어느 것을 이용할지를 선택하여, 스위치(112) 및 스위치(113)를 제어한다. 스위치(112) 및 스위치(113)는, 각각, 필터 처리 제어부(110)의 제어에 의해, 단자 "1"∼ 단자 "5"중 어느 하나를 선택적으로 접속하는 스위치이다. 스위치(113)는, 가산 연산부(106)의 출력 단자와, 화소간 필터(114)의 입력 단자의 사이에 설치되어 있다. 또, 스위치(112)는, 픽처 메모리(111)의 입력 단자와, 화소간 필터(114)의 출력 단자의 사이에 설치되어 있다.

화소간 필터(114)는, 예를 들면, 복호화 화상 데이터를 필터링하여 블록간의 경계 부근에서의 고주파 노이즈인 블록 왜곡을 제거하는 디블록·필터이고, 각각 필터링 강도가 다른 필터A(114a), 필터B(114b), 필터C(114c), 및 필터D(114d)를 구 비하고 있다. 이 필터A(114a), 필터B(114b), 필터C(114c), 및 필터D(114d)는, 필터A(114a)가 가장 필터링 강도가 강하고, 이하 필터B(114b), 필터C(114c), 필터D(114d)로 순서대로 필터링 강도가 약해지며, 필터D(114d)가 가장 필터링 강도가 약하다. 또, 필터링 강도에 대응하여, 필터링을 위한 연산 처리량이 다르다. 또한, 스위치(112)나 스위치(113) 등, 도시하는 구성은 하드웨어로서 실장하거나, 소프트웨어로서 실장하거나 어느 쪽이어도 좋다.

도 3은, 픽처 메모리(101)에서의 픽처의 순서를 도시하는 설명도로, (a) 입력된 순서, (b) 재배열된 순서를 도시하는 설명도이다. 여기에서, 세로선은 픽처를 나타내고, 각 픽처의 우측 아래에 나타내는 기호는 1문자째의 알파벳이 픽처 타입(I, P 또는 B)을, 2문자째 이후의 숫자가 표시 시간순의 픽처 번호를 나타내고 있다. 또, P픽처는 표시 시간순으로 전방에 있는 근방의 I픽처 또는 P픽처를 참조 픽처로서, B픽처는 표시 시간순으로 전방에 있는 근방의 I픽처 또는 P픽처와, 표시 시간순으로 후방에 있는 근방 1장의 I픽처 또는 P픽처를 참조 픽처로서 이용하는 것으로 하고 있다.

도 4는 픽처와 참조 인덱스의 설명도이다. 참조 인덱스는, 픽처 메모리(111)에 격납된 참조 픽처를 일의적으로 식별하기 위해서 이용되고, 도 4에 도시하는 바와 같이 각 픽처에 대응되어 있는 번호이다. 또, 참조 인덱스는, 블록을 픽처간 예측에 의해 부호화할 때에 사용하는 참조 픽처를 지시하기 위해서 사용된다.

제1 참조 인덱스의 값에는, 먼저, 표시 순서를 나타내는 정보에서, 부호화 대상 픽처보다 앞의 참조 픽처에 대해서, 부호화 대상 픽처에 가까운 순서로부터 「0」에서 시작되는 값이 할당된다. 부호화 대상보다 앞의 참조 픽처 전부에 대해서 「0」에서 시작되는 값이 할당되면, 다음에 부호화 대상 픽처보다 뒤의 참조 픽처에 대해서, 부호화 대상 픽처에 가까운 순서로부터 계속해서 값이 할당된다.

제2 참조 인덱스의 값에는, 먼저, 표시 순서를 나타내는 정보에서, 부호화 대상 픽처보다 뒤의 참조 픽처에 대해서, 부호화 대상 픽처에 가까운 순서로부터 「0」에서 시작되는 값이 할당된다. 부호화 대상보다 뒤의 참조 픽처 전부에 대해서 「0」에서 시작되는 값이 할당되면, 다음에 부호화 대상 픽처보다 앞의 참조 픽처에 대해서, 부호화 대상 픽처에 가까운 순서로부터 계속해서 값이 할당된다.

예를 들면, 도 4에서 제1 참조 인덱스(Ridx1)가「0」이고 제2 참조 인덱스(Ridx2)가「1」인 경우, 전방향 참조 픽처는 픽처 번호(7)의 B픽처이고, 후방향 참조 픽처는 픽처 번호(9)의 P픽처이다. 여기에서 픽처 번호는, 표시순을 나타내는 번호이다. 또한, 도 4에 나타내는 것은 참조 인덱스의 할당 방법의 일례이고, 할당 방법은 이 도 4의 예에 구애받지 않는다.

다음에, 상기한 바와 같이 구성된 동화상 부호화 장치의 동작에 대해서 설명한다.

입력 화상은, 예를 들면 도 3(a)에 도시하는 바와 같이 표시 시간순으로 픽처 단위로 픽처 메모리(101)에 입력된다. 픽처 메모리(101)에 입력된 각 픽처는, 부호화하는 픽처 타입이 결정되면, 예를 들면 도 3(b)에 도시하는 바와 같이 부호화가 행해지는 순서로 재배열된다. 이 부호화순으로의 재배열은, 픽처간 예측 부 호화에서의 참조 관계에 기초하여 행해지고, 참조 픽처로서 이용되는 픽처가, 참조 픽처로서 이용하는 픽처보다도 먼저 부호화되도록 재배열된다. 또한, 픽처 타입의 결정은, 예를 들면 주기적으로 픽처 타입을 할당하는 방법이 일반적으로 이용되고 있다.

픽처 메모리(101)에서 재배열이 행해진 각 픽처는, 예를 들면 수평 16×수직 16화소의 그룹으로 분할된 매크로 블록 단위로 독출된다. 또, 움직임 보상 및 움직임 벡터의 추출은, 예를 들면 수평 8×수직 8화소의 그룹으로 분할된 블록 단위로 행하고 있다.

픽처 메모리(101)로부터 독출된 대상 매크로 블록은, 움직임 벡터 검출부(107) 및 차분 연산부(102)에 입력된다.

움직임 벡터 검출부(107)는 픽처 메모리(111)에 격납된 복호화 화상 데이터를 참조 픽처로서 이용하여, 매크로 블록내의 각 블록에 대해서 움직임 벡터의 검출을 행한다. 그리고, 움직임 벡터 검출부(107)는 검출한 움직임 벡터 및 그 참조 픽처를 나타내는 참조 인덱스를 움직임 보상 부호화부(109)에 대해서 출력한다.

움직임 보상 부호화부(109)는 움직임 벡터 검출부(107)에서 검출된 움직임 벡터와 참조 인덱스를 이용하여, 매크로 블록의 부호화 모드를 결정한다. 여기에서, 부호화 모드는, 예를 들면 B픽처의 경우에는, 픽처내 부호화, 전방 움직임 벡터를 이용한 픽처간 예측 부호화, 후방 움직임 벡터를 이용한 픽처간 예측 부호화, 2개의 움직임 벡터를 이용한 픽처간 예측 부호화, 다이렉트 모드 중에서, 어느 하나의 방법으로 부호화할지를 선택할 수 있는 것으로 한다.

여기에서, 다이렉트 모드에서의 픽처간 예측 방법을, 도 5를 이용하여 설명한다. 도 5는 다이렉트 모드에서의 움직임 벡터를 도시하는 설명도로, 픽처(B8)의 블록(a)을 다이렉트 모드로 부호화하는 경우를 도시하고 있다. 이 경우, 픽처(B8)의 후방에 있는 참조 픽처인 픽처(P9) 중, 블록(a)과 동일 위치에 있는 블록(b)을 갖는 움직임 벡터(c)를 이용한다. 이 움직임 벡터(c)는, 블록(b)이 부호화되었을 때에 이용된 움직임 벡터이고, 픽처(P5)를 참조하고 있다. 블록(a)은, 움직임 벡터(c)를 스케일링 처리함으로써 얻어지는 전방향 참조 픽처인 픽처(P5)에 대한 움직임 벡터(d), 후방향 참조 픽처인 픽처(P9)에 대한 움직임 벡터(e)를 이용하여, 픽처(P5)와 픽처(P9)로부터 움직임 보상이 행해진다.

움직임 보상 부호화부(109)는, 결정한 부호화 모드에 기초하여 예측 화상 데이터를 생성하고, 이 예측 화상 데이터를 차분 연산부(102)와 가산 연산부(106)에 출력한다. 또한, 움직임 보상 부호화부(109)가 다이렉트 모드를 선택한 경우에는, 상기한 바와 같이 후방 참조 픽처 중, 대상 블록과 동일 위치에 있는 블록의 움직임 벡터를 참조 움직임 벡터로서 이용하기 때문에, 움직임 보상 부호화부(109)는, 이 참조 움직임 벡터와 참조 인덱스를 움직임 벡터 기억부(108)로부터 독출한다. 또, 움직임 보상 부호화부(109)가 픽처내 부호화를 선택한 경우에는, 예측 화상 데이터는 출력하지 않는다. 또, 움직임 보상 부호화부(109)는, 결정한 부호화 모드와 움직임 벡터와 참조 인덱스의 정보를 필터 처리 제어부(110) 및 부호열 생성부(104)에 대해서, 참조 픽처를 나타내는 참조 인덱스의 값을 필터 처리 제어부(110)에 대해서 출력한다.

움직임 보상 부호화부(109)로부터 예측 화상 데이터가 입력된 차분 연산부(102)는, 이 예측 화상 데이터와, 픽처 메모리(101)로부터 독출된 픽처(B11)의 매크로 블록의 화상 데이터의 차분을 연산하고, 예측 잔차 화상 데이터를 생성하여 예측 잔차 부호화부(103)로 출력한다.

예측 잔차 화상 데이터가 입력된 예측 잔차 부호화부(103)는, 이 예측 잔차 화상 데이터에 대해서 직교 변환이나 양자화 등의 부호화처리를 행하고, 부호화 데이터를 생성하여 부호열 생성부(104) 및 예측 잔차 복호화부(105)로 출력한다. 부호화 데이터가 입력된 부호열 생성부(104)는, 이 부호화 데이터에 대해서 가변길이 부호화 등을 행하고, 또한 움직임 보상 부호화부(109)로부터 입력된 움직임 벡터의 정보, 부호화 모드의 정보 등을 부가함으로써 부호열을 생성하여, 출력한다. 또한, 다이렉트 모드로 부호화된 매크로 블록에 대해서는, 움직임 벡터의 정보는 부호화열에는 부가하지 않는다.

한편, 예측 잔차 복호화부(105)는, 입력된 부호화 데이터에 대해서, 역양자화나 역직교 변환 등의 복호화 처리를 실시하여, 복호화 차분 화상 데이터를 생성하여 가산 연산부(106)로 출력한다. 가산 연산부(106)는, 복호화 차분 화상 데이터와, 움직임 보상 부호화부(109)로부터 입력된 예측 화상 데이터를 가산함으로써, 복호화 화상 데이터를 생성하여, 스위치(113)를 통해서 화소간 필터(114)로 출력한다.

복호화 화상 데이터가 입력된 화소간 필터(114)는, 복호화 화상 데이터를 스위치(112, 113)에 의해 선택된 필터A(114a), 필터B(114b), 필터C(114c), 또는 필터D(114d) 중 어느 하나에 의해 필터링하거나 또는 필터링을 행하지 않고(스킵), 스위치(112)를 통해서 픽처 메모리(111)로 격납한다. 이 때, 스위치(112) 및 스위치(113)의 각 단자 "1"∼ 단자 "5"를 전환하는 제어는, 필터 처리 제어부(110)에 의해 이하와 같이 행해진다.

도 6은, 필터 처리 제어부(110)에서의 필터링 강도의 결정 방법을 도시하는 흐름도이다.

필터 처리 제어부(110)는, 복호화 화상 데이터에서의 수직 및 수평 방향의 양쪽의 블록 경계에 필요한 필터링의 강도를 결정한다. 이 필터링에 이용하는 필터의 강도를 선택하기 위한 판정은, 도 1에 도시하는 종래의 경우와 동일하게 2개의 인접하는 블록(p) 및 블록(q)의 블록 경계에서 실행한다(단계 S201). 먼저, 필터 처리 제어부(110)는, 움직임 보상 부호화부(109)로부터 출력된 각 매크로 블록의 부호화 모드에 기초하여, 이들의 블록(p) 또는 블록(q)이 픽처내(인트라) 부호화되어 있는지의 여부의 판정을 행한다(단계 S202). 여기에서, 블록(p) 또는 블록(q)의 하나가 인트라 부호화되어 있는 경우(단계 S202에서 Yes)에는, 필터 처리 제어부(110)는, 블록 경계가 매크로 블록 경계로 되는지의 여부의 판정을 행한다(단계 S203).

이 판정의 결과, 블록 경계가 매크로 블록 경계가 되는 경우, 즉 2개의 블록이 동일 매크로 블록에 포함되지 않는 경우에는, 필터 처리 제어부(110)는, 가장 강한 필터링 강도의 필터A(114a)(Bs=4)를 선택한다(단계 S203에서 Yes). 즉, 필터 처리 제어부(110)는, 스위치(112) 및 스위치(113)의 각 단자를 "1"로 전환하는 제 어를 행한다. 한편, 블록 경계가 매크로 블록 경계가 되지 않는 경우, 즉 이들 2개의 블록이 동일 매크로 블록에 포함되는 경우에는, 필터 처리 제어부(110)는, 2번째의 강도의 필터B(114b)(Bs≥3)를 선택한다(단계 S203에서 No). 즉, 필터 처리 제어부(110)는, 스위치(112) 및 스위치(113)의 각 단자를 "2"로 전환하는 처리를 행한다. 또한, 여기에서 Bs≥3은 Bs가 적어도 이 플로우 챠트로 도시하는 조건으로 3이상의 값인 것을 나타내고, Bs=3인지 Bs가 3보다 큰 값인지는 여기에서 개시하고 있지 않은 다른 조건으로 결정된다. 이후, 이 부등호를 포함하는 식은 본 발명에서 개시하고 있지 않은 조건으로 결정할 수 있는 범위를 나타내고 있다.

상기 판정(단계 S202)의 결과, 블록(p) 및 블록(q)의 양쪽이 인트라 부호화되어 있지 않은 경우(단계 S202에서 No)에는, 필터 처리 제어부(110)는, 이 블록(p) 또는 블록(q)의 어느 하나가 직교 변환 후의 공간 주파수 성분을 나타내는 계수를 포함하는지의 여부의 판정을 행한다(단계 S204). 여기에서, 2개의 블록 중 어느 하나가 계수를 포함하는 경우(단계 S204에서 Yes)에는, 필터 처리 제어부(110)는, 3번째로 강한 필터링의 강도의 필터C(114c)(Bs≥2)를 선택한다. 즉, 필터 처리 제어부(110)는, 스위치(112) 및 스위치(113)의 각 단자를 "3"으로 전환하는 제어를 행한다.

한편, 2개의 블록 양쪽 모두 계수를 포함하지 않는, 즉 블록(p) 및 블록(q)의 양쪽에서 계수가 부호화되어 있지 않은 경우(단계 S204에서 No)에는, 필터 처리 제어부(110)는, 블록(p) 및 블록(q)을 포함하는 픽처가 P픽처인지 B픽처인지의 판정을 행한다(단계 S205). 여기에서, 블록(p) 및 블록(q)을 포함하는 픽처가 P픽처 인 경우에는, 필터 처리 제어부(110)는, 움직임 보상 부호화부(109)로부터 입력된 참조 인덱스의 값 및 움직임 벡터 기억부(108)로부터 입력된 움직임 벡터에 기초하여, 블록(p) 및 블록(q)이 참조하는 참조 픽처가 동일하고, 또한 블록(p) 및 블록(q)의 움직임 벡터의 수직 성분(V(p, y)및 V(q, y)) 및 수평 성분(V(p, x)및 V(q, x))의 각각의 차가, 1화소보다도 적은지의 여부의 판정을 행한다(단계 S208). 즉, 다음의 식 (A), (B), (C)를 전부 만족하는지의 여부이다.

Ref(p) = Ref(q) …(A)

｜V(p, x)-V(q, x)｜<1 …(B)

｜V(p, y)-V(q, y)｜<1 …(C)

여기에서, Ref(p) 및 Ref(q)는, 각각 블록(p) 및 블록(q)이 참조하는 참조 픽처를 나타내고 있다.

이 판정의 결과, 블록(p) 및 블록(q)이 참조하는 참조 픽처가 동일하고, 또한 블록(p) 및 블록(q)의 수직 및 수평 움직임 벡터의 각각 차가 1화소보다도 적은 경우(단계 S208에서 Yes)에는, 필터 처리 제어부(110)는, 필터링을 행하지 않는 것(Bs=0)을 선택한다. 즉, 필터 처리 제어부(110)는, 스위치(112) 및 스위치(113)의 각 단자를 "5"로 전환하는 제어를 행한다. 한편, 그 밖의 경우(단계 S208에서 No)에는, 필터 처리 제어부(110)는, 가장 필터링 강도가 약한 필터D(114d)(Bs≥1)를 선택한다. 즉, 필터 처리 제어부(110)는, 스위치(112) 및 스위치(113)의 각 단자를 "4"로 전환하는 제어를 행한다.

상기 판정(단계 S205)의 결과, 블록(p) 및 블록(q)을 포함하는 픽처가 B픽처 인 경우에는, 매크로 블록의 부호화 모드는, 전방 움직임 벡터를 이용한 픽처간 예측 부호화, 후방 움직임 벡터를 이용한 픽처간 예측 부호화, 2개의 움직임 벡터를 이용한 픽처간 예측 부호화, 다이렉트 모드 중 어느 하나이다. 예를 들면, 블록(p)이 전방향 예측만을 이용하고, 블록(q)이 2개의 픽처를 참조하는 예측을 이용하는 경우에는, 블록(p)의 참조 픽처의 수는「1」이고, 또한 블록(q)의 참조 픽처의 수는「2」이다. 따라서, 필터 처리 제어부(110)는, 블록(p) 및 블록(q)이 참조하는 참조 픽처의 수가 동일한지의 여부의 판정을 행한다(단계 S206). 이 결과, 블록(p) 및 블록(q)이 참조하는 참조 픽처의 수가 다른 경우(단계 S206에서 No)에는, 필터 처리 제어부(110)는, 가장 필터링 강도가 약한 필터D(114d)(Bs≥1)를 선택한다.

한편, 블록(p) 및 블록(q)이 참조하는 참조 픽처의 수가 동일한 경우(단계 S206에서 Yes)에는, 필터 처리 제어부(110)는, 움직임 보상 부호화부(109)로부터 입력된 참조 인덱스의 값에 기초하여, 블록(p) 및 블록(q)이 참조하는 참조 픽처가 완전히 동일한지의 여부의 판정을 행한다(단계 S207). 이 결과, 블록(p) 및 블록(q)이 참조하는 참조 픽처가 1개라도 다른 경우(단계 S207에서 No)에는, 필터 처리 제어부(110)는, 가장 필터링 강도가 약한 필터D(114d)(Bs≥1)를 선택한다.

한편, 블록(p) 및 블록(q)이 참조하는 참조 픽처가 완전히 동일한 경우(단계 S207에서 Yes)에는, 필터 처리 제어부(110)는, 블록(p) 및 블록(q)에서의 가중치 예측의 가중치(ABP) 계수가 동일한지의 여부의 판정을 행한다(단계 S209). 이 결과, 블록(p) 및 블록(q)의 가중치 계수가 다른 경우(단계 S209에서 No)에는, 필터 처리 제어부(110)는, 가장 필터링 강도가 약한 필터D(114d)(Bs≥1)를 선택한다. 여기에서 가중치 예측이란, 픽처간 예측에서, 참조 화상의 화소값에 제1 가중 계수(α)를 승산하고 또한 제2 가중 계수(β)를 가산한 값을, 예측한 화소값으로 하는 예측 방식의 것이다.

한편, 블록(p) 및 블록(q)의 가중치 계수가 동일한 경우(단계 S209에서 Yes)에는, 필터 처리 제어부(110)는, 블록(p) 및 블록(q)의 모든 움직임 벡터에 대한 수직 및 수평 움직임 벡터의 각각 차가, 1화소보다도 적은지의 여부의 판정을 행한다(단계 S210). 즉, 다음의 식 (D)∼(G)을 전부 만족하는지의 여부이다.

｜Vf(p, x)-Vf(q, x)｜<1 …(D)

｜Vf(p, y)-Vf(q, y)｜<1 …(E)

｜Vb(p, x)-Vb(q, x)｜<1 …(F)

｜Vb(p, y)-Vb(q, y)｜<1 …(G)

여기에서, Vf, Vb는 블록(p) 및 블록(q) 각각에서의 움직임 벡터를 나타내고 있고, 예를 들면 참조 픽처가 1장인 경우에는 1개밖에 갖지 않는다.

이 판정의 결과, 블록(p) 및 블록(q)의 모든 움직임 벡터에 대한 수직 및 수평 움직임 벡터의 각각 차가 1화소보다도 적은 경우(단계 S210에서 Yes)에는, 필터 처리 제어부(110)는, 필터링을 행하지 않는 것(Bs=0)을 선택한다. 한편, 그 밖의 경우(단계 S210에서 No)에는, 필터 처리 제어부(110)는, 가장 필터링 강도가 약한 필터D(114d)(Bs≥1)를 선택한다.

또한, 상기한 바와 같이 B픽처의 매크로 블록은, 다이렉트 모드를 이용하여 예측할 수 있다. 다이렉트 모드가 이용될 때에는, 대상 블록의 움직임 벡터는, 제2 참조 인덱스(Ridx2)가 「0」인 참조 픽처에서의, 대상 블록과 동일 위치에 대응하는 블록이 갖는 움직임 벡터로부터 도출된다. 이 경우, 대상 블록의 전방향 참조 픽처는, 대응하는 블록의 움직임 벡터가 참조하는 참조 픽처이고, 대상 블록의 후방향 참조 픽처는 제2 참조 인덱스(Ridx2)가 「0」인 참조 픽처이다. 따라서, 필터 처리 제어부(110)는, 도출된 움직임 벡터 및 참조 픽처를 필터링의 강도를 결정하기 위해서 이용한다.

이상과 같이, 블록(p) 및 블록(q)을 포함하는 픽처가 B픽처인 경우에, 블록(p) 및 블록(q)이 참조하는 참조 픽처의 수가 동일한지의 여부, 참조하는 참조 픽처가 완전히 동일한지의 여부의 판정을 행하고 있기 때문에, 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도 최적의 필터링 강도를 결정할 수 있다. 따라서, 복호화되는 동화상의 화질을 개선하도록 동화상을 부호화할 수 있다.

도 7은, 본 발명에 관한 필터링 강도의 결정 방법을 이용한 동화상 복호화 장치의 구성을 도시하는 블록도이다.

동화상 복호화 장치는, 동화상 부호화 장치가 부호화한 부호열을 복호화하는 장치로, 도 7에 도시하는 바와 같이 부호열 해석부(201), 예측 잔차 복호화부(202), 움직임 보상 복호화부(203), 움직임 벡터 기억부(204), 필터 처리 제어부(205), 픽처 메모리(206), 가산 연산부(207), 스위치(208, 209), 및 화소간 필터(210)를 구비하고 있다.

부호열 해석부(201)는, 입력된 부호열로부터 부호화 모드의 정보, 및 부호화 시에 이용된 움직임 벡터의 정보 등의 각종 데이터의 추출을 행한다. 예측 잔차 복호화부(202)는, 입력된 예측 잔차 부호화 데이터의 복호화를 행하여, 예측 잔차 화상 데이터를 생성한다. 움직임 보상 복호화부(203)는, 부호화시의 부호화 모드의 정보, 및 움직임 벡터의 정보 등에 기초하여, 픽처 메모리(206)에 격납된 참조 픽처로부터 화상 데이터를 취득하여, 움직임 보상 화상 데이터를 생성한다. 움직임 벡터 기억부(204)는, 부호열 해석부(201)에 의해 추출된 움직임 벡터를 기억한다. 가산 연산부(207)는, 예측 잔차 복호화부(202)로부터 입력된 예측 잔차 화상 데이터와, 움직임 보상 복호화부(203)로부터 입력된 움직임 보상 화상 데이터를 가산하여, 복호화 화상 데이터를 생성한다. 픽처 메모리(206)는, 필터링된 복호화 화상 데이터를 격납한다.

필터 처리 제어부(205)는, 화소간 필터(210)의 필터링 강도, 즉 필터A(210a), 필터B(210b), 필터C(210c), 필터D(210d), 및 필터링을 행하지 않는(스킵) 중의 어느 것을 이용할지를 선택하여, 스위치(208) 및 스위치(209)를 제어한다. 스위치(208) 및 스위치(209)는, 각각, 필터 처리 제어부(205)의 제어에 의해, 단자 "1"∼단자 "5"중 어느 하나를 선택적으로 접속하는 스위치이다. 스위치(209)는, 가산 연산부(207)의 출력 단자와, 화소간 필터(210)의 입력 단자의 사이에 설치되어 있다. 또, 스위치(208)는, 픽처 메모리(206)의 입력 단자와, 화소간 필터(210)의 출력 단자의 사이에 설치되어 있다.

화소간 필터(210)는, 예를 들면, 복호화 화상 데이터를 필터링하여 블록간의 경계 부근에서의 고주파 노이즈인 블록 왜곡을 제거하는 디블록·필터이고, 각각 필터링 강도가 다른 필터A(210a), 필터B(210b), 필터C(210c), 및 필터D(210d)를 구비하고 있다. 이 필터A(210a), 필터B(210b), 필터C(210c), 및 필터D(210d)는, 필터A(210a)가 가장 필터링 강도가 강하고, 이하 필터B(210b), 필터C(210c), 필터D(210d)로 순서대로 필터링 강도가 약해지며, 필터D(210d)이 가장 필터링 강도가 약하다. 또, 필터링 강도에 대응하여, 필터링을 위한 연산 처리량이 다르다.

다음에, 상기한 바와 같이 구성된 동화상 복호화 장치의 동작에 대해서 설명한다.

부호열 해석부(201)는, 입력된 부호열로부터 부호화 모드의 정보, 및 움직임 벡터의 정보 등의 각종 데이터의 추출을 행한다. 부호열 해석부(201)는, 추출한 부호화 모드의 정보를 움직임 보상 복호화부(203) 및 필터 처리 제어부(205)로, 움직임 벡터의 정보와 참조 인덱스를 움직임 벡터 기억부(204)로 출력한다. 또, 부호열 해석부(201)는, 추출한 예측 잔차 부호화 데이터를 예측 잔차 복호화부(202)로 출력한다. 예측 잔차 부호화 데이터가 입력된 예측 잔차 복호화부(202)는, 이 예측 잔차 부호화 데이터의 복호화를 행하여, 예측 잔차 화상 데이터를 생성하여, 가산 연산부(207)로 출력한다.

한편, 움직임 보상 복호화부(203)는, 부호열 해석부(201)로부터 입력된 부호화 모드의 정보와 참조 인덱스의 값, 및 움직임 벡터 기억부(204)로부터 독출한 움직임 벡터의 정보에 기초하고, 픽처 메모리(206)에 격납된 참조 픽처를 참조하여, 움직임 보상 화상 데이터를 생성한다. 다음에, 움직임 보상 복호화부(203)는, 생성한 움직임 보상 화상 데이터를 가산 연산부(207)로 출력하고, 참조 픽처를 나타 내는 참조 인덱스의 값을 필터 처리 제어부(205)로 출력한다. 가산 연산부(207)는, 움직임 보상 화상 데이터와, 예측 잔차 복호화부(202)로부터 입력된 예측 잔차 화상 데이터를 가산하여 복호화 화상 데이터를 생성하고, 스위치(209)를 통해서 화소간 필터(210)로 출력한다.

복호화 화상 데이터가 입력된 화소간 필터(210)는, 복호화 화상 데이터를 스위치(208, 209)에 의해 선택된 필터A(210a), 필터B(210b), 필터C(210c), 또는 필터D(210d) 중 어느 하나에 의해 필터링하거나, 또는 필터링을 행하지 않고(스킵), 스위치(208)를 통해서 픽처 메모리(206)로 격납한다. 이 때, 스위치(208) 및 스위치(209)의 각 단자 "1"∼ 단자 "5"를 전환하는 제어는, 필터 처리 제어부(205)에 의해 상기 동화상 부호화 장치의 필터 처리 제어부(110)의 동작과 동일하게 행해진다.

이상과 같이, 블록(p) 및 블록(q)을 포함하는 픽처가 B픽처인 경우에, 블록(p) 및 블록(q)이 참조하는 참조 픽처의 수가 동일한지의 여부, 참조하는 참조 픽처가 완전히 동일한지의 여부의 판정을 행하고 있기 때문에, 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도 최적의 필터링 강도를 결정할 수 있다. 따라서, 동화상의 화질을 개선하여 복호화를 행할 수 있다.

(실시 형태 2)

본 실시 형태에서는, 상기 실시 형태 1에서 설명한 필터 처리 제어부(110)에서의 필터링 강도의 결정 방법이 일부 상이하다. 또한, 구성에 대해서는 실시 형태 1과 동일하고, 상세한 설명을 생략한다. 또, 필터 처리 제어부(110)에서의 필 터링 강도의 결정에 대해서도 실시 형태 1과 동일한 부분에 대해서는, 설명을 생략한다. 또, 동화상 복호화 장치의 경우에는, 필터 처리 제어부(205)에서의 필터링 강도의 결정 방법이다.

도 8은, 실시 형태 2에서의 필터링 강도의 결정 방법을 도시하는 흐름도이다.

필터 처리 제어부(110)가 행한, 블록(p) 또는 블록(q)의 어느 하나가 직교 변환 후의 공간 주파수 성분을 나타내는 계수를 포함하는지의 여부의 판정(단계 S304)의 결과, 2개의 블록 중 어느 하나가 계수를 포함하는 경우(단계 S304에서 Yes)에, 이하의 처리를 행하고 있다.

필터 처리 제어부(110)는, 블록(p) 및 블록(q)을 포함하는 픽처가 P픽처인지 B픽처인지의 판정을 행한다(단계 S311). 여기에서, 블록(p) 및 블록(q)을 포함하는 픽처가 P픽처인 경우에는, 필터 처리 제어부(110)는, 3번째로 강한 필터링의 강도의 필터C(114c)(Bs(p)≥2)를 선택한다. 한편, 블록(p) 및 블록(q)을 포함하는 픽처가 B픽처인 경우에는, 필터 처리 제어부(110)는, P픽처인 경우의 Bs(p)보다도 필터링 강도가 강한 Bs(b)(Bs(b)>Bs(p))를 선택한다.

이상과 같이, 블록(p) 또는 블록(q)의 어느 하나가 직교 변환 후의 공간 주파수 성분을 나타내는 계수를 포함하는 경우에, 블록(p) 및 블록(q)을 포함하는 픽처가 P픽처인지 B픽처인지의 판정을 행하고 있기 때문에, 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도 최적의 필터링 강도를 결정할 수 있다. 따라서, 복호화되는 동화상의 화질을 개선하도록 동화상을 부호화할 수 있다.

또한, 상기 각 실시 형태에서, 필터 처리 제어부(110)가 필터링을 행하지 않는 것(Bs=0)을 선택한 경우에, 필터링을 행하지 않는(스킵) 것이 아니라, 예를 들면 가장 필터링 강도가 약한 필터D(114d)(Bs≥1)보다 필터링 강도가 약한 필터를 이용해도 상관없다.

또, 상기 각 실시 형태에서, 필터 처리 제어부(110)는, 도 6 또는 도 9의 플로우 챠트로 나타낸 모든 단계를 실행할 필요는 없고, 일부의 단계의 처리를 생략해도 상관없다. 예를 들면, 단계 S207(S307)에서의 판정의 결과, 블록(p) 및 블록(q)이 참조하는 참조 픽처가 완전히 동일한 경우(단계 S207(S307)에서 Yes)에, 단계 S209(S309)의 판정 처리를 행하고 있지만, 이 처리를 행하지 않고 단계 S210(S310)의 판정 처리를 행해도 상관없다. 또, 각 단계의 실행 순서가 교체되어 있어도 상관없다.

또, 상기 각 실시 형태에서는, 부호화의 단위로서 픽처를 이용하여 설명하였지만, 필드 또는 프레임이어도 상관없다.

(실시 형태 3)

또한, 상기 각 실시 형태에서 나타낸 동화상 부호화 방법 또는 동화상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를, 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.

도 9는, 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하기 위한 기억 매체에 대한 설명 도이다.

도 9(b)는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 나타내고, 도 9(a)는, 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는, 동심원 형상으로 외주로부터는 내주를 향해서 다수의 트랙(Tr)이 형성되며, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 동화상 부호화 방법이 기록되어 있다.

또, 도 9(c)는, 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 동화상 부호화 방법 또는 동화상 복호화 방법을 플렉시블 디스크 드라이브(FDD)를 통해서 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 동화상 부호화 방법을 컴퓨터 시스템 중에 구축하는 경우에는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하여, 컴퓨터 시스템에 전송한다.

또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

또한 여기에서, 상기 실시 형태에서 나타낸 동화상 부호화 방법이나 동화상 복호화 방법의 응용예와 그것을 이용한 시스템을 설명한다.

도 10은, 콘텐츠 배송 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해서, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라가 부착된 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 10과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 좋다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 좋다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데 이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 좋다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 좋다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행해도 컴퓨터(ex111)로 행해도 어느 쪽이어도 좋다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 동화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 독해 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착해도 좋다. 또한 카메라가 부착된 휴대전화(ex115)로 동화상 데이터를 송신해도 좋다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI로 부호화 처리된 데이터이다.

이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 동화상 부호화 장치 혹은 동화상 복호화 장치를 이용하도록 하면 좋다.

그 일례로서 휴대전화에 대해서 설명한다.

도 11은, 상기 실시 형태에서 설명한 동화상 부호화 방법과 동화상 복호화 방법을 이용한 휴대전화(ex115)를 도시하는 도면이다. 휴대전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)에서 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐 쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read On1y Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대전화(ex115)에 대해서 도 12를 이용하여 설명한다. 휴대전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다.

전원 회로부(ex310)는, 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 송신한다. 또 휴대전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.

또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주제어부(ex311)에 송출된다. 주제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 본원 발명에서 설명한 동화상 부호화 장치를 구비한 구성으로, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 동화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하여, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대전화기(ex115)는, 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 송신한다.

데이터 통신 모드시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 패스(ex313)를 통해서 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는, 본원 발명에서 설명한 동화상 복호화 장치를 구비한 구성으로, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호화함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 13에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 동화상 부호화 장치 또는 동화상 복호화 장치 중 어 느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하여, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나 (ex406)에서 수신하고, 텔레비전(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 독해하여, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 동화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 동화상 복호화 장치를 실장하고, 이것을 텔레비전의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 동화상 복호화 장치를 장착해도 좋다. 또, 안테나(ex411)를 갖는 차(ex412)로 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시 형태에서 나타낸 동화상 부호화 장치로 부호화하여, 기록 매체에 기록할 수도 있다. 구체적으로는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 리코더(ex420)가 상기 실시 형태에서 나타낸 동화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.

또한, 카 네비게이션(ex413)의 구성은 예를 들면 도 12에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다.

또, 상기 휴대전화(ex114) 등의 단말은, 부호화기·복호화기를 양쪽 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 어느 기기·시스템에 이용하는 것은 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.

이상의 설명으로부터 명확해지는 바와 같이, 본 발명에 관한 필터링 강도의 결정 방법에 의하면, 2개의 픽처를 참조하는 예측 부호화를 이용한 경우에도, 복호화 화상 데이터를 필터링하여 블록간의 경계 부근에서의 고주파 노이즈인 블록 왜곡을 제거하는 필터의 필터링 강도를 최적으로 결정할 수 있다. 따라서, 복호화되는 동화상의 화질을 개선하도록 동화상을 부호화할 수 있다. 또, 본 발명에 관한 필터링 강도의 결정 방법은, 동화상 부호화 장치 및 동화상 복호화 장치의 양쪽에 적용할 수 있고, 그 실용적 가치는 크다.

이상과 같이, 본 발명에 관한 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상 복호화 방법은, 예를 들면 휴대전화, DVD 장치, 및 퍼스널 컴퓨터 등으로, 동화상을 구성하는 각 픽처에 대응하는 화상 데이터를 부호화하여 부호열을 생성하거나, 생성된 부호열을 복호화하거나 하기 위한 방법으로서 유용하다.

Claims (21)

1. 2개의 픽처를 참조하는 픽처간 예측 부호화된 블록을 포함하는 B 픽처를 구성하는 대상 블록 및 이 대상 블록에 인접하는 인접 블록이 모두 픽처간 예측 부호화되고, 또한 상기 대상 블록과 상기 인접 블록의 모두가 직교 변환 후의 공간 주파수 성분을 나타내는 계수를 부호화 처리하여 얻어진 부호화 데이터를 갖지 않는 경우의 블록간의 부호화 왜곡을 제거하는 왜곡 제거 방법으로서,

   필터링을 행하지 않는 강도를 포함한 복수의 필터링 강도 중에서, 소정의 필터링 강도를 선택하는 필터링 강도 결정 단계와,

   상기 필터링 강도 결정 단계에서 결정된 소정의 필터링 강도에 의한 필터링 처리에 의해 상기 블록간의 부호화 왜곡을 제거하는 왜곡 제거 단계를 포함하며,

   상기 필터링 강도 결정 단계에서는, 상기 대상 블록을 부호화할 때에, 참조 픽처를 참조하는 회수와, 상기 인접 블록을 부호화할 때에, 참조 픽처를 참조하는 회수가 다른 경우에는, 상기 복수의 필터링 강도 중, 상기 필터링을 행하지 않는 강도를 제외한 것 중에서 가장 강도가 약한 필터링 강도를 선택하고,

   상기 대상 블록을 부호화할 때에, 참조 픽처를 참조하는 회수와, 상기 인접 블록을 부호화할 때에, 참조 픽처를 참조하는 회수가 같은 경우에는, 상기 복수의 필터링 강도 중, 상기 필터링을 행하지 않는 강도를 제외한 것 중에서 가장 강도가 약한 필터링 강도, 또는 필터링을 행하지 않는 강도의 필터링 강도로 결정하는 것을 특징으로 하는 왜곡 제거 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제

Images