KR101241728B1

KR101241728B1 - 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체

Info

Publication number: KR101241728B1
Application number: KR1020087004324A
Authority: KR
Inventors: 오지 나까가미; 가즈시 사또; 요이찌 야가사끼
Original assignee: 소니 주식회사
Priority date: 2005-07-25
Filing date: 2006-07-25
Publication date: 2013-03-11
Also published as: JP4784188B2; TWI351880B; EP1909504A4; TW200715869A; HK1120694A1; US8396307B2; CN101969563B; WO2007013437A1; EP1909504A1; CN101969563A; EP2675164A1; CN101273638B; KR20080042839A; JP2007036463A; US20100142835A1; CN101273638A

Abstract

블록 단위로 부호화된 화상 데이터를 복호하는 경우에, 블록 왜곡을 억제할 수 있는 화상 처리 장치와 방법을 제공한다. 제어부가 필터 처리 대상의 블록의 화상 데이터의 각 블록의 부호화 타입에 기초하여 해당 블록의 화상 데이터에 실시하는 필터 처리 내용을 선택하고, 필터부가 제어부가 선택한 필터 처리 내용에 따라, 처리 대상의 블록의 화상 데이터에 필터 처리를 실시한다.

블록 왜곡, 화상 데이터, 필터부, 통신 시스템, 부호화 장치, 복호 장치

Description

화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER READABLE RECORDING MEDIUM HAVING PROGRAM RECORDED THEREON}

본 발명은, 부호화된 화상 데이터를 복호하는 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.

최근, 화상 데이터 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group) 등의 방식(방법)에 준거한 장치가, 방송국 등의 정보 배신, 및 일반 가정에서의 정보 수신의 쌍방에서 보급되고 있다.

MPEG2, 4 방식에 이어서 H.264/AVC(Advanced Video Coding)라고 불리는 부호화 방식이 제안되어 있다.

이러한 H.264/AVC의 부호화 장치에서는, 부호화 대상의 화상 데이터로부터 얻은 블록 경계 강도 데이터 Bs와 양자화 파라미터 QP에 기초하여, 예측 부호화에서의 재구성 화상 데이터에 디블록 필터 처리를 실시하여, 다음의 예측 부호화에 이용하는 참조 화상 데이터를 생성한다. 디블록 필터 처리는, 화상 데이터에 대하여, 예를 들면, 이산 코사인 변환(DCT) 처리 등을 4x4 블록 단위로 행함으로써 생 기는 블록 왜곡을 억제하는 처리이다.

또한, 상기 H.264/AVC의 부호화 장치는, 블록 경계 강도 데이터 Bs와 양자화 파라미터 QP를 부호화 데이터에 부가한다.

H.264/AVC의 복호 장치는, 부호화 데이터에 부가된 블록 경계 강도 데이터 Bs와 양자화 파라미터 QP에 기초하여, 재구성 화상 데이터에 디블록 필터 처리를 실시한다.

<발명의 개시>

<발명이 해결하고자 하는 과제>

그런데, MPEG2, 4 등의 H.264/AVC 이외의 DCT 처리 등의 화상 데이터에 대한 직교 변환 처리를 블록 단위로 행하여 생성된 부호화 데이터를 복호하는 복호 장치에서도, 블록 왜곡을 억제하기 위해, 전술한 디블록 필터 처리를 행하고자 하는 요청이 있다.

그러나, 이러한 복호 장치가 복호 대상으로 하는 부호화 화상 데이터에는, 전술한 블록 경계 강도 데이터 Bs 및 양자화 파라미터 QP가 포함되어 있지 않고, 그 복호 장치에서, 디블록 필터 처리를 행할 수 없어, 블록 왜곡이 잔존하여 복호 화상의 화질이 저하할 가능성이 있다.

본 발명은, 블록 단위로 부호화되고, 필터 처리 내용을 규정하는 정보가 부가되어 있지 않은 부호화 화상 데이터를 복호하는 경우에도, 블록 왜곡을 억제할 수 있는 화상 처리 장치, 화상 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.

<과제를 해결하기 위한 수단>

본 발명의 실시 형태에 따르면, 제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수단과, 상기 제1 부호화 스트림을 생성할 때 이용한 양자화 스케일을, 미리 규정된 대응 관계에 따라, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 생성할 때 이용하는 양자화 파라미터로 변경하는 설정 수단과, 상기 설정 수단에 의해 변경된 양자화 파라미터에 기초하여, 상기 제2 부호화 스트림을 복호한 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수단에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수단을 포함하는 화상 처리 장치가 제공된다.

또한 본 발명의 실시 형태에 따르면, 제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 공정과, 상기 복호 공정에서 상기 제1 부호화 스트림을 생성할 때 이용한 양자화 스케일을, 미리 규정된 대응 관계에 따라, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 생성할 때 이용하는 양자화 파라미터로 변경하는 설정 공정과, 상기 설정 공정에 의해 변경된 양자화 파라미터에 기초하여, 상기 제2 부호화 스트림을 복호한 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 공정에서 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 공정을 포함하는 화상 처리 방법이 제공된다.

본 발명의 실시 형태에 따르면, 화상 처리 장치용 컴퓨터에 복호 처리를 실행시키는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 컴퓨터에, 제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수순과, 상기 복호 수순에서 상기 제1 부호화 스트림을 생성할 때 이용한 양자화 스케일을, 미리 규정된 대응 관계에 따라, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 생성할 때 이용하는 양자화 파라미터로 변경하는 설정 수순과, 상기 설정 수순에 의해 변경된 양자화 파라미터에 기초하여, 상기 제2 부호화 스트림을 복호한 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수순에서 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수순을 실행시키는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체가 제공된다.

또한 본 발명의 실시 형태에 따르면, 제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수단과, 상기 제1 부호화 스트림을 생성한 때의 매크로 블록의 부호화 타입에 기초하여, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 복호하여 얻어지는 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도를 나타내는 블록 경계 강도 데이터의 값으로서, 매크로 블록의 부호화 타입별 값을 설정하는 설정 수단과, 상기 설정 수단에 의해 설정된 블록 경계 강도 데이터의 값에 따라, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수단에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수단을 포함하고, 상기 설정 수단은, 처리 대상인 블록 데이터의 부호화 타입이 인트라 부호화(intra-encoding)인 경우에, 인터 부호화(inter-encoding)인 경우에 비해 강한 필터 강도를 나타내는 상기 블록 경계 강도 데이터의 값을 설정하는 화상 처리 장치가 제공된다.

본 발명의 실시 형태에 따르면, 제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 공정과, 상기 제1 부호화 스트림을 생성한 때의 매크로 블록의 부호화 타입에 기초하여, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 복호하여 얻어지는 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도를 나타내는 블록 경계 강도 데이터의 값으로서, 매크로 블록의 부호화 타입별 값을 설정하는 설정 공정과, 상기 설정 공정에 의해 설정된 블록 경계 강도 데이터의 값에 따라, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 공정에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 공정을 포함하고, 상기 설정 공정에서는, 처리 대상인 블록 데이터의 부호화 타입이 인트라 부호화인 경우에, 인터 부호화인 경우에 비해 강한 필터 강도를 나타내는 상기 블록 경계 강도 데이터의 값을 설정하는 화상 처리 방법이 제공된다.

본 발명의 실시 형태에 따르면, 화상 처리 장치용 컴퓨터에 복호 처리를 실행시키는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 컴퓨터에, 제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수순과, 상기 제1 부호화 스트림을 생성한 때의 매크로 블록의 부호화 타입에 기초하여, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 복호하여 얻어지는 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도를 나타내는 블록 경계 강도 데이터의 값으로서, 매크로 블록의 부호화 타입별 값을 설정하는 설정 수순과, 상기 설정 수순에 의해 설정된 블록 경계 강도 데이터의 값에 따라, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수순에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수순을 실행시키며, 상기 설정 수순에서는, 처리 대상인 블록 데이터의 부호화 타입이 인트라 부호화인 경우에, 인터 부호화인 경우에 비해 강한 필터 강도를 나타내는 상기 블록 경계 강도 데이터의 값을 설정하는, 프로그램이 기록된 컴퓨터 판독가능한 기록 매체가 제공된다.

<발명의 효과>

본 발명에 따르면, 블록 단위로 부호화되고, 필터 처리 내용을 규정하는 정보가 부가되어 있지 않은 화상 데이터를 복호하는 경우에도, 블록 왜곡을 억제할 수 있는 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체를 제공할 수 있다.

도 1은 본 발명은, 본 발명의 실시 형태의 통신 시스템의 구성도.

도 2는 도 1에 도시하는 복호 장치의 기능 블록도.

도 3은 도 2에 도시하는 AVC 복호 장치의 기능 블록도.

도 4는 도 2 및 도 3에 도시하는 디블록 필터의 처리를 설명하기 위한 도면.

도 5는 도 2 및 도 3에 도시하는 디블록 필터의 처리를 설명하기 위한 도면.

도 6은 도 2에 도시하는 DEB 제어 회로의 기능 블록도.

도 7은 도 6에 도시하는 DEB 제어 회로가 파라미터 α, β를 취득하기 위하여 이용하는 표 데이터 TABLE1을 설명하기 위한 도면.

도 8은 도 6에 도시하는 DEB 제어 회로가 데이터 Tc0을 취득하기 위하여 이용하는 표 데이터 TABLE2를 설명하기 위한 도면.

도 9는 도 2에 도시하는 DEB 제어 회로가 행하는 양자화 파라미터 QP의 생성 처리를 설명하기 위한 플로우차트.

도 10은 도 2에 도시하는 DEB 제어 회로에 의한 블록 경계 강도 데이터 Bs의 생성 처리에 대하여 설명하기 위한 플로우차트.

도 11은 도 2에 도시하는 DEB 제어 회로에 의한 블록 경계 강도 데이터 Bs의 생성 처리에 대하여 설명하기 위한 도 10에 후속하는 플로우차트.

도 12는 도 2에 도시하는 DEB 제어 회로에 의한 블록 경계 강도 데이터 Bs의 생성 처리에 대하여 설명하기 위한 도 11에 후속하는 플로우차트.

도 13은 도 2에 도시하는 복호 장치의 제1 변형예를 설명하기 위한 도면.

도 14는 도 2에 도시하는 복호 장치의 그 밖의 변형예를 설명하기 위한 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 통신 시스템

2 : 부호화 장치

3 : 복호 장치

10 : MPEG2 복호 장치

12 : AVC 복호 장치

30 : 축적 버퍼

31 : 가역 복호 회로

32 : 역양자화 회로

33 : 역직교 변환 회로

34 : 가산 회로

35 : 프레임 메모리

36 : 움직임 예측·보상 회로

37 : 인트라 예측 회로

38 : 화면 재배열 버퍼

39 : 축적 버퍼

41 : D/A 변환 회로

47 : 디블록 필터

50 : 축적 버퍼

51 : 가역 복호 회로

52 : 역양자화 회로

53 : 역직교 변환 회로

54 : 가산 회로

55 : 프레임 메모리

56 : 움직임 예측·보상 회로

57 : 인트라 예측 회로

58 : 화면 재배열 버퍼

81 : α·β 취득부

82 : index 산출부

83 : tc0 취득부

84 : 필터 연산부

<발명을 실시하기 위한 최량의 형태>

제1 실시 형태

이하, 본 발명의 실시 형태의 부호화 장치와 복호 장치를 포함하는 화상 데이터 통신 시스템에 대하여 설명한다.

우선, 본 실시 형태의 구성과 본 발명의 구성과의 관계를 설명한다.

도 2에 도시하는 DEB 제어 회로(39)가 본 발명의 제어부 또는 제어 수단의 일례이며, 디블록 필터(47)가 본 발명의 필터부 또는 필터 수단의 일례이다.

매크로 블록 MB가 본 발명의 블록의 일례이며, 매크로 블록 MB의 화상 데이터가 본 발명의 블록의 화상 데이터의 일례이다.

1 블록의 크기가 4x4(혹은 8x8) 화소인 블록의 화상 데이터가, 본 발명의 서브 블록의 화상 데이터의 일례이다.

본 실시 형태의 양자화 파라미터 QP가 본 발명의 양자화 파라미터의 일례이며, 블록 경계 강도 데이터 Bs가 본 발명의 블록 경계 강도 데이터의 일례이다.

또한, 도 14에 도시하는 프로그램 PRG가 본 발명의 프로그램의 일례이며, 메모리(252)가 기록 매체의 일례이다. 기록 매체는, 반도체 메모리 외, 광 디스크, 광 자기 디스크 혹은 자기 디스크 등이어도 된다.

도 1은, 본 실시 형태의 화상 데이터 통신 시스템(1)의 개념도이다.

화상 데이터 통신 시스템(1)은, 전송 매체 또는 전송 경로(5)를 사이에 두고, 송신측에 설치된 부호화 장치(2)와, 수신측에 설치된 복호 장치(3)를 갖는다.

화상 데이터 통신 시스템(1)에서는, 송신측의 부호화 장치(2)에서, 이산 코사인 변환이나 카루넨-뢰브 변환 등의 직교 변환과 움직임 보상에 의해 압축한 각 프레임마다의 화상 데이터(비트 스트림)를 생성하고, 그 프레임 화상 데이터를 변조한 후에, 인공 위성 방송파, 케이블 TV망, 전화 회선망, 휴대 전화 회선망 등의 전송 매체(5)를 통하여 복호 장치(3)에 송신한다.

수신측에서는, 복호 장치(3)에서 수신한 화상 신호를 복조한 후에, 상기 변조 시의 직교 변환의 역변환과 움직임 보상에 의해 신장한 프레임 화상 데이터를 생성하여 이용한다.

또한, 상기 전송 매체(5)는, 전송 경로에 한하지 않고, 광 디스크, 자기 디스크 및 반도체 메모리 등의 기록 매체이어도 된다.

이하, 도 1에 도시하는 복호 장치(3)에 대하여 설명한다.

도 2는, 도 1에 도시하는 복호 장치(3)의 전체 구성도이다.

복호 장치(3)는, 예를 들면, MPEG2 복호 장치(10)와 AVC 복호 장치(12)를 갖는다.

[MPEG2 복호 장치]

도 2에 도시한 바와 같이, MPEG2 복호 장치(10)는, 예를 들면, 축적 버퍼(30), 가역 복호 회로(31), 역양자화 회로(32), 역직교 변환 회로(33), 가산 회로(34), 프레임 메모리(35), 움직임 예측·보상 회로(36), 인트라 예측 회로(37), 화면 재배열 버퍼(38), DEB 제어 회로(39), 및, D/A 변환 회로(41)를 갖는다.

DEB 제어 회로(39)는, 양자화 파라미터 QP의 생성 처리와 블록 경계 강도 데이터 Bs의 생성 처리를 행한다.

축적 버퍼(30)에는, 복호 장치(3)가 입력(수신)한, 부호화 장치(2)에서 MPEG 방식으로 부호화한 화상 데이터 S9가 기입된다.

가역 복호 회로(31)는, 부호화 화상 데이터 S9 내의 처리 대상의 매크로 블록 MB의 화상 데이터가 인터 부호화되어 있다고 판단한 경우에는, 부호화 화상 데이터 S9의 헤더부에 기입되어 있는 움직임 벡터를 복호하여 움직임 예측·보상 회로(36)에 출력한다.

가역 복호 회로(31)는, 화상 데이터 S9 내의 처리 대상의 매크로 블록 MB의 화상 데이터가 인트라 부호화되어 있다고 판단한 경우에는, 부호화 화상 데이터 S9의 헤더부에 기입되어 있는 인트라 예측 모드 정보를 복호하여 인트라 예측 회 로(37)에 출력한다.

가역 복호 회로(31)는 부호화 화상 데이터 S9를 복호하여 역양자화 회로(32)에 출력한다.

가역 복호 회로(31)는 부호화 화상 데이터 S9에 포함되는 각 매크로 블록 MB의 화상 데이터의 양자화 스케일 Q_SCALE와, MB(Macro Block) 타입을 DEB 제어 회로(39)에 출력한다.

역양자화 회로(32)는, 가역 복호 회로(31)에서 복호된 화상 데이터(직교 변환 계수)를, 가역 복호 회로(31)로부터 입력받은 양자화 스케일 Q_SCALE에 기초하여 역양자화하여 역직교 변환 회로(33)에 출력한다.

역직교 변환 회로(33)는, 역양자화 회로(32)로부터 입력받은 화상 데이터(직교 변환 계수)에 1 블록이 8x8 화소 단위의 역직교 변환 처리를 실시하여 차분 화상 데이터를 생성하고, 그를 가산 회로(34)에 출력한다.

가산 회로(34)는, 움직임 예측·보상 회로(36) 혹은 인트라 예측 회로(37)로부터의 예측 화상 데이터 PI와, 역직교 변환 회로(33)로부터의 차분 화상 데이터를 가산하여 화상 데이터를 생성하고, 이를 프레임 메모리(35) 및 화면 재배열 버퍼(38)에 기입한다.

움직임 예측·보상 회로(36)는, 프레임 메모리(35)로부터 읽어낸 참조 화상 데이터와, 가역 복호 회로(31)로부터 입력받은 움직임 벡터에 기초하여, 예측 화상 데이터 PI를 생성하고, 이를 가산 회로(34)에 출력한다.

인트라 예측 회로(37)는, 가역 복호 회로(31)로부터 입력받은 인트라 예측 모드에 기초하여 예측 화상 데이터 PI를 생성하고, 이를 가산 회로(34)에 출력한다.

화면 재배열 버퍼(38)는, 가산 회로(34)로부터 기입된 복호 후의 화상 데이터를, 도 2 및 도 3에 도시하는 AVC 복호 장치(12)의 디블록 필터(53)에 의한 필터 처리 후에, 표시순으로 필터 처리 결과를 D/A 변환 회로(41)에 읽어낸다.

DEB 제어 회로(39)는, 가역 복호 회로(31)로부터 입력받은 각 매크로 블록 MB의 화상 데이터의 양자화 스케일 Q_SCALE와, MB 타입에 기초하여, 블록 경계 강도 데이터 Bs와, 양자화 파라미터 QP를 생성하고, 이를 AVC 복호 장치(12)의 디블록 필터(53)에 출력한다.

DEB 제어 회로(39)의 처리에 대해서는, 후에 상세하게 설명한다.

D/A 변환 회로(41)는, 화면 재배열 버퍼(38)로부터 입력받은 화상 데이터에 D/A 변환 처리를 실시하여 화상 신호 S10을 생성하고, 이를 복호 장치(3)의 외부에 출력한다.

[AVC 복호 장치]

도 3에 도시한 바와 같이, AVC 복호 장치(12)는, 예를 들면, 축적 버퍼(50), 가역 복호 회로(51), 역양자화 회로(52), 역직교 변환 회로(53), 가산 회로(54), 프레임 메모리(55), 움직임 예측·보상 회로(56), 인트라 예측 회로(57), 화면 재배열 버퍼(58), D/A 변환 회로(61), 디블록 필터(47)를 갖는다.

축적 버퍼(50)에는, 복호 장치(3)가 입력(수신)한 AVC 방식으로 부호화된 화상 데이터 S13이 기입된다.

가역 복호 회로(51)는, 화상 데이터 S13 내의 처리 대상의 매크로 블록 MB의 화상 데이터가 인터 부호화되어 있다고 판단한 경우에는, 화상 데이터 S13의 헤더부에 기입되어 있는 움직임 벡터를 복호하여 움직임 예측·보상 회로(56)에 출력한다.

가역 복호 회로(51)는, 화상 데이터 S13 내의 처리 대상의 매크로 블록 MB가 인트라 부호화되어 있다고 판단한 경우에는, 화상 데이터 S13의 헤더부에 기입되어 있는 인트라 예측 모드 정보를 복호하여 인트라 예측 회로(57)에 출력한다. 또한, 가역 복호 회로(51)는, 화상 데이터 S13을 복호하여 역양자화 회로(52)에 출력한다. 또한, 가역 복호 회로(51)는, 화상 데이터 S13에 포함되는 각 매크로 블록 MB의 화상 데이터의 양자화 파라미터 QP와, 블록 경계 강도 데이터 Bs를 디블록 필터(47)에 출력한다.

역양자화 회로(52)는, 가역 복호 회로(51)에서 복호된 화상 데이터를 나타내는 데이터(직교 변환 계수)를, 가역 복호 회로(31)로부터 입력받은 양자화 파라미터 QP에 기초하여 역양자화하여 역직교 변환 회로(53)에 출력한다.

역직교 변환 회로(53)는, 역양자화 회로(52)로부터 입력받은 화상 데이터를 나타내는 데이터(직교 변환 계수)에 1 블록당 4x4 화소 단위의 역직교 변환 처리를 실시하여 차분 화상 데이터를 생성하고, 그를 가산 회로(54)에 출력한다.

가산 회로(54)는, 움직임 예측·보상 회로(56) 혹은 인트라 예측 회로(57)로부터의 예측 화상 데이터 PI와, 역직교 변환 회로(53)로부터의 차분 화상 데이터를 가산하여 화상 데이터를 생성하고, 이를 디블록 필터(47)에 출력한다.

디블록 필터(47)는, 역양자화 회로(52)로부터 입력받은 양자화 파라미터 QP와 블록 경계 강도 데이터 Bs에 기초하여, 가산 회로(54)로부터 입력받은 화상 데이터에 디블록 필터 처리를 실시하고, 처리 후의 화상 데이터를 프레임 메모리(55) 및 화면 재배열 버퍼(38)에 기입한다.

움직임 예측·보상 회로(56)는, 프레임 메모리(55)로부터 읽어낸 참조 화상 데이터와, 가역 복호 회로(51)로부터 입력받은 움직임 벡터에 기초하여, 예측 화상 데이터 PI를 생성하고, 이를 가산 회로(54)에 출력한다.

인트라 예측 회로(57)는, 가역 복호 회로(51)로부터 입력받은 인트라 예측 모드에 기초하여 예측 화상 데이터 PI를 생성하고, 이를 가산 회로(54)에 출력한다.

화면 재배열 버퍼(58)는, 디블록 필터(47)로부터 기입된 복호 후의 화상 데이터를, 표시순으로 D/A 변환 회로(61)에 읽어낸다.

D/A 변환 회로(61)는, 화면 재배열 버퍼(58)로부터 입력받은 화상 데이터에 D/A 변환 처리를 실시하여 화상 신호 S14를 생성하고, 이를 복호 장치(3)의 외부에 출력한다.

[디블록 필터]

디블록 필터(47)는, 입력받은 화상 데이터에 포함되는 블록 왜곡이 감소하도록 필터 처리를 실시한다.

구체적으로는, 디블록 필터(47)는, 입력받은 양자화 파라미터 QP와 블록 경계 강도 데이터 Bs에 기초하여, 예를 들면, 도 4에 도시한 바와 같이, 16x16 화소 의 매크로 블록 MB 내의 화상 데이터를 4x4 화소의 블록의 화상 데이터를 단위로 하여, 수평 방향 및 수직 방향의 필터 처리를 행한다.

블록 경계 강도 데이터 Bs는, 예를 들면, H.264/AVC에 의해, 도 5에 도시한 바와 같이, 규정되어 있다.

블록 경계 강도 데이터 Bs는, 예를 들면, 도 5에 도시한 바와 같이, 화소 데이터 p 혹은 q 중 어느 한쪽이 인트라 부호화되는 매크로 블록 MB에 속하고, 또한, 그 화소 데이터가 매크로 블록 MB의 경계에 위치하는 경우에, 가장 필터 강도가 높은 「4」가 할당되어 있다.

블록 경계 강도 데이터 Bs는, 예를 들면, 도 5에 도시한 바와 같이, 화소 데이터 p 혹은 q 중 어느 한쪽이 인트라 부호화되는 매크로 블록 MB에 속하고, 또한, 그 화소 데이터가 매크로 블록 MB의 경계에 위치하지 않은 경우에, 「4」의 다음으로 필터 강도가 높은 「3」이 할당되어 있다.

블록 경계 강도 데이터 Bs는, 예를 들면, 도 5에 도시한 바와 같이, 화소 데이터 p 및 q의 쌍방이 인트라 부호화되는 매크로 블록 MB에 속하는 것은 아니고, 또한, 어느 하나의 화소 데이터가 변환 계수를 갖는 경우에, 「3」의 다음으로 필터 강도가 높은 「2」가 할당되어 있다.

블록 경계 강도 데이터 Bs는, 예를 들면, 도 5에 도시한 바와 같이, 화소 데이터 p 및 q의 쌍방이 인트라 부호화되는 매크로 블록 MB에 속하는 것은 아니고, 또한, 어느 하나의 화소 데이터가 변환 계수를 갖지 않는다고 하는 조건을 충족하는 경우에, 또한, 참조 프레임이 서로 다르거나, 참조 프레임의 매수가 서로 다르 거나, 움직임 벡터가 서로 다른 어느 하나의 조건을 충족하는 경우에, 「1」이 할당되어 있다.

블록 경계 강도 데이터 Bs는, 예를 들면, 도 5에 도시한 바와 같이, 화소 데이터 p, q의 쌍방이 인트라 부호화되는 매크로 블록 MB에 속하는 것은 아니고, 어느쪽의 화소 데이터도 변환 계수를 갖지 않고, 또한, 참조 프레임 및 움직임 벡터가 동일한 경우에는, 필터 처리를 행하지 않는 것을 의미하는 「0」이 할당되어 있다.

도 6은, 디블록 필터(47)의 구성도이다.

디블록 필터(47)는, 예를 들면, α·β 취득부(81), index 산출부(82), tc0 취득부(83), 및 필터 연산부(84)를 갖는다.

α·β 취득부(81)는, 입력받은 양자화 파라미터 QP를 키로 하여, 도 7에 도시하는 표 데이터 TABLE1을 참조하여, 데이터(파라미터)α, β를 취득한다.

여기에서, 파라미터 α, β는, 디폴트로는, 도 7에 도시한 바와 같이, 각 매크로 블록의 화상 데이터의 양자화 파라미터 QP에 따라서 그 값이 정해져 있다.

단, 파라미터 α, β의 값은, 복호 대상의 화상 데이터(bitstream) 내의 slice 헤더 데이터에 포함되는 slice#alpha#c0#offset#div2 및 slice#beta#offset#div2라고 하는 2개의 파라미터에 의거하여, 유저가 조정하는 것이 가능하다.

index 산출부(82)는, 인접하는 매크로 블록 MB(P)와 MB(Q)의 화상 데이터의 양자화 파라미터 QP를 입력받고, 하기 수학식 1에 따라서, 데이터 indexA, B를 산 출한다.

또한, 하기 수학식 1에서, FilterOffsetA 및 FilterOffsetB가, 유저에 의한 조정분에 상당한다.

도 6에서, qPp는 매크로 블록 MB(P)의 화상 데이터의 양자화 파라미터 QP를 나타내고, qPq는 매크로 블록 MB(Q)의 화상 데이터의 양자화 파라미터 QP를 나타낸다.

tc0 취득부(83)는, 블록 경계 강도 데이터 Bs와, index 산출부(82)로부터 입력받은 데이터 indexA를 키로 하여, 도 8에 도시하는 표 데이터 TABLE2에 기초하여, 데이터 tc0을 취득하고, 이를 필터 연산부(84)에 출력한다.

필터 연산부(84)는, 이하에 나타내는 바와 같이, 「Bs<4」의 경우와, 「Bs=4」의 경우에서 서로 다른 필터 처리를 행한다.

우선, 「Bs<4」의 경우를 설명한다.

필터 연산부(84)는, 하기 수학식 2에 나타내는 연산을 행하여, 필터 처리 후의 화소 데이터 p0', q0'를 산출한다.

하기 수학식 2에서, Clip3은 클립핑 처리를 나타낸다.

필터 연산부(84)는, 상기 수학식 2의 「tc」를, 플래그 chromaEdgeFlag가 「0」을 나타내는 경우에 하기 수학식 3에 기초하여 산출하고, 그 이외의 경우에 하기 수학식 4에 기초하여 산출한다.

하기 수학식 3에서, 「()?1:0」은, () 내의 조건을 만족하면 「1」, 그 이외의 경우에는 「0」을 나타낸다.

또한, 필터 연산부(84)는, 상기 수학식 3의 ap, aq를 하기 수학식 5에 따라서 산출한다.

필터 연산부(84)는, 필터 처리 후의 화소 데이터 p1'를, chromaEdgeFlag가 0이고, 또한, ap가 β 이하인 경우에 하기 수학식 6에 나타내는 연산을 행하여 산출하고, 그 이외의 경우에 하기 수학식 7에 의해 취득한다.

필터 연산부(84)는, 필터 처리 후의 화소 데이터 q1'를, chromaEdgeFlag가 0이며, 또한, aq가 β 이하인 경우에 하기 수학식 8에 도시하는 연산을 행하여 산출하고, 그 이외의 경우에 하기 수학식 9에 의해 취득한다.

다음으로, 「Bs=4」의 경우를 설명한다.

필터 연산부(84)는, 플래그 chromaEdgeFlag가 「0」을 나타내고, 또한, 하기 수학식 10의 조건을 충족시키는 경우에, 화소 데이터 p0', p1', p2'를 하기 수학식 11에 따라서 산출한다.

필터 연산부(84)는, 플래그 chromaEdgeFlag가 「0」을 나타내고, 또한, 하기 수학식 10의 조건을 충족시키지 않은 경우에, 화소 데이터 p0', p1', p2'를 하기 수학식 12에 따라서 산출한다.

필터 연산부(84)는, 플래그 chromaEdgeFlag이 「0」을 나타내고, 또한, 하기 수학식 13의 조건을 충족시키는 경우에, 화소 데이터 q0', q1', q2'를 하기 수학식 14에 따라서 산출한다.

필터 연산부(84)는, 플래그 chromaEdgeFlag가 「0」을 나타내고, 또한, 하기 수학식 10의 조건을 충족시키지 않은 경우에, 화소 데이터 q0', q1', q2'를 하기 수학식 15에 따라서 산출한다.

[DEB 제어 회로]

도 2에 도시하는 DEB 제어 회로(39)의 처리에 대하여 상세하게 설명한다.

DEB 제어 회로(39)는, 이하에 나타내는 바와 같이, 양자화 파라미터 QP의 생성 처리와, 블록 경계 강도 데이터 Bs의 생성 처리를 행한다.

우선, DEB 제어 회로(39)에 의한 양자화 파라미터 QP의 생성 처리를 설명한다.

도 9는, 도 2에 도시하는 DEB 제어 회로(39)가 행하는 양자화 파라미터 QP의 생성 처리를 설명하기 위한 플로우차트이다.

스텝 ST11:

전술한 바와 같이, DEB 제어 회로(39)는, 가역 복호 회로(31)로부터 MPEG2 방식의 화상 데이터 S9에 포함되는 각 매크로 블록 MB의 양자화 스케일 Q_SCALE을 입력받는다.

스텝 ST12:

DEB 제어 회로(39)는, 스텝 ST11에서 입력받은 양자화 스케일 Q_SCALE에 대응하는 양자화 파라미터 QP를 특정한다.

그런데, H.264/AVC의 양자화 파라미터 QP(범위 0∼31)와, MPEG2의 양자화 스케일 Q_SCALE 사이에는, 하기 수학식 16이 성립된다.

상기 수학식 16 내의 A(QP)는, QP=0∼31의 각각에 대해서, 하기 수학식 17과 같이 규정된다.

상기 수학식 16, 17로부터, 하기 수학식 18의 관계가 성립한다.

DEB 제어 회로(39)는, 입력받은 양자화 스케일 Q_SCALE를 키로 하여, 상기 수학식 18에 나타내는 관계를 규정한 표 데이터를 이용하여, 그에 대응하는 양자화 파라미터 QP를 취득한다.

다음으로, 전술한 양자화 파라미터 QP의 범위가 0∼31이며, H.264/AVC에서 규정한 양자화 파라미터 QP의 범위가 0∼51이기 때문에, 하기 수학식 19에 의해 새로운 양자화 파라미터 QP를 산출하고, 이를 디블록 필터(47)에 출력한다.

다음으로, DEB 제어 회로(39)에 의한 블록 경계 강도 데이터 Bs의 생성 처리에 대하여 설명한다.

도 10∼도 12는, DEB 제어 회로(39)에 의한 블록 경계 강도 데이터 Bs의 생성 처리에 대하여 설명하기 위한 플로우차트이다.

스텝 ST21:

DEB 제어 회로(39)는, 가역 복호 회로(31)로부터 MPEG 방식의 화상 데이터 S9의 처리 대상의 매크로 블록 MB의 화상 데이터의 MB 타입(MB 타입 지시 데이터)을 입력받는다.

스텝 ST22:

DEB 제어 회로(39)는, 스텝 ST21에서 입력받은 MB 타입이 「Intra」 혹은 「Intra+Q」라고 판단하면 스텝 ST23으로 진행하고, 그렇지 않은 경우에는 스텝 ST24로 진행한다.

여기에서, 「Intra」는 매크로 블록 MB의 화상 데이터가 인트라 부호화된 것을 나타내고 있다. 한편, 「Intra+Q」는, 매크로 블록 MB의 화상 데이터가 인트라 부호화되고, 또한, 양자화 스텝의 갱신이 있는 것을 나타내고 있다.

MPEG2의 「Intra」, 「Intra+Q」는, H.264/AVC의 「Intra」에 대응하고 있다.

스텝 ST23:

DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[0]에 「4」를 설정하고, 블록 경계 강도 데이터 Bs[2]에 「3」을 설정한다.

그 후, DEB 제어 회로(39)는, 도 12에 도시하는 스텝 ST35로 진행한다.

스텝 ST24:

DEB 제어 회로(39)는, 스텝 ST21에서 입력받은 MB 타입이 「MC+Coded」 또는 「MC+Coded+Q」 또는 「NotMC+Coded」 또는 「NotMC+Coded+Q」라고 판단하면 스텝 ST25로 진행하고, 그렇지 않은 경우에는 스텝 ST26으로 진행한다.

여기에서, 「MC+Coded」는, 인터 예측 부호화(움직임 예측·보상)를 요하는 것, 즉 인터 예측 부호화가 행해진 것을 의미하고 있다. 「MC+Coded+Q」는, 인터 예측 부호화가 행해져, 양자화값의 변환이 행해진 것을 의미하고 있다. 「NotMC+Coded」는, 움직임 보상은 행하지 않고, DCT 계수의 복호만이 행해진 것을 의미하고 있다. 「NotMC+Coded」는, 움직임 보상은 행하지 않고, 양자화 값의 변환이 행해진 것을 의미하고 있다.

MPEG2의 「MC+Coded」 및 「MC+Coded+Q」는, H.264/AVC의 「Inter16x16」에 대응하고 있다.

「NotMC+Coded」 및 「NotMC+Coded+Q」는, H.264/AVC의 「Direct16x16」에 대응하고 있다.

스텝 ST25:

DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[0], Bs[2]에 「2」를 설정한다.

스텝 ST26:

DEB 제어 회로(39)는, 스텝 ST21에서 입력받은 MB 타입이 「MC+NotCoded」라고 판단하면 스텝 ST27로 진행하고, 그렇지 않은 경우에는 스텝 ST30으로 진행한다.

여기에서, 「MC+NotCoded」는, 움직임 보상은 행하지만, DCT 계수의 복호는 행하지 않는 것을 의미하고 있다.

MPEG2의 「MC+NotCoded」는, H.264/AVC의 「Inter16x16」에 대응하고 있다.

스텝 ST27:

DEB 제어 회로(39)는, 처리 대상의 화상 데이터의 매크로 블록 MB에 인접하는 매크로 블록 MB의 화상 데이터가 유효한 직교 변환 계수(DCT 계수)를 갖고 있다고 판단하면 스텝 ST28로 진행하고, 그렇지 않은 경우에 스텝 ST29로 진행한다.

스텝 ST28:

DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[0]에 「2」를 설정한다.

이 때, DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[2]에 「0」을 설정한다.

스텝 ST29:

DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[0] 및 Bs[2]에 「0」을 설정한다.

스텝 ST30:

ST30으로 온 경우, MB 타입은 「Skip」이다.

여기에서, 「Skip」은, 움직임 벡터를 부호화하지 않는 것을 의미하고 있다.

MPEG2에서는, P 픽쳐인지, 또는 B 픽쳐인지에 따라 처리가 서로 다르다. P 픽쳐에서의 MPEG2의 「Skip」은, H.264/AVC의 「Temporal Direct16x16」에 대응하고 있다. B 픽쳐에서의 MPEG2의 「Skip」은, H.264/AVC의 「Spatial Direct16x16」에 대응하고 있다.

DEB 제어 회로(39)는, 현재의 픽쳐 타입이 P 픽쳐라고 판단하면 스텝 ST31로 진행하고, 그렇지 않은 경우에는 스텝 ST32로 진행한다.

스텝 ST31:

DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[0], Bs[2]에 「0」을 설정한다.

스텝 ST32:

DEB 제어 회로(39)는, 처리 대상의 화상 데이터의 매크로 블록 MB에 인접하는 매크로 블록 MB가 유효한 직교 변환 계수(DCT 계수)를 갖고 있다고 판단하면 스텝 ST33으로 진행하고, 그렇지 않은 경우에 스텝 ST34로 진행한다.

스텝 ST33:

스텝 ST34:

스텝 ST35:

DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[1], [3]에 「0」을 설정한다.

이하, 도 2에 도시하는 복호 장치(3)의 동작예를 설명한다.

여기에서는, MPEG2 방식의 화상 데이터 S9를 복호하는 경우를 설명한다.

화상 데이터 S9는, 축적 버퍼(30)에 축적된 후, 가역 복호 회로(31)에 출력된다.

다음으로, 가역 복호 회로(31)가, 화상 데이터 S9 내의 처리 대상의 매크로 블록 MB의 화상 데이터가 인터 부호화되어 있다고 판단한 경우에는, 그 헤더부에 기입되어 있는 움직임 벡터를 복호하여 움직임 예측·보상 회로(36)에 출력한다.

또한, 가역 복호 회로(31)는, 화상 데이터 S9 내의 처리 대상의 매크로 블록 MB의 화상 데이터가 인트라 부호화되어 있다고 판단한 경우에는, 그 헤더부에 기입되어 있는 인트라 예측 모드 정보를 복호하여 인트라 예측 회로(37)에 출력한다.

가역 복호 회로(31)는, 화상 데이터 S9를 복호하여 역양자화 회로(32)에 출력한다.

가역 복호 회로(31)는, 화상 데이터 S9에 포함되는 각 매크로 블록 MB의 화상 데이터의 양자화 스케일 Q_SCALE와, MB 타입을 DEB 제어 회로(39)에 출력한다.

다음으로, 역양자화 회로(32)가, 가역 복호 회로(31)에서 복호된 화상 데이터(직교 변환 계수)를, 가역 복호 회로(31)로부터 입력받은 양자화 스케일 Q_SCALE에 기초하여 역양자화하여 역직교 변환 회로(33)에 출력한다.

다음으로, 역직교 변환 회로(33)가, 역양자화 회로(32)로부터 입력받은 화상 데이터(직교 변환 계수)에 8x8 화소 단위의 역직교 변환 처리를 실시하여 차분 화상 데이터를 생성하고, 그를 가산 회로(34)에 출력한다.

다음으로, 가산 회로(34)가, 움직임 예측·보상 회로(36) 혹은 인트라 예측 회로(37)로부터의 예측 화상 데이터 PI와, 역직교 변환 회로(33)로부터의 차분 화상 데이터를 가산하여 화상 데이터를 생성하고, 이를 프레임 메모리(35) 및 화면 재배열 버퍼(38)에 기입한다.

전술한 처리와 병행하여, DEB 제어 회로(39)가, 도 9에 도시하는 처리를 행하여, 양자화 파라미터 QP를 디블록 필터(47)에 출력한다.

또한, DEB 제어 회로(39)가, 도 10∼도 12에 도시하는 처리를 행하여, 블록 경계 강도 데이터 Bs를 디블록 필터(47)에 출력한다.

디블록 필터(47)가, DEB 제어 회로(39)로부터 입력받은 양자화 파라미터 QP 및 블록 경계 강도 데이터 Bs에 기초하여, 화면 재배열 버퍼(38)에 기억된 화상 데이터에 디블록 필터 처리를 실시한다.

그 후, 화상 데이터가, 표시순으로 가역 복호 회로(31)에 읽어내어지고, 화상 신호 S10으로 변환된다.

한편, H.264/AVC 방식의 화상 데이터 S13을 복호하는 경우에는, AVC 복호 장치(12)가, 일반적인 AVC 복호 장치와 마찬가지로 화상 데이터 S13을 복호하여 화상 신호 S14를 출력한다.

이상 설명한 바와 같이, 복호 장치(3)에 따르면, MPEG2 방식의 화상 데이터 S9에 대하여, 디블록 필터(47)에 의한 디블록 필터 처리를 실시할 수 있어, 블록 왜곡이 억제된 고품질의 복호 후의 화상 신호 S10을 생성할 수 있다.

또한, 복호 장치(3)에 따르면, AVC 복호 장치(12)의 디블록 필터(47)를, MPEG2 복호 장치(10)에서 이용하기 때문에, 장치의 대규모화를 회피할 수 있다.

제2 실시 형태

제2 실시 형태로서, MPEG2 복호 장치(10)는, 입력받은 화상 데이터 S9가 인터레이스 신호이었던 경우에 이하의 처리를 행한다.

MPEG2에서는, 인터레이스 신호에 대하여, 프레임 예측 외에 필드 예측이나 듀얼 프라임 예측, 잔차 신호에 대하여 프레임 DCT 및 필드 DCT가 이용된다. 이에 의해, 프레임 신호와는 상이한 블록 왜곡이 나타난다.

MPEG2 복호 장치(10)는, 부호화 장치에서 필드 신호에서 DCT 처리가 행해지고, 또한, 화상 데이터 S9의 처리 대상의 매크로 블록 MB가 프레임 구조인 경우, 도 13에 도시한 바와 같이, 화상 데이터 S9를 필드 구조로 변환한 후에 디블록 필터 처리를 행한다. 여기에서, 처리 대상의 매크로 블록 MB의 화상 데이터는, 필드 구조로 변환되어, 가로 16x세로 8 픽셀의 블록의 화상 데이터로 된다.

그리고, MPEG2 복호 장치(10)의 DEB 제어 회로(39)는, 블록 경계 강도 데이터 Bs[1], [3]에, 각각 제1 실시 형태에서 설명한 블록 경계 강도 데이터 Bs[0], [2]와 동일한 값을 설정한다.

이에 의해, 실제로 DCT 처리가 행해진 블록을 기준으로 하여 화상 데이터에 디블록 필터 처리를 실시할 수 있다.

제3 실시 형태

제3 실시 형태로서, DCT 타입의 차이에 의한 블록 경계 강도 데이터 Bs의 설정 방법에 대하여 설명한다.

MPEG2에서는, 매크로 블록 MB마다 프레임 DCT와 필드 DCT의 2종류를 선택 가능하다.

여기에서, 수평 방향으로 인접하는 2개의 매크로 블록 MB의 화상 데이터가, 서로 다른 DCT 타입이었던 경우, 블록 왜곡이 생길 가능성은 높다. 일반적으로, MPEG2의 부호화 장치에서 프레임 DCT가 선택되는 것은 시간 상관이 높은 부분에서, 필드 DCT가 선택되는 것은 필드 간에서 움직임이 생기고 있는 부분이다. 그 때문에, 인접 매크로 블록 MB의 화상 데이터에 대하여 화상의 성질이 서로 다르다고 예상되기 때문이다.

그 때문에, 본 변형예에서는, DEB 제어 회로(39)는, 디블록 필터 처리의 대상의 매크로 블록 MB의 화상 데이터와, 그에 수평 방향으로 인접하는 매크로 블록 MB의 화상 데이터 사이에서 DCT 타입이 서로 다른 경우에, 예를 들면, 수평 방향의 블록 경계 강도 데이터 Bs[0]에 「3」을 설정한다. 즉, DEB 제어 회로(39)는, 디블록 필터 처리의 대상의 매크로 블록 MB의 화상 데이터와, 그에 수평 방향으로 인접하는 매크로 블록 MB의 화상 데이터 사이에서 DCT 타입이 서로 다른 경우에, DCT 타입이 동일한 경우에 비하여, 경계 부분에 강한 디블록 필터 처리를 실시하도록 제어한다.

본 발명은 전술한 실시 형태에 한정되지 않는다.

즉, 당업자는, 본 발명의 기술적 범위 또는 그 균등한 범위 내에서, 전술한 실시 형태의 구성 요소에 관하여, 여러가지 변경, 콤비네이션, 서브 콤비네이션, 및 대체를 행하여도 된다.

예를 들면, 전술한 복호 장치(3)의 기능의 전부 혹은 일부를, 도 13에 도시한 바와 같이, 메모리(252)에 기억된 프로그램 PRG의 기술에 따라서 CPU(Central Processing Unit)등의 처리 회로(253)가 실행하여도 된다.

이 경우에, 인터페이스(251)를 통하여, 복호 대상의 화상 데이터가 입력되고, 그 처리 결과가 출력된다.

또한, 전술한 예에서는, MPEG-2를 입력으로 하는 경우에 대하여 설명해 왔지만, 본 발명의 범위는 이에 한하지 않고, 이산 코사인 변환 등의 직교 변환을 이용하는 JPEG, MPEG, H.26x로 대표되는 화상 부호화 방식이 일반적으로, 적용 가능하다.

Claims

제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수단과,

상기 제1 부호화 스트림을 생성할 때 이용한 양자화 스케일을, 미리 규정된 대응 관계에 따라, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 생성할 때 이용하는 양자화 파라미터로 변경하는 설정 수단과,

상기 설정 수단에 의해 변경된 양자화 파라미터에 기초하여, 상기 제2 부호화 스트림을 복호한 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수단에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수단을 포함하는, 화상 처리 장치.
제1항에 있어서,

상기 제2 부호화 스트림을 복호하여 상기 제2 화상 데이터를 생성하는 복호 수단을 더 포함하고,

상기 필터 수단은, 상기 제1 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리와 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를 공용하는, 화상 처리 장치.
제2항에 있어서,

상기 제1 부호화 방식은 MPEG2 규격이며, 상기 제2 부호화 방식은 H.264/AVC 규격인, 화상 처리 장치.
제3항에 있어서,

상기 필터 수단은 H.264/AVC 규격에 준거한 디블록 필터인, 화상 처리 장치.
제4항에 있어서,

상기 설정 수단은, MPEG2의 양자화 스케일을, 그에 대응하는 양자화 파라미터로 변환하는 테이블을 갖고,

상기 테이블을 이용하여 양자화 스케일을 양자화 파라미터로 변환하고, 또한, 변환에 의해 얻은 양자화 파라미터의 레인지를 H.264/AVC의 레인지로 변환하는, 화상 처리 장치.
제5항에 있어서,

상기 필터 수단은, 인터레이스 방식에 의한 상기 제1 화상 데이터에 대해서, 필드 구조로 변환하고나서 블록 왜곡을 제거하는 필터 처리를 실행하는, 화상 처리 장치.
제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 공정과,

상기 복호 공정에서 상기 제1 부호화 스트림을 생성할 때 이용한 양자화 스케일을, 미리 규정된 대응 관계에 따라, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 생성할 때 이용하는 양자화 파라미터로 변경하는 설정 공정과,

상기 설정 공정에 의해 변경된 양자화 파라미터에 기초하여, 상기 제2 부호화 스트림을 복호한 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 공정에서 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 공정을 포함하는, 화상 처리 방법.
화상 처리 장치용 컴퓨터에 복호 처리를 실행시키는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서,

상기 컴퓨터에,

제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수순과,

상기 복호 수순에서 상기 제1 부호화 스트림을 생성할 때 이용한 양자화 스케일을, 미리 규정된 대응 관계에 따라, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 생성할 때 이용하는 양자화 파라미터로 변경하는 설정 수순과,

상기 설정 수순에 의해 변경된 양자화 파라미터에 기초하여, 상기 제2 부호화 스트림을 복호한 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수순에서 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수순을 실행시키는, 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수단과,

상기 제1 부호화 스트림을 생성한 때의 매크로 블록의 부호화 타입에 기초하여, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 복호하여 얻어지는 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도를 나타내는 블록 경계 강도 데이터의 값으로서, 매크로 블록의 부호화 타입별 값을 설정하는 설정 수단과,

상기 설정 수단에 의해 설정된 블록 경계 강도 데이터의 값에 따라, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수단에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수단을 포함하고,

상기 설정 수단은,

처리 대상인 블록 데이터의 부호화 타입이 인트라 부호화(intra-encoding)인 경우에, 인터 부호화(inter-encoding)인 경우에 비해 강한 필터 강도를 나타내는 상기 블록 경계 강도 데이터의 값을 설정하는, 화상 처리 장치.
제9항에 있어서,

상기 제2 부호화 스트림을 복호하여 상기 제2 화상 데이터를 생성하는 복호 수단을 더 포함하고,

상기 필터 수단은, 상기 제1 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리와 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를 공용하는, 화상 처리 장치.
제10항에 있어서,

상기 설정 수단은, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도와 대응하도록, 상기 블록 경계 강도 데이터의 값을 설정하는, 화상 처리 장치.
제11항에 있어서,

상기 제1 부호화 방식은 MPEG2 규격이며, 상기 제2 부호화 방식은 H.264/AVC 규격인, 화상 처리 장치.
제12항에 있어서,

상기 필터 수단은 H.264/AVC 규격에 준거한 디블록 필터인, 화상 처리 장치.
제13항에 있어서,

상기 필터 수단은,

상기 블록 경계 강도 데이터의 최대값이 설정된 경우, 다른 값의 블록 경계 강도 데이터가 설정된 경우와 다른 필터 처리를 실행하고,

상기 설정 수단은,

MPEG2 방식의 화상 데이터의 매크로 블록이 인트라 부호화된 경우, 또는, MPEG2 방식의 매크로 블록이 인트라 부호화되고, 또한, 양자화 스텝의 갱신이 있을 경우에는, 상기 블록 경계 강도 데이터에 상기 최대값을 설정하는, 화상 처리 장치.
제14항에 있어서,

상기 필터 수단은, 인터레이스 방식에 의한 상기 제1 화상 데이터에 대해서, 필드 구조로 변환하고나서 블록 왜곡을 제거하는 필터 처리를 실행하는, 화상 처리 장치.
제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 공정과,

상기 제1 부호화 스트림을 생성한 때의 매크로 블록의 부호화 타입에 기초하여, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 복호하여 얻어지는 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도를 나타내는 블록 경계 강도 데이터의 값으로서, 매크로 블록의 부호화 타입별 값을 설정하는 설정 공정과,

상기 설정 공정에 의해 설정된 블록 경계 강도 데이터의 값에 따라, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 공정에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 공정을 포함하고,

상기 설정 공정에서는,

처리 대상인 블록 데이터의 부호화 타입이 인트라 부호화인 경우에, 인터 부호화인 경우에 비해 강한 필터 강도를 나타내는 상기 블록 경계 강도 데이터의 값을 설정하는, 화상 처리 방법.
화상 처리 장치용 컴퓨터에 복호 처리를 실행시키는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서,

상기 컴퓨터에,

제1 부호화 방식으로 부호화된 제1 부호화 스트림을 복호하여 제1 화상 데이터를 생성하는 복호 수순과,

상기 제1 부호화 스트림을 생성한 때의 매크로 블록의 부호화 타입에 기초하여, 상기 제1 부호화 방식과는 다른 방식의 제2 부호화 방식으로 부호화된 제2 부호화 스트림을 복호하여 얻어지는 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리의 강도를 나타내는 블록 경계 강도 데이터의 값으로서, 매크로 블록의 부호화 타입별 값을 설정하는 설정 수순과,

상기 설정 수순에 의해 설정된 블록 경계 강도 데이터의 값에 따라, 상기 제2 화상 데이터에 포함되는 블록 왜곡을 제거하는 필터 처리를, 상기 복호 수순에 의해 생성된 제1 화상 데이터에 적용함으로써, 상기 제1 화상 데이터에 대하여 필터 처리를 행하는 필터 수순을 실행시키며,

상기 설정 수순에서는,

처리 대상인 블록 데이터의 부호화 타입이 인트라 부호화인 경우에, 인터 부호화인 경우에 비해 강한 필터 강도를 나타내는 상기 블록 경계 강도 데이터의 값을 설정하는, 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.