KR20110039511A - 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로 - Google Patents

동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로 Download PDF

Info

Publication number
KR20110039511A
KR20110039511A KR1020107003950A KR20107003950A KR20110039511A KR 20110039511 A KR20110039511 A KR 20110039511A KR 1020107003950 A KR1020107003950 A KR 1020107003950A KR 20107003950 A KR20107003950 A KR 20107003950A KR 20110039511 A KR20110039511 A KR 20110039511A
Authority
KR
South Korea
Prior art keywords
signal
quantization
prediction
filter
filter information
Prior art date
Application number
KR1020107003950A
Other languages
English (en)
Inventor
마티아스 나로쉬케
스테판 위트만
토마스 웨디
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20110039511A publication Critical patent/KR20110039511A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 동화상 부호화 방법은, 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계(S16)와, 부호화 대상 신호로부터 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화 단계(S12)와, 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계(S13)와, 예측 신호 및 양자화 예측 오차 신호 중, 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성 단계(S14)와, 양자화 단계에서 생성되는 양자화 계수와, 필터 정보 생성 단계에서 생성되는 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화 단계(S15)를 포함한다.

Description

동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로{VIDEO IMAGE ENCODING METHOD, VIDEO IMAGE DECODING METHOD, VIDEO IMAGE ENCODING APPARATUS, VIDEO IMAGE DECODING APPARATUS, PROGRAM AND INTEGRATED CIRCUIT}
본 발명은, 동화상 부호화용 필터에 관한 것으로, 특히, 차분 펄스 부호 변조에 있어서의 예측 신호와 양자화 예측 오차 신호로부터 재구축된 신호에 적용되는 필터에 관한 것이다.
동화상 데이터를 압축하기 위해, 복수의 동화상 부호화 규격이 개발되어져 있었다. 동화상 부호화 규격의 예로서, H.26x라고 칭해지는 ITU-T 규격이나 MPEG-x라고 칭해지는 ISO/IEC 규격을 들 수 있다. 최신의 동화상 부호화 규격은, H.264/MPEG-4AVC라고 칭해지는 규격이다.
그들의 규격 모두가, 이하에 나타내는 복수의 메인 스테이지로 이루어지는 하이브리드 동화상 부호화에 의거한 것이다.
(a) 독립한 동화상 프레임의 각각에 대해, 블록 레벨로 그 데이터의 압축을 행하기 위해, 각 동화상 프레임을 2차원의 화소 블록으로 분할하는 스테이지
(b) 각 블록에 대해 시공간 예측 방법을 적용하고, 공간 도메인에 있어서의 예측 오차를 주파수 도메인으로 변환함으로써, 시공간 동화상 정보를 무상관화하여 계수를 취득하는 스테이지
(c) 얻어진 계수를 양자화함으로써, 총 데이터량을 삭감하는 스테이지
(d) 양자화 계수와 예측 파라미터를, 엔트로피 부호화 알고리즘을 이용하여 부호화함으로써, 나머지 데이터를 압축하는 스테이지
즉, 최신의 동화상 부호화 규격은, 입력 동화상 시퀀스의 블록과 부호화가 끝난 블록(부분적으로 복호된 화상)에 의거한 예측 결과의 차분만을 전송하는 차분 펄스 부호 변조(DPCM) 수법을 채용하고 있다. 이러한 동화상 부호화 규격에 이용될 수 있는 예측 방법의 하나는, 움직임 보상 예측이다. 이 예측 방법에 있어서는, 오브젝트 및/또는 카메라의 움직임에 의해 초래되는 화상의 변위를 기술하기 위해, 동화상 데이터의 각 블록에 대해, 적어도 1개의 움직임 벡터를 특정한다. 특정된 움직임 벡터에 의거하여, 어떤 블록의 화상 내용을, 부호화가 끝난 블록의 화상 내용으로부터 적어도 어느 정도는 예측 가능하다. 예측 화상 내용과 실제의 입력 화상 내용의 차분은, 예측 오차라고 불리고, 실제의 입력 화상의 내용 대신에, 움직임 벡터와 함께 부호화된다. 이와 같이 하여, 「자연스러운」 동화상 시퀀스의 대부분에 대해, 그 부호화 정보량을 대폭으로 삭감하는 것이 가능해진다.
도 1은, H.264/AVC 규격에 따른 종래의 동화상 부호화 장치를 나타낸 예시적인 블록도이다. 총체적으로 동화상 부호화 장치는, 동화상(입력 신호)의 부호화 대상 블록과, 메모리(140)에 저장된 부호화가 끝난 블록(「부분적으로 복호된 화상」)에 의거하여 취득된, 당해 부호화 대상 블록의 예측 신호의 차분을 구하기 위한 감산기(110)를 구비한다. 따라서, 메모리(140)는, 대상 신호치와 그 이전의 신호치로부터 생성된 예측 신호의 비교를 가능하게 하는 지연부로서 동작한다. 변환·양자화부(120)는, 얻어진 예측 오차를 공간 도메인으로부터 주파수 도메인으로 변환하여, 취득한 계수를 양자화한다. 엔트로피 부호화부(190)는, 양자화 계수를 엔트로피 부호화한다.
부분 복호 화상은, 동화상 부호화 장치에 장착된 복호부에 의해 제공된다. 복호부는, 부호화 단계를 반대 순서로 실행한다. 역양자화·역변환부(130)는, 양자화 계수를 역양자화하여, 역양자화 계수에 역변환을 적용한다. 가산기(135)에 있어서, 부분 복호 화상을 생성하기 위해, 복호 오차가 예측 신호에 가산된다.
양자화에 의해, 양자화 노이즈가 재구축 동화상 신호에 중첩된다. 블록 단위로의 부호화에 의해, 중첩된 노이즈는 종종 블로킹 특성을 갖고, 방해물이 되는 경우가 있다. 블로킹 특성을 삭감하기 위해, 각 재구축 매크로 블록에 대해 디블로킹 필터(137)가 적용된다. 디블로킹 필터(137)는, 예측 신호와 양자화 예측 오차 신호가 가산된 것인 재구축 신호에 적용된다. 디블록 신호는 복호 신호이며, 일반적으로는 표시된다. H.264/AVC에 있어서의 디블로킹 필터(137)는, 부분적으로 채용될 수 있는 것이다. 블로킹 노이즈의 정도가 높은 경우, 강한 로우패스 필터가 채용된다. 한편, 블로킹 노이즈의 정도가 낮은 경우에는, 약한 로우패스 필터가 채용된다. 로우패스 필터의 강도는, 예측 신호와 양자화 예측 오차 신호에 의해 정해진다. 디블로킹 필터(137)는, 이하에 나타내는 2개의 메리트를 갖는다.
1. 블록의 에지가 평활화되어, 결과적으로 복호 화상의 주관적인 화질이 개선된다.
2. 필터링이 끝난 매크로 블록이 후속 화상의 움직임 보상 예측에 이용되므로, 필터링에 의해 예측 오차가 작아져, 결과적으로 부호화 효율이 개선된다.
화면 내 예측 매크로 블록은, 이러한 상황에 있어서는 특수한 케이스라고 말할 수 있다. 이들은, 표시되기 전에 필터링되지만, 화면 내 예측은 필터링 전의 재구축 매크로 블록을 이용하여 실시된다.
4개의 계수를 이용하는 선형 디블로킹 필터를, 수직 방향의 블록 경계에 대한 디블로킹의 예로서 든다. 이 필터는, 입력 샘플 p2, p1, p0, q0, q1 및 q2에 적용된다. 여기에서, 예를 들면, p0 및 q0은, 당해 블록 경계에 있어서 인접하는 2개의 화소이고, p1 및 q1은, p0 및 q0에 인접하는 화소이다. 필터 출력인 p0, new 및 q0, new에 관해, p0, new는, p0, new=(p2-(p1<<1)+(p0+q0+1)>>1)>)1로 정의되고, q0, new는, q0, new=(q2-(q1<<1)+(q0+p0+1)>>1)>>1로 정의된다.
동화상 부호화 장치에 채용되는 예측 타입은, 매크로 블록이 「화면간」 모드와 「화면 내」 모드 중 어느 쪽에서 부호화되는지에 따라 결정된다. H.264/AVC 동화상 부호화 규격에 있어서는, 「화면 내」 모드에서, 후속의 매크로 블록을 예측하기 위해, 동일 화상 내에서 부호화가 끝난 매크로 블록에 의거한 예측 방법을 이용한다. 「화면간」 모드에서는, 연속되는 복수 프레임의 동일 위치 블록 사이에서 움직임 보상 예측이 채용된다.
화면 내 부호화 화상(I타입 화상)만은, 복호가 끝난 화상을 참조하지 않고도 복호 가능하다. I타입 화상은, 부호화 동화상 시퀀스에 에러 내성을 구비시킨다. 또한, 랜덤 액세스를 가능하게 하기 위한, 요컨대, 부호화 동화상 시퀀스 내의 I타입 화상에 액세스하기 위한, 부호화 데이터인 비트 스트림으로의 엔트리 포인트로서, 이들 I타입 화상이 제공된다. 화면 내 프레임 예측부(150)가 행하는 처리인 화면 내 모드와, 움직임 보상 예측부(160)가 행하는 처리인 화면간 모드의 전환은, 화면 내/화면간 스위치(180)에 의해 제어된다.
「화면간」모드에 있어서는, 움직임 보상 예측을 채용함으로써, 선행 프레임의 동일 위치 블록으로부터 매크로 블록이 예측된다. 이 예측은, 움직임 예측부(170)에 의해 이루어지고, 대상 입력 신호와 부분 복호 화상이 수신된다. 움직임 예측에 의해, 2차원의 움직임 벡터가 구해지고, 대상 블록과 복호가 끝난 프레임의 동일 위치 블록간의 변위를 나타낸다. 예측된 움직임에 의거하여, 움직임 보상 예측부(160)는 예측 신호를 제공한다.
예측 정밀도를 최적화하기 위해, 움직임 벡터를, 1/2 화소 해상도나 1/4 화소 해상도 등의 소수 화소 해상도로 구해도 된다. 소수 화소 해상도의 움직임 벡터는, 복호가 끝난 프레임 내의 이용 가능한 화소치가 없는 위치, 요컨대 소수 화소 위치를 가리켜도 된다. 따라서, 움직임 보상을 행하기 위해서는, 화소치의 공간적 보간이 필요하다. 이것은, 보간 필터(162)에 의해 달성된다. 소수 화소 위치의 화소치를 얻기 위해, H.264/AVC 규격에 따라, 고정 필터 계수를 갖는 6탭·위너 보간 필터와 쌍선형 필터가 적용된다.
「화면 내」 부호화 모드와 「화면간」 부호화 모드의 양쪽에 있어서, 대상 입력 신호와 예측 신호간의 차분이, 변환·양자화부(120)에 의해 변환되고 양자화되어, 양자화 계수가 취득된다. 일반적으로는, 2차원 이산 코사인 변환(DCT) 등의 직교 변환 또는 그 정수판(整數版)이 채용된다.
부호화 데이터량을 삭감하기 위해, 이들 계수는 양자화된다. 양자화 단계는, 정밀도와 그 정밀도로 각 양자화 계수를 부호화하기 위해 이용되는 비트수를 지정하는 양자화 테이블에 의해 제어된다. 통상, 저주파 성분은 고주파수 성분보다 화질에 있어서 중요하므로, 고주파수 성분을 부호화하기 위해 소비되는 비트수보다 많은 비트수가 저주파 성분을 부호화하기 위해 소비된다.
양자화 후, 양자화 계수의 2차원 배열은, 엔트로피 부호화기에 수도(受渡)되기 위해 1차원의 열로 변환되지 않으면 안 된다. 이 변환은, 소정의 순서로 이 배열을 주사함으로써 이루어진다. 이와 같이 하여 취득된 1차원의 양자화 계수 시퀀스는, 엔트로피 부호화부(190)에 의해 가변길이 부호(VLC)를 이용하여 압축 부호화된다. 얻어진 비트 스트림은, 움직임 정보와 함께 다중화되어, 기억 매체에 저장되거나 동화상 복호 장치측으로 송신된다.
주관적인 화질을 개선하기 위해, 포스트 필터라고 불리는 것을 동화상 복호 장치측에서 적용해도 된다. H.264/AVC 규격에 의하면, 부가 확장 정보(SEI) 메시지를 이용함으로써, 포스트 필터용의 포스트 필터 정보를 송신할 수 있다. 포스트 필터 정보는, 필터 계수 그 자체여도 되고, 이들 필터 계수를 구하기 위해 이용할 수 있는 상호 상관 정보여도 된다. 포스트 필터 정보는, 포스트 필터 설계부(138)에 의해 동화상 부호화 장치측에서 결정되고, 부분 복호 신호 및 원화상 입력 신호와 비교된다. 포스트 필터 설계부(138)의 출력은, 부호화되어 부호화 신호에 삽입되기 위해, 엔트로피 부호화부(190)에도 공급된다.
동화상 복호 장치측에서 부호화 화상을 재구축하기 위해, 부호화 프로세스가 반대 순서로 적용된다. 도 2는, 대응하는 동화상 복호 장치의 구성을 설명하는 개략 블록도이다.
도 2의 동화상 복호 장치에 있어서는, 우선, 엔트로피 복호부(191)에 있어서, 계수와 움직임 데이터가 엔트로피 복호된다. 이 단계는, 복호 계수열을 역변환을 위해 필요한 2차원 배열 데이터로 변환하기 위한 역주사도 포함한다. 양자화 계수의 복호 블록은 그 후, 역양자화·역변환부(121)에 제공되고, 복호 움직임 데이터는, 움직임 보상 예측부(160)에 송신된다. 움직임 벡터의 실제 값에 따라서는, 움직임 보상 예측을 행하기 위해 화소치의 보간이 필요해지는 경우가 있다. 이 보간은, 보간 필터(162)에 의해 달성된다.
역변환 결과는, 공간 도메인에 있어서의 양자화 예측 오차이며, 가산기(135)에 의해 가산되지만, 화면간 모드에서는 움직임 보상 예측부(160)에서 발생하는 예측 신호에 가산되고, 화면 내 모드에서는 화면 내 프레임 예측부(150)에서 발생하는 예측 신호에 가산된다. 재구축 화상은, 디블로킹 필터(137)를 통해 수도되어도 되고, 얻어진 복호 신호는, 화면 내 프레임 예측부(150) 및 움직임 보상 예측부(160)에 적용되기 위해 메모리(140)에 저장된다.
엔트로피 복호부(191)는, 부호화기에 의해 특정된 포스트 필터의 검색도 행한다. 포스트 필터(139)는, 화질을 더욱 개선하는 목적으로, 복호 신호에 적용되는 포스트 필터를 설정하기 위해 이 정보를 채용한다.
상기 종래의 포스트 필터는, 적응적 필터, 즉, 부호화 대상 동화상 신호의 특성에 적응하는 필터의 일례이다. 그러한 적응적 필터의 실장 형태의 대부분이, 위너 필터, 요컨대 선형 최적 시간 이산 필터에 의거한 것이다. 위너 필터는, 일반적으로, 부가 노이즈를 제거하기 위해 적용된다. 동화상 부호화에 있어서는, 양자화 에러를, 원(原)동화상 입력 신호에 중첩된 노이즈라고 간주할 수 있다.
위너 필터 수법의 메리트의 하나는, 파손된 신호(복호 동화상 신호)의 자기 상관과, 파손된 신호와 원하는 신호(원동화상 입력 신호)의 상호 상관에 의거하여 필터 계수를 구할 수 있다는 것이다. 더욱 상세하게는, R이 파손 신호의 M×M의 자기 상관 매트릭스를 나타내고, p가 파손 신호와 원하는 신호간의 M×1의 상호 상관 벡터를 나타낼 때, 위너 필터의 필터 길이는 M이며, 최적인 위너 필터 계수 w의 M×1 벡터는, 이하의 식 1을 이용하여 나타내어진다.
[수식 1]
Figure pct00001
여기에서, R-1은, 자기 상관 매트릭스 R의 역수이다.
예를 들면, 인례 유럽 특허 출원 공개 제1841230호 공보(특허문헌 1)로부터, 적응적 필터를 예측 루프 내에서 적용하는 것이 알려져 있다. 예를 들면, 디블로킹 필터(137)를 적용하기 전이나 적용하는 대신에 재구축 신호에 대해 직접 적응적 필터를 적용하거나, 디블로킹 필터의 출력에 대해 적응적 필터를 적용하거나, 예측 신호에 대해 적응적 필터를 적용하거나 한다. 종래의 동화상 필터의 목적은, 평균 2승 예측 오차 및/또는 평균 2승 재구축 오차를 최소로 하거나, 화상을 디블로킹하거나, 그 양쪽에 의해, 주관적인 화질을 높이는 것이다.
특허문헌1:유럽특허출원공개제1841230호공보
그러나, 이 필터링 형식은, 예측 신호와 양자화 예측 오차 신호가 동일한 통계적 특성을 갖는 경우에만 유효하다. 예측 신호와 양자화 예측 오차 신호가, 예를 들면 상이한 중첩 노이즈와 같은 상이한 통계적 특성을 갖는 경우는, 그러한 상이한 통계적 특성에는 대응할 수 없으므로 당해 필터 설계는 불리하다.
예측 신호와 양자화 예측 오차 신호의 통계적 특성이 상이한 이유는 몇 가지를 생각할 수 있다. 첫 번째로, 양자화 노이즈는 양자화 단계 중에 예측 오차에 대해서만 중첩되지만, 어느 시점에 있어서의 예측 신호 그 자체에 대해서는 중첩되지 않는다. 예측 신호는, 상이한 시점의 양자화 노이즈를 포함하는 경우가 있고, 그러므로 상이한 통계적 특성을 갖는 경우가 있다. 두 번째로, 움직임 보상 예측에 있어서의 블록의 에지는, 예측 오차 부호화에 있어서의 블록의 에지와는 상이한 경우가 있고, 양자화 예측 오차 신호와 비교하여 예측 신호에 있어서는 블로킹 특성이 상이하다.
본 발명의 목적은, 부호화 효율을 개선하는 동화상 부호화 방법 및 대응하는 장치를 제공하는 것이다.
본 발명의 한 형태에 따른 동화상 부호화 방법은, 동화상을 구성하는 부호화 대상 신호를 부호화한다. 구체적으로는, 상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와, 상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화 단계와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와, 상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성 단계와, 상기 양자화 단계에 있어서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성 단계에 있어서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함한다.
상기 구성에 의하면, 예측 신호 및 양자화 예측 오차 신호 각각에 중첩되는 노이즈를 개별적으로 제거할 수 있다. 그 결과, 부호화 효율을 개선할 수 있다.
또, 상기 필터 정보 생성 단계에서는, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 얻어지는 필터링이 끝난 예측 신호, 및 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 얻어지는 필터링이 끝난 양자화 예측 오차 신호를 가산하여 얻어지는 재구축 신호와, 상기 부호화 대상 신호의 차분이 최소화되도록, 상기 제1 및 제2 필터 정보를 생성해도 된다. 이에 의해, 복호 화상의 주관적인 화질을 향상시킬 수 있다.
또, 상기 예측 신호 생성 단계는, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 재구축 신호를 생성하는 필터링 단계와, 상기 재구축 신호에 의거하여, 상기 부호화 대상 신호보다 뒤에 부호화되는 다른 부호화 대상 신호를 예측한 제2 예측 신호를 생성하는 예측 신호 생성 단계를 포함해도 된다. 상기 구성과 같이, 제1 및 제2 필터 정보를 루프 필터에 적용해도 된다.
한 실시 형태로서, 상기 필터링 단계에서는, 상기 재구축 신호의 블록 왜곡을 감소시키는 디블록 처리를 한다. 다른 실시 형태로서, 상기 필터링 단계에서는, 움직임 보상 예측에 앞서 행해지는 보간 필터링 처리를 한다.
또, 상기 필터 정보 생성 단계에서는, 상기 예측 신호와 상기 양자화 예측 오차 신호를 가산하여 얻어지는 재구축 신호의 통계적 특성에 의거하여 제3 필터 정보를 생성한다. 그리고, 상기 엔트로피 부호화 단계에서는, 상기 양자화 예측 오차 신호와, 상기 제1, 제2, 및 제3 필터 정보를 엔트로피 부호화하여 상기 부호화 신호를 생성해도 된다. 상기 구성과 같이, 제1 및 제2 필터 정보에 더하여, 종래의 포스트 필터에 이용되는 제3 필터 정보도 생성해도 된다.
본 발명의 한 형태에 따른 동화상 복호 방법은, 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성한다. 구체적으로는, 상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호 단계와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와, 상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링 단계를 포함한다.
상기 구성에 의하면, 예측 신호 및 양자화 예측 오차 신호 각각에 중첩되는 노이즈를 개별적으로 제거할 수 있으므로, 주관적인 화질을 향상시킬 수 있다.
또, 상기 예측 신호 생성 단계는, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 재구축 신호를 생성하는 필터링 단계와, 상기 재구축 신호에 의거하여, 상기 부호화 신호보다 뒤에 복호되는 다른 복호 신호를 예측한 제2 예측 신호를 생성하는 예측 신호 생성 단계를 포함해도 된다. 상기 구성과 같이, 제1 및 제2 필터 정보는, 포스트 필터에 한정되지 않고, 루프 필터에 적용할 수도 있다.
본 발명의 한 형태에 따른 동화상 부호화 장치는, 동화상을 구성하는 부호화 대상 신호를 부호화한다. 구체적으로는, 상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와, 상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화부와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와, 상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성부와, 상기 양자화부에서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성부에서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화부를 구비한다.
본 발명의 한 형태에 따른 동화상 복호 장치는, 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성한다. 구체적으로는, 상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호부와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와, 상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링부를 구비한다.
본 발명의 한 형태에 따른 프로그램은, 컴퓨터에, 동화상을 구성하는 부호화 대상 신호를 부호화시킨다. 구체적으로는, 상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와, 상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화 단계와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와, 상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성 단계와, 상기 양자화 단계에 있어서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성 단계에 있어서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함한다.
본 발명의 한 형태에 따른 프로그램은, 컴퓨터에, 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성시킨다. 구체적으로는, 상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호 단계와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와, 상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링 단계를 포함한다.
본 발명의 한 형태에 따른 집적 회로는, 동화상을 구성하는 부호화 대상 신호를 부호화한다. 구체적으로는, 상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와, 상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화부와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와, 상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성부와, 상기 양자화부에서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성부에서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화부를 구비한다.
본 발명의 한 형태에 따른 집적 회로는, 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성한다. 구체적으로는, 상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호부와, 상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와, 상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링부를 구비한다.
또한, 본 발명은, 동화상 부호화 방법(장치) 및 동화상 복호 방법(장치)으로서 실현할 수 있을 뿐만 아니라, 이들의 기능을 실현하는 집적 회로로서 실현하거나, 그러한 기능을 컴퓨터에 실행시키는 프로그램으로서 실현하거나 할 수도 있다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체 및 인터넷 등의 전송 매체를 통해 유통시킬 수 있는 것은 말할 필요도 없다.
이들은, 독립 청구항에 기재한 특징에 의해 달성된다.
바람직한 실시 형태는, 종속 청구항의 주제이다.
본 발명 특유의 수법은, 재구축 신호에 대해 동작하는 종래의 적응적 필터 대신에, 예측 신호와 양자화 예측 오차 신호에 대해 동작하고, 입력 신호 각각의 통계적 특성에 대해 개별적으로 적응시킨 2개의 필터를 이용하는 것이다.
본 발명의 한 양태로서, 동화상 신호의 부호화 방법을 제공한다. 당해 방법은, 차분 펄스 부호 변조에 의거한 것이고, 이하의 단계로 이루어진다. 즉, 부호화 대상 동화상 신호로부터 예측 신호와 오차 신호를 구하는 단계와, 예측 신호의 통계적 특성에 적응시킨 제1 필터를 나타내는 제1 필터 정보를 취득하는 단계와, 오차 신호의 통계적 특성에 적응시킨 제2 필터를 나타내는 제2 필터 정보를 취득하는 단계와, 제1 필터 정보와 제2 필터 정보를 부호화하는 단계이다.
본 발명의 다른 양태로서, 동화상 신호의 복호 방법을 제공한다. 당해 방법은, 차분 펄스 부호 변조에 의거한 것이고, 이하의 단계로 이루어진다. 즉, 예측 신호와 오차 신호를 취득하는 단계와, 예측 신호와 오차 신호로부터 재구축 신호를 구하는 단계와, 제1 필터 정보와 제2 필터 정보를 복호하는 단계와, 제1 필터 정보와 제2 필터 정보에 따라, 제1 필터와 제2 필터를 각각 설정하는 단계와, 제1 필터와 제2 필터를 이용하여, 예측 신호와 오차 신호를 각각 필터링하는 단계이다. 여기에서, 재구축 신호는, 필터링이 끝난 예측 신호와 필터링이 끝난 오차 신호를 가산함으로써 구해진다.
본 발명의 다른 양태로서, 동화상 신호의 부호화 장치를 제공한다. 당해 장치는, 부호화 대상 동화상 신호로부터 예측 신호와 오차 신호를 구하는 차분 펄스 부호 변조부와, 예측 신호의 통계적 특성에 적응시킨 제1 필터를 나타내는 제1 필터 정보를 취득하고, 오차 신호의 통계적 특성에 적응시킨 제2 필터를 나타내는 제2 필터 정보를 취득하는 필터 설계부와, 제1 필터 정보와 제2 필터 정보를 부호화하는 부호화기로 이루어진다.
본 발명의 다른 양태로서, 동화상 신호의 복호 장치를 제공한다. 당해 장치는, 차분 펄스 부호 변조에 의거한 것이고, 이하의 구성 요소로 이루어진다. 즉, 예측 신호와 오차 신호를 취득하고, 취득한 예측 신호와 오차 신호로부터 재구축 신호를 구하는 재구축부와, 제1 필터 정보와 제2 필터 정보를 복호하는 복호기와, 예측 신호를 필터링하기 위한 제1 필터 정보에 따라 설정된 제1 필터와, 오차 신호를 필터링하기 위한 제2 필터 정보에 따라 설정된 제2 필터이다. 여기에서, 재구축부는, 필터링이 끝난 예측 신호와 필터링이 끝난 오차 신호를 가산함으로써 재구축 신호를 구한다.
부호화 방법 및 장치의 바람직한 실시 형태에 있어서, 제1 필터 정보와 제2 필터 정보는, (a) 부호화 대상 동화상 신호, 및 (b) 제1 필터에 의해 필터링된 예측 신호와, 제2 필터에 의해 필터링된 오차 신호가 가산된 것인 재구축 신호의 차분을 나타내는 측정치를 최소로 함으로써 취득된다.
부호화 방법 및 장치의 다른 바람직한 실시 형태에 있어서, 제1 필터 정보는, 예측 신호와 부호화 대상 동화상 신호 각각의 통계적 특성을 분석함으로써 취득되고, 제2 필터 정보는, 오차 신호와 부호화 대상 동화상 신호 각각의 통계적 특성을 분석함으로써 취득된다. 부호화 방법 또는 부호화 장치의 다른 바람직한 실시 형태에 있어서, 예측 신호와, 오차 신호와, 복호 신호에 대해 동작하는 본 발명의 포스트 필터를 이용하는 포스트 필터링에 본 발명을 적용한다. 이 목적으로, 예측 신호와 오차 신호가 가산되고, 소정의 필터가 가산 결과에 적용되며, 소정의 필터를 적용하는 단계에서 얻어진 신호의 통계적 특성에 적응시킨 제3 필터를 나타내는 제3 필터 정보를 취득하여, 이 제3 필터 정보도 부호화한다. 소정의 필터는 디블로킹 필터인 것이 바람직하다.
복호 방법 또는 복호 장치의 대응하는 바람직한 실시 형태에 있어서, 예측 신호와 오차 신호가 가산되고, 이 가산 결과에 대해 소정의 필터가 적용되며, 제3 필터 정보가 복호되고, 이 제3 필터 정보에 따라 제3 필터가 설정되며, 그 제3 필터가 소정의 필터의 출력 신호에 적용된다. 여기에서, 재구축 신호는, 필터링이 끝난 예측 신호와, 필터링이 끝난 오차 신호와, 제3 필터의 출력 신호를 가산함으로써 구해진다.
부호화 방법 또는 부호화 장치의 다른 바람직한 실시 형태에 있어서, 예측 신호와, 오차 신호와, 종래의 포스트 필터의 출력 신호에 대해 동작하는 본 발명의 포스트 필터를 이용하는 포스트 필터링에 본 발명을 적용한다. 이 목적으로, 예측 신호와 오차 신호가 가산되고, 이 가산 단계의 결과에 대해 소정의 필터가 적용되며, 소정의 필터를 적용하는 단계에서 얻어진 신호의 통계적 특성에 의거한 포스트 필터 정보를 취득하여, 이 포스트 필터 정보에 따라 포스트 필터를 설정하고, 이 포스트 필터를 소정의 필터를 적용하는 단계에서 얻어진 신호에 적용하며, 포스트 필터를 적용하는 단계에서 얻어진 신호의 통계적 특성에 적응시킨 제3 필터를 나타내는 제3 필터 정보를 취득하여, 이 제3 필터 정보와 포스트 필터 정보를 부호화한다.
복호 방법 또는 복호 장치의 대응하는 바람직한 실시 형태에 있어서, 예측 신호와 오차 신호가 가산되고, 이 가산 결과에 대해 소정의 필터가 적용되며, 포스트 필터 정보와 제3 필터 정보가 복호되고, 이 포스트 필터 정보와 제3 필터 정보에 따라 포스트 필터와 제3 필터가 각각 설정되며, 포스트 필터가 소정의 필터의 출력 신호에 적용되고, 제3 필터가 포스트 필터의 출력 신호에 적용된다. 여기에서, 재구축 신호는, 필터링이 끝난 예측 신호와, 필터링이 끝난 오차 신호와, 제3 필터의 출력 신호를 가산함으로써 구해진다.
부호화 및 복호 방법 또는 부호화 및 복호 장치의 바람직한 실시 형태에 있어서, 본 발명은 루프 필터로서 적용된다. 이 목적으로, 필터링이 끝난 예측 신호와 필터링이 끝난 오차 신호를 가산하고, 이 가산 결과를 지연시킨다. 여기에서, 예측 신호는, 지연 결과로부터 취득된다.
부호화 및 복호 방법 또는 부호화 및 복호 장치의 다른 바람직한 실시 형태에 있어서, 본 발명은, 소수 정밀도의 움직임 보상 예측을 위한 적응적 보간 필터링에 적용된다. 이 목적으로, 예측 신호를 지연시켜, 지연 예측 신호에 제1 필터를 적용하고, 오차 신호를 지연시켜, 지연 오차 신호에 제2 필터를 적용하며, 필터링이 끝난 지연 예측 신호와 필터링이 끝난 지연 오차 신호를 가산하여 이 가산 결과로부터 예측 신호를 취득한다.
제1 필터 정보는 제1 필터의 필터 계수로 이루어지고, 제2 필터 정보는 제2 필터의 필터 계수로 이루어지며, 제3 필터 정보는 제3 필터의 필터 계수로 이루어지는 것이 바람직하다. 이에 의해, 복호기의 연산 부하를 삭감할 수 있다. 왜냐하면, 복호기는 연산을 더 행하지 않고도 이들 필터를 용이하게 설정할 수 있기 때문이다.
제1 필터 정보는 예측 신호의 통계적 특성을 지정하고, 제2 필터 정보는 오차 신호의 통계적 특성을 지정하는 것이 바람직하다. 이에 의해, 부호화기의 연산 부하를 삭감할 수 있다. 왜냐하면, 복호기가, 부호화기에 의해 결정된 통계적 특성에 따라, 이들 필터를 설정하기 때문이다. 또한, 복호기는, 필요에 따라 필터를 적응시키는 유연성이 풍부하다.
이 제1 필터와 제2 필터는, 위너 필터인 것이 바람직하다. 위너 필터는, 입력 신호의 통계적 특성과 원하는 출력 신호의 통계적 특성에 의거하여 용이하게 구해지는 최적인 선형 필터의 예로서 자주 연구되고 있다.
본 발명에 의하면, 예측 신호와 양자화 예측 오차 신호는, 필터 프로세스에 있어서 개별적으로 검토된다. 그 결과, 예측 오차 및/또는 재구축 오차를 삭감할 수 있어, 결과적으로, 부호화 효율을 개선할 수 있다.
도 1은, 종래의 동화상 부호화 장치를 도시한 블록도이다.
도 2는, 종래의 동화상 복호 장치를 도시한 블록도이다.
도 3a는, 본 발명의 제1 실시 형태에 따른 동화상 부호화 장치를 도시한 블록도이다.
도 3b는, 도 3a에 나타내어진 동화상 부호화 장치의 동작을 도시한 흐름도이다.
도 4a는, 본 발명의 제1 실시 형태에 따른 동화상 복호 장치를 도시한 블록도이다.
도 4b는, 도 4a에 나타내어진 동화상 복호 장치의 동작을 도시한 흐름도이다.
도 5는, 본 발명의 제2 실시 형태에 따른 동화상 부호화 장치를 도시한 블록도이다.
도 6은, 본 발명의 제2 실시 형태에 따른 동화상 복호 장치를 도시한 블록도이다.
도 7은, 본 발명의 제3 실시 형태에 따른 동화상 부호화 장치를 도시한 블록도이다.
도 8은, 본 발명의 제3 실시 형태에 따른 동화상 복호 장치를 도시한 블록도이다.
도 9는, 본 발명의 제4 실시 형태에 따른 동화상 부호화 장치를 도시한 블록도이다.
도 10은, 본 발명의 제4 실시 형태에 따른 동화상 복호 장치를 도시한 블록도이다.
도 11a는, MPEG 테스트 시퀀스의 레이트 왜곡 곡선의 일례를 도시한 도면이다.
도 11b는, MPEG 테스트 시퀀스의 레이트 왜곡 곡선의 다른 예를 도시한 도면이다.
H.264/AVC 규격은, 특정한 포스트 필터 방법(포스트 필터를 위한 힌트로서의 SEI 메시지)에 따른 동화상 복호 장치로 포스트 필터를 위한 힌트를 송신할 가능성과 함께, 2종류의 필터 방법(보간 필터 및 디블로킹 필터)을 지정한다. 이하에 서술하는 본 발명의 실시 형태는, 본 발명을 적용함으로써 상기 3개의 방법의 각각을 개선하는 방법을 나타낸다.
(제1 실시 형태)
도 3a는, 본 발명의 제1 실시 형태에 따른 동화상 부호화 장치(100)를 도시한 블록도이다. 도 3b는, 도 3a의 동화상 부호화 장치(100)의 동작을 도시한 흐름도이다. 도 3a의 블록도는, 도 1에 나타내어진 종래의 동화상 부호화 장치와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
도 3a에 나타내어진 동화상 부호화 장치(100)는, 감산기(110)와, 변환·양자화부(120)와, 역양자화·역변환부(130)와, 포스트 필터 설계부(필터 정보 생성부)(138')와, 엔트로피 부호화부(190)와, 예측 신호 생성부(200)를 구비한다. 이 동화상 부호화 장치(100)는, 동화상을 구성하는 부호화 대상 신호를 부호화하여 부호화 신호를 출력한다.
감산기(110)는, 부호화 대상 신호로부터 예측 신호를 감산하여 예측 오차 신호를 생성한다(S11). 변환·양자화부(120)는, 예측 오차를 양자화하여 양자화 계수를 생성한다(S12). 역양자화·역변환부(130)는, 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성한다(S13). 포스트 필터 설계부(138')는, 부호화 대상 신호 및 예측 신호에 의거하여 제1 필터 정보를, 부호화 대상 신호 및 양자화 예측 오차 신호에 의거하여 제2 필터 정보를 생성한다(S14). 그리고, 제1 및 제2 필터 정보를 포함하는 포스트 필터 정보를 출력한다. 엔트로피 부호화부(190)는, 양자화 계수, 포스트 필터 정보, 및 후술하는 움직임 데이터를 엔트로피 부호화하여 부호화 신호를 생성한다(S15). 예측 신호 생성부(200)는, 부호화 대상 신호(입력 신호)보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 당해 부호화 대상 신호를 예측한 예측 신호를 생성한다(S16).
또한, 예측 신호 생성부(200)는, 가산기(135), 디블로킹 필터(137), 메모리(140), 화면 내 프레임 예측부(150), 움직임 보상 예측부(160), 보간 필터(162), 움직임 예측부(170), 및 화면 내/화면간 스위치(180)로 구성된다. 이 예측 신호 생성부(200)는, 감산기(110)를 출발점으로 하는 루프를 형성한다. 그래서, 예측 신호 생성부(200)에 포함되는 필터(디블로킹 필터(137), 보간 필터(162) 등)는, 루프 필터라고도 불린다.
도 3b의 예측 신호 생성 처리(S16)의 상세를 설명한다. 가산기(135)는, 양자화 예측 오차 신호와 예측 신호를 가산하여 재구축 신호를 생성한다. 디블로킹 필터(137)는, 재구축 신호로부터 블록 왜곡을 제거하여 복호 신호를 생성한다. 메모리(140)는, 복호 신호를 일시 기억하는 지연기로서 기능한다. 화면 내 프레임 예측부(150)는, 복호 신호를 화면 내 예측하여 예측 신호를 생성한다. 보간 필터(162)는, 움직임 보상 예측에 앞서 복호 신호의 화소치를 공간적으로 보간한다. 움직임 예측부(170)는, 복호 신호와 다음의 부호화 대상 신호에 의거하여 움직임 예측을 행하여, 움직임 데이터를 생성한다. 움직임 보상 예측부(160)는, 복호 신호와 움직임 데이터에 의거하여 움직임 보상 예측을 행하여, 예측 신호를 생성한다. 화면 내/화면간 스위치(180)는, 예측 모드로서 「화면 내」 모드 및 「화면간」 모드 중 어느 하나를 선택한다. 그리고, 화면 내/화면간 스위치(180)로부터 출력되는 예측 신호는, 다음의 부호화 대상 신호를 예측한 신호가 된다.
본 발명의 제1 실시 형태에 따른 동화상 부호화 장치(100)는, 포스트 필터 설계부(138')의 구성에 있어서, 종래의 동화상 부호화 장치와 상이하다. 종래의 포스트 필터 설계부(138)와는 대조적으로, 이 신규인 포스트 필터 설계부(138')는, 부호화 대상 신호에 더하여, 예측 신호와 양자화 예측 오차 신호를 수신한다. 이와 같이 하여, 이 신규인 포스트 필터 설계부(138')는, 예측 신호와 양자화 예측 오차 신호를 필터링하기 위해 최적인 필터 정보를 구할 때에, 예측 신호 및 양자화 예측 오차 신호의 각각 상이한 통계적 특성을 고려해도 된다.
상세하게는, 신규인 포스트 필터 설계부(138')는, 예측 신호와 양자화 예측 오차 신호의 각각에 대해 최적인 필터 정보를 결정하기 위해, 양자화 예측 오차 신호와 입력 신호의 상호 상관 함수와 동일하게, 예측 신호 및 양자화 예측 오차 신호 각각의 자기 상관 함수와, 예측 신호 및 양자화 예측 오차 신호의 상호 상관 함수를 연산해도 된다. 요컨대, 신규인 포스트 필터 설계부(138')는, 부호화 대상 신호 및 신규인 포스트 필터(139')의 출력간의 차분, 요컨대 평균 2승 오차를 최소로 하는 필터 정보를 결정하기 위해, 위너 수법을 적용해도 된다. 결정 결과는, 포스트 필터 정보로서 엔트로피 부호화부(190)에 공급되어, 부호화 신호에 삽입된다. 포스트 필터 정보는, 이들 2개의 필터 각각에 대한 필터 계수 집합과, 자기 상관 매트릭스 계수 및 상호 상관 벡터와, 동화상 복호 장치(101)가 적절한 필터를 설정할 수 있도록 하기 위한 그 밖의 정보로 이루어진다. 또한, 여기에서, 이들 신호와 입력 신호의 상호 상관 함수가 송신되기만 하면 되도록, 예측 신호 및 양자화 예측 오차 신호의 자기 상관 함수는, 동화상 복호 장치(101)측에서 연산되어도 된다.
구체예로서, 신규인 포스트 필터(139')의 필터 계수의 연산 방법을 이하에 상세하게 나타낸다.
신규인 포스트 필터(139')의 출력을, 이하의 식 2로 나타내어도 된다.
[수식 2]
Figure pct00002
여기에서, w1, ‥‥, wM은, M 예측 샘플 p1, ‥‥, pM에 적용한 제1 필터(139-1)의 M 필터 계수이며, wM+1, ‥‥, wM+N은, 양자화 예측 신호의 N 예측 샘플 e1, ‥‥, eM에 적용한 제2 필터(139-2)의 N 필터 계수이다.
원하는 신호 s와 포스트 필터 신호 s' 사이의 평균 2승 오차를 최소로 하는 필터 계수를, 위너 Hopf 방정식을 응용하여, 이하의 식 3에 의해 구할 수 있다.
[수식 3]
Figure pct00003
여기에서, E [·]는 추정치를 나타낸다. 따라서, 필터 계수 w1, ‥‥ wM+N은, 예측 신호의 자기 상관과, 양자화 예측 오차 신호의 자기 상관과, 예측 신호와 양자화 예측 오차 신호의 상호 상관과, 예측 신호와 원하는 신호의 상호 상관과, 양자화 예측 오차 신호와 원하는 신호의 상호 상관에 의해 구해진다. 예측 신호의 통계적 특성과 양자화 예측 오차 신호의 통계적 특성이 관련되어 있지 않은 경우, 상술한 식 3은 블록 대각 행렬식이며, 후술하는 제1 및 제2 필터(139-1, 139-2)의 필터 정보수는, 예측 신호(양자화 예측 오차 신호)의 자기 상관과, 예측 신호(양자화 예측 오차 신호)와 원하는 신호의 상호 상관만에 의해 구해진다.
상기의 식 3에 따르면, p 및 e라는 2개의 통계적인 성질이 상이한 신호에 따라 노이즈를 최소로 하는 필터 계수를 도출할 수 있다. 특히, 상관이 없다고 가정하고 필터 도출의 연산량을 삭감하는 것도 가능하다(p와 e를 분리하지 않는 종래의 필터보다 고성능인 것에 유의). 또는, 상관을 반영시켜, 식 3인 상태로 필터 계수를 도출함으로써, 최대의 노이즈 경감 성능을 얻을 수도 있다.
본 발명은, 상술의 필터 계수 연산 방법에 한정되는 것은 아니다. 필터링이 끝난 신호 및 원하는 신호간의 차분을 나타내는 소정의 측정치를 최소로 하는 필터 계수를 구하기 위해, 수치적 최적화를 대신에 행해도 된다. 소정의 측정치란, 예를 들면, 가중 화소의 차분 절대치합으로 이루어지는 것이어도 된다. 여기에서는, 출력에 있어서의 블로킹 아티팩트를 삭감하기 위해, 블록 경계에 가까운 위치에 있는 화소의 가중치를, 블록의 중앙에 위치하는 화소보다 무겁게 한다.
바람직한 실시 형태에 있어서, 신규인 포스트 필터 설계부(138')는, 복호 신호, 요컨대 디블로킹 필터(137)의 출력을, 입력(도 3a의 점선을 참조)으로서 수신해도 된다. 이와 같이 하여, 신규인 포스트 필터 설계부(138')는, 복호 신호 및 입력 신호 각각의 통계적 특성에 따라, 후술하는 제3 필터(139-3)용의 필터 정보를 구해도 된다. 이 필터 정보는, 복호 신호 및 양자화 예측 오차 신호용의 필터 정보와 함께 동화상 복호 장치(101)로도 전달된다. 따라서, 동화상 복호 장치(101)는, 뒤에 도 4a에 관해 상세하게 설명되는 바와 같이, 복호 신호에 대해 직접적으로 동작하는 제3 필터(139-3)를 설정해도 된다.
바람직한 실시 형태에 있어서, 신규인 포스트 필터(139')의 출력을, 식 2와 유사한 이하의 식 4로서 나타내어도 된다.
[수식 4]
Figure pct00004
여기에서, wM+N+1, ‥‥, wM+N+L은, 복호 신호의 L 샘플 d1, …, dL에 적용된 제3 필터(139-3)의 L 필터 계수이다.
상기와 동일하게, 원하는 신호 s와 필터링이 끝난 신호 s'간의 평균 2승 오차를 최소로 하는 필터 계수를, 이하의 식 5에 의해 구할 수 있다.
[수식 5]
Figure pct00005
여기에서, E[xiyi]는 x와 y의 상호 상관항으로 이루어지는 서브 매트릭스를 나타낸다.
도 4a는, 본 발명의 제1 실시 형태에 따른 동화상 복호 장치(101)를 도시한 블록도이다. 도 4b는, 도 4a의 동화상 복호 장치(101)의 동작을 도시한 흐름도이다. 도 4a의 블록도는, 도 2에 나타내어진 종래의 동화상 복호 장치와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
도 4a에 나타내어진 동화상 복호 장치(101)는, 엔트로피 복호부(191)와, 역양자화·역변환부(121)와, 가산기(135)와, 디블로킹 필터(137)와, 메모리(140)와, 화면 내 프레임 예측부(150)와, 움직임 보상 예측부(160)와, 보간 필터(162)와, 화면 내/화면간 스위치(180)와, 포스트 필터(139')를 구비한다. 이 동화상 복호 장치(101)는, 도 3a에 나타내어진 동화상 부호화 장치(100)로 부호화된 부호화 신호를 복호하여 복호 신호를 생성한다. 또한, 도 3a에 나타내어진 동화상 부호화 장치(100)와 공통의 기능 블록에는, 동일한 참조 번호를 붙여, 상세한 설명을 생략한다.
엔트로피 복호부(191)는, 동화상 부호화 장치(100)로부터 출력된 부호화 신호(입력 신호)를 엔트로피 복호하여, 양자화 계수, 포스트 필터 정보, 및 움직임 데이터를 취득한다(S21). 역양자화·역변환부(121)는, 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성한다(S22). 포스트 필터(139')는, 포스트 필터 정보에 의거하여, 예측 신호 및 양자화 예측 오차 신호 각각에 필터 처리를 적용한다(S23). 구체적으로는, 제1 필터 정보에 의거하여 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하는 제1 필터(139-1)와, 제2 필터 정보에 의거하여 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하는 제2 필터(139-2)와, 필터링이 끝난 예측 신호와 필터링이 끝난 양자화 예측 오차 신호를 가산하여 복호 신호를 생성하는 가산기(139-0)를 구비한다. 한편, 예측 신호 생성부(200')는, 복호 신호에 의거하여, 다음에 복호되는 복호 신호를 예측한 예측 신호를 생성한다(S24).
예측 신호 생성부(200')는, 가산기(135), 디블로킹 필터(137), 메모리(140), 화면 내 프레임 예측부(150), 움직임 보상 예측부(160), 보간 필터(162), 및 화면 내/화면간 스위치(180)를 구비한다. 도 3a에 나타내어진 예측 신호 생성부(200)와의 상이점은, 움직임 예측부(170)를 생략하고, 움직임 데이터를 엔트로피 복호부(191)로부터 취득하는 점이다.
본 발명의 제1 실시 형태에 따른 동화상 복호 장치(101)는, 포스트 필터(139)의 구성에 있어서, 종래의 동화상 복호 장치와 상이하다. 신규인 처리 필터(139')는, 이하에 나타내는 적어도 2개의 독립한 필터로 이루어진다. 첫 번째는, 화면 내 프레임 예측부(150) 또는 움직임 보상 예측부(160)로부터의 출력인 예측 신호를 필터링하는 제1 필터(139-1)이며, 두 번째는, 역양자화·역변환부(121)로부터의 출력인 양자화 예측 오차 신호를 필터링하는 제2 필터(139-2)이다. 이들 필터의 출력은, 가산기(139-0)에 의해 결합되고, 동화상 복호 장치(101)의 최종 출력 신호로서 제공된다.
종래의 포스트 필터(139)와 동일하게, 신규인 포스트 필터(139')는, 엔트로피 복호부(191)에 의한 입력 신호로부터 인도된 포스트 필터 정보를 수신한다. 종래의 동화상 복호 장치와 대조적으로, 포스트 필터 정보는, 적어도 2개의 필터, 요컨대, 예측 신호용의 제1 필터(139-1)와, 양자화 예측 오차 신호용의 제2 필터(139-2)를 설정하기 위해 채용된다.
도 4a의 점선으로 나타내어진 바와 같이, 신규인 포스트 필터(139')는, 디블로킹 필터(137)에 의해 출력된 복호 신호에 대해 동작하는 제3 필터(139-3)를 구비해도 된다. 제1 및 제2 필터(139-1, 139-2)의 경우와 동일하게, 엔트로피 복호부(191)에 의해 부여된 필터 정보, 요컨대, 복호 신호와 동화상 부호화 장치(100)측에서 특정된 입력 신호의 통계적 특성에 따라, 제3 필터(139-3)를 설정해도 된다.
도 3a의 동화상 부호화 장치(100)에 관해 설명된 바와 같이, 포스트 필터 정보는, 각 필터의 필터 계수 집합과, 관련되는 자기 상관 매트릭스 계수와, 상호 상관 벡터와, 동화상 복호 장치(101)가 적절한 필터를 설정할 수 있도록 하기 위한 그 밖의 정보로 구성되어도 된다.
본 발명의 제1 실시 형태에 따라, 복호 동화상 정보의 포스트 필터링은, 예측 신호와, 양자화 예측 오차 신호와, 임의이지만 디블로킹 필터의 출력에 대해 동작하는, 적어도 2개의 독립한 최적화 필터를 이용하여 행해진다. 동화상 복호 장치(101)의 최종적인 출력 신호를 생성하기 위해, 제1 및 제2 필터(193-1, 193-2)의 출력은 가산된다. 또, 제3 필터(193-3)를 더 설치하는 경우에는, 제1 및 제2 필터(193-1, 193-2)의 출력의 가산 결과와, 제3 필터(193-3)의 출력을 평균화하도록 해도 된다. 이와 같이 하여, 각 필터를, 동작하는 신호의 통계적 특성에 적응시켜도 된다. 이에 의해, 재구축 신호만에 대해 동작하는 단일한 필터를 이용하는 경우보다 효율적으로, 재구축 오차를 삭감할 수 있다.
(제2 실시 형태)
도 5는, 본 발명의 제2 실시 형태에 따른 동화상 부호화 장치(100)를 도시한 블록도이다. 도 5의 블록도는, 도 3a에 나타내어진 동화상 부호화 장치와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
본 발명의 제2 실시 형태에 따른 동화상 부호화 장치(100)는, 포스트 필터(139)와 추가적인 제2 포스트 필터 설계부(138')를 구비하는 점에서, 종래의 동화상 부호와 장치와 상이하다. 또, 제1 포스트 필터 설계부(138) 및 포스트 필터(139)를 구비하는 점에서, 도 3a에 나타내어진 동화상 부호화 장치(100)와 상이하다. 또한, 제2 포스트 필터 설계부(138')는, 도 3a에 나타내어진 포스트 필터 설계부(138')의 기능에 더하여, 포스트 필터(139)의 출력 신호의 통계적 특성에 의거하여 제3 필터 정보를 생성한다.
종래의 동화상 부호화 장치와 동일하게, 도 5의 제1 포스트 필터 설계부(138)는, 동화상 복호 장치(101)의 디블로킹 필터(137)에 의해 출력된 복호 신호에 적용되는 제1 포스트 필터(139)에 최적인 필터 정보를 결정한다. 포스트 필터(139)는, 본 실시 형태 2에 따른 동화상 부호화 장치(100)의 일부이기도 하다. 이 포스트 필터(139)의 출력은, 예측 신호와, 양자화 예측 오차 신호와, 입력 신호를 입력으로서 수신하는 추가적인 제2 포스트 필터 설계부(138')로 공급된다. 입력 신호의 통계적 특성에 의거하여, 추가적인 제2 포스트 필터 설계부(138')는, 예측 신호와, 양자화 예측 오차 신호와, 포스트 필터(139)의 출력 신호에 대해 각각 동작하는 3개의 독립한 필터용의 필터 정보를 특정한다. 따라서, 특정된 필터 정보는, 엔트로피 부호화부(190)에 공급되어, 부호화 신호에 삽입된다.
보다 상세하게는, 추가적인 제2 포스트 필터 설계부(138')는, 예측 신호와, 양자화 예측 오차 신호와, 포스트 필터(139)로부터의 출력 신호의 각각에 대해 최적인 필터 정보를 결정하기 위해, 그들 신호와 입력 신호의 상호 상관 함수와 동일하게, 예측 신호와, 양자화 예측 오차 신호와, 포스트 필터(139)로부터의 출력 신호 각각의 자기 상관 함수를 연산해도 된다. 결정 결과는, 추가적인 포스트 필터 정보로서 엔트로피 부호화부(190)에 공급되어, 부호화 신호에 삽입된다. 포스트 필터 정보는, 이들 3개의 필터 각각에 대한 필터 계수 집합과, 자기 상관 매트릭스 계수와 상호 상관 벡터와, 동화상 복호 장치(101)가 적절한 필터를 설정할 수 있도록 하기 위한 그 밖의 정보로 구성되어도 된다. 또한, 여기에서, 이들 신호와 입력 신호의 상호 상관 함수가 송신되기만 하면 되도록, 예측 신호와, 양자화 예측 오차 신호와, 포스트 필터(139)로부터의 출력 신호 각각의 자기 상관 함수는, 동화상 복호 장치(101)측에서 연산되어도 된다.
도 6은, 본 발명의 제2 실시 형태에 따른 동화상 복호 장치(101)를 도시한 블록도이다. 도 6의 블록도는, 도 4a에 나타내어진 동화상 복호 장치(101)와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
본 발명의 제2 실시 형태에 따른 동화상 복호 장치(101)는, 예측 신호와, 양자화 예측 오차 신호와, 제1 포스트 필터(139)로부터의 출력 신호를 입력으로서 수신하는 추가적인 제2 포스트 필터(139')를 구비하는 점에서, 종래의 동화상 복호 장치와 상이하다. 또, 제1 포스트 필터(139)를 구비하는 점에서, 도 4a에 나타내어진 동화상 복호 장치(101)와 상이하다.
추가적인 제2 포스트 필터(139')는, 이하에 나타내는 3개의 독립한 필터로 이루어진다. 첫 번째는, 화면 내 프레임 예측부(150) 또는 움직임 보상 예측부(160)로부터의 출력인 예측 신호를 필터링하는 제1 필터(139-1)이며, 두 번째는, 역양자화·역변환부(121)로부터의 출력인 양자화 예측 오차 신호를 필터링하는 제2 필터(139-2)이고, 세 번째는, 제1 포스트 필터(139)로부터의 출력인 포스트 필터 신호를 필터링하는 제3 필터(139-3)이다. 그리고, 제1 및 제2 필터(139-1, 139-2)의 출력의 가산 결과와, 제3 필터(139-3)의 출력이 평균화되어, 복호 장치(101)의 최종 출력 신호로서 제공된다.
도 5의 동화상 부호화 장치(100)에 관해 설명된 바와 같이, 포스트 필터 정보는, 각 필터의 필터 계수 집합과, 관련되는 자기 상관 매트릭스 계수와, 상호 상관 벡터와, 복호 장치가 적절한 필터를 설정할 수 있도록 하기 위한 그 밖의 정보로 구성되어도 된다.
본 발명의 제2 실시 형태에 따라, 복호 동화상 정보의 포스트 필터링은, 예측 신호와, 양자화 예측 오차 신호와, (종래의) 포스트 필터의 출력에 대해 동작하는, 개별 또는 동시에 최적화된 필터를 이용하여 행해진다. 동화상 복호 장치(101)의 최종적인 출력 신호를 생성하기 위해, 이들 별개의 필터의 출력은 가산된다. 각 필터를, 동작하는 신호의 통계적 특성에 적응시켜도 된다. 이와 같이 하여, 재구축 신호만에 대해 동작하는 단일한 필터를 이용하는 경우보다 효율적으로, 재구축 오차를 삭감할 수 있다. 또한, 본 실시 형태의 동화상 부호화 장치(100)에 의해 생성되는 부호화 신호는, 추가적인 포스트 필터 정보를 단순히 무시할 가능성이 있는 종래의 동화상 복호 장치에 적합하다. 그러나, 추가적인 포스트 필터링을 인식한 동화상 복호 장치(101)는, 화질을 더욱 개선하기 위해, 추가적인 포스트 필터를 설정하기 위한 정보를 채용하는 경우도 있다.
(제3 실시 형태)
도 7은, 본 발명의 제3 실시 형태에 따른 동화상 부호화 장치(100)를 도시한 블록도이다. 도 7의 블록도는, 도 3a에 나타내어진 동화상 부호화 장치(100)와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
본 발명의 제3 실시 형태에 따른 동화상 부호화 장치(100)는, 가산기(135)와 디블로킹 필터(137)에 대신하여 신규인 루프 필터(137')와 대응하는 신규인 루프 필터 설계부(138'')를 구비하는 점에서, 종래의 동화상 부호화 장치 및 도 3a에 나타내어진 동화상 부호화 장치(100)와 상이하다. 단, 도 3a에 나타내어진 포스트 필터 설계부(138')와 도 7에 나타내어진 루프 필터 설계부(138'')는, 생성한 필터 정보가 포스트 필터(139')로 사용되는지 루프 필터(137')로 사용되는지가 상이하지만, 필터 정보의 생성 처리 자체는 공통된다.
신규인 루프 필터 설계부(138'')는, 입력 신호와, 예측 신호와, 양자화 예측 오차 신호를, 입력으로서 수신한다. 제1 실시 형태의 신규인 포스트 필터 설계부(138')와 동일하게, 신규인 루프 필터 설계부(138'')는, 입력 신호의 통계적 특성을 분석하여, 신규인 루프 필터 정보를, 신규인 루프 필터(137')와 엔트로피 부호화부(190)에 입력한다.
신규인 루프 필터(137')는, 예측 신호에 대해 동작하는 제1 필터(137-1)와, 양자화 예측 오차 신호에 대해 동작하는 제2 필터(137-2)와, 이들 필터 신호를 가산하기 위한 가산기(137-0)로 이루어진다. 제1 필터(137-1)와 제2 필터(137-2)는, 상기 실시 형태에 관해 설명된 바와 같이, 신규인 루프 필터 설계부(138'')로부터 수신한 신규인 루프 필터 정보에 따라 설정된다.
보다 상세하게는, 제1 필터(137-1)와 제2 필터(137-2)를, 부호화 대상 신호와 신규인 루프 필터(137')의 출력인 재구축 신호 사이의, 평균 2승 오차 등의 차분 측정치가 최소가 되도록 최적화해도 된다.
신규인 루프 필터(137')가, 적절한 루프 필터(어느 블록 내의 전체 화소에 대해 양쪽의 필터가 동작하는 것)로서 동작하는지, 디블로킹 필터(특히 블록 경계에 가까운 위치에 있는 화소에 대해 양쪽의 필터가 집중적으로 동작하는 것)로서 동작하는지는, 제1 및 제2 필터(137-1, 137-2)를 어떻게 설정하는지에 따라 정해진다. 특히 전자의 케이스에서는, 동화상 부호화 장치(100)는, 종래의 디블로킹 필터(도시 생략)를 추가적으로 구비해도 된다. 이 디블로킹 필터는, 신규인 루프 필터(137')로부터 입력을 수신하여, 그 출력을 기억부(140)와 포스트 필터 설계부(138)에 출력하는 것이다.
도 8은, 본 발명의 제3 실시 형태에 따른 동화상 복호 장치(101)를 도시한 블록도이다. 도 8의 블록도는, 도 4a에 나타내어진 동화상 복호 장치(101)와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
본 발명의 제3 실시 형태에 따른 동화상 복호 장치(101)는, 가산기(135) 및 종래의 디블로킹 필터(137)에 대신하는 신규인 루프 필터(137')를 구비하는 점에서, 종래의 동화상 복호 장치 및 도 4a에 나타내어진 동화상 복호 장치(101)와 상이하다.
신규인 루프 필터(137')의 구성은, 도 7에 나타내어진 대응하는 동화상 부호화 장치(100)의 구성과 동일하다. 보다 상세하게는, 신규인 루프 필터(137')는, 예측 신호에 대해 동작하는 제1 필터(137-1)와, 양자화 예측 오차 신호에 대해 동작하는 제2 필터(137-2)와, 그들 필터링이 끝난 신호를 가산하기 위한 가산기(137-0)로 이루어진다. 제1 필터(137-1)와 제2 필터(137-2)는, 상기 실시 형태에 관해 설명된 바와 같이, 엔트로피 복호부(191)로부터 수신한 신규인 루프 필터 정보에 따라 설정된다. 제3 실시 형태의 동화상 부호화 장치(100)에 대해 이미 설명한 바와 같이, 동화상 복호 장치(101)의 신규인 루프 필터(137')는, 종래의 디블로킹 필터(도시 생략)에 후속시켜도 된다.
본 발명의 제3 실시 형태에 따라, 예측 신호 및 양자화 예측 오차 신호 각각에 대해 동작하는, 동시 또는 개별적으로 최적화된 2개의 필터로 이루어지는 적응적인 루프 필터(137')가 제공된다. 이와 같이 하여, 루프 필터(137')는, 이들 신호의 각각 상이한 통계적 특성을 고려해도 된다. 이에 의해, 재구축 신호만에 대해 동작하는 단일한 필터를 이용하는 경우보다 효율적으로, 재구축 오차를 삭감할 수 있다. 또한, 재구축 오차의 삭감에 의해, 부호화 효율이 개선된다.
(제4 실시 형태)
도 9는, 본 발명의 제4 실시 형태에 따른 동화상 부호화 장치(100)를 도시한 블록도이다. 도 9의 블록도는, 도 3a에 나타내어진 동화상 부호화 장치(100)와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
제4 실시 형태에 있어서는, 본 발명은, 움직임 보상 예측용의 적응적 보간 필터링에 적용된다. 본 실시 형태에 따른 동화상 부호화 장치(100)는, 이하의 점에 있어서 종래의 동화상 부호화 장치 및 도 3a에 나타내어진 동화상 부호화 장치(100)와 상이하다. 즉, 보간 필터(162)에 대신하여 신규인 루프 필터 및 설계부(162')를 구비하고, 또, 예측 신호와 양자화 예측 오차 신호에 대해 각각 디블로킹을 행하기 위해 2개의 디블로킹 필터(137, 137'')를 구비할 뿐만 아니라, 예측 신호와 양자화 예측 오차 신호를 각각 저장하기 위해 2개의 기억부(140, 140')도 구비하는 점에서 상이하다.
또, 양자화 예측 오차의 동적 범위는, 통상, 예측 신호의 동적 범위보다 크므로, 양자화 예측 오차를 저장하기 위한 메모리(140')는, 예측 신호를 저장하기 위한 메모리(140)보다 높은 비트 심도를 가져도 된다. 비트 심도를 낮게 하기 위해서는, 양자화 예측 오차 신호의 동적 범위를 축소하는 것이 유익한 경우도 있다. 양자화 예측 신호에 대해 추가적인 양자화를 행하면, 그것도 가능하다.
도 9의 신규인 루프 필터 및 설계부(162')는, 기억부(140)가 지연시킨 예측 신호에 대해 동작하는 제1 필터(162-1)와, 기억부(140')가 지연시킨 양자화 오차 신호에 대해 동작하는 제2 필터(162-2)와, 이들 2개의 필터 신호를 가산하기 위한 가산기(162-0)로 이루어진다. 상술한 바와 같이, 가산기(162-0)의 출력과 원하는 신호간에서 측정 거리가 최소가 되도록, 제1 및 제2 필터(162-1, 162-2)는 최적화된다. 움직임 보상 예측의 경우, 원하는 신호는, 상이한 시점에 있어서의 입력 신호이다. 최적화 프로세스의 결과는, 새로운 보간 필터 정보로서 엔트로피 부호화부(190)에 공급되어, 출력 신호로서 삽입된다.
도 10은, 본 발명의 제4 실시 형태에 따른 동화상 복호 장치(101)를 도시한 블록도이다. 도 10의 블록도는, 도 4a에 나타내어진 동화상 복호 장치(101)와 유사하고, 동일한 요소에는 동일한 참조 부호가 붙여져 있다. 유사 요소에 대해서는, 상세한 설명을 생략한다.
본 발명의 제4 실시 형태에 따른 동화상 복호 장치(101)는, 이하의 점에 있어서 종래의 동화상 복호 장치 및 도 4a에 나타내어진 동화상 복호 장치(101)와 상이하다. 즉, 보간 필터(162)에 대신하여 신규인 루프 필터(162'')를 구비하고, 또, 예측 신호와 양자화 예측 오차 신호에 대해 각각 디블로킹을 행하기 위해 2개의 디블로킹 필터(137, 137'')를 구비할 뿐만 아니라, 예측 신호와 양자화 예측 오차 신호를 각각 저장하기 위해 2개의 기억부(140, 140')를 구비하는 점에서 상이하다.
도 9에 나타낸, 대응하는 동화상 부호화 장치(100)의 구성과 동일하게, 신규인 루프 필터(162'')를 구비하는 동화상 복호 장치(101)는, 예측 신호에 대해 동작하는 제1 필터(162-1)와, 양자화 예측 오차 신호에 대해 동작하는 제2 필터(162-2)와, 이들 필터링이 끝난 신호를 가산하기 위한 가산기(162-0)를 구비한다. 제1 및 제2 필터(162-1, 162-2)는, 상기 실시 형태에 관해 설명된 바와 같이, 엔트로피 복호부(191)로부터 수신한 신규인 보간 필터 정보에 따라 설정된다.
본 발명의 제4 실시 형태에 있어서, 소수 화소 정밀도로 움직임 보상 예측을 행하기 위한 적응적인 보간 필터가 제공된다. 본 발명의 루프 필터(162'')는, (지연된) 예측 신호와 (지연된) 양자화 예측 신호에 대해 각각 동작하는, 동시 또는 개별적으로 최적화된 2개의 필터로 이루어진다. 이와 같이 하여, 루프 필터(162'')는, 이들 신호의 각각 상이한 통계적 특성을 고려해도 된다. 이에 의해, (지연된) 복호 신호만에 대해 동작하는 종래의 적응적인 보간 필터(162)를 이용하는 경우보다 효율적으로, 예측 오차를 삭감할 수 있다. 따라서, 부호화 효율을 동일하게 개선할 수 있다.
도 11a 및 도 11b는, 본 발명의 효과를 설명하는, 2종류의 MPEG 테스트 시퀀스의 레이트 왜곡 곡선을 나타낸다. 이들 레이트 왜곡 곡선은, M=N=L=1의 추가적 포스트 필터를 구비하는 제1 실시 형태에 의거한 것이다. 도 11a 및 도 11b 각각에 있어서, 2종류의 MPEG 테스트 시퀀스의 비트레이트에 대한 휘도 성분인 Y-PSNR이 그래프 상의 점으로 표시되어 있다. 본 발명의 방법은, 5×5의 계수를 갖는, 비분리형의 2차원 위너 포스트 필터를 이용하는 H.264/AVC와 비교된다. 화면 내 부호화를, 비교를 위해 적용한다. 0.3dB까지의 Y-PSNR의 증가를, 본 발명에 있어서 관찰할 수 있다.
본 발명의 상술한 실시 형태에 있어서, 본 발명의 동화상 필터는, 예측 신호와 양자화 예측 오차 신호에 대해 각각 동작하는 필터로 이루어진다. 그러나, 예측 신호와, 오차 신호와, 재구축 신호(예측 신호와 오차 신호가 가산된 것)의 집합으로부터 선택된 각 신호 페어는, 선형 독립이다. 따라서, 재구축 신호와 양자화 예측 오차 신호의 조합, 및 재구축 신호와 예측 신호의 조합 중 어느 하나에 대해, 본 발명을 적용해도 된다.
또, 본 발명은, 필터가 고정적인지 적응적인지에 따라 한정되는 것은 아니다. 본 발명의 필터 방법에 있어서의 필터는 모두, 고정적 필터 또는 적응적 필터를 포함해도 된다. 적응적 필터의 경우, 예를 들면 계수와 같은 필터 정보는, 부호화되어, 보조 정보로서 동화상 복호 장치에 송신된다. H.264/AVC 부호화 방법에 있어서는, 예를 들면 계수와 같은 필터 정보는, 슬라이스 헤더나, 픽처 파라미터 세트나 시퀀스 파라미터 세트에 삽입되어 송신된다. 적응적 포스트 필터 방법을 실시하기 위해, 포스트 필터 정보를, 부가 확장 정보(SEI)로서 동화상 복호 장치에 송신할 수도 있다.
또한, 동화상과 비동화상 요컨대 오디오 데이터의 부호화 방법을 포함하는 차분 펄스 부호 변조에 의거한 종래의 부호화 방법의 어느 것에 대해서나, 본 발명을 적용할 수 있다. 또한, H.264/AVC의 공간적 스케러블 동화상 부호화 방법에 대해 본 발명을 적용해도 된다. H.264/AVC에 있어서의 당해 방법에 있어서는, 예측 신호와 양자화 예측 오차 신호로 이루어지는, 저공간 해상도의 재구축 화상은, 필터에 의해 업 샘플되고 보간되어, 고공간 해상도의 화상이 된다. 공간적 스케러블 동화상 부호화에 있어서는, 예를 들면 각 신호의 상이한 필터 계수에 의해, 예측 신호와 양자화 예측 오차 신호를 각각 검토할 수 있다. 또, 고주파 모델링에 있어서 본 발명을 적용할 수도 있다. 그 경우, 본 발명은, 필터링이나, 보다 고차의 통계적 특성을 조정하는 목적으로, 예측 신호 및 양자화 예측 오차 신호 각각의 통계적 특성을 활용하는 것을 가능하게 한다.
또한, 본 발명은, 위너 필터에 한정되는 것은 아니다. 볼테라 급수 전개에 의거한 비선형 적응적 필터 등 다른 적응적 필터나, 파손 신호와 원하는 신호간의 평균 2승 오차 이외의 측정치를 최적화하는 필터 등에 대해, 본 발명을 적용해도 된다.
마지막으로, 본 발명의 다양한 실시 형태를 조합해도 된다. 예를 들면, 2개의 개별적으로 최적화된 필터를 제1 실시 형태에 따른 포스트 필터링에 채용하면서, 다른 2개의 개별적으로 최적화된 필터를 제3 실시 형태에 따른 루프 필터로서 채용해도 된다. 다른 실시 형태를 동일하게 조합하는 것도 가능하다.
요약하면, 본 발명은, 차분 펄스 부호 변조에 의거한 동화상 부호화에 있어서의 최적 필터에 관한 것이다. 본 발명에 있어서의 수법은, 예측 신호와 오차 신호의 가산 결과인 재구축 신호에 대해 동작하는 단일한 필터가 아니라, 예측 신호와 양자화 예측 오차 신호에 대해 각각 독립적으로 동작하는 2개의 필터를 제공하는 것이다. 이와 같이 예측 신호와 오차 신호의 각각 상이한 통계적 특성을 고려함으로써, 예측 오차 및/또는 재구축 오차를 삭감할 수 있어, 결과적으로, 부호화 효율을 개선할 수 있다.
(그 외 변형예)
또한, 본 발명을 상기 각 실시 형태 1∼4에 의거하여 설명해 왔지만, 본 발명은, 상기의 각 실시 형태 1∼4에 한정되지 않는 것은 물론이다. 이하와 같은 경우도 본 발명에 포함된다.
상기의 각 장치는, 구체적으로는, 마이크로 프로세서, ROM, RAM, 하드 디스크 유닛, 디스플레이 유닛, 키보드, 마우스 등으로 구성되는 컴퓨터 시스템이다. 상기 RAM 또는 하드 디스크 유닛에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 각 장치는, 그 기능을 달성한다. 여기에서 컴퓨터 프로그램은, 소정의 기능을 달성하기 위해, 컴퓨터에 대한 지령을 나타내는 명령 코드가 복수개 조합되어 구성된 것이다.
상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration : 대규모 집적회로)로 구성되어 있는 것으로 해도 된다. 시스템 LSI는, 복수의 구성 요소부를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이고, 구체적으로는, 마이크로 프로세서, ROM, RAM 등을 포함하여 구성되는 컴퓨터 시스템이다. 상기 RAM에는, 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가, 상기 컴퓨터 프로그램에 따라 동작함으로써, 시스템 LSI는, 그 기능을 달성한다.
상기의 각 장치를 구성하는 구성 요소의 일부 또는 전부는, 각 장치에 탈착 가능한 IC 카드 또는 단체의 모듈로 구성되어 있는 것으로 해도 된다. 상기 IC 카드 또는 상기 모듈은, 마이크로 프로세서, ROM, RAM 등으로 구성되는 컴퓨터 시스템이다. 상기 IC 카드 또는 상기 모듈은, 상기의 초다기능 LSI를 포함하는 것으로 해도 된다. 마이크로 프로세서가, 컴퓨터 프로그램에 따라 동작함으로써, 상기 IC 카드 또는 상기 모듈은, 그 기능을 달성한다. 이 IC 카드 또는 이 모듈은, 내탬퍼성을 갖는 것으로 해도 된다.
본 발명은, 상기에 나타낸 방법인 것으로 해도 된다. 또, 이들 방법을 컴퓨터에 의해 실현하는 컴퓨터 프로그램인 것으로 해도 되고, 상기 컴퓨터 프로그램으로 이루어지는 디지털 신호인 것으로 해도 된다.
또, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를 컴퓨터 판독 가능한 기록 매체, 예를 들면, 플렉시블 디스크, 하드 디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray Disc), 반도체 메모리 등에 기록한 것으로 해도 된다. 또, 이들 기록 매체에 기록되어 있는 상기 디지털 신호인 것으로 해도 된다.
또, 본 발명은, 상기 컴퓨터 프로그램 또는 상기 디지털 신호를, 전기 통신 회선, 무선 또는 유선 통신 회선, 인터넷을 대표로 하는 네트워크, 데이터 방송 등을 경유하여 전송하는 것으로 해도 된다.
또, 본 발명은, 마이크로 프로세서와 메모리를 구비한 컴퓨터 시스템으로서, 상기 메모리는, 상기 컴퓨터 프로그램을 기억하고 있고, 상기 마이크로 프로세서는, 상기 컴퓨터 프로그램에 따라 동작하는 것으로 해도 된다.
또, 상기 프로그램 또는 상기 디지털 신호를 상기 기록 매체에 기록하여 이송함으로써, 또는 상기 프로그램 또는 상기 디지털 신호를 상기 네트워크 등을 경유하여 이송함으로써, 독립한 다른 컴퓨터 시스템에 의해 실시하는 것으로 해도 된다.
상기 실시 형태 및 상기 변형예를 각각 조합하는 것으로 해도 된다.
이상, 도면을 참조하여 이 발명의 실시 형태를 설명하였지만, 이 발명은, 도시한 실시 형태의 것에 한정되지 않는다. 도시한 실시 형태에 대해, 이 발명과 동일한 범위 내에 있어서, 혹은 균등한 범위 내에 있어서, 여러 가지의 수정이나 변형을 더하는 것이 가능하다.
[산업상의 이용 가능성]
본 발명은, 동화상 부호화 방법(장치) 및 동화상 복호 방법(장치)에 유리하게 이용된다.
100 : 동화상 부호화 장치
101 : 동화상 복호 장치
110 : 감산기
120 : 변환·양자화부
121, 130 : 역양자화·역변환부
135, 135', 137-0, 139-0, 162-0 : 가산기
137, 137'' : 디블로킹 필터
137', 162'' : 루프 필터
137-1, 137-2, 139-1, 139-2, 139-3, 162-1, 162-2 : 필터
138, 138' : 포스트 필터 설계부
138'' : 루프 필터 설계부
139, 139' : 포스트 필터
140, 140' : 메모리
150 : 화면 내 프레임 예측부
160 : 움직임 보상 예측부
162 : 보간 필터
162' : 루프 필터 및 설계부
170 : 움직임 예측부
180 : 화면 내/화면간 스위치
190 : 엔트로피 부호화부
191 : 엔트로피 복호부
200, 200' : 예측 신호 생성부

Claims (14)

  1. 동화상을 구성하는 부호화 대상 신호를 부호화하는 동화상 부호화 방법으로서,
    상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와,
    상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화 단계와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와,
    상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성 단계와,
    상기 양자화 단계에서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성 단계에서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함하는, 동화상 부호화 방법.
  2. 청구항 1에 있어서,
    상기 필터 정보 생성 단계에서는, 상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 얻어지는 필터링이 끝난 예측 신호, 및 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 얻어지는 필터링이 끝난 양자화 예측 오차 신호를 가산하여 얻어지는 재구축 신호와, 상기 부호화 대상 신호의 차분이 최소화되도록, 상기 제1 및 제2 필터 정보를 생성하는, 동화상 부호화 방법.
  3. 청구항 1에 있어서,
    상기 예측 신호 생성 단계는,
    상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 재구축 신호를 생성하는 필터링 단계와,
    상기 재구축 신호에 의거하여, 상기 부호화 대상 신호보다 뒤에 부호화되는 다른 부호화 대상 신호를 예측한 제2 예측 신호를 생성하는 예측 신호 생성 단계를 포함하는, 동화상 부호화 방법.
  4. 청구항 3에 있어서,
    상기 필터링 단계에서는, 상기 재구축 신호의 블록 왜곡을 감소시키는 디블록 처리를 하는, 동화상 부호화 방법.
  5. 청구항 3에 있어서,
    상기 필터링 단계에서는, 움직임 보상 예측에 앞서 행해지는 보간 필터링 처리를 하는, 동화상 부호화 방법.
  6. 청구항 1에 있어서,
    상기 필터 정보 생성 단계에서는, 상기 예측 신호와 상기 양자화 예측 오차 신호를 가산하여 얻어지는 재구축 신호의 통계적 특성에 의거하여 제3 필터 정보를 생성하고,
    상기 엔트로피 부호화 단계에서는, 상기 양자화 예측 오차 신호와, 상기 제1, 제2 및 제3 필터 정보를 엔트로피 부호화하여 상기 부호화 신호를 생성하는, 동화상 부호화 방법.
  7. 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성하는 동화상 복호 방법으로서,
    상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호 단계와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와,
    상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와,
    상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링 단계를 포함하는, 동화상 복호 방법.
  8. 청구항 7에 있어서,
    상기 예측 신호 생성 단계는,
    상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 재구축 신호를 생성하는 필터링 단계와,
    상기 재구축 신호에 의거하여, 상기 부호화 신호보다 뒤에 복호되는 다른 복호 신호를 예측한 제2 예측 신호를 생성하는 예측 신호 생성 단계를 포함하는, 동화상 복호 방법.
  9. 동화상을 구성하는 부호화 대상 신호를 부호화하는 동화상 부호화 장치로서,
    상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와,
    상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화부와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와,
    상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성부와,
    상기 양자화부에서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성부에서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화부를 구비하는, 동화상 부호화 장치.
  10. 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성하는 동화상 복호 장치로서,
    상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호부와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와,
    상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와,
    상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링부를 구비하는, 동화상 복호 장치.
  11. 컴퓨터에, 동화상을 구성하는 부호화 대상 신호를 부호화시키는 프로그램으로서,
    상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와,
    상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화 단계와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와,
    상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성 단계와,
    상기 양자화 단계에서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성 단계에서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함하는, 프로그램.
  12. 컴퓨터에, 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성시키는 프로그램으로서,
    상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호 단계와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화 단계와,
    상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성 단계와,
    상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링 단계를 포함하는, 프로그램.
  13. 동화상을 구성하는 부호화 대상 신호를 부호화하는 집적 회로로서,
    상기 부호화 대상 신호보다 앞에 부호화된 다른 부호화 대상 신호에 의거하여, 상기 부호화 대상 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와,
    상기 부호화 대상 신호로부터 상기 예측 신호를 감산하여 얻어지는 예측 오차를 양자화하여 양자화 계수를 생성하는 양자화부와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와,
    상기 예측 신호 및 상기 양자화 예측 오차 신호 중, 상기 예측 신호만의 통계적 특성에 의거하여 제1 필터 정보를 생성함과 더불어, 상기 양자화 예측 오차 신호만의 통계적 특성에 의거하여 제2 필터 정보를 생성하는 필터 정보 생성부와,
    상기 양자화부에서 생성되는 상기 양자화 계수와, 상기 필터 정보 생성부에서 생성되는 상기 제1 및 제2 필터 정보를 엔트로피 부호화하여 부호화 신호를 생성하는 엔트로피 부호화부를 구비하는, 집적 회로.
  14. 동화상을 구성하는 부호화 신호를 복호하여 복호 신호를 생성하는 집적 회로로서,
    상기 부호화 신호를 엔트로피 복호하여 양자화 계수와, 제1 및 제2 필터 정보를 취득하는 엔트로피 복호부와,
    상기 양자화 계수를 역양자화하여 양자화 예측 오차 신호를 생성하는 역양자화부와,
    상기 부호화 신호보다 앞에 복호된 다른 부호화 신호에 의거하여, 상기 복호 신호를 예측한 예측 신호를 생성하는 예측 신호 생성부와,
    상기 제1 필터 정보에 의거하여 상기 예측 신호를 필터 처리하여 필터링이 끝난 예측 신호를 생성하고, 상기 제2 필터 정보에 의거하여 상기 양자화 예측 오차 신호를 필터 처리하여 필터링이 끝난 양자화 예측 오차 신호를 생성하며, 상기 필터링이 끝난 예측 신호 및 상기 필터링이 끝난 양자화 예측 오차 신호를 가산하여 상기 복호 신호를 생성하는 필터링부를 구비하는, 집적 회로.
KR1020107003950A 2008-07-03 2009-07-02 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로 KR20110039511A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08012036.3 2008-07-03
EP08012036A EP2141927A1 (en) 2008-07-03 2008-07-03 Filters for video coding

Publications (1)

Publication Number Publication Date
KR20110039511A true KR20110039511A (ko) 2011-04-19

Family

ID=39927590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107003950A KR20110039511A (ko) 2008-07-03 2009-07-02 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로

Country Status (9)

Country Link
US (1) US20100254450A1 (ko)
EP (2) EP2141927A1 (ko)
JP (1) JPWO2010001614A1 (ko)
KR (1) KR20110039511A (ko)
CN (1) CN101796847A (ko)
BR (1) BRPI0904619A2 (ko)
RU (1) RU2010107598A (ko)
TW (1) TW201008290A (ko)
WO (1) WO2010001614A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
EP2375745A1 (en) 2010-04-12 2011-10-12 Panasonic Corporation Efficient storing of picture representation using adaptive non-uniform quantizer
EP2375747B1 (en) 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
HRP20240379T1 (hr) * 2010-05-25 2024-06-07 Lg Electronics Inc. Novi način planarnog predviđanja
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
WO2012008506A1 (ja) * 2010-07-15 2012-01-19 シャープ株式会社 画像フィルタ装置、復号装置、動画像復号装置、符号化装置、動画像符号化装置、および、データ構造
WO2012013327A1 (en) 2010-07-26 2012-02-02 Panasonic Corporation Quantized prediction error signal for three-input-wiener-filter
JP5066232B2 (ja) * 2010-07-28 2012-11-07 株式会社東芝 情報処理装置および画像処理方法
WO2012025215A1 (en) 2010-08-23 2012-03-01 Panasonic Corporation Adaptive golomb codes to code filter coefficients
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
KR101578318B1 (ko) * 2010-09-30 2015-12-16 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
BR112013011053A8 (pt) * 2010-11-10 2016-08-23 Sony Corp Dispositivo e método de processamento de imagem
CN103647974B (zh) 2010-11-26 2017-05-31 日本电气株式会社 视频解码设备和视频解码方法
JP2014501091A (ja) 2010-12-17 2014-01-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート インター予測方法及びその装置
US9445126B2 (en) * 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
JP5670226B2 (ja) * 2011-03-04 2015-02-18 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
JP5552093B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR101442127B1 (ko) 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
WO2013001720A1 (ja) * 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
KR102007050B1 (ko) * 2011-11-03 2019-10-01 선 페이턴트 트러스트 펄스 코드 변조 모드에서 부호화된 블록의 필터링
US20140321552A1 (en) * 2011-11-18 2014-10-30 Dolby Laboratories Licensing Corporation Optimization of Deblocking Filter Parameters
JP5860337B2 (ja) * 2012-04-25 2016-02-16 日本電信電話株式会社 映像符号化方法及び装置
JP5833757B2 (ja) * 2012-07-09 2015-12-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
GB2506593B (en) * 2012-09-28 2017-03-22 Canon Kk Methods for encoding image data, methods for decoding image data and methods for post-filtering reconstructed image data and corresponding devices
US10575019B2 (en) * 2015-09-08 2020-02-25 Lg Electronics Inc. Method for encoding/decoding image and apparatus therefor
EP3220643A1 (en) 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
CN113228637A (zh) * 2018-12-17 2021-08-06 北京字节跳动网络技术有限公司 依赖于形状的插值滤波器
US10985951B2 (en) 2019-03-15 2021-04-20 The Research Foundation for the State University Integrating Volterra series model and deep neural networks to equalize nonlinear power amplifiers
FI3952313T3 (fi) 2019-04-16 2024-06-20 Lg Electronics Inc Muunnos intraennustukseen perustuvassa kuvankoodauksessa

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH08251418A (ja) * 1995-03-10 1996-09-27 Kawasaki Steel Corp ブロック歪低減装置および低減方法
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US5796875A (en) * 1996-08-13 1998-08-18 Sony Electronics, Inc. Selective de-blocking filter for DCT compressed images
US8837605B2 (en) * 2006-09-26 2014-09-16 Onmobile Global Limited Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
KR101353689B1 (ko) * 2006-03-27 2014-01-21 파나소닉 주식회사 화상 부호화 장치 및 화상 복호화 장치
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction

Also Published As

Publication number Publication date
EP2323407A4 (en) 2011-08-03
TW201008290A (en) 2010-02-16
RU2010107598A (ru) 2012-08-10
EP2323407A1 (en) 2011-05-18
WO2010001614A1 (ja) 2010-01-07
CN101796847A (zh) 2010-08-04
EP2141927A1 (en) 2010-01-06
JPWO2010001614A1 (ja) 2011-12-15
US20100254450A1 (en) 2010-10-07
BRPI0904619A2 (pt) 2015-06-30

Similar Documents

Publication Publication Date Title
KR20110039511A (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로
US8897360B2 (en) Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
JP5283628B2 (ja) 映像復号方法及び映像符号化方法
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
WO2010021108A1 (ja) 補間フィルタリング方法、画像符号化方法、画像復号方法、補間フィルタリング装置、プログラム、及び集積回路
WO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
KR101441903B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101681353B1 (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
WO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5542680B2 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20100105680A (ko) 동화상 부호화/복호화 방법 및 장치
KR20070032111A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
JPWO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP2018110313A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
JP2017073668A (ja) 映像符号化装置、映像復号装置及びプログラム
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20200040192A (ko) 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid