KR20100105680A - 동화상 부호화/복호화 방법 및 장치 - Google Patents

동화상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20100105680A
KR20100105680A KR1020107015663A KR20107015663A KR20100105680A KR 20100105680 A KR20100105680 A KR 20100105680A KR 1020107015663 A KR1020107015663 A KR 1020107015663A KR 20107015663 A KR20107015663 A KR 20107015663A KR 20100105680 A KR20100105680 A KR 20100105680A
Authority
KR
South Korea
Prior art keywords
image
filter
picture
information
decoding
Prior art date
Application number
KR1020107015663A
Other languages
English (en)
Inventor
나오후미 와다
타케시 츄조
아키유키 타니자와
고키 야스다
타카시 와타나베
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20100105680A publication Critical patent/KR20100105680A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 방법으로서, 부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와, 상기 필터의 필터계수정보를 설정하는 단계와, 상기 필터정보계수정보를 부호화하는 단계와, 참조화상으로서 사용하는 상기 국소복원화상 또는 상기 복원화상을 나타내는 특정정보를 부호화하는 단계와, 상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상의 어느 하나를 메모리에 보존하는 단계를 갖는다.

Description

동화상 부호화/복호화 방법 및 장치 {DYNAMIC IMAGE ENCODING/DECODING METHOD AND DEVICE}
본 발명은, 동화상 부호화/복호화 방법 및 장치에 관한 것으로, 특히 부호화 측에서 루프필터의 필터계수정보를 설정해서 전송하고, 복호화 측에서 이용함으로써, 화질을 향상시키는 효과가 얻어지도록 한 동화상 부호화/복호화 방법 및 장치에 관한 것이다.
화상을 화소블록 단위로 직교변환하고, 변환계수의 양자화 처리를 실행하는 동화상 부호화/복호화 방법에서는, 복호화상(復號畵像)에 블록 왜곡이라 불리는 화질 열화가 생긴다. 이에 대해, G. Bjontegaard, "Deblocking filter for 4×4 based coding", ITU-T Q.15/SG16 VCEG document, Q15-J-27, May 2000(이후"Deblocking filter for 4×4 based coding"이라 칭함)에 기재된 디블로킹 필터는, 블록 경계에 로우 패스 필터(low pass filter)를 적용함으로써 상기 블록 왜곡을 시각적으로 눈에 띄지 않도록 해서, 주관적으로 양호한 화상을 얻을 수 있다, "Deblocking filter for 4×4 based coding"에서의 디블로킹 필터를 구비한 부호화/복호화 장치의 블록도를 도 34에 나타낸다.
상기 디블로킹 필터는, 도 34의 디블로킹 필터 처리부(901)와 같이 부호화 및 복호화 장치의 루프 내에서 이용되는 것이기 때문에 루프필터(loop filter)라고도 불린다. 루프필터로 함으로써, 예측에 이용되는 참조화상의 블록 왜곡을 저감시킬 수 있고, 특히 블록 왜곡이 발생하기 쉬운 고압축 비트 레이트 대(帶)에서 부호화 효율을 향상시키는 효과가 있다.
그러나, 상기 디블로킹 필터는, 블록 경계를 애매하게 함으로써 시각적으로 눈에 띄는 열화를 저감하는 처리를 수행하는 것으로서, 반드시 입력화상과의 오차가 작아지는 것이 아니라, 도리어 세밀한 텍스처(texture) 등이 사라져 화질이 저하되는 경우가 있다. 더욱이, 필터처리 후의 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하기 때문에, 필터에 의한 화질 저하의 영향이 예측화상에 전파된다고 하는 문제가 있다.
한편, 루프필터와는 달리, 디코더에서 출력하는 화상에만 작용하는 필터를 포스트 필터(post-filter)라 부른다. 포스트 필터는, 필터처리 후의 화상을 참조화상으로서 이용하지 않기 때문에, 필터의 영향이 예측화상에 전파되지 않는다고 하는 특징이 있다. 일본국 특개 2001-275110호 공보는, 복호화 측에서 디블로킹 필터를 루프필터로 이용할지, 포스트 필터로 이용할지를 동적으로 절환(切換)하는 동화상 복호화 방법을 제공하고 있다. 일본국 특개 2001-275110호 공보에서의 루프/포스트 필터링의 절환방법을 갖춘 부호화/복호화 장치의 블록도를 도 35에 나타낸다.
일본국 특개 2001-275110호 공보에서의 동화상 복호화 방법에서는, 도 35에서의 동화상 복호화 장치 내부에 구비한 디블로킹 필터 처리부(902)에 의해 디블로킹 필터를 적용한 복호화상을 생성하여 출력화상으로서 출력한다. 한편, 부호화 파라미터 추출부(904)에서는 부호화 데이터로부터 양자화 파라미터를 추출하고, 절환부(903)에서는 필터처리 후의 화상을 참조화상으로서 이용할지 여부를 상기 양자화 파라미터의 값에 기초해서 제어한다. 절환부(903)에서의 동작에 의해, 디블로킹 필터의 효과가 높은 고압축 비트 레이트 대(帶)에서는 디블로킹 필터를 루프필터로서 이용하고, 저압축 비트 레이트 대에서는 디블로킹 필터를 포스트 필터로서 이용하도록 하는 제어가 가능하게 된다. 그러나, 일본국 특개 2001-275110호 공보에서는, 부호화 측에서 마찬가지의 처리를 하고 있지 않기 때문에, 부호화 측과 복호화 측에서의 미스매치(miss-match: 오정합)가 생긴다고 하는 문제가 있다. 또, 부호화 측에서 참조화상의 화질을 향상시키는 것이 아니기 때문에, 부호화 효율을 향상시키는 효과를 얻을 수 없다.
한편, S. Wittmann and T. Wdi, "Post-filter SEI message for 4:4:4 coding, JVT of ISO/IEC MPEG & ITU-T VCEG, JVT-S030, April 2006(이후 "Post-filter SEI message for 4:4:4 coding"으로 칭함)에는, 부호화 측에서 포스트 필터의 필터계수정보를 설정해서 부호화하고, 복호화 측에서 복호화된 필터계수정보를 이용해서 포스트 필터 처리를 행하는 동화상 부호화/복호화 방법이 기재되어 있다. "Post-filter SEI message for 4:4:4 coding"에서의 동화상 부호화/복호화 장치의 블록도를 도 36에 나타낸다.
도 36의 동화상 부호화 장치가 구비하는 포스트 필터 설정부(905)는, 소정의 필터계수정보를 설정하여 필터계수정보(90)를 출력한다. 필터계수정보(90)는 부호화되고, 복호화 측에서 복호하고 동화상 복호화 장치가 구비하는 포스트 필터 처리부(906)에서 이용하여 포스트 필터 처리를 실행한다.
"Post-filter SEI message for 4:4:4 coding"에서의 동화상 부호화/복호화 방법에서는, 부호화 측에서 복호화상과 입력화상과의 오차가 작아지도록 필터계수정보를 설정함으로써, 복호화 측에서 포스트 필터를 적용한 출력화상의 화질을 향상시킬 수 있다. 그러나, "Post-filter SEI message for 4:4:4 coding"의 방법은, 화질을 향상시킨 화상을 참조화상으로서 이용하는 것이 아니어서, 부호화 측에서 부호화 효율을 향상시키는 효과를 얻을 수 없다.
앞에서 설명한 바와 같이, "Deblocking filter for 4×4 based coding"에 개시되어 있는 방법은, 반드시 화질을 향상시키는 것이 아니고, 필터에 의해 생긴 화질 열화가 예측화상에 전파된다고 하는 문제가 있었다.
또, 일본국 특개 2001-275110호 공보에 개시되어 있는 방법은, 복호화 측에서만 루프/포스트 필터링의 절환을 실행하는 것이어서, 부호화 측과 복호화 측의 미스매치가 생긴다고 하는 문제가 있었다.
또, "Post-filter SEI message for 4:4:4 coding"에 개시되어 있는 방법은, 복호화 측에서 출력되는 화상의 화질을 향상시키는 처리로서, 예측에 이용하는 참조화상의 화질을 향상시켜 부호화 효율을 향상시키는 효과를 얻을 수 없다.
013] 본 발명은, 부호화 측에서 설정한 필터계수정보를 부호화하고, 필터계수정보를 복호화 측에서 복호화해서 이용하는 동화상 부호화/복호화에 있어서, 부호화 측과 복호화 측이 마찬가지의 처리로 루프필터처리를 절환함으로써, 화질 열화의 전파(傳播)를 억제하는 한편, 예측에 이용하는 참조화상의 화질을 향상시킴으로써, 부호화 효율을 향상시키는 것을 가능하게 하는 동화상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 1태양(態樣)은, 부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 방법으로서, 부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와, 상기 필터의 필터계수정보를 설정하는 단계와, 상기 필터계수정보를 부호화하는 단계와, 참조화상으로서 사용하는 상기 국소복호화상 또는 상기 복원화상을 나타내는 특정정보를 부호화하는 단계와, 상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상 중 어느 하나를 참조화상으로서 메모리에 보존하는 단계를 구비한 것을 특징으로 하는 동화상 부호화 방법을 제공한다.
본 발명의 다른 태양은, 복호화가 끝난 화상을 참조화상으로서 다음에 복호화하는 화상의 예측에 이용하는 동화상 복호화 방법으로서, 복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와, 필터의 필터계수정보를 복호화하는 단계와, 참조화상으로서 사용되는 복호화상 또는 복원화상을 나타내는 특정정보를 복호화하는 단계와, 특정정보에 기초해서 복호화상 또는 복원화상을 참조화상으로서 메모리에 보존하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법을 제공한다.
이상과 같이 구성된 본 발명에 의하면, 부호화 측과 복호화 측을 마찬가지의 처리로 루프필터처리를 절환함으로써 화질 열화의 전파(傳播)를 억제하는 한편, 예측에 이용하는 참조화상의 화질을 향상시킴으로써 부호화 효율을 향상시키는 것을 가능하게 하는 동화상 부호화/복호화 방법 및 장치를 제공하고, 특히 부호화 측에서 루프필터의 필터계수정보를 설정해서 전송하고, 이를 복호화 측에서 이용함으로써 동화상의 화질을 향상시키는 효과를 얻을 수 있게 된다.
도 1은 제1 실시형태에 관계되는 동화상 부호화 장치의 블록도이다.
도 2는 제1 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터 처리부의 블록도이다.
도 3은 제1 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터 처리부의 블록도이다.
도 4는 제1 실시형태에 관계되는 동화상 부호화 장치의 동작을 나타내는 플로우차트이다.
도 5는 제1 실시형태에 관계되는 동화상 복호화 장치의 블록도이다.
도 6은 제1 실시형태에 관계되는 동화상 복호화 장치에서의 제1 절환필터 처리부의 블록도이다.
도 7은 제1 실시형태에 관계되는 동화상 복호화 장치의 동작을 나타내는 플로우차트이다.
도 8은 제1 실시형태에 관계되는 동화상 복호화 장치에서의 제2 절환필터 처리부의 블록도이다.
도 9는 제1 실시형태에 관계되는 동화상 복호화 장치에서의 제3 절환필터 처리부의 블록도이다.
도 10은 제1 실시형태에 관계되는 동화상 복호화 장치에서의 제4 절환필터 처리부의 블록도이다.
도 11은 제2 실시형태에 관계되는 제1 동화상 부호화 장치의 블록도이다.
도 12는 제2 실시형태에 관계되는 제1 동화상 부호화 장치에서의 절환정보 생성 예측부의 블록도이다.
도 13은 제2 실시형태에 관계되는 제1 동화상 부호화 장치에서의 참조 절환 예측부의 블록도이다.
도 14는 제2 실시형태에 관계되는 제1 동화상 부호화 장치에서의 루프필터 처리부의 블록도이다.
도 15는 제2 실시형태에 관계되는 제1 동화상 부호화 장치의 동작을 나타내는 플로우차트이다.
도 16은 제2 실시형태에 관계되는 제1 동화상 복호화 장치의 블록도이다.
도 17은 제2 실시형태에 관계되는 제1 동화상 복호화 장치에서의 참조 절환 예측부의 블록도이다.
도 18은 제2 실시형태에 관계되는 동화상 복호화 장치의 동작을 나타내는 플로우차트이다.
도 19는 제2 실시형태에 관계되는 제2 동화상 부호화 장치의 블록도이다.
도 20은 제2 실시형태에 관계되는 제2 동화상 부호화 장치에서의 절환정보 생성 예측부의 블록도이다.
도 21은 제2 실시형태에 관계되는 제2 동화상 부호화 장치에서의 참조 절환 예측부의 블록도이다.
도 22는 제2 실시형태에 관계되는 제2 동화상 복호화 장치의 블록도이다.
도 23은 제2 실시형태에 관계되는 제2 동화상 복호화 장치에서의 참조 절환 예측부의 블록도이다.
도 24는 제3 실시형태에 관계되는 동화상 부호화 장치의 블록도이다.
도 25는 제3 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터 처리부의 블록도이다.
도 26은 제3 실시형태에 관계되는 동화상 부호화 장치에서의 절환정보 생성필터 처리부의 블록도이다.
도 27은 제3 실시형태에 관계되는 동화상 부호화 장치의 동작을 나타내는 플로우차트이다.
도 28은 제3 실시형태에 관계되는 동화상 복호화 장치의 블록도이다.
도 29는 제3 실시형태에 관계되는 동화상 복호화 장치에서의 절환정보 생성필터 처리부의 블록도이다.
도 30은 제3 실시형태에 관계되는 동화상 복호화 장치의 동작을 나타내는 플로우차트이다.
도 31은 제1, 제2, 제3 실시형태에 관계되는 신택스 구조를 나타낸 도면이다.
도 32는 제1, 제2, 제3 실시형태에 관계되는 루프필터 데이터 신택스를 나타낸 도면이다.
도 33은 매크로블록마다 루프필터를 바꾼 경우의 참조화상의 예이다.
도 34는 비특허문헌 1에서의 부호화/복호화 장치의 블록도이다.
도 35는 특허문헌 1에서의 부호화/복호화 장치의 블록도이다.
도 36은 비특허문헌 2에서의 부호화/복호화 장치의 블록도이다.
도 37은 제4 실시형태에 관계되는 동화상 부호화 장치에서의 절환필터 처리부의 블록도이다.
도 38은 제4 실시형태에 관계되는 동화상 복호화 장치에서의 절환필터 처리부의 블록도이다.
도 39는 제4 실시형태에 관계되는 블록 사이즈 및 블록분할방법을 결정하는 참조 테이블을 나타낸 도면이다.
도 40은 제4 실시형태에 관계되는 블록 분할의 예를 나타낸 도면이다.
도 41은 제4 실시형태에 관계되는 블록분할방법을 바꾼 경우의 참조화상의 예이다.
도 42는 제4 실시형태에 관계되는 루프필터 데이터 신택스를 나타낸 도면이다.
도 43은 제5 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터 처리부의 블록도이다.
도 44는 제5 실시형태에 관계되는 동화상 부호화 장치의 동작을 나타낸 플로우차트이다.
도 45는 제6 실시형태에 관계되는 국부복호화상 필터 처리부의 블록도이다.
도 46은 제7 실시형태에 관계되는 동화상 부호화 장치의 블록도이다.
도 47은 제8 실시형태에 관계되는 동화상 복호화 장치의 블록도이다.
도 48은 제7 실시형태에 관계되는 예측화상 작성부의 일례의 블록도이다.
도 49는 제7 실시형태에 관계되는 예측화상 작성부의 다른 예의 블록도이다.
도 50은 제9 실시형태에 관계되는 계층적 블록 분할의 예를 나타낸 도면이다.
도 51은 제9 실시형태에 관계되는 분할목 및 분할된 블록의 예를 나타낸 도면이다.
도 52는 제9 실시형태에 관계되는 분할된 블록의 예를 나타낸 도면이다.
도 53은 제9 실시형태에 관계되는 각 계층의 블록 사이즈의 예를 나타낸 도면이다.
도 54는 제9 실시형태에 관계되는 블록분할정보를 포함하는 신택스를 나타낸 도면이다.
도 55는 제9 실시형태에 관계되는 블록분할정보를 포함하는 다른 신택스를 나타낸 도면이다.
이하, 본 발명의 실시형태에 대해 도면을 참조해서 설명한다.
(제1 실시형태)
도 1을 참조해서 제1 실시형태에 관계되는 동화상 부호화 장치를 설명한다. 이하, 도 1의 구성요소에 대해 각각 설명한다.
도 1에 나타낸 동화상 부호화 장치(1000)는, 예측신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·양자화부(105), 가산기(106), 루프필터 처리부(107), 참조화상용 버퍼(108)를 갖고, 부호화 제어부(109)에 의해 제어된다.
예측신호 생성부(101)는, 참조화상용 버퍼(108)에 격납되어 있는 부호화가 끝난 참조화상신호(19)를 취득해서 소정의 예측처리를 실행하여 예측화상신호(11)를 출력한다. 예측처리는, 예컨대 움직임 예측·움직임 보상에 의한 시간방향의 예측이나, 화면 내의 부호화가 끝난 화소로부터의 공간방향의 예측 등을 이용하면 좋다.
감산기(102)는, 취득한 입력화상신호(10)와 예측화상신호(11)와의 차분(差分)을 계산해서 예측오차 화상신호(12)를 출력한다. 변환·양자화부(103)는, 먼저 예측오차 화상신호(12)를 취득해서 변환처리를 실행한다. 여기서는, 변환·양자화부(103)는, 예컨대 DCT(이산(離散) 코사인 변환) 등을 이용해서 예측오차 화상신호(12)의 직교변환(直交變換)을 실행하여 변환계수를 생성한다. 다른 실시형태로서, 웨이브렛 변환이나 독립성분 해석 등의 수법을 이용해서 변환계수를 생성해도 좋다. 다음에, 변환·양자화부(103)는, 뒤에 설명하는 부호화 제어부(109)에 설정되어 있는 양자화(量子化) 파라미터에 기초해서 생성한 변환계수의 양자화 처리를 실행하여 양자화 후의 변환계수(13)를 출력한다. 양자화 후의 변환계수(13)는, 뒤에 설명하는 엔트로피 부호화부(104)로 입력됨과 동시에 역변환·역양자화부(105)로도 입력된다.
역변환·역양자화부(105)는, 양자화 후의 변환계수(13)를 부호화 제어부(109)에 설정되어 있는 양자화 파라미터에 따라 역양자화(逆量子化)하고, 얻어진 변환계수에 대해 역변환(예컨대, 역이산 코사인 변환 등)을 실행하여 예측오차 화상신호(15)를 출력한다. 가산기(106)는, 역변환·역양자화부(105)로부터 취득한 예측오차 화상신호(15)와, 예측신호 생성부(101)에서 생성한 예측화상신호(11)를 가산하여, 국소복호화상신호(局所復號畵像信號; 16)를 출력한다.
루프필터 처리부(107)는, 국소복호화상신호(16) 및 입력화상신호(10)를 취득하고, 참조화상신호(19), 필터계수정보(17) 및 국소복호화상 또는 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보, 구체적으로는 국소복호화상인지 복원화상인지를 절환하는 절환정보(18)를 출력한다. 루프필터 처리부(107)에 대한 상세한 설명은 뒤에 설명한다. 참조화상용 버퍼(108)는, 루프필터 처리부(107)로부터 취득한 참조화상신호(19)를 일시 보존한다. 참조화상용 버퍼(108)에 보존된 참조화상신호(19)는, 예측신호 생성부(101)에 의해 예측화상신호(11)를 생성할 때에 참조된다.
한편, 엔트로피 부호화부(104)는, 양자화 후의 변환계수(13)에 더해 필터계수정보(17), 절환정보(18), 그 밖에 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터(motion vector), 양자화 파라미터 등의 부호화 파라미터를 취득하고, 엔트로피 부호화(예컨대 허프만 코딩화 또는 산술 부호화 등)해서 부호화 데이터(14)로 출력한다. 부호화 제어부(109)는, 발생 부호량의 피드백 제어 및 양자화 제어, 모드 제어 등을 실행하여 부호화 전체의 제어를 실행한다.
다음에는, 제1 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터 처리부(107)에 대해, 도 2 및 도 3을 이용해서 상세히 설명한다. 이하, 도 2 및 도 3의 구성요소에 대해 각각 설명한다.
도 2에 나타낸 루프필터 처리부(107)는 필터 설정부(110), 절환필터 처리부(111), 절환정보 생성부(112)를 갖고, 더욱이 절환필터 처리부(111)는 도 3에 나타낸 바와 같이 필터 처리부(113) 및 루프필터 절환부(114)를 갖는다. 도 3의 스위치(SW)는 단자 A와 단자 B의 접속을 절환한다. 필터 설정부(110)는, 국소복호화상신호(16) 및 입력화상신호(10)를 취득하여 소정의 필터계수정보(17)를 설정한다. 필터계수정보(17)의 설정방법의 상세에 대해서는 뒤에 설명하기로 한다. 설정한 필터계수정보(17)는, 뒤에 설명하는 절환필터 처리부(111) 및 엔트로피 부호화부(104)로 입력된다.
절환필터 처리부(111)는, 내부에 필터 처리부(113) 및 루프필터 절환부(114)를 갖고, 국소복호화상(16), 필터계수정보(17) 및 절환정보(18)를 취득해서 참조화상신호(19)를 출력한다. 절환정보 생성부(112)는, 절환필터 처리부(111)로부터 참조화상신호(19)를 취득함과 더불어 입력화상신호(10)를 취득하여, 소정의 절환판정방법에 따라 절환정보(18)를 생성한다. 생성한 절환정보(18)는, 절환필터 처리부(111)로 입력됨과 더불어 엔트로피 부호화부(104)로 입력된다. 절환판정방법의 상세에 대해서는 뒤에 설명한다.
필터 처리부(113)는, 국소복호화상신호(16) 및 필터계수정보(17)를 취득하고, 필터계수정보(17)에 따라 국소복호화상신보(16)에 대해 처리를 실행하여 복원화상신호(20)를 생성한다. 생성한 복원화상신호(20)는, 뒤에 설명하는 루프필터 절환부(114)로 입력된다. 루프필터 절환부(114)는, 절환정보(18)를 취득하고, 절환정보(18)에 따라 내부에 가진 스위치(SW)에 의해 단자 A와 단자 B의 접속를 절환하여, 국소복호화상신호(16) 또는 복원화상신호(20)를 참조화상신호(19)로서 출력한다.
이상이 제1 실시형태에 관계되는 동화상 부호화 장치의 구성이다.
다음에는, 도 1, 도 2, 도 3 및 도 4를 이용해서 제1 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터에 관한 동작에 대해 상세히 설명한다. 한편, 도 4는 제1 실시형태에 관계되는 동화상 부호화 장치(1000)에서의 루프필터에 관한 동작을 나타내는 플로우차트이다.
먼저, 도 1의 동화상 부호화 장치(1000)에 입력화상신호(10)가 입력되면, 감산기(102)는 입력화상신호(10)와 예측신호 생성부(101)로부터 취득한 예측화상신호(11)와의 감산처리를 실행하여 예측오차 화상신호(12)를 생성한다. 생성한 예측오차 화상신호(12)는 변환·양자화부(103)에서 변환, 양자화되어 양자화된 변환계수(13)로서 출력되고, 엔트로피 부호화부(104)에서 부호화된다. 한편, 양자화된 변환계수(13)는, 동화상 부호화 장치(1000)의 내부에 구비한 변환·양자화부(105)에서 역변환 및 역양자화되어, 예측오차 화상신호(15)로서 출력된다. 예측오차 화상신호(15)는 예측신호 생성부(101)에서 출력되는 예측화상신호(11)와 가산기(106)에서 가산되어, 국소복호화상신호(16)가 생성된다.
상기 일련의 처리는, 예측처리와 변환처리를 실행하는 이른바 하이브리드 부호화라 불리는 동화상 부호화에서의 일반적인 부호화 처리이다.
여기서는, 제1 실시형태에 관계되는 동화상 부호화 장치(1000)에서의 특징적인 처리인 루프필터에 관한 동작에 대해 도 2, 도 3 및 도 4를 이용해서 상세히 설명한다.
먼저, 도 2의 루프필터 처리부(107)의 내부에 가진 필터 설정부(110)는, 국소복호화상신호(16) 및 입력화상신호(10)를 받아 필터계수정보(17)의 설정을 행한다(단계 S1100). 여기서는, 필터 설정부(110)는 화상복원에서 일반적으로 이용되는 2차원의 위너 필터(Wiener filter)를 이용하여 국소복호화상신호(16)에 필터처리를 실시한 화상과 입력화상신호(10)와의 평균 제곱 오차가 최소로 되도록 필터계수를 설계하고, 설계한 필터계수 및 필터 사이즈를 나타내는 값을 필터계수정보(17)로 설정한다. 필터 설정부(110)는 설정한 필터계수정보(17)를 도 3의 필터 처리부(113)로 출력함과 더불어 엔트로피 부호화부(104)로 출력한다.
다음으로, 도 2의 절환필터 처리부(111)는, 국소복호화상신호(16), 필터계수정보(17) 및 절환정보(18)를 받아, 절환정보(18)에 기초해서 국소복호화상신호(16) 또는 필터 처리부(113)에서 생성한 복원화상신호(20)를 참조화상신호(19)로서 출력한다(단계 S1101∼S1109). 여기서는, 먼저 국소복호화상신호(16)를 참조화상신호(19)로 한 경우와, 복원화상신호(20)를 참조화상신호(19)로 한 경우에 대해, 절환정보 생성부(112)가 절환판정처리를 실행하여 국소복호화상신호(16) 또는 복원화상신호(20)의 어느 쪽을 참조화상신호(19)로 할 것인지를 결정하기 위한 절환정보(18)를 생성한다. 생성한 절환정보(18)에 기초해서 루프필터 절환부(114)의 내부의 스위치(SW)가 절환(切換)되어 참조화상신호(19)이 출력된다. 루프필터 처리부(107)에서의 단계 S1101로부터 단계 S1109까지의 동작의 상세한 설명을 이하에서 설명한다.
먼저, 도 3의 루프필터 절환부(114)에서의 스위치(SW)를 단자 A에 접속하고, 국소복호화상신호(16)를 참조화상신호(19)로서 절환정보 생성부(112)로 입력한다(단계 S1101). 다음에, 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상신호(19)로서 절환정보 생성부(112)로 입력한다(단계 S1102). 여기서, 스위치(SW)가 단자 B에 접속되면, 필터 처리부(113)는 필터계수정보(17)에 기초해서 국소복호화상신호(16)에 대해 필터처리를 실행하여 복원화상신호(20)를 생성한다. 예로서, 국소복호화상 상의 위치(x, y)의 화소를 F(x, y)로 하고, 2차원 필터의 폭을 W, 높이를 H로 하며, 필터계수를 h(i, j)(-w ≤ i ≤ w, -h ≤ j ≤ h, w = W/2, h = H/2)로 하면, 복원화상 G(x, y)는 이하의 식으로 나타내어진다.
Figure pct00001
035] 다음에, 도 2의 절환정보 생성부(112)는 국소복호화상신호(16)와 입력화상신호(10)와의 잔차제곱합(殘差二乘和; SSDA) 및 복원화상신호(20)와 입력화상신호(10)와의 잔차제곱합(SSDB)을 산출한다(단계 S1103). 여기서는, 절환판정처리를 화상의 국소영역마다 행하도록 하고, 국소영역 내의 화소위치를 i, 전체 화소수를 N으로 하며, 국소복호화상신호(16)를 Fi, 복원화상신호(20)를 Gi, 입력화상신호(10)를 Ii로 하면, SSDA 및 SSDB는 다음 식으로 나타내어진다.
Figure pct00002
다음에, SSDA 및 SSDB에 기초해서 이하의 절환판정처리를 실행한다(단계 S1104). SSDA가 SSDB 이하이면, 절환정보(18)인 loop_filter_flag에 0을 설정한다(단계 S1105). 반대로, SSDA가 SSDB보다 큰 값이면, loop_filter_flag에 1을 설정한다(단계, S1106). 여기서, 화상을 16×16 화소 단위로 분할해서 얻어지는 매크로블록이라 불리는 단위로 상기 절환판정처리를 실행한 경우의 참조화상의 예를 도 33에 나타낸다. 국소영역을 매크로블록으로 한 경우, 상기 [수학식 2]의 N은 256으로 되고, 절환정보(18)는 매크로블록 단위로 출력된다. 다른 실시형태로서, 절환판정처리는 프레임 단위나 슬라이스 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 화상신호를 판정해도 좋은 바, 그 경우는 절환정보(18)도 판정결과에 대응한 단위로 출력하게 된다.
다음에, 도 3의 루프필터 절환부(114)는, 생성한 절환정보(18)인 loop_filter_flag를 받아, loop_filter_flag의 값에 기초해서 내부에 구비한 스위치 (S\)를 절환한다(단계 S1107). loop_filter_flag가 0인 경우에는, 루프필터 절환부(114)는 스위치(SW)를 단자 A에 접속하고, 국소복호화상신호(16)를 참조화상신호(19)로서 참조화상용 버퍼(108)에 일시 보존한다(단계 S1108). 한편, loop_filter_flag가 1인 경우에는, 루프필터 절환부(114)는 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상신호(19)로서 참조화상용 버퍼(108)에 일시 보존한다(단계 S1109).
이상이 루프필터 처리부(107)에서의 단계 S1101로부터 단계 S1109까지의 동작이다.
마지막으로, 필터 설정부(110)에서 생성한 필터계수정보(17) 및 절환정보 생성부(112)에서 생성한 절환정보(18)는 엔트로피 부호화부(104)에서 부호화되고, 양자화 후의 변환계수(13), 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터, 양자화 파라미터 등과 함께 비트 스트림에 다중화되어, 뒤에 설명하는 동화상 복호화 장치(2000)로 송신된다(단계 S1110).
여기서, 필터계수정보(17) 및 절환정보(18)의 부호화 방법에 관해, 본 실시형태에서 이용되는 신택스 구조의 개략을 도 31을 참조해서 상세히 설명한다. 이하의 예에서는, 필터계수정보(17)를 슬라이스 단위로 설정하고, 절환정보(18)를 매크로블록 단위로 설정하는 것으로 한다.
신택스는 주로 3개의 파트로 이루어지고, 하이레벨 신택스(1900)에는 슬라이스 이상의 상위 레이어의 신택스 정보가 담겨져 있다. 슬라이스 레벨 신택스(1903)에는 슬라이스마다 필요한 정보가 명기되어 있고, 매크로블록 레벨 신택스(1907)에는 매크로블록마다 필요로 하는 변환계수 데이터나 예측 모드 정보, 움직임 벡터 등이 명기되어 있다. 각 신택스는, 더 상세한 신택스로 구성되어 있는 바, 하이레벨 신택스(1900)는 시퀀스 파라미터 세트 신택스(1901)와 픽처 파라미터 세트 신택스(1902) 등의 시퀀스, 픽처 레벨의 신택스로 구성되어 있다. 슬라이스 레벨 신택스(1903)는, 슬라이스 헤더 신택스(1904), 슬라이스 데이터 신택스(1905), 루프필터 데이터 신택스(1906) 등으로 이루어진다. 더욱이, 매크로블록 레벨 신택스(1907)는, 매크로블록 레이어 신택스(1908), 매크로블록 예측(prediction) 신택스(1909) 등으로 구성되어 있다.
루프필터 데이터 신택스(1906)에는, 도 32의 (a)에 나타낸 바와 같이 본 실시형태의 루프필터에 관한 파라미터인 필터계수정보(17) 및 절환정보(18)가 기술되어 있다. 여기서, 필터계수정보(17)인 도 32의 (a)의 filter_coeff[cy][cx]는 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 필터 사이즈를 결정하는 값이다. 여기에서는 필터 사이즈를 나타내는 값을 신택스(syntax)에 기술하고 있지만, 다른 실시형태로서 신택스에 기술하지 않고 미리 정한 고정값을 이용해도 좋다. 다만, 필터 사이즈를 고정된 값으로 한 경우, 동화상 부호화 장치(1000) 및 뒤에 설명하는 동화상 복호화 장치(2000)에서 마찬가지의 값을 이용하지 않으면 안된다는 점에 주의해야 한다. 또, 도 32의 (a)의 loop_filter_flag는 절환정보(18)로서, 슬라이스 내의 매크로블록 수의 합계인 NumOfMacroblock 분(分)의 loop_filter_flag를 전송한다.
이상이 동화상 부호화 장치(1000)에서의 루프필터에 관한 동작에 대한 설명이다.
다음에는, 동화상 부호화 장치(1000)에 대한 동화상 복호화 장치에 대해 설명한다.
도 5를 참조해서 제1 실시형태에 관계되는 동화상 복호화 장치를 설명한다. 이하, 도 5의 구성요소에 대해 각각 설명한다.
도 5에 나타낸 동화상 복호화 장치(2000)는, 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측신호 생성부(203), 가산기(加算器; 204), 절환필터 처리부(205), 참조화상용 버퍼(206)를 갖고, 복호화 제어부(207)에 의해 제어된다.
엔트로피 복호화부(201)는, 도 31에 나타낸 신택스 구조에 따라 하이레벨 신택스, 슬라이스 레벨 신택스, 매크로블록 레벨 신택스의 각각에 대해 순차로 부호화 데이터(14)의 각 신택스의 부호열(符號列)을 복호(復號)하여, 양자화된 변환계수(13), 필터계수정보(17), 절환정보(18) 등을 복원(復元)한다.
역변환·역양자화부(202)는, 양자화된 변환계수(13)를 취득해서 역양자화(逆量子化)하고, 역직교변환(예컨대 역이산 코사인 변환 등)을 실행하여 예측오차 화상신호(15)를 출력한다. 여기서는, 역직교변환(逆直交變換)에 대해 설명했지만, 동화상 부호화 장치(1000)에서 웨이브렛 변환 등이 행해지고 있는 경우, 역변환·역양자화부(202)는 대응하는 역양자화 및 역웨이브렛 변환 등을 실행한다.
예측신호 생성부(203)는, 참조화상용 버퍼(206)에 격납되어 있는 복호화가 끝난 참조화상신호(19)를 취득해서 소정의 예측처리를 실행하여 예측화상신호(11)를 출력한다. 예측처리는, 예컨대 움직임 보상(motion compensation)에 의한 시간방향의 예측이나, 화면 내의 복호화가 끝난 화소로부터의 공간방향의 예측 등을 이용해도 좋지만, 동화상 부호화 장치(1000)와 마찬가지의 예측처리가 실행되는 점에 주의해야 한다.
가산기(204)는, 취득한 예측오차 화상신호(15) 및 예측화상신호(11)를 가산하여 복호화상신호(21)를 생성한다.
절환필터 처리부(205)는, 복호화상신호(21), 필터계수정보(17) 및 절환정보(18)를 취득하고, 참조화상신호(19)를 출력한다. 절환필터 처리부(205)에 대한 상세한 설명은 뒤에 설명한다.
참조화상용 버퍼(206)는, 절환필터 처리부(205)로부터 취득한 참조화상신호(19)를 일시 보존한다. 참조화상용 버퍼(206)에 보존된 참조화상신호(19)는, 예측신호 생성부(203)에 의해 예측화상신호(11)를 생성할 때에 참조된다.
복호화 제어부(207)는, 복호화 타이밍의 제어 등을 실행하여 복호화 전체의 제어를 실행한다.
다음에는, 제1 실시형태에 관계되는 동화상 복호화 장치에서의 절환필터 처리부(205)에 대해 도 6을 이용해서 상세히 설명한다. 이하, 도 6의 구성요소에 대해 각각 설명한다.
도 6에 나타낸 절환필터 처리부(205A)는, 필터 처리부(208) 및 루프필터 절환부(209)를 갖는다. 스위치(SW)는 단자 A와 단자 B의 접속을 절환한다.
필터 처리부(208)는, 복호화상신호(21) 및 엔트로피 복호화부(201)에서 복원한 필터계수정보(17)를 받아, 필터계수정보(17)에 따라 복호화상신호(21)에 대해 필터처리를 실행하여 복원화상신호(20)를 생성한다. 생성한 복원화상(20)은, 뒤에 설명하는 루프필터 절환부(209)로 입력됨과 더불어, 출력화상신호(22)로서 복호화 제어부(207)가 관리하는 타이밍에서 출력된다.
루프필터 절환부(209)는, 엔트로피 복호화부(201)에서 복원한 절환정보(18)를 받아, 절환정보(18)에 따라 내부에 가진 스위치(SW)에 의해 단자 A와 단자 B의 접속을 절환하여, 복호화상신호(21) 또는 복원화상신호(20)를 참조화상신호(19)로서 출력한다.
이상이 제1 실시형태에 관계되는 동화상 복호화 장치의 구성이다.
다음에는, 도 5, 도 6 및 도 7을 이용해서 제1 실시형태에 관계되는 동화상 복호화 장치에서의 루프필터에 관한 동작에 대해 상세히 설명한다. 한편, 도 7은 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 루프필터에 관한 동작을 나타내는 플로우차트이다.
먼저, 도 5의 동화상 복호화 장치(2000)에 부호화 데이터(14)가 입력되면, 엔트로피 복호화부(201)에 의해 변환계수(13), 필터계수정보(17), 절환정보(18)에 더해 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터, 양자화 파라미터 등이 도 31의 신택스 구조에 따라 복호된다. 다음에, 엔트로피 복호화부(201)에 의해 복호된 변환계수(13)는 역변환·역양자화부(202)로 입력되어, 복호화 제어부(207)에 설정되어 있는 양자화 파라미터에 따라 역양자화된다. 역양자화된 변환계수에 대해 역직교변환(예컨대 이산 코사인 변환 등)이 행해져 예측오차 화상신호(15)가 복원된다. 예측오차 화상신호(15)는, 예측신호 생성부(203)에 의해 출력된 예측화상신호(11)와 가산기(204)에서 가산되어 복호화상신호(21)가 생성된다.
상기 일련의 처리는, 예측처리와 변환처리를 실행하는 이른바 하이브리드 부호화라 불리는 동화상 부호화에서의 일반적인 복호화 처리이다.
여기서는, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 특징적인 처리인 루프필터에 관한 동작에 대해 도 6 및 도 7을 이용해서 상세히 설명한다.
먼저, 엔트로피 복호화부(201)는, 도 31의 신택스 구조에 따라 필터계수정보(17) 및 절환정보(18)를 엔트로피 복호화한다(단계 S2100). 도 31의 신택스 구조에서의 슬라이스 레벨 신택스(1903)에 속하는 루프필터 데이터 신택스(1906)에는, 도 32의 (a)에 나타낸 바와 같이 본 실시형태의 루프필터에 관한 파라미터인 필터계수정보(17) 및 절환정보(18)가 기술되어 있다. 여기서, 필터계수정보(17)인 도 32의 (a)의 filter_coeff[ey][ex]는 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 필터 사이즈를 결정하는 값이다. 여기서는 필터 사이즈를 나타내는 값을 신택스에 기술하고 있지만, 다른 실시형태로서 신택스에 기술하지 않고 미리 정한 고정된 값을 필터 사이즈로 이용해도 좋다. 다만, 필터 사이즈를 고정된 값으로 한 경우, 앞에서 설명한 동화상 부호화 장치(1000)와 동화상 복호화 장치(2000)에서 마찬가지의 값을 사용하지 않으면 안된다는 점에 주의해야 한다. 또, 도 32의 (a)의 loop_filter_flag는 절환정보(18)로서, 슬라이스 내의 매크로블록 수의 합계인 NumOfMacroblock 분의 loop_filter_flag가 복호된다.
다음에, 도 6의 필터 처리부(208)는 복호한 필터계수정보(17)를 받는다(스텝 S2101). 루프필터 절환부(209)는, 복호한 절환정보(18)인 loop_filter flag를 받으면(단계 S2102), 이 loop_filter_flag의 값에 기초해서 내부에 구비한 스위치(SW)를 절환한다(단계 S2103). loop_filter_flag가 0인 경우에는, 루프필터 절환부(209)는 스위치(SW)를 단자 A에 접속하고, 복호화상신호(21)를 참조화상신호(19)로서 참조화상용 버퍼(206)에 일시 보존한다(단계 S2104). 한편, loop_filter_flag가 1인 경우에는, 루프필터 절환부(209)는 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상신호(19)로서 참조화상용 버퍼(206)에 일시 보존한다(단계 S2105). 여기서, 스위치(SW)가 단자 B에 접속되면, 필터처리부(113)는 필터계수정보(17)에 기초해서 복호화상신호(21)에 대해 필터처리를 실행하여 복원화상신호(20)를 생성한다. 예로서, 복호화상 상의 위치(x, y)의 화소를 F(x, y)로 하고, 2차원 필터의 폭을 W, 높이를 H로 하며, 필터계수를 h(i,j)(-w ≤ i ≤ w, -h ≤ j ≤ h, W = W/2, h = H/2)로 하면, 복원화상 G(x, y)는 [수학식 1]로 나타내어진다.
여기서는, 루프필터 절환부(209)는 도 32의 (a)의 신택스에 따라 매크로블록 단위로 절환정보(18)를 받아 스위치(SW)를 절환한다. 다른 실시예로서, 동화상 부호화 장치(1000)가 프레임 단위 또는 슬라이스 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 절환정보(18)를 부호화하는 경우, 동화상 복호화 장치(2000)에서는 마찬가지의 단위로 절환정보(18)의 복호화 및 절환부(209)에서의 스위치(SW)의 절환을 실행한다.
이상이 동화상 복호화 장치(2000)에서의 루프필터에 관한 동작에 대한 설명이다.
이와 같이, 제1 실시형태에 관계되는 동화상 부호화 장치에 의하면, 입력화상과 예측신호와의 오차가 최소로 되도록 루프필터의 필터계수정보를 설정해서 필터처리를 행함으로써, 복원화상의 화질을 향상시킬 수 있게 된다. 또, 루프필터 절환부(114)에서 국소복호화상신호(16)와 복원화상신호(20)의 어느 쪽을 참조화상으로 이용할지를 국소영역마다 절환함으로써, 필터에 의해 화질이 저하되는 영역에 대해서는 복원화상신호(20)를 참조화상으로 이용하지 않음으로써 화질 저하의 전파를 방지함과 더불어, 화질이 향상되는 영역에 대해서는 복원화상신호(20)를 참조화상으로서 이용함으로써 예측 정밀도를 향상시킬 수 있게 된다.
또, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에 의하면, 동화상 부호화 장치(1000)와 마찬가지의 필터계수정보, 절환정보를 이용해서 필터처리 및 절환처리를 행함으로써, 동화상 부호화 장치(1000)에서의 참조화상과 동화상 복호화 장치(2000)에서의 참조화상이 동기(同期)하는 것을 보증할 수 있다.
한편, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 절환필터 처리부(205A)에서는, 출력화상신호(22)로서 참조화상신호(19)를 출력하고 있지만, 도 8의 절환필터 처리부(205B)와 같이 복호화상신호(21)를 출력화상신호(22)로서 출력해도 좋고, 또 도 9의 절환필터 처리부(205C)와 같이 복원화상신호(20)를 출력화상신호(22)로서 출력해도 좋다. 이 경우, 복호화상 또는 복원화상을 출력화상으로서 사용하는 것을 나타내는 절환정보가 생성된다.
또, 도 10의 절환필터 처리부(205D)와 같이, 포스트 필터 절환부(210)를 새롭게 구비하고, 절환정보(18)에 의해 스위치(SW2)를 절환하여 출력화상신호(22)를 절환해도 좋다. 이 경우, 출력화상신호(22)를 절환하는 절환정보(18)로서, 예컨대 도 32의 (d)와 같이 post_filter_flag를 슬라이스 단위로 신택스에 기술하고, 그에 의해 스위치(SW2)를 절환한다. post_filter_flag는, loop_filter_flag와 마찬가지로, 프레임 단위 또는 매크로블록 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 기술해도 좋다.
한편, 제1 실시형태에 관계되는 동화상 부호화 장치(1000) 및 동화상 복호화 장치(2000)에서는, 국소복호화상신호(16)에 대해 필터처리를 실행하고 있지만, 국소복호화상신호(16)는 종래의 디블로킹 필터처리를 실시한 후의 화상을 이용해도 좋다.
한편, 이 동화상 부호화 장치(1000) 및 동화상 복호화 장치(2000)는, 예컨대 범용의 컴퓨터 장치를 기본 하드웨어로 이용하는 것으로도 실현할 수 있다. 즉, 예측신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 루프필터 처리부(107), 참조화상용 버퍼(108), 부호화 제어부(109), 필터 설정부(110), 절환필터 처리부(111), 절환정보 생성부(112), 필터 처리부(113), 루프필터 절환부(114), 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측신호 생성부(203), 가산기(204), 루프필터 처리부(205), 참조화상용 버퍼(206), 복호화 제어부(207), 필터처리부(208), 루프필터 절환부(209) 및 포스트 필터 절환부(210)는, 상기의 컴퓨터 장치에 탑재된 프로세서에 프로그램을 실행시킴으로써 실현할 수 있다. 이때, 동화상 부호화 장치(1000) 및 동화상 복호화 장치(2000)는, 상기의 프로그램을 컴퓨터 장치에 미리 인스톨(install) 함으로써 실현해도 좋고, CD-ROM 등의 기억매체에 기억시키거나, 또는 네트워크를 매개로 상기 프로그램을 배포하고, 이 프로그램을 컴퓨터 장치에 적절히 인스톨 함으로써 실현해도 좋다. 또, 참조화상용 버퍼(108) 및 참조화상용 버퍼(206)는, 상기의 컴퓨터 장치에 내장 또는 외부에 설치된 메모리, 하드디스크 또는 CD-R, CD-RW, DVD-RAM, DVD-R 등의 기억매체 등을 적절히 이용해서 실현할 수 있다.
(제2 실시형태)
다음에는 도 11을 참조해서 제2 실시형태에 관계되는 동화상 부호화 장치를 설명한다. 이하, 도 11의 구성요소에 대해 각각 설명한다.
도 11에 나타낸 동화상 부호화 장치(3000)는, 절환정보 생성 예측부(301A), 루프필터 처리부(302), 국소복호화상용 버퍼(303), 복원화상용 버퍼(304), 감산기(減算器; 102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106)를 갖고, 부호화 제어부(109)에 의해 제어된다.
여기서, 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106) 및 부호화 제어부(109)는, 제1 실시형태에 관계되는 도 1의 동화상 부호화 장치(1000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
절환정보 생성 예측부(301A)는, 도 12에 나타낸 바와 같이 내부에 참조 절환 예측부(305A) 및 절환정보 생성부(112)를 갖는다. 여기서, 절환정보 생성부(112)는, 제1 실시형태에 관계되는 동화상 부호화 장치에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다. 절환정보 생성 예측부(301A)는, 국소복호화상신호(16), 복원화상신호(20) 및 입력화상신호(10)를 취득하고, 예측화상신호(11) 및 절환정보(18)를 출력한다.
루프필터 처리부(302)는, 도 14에 나타낸 바와 같이 필터 설정부(110) 및 필터 처리부(113)을 갖는다. 필터 설정부(110) 및 필터 처리부(113)는, 제1 실시형태에 관계되는 동화상 부호화 장치에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다. 루프필터 처리부(302)는, 국소복호화상신호(16) 및 입력화상신호(10)를 취득하고, 복원화상신호(20) 및 필터계수정보(17)를 출력한다.
국소복호화상용 버퍼(303)는, 가산기(106)에서 생성한 국소복호화상신호(16)를 취득하여 일시 보존한다. 국소복호화상용 버퍼(303)에 보존한 국소복호화상신호(16)는, 절환정보 생성 예측부(301A)에 입력된다.
복원화상용 버퍼(304)는, 루프필터 처리부(302)에서 생성한 복원화상신호(20)를 취득하여 일시 보존한다. 복원화상용 버퍼(304)에 보존한 복원화상신호(20)는, 절환정보 생성 예측부(301A)에 입력된다.
참조 절환 예측부(305A)는, 도 13에 나타낸 바와 같이 예측신호 생성부(101) 및 루프필터 절환부(114)를 갖는다. 여기서, 예측신호 생성부(101) 및 루프필터 절환부(114)는, 각각 제1 실시형태에 관계되는 동화상 부호화 장치(1000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다. 참조 절환 예측부(305A)는, 국소복호화상신호(16), 복원화상신호(20) 및 절환정보(18)를 취득하고, 취득한 절환정보(18)에 기초해서 국소복호화상신호(16) 또는 복원화상신호(20) 중 어느 쪽을 참조화상으로 해서 소정의 예측처리를 실행하여 예측화상신호(11)를 출력한다. 예측처리는, 예컨대 움직임 예측·움직임 보상에 의한 시간방향의 예측이나, 화면 내의 복호화가 끝난 화소로부터의 공간방향의 예측 등을 이용해도 좋다.
이상이 제2 실시형태에 관계되는 동화상 부호화 장치의 구성이다.
다음에는, 도 11, 도 12, 도 13, 도 14 및 도 15를 이용해서 제2 실시형태에 관계되는 동화상 부호화 장치의 동작에 대해 상세히 설명한다. 한편, 도 15는 제2 실시형태에 관계되는 동화상 부호화 장치(3000)에서의 루프필터에 관한 동작을 나타내는 플로우차트이다
먼저, 종래의 하이브리드 부호화나 제1 실시형태에 관계되는 동화상 부호화 장치(1000)와 마찬가지로, 예측, 변환, 양자화, 엔트로피 부호화를 행함과 더불어 부호화장치 내부에서 국소복호를 실행하여 국소복호화상신호(16)를 생성한다. 다음에, 생성한 국소복호화상신호(16)를 국소복호화상용 버퍼(303)에 일시 보존한다(단계 S3100). 루프필터 처리부(302) 내부의 필터 설정부(110)에 있어서, 국소복호화상신호(16) 및 입력화상신호(10)를 취득하여 필터계수정보(17)의 설정을 실행한다(단계 S3101). 여기서는, 화상 복원에서 일반적으로 이용되는 2차원의 위너 필터를 이용하여 국소복호화상신호(16)에 필터처리를 실시한 화상과, 입력화상신호(10)와의 평균 제곱 오차가 최소로 되도록 필터계수를 설계하고, 설계한 필터계수 및 필터 사이즈를 나타내는 값을 필터계수정보(17)로서 설정한다. 설정한 필터계수정보(17)는, 마찬가지로 루프필터 처리부(302) 내부의 필터 처리부(113)로 출력됨과 더불어 엔트로피 부호화부(104)로 출력된다.
루프필터 처리부(302) 내부의 필터 처리부(113)는, 국소복호화상신호(16)에 대해 필터 설정부(110)로부터 취득한 필터계수정보(17)를 이용해서 필터처리를 실행하여 복원화상신호(20)를 생성한다(단계 S3102). 생성한 복원화상신호(20)는 복원화상용 버퍼(304)에 일시 보존된다(단계 S3103).
필터 설정부(110)에서 생성한 필터계수정보(17)를 엔트로피 부호화부(104)에서 부호화하고, 양자화 후의 변환계수(13), 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터, 양자화 파라미터 등과 함께 비트 스트림에 다중화해서, 뒤에 설명하는 동화상 복호화 장치(4000)로 송신한다(단계 S3104). 이때, 필터계수정보(17)는, 도 31의 신택스 구조에서의 슬라이스 레벨 신택스(1903)에 속하는 루프필터 데이터 신택스(1906)에 있어서, 도 32의 (b)와 같이 기술된다. 여기서, 필터계수정보(17)인 도 32의 (b)의 filter_coeff[ey][ex]는 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 필터 사이즈를 결정하는 값이다. 여기서는 필터 사이즈를 나타내는 값을 신택스에 기술하도록 되어 있지만, 다른 실시형태로서 신택스에 기술하지 않고 미리 정한 고정된 값을 필터 사이즈로 이용해도 좋다. 다만, 필터 사이즈를 고정된 값으로 한 경우, 당해 동화상 부호화 장치(3000)와 뒤에 설명하는 동화상 복호화 장치(4000)에 있어서 마찬가지의 값을 이용하지 않으면 안된다는 점에 주의해야 한다.
다음에, 절환정보 생성 예측부(301A)는, 국소복호화상신호(16) 또는 복원화상신호(20)를 참조 화상으로 해서 소정의 예측처리를 실행하여 예측화상신호(11)를 출력한다(단계 S3105∼3113). 여기서는, 먼저 참조 절환 예측부(305A)는 국소복호화상을 참조화상으로 한 경우의 예측화상과, 복원화상을 참조화상으로 한 경우의 예측화상을 각각 취득하고, 그들에 기초해서 절환정보 생성부(112)는 절환판정처리를 실행하여 국소복호화상 또는 복원화상의 어느 쪽을 참조화상으로 할 것인지를 결정하기 위한 절환정보(18)를 생성한다. 참조 절환 예측부(305A)는 생성된 절환정보(18)에 기초해서 도 13의 루프필터 절환부(114) 내부의 스위치(SW)를 절환하여 예측화상신호(11)를 출력한다. 단계 S3105로부터 단계 S3113까지의 동작의 상세한 설명을 이하에서 설명한다.
먼저, 참조 절환 예측부(305A)는 도 13의 루프필터 절환부(114)에서의 스위치(SW)를 단자 A에 접속하고, 예측신호 생성부(101)에서 국소복호화상신호(16)를 참조화상으로 해서 예측화상신호(11)를 취득하여 도 12의 절환정보 생성부(112)로 입력한다(단계 S3105). 다음에, 참조 절환 예측부(305A)는 스위치(SW)를 단자 B에 접속하고, 예측신호 생성부(101)에서 복원화상신호(20)를 참조화상으로 해서 예측화상신호(11)를 취득하여 도 12의 절환정보 생성부(112)로 입력한다(단계 S3106).
절환정보 생성부(112)는, 국소복호화상신호(16)로부터 취득한 예측화상과 입력화상신호(10)와의 잔차제곱합(SSDA) 및 복원화상신호(20)로부터 취득한 예측화상과 입력화상신호(10)와의 잔차제곱합(SSDB)을 산출한다(단계 S3107). SSDA 및 SSDB는, 국소복호화상신호(16)로부터 취득한 예측화상을 Fi, 복원화상신호(20)로부터 취득한 예측화상을 Gi로 하면, [수학식 2]와 마찬가지의 식으로 나타내어진다.
절환정보 생성부(112)는, SSDA 및 SSDB에 기초해서 이하의 절환판정처리를 실행한다(단계 S3108). SSDA가 SSDB 이하이면, 절환정보(18)인 loop_filter_flag에 0을 설정한다(단계 S3109). 반대로, SSDA가 SSDB보다 큰 값이면, loop_filter_flag에 1을 설정한다(단계 S3110). 여기서는, 상기 절환 판정 처리를 매크로블록마다 실행하여 절환정보(18)를 매크로블록 단위로 출력한다. 다른 실시형태로서, 절환판정처리를 프레임 단위나 슬라이스 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 판정해도 좋은 바, 그 경우 절환정보(18)도 판정 결과에 대응한 단위로 출력한다.
또, 예측신호 생성부(101)에서의 예측처리가 움직임 예측인 경우, 상기 절환판정처리는 움직임 예측처리로서 일반적인 방법을 이용해도 좋은 바, 예컨대 잔차제곱합 D에 대해 절환정보, 참조화상 인덱스, 움직임 벡터 등의 파라미터 정보의 부호량 R을 가미(加味)한 다음 식과 같은 코스트 J를 국소복호화상 및 복원화상 각각에 대해 계산하고, 코스트 J를 이용해서 판정을 실행해도 좋다.
Figure pct00003
[수학식 3]의 λ는 정수로 주어지고, 양자화 폭이나 양자화 파라미터의 값에 기초해서 결정된다. 이와 같이 해서 얻어진 코스트 J가 한층 더 작은 값을 부여하는 절환정보, 참조화상 인덱스, 움직임 벡터를 부호화한다. 또, 본 실시형태에서는, 잔차제곱합(殘差二乘和)을 이용했지만, 다른 실시형태로서 잔차절대치합(殘差絶對値和)을 이용해도 좋고, 이들을 아다말 변환시키거나, 근사한 값을 이용하거나 해도 좋다. 또, 입력화상의 액티비티를 이용해서 코스트를 작성해도 좋고, 양자화 폭, 양자화 파라미터를 이용해서 코스트 함수를 작성해도 좋다. 또, 예측처리는 움직임 예측에 한정되는 것이 아니라, 예측처리로서 어떠한 파라미터를 필요로 하는 예측이라면, 그 파라미터의 부호량을 R로 해서 상기 식을 이용해 코스트 J를 산출해도 좋다.
다음에, 도 13의 루프필터 절환부(114)는, 생성한 절환정보(18)인 loop_filter_flag를 받아, loop_filter_flag의 값에 기초해서 내부에 구비한 스위치(SW)를 절환한다(단계 S3111). loop_filter_flag가 0인 경우에는, 루프필터 절환부(114)는, 스위치(SW)를 단자 A에 접속하고, 국소복호화상신호(16)를 참조화상신호(19)로서 출력하여 예측신호 생성부(101)에서 예측화상신호(11)를 생성한다(단계 S3112). 한편, loop_filter_flag가 1인 경우에는, 루프필터 절환부(114)는 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상신호(19)로서 출력하여 예측신호 생성부(101)에서 예측화상신호(11)를 생성한다(단계 S3113).
이상이 절환정보 생성 예측부(301A)에서의 단계 S3105로부터 단계 S3113까지의 동작이다.
마지막으로, 엔트로피 부호화부(104)는 절환정보(18)를 부호화하고, 양자화 후의 변환계수(13), 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터, 양자화 파라미터와 함께 비트 스트림에 다중화해서, 뒤에 설명하는 동화상 복호화 장치(4000)로 송신한다(단계 S3114). 이때, 절환정보(18)인 loop_filter_flag는, 도 31의 신택스 구조에서의 매크로블록 레벨 신택스(1907)에 속하는 매크로블록 레이어 신택스(1908)에 있어서, 도 32의 (c)와 같이 기술된다.
이상이 동화상 부호화 장치(3000)에서의 루프필터에 관한 동작에 대한 설명이다.
다음에는, 동화상 부호화 장치(3000)에 대한 동화상 복호화 장치에 대해 설명한다. 도 16을 참조해서 제2 실시형태에 관계되는 동화상 복호화 장치를 설명한다. 이하, 도 16의 구성요소에 대해 각각 설명한다.
도 16에 나타낸 동화상 복호화 장치(4000)는, 참조 절환 예측부(401A), 복호화상용 버퍼(402), 복원화상용 버퍼(403), 엔트로피 복호화부(201), 역변환·역양자화부(202), 가산기(204), 필터 처리부(208)를 갖고, 복호화 제어부(206)에 의해 제어된다.
여기서, 엔트로피 복호화부(201), 역변환·역양자화부(202), 가산기(204), 필터 처리부(208) 및 복호화 제어부(206)는, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
참조 절환 예측부(401A)는, 도 17에 나타낸 바와 같이 예측신호 생성부(203) 및 루프필터 절환부(209)를 갖는다. 예측신호 생성부(203) 및 루프필터 절환부(209)는, 각각 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다. 참조 절환 예측부(401A)는, 복호화상신호(21), 복원화상신호(20) 및 엔트로피 복호화부(201)에서 복호한 절환정보(18)를 받고, 받은 절환정보(18)에 기초해서 복호화상신호(21) 또는 복원화상신호(20) 중 어느 쪽을 참조화상으로 해서 소정의 예측처리를 실행하여 예측화상신호(11)를 출력한다. 예측처리는, 예컨대 움직임 보상에 의한 시간방향의 예측이나, 화면 내의 복호화가 끝난 화소로부터의 공간방향의 예측 등을 이용해도 좋지만, 동화상 부호화 장치(3000)와 마찬가지의 예측처리가 실행되는 점에 주의해야 한다.
복호화상용 버퍼(402)는, 가산기(204)에서 생성한 복호화상신호(21)를 취득하여 일시 보존한다. 복호화상용 버퍼(402)에 보존한 복호화상신호(21)는 참조 절환 예측부(401A)에 입력된다. 복원화상용 버퍼(403)는, 필터 처리부(208)에서 생성한 복원화상신호(20)를 취득하여 일시 보존한다. 복원화상용 버퍼(403)에 보존한 복원화상신호(20)는 참조 절환 예측부(401A)에 입력된다.
이상이 제2 실시형태에 관계되는 동화상 복호화 장치의 구성이다.
다음에는, 도 16, 도 17 및 도 18을 이용해서 제2 실시형태에 관계되는 동화상 복호화 장치의 동작에 대해 상세히 설명한다. 한편, 도 18은 제2 실시형태에 관계되는 동화상 복호화 장치(4000)에서의 루프필터에 관한 동작을 나타내는 플로우차트이다.
먼저, 부호화 데이터(14)가 동화상 복호화 장치(4000)에 입력되면, 엔트로피 복호화부(201)에 의해 필터계수정보(17), 절환정보(18)에 더해 변환계수(13), 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터, 양자화 파라미터 등이 도 31의 신택스 구조에 따라 복호된다(단계 S4100).
도 31의 신택스 구조에서의 슬라이스 레벨 신택스(1903)에 속하는 루프필터 데이터 신택스(1906) 내에는, 도 32의 (b)에 나타낸 바와 같이 필터계수정보(17)가 기술되어 있다. 여기서, 필터계수정보(17)인 도 32의 (b)의 filter_coeff[ey][ex]는 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 필터 사이즈를 결정하는 값이다. 여기서는 필터 사이즈를 나타내는 값을 신택스에 기술하고 있지만, 다른 실시형태로서 신택스에 기술하지 않고 미리 정한 고정된 값을 필터 사이즈로 이용해도 좋다. 다만, 필터 사이즈를 고정된 값으로 한 경우, 동화상 부호화 장치(3000)와 동화상 복호화 장치(4000)에서 마찬가지의 값을 이용하지 않으면 안된다는 점에 주의해야 한다.
또, 도 31의 신택스 구조에서의 매크로블록 레벨 신택스(1907)에 속하는 매크로블록 레이어 신택스(1908) 내에는, 도 32의 (c)에 나타낸 바와 같이 절환정보(18)로서 loop_filter_flag가 기술되어 있다.
엔트로피 복호화부(201)에 의해 복호된 변환계수(13)는, 종래의 하이브리드 부호화나 제1 실시형태에 관계되는 동화상 복호화 장치(2000)와 마찬가지로, 엔트로피 복호화, 역양자화, 역변환되고, 참조 절환 예측부(401A)에서 출력된 예측화상신호(11)와 가산되어 복호화상신호(21)로서 출력된다. 복호화상신호(21)는, 필터 처리부(208)로 출력됨과 더불어 복호화상용 버퍼(402)에 일시 보존된다(단계 S4101).
필터 처리부(208)는, 엔트로피 복호화부(201)에서 복원한 필터계수정보(17)를 취득한다(단계 S4102). 또, 필터 처리부(208)는, 복호화상신호(21)를 받아, 복호화상에 대해 필터계수정보(17)를 이용해서 필터처리를 실행하여 복원화상신호(20)를 생성한다(단계 S4103). 필터 처리부(208)는, 생성한 복원화상신호(20)를 출력화상신호(22)로서 출력함과 더불어 복원화상용 버퍼(403)에 일시 보존한다(단계 S4104).
다음에, 참조 절환 예측부(401A)는, 복호화상신호(21) 또는 복원화상신호(20)를 참조화상으로 해서 예측화상신호(11)를 생성한다(단계 S4105∼S4108). 이하, 단계 S4105로부터 단계 S4108의 동작에 대해 설명한다.
먼저, 도 17의 참조 절환 예측부(401A)는 복호한 절환정보(18)인 loop_filter flag를 취득한다(단계 S4105). 다음에, 참조 절환 예측부(401A) 내부의 루프필터 절환부(209)는, 취득한 loop_filter_flag에 기초해서 스위치(SW)를 절환한다(단계 S4106). loop_filter_flag가 0인 경우에는, 루프필터 절환부(209)는 스위치(SW)를 단자 A에 접속하고, 복호화상신호(21)를 참조화상신호(19)로서 취득해서 예측신호 생성부(203)로 보낸다. 예측신호 생성부(203)는 복호화상신호(21)에 대응하는 참조화상신호(19)에 기초해서 예측화상신호(11)를 생성한다(단계 S4107). 한편, loop_filter_flag가 1인 경우에는, 루프필터 절환부(209)는 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상신호(19)로서 취득해서 예측신호 생성부(203)로 보낸다. 예측신호 생성부(203)는 복원화상신호(20)에 대응하는 참조화상신호(19)에 기초해서 예측화상신호(11)를 생성한다(단계 S4108).
이상이 참조 절환 예측부(401A)에서의 단계 S4105로부터 단계 S4108까지의 동작이다.
여기서는, 참조 절환 예측부(401A)는, 도 32의 (c)의 신택스에 따라 매크로블록 단위로 절환정보(18)를 취득함과 더불어 스위치(SW)를 절환한다. 다른 실시형태로서, 동화상 부호화 장치(3000)가 프레임 단위나 슬라이스 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 절환정보(18)를 부호화하는 경우, 동화상 복호화 장치(4000)는 마찬가지의 단위로 절환정보(18)의 복호화 및 루프필터 절환부(209)에서의 스위치(SW)의 절환을 실행한다.
이상이 동화상 복호화 장치(4000)에서의 루프필터에 관한 동작에 대한 설명이다.
이와 같이, 제2 실시형태에 관계되는 동화상 부호화 장치에 의하면, 입력화상과 예측신호와의 오차가 최소로 되는 루프필터의 필터계수정보를 설정해서 필터처리를 행함으로써, 참조화상의 화질을 향상시킬 수 있게 된다. 또, 절환정보 생성 예측부(301A)의 내부에 구비한 루프필터 절환부(114)에서 국소복호화상신호(16)와 복원화상신호(20) 중 어느 쪽을 참조화상으로 해서 예측처리를 행할 것인지를 절환함으로써, 필터에 의해 화질이 저하되는 영역에 대해서는 복원화상신호(20)를 참조화상으로 이용하지 않음으로써 화질 저하의 전파를 방지함과 더불어, 화질이 향상되는 영역에 대해서는 복원화상신호(20)를 참조화상으로 이용함으로써 예측 정밀도를 향상시킬 수 있게 된다.
또, 제2 실시형태에 관계되는 동화상 복호화 장치(4000)에 의하면, 동화상 부호화 장치(3000)와 마찬가지의 필터계수정보, 절환정보를 이용해서 필터처리 및 참조화상의 절환을 행함으로써, 동화상 부호화 장치(3000)에서의 참조화상과 동화상 복호화 장치(4000)에서의 참조화상이 동기하는 것을 보증할 수 있다.
한편, 제2 실시형태에 관계되는 동화상 복호화 장치(4000)에서는, 필터 처리부(208)에서 생성한 복원화상신호(20)를 출력화상신호(22)로서 출력했지만, 다른 실시형태로서 복호화상신호(21)를 출력화상신호(22)로서 출력해도 좋다. 또, 제2 실시형태에 관계되는 동화상 부호화 장치(3000) 및 동화상 복호화 장치(4000)에서는, 국소복호화상신호(16)에 대해 필터처리를 실행하고 있지만, 국소복호화상신호(16)는 종래의 디블로킹 필터처리를 실행한 후의 화상을 이용해도 좋다.
또, 제2 실시형태에 관계되는 동화상 부호화/복호화 장치에 있어서, 상기 실시형태에서는 복원화상용 버퍼에 일시 보존해 둔 화상신호(20)를 참조 예측부(401A)에서 취득하여 이용하고 있지만, 다른 실시형태로서 복원화상용 버퍼를 가지지 않고 참조 절환 예측부 내부에 필터 처리부를 구비하도록 함으로써, 참조화상 절환 예측부 내부에서 복원화상을 생성해도 좋다. 이와 같은 실시형태에서의 동화상 부호화 장치 및 동화상 복호화 장치에 관계되는 도면을 도 19∼도 23에 나타낸다.
도 19의 동화상 부호화 장치(3001)는 절환정보 생성 예측부(301B)를 갖고, 도 20의 절환정보 생성 예측부(301B)는 참조 절환 예측부(305B)를 갖는다. 도 21의 참조 절환 예측부(305B)는, 내부에 필터 처리부(113)를 구비하고, 이에 의해 국소복호화상신호(16) 및 필터계수정보(17)응 취득함으로써 복원화상신호(20)를 생성할 수 있다. 또, 도 22의 동화상 복호화 장치(4001B)는 참조 절환 예측부(401B)를 갖는다. 도 23의 참조 절환 예측부(401B)는, 내부에 필터 처리부(208)를 구비하고, 이에 의해 복호화상신호(21) 및 필터계수정보(17)를 취득함으로써 복원화상신호(20)를 생성할 수 있다.
이와 같이, 동화상 부호화 장치(3001) 및 동화상 복호화 장치(4001)와 같은 구성을 취함으로써, 복원화상용 버퍼에 필요한 메모리량을 삭감하면서도, 동화상 부호화 장치(3000) 및 동화상 복호화 장치(4000)와 같은 동작을 실현할 수 있게 된다.
한편, 이들 동화상 부호화 장치(3000, 3001) 및 동화상 복호화 장치(4000, 4001)는, 예컨대 범용의 컴퓨터 장치를 기본 하드웨어로 이용하는 것으로도 실현할 수 있다. 즉, 절환정보 생성 예측부(301), 루프필터 처리부(302), 국소복호화상용 버퍼(303), 복원화상용 버퍼(304), 참조 절환 예측부(305), 예측신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 부호화 제어부(109), 필터 설정부(110), 절환정보 생성부(112), 필터 처리부(113), 루프필터 절환부(114), 참조 절환 예측부(401), 복호화상용 버퍼(402), 복원화상용 버퍼(403), 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측신호 생성부(203), 가산기(204), 복호화 제어부(206), 필터 처리부(208) 및 루프필터 절환부(209)는, 상기 컴퓨터 장치에 탑재된 프로세서에 프로그램을 실행시킴으로써 실현할 수 있다. 이때, 동화상 부호화 장치(3000, 3001) 및 동화상 복호화 장치(4000, 4001)는, 상기의 프로그램을 컴퓨터 장치에 미리 인스톨 함으로써 실현해도 좋고, CD-ROM 등의 기억매체에 기억시키거나, 또는 네트워크를 매개로 상기 프로그램을 배포하고, 이 프로그램을 컴퓨터 장치에 적절히 인스톨 함으로써 실현해도 좋다. 또, 국소복호화상용 버퍼(303), 복원화상용 버퍼(304), 복호화상용 버퍼(402) 및 복원화상용 버퍼(403)는, 상기의 컴퓨터 장치에 내장 또는 외부에 부착된 메모리, 하드디스크 또는 CD-R, CD-RW, DVD-RAM, DVD-R 등의 기억매체 등을 적절히 이용해서 실현할 수 있다.
(제3 실시형태)
다음에는 도 24를 참조해서 제3 실시형태에 관계되는 동화상 부호화 장치를 설명한다. 이하, 도 24의 구성요소에 대해 각각 설명한다.
도 24에 나타낸 동화상 부호화 장치(5000)는, 루프필터 처리부(501), 예측신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 참조화상용 버퍼(108)를 갖고, 부호화 제어부(109)에 의해 제어된다.
여기서, 예측신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 참조화상용 버퍼(108) 및 부호화 제어부(109)는, 제1 실시형태에 관계되는 도 1의 동화상 부호화 장치(1000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
루프필터 처리부(501)는, 국소복호화상신호(16) 및 입력화상신호(10)를 받아 참조화상신호(19) 및 필터계수정보(17)를 출력한다. 루프필터 처리부(501)에 대한 상세한 설명은 뒤에 설명한다.
다음에, 제3 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터 처리부(501)에 대해, 도 25 및 도 26을 이용해서 상세히 설명한다. 이하, 도 25 및 도 26의 구성요소에 대해 각각 설명한다.
도 25에 나타낸 루프필터 처리부(501)는 필터 설정부(110) 및 절환정보 생성필터 처리부(502)를 갖고, 또 절환정보 생성필터 처리부(502)는 도 26에 나타낸 바와 같이 절환필터 처리부(111) 및 절환정보 생성부(503)를 갖는다. 여기서, 필터 설정부(110), 절환필터 처리부(111)는, 제1 실시형태에 관계되는 도 2의 루프필터 처리부(107)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
절환정보 생성부(503)는, 부호화 제어부(109)에 의해 제어되고, 국소복호화상신호(16)를 받아 소정의 절환판정방법에 따라 절환정보(18)를 생성한다. 생성한 절환정보(18)는 절환필터 처리부(111)로 입력된다. 절환판정방법의 상세에 대해서는 뒤에 설명한다.
이상이 제3 실시형태에 관계되는 동화상 부호화 장치의 구성이다.
다음에는, 도 25, 도 26 및 도 27을 이용해서 제3 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터의 동작에 대해 상세히 설명한다. 한편, 도 27은 제3 실시형태에 관계되는 동화상 부호화 장치(5000)에서의 루프필터에 관한 동작을 나타내는 플로우차트이다.
먼저, 도 25에 나타낸 필터 설정부(110)는, 국소복호화상신호(16) 및 입력화상신호(10)를 취득하고, 필터계수정보(17)의 설정을 실행한다(단계 S5100). 여기서는, 필터 설정부(110)는 화상 복원에서 일반적으로 이용되는 2차원의 위너 필터를 이용하여 국소복호화상신호(16)에 필터처리를 한 화상과, 입력화상신호(10)와 평균 제곱 오차가 최소로 되도록 필터계수를 설계하고, 설계한 필터계수 및 필터 사이즈를 나타내는 값을 필터계수정보(17)로서 설정한다. 설정한 필터계수정보(17)는, 도 25에 나타낸 절환정보 생성필터 처리부(502)로 출력함과 더불어 엔트로피 부호화부(104)로 출력한다.
다음에, 도 26에 나타낸 절환정보 생성필터 처리부(502) 내부에 구비한 절환정보 생성부(503)는, 국소복호화상신호(16)를 취득한다(단계 S5101). 절환정보 생성부(503)는, 국소복호화상신호(16)에서의 주목화소(注目畵素)와, 그 주변의 화소와의 차분 절대치합(SAD)을 화소단위로 산출한다(단계 S5102). SAD는, 국소복호화상 내의 화소의 좌표를 x, y로 하고, 국소복호화상을 F(x, y)로 하면, 다음 식으로 나타내어진다.
Figure pct00004
다음에, SAD와 미리 부호화 제어부(109)에 설정한 임계치(threshold: 역치) T을 이용해서, 이하의 절환판정처리를 실행한다(단계 S5103). SAD가 T 이하이면, 절환정보(18)인 loop_filter_flag에 0을 설정한다(단계 S5104). 반대로, SAD가 T보다 큰 값이면, loop_filter_flag에 1을 설정한다(단계 S5105). 여기서는, 절환정보(18)를 화소 단위로 구했지만, 다른 실시형태로서 절환판정처리를 프레임 단위나 슬라이스 단위 또는 매크로블록 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 판정해도 좋은 바, 그 경우 절환정보(18)도 거기에 대응한 단위로 출력한다.
또, 여기서는 대상 화소와 주변 화소와의 차분 절대치합을 이용했지만, 다른 실시형태로서 차분 제곱합을 이용해도 좋고, 국소복호화상으로부터 산출할 수 있는 지표이면, 액티비티나 공간 주파수, 엣지 강도, 엣지 방향 등의 지표를 이용해도 좋다. 또, 여기서는 상기 지표를 국소복호화상으로부터 산출했지만, 국소복호화상에 대해 필터처리를 실행한 후의 복원화상을 취득하고, 복원화상으로부터 상기 지표를 산출해도 좋다.
또, 다른 실시형태로서 부호화 정보의 일부인 양자화 파라미터나, 블록 사이즈, 예측 모드, 움직임 벡터, 변환계수 등에 기초해서 절환판정처리를 실행해도 좋다.
다음에, 도 26에 나타낸 절환필터 처리부(111)는, 생성한 절환정보(18)에 더해 국소복호화상신호(16) 및 필터계수정보(17)를 취득하고, 제1 실시형태에 관계되는 동화상 부호화 장치(1000)에서의 도 4의 단계 S1107로부터 단계 S1109까지와 마찬가지의 동작을 행함으로써, 참조화상신호(19)를 출력한다. 즉, 도 3의 루프필터 절환부(114)는, 생성한 절환정보(18)인 loop_filter_flag를 취득하고, loop_filter flag의 값에 기초해서 내부에 구비한 스위치(SW)를 절환한다(단계 S5106). loop_filter_flag가 0인 경우에는, 루프필터 절환부(114)는 스위치(SW)를 단자 A에 접속하고, 국소복호화상신호(16)를 참조화상신호(19)으로서 참조화상용 버퍼(108)에 일시 보존한다(단계 S5107). 한편, loop_filter_flag가 1인 경우에는, 루프필터 절환부(114)는 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상신호(19)로서 참조화상용 버퍼(108)에 일시 보존한다(단계 S5108).
마지막으로, 필터 설정부(110)에서 생성한 필터계수정보(17)는, 엔트로피 부호화부(104)에서 부호화되고, 양자화 후의 변환계수(13), 예측 모드 정보, 블록 사이즈 절환정보, 움직임 벡터, 양자화 파라미터 등과 함께 비트 스트림에 다중화(多重化)되어, 뒤에 설명하는 동화상 복호화 장치(6000)로 송신된다(단계 S5109). 이때, 필터계수정보(17)는, 도 31의 신택스 구조에서의 슬라이스 레벨 신택스(1903)에 속하는 루프필터 데이터 신택스(1906)에 있어서, 도 32의 (b)와 같이 기술된다. 필터계수정보(17)인 도 32의 (b)의 filter_coeff[ey][ex]는 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 필터 사이즈를 결정하는 값이다. 여기서는 필터 사이즈를 나타내는 값을 신택스에 기술하고 있지만, 다른 실시형태로서 신택스에 기술하지 않고 미리 정한 고정된 값을 필터 사이즈로 이용해도 좋다. 다만, 필터 사이즈를 고정된 값으로 한 경우, 동화상 부호화 장치(5000)와 뒤에 설명하는 동화상 복호화 장치(6000)에서 마찬가지의 값을 이용하지 않으면 안된다는 점에 주의해야 한다.
이상이 동화상 부호화 장치(5000)에서의 루프필터에 관한 동작에 대한 설명이다.
다음에는, 동화상 부호화 장치(6000)에 대한 동화상 복호화 장치에 대해 설명한다. 도 28을 참조해서 제3 실시형태에 관계되는 동화상 복호화 장치를 설명한다. 이하, 도 28의 구성요소에 대해 각각 설명한다.
도 28에 나타낸 동화상 복호화 장치(6000)는, 절환정보 생성필터 처리부(601), 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측신호 생성부(203), 가산기(204), 참조화상용 버퍼(206)를 갖고, 복호화 제어부(207)에 의해 제어된다.
여기서, 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측신호 생성부(203), 가산기(204), 참조화상용 버퍼(206) 및 복호화 제어부(207)는, 제1 실시형태에 관계되는 도 5의 동화상 복호화 장치(2000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
절환정보 생성필터 처리부(601)는, 복호화상신호(21) 및 필터계수정보(17)를 취득하고, 참조화상신호(19) 및 출력화상신호(22)를 출력한다. 절환정보 생성필터 처리부(601)에 대한 상세한 설명은 뒤에 설명한다.
다음에, 제3 실시형태에 관계되는 동화상 복호화 장치에서의 절환정보 생성필터 처리부(601)에 대해 도 29를 이용해서 상세히 설명한다. 이하, 도 29의 구성요소에 대해 각각 설명한다.
도 29에 나타낸 절환정보 생성필터 처리부(601)는, 절환정보 생성부(602) 및 절환필터 처리부(205)를 갖는다. 여기서, 절환필터 처리부(205)는, 제1 실시형태에 관계되는 도 5의 동화상 복호화 장치(2000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
절환정보 생성부(602)는, 복호화 제어부(207)에 의해 제어되어 복호화상신호(21)를 취득하고, 소정의 절환판정방법에 따라 절환정보(18)를 생성한다. 생성한 절환정보(18)는 절환필터 처리부(205)로 입력된다. 절환판정방법의 상세에 대해서는 뒤에 설명한다.
이상이 제3 실시형태에 관계되는 동화상 복호화 장치의 구성이다.
다음에, 도 28, 도 29 및 도 30을 이용해서 제3 실시형태에 관계되는 동화상 복호화 장치의 동작에 대해 상세히 설명한다. 한편, 도 30은 제3 실시형태에 관계되는 동화상 복호화 장치(6000)에서의 루프필터에 관한 동작을 나타낸 플로우차트이다.
먼저, 엔트로피 복호화부(201)는 도 31의 신택스 구조에 따라 필터계수정보(17)를 복호한다(단계 S6100). 도 31의 신택스 구조에서의 슬라이스 레벨 신택스(1903)에 속하는 루프필터 데이터 신택스(1906) 내에는, 도 32의 (b)에 나타낸 바와 같이 필터계수정보(17)가 기술되어 있다. 여기서, 필터계수정보(17)인 도 32의 (b)의 filter_coeff[ey][ex]는 2차원 필터의 계수이고, filter_size_y 및 filter_size_x는 필터 사이즈를 결정하는 값이다. 여기서는 필터 사이즈를 나타내는 값을 신택스에 기술하고 있지만, 다른 실시형태로서 신택스에 기술하지 않고 미리 정한 고정된 값을 이용해도 좋다. 다만, 필터 사이즈를 고정된 값으로 한 경우, 동화상 부호화 장치(5000)와 동화상 복호화 장치(6000)에서 마찬가지의 값을 이용하지 않으면 안된다는 점에 주의해야 한다.
절환정보 생성필터 처리부(601)는 복호한 필터계수정보(17)를 취득한다(단계 S6101). 또, 절환정보 생성필터 처리부(601)는 가산기(204)로부터 취득한 복호 화상신호(21)를 취득한다(단계 S6102). 도 29에 나타낸 절환정보 생성필터 처리부(601)의 내부에 구비한 절환정보 생성부(602)는, 복호화상신호(21)에서의 주목화소와, 그 주변의 화소와의 차분 절대치합(SAD)을 화소단위로 산출한다(단계 S6103). SAD는, 복호화상 내의 화소의 좌표를 x, y로 하고, 복호화상을 F(x, y)로 하면, [수학식 4]로 나타내어진다.
SAD와 미리 복호화 제어부(207)에 설정한 임계치 T를 이용해서, 이하의 절환판정처리를 실행한다(단계 S6104). 여기서, 임계치 T는 동화상 부호화 장치(5000)에서 설정한 임계치 T와 같은 값을 이용하는 점에 주의한다. SAD가 T 이하이면, 절환정보(18)인 loop_filter_flag에 0을 설정한다(단계 S6105). 반대로, SAD가 T보다 큰 값이면, loop_filter_flag에 1을 설정한다(단계 S6106). 여기서는, 절환정보(18)를 화소 단위로 구했지만, 다른 실시형태로서 절환판정처리를 프레임 단위나 슬라이스 단위 또는 매크로블록 단위 또는 매크로블록과는 다른 사이즈의 블록 단위로 판정해도 좋고, 그 경우 절환정보(18)도 거기에 대응한 단위로 복호한다.
또, 여기서는 대상 화소와 주변 화소와의 차분 절대치합을 이용했지만, 다른 실시형태로서 차분 제곱합을 이용해도 좋고, 복호화상으로부터 산출할 수 있는 지표(指標)이면, 액티비티나 공간 주파수, 엣지 강도, 엣지 방향 등의 지표를 이용해도 좋다. 또, 여기서는 상기 지표를 복호화상으로부터 산출했지만, 복호화상에 대해 필터처리를 실행한 후의 복원화상을 취득하고, 복원화상으로부터 상기 지표를 산출해도 좋다.
또, 다른 실시형태로서 부호화 정보의 일부인 양자화 파라미터나, 블록 사이즈, 예측 모드, 움직임 벡터, 변환계수 등에 기초해서 절환판정처리를 실행해도 좋다. 어느 쪽이든, 동화상 복호화 장치(6000)에서의 절환정보 생성부(602)는, 동화상 부호화 장치(5000)에서의 절환정보 생성부(503)와 마찬가지의 절환판정처리를 실행하지 않으면 안된다는 점에 주의해야 한다.
도 29에 나타낸 절환필터 처리부(205)는, 생성한 절환정보(18)에 더해 복호화상신호(21) 및 필터계수정보(17)를 취득하고, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 도 7의 단계 S2103로부터 단계 S2105까지와 마찬가지의 동작을 행함으로써 참조화상신호(19)를 출력한다. 즉, 도 6의 루프필터 절환부(205A)는, 생성한 절환정보(18)인 loop_filter_flag를 취득하고, loop_filter_flag의 값에 기초해서 내부에 구비한 스위치(SW)를 절환한다(단계 S6107). loop_filter_flag가 0인 경우에는, 루프필터 절환부(205A)는 스위치(S\)를 단자 A에 접속하고, 복호화상신호(21)를 참조화상신호(19)로서 참조화상용 버퍼(206)에 일시 보존한다(단계 S6108). 한편, loop_filter_flag가 1인 경우에는, 루프필터 절환부(205A)는 스위치(SW)를 단자 B에 접속하고, 복원화상신호(20)를 참조화상 신호(19)로서 참조화상용 버퍼(206)에 일시 보존한다(단계 S6109).
이상과 같이, 절환정보 생성필터 처리부(601)는, 취득한 복호화상신호(21)를 이용해서, 제3 실시형태에 관계되는 동화상 부호화 장치에서의 도 26의 절환정보 생성필터 처리부(502)와 마찬가지의 동작에 의해 절환정보(18)를 생성함과 더불어 참조화상신호(19)를 출력한다.
이상이 동화상 복호화 장치(6000)에서의 루프필터에 관한 동작에 대한 설명이다.
이와 같이, 제3 실시형태에 관계되는 동화상 부호화 장치에 의하면, 입력화상과 예측화상과의 오차가 최소로 되도록 한 루프필터의 필터계수정보를 설정해서 필터처리를 행함으로써, 참조화상의 화질을 향상시킬 수 있게 된다. 또, 루프필터 절환부(114)에서 국소복호화상신호(16)와 복원화상신호(18)의 어느 쪽을 참조화상으로 유지할지를 국소복호화상(16)으로부터 산출되는 지표를 이용해서 국소영역마다 절환함으로써, 필터에 의한 화질저하의 전파를 막을 수 있어, 부호화 효율을 향상시킬 수 있다.
또, 제3 실시형태에 관계되는 동화상 복호화 장치에 의하면, 동화상 부호화 장치와 마찬가지의 필터계수정보를 이용해서 필터처리를 행함과 더불어 마찬가지의 절환판정처리를 행함으로써, 동화상 부호화 장치에서의 참조화상과 동화상 복호화 장치에서의 참조화상이 동기하는 것을 보증할 수 있다.
또, 제3 실시형태에 관계되는 동화상 부호화 장치 및 동화상 복호화 장치에 의하면, 부호화 측에서 절환정보를 국소복호화상으로부터 산출할 수 있는 지표에 기초해서 생성함으로써, 복호화 측에서도 마찬가지의 절환정보를 복호화상으로부터 산출할 수 있게 된다. 그 때문에, 절환정보를 부호화한 때의 부호량을 삭감할 수 있게 된다.
한편, 제3 실시형태에 관계되는 동화상 복호화 장치(6000)에서는, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)와 마찬가지로, 절환필터 처리부(205)를 도 8 또는 도 9와 같은 구성으로 함으로써, 복호화상(21) 또는 참조화상(19)을 출력화상신호(22)로서 출력해도 좋다.
또, 절환필터 처리부(205)를 도 10과 같은 구성으로 하고, 절환정보 생성부에서 새롭게 포스트 필터용 절환정보를 생성함으로써, 도 10의 포스트 필터 절환부(210)에 구비한 스위치(SW2)를 절환해서 출력화상신호(22)를 절환해도 좋다.
한편, 제3 실시형태에 관계되는 동화상 부호화 장치(5000) 및 동화상 복호화 장치(6000)에서는, 국소복호화상신호(16)에 대해 필터처리를 실행하고 있지만, 국소복호화상신호(16)는 종래의 디블로킹 필터처리를 실시한 후의 화상을 이용해도 좋다.
한편, 동화상 부호화 장치(5000) 및 동화상 복호화 장치(6000)는, 예컨대 범용의 컴퓨터 장치를 기본 하드웨어로 이용하는 것으로도 실현할 수 있다. 즉, 루프필터 처리부(501), 절환정보 생성필터 처리부(502), 절환정보 생성부(503), 예측신호 생성부(101), 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 참조화상용 버퍼(108), 부호화 제어부(109), 필터 설정부(110), 절환필터 처리부(111), 절환정보 생성필터 처리부(601), 절환정보 생성부(602), 엔트로피 복호화부(201), 역변환·역양자화부(202), 예측신호 생성부(203), 가산기(204), 절환필터 처리부(205), 참조화상용 버퍼(206) 및 복호화 제어부(207)는, 상기의 컴퓨터 장치에 탑재된 프로세서에 프로그램을 실행시킴으로써 실현할 수 있다. 이때, 동화상 부호화 장치(5000) 및 동화상 복호화 장치(6000)는, 상기의 프로그램을 컴퓨터 장치에 미리 인스톨 함으로써 실현해도 좋고, CD-ROM 등의 기억매체에 기억시키거나, 또는 네트워크를 매개로 상기의 프로그램을 배포하고, 이 프로그램을 컴퓨터 장치에 적절히 인스톨 함으로써 실현해도 좋다. 또, 참조화상용 버퍼(108) 및 참조화상용 버퍼(206)는, 상기의 컴퓨터 장치에 내장 또는 외부에 부착된 메모리, 하드디스크 또는 CD-R, CD-RW, DVD-RAM, DVD-R 등의 기억매체 등을 적절히 이용해서 실현할 수 있다.
(제4 실시형태)
상기 제1 실시형태에서는, 절환정보를 16×16 화소의 매크로블록 단위로 설정하는 예를 나타냈다. 한편, 본 실시형태에서의 절환정보를 설정하는 단위는, 상기 매크로블록에 한정되는 것이 아니라, 시퀀스, 프레임 또는 화면 내를 분할하는 슬라이스나 화소 블록을 이용할 수 있다.
본 실시형태에서는, 앞에서 설명한 제1 실시형태에 관계되는 부호화 및 복호화 방법에 있어서, 절환정보를 설정하는 단위를 매(每) 화소 블록으로 하고, 화소 블록의 사이즈를 적응적(適應的)으로 절환하는 방법에 대해 설명한다.
제4 실시형태에 관계되는 부호화 장치 및 복호화 장치에서의 절환필터 처리부(111)에 대해, 도 37, 도 38을 이용해서 설명한다. 도 37 및 도 38의 절환필터 처리부(111)는, 도 3 및 도 6의 절환필터 처리부(111)의 변형예로서, 스위치(SW)에 의해 복원화상신호(20)를 참조화상으로 하는 경우에만 필터처리를 실행하는 구성으로 되어 있다. 즉, 도 37에서는, 필터 처리부(113)의 전단에 스위치(SW)가 설치되고, 스위치(SW)의 단자 A는 직접 참조화상용 버퍼(108)로 도출(導出)되며, 국소복호화상신호(16)는 그대로 참조화상신호로서 버퍼(108)에 격납된다. 스위치(SW)의 단자 B는 필터 처리부(113)를 매개로 참조화상용 버퍼(108)로 도출되고, 국소복호화상신호(16)는 필터 처리부(113)에서 필터계수정보(17)에 따라 필터처리되고 나서 참조화상신호로서 버퍼(108)에 격납된다. 또, 도 38에서는, 필터 처리부(208)의 전단에 스위치(SW)가 설치되고, 스위치(SW)의 단자 A는 직접 출력 라인으로 도출되며, 복호화상신호(21)는 그대로 출력 라인에 출력된다. 스위치(SW)의 단자 B는 필터 처리부(208)를 매개로 출력 라인으로 도출되고, 복호화상신호는 필터 처리부(208)에 의해 필터계수정보(17)에 따라 필터처리되고 나서 참조화상신호(19) 및 출력화상신호(22)로서 출력 라인에 출력된다. 이와 같은 구성에 의해, 절환정보(18)인 loop_filter_flag가 1로 되는 경우에만 필터 처리부(113 또는 208)가 필터처리를 실행하면 좋기 때문에, 도 3 및 도 6의 구성에 비해 처리 코스트를 삭감할 수 있다. 도 37 및 도 38의 변형예가 제1 내지 제3 실시형태에 적용될 수 있음은 말할 것까지도 없다.
본 실시형태에 관계되는 도 37 및 도 38의 절환필터 처리부(111)는, 앞에서 설명한 제1 실시형태에서의 절환필터 처리부(111)와 마찬가지로, 내부에 필터 처리부(113) 및 루프필터 절환부(114)를 가지며, 국소 복호 화상신호(16) 또는 복호 화상신호(21), 필터계수정보(17) 및 절환정보(18)를 취득하고, 참조화상신호(19)를 출력한다.
또, 본 실시형태에서는 동시에 영역설정정보(23)를 취득해서 루프필터 절환부(114)에 입력한다.
여기서, 영역설정정보(23)는 블록 사이즈에 따라 스위치(SW)를 절환하는 타이밍을 제어하는 정보로서, 화면을 사각형 블록으로 분할한 경우의 1개의 블록의 크기를 나타내는 것이다. 영역설정정보(23)는, 블록 사이즈의 값 그 자체를 이용해도 좋고, 또 미리 준비한 블록 사이즈를 결정하는 영역 사이즈 규정 테이블에서의 인덱스여도 좋다.
상기 영역 사이즈 규정 테이블의 일례를 도 39의 (a)에 나타낸다. 도 39의 (a)의 영역 사이즈 규정 테이블에서는, 가장 작은 블록 사이즈인 종횡 4화소의 정방형 블록의 인덱스를 0으로 설정하고, 1변의 화소수를 2배씩 증가시켜 512×512화소까지의 8가지 블록 사이즈를 준비해 놓고 있다. 부호화 및 복호화 측에서 같은 영역 사이즈 규정 테이블을 유지함으로써, 부호화 측에서는 도 39의 (a)의 영역 사이즈 규정 테이블에서 결정한 인덱스를 블록 정보로서 부호화하고, 복호화 측에서는 마찬가지의 영역 사이즈 규정 테이블을 이용해서 복호화한 블록 정보로부터 블록 사이즈를 결정한다. 한편, 영역 사이즈 규정 테이블(a)은 부호화 제어부 및 복호화 제어부에 설치된다.
다음에는, 본 실시형태에 관계되는 영역설정정보(23)를 포함한 신택스에 대해 도 42를 이용해서 설명한다. 본 실시형태에 관계되는 도 31의 신택스 구조에서의 루프필터 데이터 신택스(1906)는, 예컨대 도 42와 같이 기술된다. 도 42의 (a)의 filter_block_size가 영역설정정보(23)를 나타내고 있고, NumOfBlock은 filter_block_size가 나타내는 블록 사이즈에 의해 결정되는 1슬라이스 내의 블록 총수이다. 예컨대, 도 39의 (a)의 영역 사이즈 규정 테이블을 이용한 경우, 영역설정정보인 인덱스가 0으로 설정되면, 슬라이스를 4×4 화소 블록으로 분할하고, 4×4 화소 블록마다 loop_filter_flag를 부호화한다. 이에 의해, 슬라이스에서는 부호화 측 및 복호화 측의 쌍방에서 절환필터 처리부(111)에서의 스위치(SW)를 4×4 화소 블록마다 절환할 수 있게 된다.
또, 다른 실시형태로서 기본으로 되는 블록 사이즈에 대한 분할방법을 영역설정정보로 이용해도 좋다. 예컨대, 도 39의 (b)의 영역 사이즈 규정 테이블과 같이, 「분할 없음」, 「횡 2분할」, 「종 2분할」, 「종횡 2분할」의 4가지 블록분할방법을 준비해서, 각각에 블록 사이즈 번호를 할당한다. 이에 의해, 기본으로 되는 블록 사이즈를 16×16 화소 블록 및 8×8 화소 블록으로 한 경우, 각각 도 40과 같은 블록 형상을 취할 수 있다. 이에 관한 신택스는, 도 42의 (b)와 같이 기본으로 되는 블록 사이즈의 루프 중에 영역설정정보인 filter_block_size를 기술하고, filter_block_size에 의해 결정되는 서브 블록 수인 NumOfSubblock분만큼 loop_filter_flag를 부호화한다. 예로서 기본 블록 사이즈를 16×16 및 8×8로 한 경우의 참조화상의 예를 도 41에 나타낸다. 한편, 영역 사이즈 규정 테이블(b)은 부호화 제어부 및 복호화 제어부에 설치된다.
이와 같이, 제4 실시형태에 관계되는 동화상 부호화 및 복호화 방법에 의하면, 화면 내를 영역 분할하기 위한 영역설정정보를 설정 및 부호화함으로써, 화면의 블록 분할에 다양성을 갖도록 할 수 있고, 분할된 각 블록에 대해 절환정보를 설정함으로써, 프레임 또는 프레임 내의 국소영역마다 적응적으로 필터처리의 절환 타이밍을 제어할 수 있게 된다.
여기서, 블록 사이즈를 적응적으로 절환한 경우, 절환정보를 부호화하기 위해 필요한 부호량은, 블록 사이즈가 작아질수록, 즉 화면을 가늘게 분할하면 할수록 증가되어, 부호화 효율의 저하를 초래할 우려가 있다. 그래서, 앞에서 설명한 영역 사이즈 규정 테이블을 복수 준비해서 루프필터를 적용하는 화상의 부호량에 기여하고, 또한 부호화 및 복호화 측의 쌍방에서 얻어지는 소정의 정보에 기초해서 영역 사이즈 규정 테이블을 절환하여 이용해도 좋다. 예컨대, 도 39의 (c)로 나타낸 바와 같은 복수의 영역 사이즈 규정 테이블을 예컨대 부호화 제어부 및 복호화 제어부에 준비하고, 화상 사이즈, 픽처 타입, 양자화의 거칠기를 결정하는 양자화 파라미터에 따라 영역 사이즈 규정 테이블을 절환할 수 있다. 화상 사이즈로 대해서는, 화상 사이즈가 상대적으로 커지면 커질수록, 큰 사이즈의 블록을 준비한 영역 사이즈 규정 테이블을 이용한다.
또, 픽처 형식에 대해서는, 일반적인 이용방법을 택한 경우, 부호량은 I픽처 > P픽처 > B픽처로 되는 경향이 있기 때문에, 적은 부호량으로 부호화되는 B픽처 등에서는 큰 사이즈의 블록을 준비한 영역 사이즈 규정 테이블을 이용한다.
또, 양자화 파라미터에 대해서는, 양자화 파라미터의 값이 커질수록 변환계수의 부호량이 작아지기 때문에, 상대적으로 큰 사이즈의 블록을 준비한 영역 사이즈 규정 테이블을 이용한다.
상기와 같이 블록 사이즈의 다른 복수의 영역 사이즈 규정 테이블을 절환함으로써, 한정된 인덱스 번호를 이용해서 보다 더 적응적으로 블록 사이즈를 선택할 수 있다. 또, 변환계수나 부호화 파라미터의 부호량과 절환정보에 필요한 부호량과의 밸런스를 효율좋게 제어할 수 있다.
또 다른 실시형태로서, 블록 정보는 국소복호화상 또는 복호화상을 생성할 때의 부호화 및 복호화에 이용한 움직임 보상 블록 사이즈 및 변환 블록 사이즈 등과 동기시킨 블록 사이즈를 이용해도 좋은 바, 이 경우 루프필터 데이터 신택스(1906)에 블록 정보를 기술하지 않고 필터처리의 절환 타이밍을 변경할 수 있어, 블록 정보에 관한 부호량을 삭감할 수 있다.
또, 여기서는 화면 내를 사각형 블록으로 분할하는 경우에 대해 설명했지만, 부호화 장치 및 복호화 장치의 쌍방에서 같은 영역 분할을 실현할 수 있는 분할방법이라면, 사각형 블록에 한정되는 것은 아니다.
(제5 실시형태)
다음에는, 도 43 및 도 44를 참조해서 제5 실시형태에 관계되는 동화상 부호화 방법에 대해 설명한다.
도 43의 루프필터 처리부(107)는, 앞에서 설명한 제1 실시형태에서의 도 2의 루프필터 처리부(107)와 마찬가지의 구성요소를 갖고, 내부에 필터 설정부(110), 절환필터 처리부(111) 및 절환정보 생성부(112)를 가지며, 국소복호화상신호(16) 및 입력화상신호(10)를 취득하고, 필터계수정보(17), 절환정보(18) 및 참조화상신호(19)를 출력한다.
한편, 본 실시형태에서는, 화면 내를 분할한 국소영역마다 절환정보(18)를 설정하도록 하고, 절환정보(18)를 필터 설정부(110)에 입력함으로써, 절환정보(18)에 기초해서 필터 설정에 이용되는 영역을 선택적으로 취득한다.
제5 실시형태에 관계되는 동화상 부호화 장치에서의 루프필터에 관한 동작에 대해, 도 44의 플로우차트를 이용해서 상세히 설명한다.
0152] 도 44의 플로우차트에 있어서, R은 필터계수정보의 설정 회수의 최대치로 하고, N은 화면을 분할한 국소영역의 총수로 한다. 먼저, 필터계수정보 설정 회수 r에 0을 세트하고(단계 S7100), 절환정보인 loop_filter_flag를 모든 영역에서 1로 세트한다(단계 S7101). 다음에, r을 1만큼 증가(increment)시킨다(단계 S7102).
그 후, 도 43에서의 필터 설정부(110)에 있어서, 필터계수정보의 설정을 행한다(단계 S1100). 여기서는, 제1 실시형태와 마찬가지로, 화상 복원에서 일반적으로 이용되는 2차원의 위너 필터를 이용하여 국소복호화상신호(16)에 필터처리를 실행해서 얻어지는 화상(참조화상신호(19))과 입력화상신호(10)와의 평균 제곱 오차가 최소로 되도록 필터계수를 설계하고, 설계한 필터계수 및 필터 사이즈를 나타내는 값을 필터계수정보(17)로서 설정한다. 여기서, 제5 실시형태에서의 도 43의 필터 설정부(110)에서는, 입력된 절환정보인 loop_filter_flag가 1로 설정된 영역만을 이용해서 평균 제곱 오차를 산출하는 것으로 한다. 여기서, r = 1로 되는 초회(初回)의 필터계수정보의 설정에서는, 단계 S7101에서 모든 영역의 loop_filter_flag에 1을 세트하고 있기 때문에, 제1 실시형태와 마찬가지로 화면 전체의 평균 제곱 오차가 최소로 되도록 설계된 필터계수정보가 생성된다.
다음에, 도 43의 절환필터 처리부(111)는, 화면을 분할한 각각의 국소영역에 대해 절환정보(18)를 설정한다. 즉, 영역 번호를 n으로 하면, 먼저 n에 0을 세트하고(단계 S7103), n만큼 증가시킨다(단계 S7104). 다음에, n번째의 영역에 대해 제1 실시형태와 마찬가지의 단계 S1101∼단계 S1109의 처리를 실행한다. 이상의 처리를 n이 총수 N에 도달하기까지 되풀이한다(단계 S7105).
화면 내의 모든 영역에 대해 loop_filter_flag가 설정된 뒤에는, 필터계수정보 설정 회수(r)가 미리 결정된 필터계수정보의 설정 회수의 최대치 R에 도달하기까지 상기 일련의 처리를 반복한다(단계 S7106). 이와 같이, 제5 실시형태에 관계되는 동화상 부호화 방법에 의하면, 2번째 이후의 필터계수정보의 설정은 loop_filter_flag가 1로 설정된 영역에 한정해서 평균 제곱 오차를 최소화하는 필터를 설정할 수 있게 된다. 예컨대, 1번째로 설정된 절환정보에 의해 얻어진 참조 화상이 도 33과 같이 되는 경우, 2회째 필터계수정보의 설정은 「루프필터가 적용되는 매크로블록」만에 한정해서 평균 제곱 오차를 최소화하는 필터를 설정할 수 있다. 이에 의해, 「루프필터가 적용되는 매크로블록」에 대해서는, 보다 더 화질개선효과가 큰 필터를 설정할 수 있다.
한편, 본 발명은 상기 제1 내지 제3 실시형태 등에 그대로 한정되는 것이 아니라, 실시 단계에서는 그 요지를 벗어나지 않는 범위에서 구성요소를 변형해서 구체화할 수 있다. 또, 상기 실시형태에 개시되어 있는 복수의 구성요소의 적절한 조합에 의해 여러 가지 발명을 형성할 수 있다. 예컨대, 실시형태에 나타낸 전체 구성요소로부터 몇 가지 구성요소를 삭제해도 좋다. 그리고, 다른 실시형태에 걸치는 구성요소를 적절히 조합해도 좋다.
(제6 실시형태)
다음에는, 제6 실시형태에 관계되는 동화상 부호화 장치 및 동화상 복호화 장치에 대해 설명한다. 도 45는 동화상 부호화 장치 및 동화상 복호화 장치의 쌍방에 존재하는 필터 처리부를 나타내고 있는 바, 제1 및 제2 실시형태의 필터 처리부(113) 및 제3 실시형태와 제4 실시형태에서의 필터 처리부(208)에 상당하는 필터 처리부를 나타내고 있다.
도 45의 국부복호화상 필터 처리부(701)에는, 동화상 부호화 장치의 경우, 국부복호화상신호와 절환정보와 필터 정보와 부호화 정보가 입력되고, 동화상 복호화 장치의 경우, 복호화상신호와 절환정보와 필터 정보와 부호화 정보가 입력되어, 참조화상신호가 생성된다. 필터 처리부(701)는, 필터 경계 판정 처리부(702)와 스위치(703)와 디블로킹 필터 처리부(704)와 스위치(705)와 화상 복원 필터 처리부(706)로 구성되어 있다.
필터 경계 판정 처리부(702)는, 국부복호화상신호 또는 복호화상신호로부터의 부호화 정보를 이용해서, 변환처리나 움직임 보상의 단위인 블록의 경계부분의 화소 중 디블로킹 필터 처리를 실행해야 할 화소를 판정하여, 스위치(703)와 스위치(705)를 제어한다. 이때, 필터 경계 판정 처리부(702)는, 입력 화소가 블록 경계 화소라고 판정된 경우는, 스위치(703) 및 스위치(705)를 단자 A에 접속하여 디블로킹 필터처리부(704)에서 화소 신호에 대해 디블로킹 필터 처리를 실행하고, 입력 화소가 블록 경계 화소가 아니라고 판정된 경우에는, 스위치(703) 및 스위치(705)를 단자 B에 접속하여 화상 복원 필터 처리부(706)에서 입력 화소에 대해 화상 복원 필터처리를 실행한다.
디블로킹 필터 처리부(704)는, 블록 경계 판정 처리부(702)가 블록 경계로 판정한 화소에 대해, 미리 작성해 둔 필터계수 또는 국부복호화상 필터 처리부(701)의 밖으로부터 주어지는 필터계수정보를 이용해서, 변환처리나 움직임 보상 처리에 의해 생기는 블록 왜곡을 없애는 것과 같은 필터처리(예컨대, 화소 신호의 평균화 처리)를 실행한다.
화상 복원 필터 처리부(706)는, 블록 경계 판정 처리부(702)가 블록 경계가 아니라고 판정한 화소에 대해, 국부복호화상 필터 처리부(701)의 밖으로부터 주어지는 필터계수에 의해 국부복호화상의 복원 처리를 실행한다. 화상 복원 필터 처리부(706)에 관해서는, 제1 실시형태의 도 3, 도 6, 도 8, 도 9 및 도 10의 절환필터 처리부(111, 205A, 205B, 205C, 205D), 제2 실시형태의 도 14 및 도 16의 필터 처리부(113, 208), 제2 실시형태의 도 21 및 도 23의 참조 절환 예측부(305B, 401B), 제3 실시형태의 도 26 및 도 29의 절환정보 생성필터 처리부(502, 601), 제4 실시형태의 도 37 및 도 38의 절환필터 처리부(111, 205A)를 그대로 치환한 것으로 한다.
이와 같이 제6 실시형태에 의하면, 블록 경계부분은 변환처리나 움직임 보상처리에 의한 블록 왜곡이 생기는 것에 따른 복호화상신호의 발현의 차이를 고려한 필터처리를 실행할 수 있어, 화상 전체의 복원 성능을 향상시킬 수 있다.
(제7 실시형태)
다음에는 도 46 내지 도 49를 이용해서 제7 실시형태에 관계되는 동화상 부호화 장치 및 복호화 장치에 대해 설명한다. 먼저, 도 46을 참조해서 제7 실시형태에 관계되는 동화상 부호화 장치를 설명한다. 이하, 도 46의 구성요소에 대해 각각 설명한다.
도 46에 나타낸 동화상 부호화 장치(7000)는, 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106), 디블로킹(deblocking) 필터부(801), 필터 설정·절환정보 생성부(802), 복호화상용 버퍼(803), 예측화상 작성부(804), 움직임 벡터 생성부(805)를 갖고, 부호화 제어부(109)에 의해 제어된다.
여기서, 감산기(102), 변환·양자화부(103), 엔트로피 부호화부(104), 역변환·역양자화부(105), 가산기(106) 및 부호화 제어부(109)는, 제2 실시형태에 관계되는 도 11의 동화상 부호화 장치(3000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
또, 필터 설정·절환정보 생성부(802)는, 제1 실시형태에 관계되는 도 2의 루프필터 처리부(107) 내의 필터 설정부(110) 및 절환정보 생성부(112)와 마찬가지의 동작을 한다.
구체적인 동작으로서, 종래의 하이브리드 부호화나 제1 실시형태에 관계되는 동화상 부호화 장치(1000)나 제2 실시형태에 관계되는 동화상 부호화 장치(3000)와 마찬가지로, 동화상 부호화 장치(7000)는 예측 오차에 대해 변환, 양자화, 엔트로피 부호화를 행함과 더불어 역양자화, 역변환에 의한 국소복호를 실행한다. 국부복호신호에 대해 디블로킹 필터부(801)에 의해 블록 경계의 왜곡을 제거하는 필터처리를 실행한 후에, 그 필터처리 후의 국소 복호신호를 복호화상용 버퍼(803)에 일시 보존한다. 필터 설정·절환정보 생성부(802)는, 필터처리가 끝난 국소복호화상신호 및 입력화상신호를 받아 필터계수 및 절환정보를 생성한다. 필터 설정·절환정보 생성부(802)는, 생성한 필터계수정보를 복호화상용 버퍼(803)로 출력함과 더불어 엔트로피 부호화부(104)로 출력한다. 엔트로피 부호화부(104)는 필터 설정·절환정보 생성부(802)에서 생성한 필터계수, 절환정보를 부호화하고, 또 양자화 후의 변환계수를 예측 모드 정보 블록 사이즈 절환 정보, 움직임 벡터 정보, 양자화 파라미터 등과 함께 비트 스트림에 다중화해서, 뒤에 설명하는 동화상 복호화 장치(8000)로 송신한다. 이때, 필터계수정보, 절환정보는, 입력화상의 부호화 정보로서, 도 32 등의 신택스에 따라 송신된다.
복호화상용 버퍼(803)에는, 예측화상 작성부(804)에서 참조되는 국소복호화상 및 그 국소복호화상에 대응하는 필터계수, 절환정보가 축적되어 있다.
예측화상 작성부(804)는, 복호화상용 버퍼(803)에서 관리되고 있는 국소복호화상와 필터계수와 절환정보 및 움직임 벡터 생성부(805)에서 생성한 움직임 벡터 정보를 이용해서, 움직임 보상을 실행한 예측화상을 작성한다. 감산기(102)는 작성된 예측화상과 입력화상과의 예측 오차 신호를 생성한다. 한편, 움직임 벡터 정보는, 엔트로피 부호화부(104)에서 부호화되어, 다른 정보와 다중화된다.
도 47을 참조해서 제7 실시형태에 관계되는 동화상 복호화 장치를 설명한다. 이하, 도 47의 구성요소에 대해 각각 설명한다. 도 47에 나타낸 동화상 복호화 장치(8000)는, 엔트로피 복호화부(201), 역변환·역양자화부(202), 가산기(204), 디블로킹 필터부(811), 복호화상용 버퍼(813), 예측화상 작성부(814)를 갖고, 복호화 제어부(206)에 의해 제어된다.
엔트로피 복호화부(201), 역변환·역양자화부(202), 가산기(204) 및 복호화 제어부(206)는, 제1 실시형태에 관계되는 동화상 복호화 장치(2000)에서의 같은 번호의 구성요소와 마찬가지의 동작을 하기 때문에, 여기서는 설명을 생략한다.
구체적인 동작으로서, 종래의 하이브리드 부호화의 복호화나 제1 실시형태에 관계되는 동화상 복호화 장치(2000)나 제2 실시형태에 관계되는 동화상 부호화 장치(4000)와 마찬가지로, 엔트로피 복호화부(201)에서 복호한 신호를 역양자화, 역변환하여 예측오차 신호를 생성하고, 가산기(204)에서 예측화상과 가산됨으로써 복호화상을 생성한다. 이 복호신호에 대해 디블로킹 필터부(811)에서 블록 경계의 왜곡을 제거하는 필터처리를 실행한 후, 복호화상이 출력됨과 더불어 복호화상용 버퍼(813)에 축적된다.
복호화상용 버퍼(813)에서는, 예측화상 작성부(814)에서 참조되는 복호화상 및 엔트로피 복호화부(201)에서 복호된 그 복호화상에 대응하는 필터계수, 절환정보가 축적되어 있다. 예측화상 작성부(813)에서는, 엔트로피 복호화부(152)에 의해 복호된 움직임 벡터 정보와 복호화상용 버퍼(402)로부터의 복호화상, 필터계수 및 절환정보로부터, 복원 필터처리와 움직임 보상을 실행한 예측화상을 작성한다.
도 46 및 도 47과 같은 동화상 부호화 장치 및 동화상 복호화 장치와 같은 구성에 의해 적응적 화상복원처리를 움직임 보상 예측에 적용함으로써, 부호화 효율의 개선을 실현할 수 있다. 도 48은 도 46과 도 47의 예측화상 작성부(814)의 구체적인 실시의 1실시형태이다. 이하, 도 48의 구성 요소에 대해 각각 설명한다.
도 48에 나타낸 예측화상 작성부(804)는, 스위치(821)와 복원화상 작성부(822)와 보간화상 작성부(823)로 되어 있다. 스위치(821)는, 움직임 벡터 정보에 기초해서 참조된 복호화상에 대해 복원 필터처리를 실행할지 여부를 절환하는 스위치로서, 필터 설정·절환정보 생성부(802)에서 생성된 절환정보에 기초해서 절환된다. 스위치(821)가 단자 A로 절환된 경우, 복원화상 작성부(822)는 필터 설정·절환정보 생성부(802)에서 설정된 필터계수를 이용해서, 움직임 벡터 정보에 기초해서 참조된 복호화상에 대해 복원 필터처리를 실행한다. 스위치(821)가 단자 B로 절환된 경우, 복호화상은 그대로 보간화상(補間畵像) 작성부(823)의 입력으로 된다. 보간화상 작성부(823)는, 움직임 벡터 정보에 기초해서 소수점(小數点) 화소위치의 보간화상을 생성하여 예측화상으로 한다. 이와 같은 구성으로 함으로써, 적응적 화상 복원 처리와 움직임 보상 예측의 조합을 실현할 수 있다.
도 49는 도 46과 도 47의 예측화상 작성부의 구체적인 실시의 다른 실시형태이다. 이하, 도 49의 구성요소에 대해 각각 설명한다.
도 49에 나타낸 예측화상 작성부(804)는, 스위치(831)와 정수(整數) 화소 필터부(832), 비트 확장부(833), 보간화상 작성부(834), 스위치(835), 가중 예측화상 작성부(836), 비트 축퇴부(縮退部; 837)로 구성되어 있다. 스위치(831)는, 움직임 벡터 정보에 기초해서 참조된 복호화상에 대해 정수 화소 단위로 복원 필터처리를 실행할지 여부를 절환하는 스위치로서, 도 46의 필터 설정·절환정보 생성부(802)에서 생성된 절환정보에 기초해서 절환된다. 스위치(831)가 단자 A로 절환된 경우, 정수 화소 필터부(832)는 필터 설정·절환정보 생성부(802)에서 설정된 필터계수를 이용해서, 움직임 벡터 정보에 기초해서 참조된 복호화상에 대해 복원 필터처리를 실행한다. 이때의 특징으로서는, 복호화상의 화소 비트 길이가 N-비트(bit)인 경우, 정수 화소 필터부(832)의 출력의 화소 비트 길이는 M ≥ N으로 되는 M-비트로 되도록 하는 것이다. 스위치(831)가 단자 B로 절환된 경우에는, 복호화상은 비트 확장부(833)에 입력되어, N-비트의 복호화상이 M ≥ N으로 되는 M-비트로 되도록 확장된다. 구체적으로는, 비트 확장부(833)는 화소값 V를 왼쪽으로 (M-N)비트 산술 쉬프트하는 처리를 실행한다.
보간화상 작성부(834)는, 움직임 벡터 정보에 기초해서 소수점 화소 위치의 보간화상을 생성한다. 이때의 특징으로서는, 입력이 M-비트의 화소 비트 길이에 대해, 출력이 L ≥ N으로 되는 L-비트의 화소 비트 길이로 되도록 하는 것이다. 스위치(835)는, 부호화 제어부(109) 또는 부호화 정보에 기초해서 복호화 제어부(206)에 의해 제어되는 스위치로서, 가중 예측을 실행할지 여부를 절환하도록 되어 있다. 스위치(835)가 단자 A로 절환된 경우, 가중 예측화상 작성부(836)는 H. 262/AVC 등에서 행해지고 있는 가중 예측식에 기초해서 예측화상을 작성한다. 이때의 특징으로서는, L-비트의 화소 비트 길이의 입력에 대해 N-비트의 화소 비트 길이의 출력으로 되도록 처리가 실행된다. 스위치(835)가 단자 B로 절환된 경우, 비트 축퇴부(847)는 L-비트의 입력이 L ≥ N으로 되는 N-비트로 되도록 절단(truncation: 잘라버림) 처리를 실행한다.
이와 같이 복호화상의 화소 비트 길이보다도 큰 화소 비트 길이로 되도록, 예측화상 작성부(804)의 내부를 구성함으로써, 복원처리와 보간처리와 가중 예측처리에서의 연산의 절단 오차를 줄여, 보다 더 부호화 효율이 뛰어난 예측화상 작성을 실현할 수 있다.
(제8 실시형태)
제8 실시형태에서는, 절환정보를 설정하는 단위를 매 화소 블록으로 하고, 화소 블록의 크기 또는 분할방법을 나타내는 영역설정정보를 이용해서 화소 블록 사이즈를 적응적으로 절환하는 방법에 대해 설명한다. 본 실시형태에서는, 화소 블록 사이즈를 화면 내에서 적응적으로 절환하는 방법으로서, 소정 크기의 친(親) 블록 내부를 작은 사이즈의 자(子) 블록으로 계층적으로 분할하는 방법에 대해 도 50 내지 도 55를 이용해서 설명한다.
여기서는, 4분목(分木) 구조를 이용해서 친 블록을 계층적으로 자 블록으로 분할하는 방법에 대해 설명한다. 도 50은 4분목 구조에 의한 계층적 블록 분할을 나타내고 있다. 도 50에서의 계층 0의 친 블록(B0,0)은, 계층 1에서는 자 블록 B1,0∼B1,3으로 분할되고, 계층 2에서는 자 블록 B2,0∼B2,15로 분할된다.
다음에는, 4분목 구조의 분할목(分割木)을 표현하는 방법에 대해 설명한다. 도 51은 0 또는 1로 나타내어지는 블록분할정보를 이용해서 계층 3까지의 분할목을 표현하고 있다. 블록분할정보가 1인 경우는 아래의 계층의 자 블록으로 분할하는 것을 나타내고, 0인 경우는 분할하지 않는 것을 나타낸다. 도 51과 같이 설정한 블록분할정보에 의해 나타내어지는 블록은, 도 52와 같이 친 블록이 4개의 자 블록으로 분할되고, 이 자 블록이 다시 4개의 자(손자) 블록으로 분할되며, 이 자(손자) 블록이 다시 4개의 자(증손자) 블록으로 분할된다. 이와 같이 분할된 크기가 다른 블록 하나하나에 대해 절환정보를 설정한다. 즉, 도 51의 분할목에서의 블록분할정보가 0인 경우에 대응하는 블록에 절환정보를 설정하는 것과 같다.
친 블록 내의 자 블록의 사이즈는, 친 블록 사이즈와 계층의 깊이에 의해 결정된다. 도 53은 4분목 구조를 이용한 경우의 친 블록 사이즈에 대한 계층 0∼4의 자 블록의 사이즈를 나타낸 도면이다. 도 53에 있어서, 예컨대 친 블록 사이즈가 32×32인 경우, 계층 4의 자(증손) 블록 사이즈는 2×2로 된다. 화면 내의 국소영역인 친 블록의 내부는, 계층의 깊이에 따라 순차로 작아지는 영역인 자 블록으로 분할된다.
다음에는, 본 실시형태에 관계되는 영역설정정보를 포함한 신택스에 대해, 도 54를 이용해서 설명한다. 본 실시형태에 관계되는 도 31의 신택스 구조에서의 루프필터 데이터 신택스(1906)는, 예컨대 도 54와 같이 기술된다. 도 54의 filter_block_size는, 제4 실시형태와 마찬가지로 블록 사이즈를 결정하는 값으로, 여기서는 친 블록 사이즈를 나타낸다.
다음에, max_layer_level은 취할 수 있는 계층의 깊이의 최대치를 나타내는 값이다. 본 실시형태에서는, 도 54의 신택스에서 나타낸 바와 같이 max_layer_level를 슬라이스 단위로 부호화하고 있지만, 다른 실시형태로서 시퀀스, 프레임 또는 친 블록 단위로 부호화해도 좋다. 도 55는 친 블록 단위로 부호화할 때의 신택스를 나타내고 있다. 또, 부호화 장치 및 복호화 장치의 쌍방에서 같은 계층의 깊이의 최대치를 나타내는 값을 이용하고 있는 것이면, max_layer_level를 신택스에 포함하지 않고 미리 설정된 값을 이용해도 좋다.
또, 본 실시형태에서는 filter_block_size에 의해 친 블록 사이즈를 나타내었지만, 최소의 자 블록 사이즈를 나타내는 값이어도 좋은 바, 그 경우는 max_layer_level과 filter_block_size를 이용해서 소정의 계산식에 의해 친 블록 사이즈를 도출한다. 예로서 4분목 구조의 경우, filter_block_size를 B, max_layer_level를 L로 하면, 친 블록 사이즈 P는 P = B × 2L로 나타낼 수 있다.
다음에, NumOfParentBlock은 1슬라이스 내의 친 블록의 총수이고, NumOfChildBlock[layer]는 1개의 친 블록 내에서의 레이어(layer)에 의해 나타내어진 계층의 자 블록의 총수이다. 예로서, 4분목 구조의 경우, NumOfChildBlock0] = 1, NumOfChildBlock[1] = 4, NumOfChildBlock[2] = 16, NumOfChildBlock[3] = 64로 되고, NumOfChildBlock[layer]는 4layer로 나타낼 수 있다.
다음에는, valid_block_flag 및 block_partitioning_flag에 대해 설명한다. valid_block_flag는 0 또는 1의 값을 취하고, valid_block_flag의 초기 값은 0으로 설정되어 있는 것으로 한다. block_partitioning_flag는 블록분할정보로서, 앞에서 설명한 바와 같이 분할하는 경우는 1, 분할하지 않는 경우에는 0이 설정된다.
이와 같이, 제8 실시형태에 관계되는 동화상 부호화 및 복호화방법에 의하면, 영역분할정보로서 계층블록분할정보를 이용함으로써, 기준으로 되는 친 블록을 계층적으로 자 블록으로 분할할 수 있고, 분할한 각 자 블록에 대해 절환정보를 설정함으로써, 프레임 내의 국소영역마다 적응적으로 필터처리의 절환 타이밍을 제어할 수 있게 된다. 또, 이와 같이 절환정보를 설정하는 단위를 화면 내에서 가변(可變)으로 함으로써, 루프필터가 화질에 미치는 영향이 큰 영역에서는 세밀하게 영역을 분할하고, 루프필터가 화질에 미치는 영향이 작은 영역에서는 거칠게 영역을 분할함으로써, 절환정보를 효율적으로 설정할 수 있게 된다.
또, 여기서는 친 블록의 분할방법으로서 4분목 구조에 의한 분할방법에 대해 설명했지만, 부호화 장치 및 복호화 장치의 쌍방에서 같은 영역 분할을 실현할 수 있는 분할방법이면, 4분목 구조에 한정되는 것은 아니다.
또, 여기서는 친 블록 내를 계층적으로 사각형 블록으로 분할하는 경우에 대해 설명했지만, 부호화 장치 및 복호화 장치의 쌍방에서 같은 영역 분할을 실현할 수 있는 분할방법이라면, 사각형 블록에 한정되는 것은 아니다.
본 발명에 의하면, 부호화 측에서 설정한 필터계수정보를 부호화하고, 필터계수정보를 복호화 측에서 복호화해서 이용하는 동화상 부호화/복호화에 있어서, 부호화 측과 복호화 측이 마찬가지의 처리로 루프필터처리를 절환함으로써, 화질 열화의 전파를 억제하면서, 예측에 이용하는 참조화상의 화질을 향상시켜 부호화 효율의 향상을 가능하게 한다.
(산업상 이용가능성)
본 발명에 관계되는 화상 부호화 및 복호화 방법 및 장치는, 통신 미디어, 축적 미디어 및 방송 미디어 등에서의 화상압축처리에 사용된다.
19 --- 참조화상신호
111 --- 절환필터 처리부
114 --- 루프필터 절환부
16 --- 국소복호화상신호
17 --- 필터계수정보
18 --- 절환정보
113 --- 필터 처리부

Claims (43)

  1. 부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 방법으로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 설정하는 단계와,
    상기 필터계수정보를 부호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 부호화하는 단계와,
    상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 단계를 구비한 것을 특징으로 하는 동화상 부호화 방법.
  2. 복호화가 끝난 화상을 참조화상으로서 다음에 복호화하는 화상의 예측에 이용하는 동화상 복호화 방법으로서,
    복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 복호화하는 단계와,
    참조화상으로서 사용하는 상기 복호화상 또는 상기 복원화상을 나타내는 특정정보를 복호화하는 단계와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법.
  3. 부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 방법으로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 설정하는 단계와,
    상기 필터계수정보를 부호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 부호화하는 단계와,
    상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 예측에 이용하는 단계를 구비한 것을 특징으로 하는 동화상 부호화 방법.
  4. 복호화가 끝난 화상을 참조화상으로서 다음에 복호화하는 화상의 예측에 이용하는 동화상 복호화 방법으로서,
    복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 복호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 복호화하는 단계와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 참조화상으로서 예측에 이용하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법.
  5. 부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 방법으로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 설정하는 단계와,
    상기 필터계수정보를 부호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 단계를 구비한 것을 특징으로 하는 동화상 부호화 방법.
  6. 복호화가 끝난 화상을 참조화상으로서 다음에 복호화하는 화상의 예측에 이용하는 동화상 복호화 방법으로서,
    복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 복호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법.
  7. 청구항 1 또는 청구항 3에 있어서, 복호화 측에서 상기 복호화상 또는 상기 복원화상을 출력화상으로서 사용하는 것을 나타내는 특정정보를 부호화 측에서 부호화하는 단계를 구비한 것을 특징으로 하는 동화상 부호화 방법.
  8. 청구항 2 또는 청구항 4에 있어서, 상기 복호화상 또는 상기 복원화상을 출력화상으로서 사용하는 것을 나타내는 특정정보를 복호화하는 단계와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 출력화상으로 출력하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법.
  9. 청구항 6에 있어서, 상기 복호화상 또는 상기 복원화상을 출력화상으로서 사용하는 것을 나타내는 특정정보를 생성하는 단계와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 출력화상으로서 출력하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법.
  10. 청구항 1, 청구항 3, 청구항 7 중 어느 한 항에 있어서, 상기 특정정보를, 프레임 또는 프레임 내의 국소영역마다 부호화하는 것을 특징으로 하는 동화상 부호화 방법.
  11. 청구항 2, 청구항 4, 청구항 8 중 어느 한 항에 있어서, 상기 특정정보를, 프레임 또는 프레임 내의 국소영역마다 복호화하는 것을 특징으로 하는 동화상 복호화 방법.
  12. 청구항 1, 청구항 3, 청구항 7 중 어느 한 항에 있어서, 상기 국소복호화상 및 상기 복원화상과 입력화상과의 오차를 계산하는 단계와,
    오차가 작은 화상을 참조화상으로 하는 것을 나타내는 상기 특정정보를 생성하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  13. 청구항 5에 있어서, 상기 국소복호화상 또는 상기 복호화상으로부터 취득할 수 있는 지표인 주변 화소와의 차분 절대치합, 차분 제곱합, 액티비티, 공간 주파수, 엣지 강도, 엣지 방향의 어느 하나 이상을 이용해서 상기 특정정보를 생성하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  14. 청구항 6 또는 청구항 9에 있어서, 상기 국소복호화상 또는 상기 복호화상으로부터 취득할 수 있는 지표인 주변 화소와의 차분 절대치합, 차분 제곱합, 액티비티, 공간 주파수, 엣지 강도, 엣지 방향의 어느 하나 이상을 이용해서 상기 특정정보를 생성하는 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  15. 청구항 5에 있어서, 부호화 정보의 일부인 양자화 파라미터, 블록 사이즈, 예측 모드, 움직임 벡터, 변환계수 정보의 어느 하나 이상을 이용해서 상기 특정정보를 생성하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  16. 청구항 6 또는 청구항 9에 있어서, 부호화 정보의 일부인 양자화 파라미터, 블록 사이즈, 예측 모드, 움직임 벡터, 변환계수 정보의 어느 하나 이상을 이용해서 상기 특정정보를 생성하는 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  17. 부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 장치로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 복원화상 생성부와,
    상기 필터의 필터계수정보를 설정하는 설정부와,
    상기 필터계수정보를 복호화하는 복호화부와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 부호화하는 부호화부와,
    상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 보존부를 구비한 것을 특징으로 하는 동화상 부호화 장치.
  18. 복호화가 끝난 화상을 참조화상으로서 다음에 복호화하는 화상의 예측에 이용하는 동화상 복호화 장치로서,
    복호화상에 대해 필터를 적용해서 복원화상을 생성하는 복원화상 생성부와,
    상기 필터의 필터계수정보를 복호화하는 제1 복호화부와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 복호화하는 제2 복호화부와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 보존부를 구비한 것을 특징으로 하는 동화상 복호화 장치.
  19. 부호화가 끝난 화상을 참조화상으로서 다음에 부호화하는 화상의 예측에 이용하는 동화상 부호화 방법으로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용함으로써 생성되는 복원화상을 상기 참조화상으로서 이용할지 또는 상기 국소복호화상을 참조화상으로서 이용할지를 나타내는 특정정보를 부호화하는 특정정보 부호화 단계와,
    상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 메모리에 보존하는 보존단계를 구비한 것을 특징으로 하는 동화상 부호화 방법.
  20. 청구항 19에 있어서, 상기 특정정보 부호화 단계는, 상기 특정정보를 프레임 내의 국소영역마다 설정해서 부호화하기 위해 상기 국소영역의 크기를 결정하는 영역설정정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  21. 청구항 19에 있어서, 상기 특정정보 부호화 단계는, 상기 특정정보를 프레임 내의 국소영역마다 부호화하기 위해 상기 특정정보에 기초해서 상기 필터의 필터계수정보를 설정하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  22. 청구항 19에 있어서, 상기 특정정보 부호화 단계는, 상기 영역설정정보를 프레임 또는 프레임 내의 국소영역마다 부호화하는 것을 특징으로 하는 동화상 부호화 방법.
  23. 청구항 20 또는 청구항 22에 있어서, 상기 영역설정정보는, 상기 국소영역의 크기를 나타내는 값인 것을 특징으로 하는 동화상 부호화 방법.
  24. 청구항 20 또는 청구항 22에 있어서, 상기 영역설정정보는, 소정 크기의 국소영역 내부를 분할하기 위한 분할방법을 나타내는 것을 특징으로 하는 동화상 부호화 방법.
  25. 청구항 24에 있어서, 상기 영역설정정보는, 미리 준비된 영역 사이즈 규정 테이블에 의해 결정되는 상기 국소영역의 크기 또는 상기 분할방법을 나타내는 인덱스를 나타내는 것을 특징으로 하는 동화상 부호화 방법.
  26. 청구항 25에 있어서, 복수의 상기 영역 사이즈 규정 테이블을 준비하고, 화상 사이즈, 픽처 타입 및 양자화의 거칠기를 규정하는 양자화 파라미터 중 1가지 이상에 기초해서 절환하는 것을 특징으로 하는 동화상 부호화 방법.
  27. 복호화가 끝난 화상을 참조화상으로서 다음에 복호화하는 화상의 예측에 이용하는 동화상 복호화 방법으로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용함으로써 생성되는 복원화상을 참조화상으로 이용할지 또는 상기 복호화상을 참조화상으로 이용할지를 나타내는 특정정보를 복호화하는 특정정보 복호화 단계와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 참조화상으로 메모리에 보존하는 보존단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  28. 청구항 27에 있어서, 상기 특정정보 복호화 단계는, 상기 특정정보를 복호화해서 프레임 내의 국소영역마다 설정하기 위해 상기 국소영역의 크기를 결정하는 영역설정정보를 복호화하는 영역설정정보 복호화 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  29. 청구항 27에 있어서, 상기 영역설정정보 복호화 단계는, 상기 영역설정정보를 프레임 또는 프레임 내의 국소영역마다 복호화하는 것을 특징으로 하는 동화상 복호화 방법.
  30. 청구항 28 또는 청구항 29에 있어서, 상기 영역설정정보는, 상기 국부영역의 크기를 나타내는 값인 것을 특징으로 하는 동화상 복호화 방법.
  31. 청구항 28 또는 청구항 29에 있어서, 상기 영역설정정보는, 소정 크기의 국소영역 내부를 분할하기 위한 분할방법을 나타내는 것을 특징으로 하는 동화상 복호화 방법.
  32. 청구항 28 또는 청구항 29에 있어서, 상기 영역설정정보는, 미리 준비된 영역 사이즈 규정 테이블에 의해 결정되는 상기 영역의 크기 또는 상기 분할방법을 나타내는 인덱스인 것을 특징으로 하는 동화상 복호화 방법.
  33. 청구항 32에 있어서, 복수의 상기 영역 사이즈 규정 테이블을 준비하고, 화상 사이즈, 픽처 타입, 양자화의 거칠기를 규정하는 양자화 파라미터의 1가지 이상에 기초해서 절환하는 것을 특징으로 하는 동화상 복호화 방법.
  34. 청구항 1, 청구항 3, 청구항 5, 청구항 13, 청구항 15, 청구항 19, 청구항 20, 청구항 21, 청구항 22, 및 청구항 24 중 어느 한 항에 있어서, 상기 부호화가 끝난 국부복호화상에 필터를 적용해서 복원화상을 생성하는 단계는,
    국부복화상을 블록 경계인지 여부를 판정하는 단계와,
    상기 국부복호화상을 블록 경계로 판정한 화소에 대해 블록 왜곡을 제거하는 필터처리를 실행하는 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  35. 청구항 2, 청구항 4, 청구항 6, 청구항 27, 청구항 28 및 청구항 29 중 어느 한 항에 있어서, 상기 복호화상에 필터를 적용해서 복원화상을 생성하는 단계는,
    국부복호화상을 블록 경계인지 여부를 판정하는 단계와,
    상기 국부복호화상을 블록 경계로 판정한 화소에 대해 블록 왜곡을 제거하는 필터처리를 실행하는 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
  36. 부호화가 끝난 화상을 참조화상으로서 움직임 보상 예측에 이용하는 동화상 부호화 방법으로서,
    부호화가 끝난 화상의 국소복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 설정하는 단계와,
    상기 필터계수정보를 부호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 부호화하는 단계와,
    상기 특정정보에 기초해서 상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 움직임 보간 예측에 이용하는 단계를 구비한 것을 특징으로 하는 동화상 부호화 방법.
  37. 복호화가 끝난 화상을 참조화상으로 움직임 보상 예측에 이용하는 동화상 복호화 방법으로서,
    복호화상에 대해 필터를 적용해서 복원화상을 생성하는 단계와,
    상기 필터의 필터계수정보를 복호화하는 단계와,
    상기 국소복호화상 또는 상기 복원화상을 참조화상으로서 사용하는 것을 나타내는 특정정보를 복호화하는 단계와,
    상기 특정정보에 기초해서 상기 복호화상 또는 상기 복원화상을 참조화상으로서 움직임 보상 예측에 이용하는 단계를 구비한 것을 특징으로 하는 동화상 복호화 방법.
  38. 청구항 20 또는 청구항 22에 있어서, 상기 영역설정정보는, 상기 국소영역 내부를 계층의 깊이에 따라 순차로 작아지는 영역으로 분할하기 위한 계층분할정보인 것을 특징으로 하는 동화상 부호화 방법.
  39. 청구항 38에 있어서, 상기 계층분할정보는, 각 계층에서의 개개의 영역을 분할할지 여부를 나타내는 영역분할정보인 것을 특징으로 하는 동화상 부호화 방법.
  40. 청구항 38에 있어서, 상기 계층분할정보는, 계층의 깊이의 최대치를 나타내는 최대 계층정보를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  41. 청구항 28 또는 청구항 29에 있어서, 상기 영역설정정보는, 상기 국소영역을 계층의 깊이에 따라 순차로 작아지는 영역으로 분할하기 위한 계층분할정보인 것을 특징으로 하는 동화상 복호화 방법.
  42. 청구항 41에 있어서, 상기 계층분할정보는, 각 계층에서의 개개의 영역을 분할할지 여부를 나타낸 영역분할정보인 것을 특징으로 하는 동화상 복호화 방법.
  43. 청구항 41에 있어서, 상기 계층분할정보는, 계층의 깊이의 최대치를 나타내는 최대 계층정보를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
KR1020107015663A 2008-03-07 2008-12-25 동화상 부호화/복호화 방법 및 장치 KR20100105680A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008058375 2008-03-07
JPJP-P-2008-058375 2008-03-07
JP2008175694 2008-07-04
JPJP-P-2008-175694 2008-07-04

Publications (1)

Publication Number Publication Date
KR20100105680A true KR20100105680A (ko) 2010-09-29

Family

ID=41055730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107015663A KR20100105680A (ko) 2008-03-07 2008-12-25 동화상 부호화/복호화 방법 및 장치

Country Status (12)

Country Link
US (1) US20100322303A1 (ko)
EP (1) EP2249572A4 (ko)
JP (1) JPWO2009110160A1 (ko)
KR (1) KR20100105680A (ko)
CN (1) CN101926175A (ko)
AU (1) AU2008352118A1 (ko)
BR (1) BRPI0822364A2 (ko)
CA (1) CA2715211A1 (ko)
MX (1) MX2010009194A (ko)
RU (1) RU2010132652A (ko)
WO (1) WO2009110160A1 (ko)
ZA (1) ZA201005949B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069993A1 (ko) * 2011-11-08 2013-05-16 삼성전자 주식회사 변환블록 크기에 기초한 양자화 파라미터 결정 방법 및 그 장치
KR101457398B1 (ko) * 2011-06-28 2014-11-04 삼성전자주식회사 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
JPWO2010076856A1 (ja) * 2009-01-05 2012-06-21 株式会社東芝 動画像符号化方法及び動画像復号化方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5295053B2 (ja) * 2009-09-16 2013-09-18 日本電信電話株式会社 予測信号生成方法，予測信号生成装置および予測信号生成プログラム
JPWO2011033643A1 (ja) * 2009-09-17 2013-02-07 株式会社東芝 動画像符号化方法及び動画像復号化方法
JP5746193B2 (ja) * 2009-10-15 2015-07-08 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置
WO2011050998A1 (en) * 2009-10-29 2011-05-05 Thomas Sikora Method and device for processing a video sequence
WO2011070698A1 (ja) * 2009-12-07 2011-06-16 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CA3038111C (en) * 2009-12-18 2022-08-09 Sharp Kabushiki Kaisha Decoding device, decoding method, encoding device and encoding method
JP2011139208A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置および方法
EP2525576A4 (en) * 2010-01-12 2015-04-15 Sharp Kk ENCODER APPARATUS, DECODER APPARATUS, AND DATA STRUCTURE
JP2014060744A (ja) * 2010-01-13 2014-04-03 Toshiba Corp 動画像符号化装置および復号装置
JP2013232974A (ja) * 2010-01-13 2013-11-14 Toshiba Corp 動画像符号化装置および復号装置
KR101457396B1 (ko) 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
CN105872554A (zh) * 2010-03-09 2016-08-17 汤姆森特许公司 基于分类环路滤波器的方法和装置
WO2011113282A1 (en) * 2010-03-15 2011-09-22 Mediatek Singapore Pte. Ltd. Localized in-loop filtering with multiple filters in hybrid video coding
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
EP2559238B1 (en) 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
MY191783A (en) 2010-04-13 2022-07-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
WO2011161823A1 (ja) * 2010-06-25 2011-12-29 株式会社 東芝 動画像符号化方法および復号方法
KR20120005968A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 조절 가능한 루프 필터링을 이용한 비디오 부호화 방법 및 그 장치, 조절 가능한 루프 필터링을 이용한 비디오 복호화 방법 및 그 장치
WO2012049876A1 (ja) * 2010-10-12 2012-04-19 株式会社 東芝 動画像符号化方法および復号方法
WO2012081706A1 (ja) * 2010-12-17 2012-06-21 シャープ株式会社 画像フィルタ装置、フィルタ装置、復号装置、符号化装置、および、データ構造
US9877019B2 (en) 2011-01-03 2018-01-23 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
US9445126B2 (en) 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
WO2012093491A1 (ja) * 2011-01-07 2012-07-12 株式会社 東芝 動画像符号化方法及び装置、動画像復号化方法及び装置
US8898139B1 (en) 2011-06-24 2014-11-25 Google Inc. Systems and methods for dynamic visual search engine
EP2742690B1 (en) * 2011-08-08 2016-07-27 Google Technology Holdings LLC Residual tree structure of transform unit partitioning
JP5812806B2 (ja) * 2011-10-31 2015-11-17 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
GB2502047B (en) * 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
RU2668399C9 (ru) * 2012-04-13 2019-06-19 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования изображения, способ декодирования изображения и устройство приема
KR101847365B1 (ko) * 2012-04-13 2018-04-09 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
MX341103B (es) 2012-06-19 2016-08-08 Lg Electronics Inc Metodo y dispositivo para procesar señal de video.
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
JP2015144423A (ja) 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
WO2018102017A1 (en) * 2016-12-01 2018-06-07 Google Llc Restoration in video coding using domain transform recursive filters
JP6292460B2 (ja) * 2017-01-04 2018-03-14 ソニー株式会社 画像処理装置および方法
CN108304846B (zh) * 2017-09-11 2021-10-22 腾讯科技（深圳）有限公司 图像识别方法、装置及存储介质
DE102018110383A1 (de) * 2018-04-30 2019-10-31 Basler Ag Verfahren und Vorrichtung zum Kodieren von Bilddaten
US10674151B2 (en) * 2018-07-30 2020-06-02 Intel Corporation Adaptive in-loop filtering for video coding
WO2020073884A1 (en) * 2018-10-08 2020-04-16 Mediatek Singapore Pte. Ltd. Method and apparatus of last significant coefficient coding in image and video coding
WO2021025080A1 (ja) * 2019-08-07 2021-02-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
JP2021090135A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 信号処理装置および信号処理方法、システム、学習方法、並びにプログラム
WO2023238772A1 (ja) * 2022-06-08 2023-12-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2868342B2 (ja) * 1991-08-23 1999-03-10 日本電気株式会社 フレーム間予測符号化装置のループ内フィルタ制御方式
US5325526A (en) * 1992-05-12 1994-06-28 Intel Corporation Task scheduling in a multicomputer system
JPH05336514A (ja) * 1992-05-29 1993-12-17 Sony Corp 画像符号化装置
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH0993578A (ja) * 1995-09-26 1997-04-04 Matsushita Electric Ind Co Ltd 画像送信装置及び画像受信装置、並びに画像送信方法及び画像受信方法
JPH09121354A (ja) * 1995-10-25 1997-05-06 Oki Electric Ind Co Ltd ループフィルタ制御方法、動きベクトル検出方法及びループフィルタ制御回路
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
JP2001275110A (ja) 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
EP2278817B1 (en) * 2001-09-12 2012-05-23 Panasonic Corporation Transmitting and receiving apparatus
JP3944225B2 (ja) * 2002-04-26 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US7580460B2 (en) * 2003-03-28 2009-08-25 Sony Corporation Video encoder with multiple outputs having different attributes
BRPI0414397A (pt) * 2003-09-17 2006-11-21 Thomson Licensing geração de imagem de referência adaptativa
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
US7912129B2 (en) * 2006-03-16 2011-03-22 Sony Corporation Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US9253504B2 (en) * 2006-07-18 2016-02-02 Thomson Licensing Methods and apparatus for adaptive reference filtering
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457398B1 (ko) * 2011-06-28 2014-11-04 삼성전자주식회사 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9426482B2 (en) 2011-06-28 2016-08-23 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US9426483B2 (en) 2011-06-28 2016-08-23 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US9438921B2 (en) 2011-06-28 2016-09-06 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US9438922B2 (en) 2011-06-28 2016-09-06 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US9462288B2 (en) 2011-06-28 2016-10-04 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US10038911B2 (en) 2011-06-28 2018-07-31 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US10542273B2 (en) 2011-06-28 2020-01-21 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
WO2013069993A1 (ko) * 2011-11-08 2013-05-16 삼성전자 주식회사 변환블록 크기에 기초한 양자화 파라미터 결정 방법 및 그 장치

Also Published As

Publication number Publication date
EP2249572A1 (en) 2010-11-10
CN101926175A (zh) 2010-12-22
EP2249572A4 (en) 2012-05-23
AU2008352118A1 (en) 2009-09-11
US20100322303A1 (en) 2010-12-23
BRPI0822364A2 (pt) 2015-09-15
MX2010009194A (es) 2010-09-10
CA2715211A1 (en) 2009-09-11
WO2009110160A1 (ja) 2009-09-11
ZA201005949B (en) 2011-05-25
JPWO2009110160A1 (ja) 2011-07-14
RU2010132652A (ru) 2012-02-10

Similar Documents

Publication Publication Date Title
KR20100105680A (ko) 동화상 부호화/복호화 방법 및 장치
KR101609490B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR101562158B1 (ko) 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR101578318B1 (ko) 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR102272564B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
US20100118945A1 (en) Method and apparatus for video encoding and decoding
KR20110039511A (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로
KR20110042025A (ko) 보간 필터링 방법, 화상 부호화 방법, 화상 복호 방법, 보간 필터링 장치, 프로그램, 및 집적회로
KR20120079180A (ko) 동화상 복호화 방법 및 장치
WO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
TW200948092A (en) Dynamic image encoding/decoding method and device
JP2015080002A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20210000636A (ko) 인트라 예측 방법 및 영상 복호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application