KR20140017018A - 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램 - Google Patents

동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램 Download PDF

Info

Publication number
KR20140017018A
KR20140017018A KR1020147000905A KR20147000905A KR20140017018A KR 20140017018 A KR20140017018 A KR 20140017018A KR 1020147000905 A KR1020147000905 A KR 1020147000905A KR 20147000905 A KR20147000905 A KR 20147000905A KR 20140017018 A KR20140017018 A KR 20140017018A
Authority
KR
South Korea
Prior art keywords
block
prediction
motion
boundary
motion vector
Prior art date
Application number
KR1020147000905A
Other languages
English (en)
Inventor
시게루 후쿠시마
Original Assignee
가부시키가이샤 제이브이씨 켄우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010217755A external-priority patent/JP2011234338A/ja
Priority claimed from JP2010217754A external-priority patent/JP2011234337A/ja
Application filed by 가부시키가이샤 제이브이씨 켄우드 filed Critical 가부시키가이샤 제이브이씨 켄우드
Publication of KR20140017018A publication Critical patent/KR20140017018A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

가영역 분할부(101)는, 부호화 대상 블록을 소정의 가경계에서 복수의 가영역으로 분할한다. 움직임 벡터 검출부(102)는, 각 가영역에 대해 움직임 벡터를 검출한다. 본영역 분할·움직임 보상부(103)는, 각 가영역의 움직임 벡터를 이용하여, 참조 화상으로부터 부호화 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록의 액티비티에 기초하여 본경계를 결정하고, 각 예측 블록을 본경계에 의해 분할하여 얻은 영역을 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성한다. 가변 길이 부호화부(105)는, 합성 예측 블록을 부호화 대상 블록으로부터 감산한 예측 차분 블록과, 각 가영역의 움직임 벡터를 부호화한다.

Description

동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램{MOVING IMAGE ENCODING DEVICE, MOVING IMAGE ENCODING METHOD, MOVING IMAGE ENCODING PROGRAM, MOVING IMAGE DECODING DEVICE, MOVING IMAGE DECODING METHOD, AND MOVING IMAGE DECODING PROGRAM}
본 발명은, 동화상의 부호화 및 복호 기술에 관한 것이고, 특히 움직임 보상 예측을 이용한 동화상의 부호화 및 복호 기술에 관한 것이다.
MPEG(Moving Picture Experts Group)으로 대표되는 동화상의 압축 부호화에서는, 화면 사이의 상관을 이용하여 부호량을 압축하는 움직임 보상 예측이 많이 이용된다. MPEG 등에서 이용되는 움직임 보상 예측에서는, 소정 사이즈의 블록마다, 이미 복호 완료된 참조 화상으로부터, 부호화 대상 화상과 참조 화상의 상대 위치 관계를 나타내는 움직임 벡터를 이용하여 예측 화상을 생성한다. 그 후, 부호화측에서는, 부호화 대상 원화상과 움직임 보상 예측에 의해 생성된 예측 화상과의 차분인 예측 오차를 산출하고, 예측 오차만을 복호측으로 전송한다. 이에 의해, 움직임 보상 예측을 이용하지 않는 경우에 비해 전송하는 부호량을 대폭으로 삭감할 수 있다.
일반적으로, 부호화·복호처리는 마크로(macro) 블록(소정 블록 사이즈의 화소군, 예를 들면 16×16) 단위로 실행된다. 움직임 보상 예측도 마크로 블록 단위로 실행되는 경우가 많지만, 이 경우, 마크로 블록보다 작은 물체 등의 움직임을 포착하기 어렵고, 결과적으로 부호화 효율이 저하한다. 그 때문에, 움직임 보상 예측을 더욱 효율적으로 기능하게 하는 방법으로서, 멀티 블록 패턴 움직임 보상 예측이 이용된다.
멀티 블록 패턴 움직임 보상 예측에서는, 마크로 블록 내를 서브 블록으로 더욱 분할하고, 서브 블록마다 상이한 움직임 벡터를 이용하여 움직임 보상 예측을 실행할 수 있다. 사용하는 움직임 보상 예측 블록의 분할 패턴은, 부호화측과 복호측의 동일 규칙으로서 미리 정의해 놓는다. 부호화측에서는 정의된 블록 패턴 중에서 움직임 보상 예측의 블록 패턴을 선택하고, 블록 패턴의 선택 정보를 복호측에 전송한다. 복호측에서는, 수신한 블록 패턴의 선택 정보에 기초하여 움직임 보상 예측을 실행한다. 멀티 블록 패턴 움직임 보상 예측에서는, 부호화측에서 움직임 보상 예측에 최적의 블록 패턴을 선택하면, 움직임 보상 예측 후의 예측 오차가 감소하고, 부호화 효율이 향상된다.
구체적인 블록 패턴의 예로서, ISO/IEC와 ITU-T의 JVT(Joint Video Team)가 국제 표준화한 MPEG-4 AVC(Advanced Video Coding)에서는, 마크로 블록(16×16블록) 내를 16×8/8×16/8×8/8×4/4×8/4×4의 블록 패턴으로 더욱 분할하여 움직임 보상 예측을 실행할 수 있다. 부호화측에서는, 블록 패턴을 선택하고, 블록 패턴의 선택 정보를 비트스트림 내로 부호화한다. 복호측에서는, 비트스트림 내에 부호화된 블록 패턴에 대응하여 마크로 블록을 영역 분할하고, 분할된 영역마다 움직임 보상 예측을 실행한다.
또한, 특허문헌 1이나 특허문헌 2에는, 다양한 움직임 보상 예측 형상 패턴을 정의하고, 더욱 유연한 형상으로 움직임 보상 예측을 실행하는 기술이 개시되어 있다.
일본특허 제4025570호 공보 재공표특허 제WO2003-026315호 공보
그러나 특허문헌 1이나 특허문헌 2에 개시된 방법에서는, 정의하는 움직임 보상 예측 형상 패턴을 증가시킨 경우, 형상 패턴 수가 증가함에 따라, 전송하는 형상 패턴의 선택 정보에 소비하는 부호량이 많아진다. 즉, 형상 패턴이 증가한 것에 의한 예측 오차의 감소와, 형상 패턴 선택에 관한 부호량 증가는 트레이드 오프 관계에 있기 때문에, 단순히 형상 패턴 수를 증가시키는 것만으로는 전체적인 부호화 효율을 향상시키기는 어렵다.
이와 같이, 종래의 동화상 부호화/복호에서는, 미리 정의한 형상 패턴의 움직임 보상 예측밖에 실행할 수 없기 때문에, 최적의 형상으로 움직임 보상 예측을 실행할 수 없고, 부호화 효율을 향상시킬 수 없다. 또한, 정의하는 움직임 보상 예측 형상 패턴을 증가시킨 경우, 움직임 보상 예측 형상 패턴의 선택에 관한 부가 정보의 부호량이 증가하기 때문에, 전체적인 부호화 효율이 향상된다는 보장은 없다.
본 발명은 이와 같은 상황을 감안하여, 움직임 보상 예측의 블록 패턴에 관한 부가 정보의 부호량을 증가시키지 않고, 다양한 블록 패턴에서의 움직임 보상 예측을 가능하게 하는 것에 의해, 예측 오차를 감소시키고 부호화 효율을 향상시키는 기술을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명의 일 태양에 따른 동화상 부호화 장치는, 부호화 대상 블록을 소정의 가경계에 의해 복수의 가영역으로 분할하는 가영역 분할부(101)와; 각 가영역에 대해 움직임 벡터를 검출하는 움직임 벡터 검출부(102)와; 각 가영역의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 부호화 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록의 액티비티에 기초하여 본경계를 결정하고, 상기 각 예측 블록을 상기 본경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 움직임 보상부(103)와; 상기 합성 예측 블록을 상기 부호화 대상 블록으로부터 감산한 예측 차분 블록과, 각 가영역의 움직임 벡터를 부호화하는 부호화부(105); 를 구비한다.
본 발명의 일 태양에 따른 부호화 방법은, 부호화 대상 블록을 소정의 가경계에 의해 복수의 가영역으로 분할하는 스텝과; 각 가영역에 대해 움직임 벡터를 검출하는 스텝과; 각 가영역의 움직임 벡터를 이용하여 참조 화상으로부터 상기 부호화 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록의 액티비티에 기초하여 본경계를 결정하고, 상기 각 예측 블록을 상기 본경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 스텝과; 상기 합성 예측 블록을 상기 부호화 대상 블록으로부터 감산한 예측 차분 블록과, 각 가영역의 움직임 벡터를 부호화하는 스텝; 을 포함한다.
본 발명의 일 태양에 따른 동화상 복호 장치는, 부호화 스트림으로부터 복호 대상 블록에 대한 복수의 움직임 벡터를 복호하는 복호부(201)와; 복수의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 복호 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록의 액티비티에 기초하여 경계를 결정하고, 상기 각 예측 블록을 상기 경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 움직임 보상부(203)와; 상기 합성 예측 블록과, 상기 복호 대상 블록으로부터 복호한 예측 차분 블록을 가산하는 것에 의해, 복호 대상을 생성하는 가산부(209); 를 구비한다.
본 발명의 일 태양에 따른 동화상 복호 방법은, 부호화 스트림으로부터, 복호 대상 블록에 대한 복수의 움직임 벡터를 복호하는 스텝과; 복수의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 복호 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록의 액티비티에 기초하여 경계를 결정하고, 상기 각 예측 블록을 상기 경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 스텝과; 상기 합성 예측 블록과, 상기 복호 대상 블록으로부터 복호한 예측 차분 블록을 가산하는 것에 의해, 복호 화상을 생성하는 스텝; 을 포함한다.
또, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 기록 매체, 컴퓨터 프로그램 등의 사이에서 변환한 것도, 본 발명의 태양으로서 유효하다.
본 발명에 의하면, 움직임 보상 예측의 블록 패턴에 관한 부가 정보의 부호량을 증가시키지 않고, 다양한 블록 패턴에서의 움직임 보상 예측을 가능하게 하는 것에 의해, 예측 오차를 감소시키고 부호화 효율을 향상시킬 수 있다.
도 1은 실시형태 1의 동화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 실시형태 1의 동화상 복호 장치의 구성을 나타내는 블록도이다.
도 3은 마크로 블록을 수평 방향으로 2분할하는 패턴을 설명하는 도면이다.
도 4는 마크로 블록을 수직 방향으로 2분할하는 패턴을 설명하는 도면이다.
도 5는 마크로 블록의 가영역마다 검출되는 움직임 벡터를 나타내는 도면이다.
도 6은 가영역마다 검출된 움직임 벡터로부터 생성되는 움직임 보상 예측 화상을 나타내는 도면이다.
도 7은 각 가영역의 움직임 벡터로부터 생성되는 움직임 보상 예측 화상을 합성하여 얻어지는 합성 움직임 보상 예측 화상을 나타내는 도면이다.
도 8은 각 가영역의 움직임 벡터로부터 생성되는 움직임 보상 예측 화상을 합성하여 합성 움직임 보상 예측 화상을 생성하는 방법을 설명하는 도면이다.
도 9는 도 1의 본영역 분할·움직임 보상부에 의한 본경계의 결정 순서를 설명하는 플로차트이다.
도 10은 움직임 보상 예측 화상에 대한 본경계 결정에 관한 액티비티를 설명하는 도면이다.
도 11은 본경계 후보를 2화소 간격으로 정의하는 경우의 제 1 액티비티 및 제 2 액티비티의 산출예를 설명하는 도면이다.
도 12는 실시형태 2의 동화상 부호화 장치에 의한 움직임 벡터의 조정 순서를 설명하는 플로차트이다.
도 13은 실시형태 3의 동화상 부호화 장치에 의한 가경계의 조정 순서를 설명하는 플로차트이다.
도 14는 실시형태 1~3의 동화상 부호화 장치에 의해 부호화되는 동화상의 비트스트림의 제 1 신택스 패턴(syntax pattern)을 나타내는 도면이다.
도 15는 슬라이스 단위로 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는지 여부를 나타내는 제 1 플래그가 ON/OFF인 각각의 경우의 마크로 블록 타입(mb_type)의 시맨틱스(semantics)를 나타내는 도면이다.
도 16은 마크로 블록 단위로 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는지 여부를 나타내는 제 2 플래그를 전송하는 제 2 신택스 패턴을 나타내는 도면이다.
도 17은 슬라이스 레벨로 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는 알고리즘을 전환하는 제 3 신택스 패턴을 나타내는 도면이다.
도 18은 마크로 블록의 분할 방향을 신택스 상에서 구별하지 않는 제 4 신택스 패턴을 나타내는 도면이다.
도 19는 제 4 신택스 패턴의 마크로 블록 타입의 시맨틱스를 나타내는 도면이다.
도 20은 영역 분할을 마크로 블록 타입과 연동시키지 않고 결정하는 제 5 신택스 패턴을 나타내는 도면이다.
도 21은 본 발명의 실시형태를 쌍방향 예측에 대해 적용하는 경우에 대해 설명하는 도면이다.
도 22는 마크로 블록을 2차원으로 영역 분할하는 방법을 나타내는 도면이다.
도 23은 마크로 블록을 2차원으로 분할하여 움직임 보상을 실행하는 순서를 설명하는 플로차트이다.
도 24는 마크로 블록을 3개 영역으로 분할하는 방법을 나타내는 도면이다.
도 25는 마크로 블록을 3분할하여 움직임 영역을 실행하는 순서를 설명하는 플로차트이다.
이하, 본 발명의 실시형태에 대해 도면을 참조하여 설명한다.
(실시형태 1)
도 1은 실시형태 1의 동화상 부호화 장치의 구성을 나타내는 블록도이다. 실시형태 1의 동화상 부호화 장치는, 가영역 분할부(101), 움직임 벡터 검출부(102), 본영역 분할·움직임 보상부(103), 직교 변환·양자화부(104), 가변 길이 부호화부(105), 역양자화·역직교 변환부(106), 참조 화상 메모리(107), 감산부(108), 및 가산부(109)를 구비한다.
가영역 분할부(101)는, 예를 들면 16×16 마크로 블록 등의 부호화 대상으로 되어 있는 화소군에 대해, 임의의 경계에 의해 영역을 분할한다. 이 영역 분할은 움직임 벡터 검출을 위한 부호화측의 독자 수법이고, 어떠한 경계에서 영역 분할해도 좋지만, 움직임 보상 예측의 효율이 향상되는 경계에서 영역 분할하는 것이 바람직하다. 여기서는, 가장 단순한 가영역 분할로서, 수평 방향 또는 수직 방향으로만 마크로 블록을 2분할하는 경우를 예로 들어 설명한다.
도 3(a)~(c)는 마크로 블록을 수평 방향으로 2분할하는 패턴을 설명하는 도면이다. 도 3(a)는 위에서 4화소째의 수평 경계에 의해 마크로 블록을 16×4의 상측 영역과 16×12의 하측 영역으로 2분할한 패턴이고, 도 3(b)는 위에서 8화소째의 수평 경계에 의해 마크로 블록을 16×8의 상측 영역과 16×8의 하측 영역으로 2분할한 패턴이고, 도 3(c)는 위에서 12화소째의 수평 경계에 의해 마크로 블록을 16×12의 상측 영역과 16×4의 하측 영역으로 2분할한 패턴이다.
도 4(a)~(c)는 마크로 블록을 수직 방향으로 2분할하는 패턴을 설명하는 도면이다. 도 4(a)는 좌측에서 4화소째의 수직 경계에 의해 마크로 블록을 4×16의 좌측 영역과 12×16의 우측 영역으로 2분할한 패턴이고, 도 4(b)는 좌측에서 8화소째의 수직 경계에 의해 마크로 블록을 8×16의 좌측 영역과 8×16의 우측 영역으로 2분할한 패턴이고, 도 4(c)는 좌측에서 12화소째의 수직 경계에 의해 마크로 블록을 12×16의 좌측 영역과 4×16의 우측 영역으로 2분할한 패턴이다.
가영역 분할부(101)에 의해 결정되는 마크로 블록의 경계를 "가경계"(provisional boundary)라고 부르고, 가경계에 의해 분할된 마크로 블록 내의 각 영역을 "가영역"(provisional region)이라고 부른다.
여기서는, 수평 방향 또는 수직 방향으로 2분할하는 패턴을 3개 나타냈지만, 수평 경계 또는 수직 경계의 후보 위치를 늘려 4 이상의 분할 패턴을 마련해도 좋다. 또한, 대각선 방향의 경계에 의해 분할하거나, 굴곡된 경계에 의해 분할해도 좋다.
가영역 분할부(101)는, 부호화 대상이 되는 원화상 신호에 대해, 각 수평 경계에 관한 수평 액티비티, 또는 각 수직 경계에 관한 수직 액티비티를 계산한다. 후술하는 바와 같이, 굴곡된 경계에 의해 마크로 블록을 분할한 경우에는, 굴곡된 경계를 따라 액티비티를 계산한다.
화상 신호의 액티비티란, 화소에 대해 어떠한 연산을 시행한 값을 말한다. 마크로 블록을 영역 분할하는 경계에 관한 액티비티로서, 예를 들면, 경계를 걸치는 2화소 사이의 절대 차분합(SAD)을 이용할 수 있다. 예를 들면, 마크로 블록 내의 X 좌표를 i, Y 좌표를 j로 하여, 점(i, j)에 있어서의 화소치를 Ai, j로 하면, 위에서 j화소째의 수평 경계 j의 수평 액티비티는 아래와 같이 정의된다.
수평 액티비티=Σi=0 15│Ai , j-Ai , j-1│
여기서, Σi=0 15는, 첨자 i를 0에서 15까지 이동시킨 경우의 총합이다.
다만, 액티비티는 절대 차분합(SAD)이 아니어도 좋다. 아래에 나타내는 바와 같은 절대 제곱합(SSD)이어도 좋다.
수평 액티비티=Σi=0 15(Ai , j-Ai , j-1)2
마찬가지로, 마크로 블록의 좌측에서 i화소째의 수직 경계 i의 수직 액티비티는 아래와 같이 정의된다.
수직 액티비티=Σi=0 15│Ai , j-Ai -1,j│
액티비티는 물체의 에지 등에서 큰 값이 된다. 가영역 분할부(101)는, 액티비티 값이 가장 큰 경계에 의해 마크로 블록의 영역을 가분할한다.
움직임 벡터 검출부(102)는, 가영역 분할부(101)에 의해 분할된 각 가영역에 대해 움직임 벡터를 검출한다.
도 5는 마크로 블록의 가영역마다 검출되는 움직임 벡터를 나타내는 도면이다. 가영역 분할부(101)가, 마크로 블록을 도 3(a)와 같이 위에서 4화소째의 수평 경계에 의해 가분할한 경우를 예를 들면, 움직임 벡터 검출부(102)는, 도 5에 나타내는 바와 같이, 16×4의 상측 영역과 16×12의 하측 영역의 각각에 대해 움직임 벡터를 검출한다.
여기서, 움직임 벡터는 블록 매칭법을 이용하여 검출한다. 움직임 벡터 검출의 알고리즘은 지정한 탐색 영역 내의 후보 벡터를 모두 평가하는 풀서치 이외에, 다양한 움직임 특성으로부터 탐색하는 후보 벡터를 좁혀 탐색하는 고속 서치 등 다양한 방법이 존재한다. 가영역 분할부(101)에 의해 분할된 블록마다 움직임 벡터를 검출할 수 있는 것이라면, 어떠한 움직임 벡터 검출 알고리즘을 이용할 수도 있다.
본영역 분할·움직임 보상부(103)는, 움직임 벡터 검출부(102)에서 검출된 각 가영역의 움직임 벡터를 이용하여, 참조 화상 메모리(107)에 축적되어 있는 참조 화상으로부터 움직임 보상 예측을 실행한다. 본영역 분할·움직임 보상부(103)는, 후술하는 순서로, 각 가영역의 움직임 벡터로부터 생성되는 복수의 움직임 보상 예측 화상을 합성하여 합성 움직임 보상 예측 화상을 생성한다.
도 6(a), (b)는 가영역마다 검출된 움직임 벡터로부터 생성되는 움직임 보상 예측 화상을 나타낸다. 도 7(a)~(c)는 각 가영역의 움직임 벡터로부터 생성되는 움직임 보상 예측 화상을 합성하여 얻어지는 합성 움직임 보상 예측 화상을 나타낸다.
가영역 분할부(101)가, 마크로 블록을 도 3(a)에 나타내는 바와 같이 위에서 4화소째의 수평 경계에 의해 가분할한 경우를 예로 설명한다. 움직임 벡터 검출부(102)는, 도 5에 나타내는 바와 같이, 16×4의 상측 영역과 16×12의 하측 영역의 각각에 대해 움직임 벡터를 검출한 결과, 부호화 대상 마크로 블록에는 2개의 움직임 벡터(제 1, 제 2 움직임 벡터)가 존재한다. 본영역 분할·움직임 보상부(103)는, 도 6(a), (b)에 나타내는 바와 같이, 움직임 벡터 검출부(102)에 의해 검출된 움직임 벡터마다, 참조 화상을 이용하여, 임시로 당해 마크로 블록의 크기(여기서는 16×16)로 움직임 보상 예측한 경우의 화상을 생성한다. 도 6(a)는 16×4의 상측 영역의 제 1 움직임 벡터를 이용하여 생성된 제 1 움직임 보상 예측 화상이고, 도 6(b)는 16×12의 하측 영역의 제 2 움직임 벡터를 이용하여 생성된 제 2 움직임 보상 예측 화상이다.
본영역 분할·움직임 보상부(103)는, 도 6(a), (b)에 나타내는 제 1, 제 2 움직임 보상 예측 화상을, 도 7에 나타내는 (a)~(c) 중의 어느 한 패턴에 합성하여 합성 움직임 보상 예측 화상을 생성한다. 제 1, 제 2 움직임 보상 예측 화상은 부호화 대상 마크로 블록과 동일한 크기이고, 합성 움직임 보상 예측 화상을 생성하기 위해, 소정의 경계에 의해 분할된다. 본영역 분할·움직임 보상부(103)에 의해 결정되는 마크로 블록의 경계를 "본경계"(actual boundary)라고 부르고, 본경계에 의해 분할된 마크로 블록의 영역을 "본영역"(actual region)이라고 부르고, 가영역 분할부(101)에 의해 결정되는 "가경계", "가영역"으로 구별한다.
도 7(a)~(c)는 본영역 분할·움직임 보상부(103)가 결정하는 본경계의 후보를 나타낸 것이다. 도 7(a)는 위에서 4화소째의 수평 경계를 본경계로 하고, 도 7(b)는 위에서 8화소째의 수평 경계를 본경계로 하고, 도 7(c)는 위에서 12화소째의 수평 경계를 본경계로 하여, 각각 본경계보다 상측의 본영역은 제 1 움직임 보상 예측 화상의 대응하는 영역, 본경계보다 하측의 본영역은 제 2 움직임 보상 예측 화상의 대응하는 영역으로 나타낸 것이다.
본영역 분할·움직임 보상부(103)는, 에지 강도 등을 나타내는 평가치에 기초하여, 본경계를 결정하고, 결정된 본경계에 의해 제 1, 제 2 움직임 보상 예측 화상을 분할하여 합성한다.
도 8(a)~(c)는 각 가영역의 움직임 벡터로부터 생성되는 움직임 보상 예측 화상을 합성하여 합성 움직임 보상 예측 화상을 생성하는 방법을 설명하는 도면이다. 본영역 분할·움직임 보상부(103)는, 본경계 결정 후, 도 8(a)의 제 1 움직임 벡터에 대응하는 제 1 움직임 보상 예측 화상과 도 8(b)의 제 2 움직임 벡터에 대응하는 제 2 움직임 보상 예측 화상을 이용하여, 본경계보다 위의 영역을 제 1 움직임 보상 예측 화상으로 하여 움직임 보상 예측하고, 본경계보다 아래의 영역을 제 2 움직임 보상 예측 화상으로 하여 움직임 보상 예측한다. 이 예에서는, 본경계보다 위의 16×4의 영역에는 제 1 움직임 보상 예측 화상의 대응하는 영역이 복제되고, 본경계보다 아래의 16×12의 영역에는 제 2 움직임 보상 예측 화상의 대응하는 영역이 복제된다.
여기서는 수평 방향의 영역 분할을 예로 설명했지만, 수직 방향의 영역 분할의 경우에도 동일한 방법으로 실시 가능하다. 또한, 이번은 본경계 후보를 도 7(a)~(c)의 3가지로 하는 경우를 설명했지만, 본경계의 후보를 더욱 늘려도 좋다. 단, 후술하는 바와 같이, 직교 변환·양자화부(104)의 직교 변환 사이즈와의 관계를 충분히 고려할 필요가 있다.
도 1을 다시 참조하여, 감산부(108)는, 부호화 대상 원화상과 본영역 분할·움직임 보상부(103)에서 산출한 움직임 보상 예측 화상과의 차분에 의해, 예측 잔차 성분을 산출하고, 직교 변환·양자화부(104)에 부여한다. 직교 변환·양자화부(104)는, 예측 잔차 성분의 직교 변환·양자화를 실행한다.
여기서, 직교 변환·양자화부(104)는, 움직임 보상 예측의 사이즈에 대응한 직교 변환 사이즈를 사용하여 직교 변환을 실행한다. 즉, 움직임 보상 예측의 사이즈로서 16×4/16×8/16×12(수직 방향으로 4의 배수)가 허용되어 있는 경우, 적어도 16×4 또는 8×4 또는 4×4(수직 방향으로 4의 배수)의 직교 변환 사이즈를 사용할 수 있도록 한다. 다른 예로서, 움직임 보상 예측의 사이즈로서의 16×2/16×4/16×6/16×8/16×10/16×12(수직 방향으로 2의 배수)가 허용되어 있는 경우, 적어도 16×2 또는 8×2 또는 4×2(수직 방향으로 2의 배수)의 직교 변환 사이즈를 사용할 수 있도록 한다. 이에 의해, 움직임 보상 예측의 예측 오차를 직교 변환할 때, 직교 변환하는 예측 오차 집합 중에 움직임 보상 예측의 경계가 포함되는 것이 없어진다. 이에 의해, 움직임 보상 예측의 경계를 걸친 화소를 예측 오차로서 함께 직교 변환하는 것에 의한 직교 변환 효율의 저하를 방지할 수 있고, 부호화 효율을 더욱 향상시키는 효과를 발휘한다.
가변 길이 부호화부(105)는, 직교 변환·양자화부(104)에서 직교 변환·양자화된 예측 잔차 성분을 가변 길이 부호화함과 함께, 움직임 벡터 검출부(102)에서 검출한 움직임 벡터를 가변 길이 부호화한다. 종래와 같이 마크로 블록을 고정 경계에 의해 분할하는 경우에는, 움직임 벡터는 래스터 순서(즉, 왼쪽 위의 블록에서 우측 아래의 블록을 향한 순서)로 전송한다. 본 실시형태와 같이 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는 경우에는, 움직임 보상 예측의 각 영역 내의 제일 왼쪽 위의 화소의 위치가 래스터 순서로 앞에 것부터 차례로 움직임 벡터를 전송한다. 이에 의해, 종래 기술과 동일하게, 복수의 움직임 벡터를 전송하는 순서에 의해, 움직임 보상 예측의 대상 영역을 일의적(一意的)으로 표현할 수 있다.
역양자화·역직교 변환부(106)는, 직교 변환·양자화부(104)에 의해 직교 변환·양자화된 예측 잔차 성분에 대해, 역직교 변환 및 역양자를 실행한다. 직교 변환·양자화부(104)와 동일하게, 움직임 보상 예측의 사이즈에 대응한 사이즈로 역직교 변환할 수 있도록 해놓는다.
가산부(109)는, 역양자화·역직교 변환부(106)에 의해 복호된 예측 잔차 성분과, 본영역 분할·움직임 보상부(103)에 의해 산출된 움직임 보상 예측 화상을 가산하는 것에 의해 참조 화상을 생성하고, 참조 화상 메모리(107)에 격납한다.
도 2는 실시형태 1의 동화상 복호 장치의 구성을 나타내는 블록도이다. 실시형태 1의 동화상 복호 장치는, 가변 길이 복호부(201), 본영역 분할·움직임 보상부(203), 역양자화·역직교 변환부(206), 가산부(209), 및 참조 화상 메모리(207)를 구비한다.
가변 길이 복호부(201)는, 직교 변환·양자화되어 있는 예측 잔차 성분 신호 및 움직임 벡터를 가변 길이 복호한다. 도 1의 동화상 부호화 장치에 의해 부호화된 비트스트림에서는, 마크로 블록을 분할한 영역마다 움직임 벡터가 부호화되어 있기 때문에, 가변 길이 복호부(201)에 의해, 분할 영역마다 움직임 벡터가 복호된다. 여기서, 마크로 블록 내의 움직임 벡터가 복호된 순서에 의해, 움직임 보상 예측의 대상 영역을 일의로 결정할 수 있다.
본영역 분할·움직임 보상부(203)는, 도 1의 동화상 부호화 장치의 본영역 분할·움직임 보상부(103)와 동일한 기능을 가지고, 가변 길이 복호부(201)에서 복호된 움직임 벡터를 이용하여 참조 화상 메모리(207)에 축적되어 있는 참조 화상으로부터 움직임 보상 예측을 실행한다. 여기서, 움직임 벡터는 마크로 블록의 분할 영역마다 취득되어 있다. 본영역 분할·움직임 보상부(203)는, 도 1의 동화상 부호화 장치의 본영역 분할·움직임 보상부(103)와 동일한 순서로, 각 분할 영역의 움직임 벡터로부터 생성되는 복수의 움직임 보상 예측 화상을 합성하여 합성 움직임 보상 예측 화상을 생성한다.
역양자화·역직교 변환부(206)는, 도 1의 동화상 부호화 장치의 역양자화·역직교 변환부(106)와 동일한 기능을 가지고, 가변 길이 복호부(201)에서 복호된 예측 잔차 성분에 대해 역직교 변환 및 역양자화를 실행한다.
가산부(209)는, 역양자화·역직교 변환부(206)에 의해 복호된 예측 잔차 성분과, 본영역 분할·움직임 보상부(203)에 의해 산출된 움직임 보상 예측 화상을 가산하는 것에 의해, 화상 신호를 복호한다. 참조 화상 메모리(207)는, 도 1의 동화상 부호화 장치의 참조 화상 메모리(107)와 동일하고, 복호된 참조 화상을 축적한다.
이상의 구성에 의한 동화상 부호화 장치의 동작, 특히, 본영역 분할·움직임 보상부(103)의 동작을 설명한다.
도 9는 본영역 분할·움직임 보상부(103)에 의한 본영역의 결정 순서를 설명하는 플로차트이다.
우선, 가영역 분할부(101)에 의해 분할된 N개(N≥2)의 가영역마다 움직임 벡터 검출부(102)는 움직임 벡터를 검출한다. 여기서는 N=2로 한다. 움직임 벡터 검출부(102)에서 검출한 제 1 움직임 벡터를 이용하여, 마크로 블록과 동일한 움직임으로 움직임 보상 예측하고, 제 1 움직임 보상 예측 화상을 생성한다(S01). 마찬가지로, 움직임 벡터 검출부(102)에서 검출한 제 2 움직임 벡터를 이용하여, 마크로 블록과 동일한 크기로 움직임 보상 예측하고, 제 2 움직임 보상 예측 화상을 생성한다(S02).
다음으로, 본경계의 각 후보에 대해, 도 10(a)~(d)에 나타내는 제 1~제 4 액티비티를 산출한다(S03~S06). 단, 스텝(S03~S06)은 순서와 상관없이 실행할 수 있다. 또한, 스텝(S03~S06)을 전부 실행하지 않고, 경계 평가에 사용하고자하는 액티비티만을 산출하는 것도 물론 가능하다.
우선, 도 10(a)와 같이, 제 1 움직임 보상 예측 화상에 대해, 본경계 후보에 관한 경계 액티비티(제 1 액티비티)를 산출한다(S03). 여기서, 액티비티에는 본경계 후보를 걸치는 2화소 사이의 절대 차분합(SAD)을 이용한다. 제 1 액티비티는 물체의 에지 등에서 값이 커지기 때문에, 값이 클수록 해당 경계에서 영역을 분할하는 것이 움직임 보상 예측의 예측 효율이 향상된다. 마찬가지로, 도 10(b)와 같이, 제 2 움직임 보상 예측 화상에 대해, 본경계 후보에 관한 경계 액티비티(제 2 액티비티)를 산출한다(S04). 제 2 액티비티는 제 1 액티비티와 동일하게, 값이 클수록 해당 경계에서 영역을 분할하는 것이 움직임 보상 예측의 예측 효율이 향상된다.
여기서, 본경계 후보를 1화소 간격 경계로 정의하지 않는 경우의 제 1 액티비티 및 제 2 액티비티의 산출 방법을 설명한다. 본경계 후보가 n화소(n≥2) 간격으로 정의되어 있는 경우, 어느 한 본경계 후보에 관한 경계 액티비티를 산출할 때, 당해 본경계 후보(Y)의 주변에서 본경계 후보가 정의되어 있지 않은 영역의 경계 액티비티를 필터링하여 사용한다.
도 11은 본경계 후보를 2화소 간격으로 정의하는 경우의 제 1 액티비티 및 제 2 액티비티의 산출 예를 설명하는 도면이다. 도 11은 16×16화소의 마크로 블록에 대해 본경계 후보가 2화소 간격(2, 4, 6, 8, 10, 12, 14)으로 설정되어 있는 경우이다. 본경계 후보의 위치는 실선으로, 본경계 후보가 설정되어 있지 않은 위치는 점선으로 도시되어 있다. 본경계 위치 Y에 있어서의 제 1 및 제 2 액티비티는, 본경계 후보가 설정되어 있지 않은 주변 위치 Y-1, Y+1에 있어서의 액티비티를 고려하여, 다음의 식에 의해 구한다.
새로운 액티비티 (Y)=(ACT(Y-1)+2*ACT(Y)+ACT(Y+1)+2)/4
여기서, ACT(Y), ACT(Y-1), ACT(Y+1)는 각각 위치 Y, Y-1, Y+1에 있어서 도 10(a), (b)에서 설명한 경계 액티비티이다.
이와 같이, 본경계가 2화소 간격으로 설정된 경우, 본경계 후보로서 사용하지 않는 위치 (Y-1) 및 (Y+1)에 있어서의 액티비티를, 본경계 후보로서 사용하는 위치 Y의 액티비티에 영향을 주도록 한다. 이에 의해, 예를 들면, 급준한 에지가 경계 후보가 아닌 위치에 발생되어 있는 경우에도, 급준한 에지의 어느 한 위치의 액티비티를 경계 후보 위치의 액티비티에 반영시킬 수 있다. 1화소마다 모든 경계를 경계 후보로 설정하지 않아도, 후보에 탈락한 위치의 액티비티를 참작할 수 있기 때문에, 연산량을 억제하면서 적절한 본경계 판정에 기여할 수 있다.
본 예에서는, 액티비티 산출의 필터링 계수를 1:2:1로 했지만, 기타 계수로 필터링을 실행해도 물론 관계없다. 또한, 본경계 후보는, 2화소 간격이 아닌, 3화소 간격 이상으로 해도 좋다. 예를 들면, 본경계 후보를 4화소 간격으로 한 경우, 본경계 위치 Y에 있어서의 제 1 및 제 2 액티비티는, 본경계 후보가 설정되어 있지 않은 주변 위치 Y-2, Y-1, Y+1, Y+2에 있어서의 액티비티를 고려하여, 필터링 계수 1:2:4:2:1의 조건으로 다음의 식에 의해 구한다.
새로운 액티비티 (Y)=(ACT(Y-2)+2*ACT(Y-1)+4*ACT(Y)+2*ACT(Y+1)+ACT(Y+2)+5)/10
이어서, 도 10(c)와 같이, 마크로 블록 내의 본경계 후보보다 위의 영역을 제 1 움직임 보상 예측 화상으로서 움직임 보상 예측하고, 본경계 후보보다 아래의 영역을 제 2 움직임 보상 예측 화상으로서 합성한 합성 움직임 보상 예측 화상에 대해, 본경계 후보에 관한 경계 액티비티(제 3 액티비티)를 산출한다(S05). 제 3 액티비티는 본경계 후보를 걸치는 2화소 사이의 절대 차분합이기 때문에, 본경계 후보의 상하에 위치하는 제 1 움직임 보상 예측 화상의 화소와 제 2 움직임 보상 예측 화상의 화소값의 절대 차분의 합이 된다. 따라서, 제 3 액티비티는 값이 작을수록, 합성 움직임 보상 예측 화상의 경계가 매끄러워지고, 예측 오차 신호에 고주파 성분이 쉽게 발생하지 않기 때문에, 움직임 보상 예측의 예측 효율이 향상된다.
여기서, 제 3 액티비티에 대해, 소정의 본경계 후보에 관한 경계 액티비티를 산출할 때, 당해 본경계 후보 Y의 주변에서 본경계 후보가 정의되어 있지 않은 영역의 경계 액티비티를 필터링하여 사용하는 것도 물론 가능하다.
마지막으로, 도 10(d)와 같이, 제 1 움직임 보상 예측 화상과 제 2 움직임 보상 예측 화상의 차분 화상에 대해, 본경계 후보에 관한 경계 액티비티(제 4 액티비티)를 산출한다(S06). 제 4 액티비티는, 물체의 경계 등에서 값이 커지기 때문에, 값이 클수록 해당 경계에서 영역을 분할하는 것이 움직임 보상 예측의 예측 효율이 향상된다.
*여기서, 제 4 액티비티에 대해, 소정의 본경계 후보에 관한 경계 액티비티를 산출할 때, 당해 본경계 후보 Y의 주변에서 본경계 후보가 정의되어 있지 않은 영역의 경계 액티비티를 필터링하여 사용하는 것도 물론 가능하다.
경계 평가에 사용하는 액티비티를 모두 산출한 후에, 미리 정의한 평가치를 이용하여 본경계 후보를 평가한다(S07). 예를 들면, 평가치는 아래와 같이 정의한다.
평가치=-A*ACT1-B*ACT2+C*ACT3-D*ACT4
여기서, ACT1은 제 1 액티비티 값을 나타내고, ACT2는 제 2 액티비티 값을 나타내고, ACT3은 제 3 액티비티 값을 나타내고, ACT4는 제 4 액티비티 값을 나타낸다. 또한, A, B, C, D는 각각 0 이상의 정수이다.
상기 평가치를 모든 본경계 후보에 대해 산출하고, 최소값을 가지는 본경계 후보를 최종적인 본경계로 결정한다(S08).
여기서, 본경계와 가경계는 동일해지는 것이 바람직하지만, 결정된 본경계는 꼭 가경계와 동일해지지는 않는다. 움직임 벡터 검출용 가경계는, 부호화측에서 최적의 움직임 벡터를 구하기 위한 경계이고, 부호화측만 이용 가능한 부호화 대상 원화상도 사용하여 산출할 수 있다. 한편, 본경계는 부호화측·복호측 모두 일의적으로 산출 가능해야 하고, 산출한(복호측에서는 전송되어 온) 복수의 움직임 벡터와, 그 움직임 보상 예측 화상(즉, 예측 잔차 성분이 가산되기 전의 화상)으로 판단하고 있다. 그 때문에, 본경계와 가경계는 동일하지 않아도 부호화측과 복호측의 미스매치 등은 발생하지 않는다.
하지만, 본경계와 가경계가 상이하다는 것은, 본경계 결정 후의 합성 움직임 보상 예측 화상에 대해 최적의 움직임 벡터를 검출하지 못했다는 것을 의미하고, 예측 효율이 꼭 향상되지 않는 경우가 있다. 그 때문에, 가영역 분할부(101)에 의해 설정되는 가영역을 조정하거나, 움직임 벡터 검출부(102)에 의해 검출되는 움직임 벡터를 조정하는 것에 의해, 최적의 가경계 혹은 최적의 움직임 벡터와, 최적의 본경계 이들 모두를 동시에 실현하면, 부호화 효율을 더욱 향상시킬 수 있다.
이하, 움직임 벡터 검출부(102)에 의해 검출되는 움직임 벡터를 조정하는 것에 의해, 본영역 분할·움직임 보상부(103)에 의해 생성되는 합성 움직임 보상 예측 화상의 예측 효율을 최적화하는 구성을 실시형태 2로서 설명한다. 또한, 가영역 분할부(101)에 의해 설정되는 가경계를 조정하는 것에 의해, 본영역 분할·움직임 보상부(103)에 의해 생성되는 합성 움직임 보상 예측 화상의 예측 효율을 최적화하는 구성을 실시형태 3으로서 설명한다.
(실시형태 2)
*실시형태 2의 동화상 부호화 장치는, 도 1의 동화상 부호화 장치와 동일한 구성이지만, 실시형태 2에서는, 본영역 분할·움직임 보상부(103)로부터 움직임 벡터 검출부(102)에 움직임 벡터의 조정을 지시하기 위한 신호를 보내는 경로가 더 추가된다. 이에 의해, 움직임 벡터 검출부(102) 및 본영역 분할·움직임 보상부(103)의 처리는, 루프를 형성하고, 본영역 분할·움직임 보상부(103)가 결정하는 본경계가, 가영역 분할부(101)에 의해 가경계와 일치하거나, 충분히 근접한 것이 될 때까지, 움직임 벡터 검출부(102)가 움직임 벡터를 조정한다.
도 12는 실시형태 2의 동화상 부호화 장치에 의한 움직임 벡터의 조정 순서를 설명하는 플로차트이다. 움직임 벡터 검출부(102)는, 가경계에 기초하여 움직임 벡터를 검출하고(S11), 그 다음 본영역 분할·움직임 보상부(103)가, 움직임 벡터 검출부(102)에 의해 검출된 움직임 벡터에 기초하여 본경계 결정 처리를 실행한다(S12). 본경계 결정 처리는, 도 9에서 설명한 바와 같이, 본경계 후보 중에서 경계 액티비티의 평가치가 가장 양호한 것을 선택함으로써 실행된다.
본영역 분할·움직임 보상부(103)에 의해 결정된 본경계가 가경계와 동일한 경우, 움직임 벡터 검출부(102)에 의한 움직임 벡터 검출을 종료하지만, 결정된 본경계가 가경계와 상이한 경우에는, 움직임 벡터 검출부(102)에 의한 움직임 벡터 검출을 계속 진행한다(S13). 본경계와 가경계가 상이한 경우에는, 움직임 벡터 검출부(102)는, 예를 들면, 2개 영역으로 가분할 된 어느 한 영역에서 움직임 벡터 검출을 다시 한다. 다시 하는 방법은 어떠한 방법이어도 좋지만, 예를 들면 움직임 벡터 탐색시의 오차 평가치 중에서, 두 번째로 작은 값(제 2 최소값)을 남겨 놓고, 제 2 최소값의 위치로부터 움직임 벡터 검출을 계속 진행하는 등의 수법이 가능하다.
움직임 벡터 검출부(102)에 의해 재검출된 움직임 벡터를 이용하여, 본영역 분할·움직임 보상부(103)는, 본경계 결정 처리를 재실행한다. 본경계가 가경계에 일치하거나, 충분히 근접한 것이 될 때까지, 움직임 벡터 검출부(102)에 의한 움직임 벡터 검출 처리와 본영역 분할·움직임 보상부(103)에 의한 본경계 결정 처리를 반복한다.
(실시형태 3)
실시형태 3의 동화상 부호화 장치는, 도 1의 동화상 부호화 장치와 동일한 구성이지만, 실시형태 3에서는, 가영역 분할부(101)는 복수의 가경계 후보를 설정하고, 움직임 벡터 검출부(102)는 가경계 후보마다 움직임 벡터를 검출하고, 본영역 분할·움직임 보상부(103)는 가경계마다 본경계 결정 처리를 실행한다. 그리고 본영역 분할·움직임 보상부(103)는, 복수의 가경계 중에서 합성 움직임 보상 예측 화상의 예측 효율이 가장 좋은 것을 선택한다.
도 13은 실시형태 3의 동화상 부호화 장치에 의한 가경계의 조정 순서를 설명하는 플로차트이다. 가영역 분할부(101)는, 가경계 후보를 복수 설정하고, 움직임 벡터 검출부(102)는, 각각의 가경계 후보로 분할되는 가영역마다 움직임 벡터를 검출한다(S21). 본영역 분할·움직임 보상부(103)는, 각 가경계 후보로 분할되는 가영역마다 검출된 움직임 벡터에 기초하여 본경계 결정 처리를 실행하고(S22), 합성 움직임 보상 예측 화상의 예측 효율을 평가한다(S23). 예측 효율의 평가는, 원화상과 합성 움직임 보상 예측 화상의 차분에 대한 SAD 등으로 평가한다. 이 평가를 복수의 가경계 후보에 대해 실행하고(S24), 가경계 후보 중에서 움직임 보상 예측 화상의 예측 효율이 가장 좋은 가경계를 선택한다. 본영역 분할·움직임 보상부(103)는, 선택된 가경계에 대한 움직임 벡터에 대해 결정되는 본경계에 기초하여 생성된 합성 움직임 보상 예측 화상을 최종 결과로서 출력한다.
다른 방법으로, 실시형태 2와 같이, 본영역 분할·움직임 보상부(103)로부터 가영역 분할부(101)에 가경계의 조정을 지시하기 위한 신호를 보내는 경로를 추가하고, 가영역 분할부(101), 움직임 벡터 검출부(102) 및 본영역 분할·움직임 보상부(103)의 처리가, 루프를 형성하도록 구성해도 좋다. 본영역 분할·움직임 보상부(103)가 결정하는 본경계가, 가영역 분할부(101)에 의한 가경계와 일치하거나, 충분히 근접한 것이 될 때까지, 가영역 분할부(101)는 가경계를 조정한다. 본영역 분할·움직임 보상부(103)에 의해 결정된 본경계가 가경계와 동일한 경우, 가영역 분할부(101)에 의한 가경계의 설정은 종료되지만, 결정된 본경계가 가경계와 상이한 경우에는, 가영역 분할부(101)는 다른 가경계의 후보를 설정하고, 움직임 벡터 검출부(102)는, 재설정된 가경계에 의해 분할되는 가영역마다 움직임 벡터를 재검출하고, 본영역 분할·움직임 보상부(103)는, 본경계 결정 처리를 재실행한다. 본경계가 가경계에 일치하거나, 충분히 근접한 것이 될 때까지, 가영역 분할부(101)에 의한 가경계 설정 처리와 본영역 분할·움직임 보상부(103)에 의한 본경계 결정 처리를 반복한다.
어느 방법을 취해도, 결과적으로, 본영역 분할·움직임 보상부(103)가 최종 결정되는 본경계는, 가영역 분할부(101)가 설정하는 가경계와 일치하거나, 충분히 근접한 것이 되어 예측 효율이 향상된다.
다음으로, 실시형태 1~3의 동화상 부호화 장치에 의해 부호화되는 동화상의 비트스트림 신택스에 대해 설명한다.
도 14는 MPEG-4 AVC의 신택스를 베이스로 한 제 1 신택스 패턴을 나타낸다. 도 14(a)와 같이, 우선, 슬라이스 단위로 예측 화상의 특징량을 이용하여 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는지 여부를 나타내는 제 1 플래그(use_auto_mc_size)를 전송한다. 제 1 플래그(use_auto_mc_size)가 OFF인 경우에는, 종래와 같이 도 14(b)에 나타내는 마크로 블록 타입(mb_type)에 기초하여 마크로 블록을 고정적으로 분할하여 움직임 보상 예측을 실행한다. 제 1 플래그(use_auto_mc_size)가 ON인 경우, 예측 화상의 특징량을 이용하여 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하여 움직임 보상 예측을 실행한다. 마크로 블록 단위에서는, MPEG-4 AVC와 동일하게, mb_type을 전송하여 움직임 보상 예측의 형상을 판단한다.
도 15는 제 1 플래그(use_auto_mc_size)가 ON/OFF인 각각의 경우의 마크로 블록 타입(mb_type)의 시맨틱스를 나타낸다. 마크로 블록 타입(mb_type)=0인 경우에는 16×16의 마크로 블록을 영역 분할하지 않고 움직임 보상 예측을 실행한다. 마크로 블록 타입(mb_type)=1인 경우, 제 1 플래그(use_auto_mc_size)가 OFF인 경우에는 16×8로 움직임 보상 예측을 실행하지만, 제 1 플래그(use_auto_mc_size)가 ON인 경우, 마크로 블록을 16×A와 16×(16-A)의 2개 영역으로 자동 분할하여 움직임 보상 예측을 실행한다. 마찬가지로, 마크로 블록 타입(mb_type)=2인 경우, 제 1 플래그(use_auto_mc_size)가 OFF인 경우에는 8×16블록으로 움직임 보상 예측을 실행하지만, 제 1 플래그(use_auto_mc_size)가 ON인 경우, 마크로 블록을 A×16과 (16-A)×16의 2개 영역으로 자동 분할하여 움직임 보상 예측을 실행한다. 마크로 블록 타입(mb_type)=3인 경우에는 8×8블록으로 움직임 보상 예측을 실행한다.
도 16은 슬라이스 레벨뿐만 아니라, 마크로 블록 단위로도 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는지 여부를 나타내는 제 2 플래그(auto_mc_size_enable)를 전송하는 제 2 신택스 패턴을 나타낸다. 제 2 플래그(auto_mc_size_enable)가 OFF인 경우, 슬라이스 레벨로 제 1 플래그(use_auto_mc_size)가 OFF로 된 경우와 동일하게, 종래와 같이 마크로 블록 타입(mb_type)에 기초하여 마크로 블록을 고정적으로 분할하여 움직임 보상 예측을 실행한다. 제 2 플래그(auto_mc_size_enable)가 ON인 경우, 예측 화상의 특징량을 이용하여 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하여 움직임 보상 예측을 실행한다. 제 2 신택스를 이용하면, 본경계를 자동으로 결정해버림으로써 예측 효율이 저하되는 경우를 배제할 수 있다.
도 17은 슬라이스 레벨로 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는 알고리즘을 전환하는 제 3 신택스 패턴을 나타낸다. 슬라이드 단위로 제 1 플래그(use_auto_mc_size)가 ON인 경우, 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는 알고리즘 타입을 나타내는 알고리즘 타입(auto_mc_algorithm)을 전송한다. 예를 들면, 알고리즘 타입(auto_mc_algorithm)=0인 경우, 제 1~제 4 액티비티(ACT1~ACT4)의 전부를 이용한 평가치에 기초하여 움직임 보상 예측의 형상을 결정한다. 알고리즘 타입(auto_mc_algorithm)=1인 경우, 제 4 액티비티(ACT4)를 제외한 제 1~제 3 액티비티(ACT1~ACT3)만을 이용하여 평가치에 기초하여 움직임 보상 예측의 형상을 결정하는 등이다. 이와 같이, 알고리즘 타입(auto_mc_algorithm)의 값에 사용하는 액티비티의 종류를 대응시키는 것에 의해, 움직임 보상 예측의 형상을 결정하는 알고리즘을 전환할 수 있다. 제 3 신택스를 이용하면, 부호화측에서 최적의 알고리즘 타입을 판단하여 복호측에서 영역의 자동 분할을 실행시키는 것이 가능하기 때문에, 부호화 효율이 더욱 향상된다.
도 18은 마크로 블록을 수평 방향과 수직 방향 중의 어느 하나로 영역을 분할할지(분할 방향)를 신택스 상에서 구별하지 않는 제 4 신택스 패턴을 나타낸다. 마크로 블록 단위로 마크로 블록 타입(mb_type)을 전송하여 움직임 보상 예측의 형상을 판단하는 것은 제 1 신택스 패턴과 동일하지만, 마크로 블록 타입(mb_type)의 시맨틱스가 상이하다.
도 19는 제 4 신택스 패턴의 마크로 블록 타입(mb_type)의 시맨틱스를 나타낸다. 제 1 플래그(use_auto_mc_size)가 OFF인 경우에는, 종래와 같이 마크로 블록 타입(mb_type)에 기초하여 마크로 블록을 고정적으로 분할하여 움직임 보상 예측을 실행하고, 제 1 플래그(use_auto_mc_size)가 ON인 경우, 예측 화상의 특징량을 이용하여 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하여 움직임 보상 예측을 실행하는 것은 제 1 신택스 패턴과 동일하다. 단, 16×A와 16×(16-A)의 2개 영역으로 수평 방향으로 분할하는 것과, A×16과 (16-A)×16의 2개 영역으로 수직 방향으로 분할하는 것이, 마크로 블록 타입(mb_type)=1로서 구별되지 않고 취급되는 것이 제 1 신택스 패턴과는 상이하다. 마크로 블록 타입(mb_type)=1인 경우, 수평 방향 본경계 후보와 수직 방향 본경계 후보의 모든 경계 평가치를 산출하고, 최소 평가치를 가지는 경계 후보를 본경계로 결정한다. 즉, 분할 방향(수평 방향·수직 방향)을 포함하여 움직임 보상 예측의 형상을 복호측에서 자동 결정한다. 제 4 신택스 패턴을 이용하면, 수평 방향과 수직 방향을 구별하는 분할 방향 정보를 전송할 필요가 없기 때문에, 마크로 블록 타입(mb_type)의 부호량이 감소하고, 부호화 효율이 더욱 향상된다.
도 20은 영역 분할을 마크로 블록 타입(mb_type)과 연동시키지 않고 결정하는 제 5 신택스 패턴을 나타낸다. 마크로 블록 단위로 마크로 블록 타입(mb_type) 대신에 움직임 벡터수(motion_vector_num_minus1)를 전송한다. 움직임 벡터수(motion_vector_num_minus1)는 (마크로 블록 내의 움직임 벡터의 개수-1)의 값을 나타낸다. 본 발명의 실시형태에서는, 전송하는 움직임 벡터의 수만큼 움직임 보상 예측의 영역이 분할되기 때문에, 적어도 움직임 벡터의 개수를 전송하면, 움직임 보상 예측의 형상을 복호측에서 자동으로 결정할 수 있는 가능성이 있다. 실시형태 1~3에서는 움직임 벡터가 2개인 경우의 예를 설명했지만, 움직임 벡터가 2개보다 많은, 예를 들면 3개인 경우의 예는 실시형태 5에서 설명한다.
이상에서는, MPEG의 P픽처 등에서 이용되는 단방향 예측에 대해 본 발명의 실시형태를 설명했다. 도 21을 참조하여, 본 발명의 실시형태를 B픽처 등에서 이용되는 쌍방향 예측(통상은 전방향 예측과 후방향 예측)에 대해 적용한 경우에 대해 설명한다. 여기서, 마크로 블록을 수평 방향으로 2분할하는 경우를 예로 들어 설명한다. 쌍방향 예측이란, 2개의 참조 화상으로부터 움직임 보상 예측을 실행하는 것에 의해 얻은 2개의 화상을 평균화 또는 가중치를 평균화하는 것에 의해, 예측 화상을 얻는 기술이다.
우선, 가영역마다 각 예측 방향(전방향, 후방향)의 움직임 벡터가 검출된다. 도 21(a), (b)는 제 1 가영역에 대한 각 예측 방향(전방향, 후방향)의 제 1 움직임 벡터를 나타낸다. 도 21(c), (d)는 제 2 가영역에 대한 각 예측 방향(전방향, 후방향)의 제 2 움직임 벡터를 나타낸다.
도 21(e)는 전방향 및 후방향의 제 1 움직임 벡터를 이용하여 쌍방향 예측한 제 1 움직임 보상 예측 화상을 나타내고, 도 21(f)는 전방향 및 후방향의 제 2 움직임 벡터를 이용하여 쌍방향 예측한 제 2 움직임 보상 예측 화상을 나타낸다.
도 21(g)는 본경계 결정 후, 마크로 블록의 본경계보다 상측의 본영역을 제 1 움직임 보상 예측 화상의 대응하는 영역으로부터 복제하고, 본경계보다 하측의 본영역을 제 2 움직임 보상 예측 화상의 대응하는 영역으로부터 복제하여 생성되는 합성 움직임 보상 예측 화상을 나타낸다.
이와 같이, 쌍방향 예측에 대해 본 발명의 실시형태를 적용하는 것은 용이하고, 쌍방향 예측에 의해 예측 오차를 삭감하면서, 적절한 영역 분할에 의해 더욱 예측 오차를 삭감할 수 있다.
또한, 본 발명의 실시형태는, 움직임 벡터를 직접 전송하지 않고, 주변 블록의 움직임 벡터나 참조 화상의 움직임 벡터에 기초하여 자동 산출한 움직임 벡터를 이용하여 움직임 보상 예측의 형상을 자동으로 결정하는 것도 물론 가능하다.
또한, 이상에서는 단일 화상 컴포넌트(휘도)에 대해 설명했지만, YUV 4:4:4/YUV 4:2:2/YUV 4:2:0 등의 복수 컴포넌트(휘도 및 색차)에도 적용할 수 있다. 단, 움직임 보상 예측에서는 휘도와 색차를 동시에 실행하기 때문에, YUV 4:2:2나 YUV 4:2:0 등의 휘도와 색차의 샘플수가 상이한 포맷에서는, 샘플수가 많은 휘도를 기준으로 영역을 분할한 경우, 색차의 영역 분할 위치가 모호해질 가능성이 있다. 예를 들면, YUV 4:2:0 포맷시에, 휘도를 16×5와 16×11로 분할하는 경우에 색차의 영역 분할이 8×2인지 8×3인지 불명해진다. 이 모호함을 방지하는 대책으로서는, 미리 샘플수가 적은 색차를 기준으로 하여 영역을 분할하는 것이나, 모호한 위치에서의 색차의 분할 규칙을 미리 결정해 놓는(블록의 중심을 기준으로 잘라 버리는) 방법이나, 경계상의 화소는 두 움직임 보상 예측 화상의 평균치(필터링)를 이용하는 방법 등이 있다.
(실시형태 4)
실시형태 4의 동화상 부호화 장치 및 동화상 복호 장치는, 실시형태 1~3과 동일한 구성을 갖지만, 실시형태 4의 동화상 부호화 장치는, 마크로 블록을 2차원으로 분할하여 움직임 보상을 실행하고, 2개의 움직임 벡터를 전송하고, 동화상 복호 장치는, 움직임 보상 예측의 형상을 복호측에서 2차원으로 분할하고, 전송된 2개의 움직임 벡터를 이용한 움직임 보상을 실행한다.
도 22(a)~(f)는 마크로 블록을 2차원으로 영역 분할하는 방법을 나타낸다. 도 22(a)와 같이, 실시형태 1~3에서 설명한 순서를 실행하는 것에 의해, 마크로 블록에 대해 수평 방향 경계와 수직 방향 경계를 각각 정한다. 수평 방향 경계보다 상측 또는 하측, 및 수직 방향 경계보다 좌측 또는 우측의 조합에 의해, 도 22(b)~(e)의 4가지 2차원 분할 패턴을 정의할 수 있다.
도 22(b)의 2차원 분할 패턴에서는, 수평 방향 경계보다 상측이면서 수직 방향 경계보다 좌측의 영역을 제 1 영역으로 하고, 나머지 영역(수평 방향 경계보다 하측, 또는 수직 방향 경계보다 좌측의 영역)을 제 2 영역으로 한다.
도 22(c)의 2차원 분할 패턴에서는, 수평 방향 경계보다 하측, 또는 수직 방향 경계보다 좌측의 영역을 제 1 영역으로 하고, 나머지 영역(수평 방향 경계보다 상측이면서 수직 방향 경계보다 우측의 영역)을 제 2 영역으로 한다.
도 22(d)의 2차원 분할 패턴에서는, 수평 방향 경계보다 상측, 또는 수직 방향 경계보다 우측의 영역을 제 1 영역으로 하고, 나머지 영역(수평 방향 경계보다 하측이면서 수직 방향 경계보다 좌측의 영역)을 제 2 영역으로 한다.
도 22(e)의 2차원 분할 패턴에서는, 수평 방향 경계보다 상측, 또는 수직 방향 경계보다 좌측의 영역을 제 1 영역으로 하고, 나머지 영역(수평 방향 경계보다 하측이면서 수직 방향 경계보다 우측의 영역)을 제 2 영역으로 한다.
도 22(f)는 이들 4개의 2차원 분할 패턴에서 1개를 선택하고, 제 1 영역에는 제 1 움직임 벡터에 의한 움직임 보상 예측 화상의 대응 영역을, 제 2 영역에는 제 2 움직임 벡터에 의한 움직임 보상 예측 화상의 대응 영역을 각각 복제하는 것에 의해 얻어지는 합성 움직임 보상 예측 화상을 나타낸다.
도 23은 마크로 블록을 2차원으로 분할하여 움직임 보상을 실행하는 순서를 설명하는 플로차트이다. 우선, 실시형태 1과 동일한 방법으로, 수평 방향 경계와 수직 방향 경계의 두 경계를 결정한다(S31). 그 다음, 수평 방향 경계와 수직 방향 경계의 조합에 의해 2개로 분할된 마크로 블록의 2차원 분할 영역에 대해, 경계 액티비티의 평가치를 산출한다(S32). 예를 들면, 마크로 블록 내의 X 좌표를 i, Y 좌표를 j로 하여, 점(i, j)에 있어서의 화소치를 Ai , j로 하면, 2차원 분할 영역의 경계를 따라, 수평 방향 경계 j의 수직 액티비티를 i=a에서 i=b까지 적용하고, 수직 방향 경계 i의 수직 액티비티를 j=c에서 j=d까지 적용한 경우의 2차원 평균 액티비티를 아래와 같이 정의할 수 있다.
2차원 평균 액티비티=Σi= a b│Ai , j-Ai , j-1│/(b-a)+Σj= c d│Ai , j-Ai -1, j│/(d-c)
상기의 2차원 평균 액티비티를 평가치에 사용하는 것에 의해, 액티비티 산출에 이용한 샘플수에 의존하지 않고, 2차원 영역 분할을 평가할 수 있다. 스텝(S32)을 모든 2차원 분할 패턴(여기서는 4패턴)으로 반복하고(S33), 최소 평가치를 가지는 2차원 분할 후보를 선택하여, 합성 움직임 보상 예측 화상을 생성한다.
이와 같이, 실시형태 4에서는, 실시형태 1보다 유연한 형상으로 움직임 보상 예측을 실행하기 때문에, 더욱 부호화 효율이 향상된다.
(실시형태 5)
실시형태 5의 동화상 부호화 장치 및 동화상 복호 장치는, 실시형태 1~3과 동일한 구성을 갖지만, 실시형태 5의 동화상 부호화 장치는, 3개의 움직임 벡터를 이용하여 마크로 블록을 3분할하여 움직임 보상을 실행하고, 3개의 움직임 벡터를 전송하고, 동화상 복호 장치는, 전송된 3개의 움직임 벡터를 이용하여, 움직임 보상 예측의 형상을 복호측에서 3분할하여 움직임 보상을 실행한다.
도 24(a), (b)는 마크로 블록을 3개 영역으로 분할하는 방법을 나타낸다. 도 24(a)와 같이, 우선, 실시형태 1~3에서 설명한 순서를 실행하는 것에 의해, 수평 방향 경계 또는 수직 방향 경계에 의해, 마크로 블록을 2분할한다. 그 다음, 도 24(b)와 같이, 2분할된 영역 중에서, 큰 쪽의 영역에 대해, 수평 방향 경계 또는 수직 방향 경계를 더 설정하는 것에 의해, 큰 쪽의 영역을 2분할한다. 이에 의해, 마크로 블록은 3분할되고, 각 영역에서 움직임 벡터가 검출된다.
도 25는 마크로 블록을 3분할하여 움직임 보상을 실행하는 순서를 설명하는 플로차트이다. 마크로 블록을 3개 영역으로 분할하여 움직임 보상을 실행하기 위해, 3개의 움직임 벡터를 검출하여 전송하는 것이 필요하다. 우선, 실시형태 1과 동일한 방법으로, 첫 번째의 움직임 벡터와 두 번째의 움직임 벡터를 이용하여, 수평 방향 또는 수직 방향으로 영역 분할하고, 움직임 보상을 실행한다(S41). 그 다음, 첫 번째의 움직임 벡터와 두 번째의 움직임 벡터에 의해 분할된 영역의 대소를 비교여 큰 쪽의 영역을 판단한다(S42). 이는, 큰 쪽의 영역이 영역 분할의 영양이 크고, 예측 효율의 향상이 더욱 크게 기대되기 때문이다. 또한, 영역의 크기가 동일한 경우에는, 미리 어느 쪽의 영역이 우선인지를 정해 놓는다. 마지막으로, 큰 쪽의 영역에 대해, 그 영역의 움직임 벡터(첫 번째의 움직임 벡터 또는 두 번째의 움직임 벡터)와 세 번째의 움직임 벡터를 이용하여, 수평 방향 또는 수직 방향으로 영역 분할하고, 움직임 보상을 실행한다(S43).
이와 같이, 실시형태 5에서는, 3개의 움직임 벡터를 이용하여 움직임 보상 예측의 영역을 3분할할 수 있다. 이에 의해, 복수의 작은 움직임 등에도 대응할 수 있기 때문에, 더욱 부호화 효율이 향상된다. 동일하게 하여, 영역의 분할을 더 진행하는 것에 의해, 움직임 보상 예측의 영역을 4분할 이상으로 하여, 움직임 벡터의 수를 4 이상으로 하는 것도 가능하다.
이상으로 서술한 바와 같이, 본 발명의 실시형태에 의하면, 복수의 움직임 벡터로부터 얻어지는 복수의 예측 화상의 특징량을 이용하여, 움직임 보상 예측의 형상을 복호측에서 자동으로 결정하는 것에 의해, 움직임 보상 예측 형상 패턴의 정보를 전송하지 않고, 움직임 보상 예측의 형상을 가변으로 할 수 있다. 따라서, 다양한 형상에 의한 유연한 움직임 보상 예측이 가능해지고, 그 결과, 부가 정보의 부호량을 증가시키지 않고, 움직임 보상 예측의 예측 오차를 감소시킬 수 있고, 부호화 효율이 향상된다.
또한, 부호화측의 움직임 벡터 검출 과정에 있어서, 복호측에서 결정되는 본경계를 산출하면서 움직임 벡터를 평가하는 것에 의해, 최적의 움직임 벡터와 최적의 본경계 모두를 동시에 실현했다. 이에 의해, 움직임 보상 예측의 예측 효율이 향상된다. 또한, 복호측에서는 전송된 움직임 벡터로부터 산출되는 본경계를 이용하여 움직임 보상 예측을 실행하는 것만으로, 동화상을 복호할 수 있다.
이상의 부호화 및 복호에 관한 처리는, 파드웨어를 이용한 전송, 축적, 수신 장치로서 실현할 수 있는 것은 물론이고, ROM(read-only memory)나 플래시 메모리 등에 기억되어 있는 펌웨어나, 컴퓨터 등의 소프트웨어에 의해서도 실현할 수 있다. 그 펌웨어 프로그램, 소프트웨어 프로그램을 컴퓨터 등으로 판독 가능한 기록 매체에 기억하여 제공하는 것도, 유선 혹은 무선 네트워크를 통해 서버로부터 제공하는 것도, 지상파 혹은 위성 디지털 방송의 데이터 전송으로서 제공하는 것도 가능하다.
이상, 본 발명을 실시형태를 바탕으로 설명했다. 실시형태는 예시이며, 각 실시형태의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형예가 가능하고, 또한 그러한 변형예도 본 발명의 범위에 포함되는 것은 당업자에게 이해되는 바이다.
[산업상 이용가능성]
본 발명은, 동화상의 부호화 기술, 특히 움직임 보상 예측을 이용한 동화상의 부호화 기술에 이용할 수 있다.
101: 가영역 분할부
102: 움직임 벡터 검출부
103: 본영역 분할·움직임 보상부
104: 직교 변환·양자화부
105: 가변 길이 부호화부
106: 역양자화·역직교 변환부
107: 참조 화상 메모리
108: 감산부
109: 가산부
201: 가변 길이 복호부
203: 본영역 분할·움직임 보상부
206: 역양자화·역직교 변환부
207: 참조 화상 메모리
209: 가산부

Claims (12)

  1. 부호화 대상 블록을 소정의 가경계에서 복수의 가영역으로 분할하는 가영역 분할부와,
    각 가영역에 대해 움직임 벡터를 검출하는 움직임 벡터 검출부와,
    각 가영역의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 부호화 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록에 기초하여 본경계를 결정하고, 상기 각 예측 블록을 상기 본경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 움직임 보상부를 포함하는 것을 특징으로 하는 동화상 부호화 장치.
  2. 상기 합성 예측 블록을 상기 부호화 대상 블록으로부터 감산한 예측 차분 블록과, 각 가영역의 움직임 벡터를 부호화하는 부호화부를 구비하는 것을 특징으로 하는 동화상 부호화 장치.
  3. 부호화 대상 블록을 소정의 가경계에서 복수의 가영역으로 분할하는 스텝과,
    각 가영역에 대해 움직임 벡터를 검출하는 스텝과,
    각 가영역의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 부호화 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록에 기초하여 본경계를 결정하고, 상기 각 예측 블록을 상기 본경계에 의해 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 스텝을 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  4. 상기 합성 예측 블록을 상기 부호화 대상 블록으로부터 감산한 예측 차분 블록과, 각 가영역의 움직임 벡터를 부호화하는 스텝을 포함하는 것을 특징으로 하는 동화상 부호화 방법.
  5. 부호화 대상 블록을 소정의 가경계에서 복수의 가영역으로 분할하는 기능과,
    각 가영역에 대해 움직임 벡터를 검출하는 기능과,
    각 가영역의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 부호화 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록에 기초하여 본경계를 결정하고, 상기 각 예측 블록을 상기 본경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 동화상 부호화 프로그램을 격납한, 컴퓨터로 판독 가능한 매체.
  6. 상기 합성 예측 블록을 상기 부호화 대상 블록으로부터 감산한 예측 차분 블록과, 각 가영역의 움직임 벡터를 부호화하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 동화상 부호화 프로그램을 격납한, 컴퓨터로 판독 가능한 매체.
  7. 부호화 스트림으로부터, 복호 대상 블록에 대한 복수의 움직임 벡터를 복호하는 복호부와,
    복수의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 복호 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록에 기초하여 경계를 결정하고, 상기 각 예측 블록을 상기 경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 움직임 보상부를 포함하는 것을 특징으로 하는 동화상 복호 장치.
  8. 상기 합성 예측 블록과, 상기 복호 대상 블록으로부터 복호한 예측 차분 블록을 가산하는 것에 의해, 복호 화상을 생성하는 가산부를 구비하는 것을 특징으로 하는 동화상 복호 장치.
  9. 부호화 스트림으로부터, 복호 대상 블록에 대한 복수의 움직임 벡터를 복호하는 스텝과,
    복수의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 복호 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록에 기초하여 경계를 결정하고, 상기 각 예측 블록을 상기 경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 스텝을 포함하는 것을 특징으로 하는 동화상 복호 방법.
  10. 상기 합성 예측 블록과, 상기 복호 대상 블록으로부터 복호한 예측 차분 블록을 가산하는 것에 의해, 복호 화상을 생성하는 스텝을 포함하는 것을 특징으로 하는 동화상 복호 방법.
  11. 부호화 스트림으로부터, 복호 대상 블록에 대한 복수의 움직임 벡터를 복호하는 기능과,
    복수의 움직임 벡터를 이용하여, 참조 화상으로부터 상기 복호 대상 블록에 대응한 복수의 예측 블록을 생성하고, 복수의 예측 블록에 기초하여 경계를 결정하고, 상기 각 예측 블록을 상기 경계에서 분할하여 얻은 영역을 상기 각 예측 블록 사이에서 결합시키는 것에 의해, 합성 예측 블록을 생성하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 동화상 복호 프로그램을 격납한, 컴퓨터로 판독 가능한 매체.
  12. 상기 합성 예측 블록과, 상기 복호 대상 블록으로부터 복호한 예측 차분 블록을 가산하는 것에 의해, 복호 화상을 생성하는 기능을 컴퓨터에 실현시키는 것을 특징으로 하는 동화상 복호 프로그램을 격납한, 컴퓨터로 판독 가능한 매체.
KR1020147000905A 2010-04-07 2011-03-23 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램 KR20140017018A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JPJP-P-2010-088528 2010-04-07
JP2010088528 2010-04-07
JPJP-P-2010-088529 2010-04-07
JP2010088529 2010-04-07
JP2010217755A JP2011234338A (ja) 2010-04-07 2010-09-28 動画像復号装置、動画像復号方法及び動画像復号プログラム
JPJP-P-2010-217755 2010-09-28
JPJP-P-2010-217754 2010-09-28
JP2010217754A JP2011234337A (ja) 2010-04-07 2010-09-28 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
PCT/JP2011/001690 WO2011125299A1 (ja) 2010-04-07 2011-03-23 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029274A Division KR101419634B1 (ko) 2010-04-07 2011-03-23 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램

Publications (1)

Publication Number Publication Date
KR20140017018A true KR20140017018A (ko) 2014-02-10

Family

ID=47439506

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147000905A KR20140017018A (ko) 2010-04-07 2011-03-23 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
KR1020127029274A KR101419634B1 (ko) 2010-04-07 2011-03-23 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127029274A KR101419634B1 (ko) 2010-04-07 2011-03-23 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램

Country Status (5)

Country Link
US (1) US20130064299A1 (ko)
EP (1) EP2557791A4 (ko)
KR (2) KR20140017018A (ko)
CN (1) CN102918842B (ko)
WO (1) WO2011125299A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206772B2 (ja) * 2010-11-22 2013-06-12 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2013113170A1 (en) * 2012-02-03 2013-08-08 Thomson Licensing System and method for error controllable repetitive structure discovery based compression
KR102327617B1 (ko) * 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
KR20180040517A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 비디오 부호화, 복호화 방법 및 장치
CN116866613A (zh) * 2016-06-22 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
WO2019050300A1 (ko) * 2017-09-06 2019-03-14 가온미디어 주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
WO2020059616A1 (ja) * 2018-09-21 2020-03-26 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
EP3668096A1 (en) 2018-12-11 2020-06-17 Axis AB Method and device for encoding a sequence of image frames using a first and a second encoder

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5936849A (ja) 1982-08-26 1984-02-29 Toshiba Corp フオ−ムオ−バレイ制御方式
DE69133350D1 (de) * 1990-03-05 2004-01-29 Canon Kk Bildverarbeitungsgerät
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US20050249278A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving image coding method, moving image decoding method, moving image coding device, moving image decoding device, moving image coding program and program product of the same
JP4047879B2 (ja) * 2005-08-23 2008-02-13 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
EP2720466A1 (en) * 2005-09-26 2014-04-16 Mitsubishi Electric Corporation Moving image coding method
JPWO2008120577A1 (ja) 2007-03-29 2010-07-15 株式会社東芝 画像符号化及び復号化の方法及び装置
BRPI0818344A2 (pt) * 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
US8401311B2 (en) * 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
CN101605262B (zh) * 2009-07-09 2011-11-09 杭州士兰微电子股份有限公司 可变块尺寸运动预测方法和装置
JP4957780B2 (ja) * 2009-11-20 2012-06-20 カシオ計算機株式会社 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム

Also Published As

Publication number Publication date
US20130064299A1 (en) 2013-03-14
EP2557791A4 (en) 2016-09-07
KR20130009833A (ko) 2013-01-23
CN102918842A (zh) 2013-02-06
KR101419634B1 (ko) 2014-07-16
CN102918842B (zh) 2016-05-18
WO2011125299A1 (ja) 2011-10-13
EP2557791A1 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
KR101419634B1 (ko) 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
US11265543B2 (en) Method, device, and recording medium storing bit stream, for encoding/decoding image
JP6084731B2 (ja) 映像符号化装置
US8606026B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method based on reduced-image displacement vector
JP2012142702A (ja) 画像処理装置および方法、並びにプログラム
JP5361998B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2012070277A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2012070278A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5206772B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5206773B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013232967A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
KR20230169986A (ko) 복수의 dimd 모드 기반 인트라 예측 방법 및 장치
JP2011234337A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2011254396A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2011254395A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid