KR20130135925A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 Download PDF

Info

Publication number
KR20130135925A
KR20130135925A KR1020137025216A KR20137025216A KR20130135925A KR 20130135925 A KR20130135925 A KR 20130135925A KR 1020137025216 A KR1020137025216 A KR 1020137025216A KR 20137025216 A KR20137025216 A KR 20137025216A KR 20130135925 A KR20130135925 A KR 20130135925A
Authority
KR
South Korea
Prior art keywords
image
picture
coding
reference picture
motion compensation
Prior art date
Application number
KR1020137025216A
Other languages
English (en)
Inventor
유스케 이타니
？이치 세키구치
가즈오 스기모토
도쿠미치 무라카미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20130135925A publication Critical patent/KR20130135925A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 데이터로부터 부호화 블록에 관계되는 압축 데이터, 상기 움직임 보상 예측에 이용할 수 있는 참조 화상 위의 영역인 유의 참조 화상 영역을 소정의 영역으로 한정하는지 여부를 나타내는 참조 화상 제한 플래그, 움직임 벡터의 정보인 움직임 정보를 가변 길이 복호하는 가변 길이 복호 단계와, 상기 움직임 정보에 근거하여, 상기 부호화 블록에 대한 움직임 보상 예측 처리를 실시하여 예측 화상을 생성하는 움직임 보상 예측 단계와, 상기 부호화 블록에 관계되는 압축 데이터로부터 압축 전의 차분 화상을 생성하는 차분 화상 생성 단계와, 상기 차분 화상과 상기 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 단계를 구비하고, 상기 움직임 보상 단계는, 상기 예측 화상을 생성할 때, 상기 참조 화상 제한 플래그에 근거하여, 상기 움직임 정보를 이용하여, 상기 예측 화상이 유의 참조 화상 영역 밖의 화소를 포함하는 경우, 소정의 확장 처리를 행하여 예측 화상을 생성한다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법{IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, IMAGE ENCODING METHOD AND IMAGE DECODING METHOD}
본 발명은, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법에 관한 것이다.
ISO/IEC 14496-10｜ITU-T H.264(이하, AVC/H.264라고 적는다) 등의 종래의 국제 표준 영상 부호화 방식에서는, 휘도 신호 16×16 화소와 그것에 대응하는 2개의 색차 신호 8×8 화소를 합한 블록 데이터(이하, 매크로블록)를 단위로 하여, 움직임 보상 예측 기술 및 직교 변환/변환 계수 양자화 기술에 근거하여 압축하는 방법이 채용되고 있다. 움직임 보상 예측에서는 전방 또는 후방의 부호화 완료 픽쳐를 참조 화상으로서 이용하여 매크로블록 단위로 움직임 벡터 탐색 및 예측 화상의 생성을 행한다. 1매의 픽쳐만을 참조하여 화면간 예측 부호화를 행하는 픽쳐를 P 픽쳐라고 부르고, 2매의 픽쳐를 동시에 참조하여 화면간 예측 부호화를 행하는 픽쳐를 B 픽쳐라고 부른다.
(선행 기술 문헌)
(비특허 문헌)
(비특허 문헌 1) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
일반적으로, 종래의 부호화 방식에 의해 고해상도 영상의 부호화 처리를 행하는 경우에는, 한 화면을 생성하기 위해 요구되는 메모리 사이즈가 크고, 또한 움직임 탐색 처리의 부하가 막대하기 때문에, 프레임을 일정한 사이즈의 작은 영역(종래의 부호화 방식에서는, 슬라이스라고 하는 처리 단위를 이용하는 경우도 있다)의 단위로 화면 분할하여, 움직임 벡터 탐색과 관련된 메모리 액세스 범위를 제한하면서, 병렬로 움직임 벡터 탐색을 처리하는 구성을 취하는 경우가 있다(도 19). 이때, 장치 구성상, 각 움직임 탐색 처리 단위가 액세스할 수 있는 참조 화상 메모리 영역을 제한할 필요가 생기는 경우가 있다. 이와 같은 경우, 최적 움직임 벡터를 탐색할 수 없는 경우가 있다.
본 발명은 이와 같은 문제를 해결하기 위해 이루어진 것이고, 메모리의 양이나 메모리 액세스의 빈도가 한정된 부호화 장치이더라도, 화면 분할을 행하고, 안정하게 고효율의 고해상도 화상의 부호화, 복호가 가능한 영상 부호화 방법을 제공하는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 동화상 신호의 각 픽쳐의 소정의 부호화 단위가 되는 부호화 블록으로 분할하여, 그 부호화 블록마다 움직임 보상 예측을 이용하여 압축 부호화를 행하는 동화상 부호화 장치에 있어서, 그 부호화 블록 내지 그것을 분할한 단위인 움직임 보상 예측 단위 영역마다 선택된 움직임 벡터를 이용하여, 움직임 보상 예측 단위 영역에 대한 예측 화상을 생성하는 움직임 보상부와, 예측 화상에 대응하는 입력 신호와 예측 화상의 차분 화상을 압축한 압축 데이터, 움직임 벡터에 관한 정보를 가변 길이 부호화하여 비트스트림을 생성함과 아울러, 움직임 보상 예측에 이용할 수 있는 참조 화상 위의 영역인 유의(有意)(significant) 참조 화상 영역을 소정의 영역으로 한정할지 여부를 나타내는 참조 화상 제한 플래그를 비트스트림에 다중화하는 가변 길이 부호화부를 구비하고, 움직임 보상부는, 참조 화상 제한 플래그에 근거하여 유의 참조 화상 영역을 특정하고, 예측 화상이 유의 참조 화상 영역 밖의 화소를 포함하는 경우, 소정의 확장 처리를 행하는 것이다.
본 발명에 의하면, 픽쳐를 화면 분할한 단위로 병렬로 움직임 벡터 검출 내지 생성하는 부호화 장치와, 그것을 사용하여 움직임 보상 예측 화상을 생성하는 복호 장치에 있어서, 적은 메모리의 양 또한 메모리 액세스로 효율적으로 최적의 움직임 벡터를 이용할 수 있도록 구성했으므로, 고해상도 영상 등의 처리 부하가 높은 운용에 있어서도 고능률의 화상 부호화ㆍ복호 처리를 행할 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 특징을 설명하는 설명도이다.
도 2는 본 발명의 실시의 형태 1에 의한 화상 부호화 장치를 나타내는 구성도이다.
도 3은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 동작을 나타내는 플로차트이다.
도 4는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 상태를 설명하는 도면이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할된 결과의 예를 나타내는 도면이다.
도 6은 본 발명의 실시의 형태 1에 의한 움직임 보상 예측부(9)의 처리 단위가 되는 타일의 설명도이다.
도 7은 본 발명의 실시의 형태 1에 있어서의 움직임 보상 예측부(9)를 나타내는 구성도이다.
도 8은 본 발명의 실시의 형태 1에 있어서의 참조 화상 제한 플래그(105)의 설명도이다.
도 9는 본 발명의 실시의 형태 1에 있어서의 참조 화상 제한 플래그(105)의 설명도이다.
도 10은 본 발명의 실시의 형태 1에 의한 화상 복호 장치를 나타내는 구성도이다.
도 11은 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 동작을 나타내는 플로차트이다.
도 12는 본 발명의 실시의 형태 1에 의한 움직임 보상부(70)를 나타내는 구성도이다.
도 13은 본 발명의 실시의 형태 1에 있어서의 타일 밖의 참조 가능 구역의 커스터마이즈를 나타내는 구성도이다.
도 14는 본 발명의 실시의 형태 1에 있어서의 복수의 부호화 완료 블록으로부터 움직임 정보를 생성하는 경우를 나타내는 구성도이다.
도 15는 본 발명의 실시의 형태 1에 있어서의 계층적으로 복수의 부호화 블록으로 분할하는 예를 나타내는 구성도이다.
도 16은 본 발명의 실시의 형태 1에 있어서의 계층적으로 복수의 부호화 블록으로 분할하는 예를 나타내는 구성도이다.
도 17은 본 발명의 실시의 형태 1에 있어서의 계층적으로 복수의 부호화 블록으로 분할하는 예를 나타내는 구성도이다.
도 18은 본 발명의 실시의 형태 1에 있어서의 계층적으로 복수의 부호화 블록으로 분할하는 예를 나타내는 구성도이다.
도 19는 종래의 부호화 방식을 설명하는 설명도이다.
이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부 도면에 따라 설명한다.
실시의 형태 1.
도 1을 이용하여, 본 발명의 실시의 형태 1의 부호화 장치(복호 장치)의 특징이 되는 부분에 대하여 설명한다. 동 도면에서는, 부호화시의 움직임 벡터 탐색을, 프레임 수평 사이즈를 w, 분할 영역의 수직 방향 라인의 수를 h로 한 w*h의 영역을 소정의 화면 분할 단위로 하여 실행하는 예를 나타낸다. w*h의 영역이 유의한 화상 데이터로서 참조 화상을 액세스할 수 있는 영역(이하, 유의 참조 화상 영역)인 것으로 한다. 이때, 예측 화상의 좋은 정도를 최대한으로 하도록 움직임 벡터 탐색을 행하는 것을 생각하면, 이상적으로는 동 도 (a)와 같이, 예측 화상의 일부가 유의 참조 화상 영역의 외부를 가리키는 경우도 허용하는 것이 바람직하다. 그러나, 이와 같은 유의 참조 화상 영역 밖의 데이터는, 움직임 벡터 탐색을 행하는 회로에는 존재하지 않기 때문에, 실제로는, 동 도 (b)와 같이, 움직임 벡터 탐색의 범위를 강제적으로 좁혀, 유의 참조 화상 영역에 액세스를 완결시키는 움직임 벡터를 찾을 필요가 있다.
한편, 복호 장치측에서는, 동 도 (c)와 같이, 부하가 높은 움직임 벡터 탐색 처리를 실행하지 않기 때문에, 화면 분할을 행하여 병렬 처리를 행할 필요성은 낮다. 이렇게 한 경우에는, 유의 예측 화상 영역 자체가 분할되지 않기 때문에, (a), (b) 중 어느 움직임 벡터이더라도, 예측 화상 블록 내의 화소 모두를 유의한 참조 화상 데이터로부터 생성할 수 있다. 다시 말해, 복호 장치측에서는 이상적인 움직임 벡터를 수신하더라도 문제없이 예측 화상을 생성할 수 있음에도 불구하고, 부호화측에서 이상적인 움직임 벡터를 탐색할 수 없다고 하는 문제가 생긴다.
이하에 실시의 형태 1에 있어서의 화상 부호화 장치 및 화상 복호 장치에 대하여 설명한다.
본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력으로 하여, 근접 프레임 사이에서 움직임 보상 예측을 행하고, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시한 후, 가변 길이 부호화를 행하여 비트스트림을 생성하는 화상 부호화 장치와, 그 화상 부호화 장치가 출력하는 비트스트림을 복호하는 화상 복호 장치에 대하여 설명한다.
본 실시의 형태 1의 화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 영역으로 분할하여 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 한다. 일반적으로 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖는다. 공간적으로 보면, 어느 특정 영상 프레임상에서는, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있고, 인물이나 미세한 텍스처를 갖는 회화 등 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 패턴도 혼재하는 경우가 있다. 시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화는 작지만, 움직이는 인물이나 물체는 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다. 부호화 처리는, 시간ㆍ공간적인 예측에 의해 신호 전력이나 엔트로피가 작은 예측 차분차 신호를 생성하여 전체의 부호량을 삭감하는 처리를 행하지만, 예측을 위한 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다. 한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대해서는, 동일한 예측 파라미터를 큰 화상 영역에 적용함으로써 예측의 오류가 늘어나고, 예측 차분 신호의 부호량을 삭감할 수 없다. 그래서, 그러한 영역에서는, 예측 대상의 영역을 작게 하고, 예측을 위한 파라미터의 데이터의 양을 늘리더라도 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 쪽이 바람직하다. 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 본 실시의 형태 1의 부호화 장치는, 소정의 최대 블록 사이즈로부터 시작해서 계층적으로 영상 신호의 영역 분할을 행하고, 분할된 영역마다 예측, 및 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취한다.
본 실시의 형태 1의 화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호로 한다. 각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 해조이더라도 좋다. 단, 이하의 설명에 있어서는, 특별히 언급하지 않는 한, 입력 영상 신호는 YUV 신호로 하고, 또한 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여 서브샘플된 4:2:0 포맷의 신호를 처리하는 경우에 대하여 말하지만, 본 발명은 U, V의 샘플링 간격이 상이한 다른 포맷에도 적용할 수 있다(예컨대 4:2:2 포맷이나 4:4:4 포맷 등). 또한, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 부른다. 본 실시의 형태 1에 있어서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임 신호로 하여 이하의 설명을 행하지만, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.
도 2는 본 발명의 실시의 형태 1에 따른 화상 부호화 장치의 구성을 나타내는 블록도이다.
또한, 도 3에 도 2의 화상 부호화 장치의 픽쳐 레벨의 처리 흐름을 나타낸다. 이하, 이들의 도면을 이용하여, 본 실시의 형태 1의 화상 부호화 장치의 동작을 설명한다. 도 2에 나타내는 화상 부호화 장치는, 우선, 부호화 제어부(3)에 있어서, 부호화 대상이 되는 픽쳐(커런트 픽쳐)의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층수의 상한을 결정한다(도 3의 단계 S1). 최대 부호화 블록의 사이즈의 결정 방법으로서는, 예컨대 입력 영상 신호(1)의 해상도에 따라 모든 픽쳐에 대하여 같은 사이즈로 정하더라도 좋고, 입력 영상 신호(1)의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여, 움직임이 잦은 픽쳐에서는 작은 사이즈, 움직임이 적은 픽쳐에서는 큰 사이즈와 같이 정하더라도 좋다. 분할 계층수 상한은 예컨대 입력 영상 신호(1)의 움직임이 잦은 경우는 계층수를 깊게 하여 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우는 계층수를 억제하도록 설정하는 등의 방법이 있다.
그 다음에, 블록 분할부(2)에 있어서, 픽쳐를 상기 정한 최대 부호화 블록 사이즈로 분할한다. 부호화 제어부(3)는, 최대 부호화 블록 사이즈의 화상 영역마다, 상기 정한 분할 계층수 상한에 이르기까지, 계층적으로 부호화 블록 사이즈(4)와 각 부호화 블록에 대한 부호화 모드(7)를 결정한다. 그리고, 블록 분할부(2)는, 부호화 블록 사이즈(4)에 따라 블록을 더 분할하고 부호화 블록(5)을 출력한다(도 3의 단계 S2).
도 4에, 최대 부호화 블록이 계층적으로 복수의 부호화 블록(5)으로 분할되는 상태의 예를 나타낸다. 최대 부호화 블록은, 도 4에 있어서 「제 0 계층」이라고 적힌 휘도 성분에서 (L0, M0)의 사이즈를 갖는 부호화 블록으로서 정의한다. 최대 부호화 블록을 출발점으로 하여, 사지 트리(quad tree) 구조로, 별도로 정하는 소정의 깊이까지 계층적으로 분할을 행하는 것에 의해 부호화 블록(5)을 얻는다. 깊이 n에 있어서는, 부호화 블록(5)은 사이즈 (Ln, Mn)의 화상 영역이다. Ln은 Mn과 같더라도 좋고 다르더라도 좋지만, 도 4에서는 Ln=Mn의 케이스를 나타낸다.
이후, 부호화 블록 사이즈(4)는, 부호화 블록(5)의 휘도 성분에 있어서의 사이즈 (Ln, Mn)으로 정의한다. 사지 트리 분할을 행하기 때문에, 항상 (Ln +1, Mn+1)=(Ln/2, Mn/2)가 성립한다. 또, RGB 신호 등, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Ln, Mn)이 되지만, 4:2:0 포맷을 처리하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)이다. 이후, 제 n 계층의 부호화 블록(5)을 Bn으로 하고, Bn에서 선택할 수 있는 부호화 모드(7)를 m(Bn)이라고 적는다. 복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)(7)은 각 색성분마다 각각 개별 모드를 이용하도록 구성되더라도 좋지만, 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행하지만, 본 발명은 임의의 영상 포맷, 색성분, 부호화 모드에 적용할 수 있다.
부호화 모드 m(Bn)(7)에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 INTRA라고 부른다), 1개 내지 복수의 인터 부호화 모드(총칭하여 INTER라고 부른다)가 있고, 부호화 제어부(3)는, 후술하는 선택 방법에 근거하여, 해당 픽쳐에서 이용 가능한 모든 모드 내지 그 서브셋 중에서, 부호화 블록 Bn(5)에 대하여 가장 부호화 효율이 좋은 부호화 모드를 선택한다.
또, 도 4에 나타내는 바와 같이, Bn은 1개 내지 복수의 예측 처리 단위(파티션)로 더 분할된다. Bn에 속하는 파티션을 이후, Pi n(i : 제 n 계층에 있어서의 파티션 번호)으로 표기한다. Bn의 파티션 분할이 어떻게 이루어져 있는지는 부호화 모드 m(Bn)(7) 중에 정보로서 포함된다. 파티션 Pi n은 모두 부호화 모드 m(Bn)(7)에 따라 예측 처리가 행해지지만, 파티션마다 개별 예측 파라미터를 선택할 수 있다.
부호화 제어부(3)는, 최대 부호화 블록에 대하여, 예컨대 도 5에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록(5)을 특정한다. 동 도 (a)의 해칭 부분은 분할 후의 파티션의 분포를, 또한, (b)에는 계층 분할에 의해 부호화 모드 m(Bn)(7)이 할당되는 상황을 사지 트리 그래프로 도시한다. (b)의 □로 둘러싼 노드가, 부호화 모드(7)가 할당된 노드, 즉 부호화 블록(5)이다. 부호화 제어부(3)에 있어서의 이와 같은 계층 분할ㆍ부호화 모드 판정의 상세한 처리는 후술한다.
부호화 블록(5)에 있어서 인트라 부호화 모드가 선택된 경우(m(Bn)∈INTRA의 경우)는(도 3의 단계 S3에서 예), 도 2의 인트라 예측부(8)에 있어서, 인트라 예측 파라미터(10)에 근거하여, Bn 내의 각 파티션 Pi n에 대한 인트라 예측 처리가 행해지고, 생성되는 인트라 예측 화상(11)이 감산부(12)에 출력된다(도 3의 단계 S4). 인트라 예측 화상(11)의 생성에 이용된 인트라 예측 파라미터(10)는, 복호 장치측에서 완전히 같은 인트라 예측 화상(11)을 생성하기 위해, 가변 길이 부호화부(23)에 의해 비트스트림(30)에 다중화된다. 본 실시의 형태 1에 있어서의 인트라 예측 처리는, AVC/H.264 규격(ISO/IEC 14496-10)에 정해지는 알고리즘으로 한정되지 않지만, 인트라 예측 파라미터로서는, 부호화 장치측과 복호 장치측에서 완전히 같은 인트라 예측 화상을 생성하기 위해 필요한 정보를 포함할 필요가 있다.
부호화 블록(5)에 있어서 인터 부호화 모드가 선택된 경우(m(Bn)∈INTER의 경우)는(도 3의 단계 S3에서 아니오), 도 2의 움직임 보상 예측부(9)에 있어서, 인터 예측 파라미터(16)에 근거하여, 각 파티션 Pi n에 대한 프레임 사이 움직임 예측 처리가 행해지고, 생성되는 인터 예측 화상(17)이 감산부(12)에 출력됨과 아울러 움직임 벡터(31)가 가변 길이 부호화부(23)에 출력된다(도 3의 단계 S5). 인터 예측 화상(17)의 생성에 이용된 인터 예측 파라미터(16)는, 복호 장치측에서 완전히 같은 인터 예측 화상(17)을 생성하기 위해, 가변 길이 부호화부(23)에 의해 비트스트림(30)에 다중화된다.
인터 예측 화상의 생성에 이용된 인터 예측 파라미터에는,
ㆍ부호화 블록 Bn 내의 파티션 분할을 기술하는 모드 정보
ㆍ각 파티션의 움직임 벡터
ㆍ움직임 보상 예측 프레임 메모리(14) 내에 복수의 참조 화상을 포함하는 구성의 경우, 어느 참조 화상을 이용하여 예측을 행할지를 나타내는 참조 화상 지시 인덱스 정보
ㆍ복수의 움직임 벡터 예측값 후보가 있는 경우에 어느 움직임 벡터 예측값을 선택하여 사용할지를 나타내는 인덱스 정보
ㆍ복수의 움직임 보상 내삽 필터가 있는 경우에 어느 필터를 선택하여 사용할지를 나타내는 인덱스 정보
ㆍ해당 파티션의 움직임 벡터가 복수의 화소 정밀도(반 화소, 1/4 화소, 1/8 화소 등)를 나타내는 것이 가능한 경우, 어느 화소 정밀도를 사용할지를 나타내는 선택 정보
등의 정보를 포함하고, 복호 장치측에서 완전히 같은 인터 예측 화상을 생성하기 위해, 가변 길이 부호화부(23)에 의해 비트스트림에 다중화된다. 움직임 보상 예측부(9)의 상세한 처리 내용은 후술한다.
감산부(12)는, 인트라 예측 화상(11), 또는 인터 예측 화상(17)의 어느 한쪽을 파티션 Pi n으로부터 빼서, 예측 차분 신호 ei n(13)을 얻는다(도 3의 단계 S6). 변환ㆍ양자화부(19)는, 예측 차분 신호 ei n(13)에 대하여, 부호화 제어부(3)로부터 지시되는 예측 차분 부호화 파라미터(20)에 근거하여, DCT(이산 코사인 변환)나 미리 특정 학습 계열에 대하여 기저 설계가 이루어진 KL 변환 등의 직교 변환 처리를 실시하여 변환 계수를 산출함과 아울러, 그 변환 계수를, 부호화 제어부(3)로부터 지시되는 예측 차분 부호화 파라미터(20)에 근거하여 양자화하고(도 3의 단계 S7), 양자화 후의 변환 계수인 압축 데이터(21)를 역양자화ㆍ역변환부(22)(도 3의 단계 S8에서 역양자화ㆍ역변환 처리부) 및 가변 길이 부호화부(23)(도 3의 단계 S8에서 가변 길이 부호화부)에 출력한다.
역양자화ㆍ역변환부(22)는, 변환ㆍ양자화부(19)로부터 입력된 압축 데이터(21)를, 부호화 제어부(3)로부터 지시되는 예측 차분 부호화 파라미터(20)에 근거하여 역양자화하고, 역DCT, 역KL 변환 등의 역변환 처리를 실시함으로써 예측 차분 신호 ei n(13)의 국소 복호 예측 차분 신호 ei n'(24)를 생성하고, 가산부(25)에 출력한다(도 2의 단계 S9).
예측 차분 부호화 파라미터(20)는, 부호화 블록(5)의 영역마다, 그 내부의 예측 차분 신호 ei n(13)의 부호화에 이용하는 양자화 파라미터, 변환 블록 사이즈의 정보를 포함한다. 예측 차분 부호화 파라미터(20)는, 부호화 제어부(3)에 있어서, 도 3의 단계 S2의 부호화 모드 판정의 일환으로서 결정된다. 양자화 파라미터는, 최대 부호 블록의 단위로 하나 할당하고, 그들을 분할한 부호화 블록 단위에서 공통으로 사용하는 형식이더라도 좋고, 각 부호화 블록마다 최대 부호화 블록의 값으로부터의 차분값으로서 표현하도록 하더라도 좋다. 변환 블록 사이즈 정보는, 부호화 블록(5)을 기점으로 하여 최대 부호화 블록의 분할과 마찬가지로, 사지 트리 분할 표현이 되어 있더라도 좋고, 몇 가지의 선택 가능한 변환 블록 사이즈가 인덱스 정보로서 표현된 형식이더라도 좋다. 변환ㆍ양자화부(19), 역양자화ㆍ역변환부(22)는, 이 변환 블록 사이즈의 정보에 근거하여 변환ㆍ양자화 처리의 블록 사이즈를 특정하여 처리를 행한다. 또, 이 변환 블록 사이즈의 정보는, 부호화 블록(5)이 아닌, 부호화 블록(5)을 분할하는 파티션 Pi n을 단위로 하여 결정하도록 구성되어 있더라도 좋다.
가산부(25)는, 국소 복호 예측 차분 신호 ei n'(24)와, 인트라 예측 화상(11) 또는 인터 예측 화상(17)을 가산하여 국소 복호 파티션 화상 Pi n' 내지 그 집합으로서의 국소 복호 부호화 블록 화상 Bn'(이하, 국소 복호 화상)(26)를 생성하고(도 3의 단계 S10), 이 국소 복호 화상(26)을 루프 필터부(27)에 출력함과 아울러(도 3의 단계 S11에서 루프 필터부), 인트라 예측용 메모리(28)에 저장한다(도 3의 단계 S11에서 인트라 예측용 메모리). 국소 복호 화상(26)이 이후의 인트라 예측용 화상 신호가 된다.
출력 목적지가 인트라 예측용 메모리인 경우, 계속해서, 픽쳐 중의 모든 부호화 블록을 처리했는지 여부를 판정하고, 전체 부호화 블록의 처리가 종료되어 있지 않으면 다음의 부호화 블록으로 이강하여 같은 부호화 처리를 반복한다(도 3의 단계 S12).
가산부(25)의 출력 목적지가 루프 필터부(27)인 경우, 루프 필터부(27)는, 가산부(25)로부터 출력된 국소 복호 화상(26)에 대하여, 소정의 필터링 처리를 행하고, 필터링 처리 후의 국소 복호 화상(29)을 움직임 보상 예측 프레임 메모리(14)에 저장한다(도 3의 단계 S13). 이 필터링 처리 후의 국소 복호 화상(29)이 움직임 보상 예측용 참조 화상(15)이 된다. 루프 필터부(27)에 의한 필터링 처리는, 입력되는 국소 복호 화상 신호(26)의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 1화면분의 매크로블록에 상당하는 국소 복호 화상 신호(26)가 입력된 후에 1화면분 합쳐서 행하더라도 좋다.
가변 길이 부호화부(23)는, 변환ㆍ양자화부(19)로부터 출력된 압축 데이터(21)와, 부호화 제어부(3)로부터 출력되는(최대 부호화 블록의 분할 상태를 포함하는) 부호화 모드(7)와, 인트라 예측 파라미터(10) 내지 인터 예측 파라미터(16), 예측 차분 부호화 파라미터(20)를 엔트로피 부호화하여, 그들의 부호화 결과를 나타내는 비트스트림(30)을 생성한다(도 3의 단계 S14).
이하, 본 발명의 포인트가 되는 움직임 보상 예측부(9)에 대하여 말한다. 본 실시의 형태 1에서는, 도 6에 나타내는 바와 같이, 픽쳐를 격자 형상으로 직사각형 영역 분할하고(이하, 각 분할 단위를 타일이라고 부른다), 타일마다 독립적으로 움직임 보상 예측을 행하는 구성을 취한다. 타일의 수평ㆍ수직 방향의 사이즈는 최대 부호화 블록의 사이즈의 배수로 한다. 타일의 분할 상태는 부호화 장치측에서 고정적ㆍ일의(一意)로 정하도록 하더라도 좋고(이 경우, 복호 장치에서는 타일이라고 하는 구조는 의식하지 않고 복호 처리를 행한다), 움직임 보상 예측 이외의 처리에 대해서도 독립의 처리를 행할 수 있는 것을 상정하고, 각 타일의 좌상단 구석의 위치나 사이즈를 각각 자유롭게 결정할 수 있도록, 복호 장치측에 비트스트림을 통하여 전달하는 구조를 구비하도록 하더라도 좋다. 또, 타일은, 종래의 AVC/H.264 등에서 이용되고 있는 슬라이스이더라도 상관없다. 움직임 보상 예측부(9)는, 타일 내의 각 부호화 블록(5)에 대하여 처리를 실행한다. 이것에 의해, 픽쳐 내를 화면 분할하여 움직임 보상 예측의 처리를 병렬로 실행할 수 있기 때문에, 입력 영상 신호가 고해상도 영상이더라도 고속으로 부호화 처리를 행할 수 있다.
도 7에 움직임 보상 예측부(9)의 구성을 나타낸다. 우선, 움직임 정보 생성부(100)는, 참조 화상(15)을 참조하여 움직임 벡터 탐색을 행하거나, 움직임 정보 메모리(101)에 유지되는 복수의 부호화 완료 블록의 움직임 정보(102)를 참조하는 등 하여, 부호화 블록(5) 내의 각 파티션 Pi n에 관한 움직임 정보(103)를 생성하고, 인터 예측 화상 생성부(104)에 출력한다. 이때, 움직임 정보 생성부(100)는, 움직임 보상 예측에 이용할 수 있는 참조 화상(15) 위의 영역(이하, 유의 참조 화상 영역)을, 소정의 영역(예컨대 커런트 타일 영역)으로 한정하는지 여부를 나타내는 참조 화상 제한 플래그(105)의 값에 근거하여, 움직임 정보의 생성을 행한다.
도 8, 9에 이 상태를 나타낸다. 참조 화상 제한 플래그(105)가 ON 즉 「유의 참조 화상 영역을 커런트 타일 영역으로 하는」 경우(도 8), 커런트 파티션을 움직임 벡터로 움직인 경우에, 이동시킨 위치의 파티션 내의 화소의 일부가 유의 참조 화상 영역의 외부에 위치하는 경우, 유의 참조 화상 영역의 종점에 위치하는 화소를 소정의 방법으로 확장하여 가상적으로 예측 화상이 되는 화소를 생성하는 처치를 행한다. 확장의 방법에는, 종점 화소를 반복하는 방법이나, 종점 화소를 중심으로 미러링을 행하여 유의 참조 화상 영역 내의 화소를 보전하는 방법 등이 있다. 이와 같이 함으로써, 참조 픽쳐의 메모리는 타일의 사이즈만큼으로 제한할 수 있기 때문에, 사용 메모리를 삭감할 수 있는 이점이 있다. 사용하는 메모리를 제한하더라도, 소정의 방법으로 화소를 확장함으로써 타일 밖도 참조 가능하게 되기 때문에, 도 1과 같이 움직임 벡터 탐색의 범위를 강제적으로 좁힐 필요가 없고, 부호화 효율의 개선에 기여한다.
한편, 참조 화상 제한 플래그(105)가 OFF 즉 「유의 참조 화상 영역에 제한이 없는」 경우(도 9)는, 움직임 정보 생성부(100)에 의해 생성되는 움직임 벡터는, 커런트 파티션을 움직임 벡터로 움직인 경우에, 이동시킨 위치의 파티션 내의 모든 화소가 유의 참조 화상 영역(픽쳐) 내에 존재하도록 결정된다. 사용 가능한 메모리에 제한이 없는 경우(참조 화상분의 메모리를 확보할 수 있는 경우)는, 참조 화상 내 모든 화소를 참조 가능하기 때문에, 부호화 효율을 향상시킬 수 있다고 하는 이점이 있다. 또한, 참조 화상 제한 플래그(105)가 OFF이고, 부호화 장치의 구성상, 사용할 수 있는 메모리에 제한이 있는 경우는 움직임 벡터 탐색은 타일 내의 화소만을 참조하도록 탐색 범위를 정하면 되고(도 1(b)의 경우), 복수의 부호화 완료 블록의 움직임 정보를 참조하여 움직임 정보를 생성하는 경우는, 부호화 완료 블록의 움직임 정보 중 타일 밖을 참조하는 움직임 벡터가 있으면 그것을 제외하거나, 보정하거나 하도록 구성하면 된다. 유의 참조 화상 영역의 종점에서의 화소 확장을 행하지 않음으로써, 처리량을 억제하는 것이 가능하기 때문에, 화소 확장을 행하더라도 예측 성능이 향상되지 않는 경우는 참조 화상 제한 플래그(105)를 OFF로 설정하는 등의 제어를 행하는 것도 가능하다.
인터 예측 화상 생성부(104)는 입력된 움직임 정보(103)와, 참조 화상(15), 참조 화상 제한 플래그(105)에 근거하여, 인터 예측 화상(17)을 생성하여 출력한다. 참조 화상 제한 플래그(105)가 ON인 경우는, 움직임 벡터(움직임 정보(103))에 의해 이동시킨 위치의 파티션 영역에 대하여, 타일 내에 속하는 화소는 타일 내의 참조 화상 데이터로, 타일 밖에 속하는 화소는, 움직임 정보 생성부(100)에서 이용한 방법과 동일한 수순으로 가상적으로 참조 화상 데이터를 생성하여 인터 예측 화상(17)을 얻는다. 한편, 참조 화상 제한 플래그(105)가 OFF인 경우는 픽쳐 전체에서 예측을 행하는 것으로 해석한다. 참조 화상 제한 플래그(105)는 가변 길이 부호화부(23)에 입력되고, 시퀀스 단위 등의 상위 신택스 파라미터로서 엔트로피 부호화되어 비트스트림(30)에 다중된다. 또, 후술하는 바와 같이 인터 예측 화상 생성부(104)에서 생성되는 인터 예측 화상(17)은 복호 장치측에서 얻어지는 인터 예측 화상(72)과 등가의 데이터일 필요가 있다.
이상의 구성을 갖는 움직임 보상 예측부(9)에 의해, 움직임 정보 생성 처리를 타일 단위로 독립적으로 동작시키는 경우에도, 움직임 벡터 탐색 내지 부호화 완료 블록의 움직임 벡터로부터 예측ㆍ생성하여 얻어진 움직임 벡터를 최적으로 생성하고, 그것에 의해 생성되는 예측 화상이 항상 복호 장치측에서 얻어지는 예측 화상과 일치하도록 할 수 있는 효과가 있다.
다음으로 본 실시의 형태의 화상 부호화 장치가 출력하는 비트스트림(30)을 복호하는 화상 복호 장치에 대하여 설명한다. 도 10은 본 발명의 실시의 형태 1에 따른 화상 복호 장치의 구성을 나타내는 블록도이다. 또한, 도 11에 도 10의 화상 복호 장치의 픽쳐 레벨의 처리 흐름을 나타낸다. 이하, 이들의 도면을 이용하여, 본 실시의 형태 1의 화상 복호 장치의 동작을 설명한다.
가변 길이 복호부(61)는, 본 실시의 형태 1에 따른 화상 복호 장치가 비트스트림(30)을 받으면, 그 비트스트림(30)을 가변 길이 복호 처리하여(도 11의 단계 S21), 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 프레임 사이즈를 복호한다. 본 실시의 형태 1에 따른 화상 부호화 장치에서 결정된 최대 부호화 블록 사이즈 및 분할 계층수 상한을 부호화 장치와 같은 수순으로 결정한다(도 11의 단계 S22). 예컨대 최대 부호화 블록 사이즈가 입력 영상 신호의 해상도에 따라 정해진 경우에는, 복호한 프레임 사이즈에 근거하여, 부호화 장치와 같은 수순으로 최대 부호화 블록 사이즈를 결정한다. 최대 부호화 블록 사이즈 및 분할 계층수 상한이 부호화 장치측에서 비트스트림(30)에 다중화된 경우에는, 비트스트림(30)으로부터 복호한 값을 이용한다. 본 실시의 형태 1에 따른 화상 부호화 장치는, 도 4에서 나타나는 바와 같이 최대 부호화 블록을 출발점으로 계층적으로 복수의 부호화 블록으로 분할하여 얻어지는 부호화 블록 단위로 부호화 모드나 변환ㆍ양자화하여 얻어지는 압축 데이터를 비트스트림(30)에 다중화한다.
해당 비트스트림(30)을 받은 가변 길이 복호부(61)는, 결정된 최대 부호화 블록 단위로 부호화 모드에 포함되는 최대 부호화 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 부호화 블록을 특정한다(도 11의 단계 S23).
다음으로 특정된 부호화 블록에 할당된 부호화 모드(62)를 복호한다. 복호한 부호화 모드(62)에 포함되는 정보에 근거하여, 부호화 블록을 1개 내지 복수의 예측 처리 단위(파티션)로 더 분할한 단위로 예측 파라미터(63)를 복호한다(도 11의 단계 S24).
부호화 블록에 할당된 부호화 모드(62)가 인트라 부호화 모드인 경우, 부호화 블록에 포함되고, 예측 처리 단위가 되는 1개 이상의 파티션마다 인트라 예측 파라미터(63a)를 복호한다. 인트라 예측 파라미터(63a)의 복호는, 부호화 장치측과 같은 수순으로 주변의 복호 완료 파티션의 인트라 예측 파라미터(63a)에 근거하여, 복호 대상인 파티션 Pi n의 인트라 예측 파라미터(63a)의 예측값을 산출하고, 산출한 예측값을 이용하여 복호한다.
부호화 블록에 할당된 부호화 모드(62)가 인터 부호화 모드인 경우, 부호화 블록에 포함되고, 예측 처리 단위가 되는 1개 이상 파티션마다 인터 예측 파라미터(63b)를 복호한다.
예측 처리 단위가 되는 파티션은 또한 예측 차분 부호화 파라미터(65)에 포함되는 변환 블록 사이즈 정보(도시하지 않음)에 근거하여, 변환 처리 단위가 되는 1개 내지 복수의 파티션으로 분할되고, 변환 처리 단위가 되는 파티션마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(도 11의 단계 S24).
가변 길이 복호부(61)의 출력 목적지가 전환 스위치인 경우에(도 11의 단계 S25에서 전환 스위치), 부호화 블록에 할당된 부호화 모드(62)가 인트라 부호화 모드인 경우(도 11의 단계 S26에서 예) 인트라 예측부(69)에서는, 복호한 인트라 예측 파라미터(63a)에 근거하여, 부호화 블록 내의 각 파티션에 대한 인트라 예측 처리가 행해지고(도 11의 단계 S27), 생성되는 인트라 예측 화상(71)이 가산부(73)에 출력된다. 인트라 예측 파라미터(63a)에 근거하는 인트라 예측 처리는, 부호화 장치측의 인트라 예측부(8)에 있어서의 처리와 같다.
부호화 블록에 할당된 부호화 모드(62)가 인터 부호화 모드인 경우(도 11의 단계 S26에서 아니오), 움직임 보상부(70)에서는, 복호한 인터 예측 파라미터(63b)(움직임 벡터를 포함한다)에 근거하여, 부호화 블록 내의 각 파티션에 대한 프레임 사이 움직임 예측 처리가 행해지고(도 11의 단계 S28), 생성되는 인터 예측 화상(72)이 가산부(73)에 출력된다.
한편, 가변 길이 복호부(61)의 출력 목적지가 역양자화ㆍ역변환부(66)인 경우(도 11의 단계 S25에서 역양자화ㆍ역변환부), 역양자화ㆍ역변환부(66)는, 가변 길이 복호부(61)로부터 변환 처리 단위마다 입력되는 압축 데이터(64)를, 예측 차분 부호화 파라미터(65)에 포함되는 양자화 파라미터에 근거하여 역양자화하고, 역DCT, 역KL 변환 등의 역변환 처리를 더 실시함으로써 복호 예측 차분 신호(67)를 생성하고(도 11의 단계 S29), 가산부(73)에 출력한다.
가산부(73)는, 복호 예측 차분 신호(67)와 인트라 예측 화상(71) 또는 인터 예측 화상(72)을 가산하여 복호 파티션 화상을 생성하고(도 11의 단계 S30), 부호화 블록 내에 포함되는 1개 내지 복수의 복호 파티션의 집합으로서, 복호 파티션 화상(74)을 루프 필터부(78)에 출력함과 아울러 인트라 예측용 메모리(77)에 저장한다. 복호 파티션 화상(74)이 이후의 인트라 예측용 화상 신호가 된다.
루프 필터부(78)는, 전체 부호화 블록의 처리 후(도 11의 단계 S31에서 예) 부호화 장치측의 루프 필터부(27)와 같은 필터링 처리를 행하고(도 11의 단계 S32), 필터링 처리 후의 복호 화상(79)을 움직임 보상 예측 프레임 메모리(75)에 저장한다. 이 복호 화상(79)이 그 후의 움직임 보상 처리용 참조 화상(76)이 됨과 아울러 재생 화상이 된다.
이하, 본 발명의 특징인 움직임 보상부(70)에 대하여 설명한다. 움직임 보상부(70)의 내부 구성을 도 12에 나타낸다. 우선, 움직임 정보 생성부(200)가, 가변 길이 복호부(61)로부터 주어지는 인터 예측 파라미터(63b)와, 움직임 정보 메모리(201)에 유지되는 복수의 부호화 완료 블록의 움직임 정보(202)를 참조하는 등 하여, 움직임 벡터를 포함하는 각 파티션 Pi n에 관한 움직임 정보(203)를 생성하고, 인터 예측 화상 생성부(204)에 입력한다. 인터 예측 화상 생성부(204)는 입력된 움직임 정보(203)와, 움직임 보상 예측용 참조 화상(76), 가변 길이 복호부(61)에 있어서 비트스트림(30)으로부터 복호된 참조 화상 제한 플래그(105)에 근거하여, 인터 예측 화상(72)을 생성하여 출력한다. 참조 화상 제한 플래그(105)가 ON인 경우는, 움직임 벡터에 의해 이동시킨 위치의 파티션 영역에 대하여, 타일 내에 속하는 화소는 타일 내의 참조 화상 데이터로, 타일 밖에 속하는 화소는, 움직임 정보 생성부(100)에서 이용한 방법과 동일한 수순으로 가상적으로 참조 화상 데이터를 생성하여 예측 화상을 얻는다.
한편, 참조 화상 제한 플래그(105)가 OFF인 경우는, 참조 화상의 사용 범위에 특별히 제한은 없고, 움직임 정보 생성부(100)에서 이용한 방법과 동일한 수순으로 참조 화상으로부터 예측 화상을 얻는다. 또, 전술한 바와 같이 인터 예측 화상 생성부(204)에서 생성되는 인터 예측 화상(72)은, 부호화 장치측에서 얻어지는 인터 예측 화상(17)과 등가의 데이터일 필요가 있지만, 참조 화상 제한 플래그(105)를 도입하는 것에 의해, 부호화 장치에서 움직임 벡터 탐색 처리가 타일 등의 단위로 병렬 처리되어 있더라도, 부호화ㆍ복호시의 예측 화상의 미스매치를 회피할 수 있고, 안정하게 고능률의 부호화를 행할 수 있다.
또한, 본 실시의 형태 1에서는, 참조 화상 제한 플래그(105)가 ON일 때에 타일 밖의 화소를 가상적으로 확장하여 생성하도록 구성했지만, 도 13과 같이, 타일 밖의 참조 가능 구역을 커스터마이즈할 수 있도록 구성하더라도 좋다. 도 13은 유의 참조 화상 영역을 확장한 경우의, 참조 화상 제한 플래그(105)가 ON인 케이스의 동작을 나타낸다. 유의 참조 화상 영역 범위를 지정하는 파라미터 dx, dy는 프로파일ㆍ레벨 등으로 미리 고정된 값으로서 정하여 두더라도 좋고, 시퀀스 헤더나 픽쳐 헤더 등 상위 헤더의 일부로서 비트스트림에 다중하더라도 좋다. 상위 헤더로 규정되는 것으로 함으로써, 장치의 성능에 따라 참조 구역을 정할 수 있게 되기 때문에, 성능과 실장 부하의 밸런스를 취하는 것이 가능하게 된다. 이 경우에도, 유의 참조 화상 영역 밖을 참조하는 경우는, 도 8 등에서 설명한 바와 같이, 가상적으로 화소를 확장하여 예측 화상을 생성하는 것이 가능하다.
또, 상기 복수의 부호화 완료 블록으로부터 움직임 정보를 생성하는 경우의 예로서, 도 14에 나타내는 바와 같이, 움직임 정보 메모리(101 내지 201)에 유지되는, 부호화 완료의 주위의 블록, 참조 화상 위에서 공간적으로 같은 위치에 있는 블록의 움직임 정보(움직임 벡터, 참조 화상 인덱스, 예측 방향 등)를 그대로 계승하여 이용하는 모드를 생각할 수 있다. 이 모드에 대응하는 움직임 정보를 얻기 위해서는, 참조 화상 제한 플래그(105)에 근거하여, 움직임 정보로서 사용할 수 있는 후보만을 남기고 움직임 정보를 생성하도록 하면 된다. 도 14에서는, MV_A에 대응하는 후보가 유의 참조 화상 영역의 밖을 가리키고 있기 때문에, 이것을 제외하고, MV_B, MV_C에 대응하는 후보만을 본 모드에 대응하는 움직임 정보로서 선택 가능하게 한다. MV_A를 제외하지 않는 경우, index는 0, 1, 2의 3종류가 되고, index로서 부호화하는 정보량이 많아진다. 제외 조치를 행함으로써, index에 요하는 부호량도 억제할 수 있는 효과가 있다.
본 실시의 형태 1에서는, 참조 화상 제한 플래그(105)를 시퀀스 등의 상위 헤더 신택스로서 비트스트림(30)에 다중하는 것으로 했지만, 본 플래그에 상당하는 제약을 프로파일, 레벨 등으로 규정하더라도 같은 효과가 얻어진다.
본 실시의 형태 1에서는, 도 4에 나타내는 바와 같은 Ln=Mn의 케이스를 나타냈지만, 이것은 Ln≠Mn이더라도 좋다. 예컨대 도 15에 나타내는 바와 같이, Ln=kMn이 되는 경우를 생각할 수 있다. 다음의 분할에서는, (Ln +1, Mn +1)=(Mn, Mn)이 되고, 이후의 분할은 도 4와 같은 분할을 행하더라도 좋고 도 16에 나타내는 바와 같이, (Ln+1, Mn +1)=(Ln/2, Mn/2)이더라도 좋다. 또는 도 17과 같이 도 15와 도 16의 분할의 어느 쪽을 선택할 수 있도록 하더라도 좋다. 선택할 수 있도록 한 경우는, 어느 쪽의 분할을 선택했는지의 플래그를 부호화한다. 이 케이스는, 예컨대 비특허 문헌 1의 AVC/H.264와 같은 16x16을 1개의 블록으로 하는 것을 횡으로 연결하는 것만으로 가능하기 때문에, 기존 방식과의 호환성을 유지한 부호화를 하기 쉬운 효과가 있다.
상기에서는 Ln=kMn으로 했지만, 이것은 kLn=Mn과 같이 종으로 연결한 것이더라도 같은 생각으로 분할이 가능한 것은 말할 필요도 없다.
양자화ㆍ변환부, 역양자화ㆍ역변환부의 변환 블록 단위는 변환 처리 단위에 의해 일의로 결정하더라도 좋고, 도 18에 나타내는 바와 같이 계층 구조로 하더라도 좋다. 이 경우, 각 계층에서는 분할하는지 여부의 플래그를 부호화한다.
상기 분할은, 파티션 단위로 행하더라도 좋고 부호화 블록 단위로 행하더라도 좋다.
상기 변환은 정사각형에서의 변환을 가정했지만, 이것은 직사각형 등 다른 사각형이더라도 좋다.
또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.
(산업상이용가능성)
이상과 같이, 본 발명에 따른 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법은, 고해상도 영상 등의 처리 부하가 높은 운용에 있어서도 고능률의 화상 부호화ㆍ복호 처리를 행할 수 있으므로, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 등에 이용하기에 적합하다.
2 : 블록 분할부 3 : 부호화 제어부
6 : 전환 스위치 8 : 인트라 예측부
9 : 움직임 보상 예측부 12 : 감산부
14 : 움직임 보상 예측 프레임 메모리 19 : 변환ㆍ양자화부
22 : 역양자화ㆍ역변환부 23 : 가변 길이 부호화부
25 : 가산부 27 : 루프 필터부
28 : 인트라 예측용 메모리 61 : 가변 길이 복호부
66 : 역양자화ㆍ역변환부 68 : 전환 스위치
69 : 인트라 예측부 70 : 움직임 보상부
73 : 가산부
75 : 움직임 보상 예측 프레임 메모리
77 : 인트라 예측용 메모리 78 : 루프 필터부
100 : 움직임 정보 생성부 101 : 움직임 정보 메모리
104 : 인터 예측 화상 생성부 200 : 움직임 정보 생성부
201 : 움직임 정보 메모리 204 : 인터 예측 화상 생성부

Claims (4)

  1. 동화상 신호의 각 픽쳐의 소정의 부호화 단위가 되는 부호화 블록으로 분할하여, 상기 부호화 블록마다 움직임 보상 예측을 이용하여 압축 부호화를 행하는 동화상 부호화 장치에 있어서,
    상기 부호화 블록 내지 그것을 분할한 단위인 움직임 보상 예측 단위 영역마다 선택된 움직임 벡터를 이용하여, 상기 움직임 보상 예측 단위 영역에 대한 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상에 대응하는 입력 신호와 상기 예측 화상의 차분 화상을 압축한 압축 데이터, 상기 움직임 벡터에 관한 정보를 가변 길이 부호화하여 비트스트림을 생성함과 아울러, 상기 움직임 보상 예측에 이용할 수 있는 참조 화상 위의 영역인 유의(有意) 참조 화상 영역을 소정의 영역으로 한정하는지 여부를 나타내는 참조 화상 제한 플래그를 비트스트림에 다중화하는 가변 길이 부호화부
    를 구비하고,
    상기 움직임 보상부는, 상기 참조 화상 제한 플래그에 근거하여 상기 유의 참조 화상 영역을 특정하고, 상기 예측 화상이 유의 참조 화상 영역 밖의 화소를 포함하는 경우, 소정의 확장 처리를 행하는
    것을 특징으로 하는 화상 부호화 장치.

  2. 비트스트림에 다중화되어 있는 부호화 데이터로부터 부호화 블록에 관계되는 압축 데이터, 상기 움직임 보상 예측에 이용할 수 있는 참조 화상 위의 영역인 유의 참조 화상 영역을 소정의 영역으로 한정하는지 여부를 나타내는 참조 화상 제한 플래그, 움직임 벡터의 정보인 움직임 정보를 가변 길이 복호하는 가변 길이 복호부와,
    상기 움직임 정보에 근거하여, 상기 부호화 블록에 대한 움직임 보상 예측 처리를 실시하여 예측 화상을 생성하는 움직임 보상 예측부와,
    상기 부호화 블록에 관계되는 압축 데이터로부터 생성된 압축 전의 차분 화상과 상기 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성부
    를 구비하고,
    상기 움직임 보상 예측부는, 상기 예측 화상을 생성할 때, 상기 참조 화상 제한 플래그에 근거하여, 상기 움직임 정보를 이용하여, 상기 예측 화상이 유의 참조 화상 영역 밖의 화소를 포함하는 경우, 소정의 확장 처리를 행하여 예측 화상을 생성하는
    것을 특징으로 하는 화상 복호 장치.
  3. 동화상 신호의 각 픽쳐의 소정의 부호화 단위가 되는 부호화 블록으로 분할하여, 상기 부호화 블록마다 움직임 보상 예측을 이용하여 압축 부호화를 행하는 동화상 부호화 방법에 있어서,
    상기 부호화 블록 내지 그것을 분할한 단위인 움직임 보상 예측 단위 영역마다 선택된 움직임 벡터를 이용하여, 상기 움직임 보상 예측 단위 영역에 대한 예측 화상을 생성하는 움직임 보상 단계와,
    상기 예측 화상에 대응하는 입력 신호와 상기 예측 화상의 차분 화상을 압축한 압축 데이터, 상기 움직임 벡터에 관한 정보를 가변 길이 부호화하여 비트스트림을 생성함과 아울러, 상기 움직임 보상 예측에 이용할 수 있는 참조 화상 위의 영역인 유의 참조 화상 영역을 소정의 영역으로 한정하는지 여부를 나타내는 참조 화상 제한 플래그를 비트스트림에 다중화하는 가변 길이 부호화 단계
    를 구비하고,
    상기 움직임 보상 단계는, 상기 참조 화상 제한 플래그에 근거하여 상기 유의 참조 화상 영역을 특정하고, 상기 예측 화상이 유의 참조 화상 영역 밖의 화소를 포함하는 경우, 소정의 확장 처리를 행하는
    것을 특징으로 하는 화상 부호화 방법.
  4. 비트스트림에 다중화되어 있는 부호화 데이터로부터 부호화 블록에 관계되는 압축 데이터, 상기 움직임 보상 예측에 이용할 수 있는 참조 화상 위의 영역인 유의 참조 화상 영역을 소정의 영역으로 한정하는지 여부를 나타내는 참조 화상 제한 플래그, 움직임 벡터의 정보인 움직임 정보를 가변 길이 복호하는 가변 길이 복호 단계와,
    상기 움직임 정보에 근거하여, 상기 부호화 블록에 대한 움직임 보상 예측 처리를 실시하여 예측 화상을 생성하는 움직임 보상 예측 단계와,
    상기 부호화 블록에 관계되는 압축 데이터로부터 생성된 압축 전의 차분 화상과 상기 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 단계
    를 구비하고,
    상기 움직임 보상 예측 단계는, 상기 예측 화상을 생성할 때, 상기 참조 화상 제한 플래그에 근거하여, 상기 움직임 정보를 이용하여, 상기 예측 화상이 유의 참조 화상 영역 밖의 화소를 포함하는 경우, 소정의 확장 처리를 행하여 예측 화상을 생성하는
    것을 특징으로 하는 화상 복호 방법.
KR1020137025216A 2011-06-30 2012-06-11 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 KR20130135925A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-145572 2011-06-30
JP2011145572 2011-06-30
PCT/JP2012/003785 WO2013001730A1 (ja) 2011-06-30 2012-06-11 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法

Publications (1)

Publication Number Publication Date
KR20130135925A true KR20130135925A (ko) 2013-12-11

Family

ID=47423662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137025216A KR20130135925A (ko) 2011-06-30 2012-06-11 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Country Status (9)

Country Link
US (1) US9503718B2 (ko)
EP (1) EP2680588B1 (ko)
JP (4) JP5711370B2 (ko)
KR (1) KR20130135925A (ko)
CN (1) CN103385004B (ko)
BR (1) BR112013020878B1 (ko)
ES (1) ES2862898T3 (ko)
PL (1) PL2680588T3 (ko)
WO (1) WO2013001730A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503718B2 (en) * 2011-06-30 2016-11-22 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
CN103650501B (zh) * 2011-08-25 2017-10-27 太阳专利托管公司 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
US10021414B2 (en) * 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
CN105230017B (zh) * 2013-03-21 2019-08-06 索尼公司 图像编码装置和方法以及图像解码装置和方法
JP6120707B2 (ja) * 2013-07-08 2017-04-26 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
US10313682B2 (en) * 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
EP3043560A4 (en) * 2013-09-06 2017-03-01 Mitsubishi Electric Corporation Video encoding device, video transcoding device, video encoding method, video transcoding method and video stream transmission system
CN104702954B (zh) * 2013-12-05 2017-11-17 华为技术有限公司 视频编码方法及装置
GB201405649D0 (en) * 2014-03-28 2014-05-14 Sony Corp Data encoding and decoding
CN107027339A (zh) * 2014-05-06 2017-08-08 联发科技股份有限公司 确定调整大小的参考帧的参考块的位置的视频处理方法和相关视频处理装置
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
WO2017220164A1 (en) * 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN114245122A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
JP7237007B2 (ja) * 2017-10-19 2023-03-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11652991B2 (en) * 2018-06-29 2023-05-16 Sharp Kabushiki Kaisha Video decoding apparatus with picture tile structure
JP7005480B2 (ja) * 2018-12-27 2022-01-21 Kddi株式会社 画像復号装置、画像符号化装置、プログラム及び画像処理システム
CN117459718A (zh) 2019-04-01 2024-01-26 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN117395411A (zh) 2019-08-20 2024-01-12 北京字节跳动网络技术有限公司 用于视频处理的方法、装置以及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
JP3544852B2 (ja) 1998-03-12 2004-07-21 株式会社東芝 映像符号化装置
FR2809917B1 (fr) 2000-05-30 2002-08-30 Cit Alcatel Codage d'image par segments avec prediction du mouvement
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4511842B2 (ja) * 2004-01-26 2010-07-28 パナソニック株式会社 動きベクトル検出装置及び動画撮影装置
JP4703449B2 (ja) * 2006-03-23 2011-06-15 三洋電機株式会社 符号化方法
JP5437807B2 (ja) * 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
JP5115498B2 (ja) * 2009-03-05 2013-01-09 富士通株式会社 画像符号化装置、画像符号化制御方法およびプログラム
US8923633B2 (en) * 2011-03-07 2014-12-30 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US9503718B2 (en) * 2011-06-30 2016-11-22 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method

Also Published As

Publication number Publication date
JP2017121089A (ja) 2017-07-06
BR112013020878B1 (pt) 2022-05-10
CN103385004B (zh) 2016-12-28
US9503718B2 (en) 2016-11-22
JPWO2013001730A1 (ja) 2015-02-23
WO2013001730A1 (ja) 2013-01-03
JP6381724B2 (ja) 2018-08-29
JP6391500B2 (ja) 2018-09-19
EP2680588B1 (en) 2021-02-17
JP5711370B2 (ja) 2015-04-30
JP2015130689A (ja) 2015-07-16
JP6615287B2 (ja) 2019-12-04
PL2680588T3 (pl) 2021-09-06
JP2018186569A (ja) 2018-11-22
CN103385004A (zh) 2013-11-06
EP2680588A4 (en) 2015-04-29
BR112013020878A2 (pt) 2016-09-27
EP2680588A1 (en) 2014-01-01
ES2862898T3 (es) 2021-10-08
US20130343460A1 (en) 2013-12-26

Similar Documents

Publication Publication Date Title
JP6615287B2 (ja) 画像復号装置
KR101604959B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR102013093B1 (ko) 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
US11350120B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
KR101607781B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
KR102272564B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
WO2013065402A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20130101070A (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
KR20140007074A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 화상 예측 장치
US20150271502A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101005925; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20151008

Effective date: 20170428