KR102600108B1 - 화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램, 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램 - Google Patents

화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램, 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램 Download PDF

Info

Publication number
KR102600108B1
KR102600108B1 KR1020217003083A KR20217003083A KR102600108B1 KR 102600108 B1 KR102600108 B1 KR 102600108B1 KR 1020217003083 A KR1020217003083 A KR 1020217003083A KR 20217003083 A KR20217003083 A KR 20217003083A KR 102600108 B1 KR102600108 B1 KR 102600108B1
Authority
KR
South Korea
Prior art keywords
merge candidate
prediction
motion vector
reference picture
merge
Prior art date
Application number
KR1020217003083A
Other languages
English (en)
Other versions
KR20210022756A (ko
Inventor
히데키 다케하라
Original Assignee
가부시키가이샤 제이브이씨 켄우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 제이브이씨 켄우드 filed Critical 가부시키가이샤 제이브이씨 켄우드
Priority to KR1020237038090A priority Critical patent/KR20230156809A/ko
Priority claimed from PCT/JP2019/048855 external-priority patent/WO2020122224A1/ja
Publication of KR20210022756A publication Critical patent/KR20210022756A/ko
Application granted granted Critical
Publication of KR102600108B1 publication Critical patent/KR102600108B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

머지 후보 리스트 생성하여, 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하고, 부호화 스트림으로부터 부호열을 복호하여 보정 벡터를 도출하고, 선택 머지 후보의 제1 예측의 움직임 벡터에 상기 보정 벡터를 스케일링하지 않고 가산하고, 선택 머지 후보의 제2 예측의 움직임 벡터에 보정 벡터를 스케일링하지 않고 감산하여 보정 머지 후보를 도출한다.

Description

화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램, 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램
본 발명은, 화상 복호 기술에 관한 것이다.
HEVC(H.265) 등의 화상 부호화 기술이 있다. HEVC에서는 인터 예측 모드로서 머지 모드가 이용되고 있다.
일본공개특허공보 평10-276439호
HEVC에서는, 인터 예측 모드로서 머지 모드와 차분 움직임 벡터 모드가 있는데, 머지 모드의 움직임 벡터를 보정함으로써 부호화 효율을 보다 높이는 여지가 있는 것에 발명자는 인식하기에 이르렀다.
본 발명은 이러한 상황을 감안하여 이루어진 것으로서, 그 목적은, 머지 모드의 움직임 벡터를 보정함으로써, 보다 고효율이 되는 새로운 인터 예측 모드를 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 한 태양(態樣)의 화상 복호 장치는, 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성부와, 상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택부와, 부호화 스트림으로부터 부호열을 복호하여 보정 벡터를 도출하는 부호열 복호부와, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 상기 보정 벡터를 스케일링하지 않고 가산하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 상기 보정 벡터를 스케일링하지 않고 감산하여 보정 머지 후보를 도출하는 머지 후보 보정부를 구비한다.
또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 기록 매체, 컴퓨터 프로그램 등의 사이에서 변환한 것도 또한, 본 발명의 태양으로서 유효하다.
본 발명에 의하면, 보다 고효율이 되는 새로운 인터 예측 모드를 제공할 수 있다.
도 1의 도 1(a)는, 제1 실시 형태에 따른 화상 부호화 장치(100)의 구성을 설명하는 도면이고, 도 1(b)는, 제1 실시 형태에 따른 화상 복호 장치(200)의 구성을 설명하는 도면이다.
도 2는 입력 화상이 블록 사이즈에 기초하여, 블록으로 분할되어 있는 예를 나타내는 도면이다.
도 3은 도 1(a)의 화상 부호화 장치의 인터 예측부의 구성을 설명하는 도면이다.
도 4는 제1 실시 형태의 머지 모드의 동작을 설명하는 플로우차트이다.
도 5는 도 1(a)의 화상 부호화 장치의 머지 후보 리스트 생성부의 구성을 설명하는 도면이다.
도 6은 처리 대상 블록에 인접하는 블록을 설명하는 도면이다.
도 7은 처리 대상 블록과 동일 위치 및 그의 주변에 있는 복호 화상 상의 블록을 설명하는 도면이다.
도 8은 제1 실시 형태의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다.
도 9는 제1 실시 형태의 차분 움직임 벡터의 신택스를 나타내는 도면이다.
도 10은 제1 실시 형태의 한 변형예의 차분 움직임 벡터의 신택스를 나타내는 도면이다.
도 11은 제1 실시 형태의 다른 변형예의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다.
도 12는 제1 실시 형태의 또 다른 변형예의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다.
도 13은 제2 실시 형태의 머지 모드의 동작을 설명하는 플로우차트이다.
도 14는 제2 실시 형태의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다.
도 15는 제2 실시 형태의 차분 움직임 벡터의 신택스를 나타내는 도면이다.
도 16은 제1 실시 형태의 변형예 8의 효과를 설명하는 도면이다.
도 17은 제1 실시 형태의 변형예 8의 픽처 간격이 등간격이 아닌 경우의 효과를 설명하는 도면이다.
도 18은 제1 실시 형태의 부호화 복호 장치의 하드웨어 구성의 일 예를 설명하기 위한 도면이다.
(발명을 실시하기 위한 형태)
[제1 실시 형태]
이하, 도면과 함께 본 발명의 제1 실시 형태에 따른 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램, 그리고 화상 복호 장치, 화상 복호 방법 및, 화상 복호 프로그램의 상세에 대해서 설명한다.
도 1(a)는, 제1 실시 형태에 따른 화상 부호화 장치(100)의 구성을 설명하는 도면이고, 도 1(b)는, 제1 실시 형태에 따른 화상 복호 장치(200)의 구성을 설명하는 도면이다.
본 실시 형태의 화상 부호화 장치(100)는, 블록 사이즈 결정부(110), 인터 예측부(120), 변환부(130), 부호열 생성부(140), 국부 복호부(150) 및, 프레임 메모리(160)를 포함한다. 화상 부호화 장치(100)는, 입력 화상의 입력을 받아, 인트라 예측 및 인터 예측을 행하여, 부호화 스트림을 출력한다. 이후, 화상과 픽처는 동일한 의미로 이용한다.
화상 복호 장치(200)는, 부호열 복호부(210), 인터 예측부(220), 역변환부(230) 및, 프레임 메모리(240)를 포함한다. 화상 복호 장치(200)는, 화상 부호화 장치(100)로부터 출력된 부호화 스트림의 입력을 받아, 인트라 예측 및 인터 예측을 행하여, 복호 화상을 출력한다.
화상 부호화 장치(100)와 화상 복호 장치(200)는, CPU(Central Processing Unit), 메모리 등을 구비하는 정보 처리 장치 등의 하드웨어에 의해 실현된다.
맨 처음에, 화상 부호화 장치(100)의 각 부의 기능과 동작에 대해서 설명한다. 인트라 예측은 HEVC와 동일하게 실시되는 것으로 하고, 이후에서는 인터 예측에 대해서 설명한다.
블록 사이즈 결정부(110)는, 입력 화상에 기초하여 인터 예측하는 블록 사이즈를 결정하고, 결정한 블록 사이즈, 블록의 위치와 블록 사이즈에 해당하는 입력 화소(입력값)를 인터 예측부(120)에 공급한다. 블록 사이즈를 결정하는 수법에 대해서는, HEVC의 참조 소프트웨어에 이용되고 있는 RDO(레이트 변형 최적화)법 등을 이용한다.
여기에서, 블록 사이즈에 대해서 설명한다. 도 2는, 화상 부호화 장치(100)에 입력되는 화상의 일부의 영역이, 블록 사이즈 결정부(110)에서 결정된 블록 사이즈에 기초하여, 블록으로 분할되어 있는 예를 나타낸다. 블록 사이즈는 4×4, 8×4, 4×8, 8×8, 16×8, 8×16, 32×32, …, 128×64, 64×128, 128×128이 존재하고, 입력되는 화상은 각 블록이 중복되지 않도록 상기 중 어느 하나의 블록 사이즈로 분할된다.
인터 예측부(120)는, 블록 사이즈 결정부(110)로부터 입력된 정보와 프레임 메모리(160)로부터 입력되는 참조 픽처를 이용하여, 인터 예측에 이용하는 인터 예측 파라미터를 결정한다. 인터 예측부(120)는, 인터 예측 파라미터에 기초하여 인터 예측하여 예측값을 도출하고, 블록 사이즈, 블록의 위치, 입력값, 인터 예측 파라미터와 예측값을 변환부(130)에 공급한다. 인터 예측 파라미터를 결정하는 수법에 대해서는, HEVC의 참조 소프트웨어에 이용되고 있는 RDO(레이트 변형 최적화)법 등을 이용한다. 인터 예측 파라미터와 인터 예측부(120)의 동작의 상세는 후술한다.
변환부(130)는, 입력값으로부터 예측값을 감산하여 차분값을 산출하고, 산출한 차분값에 직교 변환과 양자화 등의 처리를 행하여 예측 오차 데이터를 산출하여, 블록 사이즈, 블록의 위치, 인터 예측 파라미터 및, 예측 오차 데이터를 부호열 생성부(140) 및 국부 복호부(150)에 공급한다.
부호열 생성부(140)는, 필요에 따라서 SPS(Sequence Parameter Set), PPS(Picture Parameter Set)나 그 외의 정보를 부호화하고, 변환부(130)로부터 공급된 블록 사이즈를 판정하기 위한 부호열을 부호화하고, 인터 예측 파라미터를 부호열로서 부호화하고, 예측 오차 데이터를 부호열로서 부호화하여, 부호화 스트림을 출력한다. 인터 예측 파라미터의 부호화의 상세에 대해서는 후술한다.
국부 복호부(150)는, 예측 오차 데이터에 역직교 변환과 역양자화 등의 처리를 행하여 차분값을 복원하고, 차분값과 예측값을 가산하여 복호 화상을 생성하여, 복호 화상과 인터 예측 파라미터를 프레임 메모리(160)에 공급한다.
프레임 메모리(160)는, 복호 화상과 인터 예측 파라미터를 복수 화상분 기억하여, 복호 화상과 인터 예측 파라미터를 인터 예측부(120)에 공급한다.
계속해서, 화상 복호 장치(200)의 각 부의 기능과 동작에 대해서 설명한다. 인트라 예측은 HEVC와 동일하게 실시되는 것으로 하고, 이후에서는 인터 예측에 대해서 설명한다.
부호열 복호부(210)는, 부호화 스트림으로부터 필요에 따라서 SPS, PPS 헤더나 그 외의 정보를 복호하고, 블록 사이즈, 블록의 위치, 인터 예측 파라미터 및, 예측 오차 데이터를 부호화 스트림으로부터 복호하여, 블록 사이즈, 블록의 위치, 인터 예측 파라미터 및, 예측 오차 데이터를 인터 예측부(220)에 제공한다.
인터 예측부(220)는, 부호열 복호부(210)로부터 입력된 정보와 프레임 메모리(240)로부터 입력되는 참조 픽처를 이용하여, 인터 예측하여 예측값을 도출한다. 인터 예측부(220)는, 블록 사이즈, 블록의 위치, 인터 예측 파라미터, 예측 오차 데이터 및, 예측값을 역변환부(230)에 공급한다.
역변환부(230)는, 인터 예측부(220)로부터 공급된 예측 오차 데이터에 역직교 변환과 역양자화 등의 처리를 행하여 차분값을 산출하고, 차분값과 예측값을 가산하여 복호 화상을 생성하고, 복호 화상과 인터 예측 파라미터를 프레임 메모리(240)에 공급하여, 복호 화상을 출력한다.
프레임 메모리(240)는, 복호 화상과 인터 예측 파라미터를 복수 화상분 기억하여, 복호 화상과 인터 예측 파라미터를 인터 예측부(220)에 공급한다.
또한, 인터 예측부(120)와 인터 예측부(220)에서 실시되는 인터 예측은 동일한 동작이고, 프레임 메모리(160)와 프레임 메모리(240)에 보존되는 복호 화상과 인터 예측 파라미터도 동일해진다.
계속해서, 인터 예측 파라미터에 대해서 설명한다. 인터 예측 파라미터에는, 머지 플래그, 머지 인덱스, 예측 LX의 유효 플래그, 예측 LX의 움직임 벡터, 예측 LX의 참조 픽처 인덱스, 머지 보정 플래그 및, 예측 LX의 차분 움직임 벡터가 포함된다. LX는 L0과 L1이다. 머지 플래그는 인터 예측 모드로서 머지 모드 또는 차분 움직임 벡터 모드의 어느 쪽을 이용하는지를 나타내는 플래그이다. 머지 플래그가 1이면 머지 모드를 이용하고, 머지 플래그가 0이면 차분 움직임 벡터 모드를 이용한다. 머지 인덱스는 머지 후보 리스트 내의 선택 머지 후보의 위치를 나타내는 인덱스이다. 예측 LX의 유효 플래그는 예측 LX가 유효한지 무효한지를 나타내는 플래그이다. L0 예측과 L1 예측의 양쪽이 유효하면 쌍예측, L0 예측이 유효하고 L1 예측이 무효하면 L0 예측, L1 예측이 유효하고 L0 예측이 무효하면 L1 예측이 된다. 머지 보정 플래그는, 머지 후보의 움직임 정보를 보정할지 아닌지를 나타내는 플래그이다. 머지 보정 플래그가 1이면 머지 후보를 보정하고, 머지 보정 플래그가 0이면 머지 후보를 보정하지 않는다. 여기에서, 부호열 생성부(140)는 예측 LX의 유효 플래그를 부호화 스트림 중에 부호열로서 부호화하지 않는다. 또한, 부호열 복호부(210)는 예측 LX의 유효 플래그를 부호화 스트림으로부터 부호열로서 복호하지 않는다. 참조 픽처 인덱스는 프레임 메모리(160) 내의 복호 화상을 특정하기 위한 인덱스이다. 또한, L0 예측의 유효 플래그, L1 예측의 유효 플래그, L0 예측의 움직임 벡터, L1 예측의 움직임 벡터, L0 예측의 참조 픽처 인덱스 및, L1 예측의 참조 픽처 인덱스의 조합을 움직임 정보로 한다.
또한, 블록이 인트라 부호화 모드나 화상의 영역 외 등의 블록이면, L0 예측의 유효 플래그와 L1 예측의 유효 플래그는 모두 무효로 한다.
이후에서는, 픽처 타입은 L0 예측의 단(單)방향 예측, L1 예측의 단방향 예측과 쌍방향 예측의 모두가 이용 가능한 B 픽처로서 설명하지만, 픽처 타입이 단방향 예측만을 이용 가능한 P 픽처라도 좋다. P 픽처의 경우의 인터 예측 파라미터는 L0 예측만이 대상이 되고, L1 예측은 존재하지 않는 것으로서 처리한다. 일반적으로 B 픽처로 부호 효율을 향상시키는 경우, L0 예측의 참조 픽처는 예측 대상 픽처보다 과거의 픽처가 되고, L1 예측의 참조 픽처는 예측 대상 픽처보다도 미래의 픽처가 된다. 왜냐하면, L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 예측 대상 픽처로부터 보아 역방향에 있는 경우에 내삽 예측에 의해 부호화 효율은 향상하기 때문이다. L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 예측 대상 픽처로부터 보아 역방향에 있는지 아닌지는 참조 픽처의 POC(Picture Order Count)를 비교함으로써 판정할 수 있다. 이후에서는, L0 예측의 참조 픽처와 L1 예측의 참조 픽처가 예측 대상 블록이 있는 예측 대상 픽처에 대하여 시간적으로 역방향이라고 하여 설명한다.
계속해서, 인터 예측부(120)의 상세에 대해서 설명한다. 특별히 언급하지 않는 한, 화상 부호화 장치(100)의 인터 예측부(120)와 화상 복호 장치(200)의 인터 예측부(220)의 구성과 동작은 동일하다.
도 3은, 인터 예측부(120)의 구성을 설명하는 도면이다. 인터 예측부(120)는 머지 모드 판정부(121), 머지 후보 리스트 생성부(122), 머지 후보 선택부(123), 머지 후보 보정 판정부(124), 머지 후보 보정부(125), 차분 움직임 벡터 모드 실시부(126) 및, 예측값 도출부(127)를 포함한다.
인터 예측부(120)는, 인터 예측 모드로서 머지 모드와 차분 움직임 벡터 모드를 블록마다 전환한다. 차분 움직임 벡터 모드 실시부(126)에서 실시되는 차분 움직임 벡터 모드는 HEVC와 동일하게 실시되는 것으로 하고, 이후에서는 주로 머지 모드에 대해서 설명한다.
머지 모드 판정부(121)는, 블록마다 인터 예측 모드로서 머지 모드를 이용할지 아닌지를 판정한다. 머지 플래그가 1이면 머지 모드를 이용하고, 머지 플래그가 0이면 차분 움직임 벡터 모드를 이용한다.
인터 예측부(120)에 있어서, 머지 플래그를 1로 할지 아닌지의 판정은, HEVC의 참조 소프트웨어에 이용되고 있는 RDO(레이트 변형 최적화)법 등을 이용한다. 인터 예측부(220)에서는, 부호열 복호부(210)가 신택스에 기초하여 부호화 스트림으로부터 복호한 머지 플래그를 취득한다. 신택스의 상세는 후술한다.
머지 플래그가 0인 경우, 차분 움직임 벡터 모드 실시부(126)에서 차분 움직임 벡터 모드가 실시되고, 차분 움직임 벡터 모드의 인터 예측 파라미터가 예측값 도출부(127)에 공급된다.
머지 플래그가 1인 경우, 머지 후보 리스트 생성부(122), 머지 후보 선택부(123), 머지 후보 보정 판정부(124) 및, 머지 후보 보정부(125)에서 머지 모드가 실시되고, 머지 모드의 인터 예측 파라미터가 예측값 도출부(127)에 공급된다.
머지 플래그가 1인 경우의 처리를 이후, 상세하게 설명한다.
도 4는, 머지 모드의 동작을 설명하는 플로우차트이다. 이후, 도 3과 도 4를 이용하여 머지 모드에 대해서 상세하게 설명한다.
맨 처음에, 머지 후보 리스트 생성부(122)는, 처리 대상 블록에 인접하는 블록의 움직임 정보와 복호 화상의 블록의 움직임 정보로부터 머지 후보 리스트를 생성하고(S100), 생성한 머지 후보 리스트를 머지 후보 선택부(123)에 공급한다. 이후, 처리 대상 블록과 예측 대상 블록은 동일한 의미로 이용한다.
여기에서, 머지 후보 리스트의 생성에 대해서 설명한다. 도 5는, 머지 후보 리스트 생성부(122)의 구성을 설명하는 도면이다. 머지 후보 리스트 생성부(122)는, 공간 머지 후보 생성부(201), 시간 머지 후보 생성부(202) 및, 머지 후보 보충부(203)를 포함한다.
도 6은, 처리 대상 블록에 인접하는 블록을 설명하는 도면이다. 여기에서는, 처리 대상 블록에 인접하는 블록을 블록 A, 블록 B, 블록 C, 블록 D, 블록 E, 블록 F, 블록 G로 하지만, 처리 대상 블록에 인접하고 있는 복수의 블록을 이용하면 이에 한정되지 않는다.
도 7은, 처리 대상 블록과 동일 위치 및 그의 주변에 있는 복호 화상 상의 블록을 설명하는 도면이다. 여기에서는, 처리 대상 블록과 동일 위치 및 그의 주변에 있는 복호 화상 상의 블록을 블록 CO1, 블록 CO2, 블록 CO3으로 하지만, 처리 대상 블록과 동일 위치 및 그의 주변에 있는 복호 화상 상의 복수의 블록을 이용하면 이에 한정되지 않는다. 이후, 블록 CO1, CO2, CO3을 동일 위치 블록, 동일 위치 블록을 포함하는 복호 화상을 동일 위치 픽처라고 부른다.
이후, 도 5, 도 6과 도 7을 이용하여 머지 후보 리스트의 생성에 대해서 상세하게 설명한다.
맨 처음에, 공간 머지 후보 생성부(201)는, 블록 A, 블록 B, 블록 C, 블록 D, 블록 E, 블록 F, 블록 G를 순차 검사하여, L0 예측의 유효 플래그와 L1 예측의 유효 플래그의 어느 하나 또는 양쪽이 유효하면, 당해 블록의 움직임 정보를 머지 후보로서 머지 후보 리스트에 순차 추가한다. 공간 머지 후보 생성부(201)가 생성하는 머지 후보를 공간 머지 후보라고 부른다.
다음으로, 시간 머지 후보 생성부(202)는, 블록 C01, 블록 CO2, 블록 CO3을 순차 검사하여, 맨 처음에 L0 예측의 유효 플래그와 L1 예측의 유효 플래그의 어느 하나 또는 양쪽이 유효해지는 블록의 움직임 정보를 스케일링 등의 처리를 하여 머지 후보로서 머지 후보 리스트에 순차 추가한다. 시간 머지 후보 생성부(202)가 생성하는 머지 후보를 시간 머지 후보라고 부른다.
여기에서, 시간 머지 후보의 스케일링에 대해서 설명한다. 시간 머지 후보의 스케일링은 HEVC와 동일하다. 시간 머지 후보의 움직임 벡터는, 동일 위치 블록의 움직임 벡터를, 동일 위치 픽처와 동일 위치 블록이 참조하는 참조 픽처의 거리에 기초하여, 예측 대상 블록이 있는 픽처와 시간 머지 후보가 참조하는 픽처의 거리로 스케일링하여 도출된다.
또한, 시간 머지 후보가 참조하는 픽처는, L0 예측과 L1 예측의 양쪽 모두 참조 픽처 인덱스가 0인 참조 픽처이다. 또한, 동일 위치 블록으로서, L0 예측의 동일 위치 블록과 L1 예측의 동일 위치 블록의 어느 하나가 이용되는지는 동일 위치 도출 플래그가 부호화(복호)되어 판정된다. 이상과 같이, 시간 머지 후보는 동일 위치 블록의 L0 예측 또는 L1 예측의 어느 1개의 움직임 벡터를 L0 예측과 L1 예측에 스케일링하여 새로운 L0 예측과 L1 예측의 움직임 벡터를 도출하여, 시간 머지 후보의 L0 예측과 L1 예측의 움직임 벡터로 한다.
다음으로, 머지 후보 리스트에 동일한 움직임 정보가 복수 포함되어 있다면, 1개의 움직임 정보를 남기고 그 이외의 움직임 정보는 삭제한다.
다음으로, 머지 후보 리스트에 포함되어 있는 머지 후보의 수가 최대 머지 후보수에 충족되지 않는 경우, 머지 후보 보충부(203)는, 머지 후보 리스트에 포함되어 있는 머지 후보의 수가 최대 머지 후보수에 도달할 때까지, 머지 후보 리스트에 보충 머지 후보를 추가하여, 머지 후보 리스트에 포함되어 있는 머지 후보의 수를 최대 머지 후보수로 한다. 여기에서, 보충 머지 후보란, L0 예측과 L1 예측의 움직임 벡터가 모두 (0, 0)이고, L0 예측과 L1 예측의 참조 픽처 인덱스가 모두 0인 움직임 정보이다.
여기에서는, 최대 머지 후보수는 6으로 하지만, 1 이상이면 좋다.
계속해서, 머지 후보 선택부(123)는, 머지 후보 리스트로부터 1개의 머지 후보를 선택하고(S101), 선택한 머지 후보(「선택 머지 후보」라고 부름)와 머지 인덱스를 머지 후보 보정 판정부(124)에 공급하여, 선택 머지 후보를 처리 대상 블록의 움직임 정보로 한다. 화상 부호화 장치(100)의 인터 예측부(120)에서는, HEVC의 참조 소프트웨어에 이용되고 있는 RDO(레이트 변형 최적화)법 등을 이용하여 머지 후보 리스트에 포함되는 머지 후보로부터 1개의 머지 후보를 선택하여 머지 인덱스를 결정한다. 화상 복호 장치(200)의 인터 예측부(220)에서는, 부호열 복호부(210)가 부호화 스트림으로부터 복호한 머지 인덱스를 취득하고, 머지 인덱스에 기초하여 머지 후보 리스트에 포함되는 머지 후보로부터 1개의 머지 후보를 선택 머지 후보로서 선택한다.
계속해서, 머지 후보 보정 판정부(124)는, 처리 대상 블록의 폭이 소정폭 이상, 또한 처리 대상 블록의 높이가 소정 높이 이상, 또한 선택 머지 후보의 L0 예측과 L1 예측의 양쪽 또는 적어도 다른 한쪽이 유효한지 검사한다(S102). 처리 대상 블록의 폭이 소정폭 이상, 또한 처리 대상 블록의 높이가 소정 높이 이상, 또한 선택 머지 후보의 L0 예측과 L1 예측의 양쪽 또는 적어도 다른 한쪽이 유효하다는 조건을 충족하지 않으면(S102의 NO), 선택 머지 후보를 처리 대상 블록의 움직임 정보로서 보정하는 일 없이, 스텝 S111로 진행된다. 여기에서, 머지 후보 리스트에는 반드시 L0 예측과 L1 예측의 적어도 다른 한쪽이 유효한 머지 후보가 포함되기 때문에, 선택 머지 후보의 L0 예측과 L1 예측의 양쪽 또는 적어도 다른 한쪽이 유효한 것은 자명하다. 그래서, S102의 「선택 머지 후보의 L0 예측과 L1 예측의 양쪽 또는 적어도 다른 한쪽이 유효한지」를 생략하여, S102를 처리 대상 블록의 폭이 소정폭 이상 또한 처리 대상 블록의 높이가 소정 높이 이상인지 검사한다고 해도 좋다.
처리 대상 블록의 폭이 소정폭 이상, 또한 처리 대상 블록의 높이가 소정 높이 이상, 또한 선택 머지 후보의 L0 예측과 L1 예측의 양쪽 또는 적어도 다른 한쪽이 유효하면(S102의 YES), 머지 후보 보정 판정부(124)는, 머지 보정 플래그를 설정하고(S103), 머지 보정 플래그를 머지 후보 보정부(125)에 공급한다. 화상 부호화 장치(100)의 인터 예측부(120)에서는, 머지 후보로 인터 예측한 경우의 예측 오차가 소정의 예측 오차 이상이면, 머지 보정 플래그를 1로 설정하고, 선택 머지 후보로 인터 예측한 경우의 예측 오차가 소정의 예측 오차 이상이 아니면, 머지 보정 플래그를 0으로 설정한다. 화상 복호 장치(200)의 인터 예측부(220)에서는, 부호열 복호부(210)이 신택스에 기초하여 부호화 스트림으로부터 복호한 머지 보정 플래그를 취득한다.
계속해서, 머지 후보 보정부(125)는, 머지 보정 플래그가 1인지 검사한다(S104). 머지 보정 플래그가 1이 아니면(S104의 NO), 선택 머지 후보를 처리 대상 블록의 움직임 정보로서 보정하는 일 없이, 스텝 S111로 진행된다.
머지 보정 플래그가 1이면(S104의 YES), 선택 머지 후보의 L0 예측이 유효한지 검사한다(S105). 선택 머지 후보의 L0 예측이 유효하지 않으면(S105의 NO), 스텝 S108로 진행된다. 선택 머지 후보의 L0 예측이 유효하면(S105의 YES), L0 예측의 차분 움직임 벡터를 결정한다(S106). 이상과 같이, 머지 보정 플래그가 1이면, 선택 머지 후보의 움직임 정보를 보정하고, 머지 보정 플래그가 0이면, 선택 머지 후보의 움직임 정보는 보정하지 않는다.
화상 부호화 장치(100)의 인터 예측부(120)에서는, L0 예측의 차분 움직임 벡터는 움직임 벡터 탐색에 의해 구한다. 여기에서는, 움직임 벡터의 탐색 범위는 수평 방향과 수직 방향 모두 ±16으로 하지만, ±64 등 2의 배수이면 좋다. 화상 복호 장치(200)의 인터 예측부(220)에서는, 부호열 복호부(210)가 신택스에 기초하여 부호화 스트림으로부터 복호한 L0 예측의 차분 움직임 벡터를 취득한다.
계속해서, 머지 후보 보정부(125)는, L0 예측의 보정 움직임 벡터를 산출하여, L0 예측의 보정 움직임 벡터를 처리 대상의 블록의 움직임 정보의 L0 예측의 움직임 벡터로 한다(S107).
여기에서, L0 예측의 보정 움직임 벡터(mvL0), 선택 머지 후보의 L0 예측의 움직임 벡터(mmvL0), L0 예측의 차분 움직임 벡터(mvdL0)의 관계에 대해서 설명한다. L0 예측의 보정 움직임 벡터(mvL0)는 선택 머지 후보의 L0 예측의 움직임 벡터(mmvL0)와 L0 예측의 차분 움직임 벡터(mvdL0)를 가산한 것이고, 하기의 식이 된다. 또한, [0]은 움직임 벡터의 수평 방향 성분을, [1]은 움직임 벡터의 수직 방향 성분을 나타낸다.
mvL0[0]＝mmvL0[0]＋mvdL0[0]
mvL0[1]＝mmvL0[1]＋mvdL0[1]
계속해서, 선택 머지 후보의 L1 예측이 유효한지 검사한다(S108). 선택 머지 후보의 L1 예측이 유효하지 않으면(S108의 NO), 스텝 S111로 진행된다. 선택 머지 후보의 L1 예측이 유효하면(S108의 YES), L1 예측의 차분 움직임 벡터를 결정한다(S109).
화상 부호화 장치(100)의 인터 예측부(120)에서는, L1 예측의 차분 움직임 벡터는 움직임 벡터 탐색에 의해 구한다. 여기에서는, 움직임 벡터의 탐색 범위는 수평 방향과 수직 방향 모두 ±16으로 하지만, ±64 등 2의 거듭 제곱으로 한다. 화상 복호 장치(200)의 인터 예측부(220)에서는, 부호열 복호부(210)가 신택스에 기초하여 부호화 스트림으로부터 복호한 L1 예측의 차분 움직임 벡터를 취득한다.
계속해서, 머지 후보 보정부(125)는, L1 예측의 보정 움직임 벡터를 산출하고, L1 예측의 보정 움직임 벡터를 처리 대상 블록의 움직임 정보의 L1 예측의 움직임 벡터로 한다(S110).
여기에서, L1 예측의 보정 움직임 벡터(mvL1), 선택 머지 후보의 L1 예측의 움직임 벡터(mmvL1), L1 예측의 차분 움직임 벡터(mvdL1)의 관계에 대해서 설명한다. L1 예측의 보정 움직임 벡터(mvL1)는 선택 머지 후보의 L1 예측의 움직임 벡터(mmvL1)와 L1 예측의 차분 움직임 벡터(mvdL1)를 가산함으로써, 하기의 식이 된다. 또한, [0]은 움직임 벡터의 수평 방향 성분을, [1]은 움직임 벡터의 수직 방향 성분을 나타낸다.
mvL1[0]＝mmvL1[0]＋mvdL1[0]
mvL1[1]＝mmvL1[1]＋mvdL1[1]
계속해서, 예측값 도출부(127)는, 처리 대상 블록의 움직임 정보에 기초하여, L0 예측, L1 예측 또는 쌍예측의 어느 하나의 인터 예측을 행하여, 예측값을 도출한다(S111). 이상과 같이, 머지 보정 플래그가 1이면, 선택 머지 후보의 움직임 벡터를 보정하고, 머지 보정 플래그가 0이면, 선택 머지 후보의 움직임 벡터는 보정하지 않는다.
인터 예측 파라미터의 부호화에 대해서 상세하게 설명한다. 도 8은, 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다. 표 1은, 인터 예측 파라미터와 신택스의 관계를 나타낸다. 도 8의 cb Width는 처리 대상 블록의 폭이고, cb Height는 처리 대상 블록의 높이이다. 소정 폭과 소정 높이는 모두 8로 한다. 소정 폭과 소정 높이를 설정함으로써, 작은 블록 단위로의 머지 후보의 보정을 하지 않음으로써 처리량을 삭감할 수 있다. 여기에서, cu_skip_flag는 블록이 스킵 모드이면 1이고, 스킵 모드가 아니면 0이 된다. 스킵 모드의 신택스는 머지 모드의 신택스와 동일하다. merge_idx는 머지 후보 리스트로부터 선택 머지 후보를 선택하는 머지 인덱스이다.
merge_idx를 merge_mod_flag보다도 먼저 부호화(복호)하여 머지 인덱스를 확정시킨 후에, merge_mod_flag의 부호화(복호)를 판정하여, merge_idx는 머지 모드의 머지 인덱스와 공용함으로써, 신택스의 복잡화나 콘텍스트의 증가를 억제하면서 부호화 효율을 향상시킨다.
도 9는, 차분 움직임 벡터의 신택스를 나타내는 도면이다. 도 9의 mvd_coding(N)은 차분 움직임 벡터 모드에서 이용되는 신택스와 동일한 신택스이다. 여기에서, N은 0 또는 1이다. N＝0은 L0 예측, N＝1은 L1 예측을 나타낸다.
차분 움직임 벡터의 신택스에는, 차분 움직임 벡터의 성분이 0보다 큰지 아닌지를 나타내는 플래그인 abs_mvd_greater0_flag[d], 차분 움직임 벡터의 성분이 1보다 큰지 아닌지를 나타내는 플래그인 abs_mvd_greater1_flag[d], 차분 움직임 벡터의 성분의 부호(±)를 나타내는 mvd_sign_flag[d], 차분 움직임 벡터의 성분으로부터 2를 뺀 벡터의 절대값을 나타내는 abs_mvd_minus2[d]가 포함된다. 여기에서 d는 0, 또는, 1이다. d＝0은 수평 방향 성분을, d＝1은 수직 방향 성분을 나타낸다.
HEVC에서는, 인터 예측 모드로서 머지 모드와 차분 움직임 벡터 모드가 있었다. 머지 모드에서는 머지 플래그 1개로 움직임 정보를 복원할 수 있기 때문에, 매우 부호화 효율이 높은 모드였다. 그런데, 머지 모드의 움직임 정보는 처리 완료의 블록에 의존하기 때문에, 예측 효율이 높아지는 경우가 한정되어, 보다 이용 효율을 개선시킬 필요가 있었다.
한편, 차분 움직임 벡터 모드는 L0 예측과 L1 예측을 따로따로 신택스로서 준비하고, 예측 타입(L0 예측, L1 예측 또는 쌍예측)과, L0 예측과 L1 예측의 각각에 대해서 예측 움직임 벡터 플래그, 차분 움직임 벡터 및, 참조 픽처 인덱스가 필요했다. 그 때문에, 차분 움직임 벡터 모드는 머지 모드보다도 부호화 효율은 좋지 않지만, 머지 모드에서는 도출할 수 없는 움직임인 공간적으로 인접하는 블록이나 시간적으로 인접하는 블록의 움직임과도 상관이 적은 돌발적인 움직임에 대하여 안정적으로 예측 효율이 높아지는 모드였다.
본 실시 형태에서는, 머지 모드의 예측 타입과 참조 픽처 인덱스를 고정한 채로 머지 모드의 움직임 벡터의 보정을 가능하게 함으로써, 부호화 효율을 차분 움직임 벡터 모드보다도 향상시켜, 이용 효율을 머지 모드보다도 향상시킬 수 있다.
또한, 차분 움직임 벡터를 선택 머지 후보의 움직임 벡터와의 차분으로 함으로써, 차분 움직임 벡터의 크기를 작게 억제할 수 있어, 부호화 효율을 억제할 수 있다.
또한, 머지 모드의 차분 움직임 벡터의 신택스를 차분 움직임 벡터 모드의 차분 움직임 벡터의 신택스와 동일하게 함으로써, 머지 모드에 차분 움직임 벡터를 추가해도 구성상의 변경은 적게 할 수 있다.
또한, 소정 폭과 소정 높이를 정의하여, 예측 블록폭이 소정 폭 이상, 또한 예측 블록 높이가 소정 높이 이상, 또한 선택 머지 후보의 L0 예측 또는 L1 예측의 양쪽 또는 적어도 다른 한쪽이 유효하다는 조건을 충족하지 않으면, 머지 모드의 움직임 벡터를 보정하는 처리를 생략함으로써, 머지 모드의 움직임 벡터를 보정하는 처리량을 억제할 수 있다. 또한, 움직임 벡터를 보정하는 처리량을 억제할 필요가 없는 경우에는, 소정 폭과 소정 높이에 의해 움직임 벡터의 보정을 제한할 필요는 없다.
이하, 본 실시 형태의 변형예에 대해서 설명한다. 특별히 거절하지 않는 한, 변형예는 서로 조합할 수 있다.
[변형예 1]
본 실시 형태에서는, 머지 모드인 블록의 신택스로서 차분 움직임 벡터를 이용했다. 본 변형예에서는, 차분 움직임 벡터를 차분 단위 움직임 벡터로서 부호화(또는 복호)하도록 정의한다. 차분 단위 움직임 벡터란, 픽처 간격이 최소 간격인 경우의 움직임 벡터이다. HEVC 등에서는 최소의 픽처 간격은 부호화 스트림 중에 부호열로서 부호화되어 있다.
부호화 대상 픽처와 머지 모드의 참조 픽처의 간격에 따라서 차분 단위 움직임 벡터를 스케일링하여 차분 움직임 벡터로서 이용한다. 부호화 대상 픽처의 POC(Picture Order Count)를 POC(Cur), 머지 모드의 L0 예측의 참조 픽처의 POC를 POC(L0), 머지 모드의 L1 예측의 참조 픽처의 POC를 POC(L1)로 하면, 하기 식과 같이 움직임 벡터는 산출된다. umvdL0은 L0 예측의 차분 단위 움직임 벡터를, umvdL1은 L1 예측의 차분 단위 움직임 벡터를 나타낸다.
mvL0[0]＝mmvL0[0]＋umvdL0[0]*(POC(Cur)－POC(L0))
mvL0[1]＝mmvL0[1]＋umvdL0[1]*(POC(Cur)－POC(L0))
mvL1[0]＝mmvL1[0]＋umvdL1[0]*(POC(Cur)－POC(L1))
mvL1[1]＝mmvL1[1]＋umvdL1[1]*(POC(Cur)-POC(L1))
이상과 같이, 본 변형예에서는, 차분 움직임 벡터로서 차분 단위 움직임 벡터를 이용함으로써, 차분 움직임 벡터의 부호량을 작게 함으로써, 부호화 효율을 향상시킬 수 있다. 또한, 차분 움직임 벡터가 크고 또한 예측 대상 픽처와 참조 픽처의 거리가 커지는 경우에, 특히 부호화 효율을 향상시킬 수 있다. 또한, 처리 대상 픽처와 참조 픽처의 간격과 화면 내에서 움직이는 물체의 속도가 비례 관계에 있는 경우에도, 예측 효율과 부호화 효율을 향상시킬 수 있다.
또한, 시간 머지 후보와 같이 픽처 간 거리로 스케일링하여 도출할 필요가 없고, 복호 장치에서는 곱셈기만으로 스케일링할 수 있기 때문에 제산기가 불필요해져, 회로 규모나 처리량을 삭감할 수 있다.
[변형예 2]
본 실시 형태에서는 차분 움직임 벡터의 성분으로서 0을 부호화(또는 복호)할 수 있는 것으로서, 예를 들면, L0 예측만을 변경할 수 있는 것으로 했다. 본 변형예에서는 차분 움직임 벡터의 성분으로서 0은 부호화(또는 복호)할 수 없는 것으로 한다.
도 10은, 변형예 2의 차분 움직임 벡터의 신택스를 나타내는 도면이다. 차분 움직임 벡터의 신택스에는, 차분 움직임 벡터의 성분이 1보다 큰지 아닌지를 나타내는 플래그인 abs_mvd_greater1_flag[d], 차분 움직임 벡터의 성분이 2보다 큰지 아닌지를 나타내는 플래그인 abs_mvd_greater2_flag[d], 차분 움직임 벡터의 성분으로부터 3을 뺀 벡터의 절대값을 나타내는 abs_mvd_minus3[d], 차분 움직임 벡터의 성분의 부호(±)를 나타내는 mvd_sign_flag[d]가 포함된다.
이상과 같이, 차분 움직임 벡터의 성분으로서 0은 부호화(또는 복호)할 수 없게 함으로써, 차분 움직임 벡터의 성분이 1 이상이 되는 경우의 부호화 효율을 향상시킬 수 있다.
[변형예 3]
본 실시 형태에서는 차분 움직임 벡터의 성분을 정수로 하여, 변형예 2에서는 0을 제외한 정수로 했다. 본 변형예에서는 차분 움직임 벡터의 ±의 부호를 제외한 성분을 2의 거듭 제곱으로 한정한다.
본 실시 형태의 신택스인 abs_mvd_minus2[d] 대신에 abs_mvd_pow_plus1[d]를 이용한다. 차분 움직임 벡터 mvd[d]는 mvd_sign_flag[d]와 abs_mvd_pow_plus1[d]로부터 하기 식과 같이 산출한다.
mvd[d]＝mvd_sign_flag[d]*2＾(abs_mvd_pow_plus1[d]＋1)
또한, 변형예 2의 신택스인 abs_mvd_minus3[d] 대신에 abs_mvd_pow_plus2[d]를 이용한다. 차분 움직임 벡터 mvd[d]는 mvd_sign_flag[d]와 abs_mvd_pow_plus2[d]로부터 하기 식과 같이 산출한다.
mvd[d]＝mvd_sign_flag[d]*2＾(abs_mvd_pow_plus2[d]＋2)
차분 움직임 벡터의 성분을 2의 거듭 제곱으로 한정함으로써, 부호화 장치의 처리량을 대폭으로 삭감하면서, 큰 움직임 벡터의 경우에 예측 효율을 향상시킬 수 있다.
[변형예 4]
본 실시 형태에서는, mvd_coding(N)은 차분 움직임 벡터를 포함하는 것으로 했지만, 본 변형예에서는, mvd_coding(N)은 움직임 벡터 배율을 포함하는 것으로 한다.
본 변형예의 mvd_coding(N)의 신택스에서는, abs_mvd_greater0_flag[d], abs_mvd_greater1_flag[d], mvd_sign_flag[d]는 존재하지 않고, 그 대신에, abs_mvr_plus2[d]와 mvr_sign_flag[d]를 포함하는 구성으로 한다.
LN 예측의 보정 움직임 벡터(mvLN)는, 선택 머지 후보의 LN 예측의 움직임 벡터(mmvLN)와 움직임 벡터 배율(mvrLN)을 승산한 것이 되고, 하기의 식으로 산출된다.
mvLN[d]＝mmvLN[d]*mvrLN[d]
차분 움직임 벡터의 성분을 2의 거듭 제곱으로 한정함으로써, 부호화 장치의 처리량을 대폭으로 삭감하면서, 큰 움직임 벡터의 경우에 예측 효율을 향상시킬 수 있다.
또한, 본 변형예는, 변형예 1, 변형예 2, 변형예 3 및, 변형예 6과는 조합할 수 없다.
[변형예 5]
본 실시 형태의 도 8의 신택스에서는, cu_skip_flag가 1인(스킵 모드인) 경우, merge_mod_flag가 존재할 가능성을 갖는다고 했지만, 스킵 모드인 경우에는 merge_mod_flag가 존재하지 않도록 해도 좋다.
이와 같이, merge_mod_flag를 생략함으로써, 스킵 모드의 부호화 효율을 향상시킴과 함께, 스킵 모드의 판정을 간략화할 수 있다.
[변형예 6]
본 실시 형태에서는, 선택 머지 후보의 LN 예측(N＝0 또는 1)이 유효한지 검사하여, 선택 머지 후보의 LN 예측이 유효하지 않으면, 차분 움직임 벡터를 유효하게 하지 않도록 했지만, 선택 머지 후보의 LN 예측이 유효한지 검사하지 않고, 선택 머지 후보의 LN 예측이 유효할지 아닌지에 관계 없이 차분 움직임 벡터를 유효하게 해도 좋다. 이 경우, 선택 머지 후보의 LN 예측이 무효인 경우에는, 선택 머지 후보의 LN 예측의 움직임 벡터는 (0, 0), 선택 머지 후보의 LN 예측의 참조 픽처 인덱스는 0으로 한다.
이와 같이, 본 변형예에서는, 선택 머지 후보의 LN 예측이 유효할지 아닌지에 관계 없이 차분 움직임 벡터를 유효하게 함으로써, 쌍방향 예측을 이용할 기회를 증가시켜, 부호화 효율을 향상시킬 수 있다.
[변형예 7]
본 실시 형태에서는, 선택 머지 후보의 L0 예측과 L1 예측을 개별로 유효한지 아닌지를 판정하여 차분 움직임 벡터를 부호화(또는 복호)할지 아닌지를 제어했지만, 선택 머지 후보의 L0 예측과 L1 예측의 양쪽이 유효한 경우에 차분 움직임 벡터를 부호화(또는 복호)하고, 선택 머지 후보의 L0 예측과 L1 예측의 양쪽이 유효하지 않은 경우에, 차분 움직임 벡터를 부호화(또는 복호)하지 않도록 할 수도 있다. 본 변형예의 경우, 스텝 S102는 하기와 같이 된다.
머지 후보 보정 판정부(124)는, 처리 대상 블록의 폭이 소정 폭 이상, 또한 처리 대상 블록의 높이가 소정 높이 이상, 또한 선택 머지 후보의 L0 예측과 L1 예측의 양쪽이 유효한지 검사한다(S102).
또한, 스텝 S105와 스텝 S108은 본 변형예에서는 불필요해진다.
도 11은, 변형예 7의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다. 스텝 S102, S105, S108에 관한 신택스가 상이하다.
이와 같이, 본 변형예에서는, 선택 머지 후보의 L0 예측과 L1 예측의 양쪽이 유효한 경우에 차분 움직임 벡터를 유효하게 함으로써, 이용 빈도가 높은 쌍방향 예측의 선택 머지 후보의 움직임 벡터를 보정함으로써, 효율적으로 예측 효율을 향상시킬 수 있다.
[변형예 8]
본 실시 형태에서는, 머지 모드인 블록의 신택스로서 L0 예측의 차분 움직임 벡터와 L1 예측의 차분 움직임 벡터의 2개의 차분 움직임 벡터를 이용했다. 본 변형예에서는, 1개의 차분 움직임 벡터만을 부호화(또는 복호)하여, L0 예측의 보정 움직임 벡터와 L1 예측의 보정 움직임 벡터로서 1개의 차분 움직임 벡터를 공용하여, 하기 식과 같이 선택 머지 후보의 움직임 벡터 mmvLN(N＝0, 1)과 차분 움직임 벡터 mvd로부터 보정 머지 후보의 움직임 벡터 mvLN(N＝0, 1)을 산출한다.
선택 머지 후보의 L0 예측이 유효한 경우는 하기의 식으로부터 L0 예측의 움직임 벡터를 산출한다.
mvL0[0]＝mmvL0[0]＋mvd[0]
mvL0[1]＝mmvL0[1]＋mvd[1]
선택 머지 후보의 L1 예측이 유효한 경우는 하기의 식으로부터 L1 예측의 움직임 벡터를 산출한다. L0 예측과는 역방향의 차분 움직임 벡터를 가산한다. 선택 머지 후보의 L1 예측의 움직임 벡터로부터 차분 움직임 벡터를 감산해도 좋다.
mvL1[0]＝mmvL1[0]＋mvd[0]*－1
mvL1[1]＝mmvL1[1]＋mvd[1]*－1
도 12는, 변형예 8의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다. L0 예측의 유효성과 L1 예측의 유효성을 검사하지만 삭제되어 있는 것과, mvd_coding(1)이 없는 점이 본 실시 형태와는 상이하다. mvd_coding(0)이 1개의 차분 움직임 벡터에 상당한다.
이와 같이, 본 변형예에서는, L0 예측과 L1 예측에 대하여 1개의 차분 움직임 벡터만을 정의함으로써, 쌍예측인 경우에는 차분 움직임 벡터의 수를 반감하여 L0 예측과 L1 예측에서 공용함으로써, 예측 효율의 저하를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 선택 머지 후보의 L0 예측의 참조하는 참조 픽처와 L1 예측과의 참조하는 참조 픽처가 예측 대상 픽처에 대하여 반대 방향에 있는(동일 방향에 없는) 경우에, 차분 움직임 벡터를 반대 방향으로 가산함으로써, 일정 방향의 움직임에 대하여 부호화 효율을 향상시킬 수 있다.
본 변형예의 효과에 대해서 상세하게 설명한다. 도 16은 변형예 8의 효과를 설명하는 도면이다. 도 16은 이동하는 직사각형 영역(파선으로 둘러싸인 영역) 안에서 수평 방향으로 이동하는 구체(사선으로 칠해진 영역)의 모습을 나타내는 화상이다. 이러한 경우, 화면에 대한 구체의 움직임은 직사각형 영역의 움직임과 수평 방향으로 이동하는 구체의 움직임을 더한 움직임이 된다. 픽처 B가 예측 대상 픽처, 픽처 A가 L0 예측의 참조 픽처, 픽처 C가 L1 예측의 참조 픽처라고 한다. 픽처 A와 픽처 C는 예측 대상 픽처로부터 보아 역방향의 관계에 있는 참조 픽처이다.
구체가 일정 방향으로 일정 속도로 이동하는 경우, 픽처 A, 픽처 B, 픽처 C는 각각 등간격이면, 인접 블록으로부터 취득할 수 없는 구체의 이동량을 L0 예측에 가산하여 L1 예측으로부터 감산함으로써 정확하게 구체의 움직임을 재현할 수 있다.
구체가 일정 방향으로 일정 속도가 아닌 속도로 이동하는 경우, 픽처 A, 픽처 B, 픽처 C는 각각 등간격은 아니지만, 구체의 직사각형 영역에 대응하는 이동량은 등간격이면, 인접 블록으로부터 취득할 수 없는 구체의 이동량을 L0 예측에 가산하여 L1 예측으로부터 감산함으로써 정확하게 구체의 움직임을 재현할 수 있다.
또한, 일정 기간에 구체가 일정 방향으로 일정 속도로 이동하는 경우, 픽처 A, 픽처 B, 픽처 C는 각각 등간격은 아니지만, 구체의 직사각형 영역에 대응하는 이동량은 등간격이 되는 경우가 있다. 도 17은 변형예 8의 픽처 간격이 등간격이 아닌 경우의 효과를 설명하는 도면이다. 이 예에 대해서 도 17을 이용하여 상세하게 설명한다. 도 17의 픽처 F0, F1, …, F8은 각각 고정 간격의 픽처를 나타낸다. 픽처 F0에서 픽처 F4까지는 구체는 정지하고 있고, 픽처 F5 이후에 일정 방향으로 일정 속도로 이동하는 것으로 한다. 픽처 F0과 픽처 F6이 참조 픽처, 픽처 F5가 예측 대상 픽처인 경우, 픽처 F0, 픽처 F5, 픽처 F6은 각각 등간격은 아니지만, 구체의 직사각형 영역에 대응하는 이동량은 등간격이 된다. 픽처 F5가 예측 대상 픽처인 경우, 일반적으로는 거리가 가까운 픽처 F4를 참조 픽처로서 선택하지만, 픽처 F4가 아니라 픽처 F0을 참조 픽처로서 선택하는 것은, 픽처 F0이 픽처 F4보다도 변형이 적은 고품질인 픽처인 경우이다. 참조 픽처는 통상 참조 픽처 버퍼 내에서 FIFO(First-In First-Out) 방식으로 관리되지만, 변형이 적은 고품질인 픽처를 참조 픽처로서 참조 픽처 버퍼에 장기간 잔존시키는 구조로서 장기 참조 픽처가 있다. 장기 참조 픽처는 참조 픽처 버퍼 내에서 FIFO로서 관리되지 않고, 슬라이스 헤더에 부호화되는 참조 픽처 리스트 제어 정보로 장기 참조 픽처로 할지 아닌지가 관리된다. 이와 같이, 본 변형예는, L0 예측 또는 L1 예측의 어느 한 쪽 또는 양쪽이 장기 참조 픽처인 경우에 적용함으로써, 예측 효율과 부호화 효율을 향상시킬 수 있다. 또한, 본 변형예는, L0 예측 또는 L1 예측의 어느 한쪽 또는 양쪽이 인트라 픽처인 경우에 적용함으로써, 예측 효율과 부호화 효율을 향상시킬 수 있다.
또한, 시간 머지 후보와 같이 차분 움직임 벡터를 픽처 간 거리에 기초하여 스케일링하지 않음으로써 회로 규모나 소비 전력을 삭감할 수 있다. 예를 들면, 가령 차분 움직임 벡터를 스케일링하는 경우, 선택 머지 후보로서 시간 머지 후보가 선택되면, 시간 머지 후보의 스케일링과 차분 움직임 벡터의 스케일링의 양쪽이 필요해진다. 시간 머지 후보의 스케일링과 차분 움직임 벡터의 스케일링은 스케일링의 기준이 되는 움직임 벡터가 상이하기 때문에, 양쪽의 스케일링을 통합하여 실행하지 못하고, 따로따로 실행할 필요가 있다.
또한, 본 실시 형태와 같이 머지 후보 리스트에 시간 머지 후보가 포함되어 있는 경우, 시간 머지 후보는 스케일링되어 있고, 시간 머지 후보의 움직임 벡터보다도 차분 움직임 벡터가 미소하면 차분 움직임 벡터를 스케일링하지 않아도 부호화 효율을 향상시킬 수 있다. 또한, 차분 움직임 벡터가 큰 경우에는, 차분 움직임 벡터 모드를 선택함으로써, 부호화 효율의 저하를 억제할 수 있다.
[변형예 9]
본 실시 형태에서는, 머지 보정 플래그가 0과 1인 경우의 최대 머지 후보수는 동일하다고 했다. 본 변형예에서는, 머지 보정 플래그가 1인 경우의 최대 머지 후보수를 머지 보정 플래그가 0인 경우의 최대 머지 후보수보다 적게 한다. 예를 들면, 머지 보정 플래그가 1인 경우의 최대 머지 후보수를 2로 한다. 여기에서, 머지 보정 플래그가 1인 경우의 최대 머지 후보수를 최대 보정 머지 후보수라고 한다. 또한, 머지 인덱스가 최대 보정 머지 후보수보다 작은 경우에는, 머지 보정 플래그를 부호화(복호)하고, 머지 인덱스가 최대 보정 머지 후보수 이상인 경우에는, 머지 보정 플래그를 부호화(복호)하지 않도록 한다. 여기에서, 머지 보정 플래그가 0인 경우의 최대 머지 후보수와 최대 보정 머지 후보수는 미리 정해져 있는 값이라도 좋고, 부호화 스트림 중의 SPS나 PPS로 부호화(복호)하여 취득해도 좋다.
이와 같이, 본 변형예에서는, 머지 보정 플래그가 1인 경우의 최대 머지 후보수를 머지 보정 플래그가 0인 경우의 최대 머지 후보수보다 적게 함으로써, 보다 선택 확률이 높은 머지 후보에 대해서만, 머지 후보를 보정할지 아닌지 판정함으로써, 부호화 장치의 처리를 삭감하면서, 부호화 효율의 저하를 억제할 수 있다. 또한, 머지 인덱스가 최대 보정 머지 후보수 이상인 경우에는 머지 보정 플래그를 부호화(복호)할 필요가 없어지기 때문에, 부호화 효율이 향상한다.
[제2 실시 형태]
제2 실시 형태의 화상 부호화 장치(100)와 화상 복호 장치(200)의 구성은, 제1 본 실시 형태의 화상 부호화 장치(100)와 화상 복호 장치(200)와 동일하다. 본 실시 형태는 제1 실시 형태와는 머지 모드의 동작과 신택스가 상이하다. 이후, 본 실시 형태와 제1 본 실시 형태의 상위점에 대해서 설명한다.
도 13은, 제2 실시 형태의 머지 모드의 동작을 설명하는 플로우차트이다. 도 14는, 제2 실시 형태의 머지 모드인 블록의 신택스의 일부를 나타내는 도면이다. 도 15는, 제2 실시 형태의 차분 움직임 벡터의 신택스를 나타내는 도면이다.
이후, 도 13, 도 14, 도 15를 이용하여 제1 본 실시 형태와의 상위점에 대해서 설명한다. 도 13은, 도 4와 스텝 S205로부터 스텝 S207, 스텝 S209로부터 스텝 S211이 상이하다.
머지 보정 플래그가 1이면(S104의 YES), 선택 머지 후보의 L0 예측이 무효인지 검사한다(S205). 선택 머지 후보의 L0 예측이 무효가 아니면(S205의 NO), 스텝 S208로 진행된다. 선택 머지 후보의 L0 예측이 무효이면(S205의 YES), L0 예측의 보정 움직임 벡터를 결정한다(S206).
화상 부호화 장치(100)의 인터 예측부(120)에서는, L0 예측의 보정 움직임 벡터는 움직임 벡터 탐색에 의해 구한다. 여기에서는, 움직임 벡터의 탐색 범위는 수평 방향과 수직 방향 모두 ±1로 한다. 화상 복호 장치(200)의 인터 예측부(220)에서는, L0 예측의 보정 움직임 벡터는 부호화 스트림으로부터 취득한다.
계속해서, L0 예측의 참조 픽처 인덱스를 결정한다(S207). 여기에서는, L0 예측의 참조 픽처 인덱스를 0으로 한다.
계속해서, 슬라이스 타입이 B이고 또한 선택 머지 후보의 L1 예측이 무효인지 검사한다(S208). 슬라이스 타입이 B가 아니거나 또는 선택 머지 후보의 L1 예측이 무효가 아니면(S208의 NO), S111로 진행된다. 슬라이스 타입이 B이고 또한 선택 머지 후보의 L1 예측이 무효이면(S208의 YES), L1 예측의 보정 움직임 벡터를 결정한다(S209).
화상 부호화 장치(100)의 인터 예측부(120)에서는, L1 예측의 보정 움직임 벡터는 움직임 벡터 탐색에 의해 구한다. 여기에서는, 움직임 벡터의 탐색 범위는 수평 방향과 수직 방향 모두 ±1로 한다. 화상 복호 장치(200)의 인터 예측부(220)에서는, L1 예측의 보정 움직임 벡터는 부호화 스트림으로부터 취득한다.
계속해서, L1 예측의 참조 픽처 인덱스를 결정한다(S110). 여기에서는, L1 예측의 참조 픽처 인덱스를 0으로 한다.
이상과 같이, 본 실시 형태에서는, 슬라이스 타입이 쌍예측을 허가하고 있는 슬라이스 타입(즉 슬라이스 타입 B)인 경우, L0 예측 또는 L1 예측의 머지 후보를 쌍예측의 머지 후보로 변환한다. 쌍예측의 머지 후보로 함으로써, 필터링 효과에 의해 예측 효율의 향상을 기대할 수 있다. 또한, 바로 근처의 복호 화상을 참조 픽처로 함으로써, 움직임 벡터의 탐색 범위를 최소한으로 억제할 수 있다.
[변형예]
본 실시 형태에서는, 스텝 S207과 스텝 S210의 참조 픽처 인덱스를 0으로 했다. 본 변형예에서는, 선택 머지 후보의 L0 예측이 무효인 경우, L0 예측의 참조 픽처 인덱스를 L1 예측의 참조 픽처 인덱스로 하고, 선택 머지 후보의 L1 예측이 무효인 경우, L1 예측의 참조 픽처 인덱스를 L0 예측의 참조 픽처 인덱스로 한다.
이와 같이, 선택 머지 후보의 L0 예측 또는 L1 예측의 움직임 벡터에 의한 예측값을 미소하게 어긋나게 필터링함으로써, 미소한 움직임을 재현할 수 있어, 예측 효율을 향상시킬 수 있다.
이상에 서술한 모든 실시 형태에 있어서, 화상 부호화 장치가 출력하는 부호화 비트 스트림은, 실시 형태에서 이용된 부호화 방법에 따라서 복호할 수 있도록 특정의 데이터 포맷을 갖고 있다. 부호화 비트 스트림은, HDD, SSD, 플래시 메모리, 광 디스크 등의 컴퓨터 등에서 판독 가능한 기록 매체에 기록하여 제공해도 좋고, 유선 혹은 무선의 네트워크를 통하여 서버로부터 제공해도 좋다. 따라서, 이 화상 부호화 장치에 대응하는 화상 복호 장치는, 제공 수단에 의하지 않고, 이 특정의 데이터 포맷의 부호화 비트 스트림을 복호할 수 있다.
화상 부호화 장치와 화상 복호 장치의 사이에서 부호화 비트 스트림을 교환하기 위해, 유선 또는 무선의 네트워크가 이용되는 경우, 통신로의 전송 형태에 적합한 데이터 형식으로 부호화 비트 스트림을 변환하여 전송해도 좋다. 그 경우, 화상 부호화 장치가 출력하는 부호화 비트 스트림을 통신로의 전송 형태에 적합한 데이터 형식의 부호화 데이터로 변환하여 네트워크에 송신하는 송신 장치와, 네트워크로부터 부호화 데이터를 수신하여 부호화 비트 스트림으로 복원하여 화상 복호 장치에 공급하는 수신 장치가 형성된다.
송신 장치는, 화상 부호화 장치가 출력하는 부호화 비트 스트림을 버퍼하는 메모리와, 부호화 비트 스트림을 패킷화하는 패킷 처리부와, 네트워크를 통하여 패킷화된 부호화 데이터를 송신하는 송신부를 포함한다. 수신 장치는, 네트워크를 통하여 패킷화된 부호화 데이터를 수신하는 수신부와, 수신된 부호화 데이터를 버퍼하는 메모리와, 부호화 데이터를 패킷 처리하여 부호화 비트 스트림을 생성하고, 화상 복호 장치에 제공하는 패킷 처리부를 포함한다.
화상 부호화 장치와 화상 복호 장치의 사이에서 부호화 비트 스트림을 교환하기 위해, 유선 또는 무선의 네트워크가 이용되는 경우, 송신 장치, 수신 장치에 더하여, 추가로, 송신 장치가 송신하는 부호화 데이터를 수신하여, 수신 장치에 공급하는 중계 장치가 형성되어도 좋다. 중계 장치는, 송신 장치가 송신하는 패킷화된 부호화 데이터를 수신하는 수신부와, 수신된 부호화 데이터를 버퍼하는 메모리와, 패킷된 부호화 데이터와 네트워크에 송신하는 송신부를 포함한다. 또한, 중계 장치는, 패킷화된 부호화 데이터를 패킷 처리하여 부호화 비트 스트림을 생성하는 수신 패킷 처리부와, 부호화 비트 스트림을 축적하는 기록 매체와, 부호화 비트 스트림을 패킷화하는 송신 패킷 처리부를 포함해도 좋다.
또한, 화상 복호 장치로 복호된 화상을 표시하는 표시부를 구성에 추가함으로써, 표시 장치로 해도 좋다. 또한, 촬상부를 구성에 추가하여, 촬상한 화상을 화상 부호화 장치에 입력함으로써, 촬상 장치로 해도 좋다.
도 18에, 본원의 부호화 복호 장치의 하드웨어 구성의 일 예를 나타낸다. 부호화 복호 장치는, 본 발명의 실시 형태에 따른 화상 부호화 장치 및, 화상 복호 장치의 구성을 포함한다. 이러한 부호화 복호 장치(9000)는, CPU(9001), 코덱 IC(9002), I/O 인터페이스(9003), 메모리(9004), 광학 디스크 드라이버(9005), 네트워크 인터페이스(9006), 비디오 인터페이스(9009)를 갖고, 각 부는 버스(9010)에 의해 접속된다.
화상 부호화부(9007)와 화상 복호부(9008)는, 전형적으로는 코덱 IC(9002)로서 실장된다. 본 발명의 실시 형태에 따른 화상 부호화 장치의 화상 부호화 처리는, 화상 부호화부(9007)에 의해 실행되고, 본 발명의 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리는, 화상 부호화부(9007)에 의해 실행된다. I/O 인터페이스(9003)는, 예를 들면 USB 인터페이스에 의해 실현되고, 외부의 키보드(9104), 마우스(9105) 등으로 접속한다. CPU(9001)는, I/O 인터페이스(9003)를 통하여 입력한 유저 조작에 기초하여, 유저의 소망하는 동작을 실행하도록 부호화 복호 장치(9000)를 제어한다. 키보드(9104), 마우스(9105) 등에 의한 유저의 조작으로서는, 부호화, 복호 중 어느 쪽의 기능을 실행할지의 선택, 부호화 품질의 설정, 부호화 스트림의 입출력처, 화상의 입출력처 등이 있다.
유저가 디스크 기록 매체(9100)에 기록된 화상을 재생하는 조작을 소망하는 경우, 광학 디스크 드라이버(9005)는, 삽입된 디스크 기록 매체(9100)로부터 부호화 비트 스트림을 읽어내고, 읽어낸 부호화 스트림을, 버스(9010)를 통하여 코덱 IC(9002)의 화상 복호부(9008)에 보낸다. 화상 복호부(9008)는 입력한 부호화 비트 스트림에 대하여 본 발명의 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리를 실행하여, 복호 화상을, 비디오 인터페이스(9009)를 통하여 외부의 모니터(9103)로 보낸다. 또한, 부호화 복호 장치(9000)는, 네트워크 인터페이스(9006)를 갖고, 네트워크(9101)를 통하여, 외부의 배신(配信) 서버(9106)나, 휴대 단말(9107)과 접속 가능하다. 유저가 디스크 기록 매체(9100)에 기록된 화상으로 바꾸어, 배신 서버(9106)나 휴대 단말(9107)에 기록된 화상을 재생하는 것을 소망하는 경우는, 네트워크 인터페이스(9006)는, 입력된 디스크 기록 매체(9100)로부터 부호화 비트 스트림을 읽어내는 것으로 바꾸어, 네트워크(9101)로부터 부호화 스트림을 취득한다. 또한, 유저가 메모리(9004)에 기록된 화상을 재생하는 것을 소망하는 경우는, 메모리(9004)에 기록된 부호화 스트림에 대하여, 본 발명의 실시 형태에 따른 화상 복호 장치에 있어서의 화상 복호 처리를 실행한다.
유저가 외부의 카메라(9102)로 촬상한 화상을 부호화하여 메모리(9004)에 기록하는 조작을 소망하는 경우, 비디오 인터페이스(9009)는, 카메라(9102)로부터 화상을 입력하고, 버스(9010)를 통하여, 코덱 IC(9002)의 화상 부호화부(9007)에 보낸다. 화상 부호화부(9007)는, 비디오 인터페이스(9009)를 통하여 입력한 화상에 대하여 본 발명의 실시 형태에 따른 화상 부호화 장치에 있어서의 화상 부호화 처리를 실행하여, 부호화 비트 스트림을 작성한다. 그리고 부호화 비트 스트림을, 버스(9010)를 통하여, 메모리(9004)로 보낸다. 유저가 메모리(9004)로 바꾸어, 디스크 기록 매체(9100)에 부호화 스트림을 기록하는 것을 소망하는 경우는, 광학 디스크 드라이버(9005)는, 삽입된 디스크 기록 매체(9100)에 대하여 부호화 스트림의 써냄을 행한다.
화상 부호화 장치를 갖고 화상 복호 장치를 갖지 않는 하드웨어 구성이나, 화상 복호 장치를 갖고 화상 부호화 장치를 갖지 않는 하드웨어 구성을 실현하는 것도 가능하다. 그러한 하드웨어 구성은, 예를 들면 코덱 IC(9002)가, 화상 부호화부(9007), 또는 화상 복호부(9008)로 각각 치환됨으로써 실현된다.
이상의 부호화 및 복호에 관한 처리는, ASIC 등의 하드웨어를 이용한 전송 장치, 축적 장치, 수신 장치로서 실현할 수 있는 것은 물론, ROM(리드·온리·메모리)이나 플래시 메모리 등에 기억되어 있는 펌 웨어나, CPU나 Soc(System on a chip) 등의 컴퓨터의 소프트웨어에 의해서도 실현될 수 있다. 그 펌 웨어 프로그램, 소프트웨어 프로그램을 컴퓨터 등으로 판독 가능한 기록 매체에 기록하여 제공하는 것도, 유선 혹은 무선의 네트워크를 통하여 서버로부터 제공하는 것도, 지상파 혹은 위성 디지털 방송의 데이터 방송으로서 제공하는 것도 가능하다.
이상, 본 발명을 실시 형태를 기초로 설명했다. 실시 형태는 예시이고, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 여러 가지의 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.
본 발명은, 화상 복호 기술에 이용할 수 있다.
100 : 화상 부호화 장치
110 : 블록 사이즈 결정부
120 : 인터 예측부
121 : 머지 모드 판정부
122 : 머지 후보 리스트 생성부
123 : 머지 후보 선택부
124 : 머지 후보 보정 판정부
125 : 머지 후보 보정부
126 : 차분 움직임 벡터 모드 실시부
127 : 예측값 도출부
130 : 변환부
140 : 부호열 생성부
150 : 국부 복호부
160 : 프레임 메모리
200 : 화상 복호 장치
201 : 공간 머지 후보 생성부
202 : 시간 머지 후보 생성부
203 : 머지 후보 보충부
210 : 부호열 복호부
220 : 인터 예측부
230 : 역변환부
240 : 프레임 메모리

Claims (9)

  1. 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보와 상기 예측 대상 블록과 동일 위치에 있는 복호 화상 상의 블록의 움직임 벡터를 스케일링하여 도출되는 움직임 벡터를 포함하는 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성부와,
    상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택부와,
    부호화 스트림으로부터 부호열을 복호하여 차분 움직임 벡터를 도출하는 부호열 복호부와,
    상기 선택 머지 후보의 제1 예측의 참조 픽처 또는 상기 선택 머지 후보의 제2 예측의 참조 픽처 중 어느 한쪽 또는 양쪽이 장기 참조 픽처이면, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 상기 차분 움직임 벡터를 스케일링하지 않고 그대로 가산하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 상기 차분 움직임 벡터를 스케일링하지 않고 그대로 감산하여 쌍예측 보정 머지 후보를 도출하는 머지 후보 보정부
    를 구비하는 것을 특징으로 하는 화상 복호 장치.
  2. 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보와 상기 예측 대상 블록과 동일 위치에 있는 복호 화상 상의 블록의 움직임 벡터를 스케일링하여 도출되는 움직임 벡터를 포함하는 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성 스텝과,
    상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택 스텝과,
    부호화 스트림으로부터 부호열을 복호하여 차분 움직임 벡터를 도출하는 부호열 복호 스텝과,
    상기 선택 머지 후보의 제1 예측의 참조 픽처 또는 상기 선택 머지 후보의 제2 예측의 참조 픽처 중 어느 한쪽 또는 양쪽이 장기 참조 픽처이면, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 상기 차분 움직임 벡터를 스케일링하지 않고 그대로 가산하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 상기 차분 움직임 벡터를 스케일링하지 않고 그대로 감산하여 쌍예측 보정 머지 후보를 도출하는 머지 후보 보정 스텝
    을 갖는 것을 특징으로 하는 화상 복호 방법.
  3. 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보와 상기 예측 대상 블록과 동일 위치에 있는 복호 화상 상의 블록의 움직임 벡터를 스케일링하여 도출되는 움직임 벡터를 포함하는 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성 스텝과,
    상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택 스텝과,
    부호화 스트림으로부터 부호열을 복호하여 차분 움직임 벡터를 도출하는 부호열 복호 스텝과,
    상기 선택 머지 후보의 제1 예측의 참조 픽처 또는 상기 선택 머지 후보의 제2 예측의 참조 픽처 중 어느 한쪽 또는 양쪽이 장기 참조 픽처이면, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 상기 차분 움직임 벡터를 스케일링하지 않고 그대로 가산하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 상기 차분 움직임 벡터를 스케일링하지 않고 그대로 감산하여 쌍예측 보정 머지 후보를 도출하는 머지 후보 보정 스텝
    을 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터 판독가능 기록매체에 기록된 화상 복호 프로그램.
  4. 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보와 상기 예측 대상 블록과 동일 위치에 있는 부호화 화상 상의 블록의 움직임 벡터를 스케일링하여 도출되는 움직임 벡터를 포함하는 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성부와,
    상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택부와,
    상기 선택 머지 후보의 제1 예측의 참조 픽처 또는 상기 선택 머지 후보의 제2 예측의 참조 픽처 중 어느 한쪽 또는 양쪽이 장기 참조 픽처이면, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 대하여 스케일링하지 않고 그대로 감산하여 차분 움직임 벡터로 하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 대하여 스케일링하지 않고 그대로 가산하여 상기 차분 움직임 벡터로서 쌍예측의 보정 머지 후보를 도출하는 머지 후보 보정부와,
    상기 차분 움직임 벡터를 부호화 스트림에 부호화하는 부호열 부호화부
    를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  5. 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보와 상기 예측 대상 블록과 동일 위치에 있는 부호화 화상 상의 블록의 움직임 벡터를 스케일링하여 도출되는 움직임 벡터를 포함하는 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성 스텝과,
    상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택 스텝과,
    상기 선택 머지 후보의 제1 예측의 참조 픽처 또는 상기 선택 머지 후보의 제2 예측의 참조 픽처 중 어느 한쪽 또는 양쪽이 장기 참조 픽처이면, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 대하여 스케일링하지 않고 그대로 감산하여 차분 움직임 벡터로 하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 대하여 스케일링하지 않고 그대로 가산하여 상기 차분 움직임 벡터로서 쌍예측의 보정 머지 후보를 도출하는 머지 후보 보정 스텝과,
    상기 차분 움직임 벡터를 부호화 스트림에 부호화하는 부호열 부호화 스텝
    을 구비하는 것을 특징으로 하는 화상 부호화 방법.
  6. 예측 대상 블록에 인접하는 복수의 블록의 움직임 정보와 상기 예측 대상 블록과 동일 위치에 있는 부호화 화상 상의 블록의 움직임 벡터를 스케일링하여 도출되는 움직임 벡터를 포함하는 움직임 정보를 머지 후보로서 포함하는 머지 후보 리스트를 생성하는 머지 후보 리스트 생성 스텝과,
    상기 머지 후보 리스트로부터 머지 후보를 선택 머지 후보로서 선택하는 머지 후보 선택 스텝과,
    상기 선택 머지 후보의 제1 예측의 참조 픽처 또는 상기 선택 머지 후보의 제2 예측의 참조 픽처 중 어느 한쪽 또는 양쪽이 장기 참조 픽처이면, 상기 선택 머지 후보의 제1 예측의 움직임 벡터에 대하여 스케일링하지 않고 그대로 감산하여 차분 움직임 벡터로 하고, 상기 선택 머지 후보의 제2 예측의 움직임 벡터에 대하여 스케일링하지 않고 그대로 가산하여 상기 차분 움직임 벡터로서 쌍예측의 보정 머지 후보를 도출하는 머지 후보 보정 스텝과,
    상기 차분 움직임 벡터를 부호화 스트림에 부호화하는 부호열 부호화 스텝
    을 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터 판독가능 기록매체에 기록된 화상 부호화 프로그램.
  7. 삭제
  8. 삭제
  9. 삭제
KR1020217003083A 2018-12-13 2019-12-13 화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램, 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램 KR102600108B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237038090A KR20230156809A (ko) 2018-12-13 2019-12-13 화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램 기록 매체, 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램 기록 매체, 격납 방법, 및 전송 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2018-233432 2018-12-13
JP2018233432 2018-12-13
JP2019171782A JP6933235B2 (ja) 2018-12-13 2019-09-20 画像復号装置、画像復号方法、及び画像復号プログラム
JPJP-P-2019-171782 2019-09-20
PCT/JP2019/048855 WO2020122224A1 (ja) 2018-12-13 2019-12-13 画像復号装置、画像復号方法、及び画像復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237038090A Division KR20230156809A (ko) 2018-12-13 2019-12-13 화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램 기록 매체, 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램 기록 매체, 격납 방법, 및 전송 방법

Publications (2)

Publication Number Publication Date
KR20210022756A KR20210022756A (ko) 2021-03-03
KR102600108B1 true KR102600108B1 (ko) 2023-11-08

Family

ID=71106633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003083A KR102600108B1 (ko) 2018-12-13 2019-12-13 화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램, 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램

Country Status (6)

Country Link
US (1) US11563935B2 (ko)
JP (5) JP6933235B2 (ko)
KR (1) KR102600108B1 (ko)
CN (1) CN112514395B (ko)
BR (1) BR112021005875B1 (ko)
CA (1) CA3119641A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297333B (zh) * 2022-09-29 2023-03-24 北京达佳互联信息技术有限公司 视频数据的帧间预测方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3637996B2 (ja) 1997-03-28 2005-04-13 シャープ株式会社 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
WO2013001803A1 (ja) * 2011-06-30 2013-01-03 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
CN105430390B (zh) 2011-06-30 2017-04-12 Jvc建伍株式会社 图像解码装置、图像解码方法、接收装置及接收方法
JP5786498B2 (ja) * 2011-06-30 2015-09-30 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP5807621B2 (ja) 2011-06-30 2015-11-10 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法および送信プログラム
JP5786499B2 (ja) 2011-06-30 2015-09-30 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム
BR112014013969B1 (pt) * 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de decodificação de vídeo, método de decodificação de vídeo, programa de decodificação de vídeo
JP5633597B2 (ja) * 2012-04-12 2014-12-03 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2015525547A (ja) * 2012-07-02 2015-09-03 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
WO2015137783A1 (ko) 2014-03-14 2015-09-17 삼성전자 주식회사 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
JP6172325B2 (ja) * 2016-04-27 2017-08-02 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
WO2018105582A1 (ja) * 2016-12-09 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
EP3560202A4 (en) 2016-12-27 2020-07-29 MediaTek Inc. METHOD AND DEVICE FOR BILATERAL TEMPLATE MV REFINING FOR VIDEO CODING
CN114205617B (zh) * 2018-02-28 2024-03-19 三星电子株式会社 编码方法及其装置以及解码方法及其装置
IL311160A (en) * 2018-09-17 2024-04-01 Samsung Electronics Co Ltd A method for encoding and decoding traffic information and a device for encoding and decoding traffic information
EP3989572A4 (en) * 2019-06-21 2023-04-12 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR ENCODING AND DECODING MOTION INFORMATION USING PROXIMITY MOTION INFORMATION

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bross, Benjamin, et. al.，"Versatile Video Coding (Draft 3)"，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1112th Meeting: Macao, CN, 3-12 Oct. 2018, JVET-L1001-v5，2018.12.10., JVET-L1001.*
Jeong, Seungsoo, et. al.，"CE4 Ultimate motion vector expression (Test 4.5.4)"，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, JVET-L0054_WD，2018.10.11., JVET-L0054.*

Also Published As

Publication number Publication date
BR112021005875B1 (pt) 2023-03-14
BR112021005875A2 (pt) 2021-07-27
US11563935B2 (en) 2023-01-24
CN112514395B (zh) 2023-07-21
JP6933235B2 (ja) 2021-09-08
JP2022046467A (ja) 2022-03-23
CA3119641A1 (en) 2020-06-18
BR112021005875A8 (pt) 2022-08-02
JP2020099037A (ja) 2020-06-25
JP2024001288A (ja) 2024-01-09
JP7251584B2 (ja) 2023-04-04
US20210211648A1 (en) 2021-07-08
CN112514395A (zh) 2021-03-16
KR20210022756A (ko) 2021-03-03
JP2022003779A (ja) 2022-01-11
JP2024051143A (ja) 2024-04-10

Similar Documents

Publication Publication Date Title
JP2024051143A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP2015159569A (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP6032367B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP6036972B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP7318686B2 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
RU2789732C2 (ru) Устройство декодирования изображения и способ декодирования изображения
JP2020113966A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2014112865A (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
WO2013108631A1 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant