KR20160104087A - 영상 복호 장치, 영상 복호 방법 및 프로그램 - Google Patents

영상 복호 장치, 영상 복호 방법 및 프로그램 Download PDF

Info

Publication number
KR20160104087A
KR20160104087A KR1020167022895A KR20167022895A KR20160104087A KR 20160104087 A KR20160104087 A KR 20160104087A KR 1020167022895 A KR1020167022895 A KR 1020167022895A KR 20167022895 A KR20167022895 A KR 20167022895A KR 20160104087 A KR20160104087 A KR 20160104087A
Authority
KR
South Korea
Prior art keywords
prediction
inter
predetermined area
image
motion vectors
Prior art date
Application number
KR1020167022895A
Other languages
English (en)
Other versions
KR101840579B1 (ko
Inventor
겐타 센자키
유조 센다
게이이치 조노
히로후미 아오키
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20160104087A publication Critical patent/KR20160104087A/ko
Application granted granted Critical
Publication of KR101840579B1 publication Critical patent/KR101840579B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

영상 복호 장치는, 예측 모드를 엔트로피 복호하기 위한 수단; 및 예측 모드가 인터 예측일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용하는 모션 벡터의 최대 개수(PA)와, 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수(PB)에 의거하여, 복호 대상 CU의 인터 PU 파티션의 인터 예측 방향을 제어하는 복호 제어 수단을 구비한다.

Description

영상 복호 장치, 영상 복호 방법 및 프로그램 {VIDEO DECODING DEVICE, VIDEO DECODING METHOD, AND PROGRAM}
본 발명은 계층 구조의 코딩 유닛을 이용하는 영상 복호 장치, 영상 복호 방법 및 프로그램에 관한 것이다.
비특허문헌 1은 일반적인 영상 부호화 방식 및 영상 복호 방식을 개시하고 있다.
비특허문헌 1에 기재되어 있는 영상 부호화 장치는 도 17에 나타내는 바와 같이 구성된다. 이하, 도 17에 나타내지는 영상 부호화 장치를 일반적인 영상 부호화 장치라고 부른다.
도 17을 참조해서, 디지털화된 영상의 각 프레임을 입력으로 하여 비트스트림을 출력하는, 일반적인 영상 부호화 장치의 구성과 동작을 설명한다.
도 17에 나타내진 영상 부호화 장치는, 변환/양자화기(101), 엔트로피 부호화기(102), 역변환/역양자화기(103), 버퍼(104), 예측기(105), 다중화기(106), 및 부호화 제어기(108)를 구비한다.
도 17에 나타내는 영상 부호화 장치는, 프레임을 매크로블럭(MB: Macro BLock)이라고 불리는 16×16 화소 사이즈의 블럭으로 분할하고, 프레임의 좌상(左上)으로부터 순서대로 각 MB를 부호화한다.
도 18은, 프레임의 공간 해상도가 QCIF(Quarter Common Intermediate Format)인 경우의 블럭 분할의 예를 나타내는 설명도이다. 이하, 설명의 간략화를 위해, 휘도의 화소값에만 착안해서 각 장치의 동작을 설명한다.
블럭으로 분할된 입력 영상은, 예측기(105)로부터 공급되는 예측 신호가 감해져서 예측 오차 화상이 되고, 변환/양자화기(101)에 입력된다. 예측 신호에는, 인트라(intra) 예측 신호와 인터(inter) 예측 신호의 2종류가 있다. 또, 인터 예측 신호를 프레임간 예측 신호라고도 부른다.
각각의 예측 신호를 설명한다. 인트라 예측 신호는, 버퍼(104)에 저장된 현재의 픽처(picture)와 표시 시각이 동일한 재구축 픽처의 화상에 의거하여 생성되는 예측 신호이다.
비특허문헌 1의 8.3.1 Intra_4×4 prediction process for luma samples, 8.3.2 Intra_8×8 prediction process for luma samples, 및 8.3.3 Intra_16×16 prediction process for luma samples를 인용하면, 3종류의 블럭 사이즈의 인트라 예측 Intra_4×4, Intra_8×8, Intra_16×16이 있다.
Intra_4×4와 Intra_8×8은, 도 19의 (a)와 (c)를 참조하면, 각각 4×4 블럭 사이즈와 8×8 블럭 사이즈의 인트라 예측임을 알 수 있다. 단, 도면의 원(○)은 인트라 예측에 이용되는 참조 화소, 즉, 현재의 픽처와 표시 시간이 동일한 재구축 픽처의 화소이다.
Intra_4×4의 인트라 예측에서는, 재구축한 주변 화소를 그대로 참조 화소로 하여, 도 19의 (b)에 나타내는 9종류의 방향으로 참조 화소를 패딩(외삽)해서 예측 신호가 형성된다. Intra_8×8의 인트라 예측에서는, 도 19의 (c)의 우향 화살표 밑에 기재된 로우패스 필터(1/2, 1/4, 1/2)에 의해 재구축 픽처의 화상의 주변 화소를 평활화한 화소를 참조 화소로 하여, 도 19의 (b)에 나타내는 9종류의 방향으로 참조 화소를 외삽해서 예측 신호가 형성된다.
한편, Intra_16×16은, 도 20의 (a)를 참조하면, 16×16 블럭 사이즈의 인트라 예측임을 알 수 있다. 도 19의 경우와 마찬가지로 도면의 원(○)은 인트라 예측에 이용되는 참조 화소, 즉, 현재의 픽처와 표시 시각이 동일한 재구축 픽처의 화소이다. Intra_16×16의 인트라 예측에서는, 재구축 픽처의 화상의 주변 화소를 그대로 참조 화소로 하여, 도 20의 (b)에 나타내는 4종류의 방향으로 참조 화소를 외삽해서 예측 신호가 형성된다.
이하, 인트라 예측 신호를 이용하여 부호화되는 MB 및 블럭을 각각 인트라 MB 및 인트라 블럭이라고 부르고, 인트라 예측의 블럭 사이즈를 인트라 예측 블럭 사이즈라고 부르며, 또한, 외삽의 방향을 인트라 예측 방향이라고 부른다. 또, 인트라 예측 블럭 사이즈 및 인트라 예측 방향은 인트라 예측에 관한 예측 파라미터이다.
인터 예측 신호는, 버퍼(104)에 저장된 현재의 픽처와 표시 시각이 다른 재구축 픽처의 화상으로부터 생성되는 예측 신호이다. 이하, 인터 예측 신호를 이용하여 부호화되는 MB 및 블럭을 각각 인터 MB 및 인터 블럭이라고 부른다. 인터 예측의 블럭 사이즈(인터 예측 블럭 사이즈)로서, 예를 들면 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4를 선택할 수 있다.
도 21은, 16×16의 블럭 사이즈를 예로 한 인터 예측의 예를 나타내는 설명도이다. 도 21에 나타내는 모션 벡터 MV=(mvx, mvy)는, 부호화 대상 블럭에 대한 참조 픽처의 인터 예측 블럭(인터 예측 신호)의 평행 이동량을 나타내는 예측이다. AVC에서는, 부호화 대상 블럭의 부호화 대상 픽처에 대한 인터 예측 신호의 참조 픽처의 방향을 표시하는 인터 예측의 방향에 더해서, 부호화 대상 블럭의 인터 예측에 이용되는 참조 픽처를 식별하기 위한 참조 픽처 인덱스도 인터 예측의 예측 파라미터이다. AVC에서는, 버퍼(104)에 저장된 복수 매의 참조 픽처를 인터 예측에 이용할 수 있기 때문이다.
AVC의 인터 예측에서는, 1/4 화소 정밀도로 모션 벡터를 구할 수 있다. 도 22는, 모션 보상 예측에 있어서의 휘도 신호의 보간 처리를 나타내는 설명도이다. 도 22에 있어서, A는 정수 화소 위치의 화소 신호, b, c, d는 1/2 화소 정밀도의 소수 화소 위치의 화소 신호, e1, e2, e3은 1/4 화소 정밀도의 소수 화소 위치의 화소 신호를 나타낸다. 화소 신호 b는, 수평 방향의 정수 화소 위치의 화소에 대하여 6탭의 필터를 적용해서 생성된다. 마찬가지로, 화소 신호 c는, 수직 방향의 정수 화소 위치의 화소에 대하여 6탭의 필터를 적용해서 생성된다. 화소 신호 d는, 수평 또는 수직 방향의 1/2 화소 정밀도의 소수 화소 위치의 화소에 대하여 6탭의 필터를 적용해서 생성된다. 6탭의 필터 계수는 [1, -5, 20, 20, -5, 1]/32로 표시된다. 화소 신호 e1, e2, 및 e3은, 각각, 근방의 정수 화소 위치 또는 소수 화소 위치의 화소에 대하여 2탭 필터 [1, 1]/2를 적용해서 생성된다.
인트라 MB만으로 부호화된 픽처는 I픽처라고 불린다. 인트라 MB뿐만 아니라 인터 MB도 포함해서 부호화된 픽처는 P픽처라고 불린다. 인터 예측에 1매의 참조 픽처뿐만 아니라, 동시에 2매의 참조 픽처를 더 이용하는 인터 MB를 포함해서 부호화된 픽처는 B픽처라고 불린다. 또한 B픽처에 있어서, 부호화 대상 블럭의 부호화 대상 픽처에 대한 인터 예측 신호의 참조 픽처의 방향이 과거인 인터 예측을 전방향 예측, 부호화 대상 블럭의 부호화 대상 픽처에 대한 인터 예측 신호의 참조 픽처의 방향이 미래인 인터 예측을 후방향 예측, 과거와 미래를 포함하는 참조 픽처를 동시에 2매 이용하는 인터 예측을 쌍방향 예측이라고 각각 부른다. 또, 인터 예측의 방향(인터 예측 방향)은 인터 예측의 예측 파라미터이다.
예측기(105)는, 부호화 제어기(108)의 지시에 따라, 입력 영상의 신호와 예측 신호를 비교하고, 예측 오차 화상 블럭의 에너지가 최소가 되는 예측 파라미터를 결정한다. 부호화 제어기(108)는, 결정한 예측 파라미터를 엔트로피 부호화기(102)에 공급한다.
변환/양자화기(101)는, 예측 오차 화상을 주파수 변환하고, 주파수 변환 계수를 얻는다.
또한, 변환/양자화기(101)는, 소정의 양자화 스텝 폭 Qs로, 주파수 변환 계수를 양자화한다. 이하, 양자화된 주파수 변환 계수를 변환 양자화값이라고 부른다.
엔트로피 부호화기(102)는, 예측 파라미터와 변환 양자화값을 엔트로피 부호화한다. 예측 파라미터는, 상기한 예측 모드(인트라 예측, 인터 예측), 인트라 예측 블럭 사이즈, 인트라 예측 방향, 인터 예측 블럭 사이즈, 및 모션 벡터 등, MB 및 블럭의 예측에 관련된 정보이다.
역변환/역양자화기(103)는, 양자화 스텝 폭 Qs로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(103)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 더해지고, 버퍼(104)에 공급된다.
버퍼(104)는 공급되는 재구축 화상을 저장한다. 1프레임 분의 재구축 화상을 재구축 픽처라고 부른다.
다중화기(106)는, 엔트로피 부호화기(102)의 출력 데이터, 및 부호화 파라미터를 다중화해서 출력한다.
상술한 동작에 의거하여, 영상 부호화 장치에 있어서의 다중화기(106)는, 비트스트림(bitstream)을 생성한다.
비특허문헌 1에 기재되어 있는 영상 복호 장치는, 도 23에 나타나 있는 바와 같이 구성된다. 이하, 도 23에 나타내지는 영상 복호 장치를 일반적인 영상 복호 장치라고 부른다.
도 23을 참조해서, 비트스트림을 입력으로 하여 복호된 영상 프레임을 출력하는, 일반적인 영상 복호 장치의 구성과 동작을 설명한다.
도 23에 나타내진 영상 복호 장치는, 다중화 해제기(201), 엔트로피 복호기(202), 역변환/역양자화기(203), 예측기(204), 및 버퍼(205)을 구비한다.
다중화 해제기(201)는, 입력되는 비트스트림을 다중화 해제하고, 엔트로피 부호화된 영상 비트스트림을 추출한다.
엔트로피 복호기(202)는, 영상 비트스트림을 엔트로피 복호한다. 엔트로피 복호기(202)는, MB 및 블럭의 예측 파라미터 및 변환 양자화값을 엔트로피 복호하고, 역변환/역양자화기(203) 및 예측기(204)에 공급한다.
역변환/역양자화기(203)는, 양자화 스텝 폭으로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(203)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다.
역주파수 변환 후, 예측기(204)는, 엔트로피 복호한 MB 및 블럭의 예측 파라미터에 의거하여, 버퍼(205)에 저장된 재구축 픽처의 화상을 이용해서 예측 신호를 생성한다.
예측 신호 생성 후, 역변환/역양자화기(203)에서 역주파수 변환된 재구축 예측 오차 화상은, 예측기(204)로부터 공급되는 예측 신호가 더해지고, 재구축 화상으로서 버퍼(205)에 공급된다.
그리고, 버퍼(205)에 저장된 재구축 픽처가 디코드 화상(디코드 영상)으로서 출력된다.
상술한 동작에 의거하여 일반적인 영상 복호 장치는 디코드 화상을 생성한다.
ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
그런데, 비특허문헌 2는 Test Model under Consideration 방식(TMuC 방식)을 개시하고 있다. TMuC 방식은, 비특허문헌 1에 개시된 방식과는 달리, 도 24에 나타내는 계층 구조의 부호화 유닛(Coding Tree Block(CTB))을 이용한다. 본 명세서에 있어서, CTB의 블럭을 Coding Unit(CU: 부호화 유닛)이라고 부른다.
또, 최대의 CU를 Largest Coding Unit(LCU), 최소의 CU를 Smallest Coding Unit(SCU)이라고 부른다. 또한 TMuC 방식에 있어서는, CU에 대한 예측 유닛으로서 Prediction Unit(PU)이라고 하는 개념(도 25 참조)이 도입되어 있다. PU는 예측의 기본 단위이며, 도 25에 나타내지는 {2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 8종류의 PU 파티션 타입이 정의되어 있다. 인터 예측이 이용되는 PU를 인터 PU, 인트라 예측이 이용되는 PU를 인트라 PU라고 부른다. 인터 예측이 이용되는 PU 파티션을 인터 PU 파티션, 인트라 예측이 이용되는 PU 파티션을 인트라 PU 파티션이라고 부른다. 인트라 PU 파티션은 도 25에 나타내진 형상 중 2N×2N, 및 N×N의 정방형만이 서포트되어 있다. 이하, CU 및 PU의 1변의 길이를 각각 CU 사이즈 및 PU 사이즈라고 부른다.
또한, TMuC 방식에서는 소수 정밀도의 예측 화상을 구하기 위해서 최대로 12탭의 필터를 이용할 수 있다. 화소 위치와 필터의 계수의 관계는 이하대로이다.
[표 1]
Figure pat00001
화소 위치에 대해서, 도 26을 이용하여 설명한다. 도 26에 있어서, A, E를 정수 화소 위치의 화소라고 한다. 이때, b가 1/4화소 위치의 화소, c가 1/2화소 위치의 화소, d가 3/4화소 위치의 화소이다. 수직 방향도 마찬가지로 된다.
도 22에 나타내는 화소 b 또는 화소 c는, 수평 또는 수직 방향의 1/2화소 위치용 필터를 1회 적용함으로써 생성된다. 화소 e1은 1/4화소 위치용의 필터를 1회 적용함으로써 생성된다.
도 27을 참조하여, 화소 e2나 화소 e3과 같이, 그 화소 위치가 수평 수직 양쪽 모두 소수 정밀도 위치이며, 그 중 적어도 어느 쪽인가가 1/4화소 위치일 경우의 소수 화소 생성의 예를 설명한다. 도 27에 있어서, 화소 A를 정수 화소 위치의 화소, 화소 c를 구하려는 소수 화소 위치의 화소라고 한다. 이때, 우선, 화소 b가 수직 방향의 1/4화소 위치용 필터를 적용함으로써 생성된다. 계속해서, 화소 c가, 소수 화소 b에 대하여, 수평 방향의 3/4화소 위치용 필터를 적용함으로써 생성된다. 또, 비특허문헌 2의 8.3 Interpolation Methods에는, 소수 화소 생성의 보다 상세한 설명이 기재되어 있다.
TMuC 방식에서는 모든 계층의 CU의 PU 헤더에서 PU 파티션 타입을 나타내는 신택스(syntax)(비특허문헌 2의 4.1.10 Prediction unit syntax의 표기를 따르면, 인트라 예측의 경우에는 intra_split_flag, 인터 예측의 경우에는 inter_partitioning_idc)를 출력 비트스트림에 매립한다. 이후, intra_split_flag 신택스를 인트라 PU 파티션 타입 신택스, inter_partitioning_idc 신택스를 인터 PU 파티션 타입 신택스라고 부른다.
각각의 LCU 내에 작은 사이즈의 CU가 많이 존재할 때, 비트스트림에 포함되는 인터 PU 파티션 타입 신택스의 비트수의 비율이 높아져서, 압축 영상의 품질이 저하하는 과제가 있다.
또한, TMuC 방식에서는 인터 PU 파티션의 사이즈가 작을수록, 참조 픽처에 대한 메모리 액세스가 증가해서, 메모리 대역을 압박하는 과제가 있다. 특히, TMuC 방식에서는 12탭의 필터를 이용하여 소수 화소를 생성하기 때문에, 메모리 대역을 보다 압박한다.
도 28은, 12탭 필터를 이용할 때의 메모리 액세스 영역을 설명하기 위한 설명도이다. 도 28 (A)는 N×N의 PU 파티션 타입이 선택되었을 때의, 1개의 인터 PU 파티션의 메모리 액세스 영역, 도 28 (B)는 2N×2N의 인터 PU 파티션 타입이 선택되었을 때의 메모리 액세스 영역을 표시한다.
N×N이 선택되었을 때, 도 28 (A)에 있어서의 파선으로 둘러싸인 사이즈의 메모리 액세스를 0, 1, 2, 3의 인터 PU 파티션마다 합계 4회 행하기 때문에, 메모리 액세스량은, 4(N+11)2 = 4N2 + 88N + 484에 참조 픽처의 비트량을 승산한 값이 된다. 2N×2N의 인터 PU 파티션의 메모리 액세스량이 (2N+11)2 = 4N2 + 44N + 121에 참조 픽처의 비트량을 승산한 값이기 때문에, N×N의 인터 PU 파티션의 메모리 액세스량은 2N×2N의 메모리 액세스량보다 커진다.
예를 들면, N=4, 편방향 예측, 화소값의 비트 정밀도가 8bit일 때의 8×8 CU에 있어서의 인터 PU의 메모리 액세스량을 고려한다. 2N×2N의 인터 PU 파티션에 있어서의 메모리 액세스량은 19×19×1×8bit = 2888bit인 것에 대해, N×N의 인터 PU 파티션에 있어서의 메모리 액세스량은 15×15×4×8bit = 7200bit가 되어, 약 2.5배의 메모리 액세스량이 된다.
또한, LCU 단위에서는, LCU의 블럭 사이즈가 128×128일 때, LCU를 1개의 인터 PU 파티션에 의해 예측할 때의 메모리 액세스량은 139×139×1×8bit = 154568bit인 것에 대해, LCU를 모두 4×4 인터 PU 파티션에 의해 예측할 때(즉, LCU를 1024개의 인터 PU 파티션에 의해 예측할 때)의 메모리 액세스량은 15×15×1024×8bit = 1843200bit가 되어, 약 12배의 메모리 액세스량이 된다.
본 발명은, 소정 면적당의 메모리 대역을 삭감하는 것을 목적으로 한다.
본 발명에 따른 영상 복호 장치는, 예측 모드를 엔트로피 복호하기 위한 수단; 및 상기 예측 모드가 인터 예측일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용되는 모션 벡터의 최대 개수와, 상기 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수에 기초하여, 복호 대상 CU(Coding Unit)의 인터 PU(Prediction Unit) 파티션의 인터 예측 방향을 제어하는 복호 제어 수단을 구비하는 인터 예측을 사용하여 영상을 복호하는 영상 복호 장치다.
본 발명에 따른 영상 복호 방법은, 예측 모드를 엔트로피 복호하는 것; 및 상기 예측 모드가 인터 예측 일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용되는 모션 벡터의 최대 개수와, 상기 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수에 기초하여, 복호 대상 CU(Coding Unit)의 인터 PU(Prediction Unit) 파티션의 인터 예측 방향을 제어하는 것을 포함하는 인터 예측을 사용하여 영상을 복호하는 영상 복호 방법이다.
본 발명에 따른 영상 복호 프로그램을 저장하는 컴퓨터 판독가능한 정보 기록 매체는 인터 예측을 사용하여 영상을 복호하는 컴퓨터가 예측 모드를 엔트로피 복호하기 위한 처리; 및 상기 예측 모드가 인터 예측일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용되는 모션 벡터의 최대 개수와, 상기 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수에 기초하여, 복호 대상 CU(Coding Unit)의 인터 PU(Prediction Unit) 파티션의 인터 예측 방향을 제어하는 처리를 실행하도록 한다.
본 발명에 의하면, 소정의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 사용 가능한 인터 PU 파티션을 제한함으로써, 메모리 대역을 삭감할 수 있다.
또한, 소정의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 인터 예측 방향을 제한함으로써, 메모리 대역을 삭감할 수 있다.
도 1은 제1 실시형태의 영상 부호화 장치의 블럭도.
도 2는 제1 실시형태의 부호화 제어기에 있어서의 예측 파라미터 결정의 동작을 나타내는 플로차트.
도 3은 PU 파티션 타입의 후보 결정의 동작을 나타내는 플로차트.
도 4는 PU의 파티션마다의 인터 예측 방향의 후보 결정의 동작을 나타내는 플로차트.
도 5는 시퀀스 파라미터 세트에 있어서의, 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 나타내는 리스트의 설명도.
도 6은 PU 헤더 기입의 동작을 나타내는 플로차트.
도 7은 PU 신택스에 있어서의 inter_partitioning_idc 신택스에 관한 정보를 나타내는 리스트의 설명도.
도 8은 제3 실시형태의 영상 복호 장치의 블럭도.
도 9는 PU 헤더 판독의 동작을 나타내는 플로차트.
도 10은 픽처 파라미터 세트에 있어서의, 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 나타내는 리스트의 설명도.
도 11은 슬라이스 헤더에 있어서의, 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 개수에 관한 정보를 나타내는 리스트의 설명도.
도 12는 제4 실시형태의 영상 복호 장치의 블럭도.
도 13은 에러 검출의 동작을 나타내는 플로차트.
도 14는 본 발명에 따른 영상 부호화 장치 및 영상 복호 장치의 기능을 실현 가능한 정보 처리 시스템의 구성예를 나타내는 블럭도.
도 15는 본 발명에 따른 영상 부호화 장치의 주요부를 나타내는 블럭도.
도 16은 본 발명에 따른 영상 복호 장치의 주요부를 나타내는 블럭도.
도 17은 일반적인 영상 부호화 장치의 블럭도.
도 18은 블럭 분할의 예를 나타내는 설명도.
도 19는 Intra_4×4와 Intra_8×8의 인트라 예측을 설명하기 위한 설명도.
도 20은 Intra_16×16의 인트라 예측을 설명하기 위한 설명도.
도 21은 인터 예측의 예를 나타내는 설명도.
도 22는 모션 보상 예측에 있어서의 휘도 신호의 보간 처리를 나타내는 설명도.
도 23은 일반적인 영상 복호 장치의 블럭도.
도 24는 CTB를 설명하기 위한 설명도.
도 25는 PU를 설명하기 위한 설명도.
도 26은 소수 화소 위치를 설명하기 위한 설명도.
도 27은 TMuC 방식의 12탭 필터를 이용한 소수 화소 생성 방법을 설명하기 위한 설명도.
도 28은 TMuC 방식의 12탭 필터를 이용하여 소수 화소를 생성할 때의 메모리 액세스 범위를 설명하기 위한 설명도.
상술한 일반적 기술의 과제를 해결하기 위해서, 본 발명에서는, 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 부호화 대상 CU의 인터 PU 파티션, 및 인터 예측 방향을 제한함으로써 과제를 해결한다. 본 발명의 일예에서는, 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 인터 PU 파티션 타입의 후보, 및 인터 예측 방향의 후보를 각각 제한함으로써 과제를 해결한다. 본 발명의 다른 일예에서는, PU 헤더의 인터 PU 파티션 타입 신택스 전송을 제한함으로써 과제를 해결한다. 본 발명의 상기의 예에 의해, 비트스트림에 포함되는 인터 PU 파티션 타입 신택스의 비트수의 비율을 낮게 억제해서 압축 영상의 품질을 향상시키면서, 메모리 대역을 억제할 수 있다.
또, 본 명세서에서는, 소정 면적은, 예를 들면 1개의 LCU, 또는 연속하는 복수 개의 LCU를 의미한다.
실시형태 1.
제1 실시형태에서는, 소정 면적(화상에 있어서의 소정 영역)의 화상 블럭에 허용하는 모션 벡터의 최대 개수와 상기의 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 인터 PU 파티션 타입과 인터 예측 방향을 제어하는 부호화 제어 수단, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 영상 복호 장치에 시그널링하기 위한, 소정 면적에 관한 정보와 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 비트스트림에 매립하는 수단을 구비하는 영상 부호화 장치를 나타낸다.
본 실시형태에서는, 소정 면적을 연속하는 numSucLcu개의 LCU(1개 이상의 LCU), 소정 면적당 허용하는 모션 벡터의 최대 개수를 maxNumMV, 소정 면적내의 부호화 완료 CU에 포함되는 모션 벡터의 개수를 currNumMV라고 한다.
도 1에 나타내는 바와 같이, 본 실시형태의 영상 부호화 장치는, 도 17에 나타내진 일반적인 영상 부호화 장치와 마찬가지로, 변환/양자화기(101), 엔트로피 부호화기(102), 역변환/역양자화기(103), 버퍼(104), 예측기(105), 다중화기(106), 및 부호화 제어기(107)를 구비한다.
도 1에 나타내는 본 실시형태의 영상 부호화 장치에서는, 도 17에 나타내는 영상 부호화 장치와는 달리, numSucLcu, 및 maxNumMV에 의거하여, 인터 PU 파티션 타입, 및 인터 예측 방향을 제어하기 위해서, numSucLcu와 maxNumMV가 부호화 제어기(107)에 공급되고 있다. 또한, numSucLcu 및 maxNumMV를 영상 복호 장치에 시그널링하기 위해서, numSucLcu 및 maxNumMV가 다중화기(106)에도 공급되고 있다.
부호화 제어기(107)는, 부호화 왜곡(입력 신호와 재구축 픽처의 오차 화상의 에너지)과 발생 비트량으로부터 계산되는 코스트(Rate-Distortion 코스트: R-D 코스트)를 예측기(105)에 계산시킨다. 부호화 제어기(107)는, R-D 코스트가 최소가 되는, CU 분할 형상(도 24에 나타낸 바와 같이, split_coding_unit_flag에 의해 결정하는 분할 형상), 및 각 CU의 예측 파라미터를 결정한다. 부호화 제어기(107)는, 결정한 split_coding_unit_flag 및 각 CU의 예측 파라미터를 예측기(105) 및 엔트로피 부호화기(102)에 공급한다. 예측 파라미터는, 예측 모드(pred_mode), 인트라 PU 파티션 타입(intra_split_flag), 인트라 예측 방향, 인터 PU 파티션 타입(inter_partitioning_idc), 및 모션 벡터 등, 부호화 대상 CU의 예측에 관련된 정보이다.
단, 본 실시형태의 부호화 제어기(107)는, 일례로서, numSucLcu 및 maxNumMV에 의거하여, PU 파티션 타입을 제어한다. 4 <= maxNumMV - currNumMV일 때, 본 실시형태의 부호화 제어기(107)는, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측 {2N×2N, N×N}, 인터 예측 전 세트의 합계 10종류로부터 선택한다. 2 <= maxNumMV - currNumMV < 4일 때, 부호화 제어기(107)는, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측 {2N×2N, N×N}, 인터 예측 {2N×2N, 2N×N, N×2N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 9종류로부터 선택한다. 1 <= maxNumMV - currNumMV < 2일 때, 부호화 제어기(107)는, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측 {2N×2N, N×N}, 인터 예측 {2N×2N}의 3종류로부터 선택한다. maxNumMV - currNumMV < 1일 때, 부호화 제어기(107)는, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측 {2N×2N, N×N}의 2종류로부터 선택한다.
또한, 본 실시형태의 부호화 제어기(107)는, maxNumMV 및 currNumMV에 의거하여, 인터 예측 방향의 후보를 제어한다. 예를 들면, 부호화 제어기(107)는, 선택 대상이 되는 2N×2N 인터 PU 파티션에 대하여, 2 <= maxNumMV - currNumMV일 때, 예측 파라미터인 인터 예측 방향을 {전, 후, 쌍}으로부터 선택한다. 1 <= maxNumMV - currNumMV < 2일 때, 부호화 제어기(107)는, 예측 파라미터인 인터 예측 방향을 {전, 후}로부터 선택한다. 또, maxNumMV - currNumMV < 1일 때, 선택 대상이 되는 PU 파티션 타입은 인트라이다.
도 2는, 각 CU의 예측 파라미터 결정에 관한 본 실시형태의 부호화 제어기(107)의 동작을 나타내는 플로차트이다.
도 2에 나타내는 바와 같이, 부호화 제어기(107)는, 스텝 S101에서, PU 파티션의 후보를 결정한다. 스텝 S102에서, 부호화 제어기(107)는 인터 예측 방향의 후보를 결정한다. 스텝 S103에서, 스텝 S101과 스텝 S102에서 결정한 PU 파티션 타입 및 인터 예측 방향의 후보를 이용하여, R-D 코스트에 의거하여 예측 파라미터를 결정한다. 스텝 S104에서, 부호화 제어기(107)는, 스텝 S102 및 S103의 처리에서 결정된 PU 파티션 타입 및 인터 예측 방향으로부터 currNumMV를 갱신한다.
부호화 제어기(107)는, 스텝 S104의 처리에서, PU 파티션 타입의 인터 예측 방향이 쌍방향 예측일 경우에는 currNumMV = currNumMV + 2로 하고, 그 이외일 경우에는 currNumMV = currNumMV + 1과 currNumMV를 갱신한다.
도 3은, 도 2에 있어서의 스텝 S101에서 PU 파티션 타입의 후보를 결정하는 동작을 나타내는 플로차트이다.
부호화 제어기(107)는, 스텝 S201에서 4 <= maxNumMV - currNumMV라고 판정했을 때, 스텝 S202에서 PU 파티션 타입의 후보를 인트라 예측 {2N×2N, N×N}, 인터 예측 전 세트의 10종류로 설정한다.
그 이외일 때, 즉 스텝 S201에서 maxNumMV - currNumMV < 4라고 판정했을 경우, 부호화 제어기(107)는, 스텝 S203에서 2 <= maxNumMV - currNumMV < 4라고 판정했을 때, 스텝 S204에서 PU 파티션 타입의 후보를 인트라 예측 {2N×2N, N×N}, 인터 예측 {2N×2N, 2N×N, N×2N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 9종류로 설정한다.
그 이외일 경우, 즉 스텝 S203에서 maxNumMV - currNumMV < 2라고 판정했을 경우, 부호화 제어기(107)는, 스텝 S205에서 1 <= maxNumMV - currNumMV < 2라고 판정했을 때, 스텝 S206에서 PU 파티션 타입의 후보를 인트라 예측 {2N×2N, N×N}, 인터 예측 {2N×2N}의 3종류로 설정한다.
그 이외일 때, 즉 스텝 S205에서 maxNumMV - currNumMV < 1이라고 판정했을 때, 부호화 제어기(107)는, PU 파티션 타입의 후보를 인트라 예측 {2N×2N, N×N}의 2종류로 설정한다.
도 4는, 도 2의 스텝 S102에서 인터 예측 방향의 후보를 결정하는 동작을 나타내는 플로차트이다. 이하, 설명을 위해, PU의 각 파티션의 인덱스를 i, 파티션 수를 m으로 표시한다. 예를 들면, PU 파티션 타입이 N×N일 때, m=4, 인덱스 i는 1, 2, 3, 4의 값을 취한다.
스텝 S301에서, 부호화 제어기(107)는, k=currNumMV, m을 PU의 파티션 수로 한다.
스텝 S302에서, 부호화 제어기(107)는, PU 파티션의 인덱스를 표시하는 변수 i를 1로 설정한다.
스텝 S303에서, maxNumMV - k - (m-i) >= 2로 판정했을 때, 부호화 제어기(107)는, 스텝 S304에서, 파티션 i의 인터 예측 방향의 후보를 {전, 후, 쌍}으로 설정하고, 스텝 S305에서 k = k + 2로 한다.
그 이외의 경우, 즉 스텝 S303에서, maxNumMV - k -(m-i) ≤ 1로 판정했을 경우, 부호화 제어기(107)는, 스텝 S306에서, 파티션 i의 인터 예측 방향의 후보를 {전, 후}로 설정한다. 스텝 S307에서 k = k + 1로 한다.
스텝 S308에서 i가 m과 같을 경우에는 처리를 종료한다.
그 이외의 경우에는, 부호화 제어기(107)는, 스텝 S309에서 i = i + 1로 설정하고, 스텝 S303으로 되돌아간다.
예측기(105)는, 부호화 제어기(107)가 결정한 각 CU의 예측 파라미터에 대응하는 예측 신호를 선정한다.
부호화 제어기(107)가 결정한 형상의 각 CU의 입력 영상은, 예측기(105)로부터 공급되는 예측 신호가 감해져서 예측 오차 화상이 되고, 변환/양자화기(101)에 입력된다.
변환/양자화기(101)는, 예측 오차 화상을 주파수 변환하고, 주파수 변환 계수를 얻는다.
또한, 변환/양자화기(101)는, 양자화 스텝 폭 Qs로, 주파수 변환 계수를 양자화하고, 변환 양자화값을 얻는다.
엔트로피 부호화기(102)는, 부호화 제어기(107)로부터 공급되는 split_coding_unit_flag(도 24 참조), 예측 파라미터, 및 변환/양자화기(101)로부터 공급되는 변환 양자화값을 엔트로피 부호화한다.
역변환/역양자화기(103)는, 양자화 스텝 폭 Qs로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(103)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 더해지고, 버퍼(104)에 공급된다.
다중화기(106)는, 소정 면적에 관한 정보, 소정 면적당 허용하는 모션 벡터의 개수에 관한 정보, 및 엔트로피 부호화기(103)의 출력 데이터를 다중화해서 출력한다. 비특허문헌 2의 4.1.2 Sequence parameter set RBSP syntax의 표기를 따르면, 다중화기(106)는, 도 5에 나타내는 리스트에 표시되는 바와 같이, num_successive_largest_coding_unit(본 실시형태에 있어서는, numSucLcu의 값), 및 max_num_motion_vector 신택스(본 실시형태에 있어서는, maxNumMV의 값)를 다중화한다.
상술한 동작에 의거하여, 발명의 영상 부호화 장치는 비트스트림을 생성한다.
본 실시형태의 영상 부호화 장치는, 소정 면적내에서 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수보다 많은 모션 벡터가 사용되지 않도록, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수, 및 상기의 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 부호화 대상 CU의 인터 PU 파티션 타입, 및 인터 예측 방향을 제어하는 부호화 제어 수단을 구비한다.
즉, 영상 부호화 장치는, 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수가 모션 벡터의 최대 개수 미만일 때에, 부호화 대상 CU의 PU 헤더 레이어의 인터 PU 파티션 타입 신택스를 소정의 인터 PU 파티션 타입에 설정해서 엔트로피 부호화한다.
소정 면적내에서 모션 벡터의 최대 개수보다 많은 모션 벡터가 사용되지 않도록 함으로써 메모리 대역이 삭감된다. 또한, 소정 면적내에서 모션 벡터의 최대 개수보다 많은 모션 벡터가 사용되지 않도록 함으로써, 시그널링되는 인터 PU 파티션 타입 신택스의 개수가 삭감되므로, 비트스트림에서 차지하는 PU 헤더의 부호량의 비율이 작아져서 영상의 품질이 개선된다.
각 인터 PU 파티션 타입의 발생 확률에 편차가 생기고, 엔트로피가 감소하기 때문에, 엔트로피 부호화의 효율이 상승한다. 따라서, 메모리 대역을 삭감하면서 압축 영상의 품질을 유지할 수 있다.
또한, 본 실시형태의 영상 부호화 장치는, 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 비트스트림에 매립한다. 따라서, 영상 복호 장치에 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수가 시그널링되게 되어, 영상 부호화 장치와 영상 복호 장치의 상호 운용성을 높일 수 있다.
실시형태 2.
제2 실시형태의 영상 부호화 장치는, 외부 설정되는 소정 면적과 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 의거하여, 인터 PU 파티션 타입과 인터 예측 방향을 제어하고, 상기의 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여 인터 PU 파티션 타입 신택스의 엔트로피 부호화를 제어하는 부호화 제어 수단, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수와 소정 면적에 허용하는 모션 벡터의 개수에 관한 정보를 영상 복호 장치에 시그널링하기 위한, 소정 면적에 관한 정보와 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보와 소정 면적당 허용하는 모션 벡터의 개수에 관한 정보를 비트스트림에 매립하는 수단을 구비한다.
본 실시형태에서는, 소정 면적을 연속하는 numSucLcu개의 LCU, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수를 maxNumMV, 소정 면적내의 화상 블럭에 포함되는 부호화 완료 CU의 모션 벡터의 개수를 currNumMV이라고 한다.
본 실시형태의 영상 부호화 장치의 구성은, 도 1에 나타내진 제1 실시형태의 영상 부호화 장치의 구성과 마찬가지이다.
도 1에 나타내는 본 실시형태의 영상 부호화 장치에서는, 도 17에 나타내는 영상 부호화 장치와는 달리, numSucLcu 및 maxNumMV에 의거하여, 인터 PU 파티션, 및 인터 예측 방향을 제어하기 위해서, numSucLcu와 maxNumMV가 부호화 제어기(107)에 공급되고 있다. 또한, numSucLcu 및 maxNumMV를 영상 복호 장치에 시그널링하기 위해서, numSucLcu 및 maxNumMV가 다중화기(106)에도 공급되고 있다.
부호화 제어기(107)는, 부호화 왜곡(입력 신호와 재구축 픽처의 오차 화상의 에너지)과 발생 비트량으로부터 계산되는 R-D 코스트를 예측기(105)에 계산시킨다. 부호화 제어기(107)는, R-D 코스트가 최소가 되는, CU 분할 형상(도 24에 나타낸 바와 같이, split_coding_unit_flag에 의해 결정하는 분할 형상), 및 각 CU의 예측 파라미터를 결정한다. 부호화 제어기(107)는, 결정한 split_coding_unit_flag 및 각 CU의 예측 파라미터를 예측기(105) 및 엔트로피 부호화기(102)에 공급한다. 예측 파라미터는, 예측 모드(pred_mode), 인트라 PU 파티션 타입(intra_split_flag), 인트라 예측 방향, 인터 PU 파티션 타입(inter_partitioning_idc), 및 모션 벡터 등, 부호화 대상 CU의 예측에 관련된 정보이다.
본 실시형태의 부호화 제어기(107)는, 제1 실시형태와 마찬가지로, PU 파티션 타입 및 인터 예측 방향의 후보를 결정한다. 부호화 제어기(107)는, 결정한 PU 파티션 및 인터 예측 방향의 후보를 이용해서, R-D 코스트에 의거하여 예측 파라미터를 결정한다.
단, 본 실시형태의 부호화 제어기(107)는, 부호화 대상 CU의 예측 모드가 인터 예측이며, 또한, maxNumMV - currNumMV ≤ 1인 경우에는, inter_partitioning_idc를 엔트로피 부호화하지 않도록 엔트로피 부호화기(102)를 제어한다.
예측기(105)는, 부호화 제어기(107)가 결정한 각 CU의 예측 파라미터에 대응하는 예측 신호를 선정한다.
부호화 제어기(107)가 결정한 형상의 각 CU의 입력 영상은, 예측기(105)로부터 공급되는 예측 신호가 감해져서 예측 오차 화상이 되고, 변환/양자화기(101)에 입력된다.
변환/양자화기(101)는, 예측 오차 화상을 주파수 변환하고, 주파수 변환 계수를 얻는다.
또한, 변환/양자화기(101)는, 양자화 스텝 폭 Qs로, 주파수 변환 계수를 양자화하고, 변환 양자화값을 얻는다.
엔트로피 부호화기(102)는, 부호화 제어기(107)로부터 공급되는 split_coding_unit_flag(도 24 참조), 예측 파라미터, 및 변환/양자화기(101)로부터 공급되는 변환 양자화값을 엔트로피 부호화한다.
역변환/역양자화기(103)는, 양자화 스텝 폭 Qs로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(103)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 더해지고, 버퍼(104)에 공급된다.
다중화기(106)는, 소정 면적에 관한 정보, 소정 면적당 허용하는 모션 벡터의 개수에 관한 정보, 및 엔트로피 부호화기(102)의 출력 데이터를 다중화해서 출력한다. 비특허문헌 2의 4.1.2 Sequence parameter set RBSP syntax의 표기를 따르면, 다중화기(106)는, 도 5에 나타내는 리스트에 표시되는 바와 같이, num_successive_largest_coding_unit(본 실시형태에 있어서는, numSucLcu의 값), 및 max_num_motion_vector 신택스(본 실시형태에 있어서는, maxNumMV의 값)를 다중화한다.
상술한 동작에 의거하여, 본 발명의 영상 부호화 장치는 비트스트림을 생성한다.
다음으로, 본 실시형태의 특징인 인터 PU 파티션 타입 신택스 기입의 동작을 도 6의 플로차트를 참조해서 설명한다.
도 6에 나타내는 바와 같이, 엔트로피 부호화기(102)는, 스텝 S401에서, split_coding_unit_flag를 엔트로피 부호화한다.
또한, 스텝 S402에서, 엔트로피 부호화기(102)는, 예측 모드를 엔트로피 부호화한다, 즉, pred_mode 신택스를 엔트로피 부호화한다.
스텝 S403에서, 부호화 대상 CU의 예측 모드가 인터 예측이라고 판정하고, 또한, 스텝 S404에서 maxNumMV - currNumMV ≤ 1이라고 판정했을 경우에는, 부호화 제어기(107)는, 엔트로피 부호화기(102)에 있어서의 inter_partitioning_idc 신택스의 엔트로피 부호화를 스킵하도록 제어한다.
또, 스텝 S403에서 부호화 대상 CU가 인트라 예측이라고 판정했을 경우, 또는, 스텝 S404에서 maxNumMV - currNumMV ≥ 2라고 판정했을 경우에는, 스텝 S405에서 부호화 제어기(107)는, 엔트로피 부호화기(102)가 당해 부호화 대상 CU의 PU 파티션 타입 정보를 엔트로피 부호화하도록 제어한다.
또, 상술한 pred_mode 신택스, 및 inter_partitioning_idc 신택스는, 비특허문헌 2의 4.1.10 Prediction unit syntax의 표기를 따르면, 도 7에 나타내는 리스트에 표시되는 바와 같이 시그널링된다. "if(maxNumMV - currNumMV >= 2)"의 조건에 의해, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수로부터 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수를 감한 모션 벡터의 개수가 2개 이상이면, inter_partitioning_idc 신택스가 시그널링되는 것이, 본 실시형태의 특징이다.
본 실시형태의 영상 부호화 장치는, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 의거하는 소정 면적당 허용하는 모션 벡터의 개수(본 실시형태에서는 모션 벡터의 최대 개수-1)에 의거하여, 인터 PU 파티션 타입, 및 인터 예측 방향을 제어하는 부호화 제어 수단을 구비한다. 영상 부호화 장치는, 불필요한 인터 PU 파티션 타입 정보를 전송하지 않음으로써, 비트스트림에 포함되는 인터 PU 파티션 타입의 비트수의 비율을 낮게 억제하고, 메모리 대역을 삭감하면서 압축 영상의 품질을 유지할 수 있다.
또한, 본 실시형태의 영상 부호화 장치는, 영상 복호에 대해서도 마찬가지로 인터 PU 파티션 타입 신택스를 비트스트림으로부터 판독해내도록, 외부 설정되는 소정 면적에 관한 정보, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수 및 소정 면적에 허용하는 모션 벡터의 개수에 관한 정보를 비트스트림에 매립하는 수단을 구비한다. 따라서, 영상 부호화 장치와 영상 복호 장치의 상호 운용성을 높일 수 있다.
또한, 본 실시형태의 영상 부호화 장치는, 또한, 시그널링되는 인터 PU 파티션 타입 신택스의 개수를 삭감하도록, 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수가, 모션 벡터의 최대 개수로부터 1 감한 개수 이상일 때에, 당해 부호화 대상 CU의 PU 헤더 레이어의 인터 PU 파티션 타입 신택스를 엔트로피 부호화시키지 않고, 모션 벡터의 최대 개수로부터 1 감한 개수 미만일 때에만 인터 PU 파티션 타입 신택스를 시그널링하도록 제어한다. 시그널링되는 인터 PU 파티션 타입 신택스의 개수를 삭감함으로써, 비트스트림에서 차지하는 PU 헤더의 부호량의 비율이 작아져서 영상의 품질이 더 개선된다.
실시형태 3.
제3 실시형태의 영상 복호 장치는, 제2 실시형태의 영상 부호화 장치가 생성한 비트스트림을 복호한다.
본 실시형태의 영상 복호 장치는, 비트스트림에 다중화된 소정 면적에 관한 정보 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 개수에 관한 정보를 다중화 해제하는 수단, 및 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여 인터 PU 파티션 타입을 비트스트림으로부터 판독해내는 판독 수단을 구비하는 것을 특징으로 한다.
도 8에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는, 다중화 해제기(201), 엔트로피 복호기(202), 역변환/역양자화기(203), 예측기(204), 버퍼(205), 및 복호 제어기(206)를 구비한다.
다중화 해제기(201)는, 입력되는 비트스트림을 다중화 해제하고, 소정 면적에 관한 정보, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 개수에 관한 정보 및 엔트로피 부호화된 영상 비트스트림을 추출한다. 다중화 해제기(201)는, 도 5에 나타내는 리스트에 나타나 있는 바와 같이, 시퀀스 파라미터에 있어서, num_successive_largest_coding_unit 신택스 및 max_num_motion_vector 신택스를 다중화 해제한다.
또한, 다중화 해제기(201)는 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수를 복호 제어기(206)에 공급한다.
엔트로피 복호기(202)는, 영상 비트스트림을 엔트로피 복호한다. 엔트로피 복호기(202)는, 엔트로피 복호한 변환 양자화값을 역변환/역양자화기(203)에 공급한다. 엔트로피 복호기(202)는, 엔트로피 복호한 split_coding_unit_flag 및 예측 파라미터를 복호 제어기(206)에 공급한다.
단, 소정 면적의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수를 currNumMV라고 한다. 이 경우에는, 본 실시형태의 복호 제어기(206)는, 복호 대상 CU의 예측 모드가 인터 예측이며, 또한, maxNumMV - currNumMV ≤ 1일 때, 당해 복호 대상 CU의 인터 PU 파티션 타입 신택스의 엔트로피 복호를 스킵시키도록 엔트로피 복호기(202)를 제어한다. 또한, 다중화 해제기(201)는, 당해 복호 대상 CU의 인터 PU 파티션 타입을 2N×2N으로 설정한다. 또, 복호 대상 CU의 예측 모드가 인터 예측일 때, currNumMV는, 인터 PU 파티션 타입에 계속해서 복호되는 각 파티션의 인터 예측 방향에 의거하여 갱신된다. 즉, 복호 제어기(206)는, 각 파티션에 대해서, 파티션의 인터 예측 방향이 쌍방향 예측일 경우에는 currNumMV = currNumMV + 2로 한다. 그 이외일 경우에는, 복호 제어기(206)는 currNumMV = currNumMV + 1과 currNumMV를 갱신한다.
역변환/역양자화기(203)는, 소정의 양자화 스텝 폭으로, 휘도 및 색차의 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(203)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다.
역주파수 변환 후, 예측기(204)는, 복호 제어기(206)로부터 공급되는 예측 파라미터에 의거하여, 버퍼(205)에 저장된 재구축 픽처의 화상을 이용하여 예측 신호를 생성한다.
역변환/역양자화기(203)에서 역주파수 변환된 재구축 예측 오차 화상은, 예측기(204)로부터 공급되는 예측 신호가 더해지고, 재구축 픽처로서 버퍼(205)에 공급된다.
그리고, 버퍼(205)에 저장된 재구축 픽처가 디코드 화상으로서 출력된다.
상술한 동작에 의거하여, 본 실시형태의 영상 복호 장치는 디코드 화상을 생성한다.
다음으로, 본 실시형태의 특징인 인터 PU 파티션 타입 신택스 판독의 동작을 도 9의 플로차트를 참조해서 설명한다.
도 9에 나타내는 바와 같이, 엔트로피 복호기(202)는, 스텝 S501에서, split_coding_unit_flag를 엔트로피 복호해서 CU의 사이즈를 확정한다.
계속해서, 스텝 S502에서, 엔트로피 복호기(202)는, 예측 모드를 엔트로피 복호한다. 즉, 엔트로피 복호기(202)는 pred_mode 신택스를 엔트로피 복호한다.
계속해서, 스텝 S503에서, 예측 모드가 인터 예측이며, 또한, 스텝 S504에서, maxNumMV - currNumMV ≤ 1이라고 판정했을 때, 스텝 S505에서, 복호 제어기(206)는, 엔트로피 복호기(202)에 있어서의 인터 PU 파티션 타입의 엔트로피 복호를 스킵시키고, 상기 CU의 PU 파티션 타입을 2N×2N으로 설정하도록 제어한다(inter_partitioning_idc=0으로 한다).
또, 스텝 S503에서, 예측 모드가 인트라 예측이라고 판정했을 때, 또는, 스텝 S504에서, maxNumMV - currNumMV ≥ 2라고 판정했을 때, 복호 제어기(206)는, 스텝 S506에서, 엔트로피 복호기(202)에 있어서의 당해 복호 대상 CU의 PU 파티션 타입을 엔트로피 복호하고, 당해 CU의 PU 파티션 타입을 엔트로피 복호 결과의 PU 파티션 타입으로 설정하도록 제어한다.
또한, 제2 실시형태의 영상 부호화 장치는, 제1 실시형태에서 이용된 소정 면적에 관한 정보(num_successive_largest_coding_unit), 및 소정 면적당 허용하는 모션 벡터의 개수에 관한 정보(max_num_motion_vector)를, 도 10에 나타내는 리스트나 도 11에 나타내는 리스트에 표시되어 있는 바와 같이, 픽처 파라미터 세트나 슬라이스 헤더에 있어서 다중화할 수 있다. 또, 도 10은, 픽처 파라미터 세트에 있어서의, 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 나타내는 리스트의 설명도이다. 도 11은, 슬라이스 헤더에 있어서의, 소정 면적에 관한 정보, 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 개수에 관한 정보를 나타내는 리스트의 설명도이다.
마찬가지로, 상술한 발명의 영상 복호 장치는, 픽처 파라미터 세트나 슬라이스 헤더로부터 num_successive_largest_coding_unit 신택스, 및 max_num_motion_vector 신택스를 다중화 해제할 수 있다.
본 실시형태의 영상 복호 장치는, 소정 면적내에서 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수보다 많은 모션 벡터가 사용되지 않도록, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수, 및 상기의 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 복호 대상 CU의 인터 PU 파티션 타입, 및 인터 예측 방향을 제어하는 복호 제어 수단을 구비한다.
소정 면적내에서 모션 벡터의 최대 개수보다 많은 모션 벡터가 사용되지 않도록 함으로써 메모리 대역이 삭감된다.
실시형태 4.
제4 실시형태의 영상 복호 장치는, 제1 실시형태의 영상 부호화 장치가 생성한 비트스트림을 복호한다.
본 실시형태의 영상 복호 장치는, 비트스트림에 다중화된 소정 면적에 관한 정보 및 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보를 다중화 해제하는 수단, 및 상기의 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수에 의거하여, 복호 대상 CU를 포함하는 비트스트림의 액세스 유닛에 있어서의 에러를 검출하는 에러 검출 수단을 구비하는 것을 특징으로 한다. 액세스 유닛은, 비특허문헌 1의 3.1 access unit에 있어서 정의되어 있는 바와 같이, 1픽처분의 부호화 데이터를 저장하는 단위이다. 에러는, 소정 면적당 허용하는 모션 벡터의 개수에 의거하는 제약에 대한 위반을 의미한다.
도 12에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는, 다중화 해제기(201), 엔트로피 복호기(202), 역변환/역양자화기(203), 예측기(204), 버퍼(205), 및 에러 검출기(207)를 구비한다.
다중화 해제기(201)는, 제3 실시형태에 있어서의 다중화 해제기(201)와 마찬가지로 동작하고, 입력되는 비트스트림을 다중화 해제하고, 소정 면적에 관한 정보, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 관한 정보 및 엔트로피 부호화된 영상 비트스트림을 추출한다. 다중화 해제기(201)는, 도 5에 나타내는 리스트에 나타나 있는 바와 같이, 시퀀스 파라미터에 있어서, num_successive_largest_coding_unit 신택스 및 max_num_motion_vector 신택스를 다중화 해제한다.
또한, 다중화 해제기(201)는, 소정 면적에 관한 정보, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수를 에러 검출기(207)에 공급한다.
엔트로피 복호기(202)는, 영상 비트스트림을 엔트로피 복호한다. 엔트로피 복호기(202)는, 엔트로피 복호한 변환 양자화값을 역변환/역양자화기(203)에 공급한다. 엔트로피 복호기(202)는, 엔트로피 복호한 split_coding_unit_flag 및 예측 파라미터를 에러 검출기(207)에 공급한다.
에러 검출기(207)는, 다중화 해제기(201)로부터 공급되는 소정 면적에 관한 정보와 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 의거하여, 엔트로피 복호기(202)로부터 공급되는 예측 파라미터의 에러 검출을 행하고, 그 결과를 예측기(204)에 공급한다. 에러 검출의 동작은 후술된다. 또, 에러 검출기(207)는, 제3 실시형태에 있어서의 복호 제어기(206)의 역할도 담당한다.
역변환/역양자화기(203)는, 제3 실시형태에 있어서의 역변환/역양자화기(203)와 마찬가지로 동작한다.
예측기(204)는, 에러 검출기(207)로부터 공급되는 예측 파라미터에 의거하여, 버퍼(205)에 저장된 재구축 픽처의 화상을 이용하여 예측 신호를 생성한다.
버퍼(205)는, 제3 실시형태에 있어서의 버퍼(205)와 마찬가지로 동작한다.
상술한 동작에 의거하여, 본 실시형태의 영상 복호 장치는 디코드 화상을 생성한다.
도 13에 나타내는 플로차트를 참조해서, 복호 대상 CU를 포함하는 비트스트림의 액세스 유닛의 에러를 검출하는, 본 실시형태의 영상 복호 장치의 에러 검출 동작을 설명한다.
스텝 S601에서, 에러 검출기(207)는, 복호 대상 CU의 PU의 예측 모드가 인트라라고 판정했을 경우에는, 처리를 종료한다.
예측 모드가 인터 예측이면, 스텝 S602에서, 에러 검출기(207)는, m을 복호 대상 CU의 PU의 파티션 수로 한다.
스텝 S603에서, 에러 검출기(207)는, i=1로 설정한다.
스텝 S604에서, 에러 검출기(207)는, 파티션 i의 인터 예측 방향을 판독한다. 쌍방향 예측이면, currNumMV = currNumMV + 2, 그 이외이면, currNumMV = currNumMV + 1과 currNumMV를 갱신한다.
스텝 S605에서, 에러 검출기(207)는, 나머지의 인터 PU에서 사용 가능한 모션 벡터의 개수(maxNumMV - currNumMV)가, 나머지의 파티션 수(m-i)보다 적을 경우에는, 스텝 S606에서 에러가 있다고 판단하고, 에러를 외부에 통지한다. 예를 들면, 에러 검출기(207)는 에러가 발생한 CU의 어드레스를 출력한다.
maxNumMV - currNumMV가, 나머지의 파티션 수(m-i) 이상일 경우에는, 스텝 S607로 진행한다. 스텝 S607에서 i가 m과 같을 때에는 처리를 종료한다.
스텝 S607에서 i가 m과 다를 때에는, 스텝 S608에서, 에러 검출기(207)는, i = i + 1로 설정하고, 스텝 S604로 되돌아간다.
이상의 동작에 의해, 에러 검출기(207)는, 복호 대상 CU를 포함하는 비트스트림의 액세스 유닛의 에러를 검출한다.
또, 상술한 발명의 영상 부호화 장치, 및 영상 복호 장치는, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수에 의거하여, 부호화 대상 CU의 인터 PU 파티션을 제어했지만, 마찬가지의 제어를, 소정 면적의 화상 블럭에 허용하는 인터 PU 파티션 수의 최대수, 또는, 소정 면적의 화상 블럭에 허용하는 메모리 액세스의 최대량을 이용하여 행하는 것도 가능하다.
또한, 상기의 각 실시형태를, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 14에 나타내는 정보 처리 시스템은, 프로세서(1001), 프로그램 메모리(1002), 영상데이터를 저장하기 위한 기억 매체(1003) 및 비트스트림을 저장하기 위한 기억 매체(1004)를 구비한다. 기억 매체(1003)와 기억 매체(1004)는, 별개의 기억 매체여도 되고, 동일한 기억 매체로 이루어지는 기억 영역이어도 된다. 기억 매체로서, 하드디스크 등의 자기 기억 매체를 이용할 수 있다.
도 14에 나타내진 정보 처리 시스템에 있어서, 프로그램 메모리(1002)에는, 도 1, 도 8, 도 12의 각각에 나타내진 각 블럭(버퍼의 블럭을 제외)의 기능을 실현하기 위한 프로그램이 저장된다. 그리고, 프로세서(1001)는, 프로그램 메모리(1002)에 저장되어 있는 프로그램에 따라서 처리를 실행함으로써, 도 1, 도 8, 도 12의 각각에 나타내진 영상 부호화 장치 또는 영상 복호 장치의 기능을 실현한다.
도 15는, 본 발명에 따른 영상 부호화 장치의 주요부를 나타내는 블럭도이다. 도 15에 나타내는 바와 같이, 본 발명에 따른 영상 부호화 장치는, 인터 예측을 이용하여 영상 부호화를 행하는 영상 부호화 장치로서, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수(PA)와, 소정 면적의 화상 블럭에 포함되는 부호화 완료 화상 블럭의 모션 벡터의 개수(PB)에 의거하여, 부호화 대상 CU의 인터 PU 파티션 타입을 제어하는 부호화 제어 수단(11)(일례로서, 도 1에 나타내는 부호화 제어기(107))을 구비한다.
도 16은, 본 발명에 따른 영상 복호 장치의 주요부를 나타내는 블럭도이다. 도 16에 나타내는 바와 같이, 본 발명에 따른 영상 복호 장치는, 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 장치로서, 소정 면적의 화상 블럭에 허용하는 모션 벡터의 최대 개수(PA)와, 소정 면적의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수(PB)에 의거하여, 복호 대상 CU의 인터 PU 파티션 타입을 제어하는 복호 제어 수단(21)(일례로서, 도 8 및 도 12에 나타내는 복호 제어기(206))을 구비한다.
이상, 실시형태 및 실시예를 참조해서 본 발명을 설명했지만, 본 발명은 상기 실시형태 및 실시예에 한정되지 않는다. 본 발명의 구성이나 상세에는, 본 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
이 출원은, 2011년 1월 13일에 출원된 일본특허출원 2011-4963호를 기초로 하는 우선권을 주장하고, 그 개시의 전부를 여기에 포함한다.
11 부호화 제어 수단
21 복호 제어 수단
101 변환/양자화기
102 엔트로피 부호화기
103 역변환/역양자화기
104 버퍼
105 예측기
106 다중화기
107, 108 부호화 제어기
201 다중화 해제기
202 엔트로피 복호기
203 역변환/역양자화기
204 예측기
205 버퍼
206 복호 제어기
207 에러 검출기
1001 프로세서
1002 프로그램 메모리
1003 기억 매체
1004 기억 매체

Claims (3)

  1. 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 장치로서,
    예측 모드를 엔트로피 복호하기 위한 수단; 및
    상기 예측 모드가 인터 예측일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용되는 모션 벡터의 최대 개수와, 상기 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수 사이의 관계에 의거하여, 복호 대상 CU(Coding Unit)의 인터 PU(Prediction Unit) 파티션의 인터 예측 방향 후보들을 제한하는 복호 제어 수단을 구비하는 영상 복호 장치.
  2. 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 방법으로서,
    예측 모드를 엔트로피 복호하는 단계; 및
    상기 예측 모드가 인터 예측일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용되는 모션 벡터의 최대 개수와, 상기 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수 사이의 관계에 의거하여, 복호 대상 CU(Coding Unit)의 인터 PU(Prediction Unit) 파티션의 인터 예측 방향 후보들을 제한하는 단계를 포함하는 영상 복호 방법.
  3. 인터 예측을 이용하여 영상 복호를 행하는 컴퓨터에,
    예측 모드를 엔트로피 복호하기 위한 처리; 및
    상기 예측 모드가 인터 예측일 때, 소정의 면적을 가지는 소정의 화상 블럭에 허용되는 모션 벡터의 최대 개수와, 상기 소정의 면적을 가지는 소정의 화상 블럭에 포함되는 복호 완료 화상 블럭의 모션 벡터의 개수 사이의 관계에 의거하여, 복호 대상 CU(Coding Unit)의 인터 PU(Prediction Unit) 파티션의 인터 예측 방향 후보들을 제한하는 처리를 실행시키기 위한 영상 복호 프로그램을 저장하는 컴퓨터 판독가능 정보 기록 매체.
KR1020167022895A 2011-01-13 2012-01-05 영상 복호 장치, 영상 복호 방법 및 프로그램 KR101840579B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-004963 2011-01-13
JP2011004963 2011-01-13
PCT/JP2012/000045 WO2012096146A1 (ja) 2011-01-13 2012-01-05 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157022459A Division KR101841334B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램

Publications (2)

Publication Number Publication Date
KR20160104087A true KR20160104087A (ko) 2016-09-02
KR101840579B1 KR101840579B1 (ko) 2018-03-20

Family

ID=46507055

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020157022459A KR101841334B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020137016920A KR101851326B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020167022895A KR101840579B1 (ko) 2011-01-13 2012-01-05 영상 복호 장치, 영상 복호 방법 및 프로그램
KR1020187010850A KR101935217B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치 및 영상 부호화 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020157022459A KR101841334B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020137016920A KR101851326B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187010850A KR101935217B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치 및 영상 부호화 방법

Country Status (9)

Country Link
US (4) US10841588B2 (ko)
EP (2) EP2665273B1 (ko)
JP (4) JP5974899B2 (ko)
KR (4) KR101841334B1 (ko)
CN (4) CN108111847B (ko)
BR (3) BR122020018553B1 (ko)
ES (1) ES2900775T3 (ko)
PL (1) PL2665273T3 (ko)
WO (1) WO2012096146A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101841334B1 (ko) * 2011-01-13 2018-03-22 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックIpマネジメント株式会社 動画像符号化装置および動画像符号化方法
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
WO2015163167A1 (ja) * 2014-04-23 2015-10-29 ソニー株式会社 画像処理装置及び画像処理方法
US9794626B2 (en) * 2014-05-01 2017-10-17 Qualcomm Incorporated Partitioning schemes in multi-layer video coding
CN104125469B (zh) * 2014-07-10 2017-06-06 中山大学 一种用于hevc的快速编码方法
WO2016153251A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
US10939099B2 (en) * 2016-04-22 2021-03-02 Lg Electronics Inc. Inter prediction mode-based image processing method and device therefor
BR112018069135B1 (pt) * 2016-05-10 2023-12-26 Samsung Electronics Co., Ltd Método de decodificação de imagem para decodificar uma imagem, aparelho de decodificação de imagens para decodificar uma imagem, método de codificação de imagem para codificar uma imagem, e aparelho de codificação de imagens para codificar uma imagem
CN108924551B (zh) * 2018-08-29 2022-01-07 腾讯科技(深圳)有限公司 视频图像编码模式的预测方法及相关设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101416A (ja) * 2000-09-25 2002-04-05 Fujitsu Ltd 画像制御装置
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置
US7894530B2 (en) * 2004-05-07 2011-02-22 Broadcom Corporation Method and system for dynamic selection of transform size in a video decoder based on signal content
JP4246722B2 (ja) * 2005-08-26 2009-04-02 日本電信電話株式会社 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4666255B2 (ja) 2005-12-27 2011-04-06 日本電気株式会社 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
EP2166769B1 (en) * 2007-06-29 2017-04-05 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and recording medium
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
CN101394580B (zh) 2007-09-21 2012-01-25 电信科学技术研究院 Eps承载管理的方法、装置、mme及通信系统
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
EP2250813B1 (en) * 2008-03-10 2018-12-05 InterDigital Madison Patent Holdings Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
CN101394560B (zh) * 2008-06-30 2010-09-01 浙江大学 一种用于视频编码的混合流水线装置
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
JP2011004963A (ja) 2009-06-25 2011-01-13 Universal Entertainment Corp 不正を防止すると共にゲームの進行をディーラにナビゲートするゲーミングシステム
KR101487686B1 (ko) * 2009-08-14 2015-01-30 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20130102527A (ko) 2010-08-03 2013-09-17 소니 주식회사 화상 처리 장치와 화상 처리 방법
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US20120147961A1 (en) * 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
KR101841334B1 (ko) * 2011-01-13 2018-03-22 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
ISO/IEC 14496-10 Advanced Video Coding

Also Published As

Publication number Publication date
BR112013017802A2 (pt) 2016-10-11
CN108093255A (zh) 2018-05-29
KR20180043395A (ko) 2018-04-27
CN108111847A (zh) 2018-06-01
BR122020018553B1 (pt) 2023-03-14
KR101840579B1 (ko) 2018-03-20
KR20150103301A (ko) 2015-09-09
US20130322542A1 (en) 2013-12-05
US10841588B2 (en) 2020-11-17
US20210021835A1 (en) 2021-01-21
CN103314590B (zh) 2018-02-27
KR101935217B1 (ko) 2019-01-03
ES2900775T3 (es) 2022-03-18
JP6233465B2 (ja) 2017-11-22
US11665352B2 (en) 2023-05-30
EP2665273A4 (en) 2014-07-09
JP2016201826A (ja) 2016-12-01
JP5974899B2 (ja) 2016-08-23
BR122020018552B1 (pt) 2022-12-06
JPWO2012096146A1 (ja) 2014-06-09
US11647205B2 (en) 2023-05-09
JP2018029384A (ja) 2018-02-22
CN108093255B (zh) 2021-12-03
WO2012096146A1 (ja) 2012-07-19
EP2665273B1 (en) 2021-11-03
CN103314590A (zh) 2013-09-18
PL2665273T3 (pl) 2022-02-28
US20220191506A1 (en) 2022-06-16
US11323720B2 (en) 2022-05-03
JP6432661B2 (ja) 2018-12-05
CN108055538B (zh) 2021-10-29
US20220191505A1 (en) 2022-06-16
CN108055538A (zh) 2018-05-18
JP6432662B2 (ja) 2018-12-05
CN108111847B (zh) 2021-11-23
KR101841334B1 (ko) 2018-03-22
KR20130101116A (ko) 2013-09-12
JP2018029385A (ja) 2018-02-22
EP2665273A1 (en) 2013-11-20
EP3965418A1 (en) 2022-03-09
KR101851326B1 (ko) 2018-04-24
BR112013017802B1 (pt) 2022-04-05

Similar Documents

Publication Publication Date Title
KR101840579B1 (ko) 영상 복호 장치, 영상 복호 방법 및 프로그램
JP6497423B2 (ja) 映像復号装置、映像復号方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right