KR101829515B1 - 영상 복호 장치, 영상 복호 방법 및 기록 매체 - Google Patents

영상 복호 장치, 영상 복호 방법 및 기록 매체 Download PDF

Info

Publication number
KR101829515B1
KR101829515B1 KR1020157012839A KR20157012839A KR101829515B1 KR 101829515 B1 KR101829515 B1 KR 101829515B1 KR 1020157012839 A KR1020157012839 A KR 1020157012839A KR 20157012839 A KR20157012839 A KR 20157012839A KR 101829515 B1 KR101829515 B1 KR 101829515B1
Authority
KR
South Korea
Prior art keywords
inter
size
prediction
image
encoding
Prior art date
Application number
KR1020157012839A
Other languages
English (en)
Other versions
KR20150063582A (ko
Inventor
겐타 센자키
유조 센다
게이이치 조노
히로후미 아오키
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20150063582A publication Critical patent/KR20150063582A/ko
Application granted granted Critical
Publication of KR101829515B1 publication Critical patent/KR101829515B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/91—Flicker reduction

Abstract

영상 부호화 장치는, 인터 예측을 이용하여 영상 부호화를 행하는 영상 부호화 장치로서, 소정의 최소 인터 PU 사이즈(PA)와, 부호화 대상 CU의 CU 사이즈(PB)에 의거하여 부호화 대상 CU의 인터 PU 파티션 타입을 제어하는 부호화 제어 수단(11)을 구비한다. 영상 복호 장치는, 소정의 최소 인터 PU 사이즈(PA)와, 복호 대상 CU의 사이즈(PB)에 의거하여 복호 대상 CU의 인터 PU 파티션을 제어하는 복호 제어 수단을 구비한다.

Description

영상 복호 장치, 영상 복호 방법 및 기록 매체 {VIDEO DECODING DEVICE, VIDEO DECODING METHOD, AND RECORDING MEDIUM}
본 발명은 계층 구조의 부호화 유닛을 이용하는 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램에 관한 것이다.
비특허문헌 1은 일반적인 영상 부호화 방식 및 영상 복호 방식을 개시하고 있다.
비특허문헌 1에 기재되어 있는 영상 부호화 장치는 도 15에 나타내는 바와 같이 구성된다. 이하, 도 15에 나타내지는 영상 부호화 장치를 일반적인 영상 부호화 장치라고 부른다.
도 15를 참조해서, 디지털화된 영상의 각 프레임을 입력으로 하여 비트스트림을 출력하는, 일반적인 영상 부호화 장치의 구성과 동작을 설명한다.
도 15에 나타내진 영상 부호화 장치는, 변환/양자화기(101), 엔트로피 부호화기(102), 역변환/역양자화기(103), 버퍼(104), 예측기(105), 다중화기(106), 및 부호화 제어기(108)를 구비한다.
도 15에 나타내는 영상 부호화 장치는, 프레임을 매크로블럭(MB: Macro BLock)이라고 불리는 16×16 화소 사이즈의 블럭으로 분할하고, 프레임의 좌상(左上)으로부터 순서대로 각 MB를 부호화한다.
도 16은, 프레임의 공간 해상도가 QCIF(Quarter Common Intermediate Format)인 경우의 블럭 분할의 예를 나타내는 설명도이다. 이하, 설명의 간략화를 위해, 휘도의 화소값에만 착안해서 각 장치의 동작을 설명한다.
블럭으로 분할된 입력 영상은, 예측기(105)로부터 공급되는 예측 신호가 감해져서 예측 오차 화상이 되고, 변환/양자화기(101)에 입력된다. 예측 신호에는, 인트라(intra) 예측 신호와 인터 예측 신호의 2종류가 있다. 또, 인터 예측 신호를 프레임간 예측 신호라고도 부른다.
각각의 예측 신호를 설명한다. 인트라 예측 신호는, 버퍼(104)에 저장된 현재의 픽처(picture)와 표시 시각이 동일한 재구축 픽처의 화상에 의거하여 생성되는 예측 신호이다.
비특허문헌 1의 8.3.1 Intra_4×4 prediction process for luma samples, 8.3.2 Intra_8×8 prediction process for luma samples, 및 8.3.3 Intra_16×16 prediction process for luma samples를 인용하면, 3종류의 블럭 사이즈의 인트라 예측 Intra_4×4, Intra_8×8, Intra_16×16이 있다.
Intra_4×4와 Intra_8×8은, 도 17의 (a)와 (c)를 참조하면, 각각 4×4 블럭 사이즈와 8×8 블럭 사이즈의 인트라 예측임을 알 수 있다. 단, 도면의 원(○)은 인트라 예측에 이용되는 참조 화소, 즉, 현재의 픽처와 표시 시간이 동일한 재구축 픽처의 화소이다.
Intra_4×4의 인트라 예측에서는, 재구축한 주변 화소를 그대로 참조 화소로 하여, 도 17의 (b)에 나타내는 9종류의 방향으로 참조 화소를 패딩(외삽)해서 예측 신호가 형성된다. Intra_8×8의 인트라 예측에서는, 도 17의 (c)의 우향 화살표 밑에 기재된 로우패스 필터(1/2, 1/4, 1/2)에 의해 재구축 픽처의 화상의 주변 화소를 평활화한 화소를 참조 화소로 하여, 도 17의 (b)에 나타내는 9종류의 방향으로 참조 화소를 외삽해서 예측 신호가 형성된다.
한편, Intra_16×16은, 도 18의 (a)를 참조하면, 16×16 블럭 사이즈의 인트라 예측임을 알 수 있다. 도 17의 경우와 마찬가지로 도면의 원(○)은 인트라 예측에 이용되는 참조 화소, 즉, 현재의 픽처와 표시 시각이 동일한 재구축 픽처의 화소이다. Intra_16×16의 인트라 예측에서는, 재구축 픽처의 화상의 주변 화소를 그대로 참조 화소로 하여, 도 18의 (b)에 나타내는 4종류의 방향으로 참조 화소를 외삽해서 예측 신호가 형성된다.
이하, 인트라 예측 신호를 이용하여 부호화되는 MB 및 블럭을 각각 인트라 MB 및 인트라 블럭이라고 부르고, 인트라 예측의 블럭 사이즈를 인트라 예측 블럭 사이즈라고 부르며, 또한, 외삽의 방향을 인트라 예측 방향이라고 부른다. 또, 인트라 예측 블럭 사이즈 및 인트라 예측 방향은 인트라 예측에 관한 예측 파라미터이다.
인터 예측 신호는, 버퍼(104)에 저장된 현재의 픽처와 표시 시각이 다른 재구축 픽처의 화상으로부터 생성되는 예측 신호이다. 이하, 인터 예측 신호를 이용하여 부호화되는 MB 및 블럭을 각각 인터 MB 및 인터 블럭이라고 부른다. 인터 예측의 블럭 사이즈(인터 예측 블럭 사이즈)로서, 예를 들면 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4를 선택할 수 있다.
도 19는, 16×16의 블럭 사이즈를 예로 한 인터 예측의 예를 나타내는 설명도이다. 도 19에 나타내는 모션 벡터 MV=(mvx, mvy)는, 부호화 대상 블럭에 대한 참조 픽처의 인터 예측 블럭(인터 예측 신호)의 평행 이동량을 나타내는 예측이다. AVC에서는, 부호화 대상 블럭의 부호화 대상 픽처에 대한 인터 예측 신호의 참조 픽처의 방향을 표시하는 인터 예측의 방향에 더해서, 부호화 대상 블럭의 인터 예측에 이용되는 참조 픽처를 식별하기 위한 참조 픽처 인덱스도 인터 예측의 예측 파라미터이다. AVC에서는, 버퍼(104)에 저장된 복수 매의 참조 픽처를 인터 예측에 이용할 수 있기 때문이다.
AVC의 인터 예측에서는, 1/4 화소 정밀도로 모션 벡터를 구할 수 있다. 도 20은, 모션 보상 예측에 있어서의 휘도 신호의 보간 처리를 나타내는 설명도이다. 도 20에 있어서, A는 정수 화소 위치의 화소 신호, b, c, d는 1/2 화소 정밀도의 소수 화소 위치의 화소 신호, e1, e2, e3은 1/4 화소 정밀도의 소수 화소 위치의 화소 신호를 나타낸다. 화소 신호 b는, 수평 방향의 정수 화소 위치의 화소에 대하여 6탭의 필터를 적용해서 생성된다. 마찬가지로, 화소 신호 c는, 수직 방향의 정수 화소 위치의 화소에 대하여 6탭의 필터를 적용해서 생성된다. 화소 신호 d는, 수평 또는 수직 방향의 1/2 화소 정밀도의 소수 화소 위치의 화소에 대하여 6탭의 필터를 적용해서 생성된다. 6탭의 필터 계수는 [1, -5, 20, 20, -5, 1]/32로 표시된다. 화소 신호 e1, e2, 및 e3은, 각각, 근방의 정수 화소 위치 또는 소수 화소 위치의 화소에 대하여 2탭 필터 [1, 1]/2를 적용해서 생성된다.
인트라 MB만으로 부호화된 픽처는 I픽처라고 불린다. 인트라 MB뿐만 아니라 인터 MB도 포함해서 부호화된 픽처는 P픽처라고 불린다. 인터 예측에 1매의 참조 픽처뿐만 아니라, 동시에 2매의 참조 픽처를 더 이용하는 인터 MB를 포함해서 부호화된 픽처는 B픽처라고 불린다. 또한 B픽처에 있어서, 부호화 대상 블럭의 부호화 대상 픽처에 대한 인터 예측 신호의 참조 픽처의 방향이 과거인 인터 예측을 전방향 예측, 부호화 대상 블럭의 부호화 대상 픽처에 대한 인터 예측 신호의 참조 픽처의 방향이 미래인 인터 예측을 후방향 예측, 과거와 미래를 포함하는 참조 픽처를 동시에 2매 이용하는 인터 예측을 쌍방향 예측이라고 각각 부른다. 또, 인터 예측의 방향(인터 예측 방향)은 인터 예측의 예측 파라미터이다.
예측기(105)는, 부호화 제어기(108)의 지시에 따라, 입력 영상의 신호와 예측 신호를 비교하고, 예측 오차 화상 블럭의 에너지가 최소가 되는 예측 파라미터를 결정한다. 부호화 제어기(108)는, 결정한 예측 파라미터를 엔트로피 부호화기(102)에 공급한다.
변환/양자화기(101)는, 예측 오차 화상을 주파수 변환하고, 주파수 변환 계수를 얻는다.
또한, 변환/양자화기(101)는, 소정의 양자화 스텝 폭 Qs로, 주파수 변환 계수를 양자화한다. 이하, 양자화된 주파수 변환 계수를 변환 양자화값이라고 부른다.
엔트로피 부호화기(102)는, 예측 파라미터와 변환 양자화값을 엔트로피 부호화한다. 예측 파라미터는, 상기한 예측 모드(인트라 예측, 인터 예측), 인트라 예측 블럭 사이즈, 인트라 예측 방향, 인터 예측 블럭 사이즈, 및 모션 벡터 등, MB 및 블럭의 예측에 관련된 정보이다.
역변환/역양자화기(103)는, 양자화 스텝 폭 Qs로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(103)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 더해지고, 버퍼(104)에 공급된다.
버퍼(104)는 공급되는 재구축 화상을 저장한다. 1프레임 분의 재구축 화상을 재구축 픽처라고 부른다.
다중화기(106)는, 엔트로피 부호화기(102)의 출력 데이터, 및 부호화 파라미터를 다중화해서 출력한다.
상술한 동작에 의거하여, 영상 부호화 장치에 있어서의 다중화기(106)는, 비트스트림(bitstream)을 생성한다.
비특허문헌 1에 기재되어 있는 영상 복호 장치는, 도 21에 나타나 있는 바와 같이 구성된다. 이하, 도 21에 나타내지는 영상 복호 장치를 일반적인 영상 복호 장치라고 부른다.
도 21을 참조해서, 비트스트림을 입력으로 하여 복호된 영상 프레임을 출력하는, 일반적인 영상 복호 장치의 구성과 동작을 설명한다.
도 21에 나타내진 영상 복호 장치는, 다중화 해제기(201), 엔트로피 복호기(202), 역변환/역양자화기(203), 예측기(204), 및 버퍼(205)을 구비한다.
다중화 해제기(201)는, 입력되는 비트스트림을 다중화 해제하고, 엔트로피 부호화된 영상 비트스트림을 추출한다.
엔트로피 복호기(202)는, 영상 비트스트림을 엔트로피 복호한다. 엔트로피 복호기(202)는, MB 및 블럭의 예측 파라미터 및 변환 양자화값을 엔트로피 복호하고, 역변환/역양자화기(203) 및 예측기(204)에 공급한다.
역변환/역양자화기(203)는, 양자화 스텝 폭으로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(203)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다.
역주파수 변환 후, 예측기(204)는, 엔트로피 복호한 MB 및 블럭의 예측 파라미터에 의거하여, 버퍼(205)에 저장된 재구축 픽처의 화상을 이용해서 예측 신호를 생성한다.
예측 신호 생성 후, 역변환/역양자화기(203)에서 역주파수 변환된 재구축 예측 오차 화상은, 예측기(204)로부터 공급되는 예측 신호가 더해지고, 재구축 화상으로서 버퍼(205)에 공급된다.
그리고, 버퍼(205)에 저장된 재구축 픽처가 디코드 화상(디코드 영상)으로서 출력된다.
상술한 동작에 의거하여 일반적인 영상 복호 장치는 디코드 화상을 생성한다.
ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
그런데, 비특허문헌 2는 Test Model under Consideration 방식(TMuC 방식)을 개시하고 있다. TMuC 방식은, 비특허문헌 1에 개시된 방식과는 달리, 도 24에 나타내는 계층 구조의 부호화 유닛(Coding Tree Block(CTB))을 이용한다. 본 명세서에 있어서, CTB의 블럭을 Coding Unit(CU: 부호화 유닛)이라고 부른다.
또, 최대의 CU를 Largest Coding Unit(LCU), 최소의 CU를 Smallest Coding Unit(SCU)이라고 부른다. 또한 TMuC 방식에 있어서는, CU에 대한 예측 유닛으로서 Prediction Unit(PU)이라고 하는 개념(도 23 참조)이 도입되어 있다. PU는 예측의 기본 단위이며, 도 23에 나타내지는 {2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 8종류의 PU 파티션 타입이 정의되어 있다. 인터 예측이 이용되는 PU를 인터 PU, 인트라 예측이 이용되는 PU를 인트라 PU라고 부른다. 인터 예측이 이용되는 PU 파티션을 인터 PU 파티션, 인트라 예측이 이용되는 PU 파티션을 인트라 PU 파티션이라고 부른다. 인트라 PU 파티션은 도 23에 나타내진 형상 중 2N×2N, 및 N×N의 정방형만이 서포트되어 있다. 이하, CU 및 PU의 1변의 길이를 각각 CU 사이즈 및 PU 사이즈라고 부른다.
또한, TMuC 방식에서는 소수 정밀도의 예측 화상을 구하기 위해서 최대로 12탭의 필터를 이용할 수 있다. 화소 위치와 필터의 계수의 관계는 이하대로이다.
[표 1]
Figure 112015046695066-pat00001
화소 위치에 대해서, 도 24를 이용하여 설명한다. 도 24에 있어서, A, E를 정수 화소 위치의 화소라고 한다. 이때, b가 1/4화소 위치의 화소, c가 1/2화소 위치의 화소, d가 3/4화소 위치의 화소이다. 수직 방향도 마찬가지로 된다.
도 20에 나타내는 화소 b 또는 화소 c는, 수평 또는 수직 방향의 1/2화소 위치용 필터를 1회 적용함으로써 생성된다. 화소 e1은 1/4화소 위치용의 필터를 1회 적용함으로써 생성된다.
도 25를 참조하여, 화소 e2나 화소 e3과 같이, 그 화소 위치가 수평 수직 양쪽 모두 소수 정밀도 위치이며, 그 중 적어도 어느 쪽인가가 1/4화소 위치일 경우의 소수 화소 생성의 예를 설명한다. 도 25에 있어서, 화소 A를 정수 화소 위치의 화소, 화소 c를 구하려는 소수 화소 위치의 화소라고 한다. 이때, 우선, 화소 b가 수직 방향의 1/4화소 위치용 필터를 적용함으로써 생성된다. 계속해서, 화소 c가, 소수 화소 b에 대하여, 수평 방향의 3/4화소 위치용 필터를 적용함으로써 생성된다. 또, 비특허문헌 2의 8.3 Interpolation Methods에는, 소수 화소 생성의 보다 상세한 설명이 기재되어 있다.
TMuC 방식에서는 모든 계층의 CU의 PU 헤더에서 PU 파티션 타입을 나타내는 신택스(syntax)(비특허문헌 2의 4.1.10 Prediction unit syntax의 표기를 따르면, 인트라 예측의 경우에는 intra_split_flag, 인터 예측의 경우에는 inter_partitioning_idc)를 출력 비트스트림에 매립한다. 이후, intra_split_flag 신택스를 인트라 PU 파티션 타입 신택스, inter_partitioning_idc 신택스를 인터 PU 파티션 타입 신택스라고 부른다.
각각의 LCU 내에 작은 사이즈의 CU가 많이 존재할 때, 비트스트림에 포함되는 인터 PU 파티션 타입 신택스의 비트수의 비율이 높아져서, 압축 영상의 품질이 저하하는 과제가 있다.
또한, TMuC 방식에서는 인터 PU 파티션의 사이즈가 작을수록, 참조 픽처에 대한 메모리 액세스가 증가해서, 메모리 대역을 압박하는 과제가 있다. 특히, TMuC 방식에서는 12탭의 필터를 이용하여 소수 화소를 생성하기 때문에, 메모리 대역을 보다 압박한다.
도 26은, 12탭 필터를 이용할 때의 메모리 액세스 영역을 설명하기 위한 설명도이다. 도 26 (A)는 N×N의 PU 파티션 타입이 선택되었을 때의, 1개의 인터 PU 파티션의 메모리 액세스 영역, 도 26 (B)는 2N×2N의 인터 PU 파티션 타입이 선택되었을 때의 메모리 액세스 영역을 표시한다.
N×N이 선택되었을 때, 도 26 (A)에 있어서의 파선으로 둘러싸인 사이즈의 메모리 액세스를 0, 1, 2, 3의 인터 PU 파티션마다 합계 4회 행하기 때문에, 메모리 액세스량은, 4(N+11)2 = 4N2 + 88N + 484에 참조 픽처의 비트량을 승산한 값이 된다. 2N×2N의 인터 PU 파티션의 메모리 액세스량이 (2N+11)2 = 4N2 + 44N + 121에 참조 픽처의 비트량을 승산한 값이기 때문에, N×N의 인터 PU 파티션의 메모리 액세스량은 2N×2N의 메모리 액세스량보다 커진다.
예를 들면, N=4, 편방향 예측, 화소값의 비트 정밀도가 8bit일 때의 8×8 CU에 있어서의 인터 PU의 메모리 액세스량을 고려한다. 2N×2N의 인터 PU 파티션에 있어서의 메모리 액세스량은 19×19×1×8bit = 2888bit인 것에 대해, N×N의 인터 PU 파티션에 있어서의 메모리 액세스량은 15×15×4×8bit = 7200bit가 되어, 약 2.5배의 메모리 액세스량이 된다.
또한, LCU 단위에서는, LCU의 블럭 사이즈가 128×128일 때, LCU를 1개의 인터 PU 파티션에 의해 예측할 때의 메모리 액세스량은 139×139×1×8bit = 154568bit인 것에 대해, LCU를 모두 4×4 인터 PU 파티션에 의해 예측할 때(즉, LCU를 1024개의 인터 PU 파티션에 의해 예측할 때)의 메모리 액세스량은 15×15×1024×8bit = 1843200bit가 되어, 약 12배의 메모리 액세스량이 된다.
본 발명은, 소정 면적당의 메모리 대역을 삭감하는 것을 목적으로 한다.
본 발명에 따른 영상 부호화 장치는, 인터 예측을 이용하여 영상 부호화를 행하는 영상 부호화 장치로서, 최소 인터 PU 사이즈와, 부호화 대상 CU의 CU 사이즈에 의거하여 부호화 대상 CU의 인터 PU 파티션 타입을 제어하는 부호화 제어 수단을 구비하는 것을 특징으로 한다.
본 발명에 따른 영상 복호 장치는, 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 장치로서, 최소 인터 PU 사이즈와, 복호 대상 CU의 사이즈에 의거하여 복호 대상 CU의 인터 PU 파티션을 제어하는 복호 제어 수단을 구비하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화 방법은, 인터 예측을 이용하여 영상 부호화를 행하는 영상 부호화 방법으로서, 최소 인터 PU 사이즈와, 부호화 대상 CU의 CU 사이즈에 의거하여 부호화 대상 CU의 인터 PU 파티션 타입을 제어하는 것을 특징으로 한다.
본 발명에 따른 영상 복호 방법은, 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 방법으로서, 최소 인터 PU 사이즈와, 복호 대상 CU의 사이즈에 의거하여 복호 대상 CU의 인터 PU 파티션을 제어하는 것을 특징으로 한다.
본 발명에 따른 영상 부호화 프로그램은, 인터 예측을 이용하여 영상 부호화를 행하는 컴퓨터에, 최소 인터 PU 사이즈와, 부호화 대상 CU의 CU 사이즈에 의거하여 부호화 대상 CU의 인터 PU 파티션 타입을 제어하는 처리를 실행시키는 것을 특징으로 한다.
본 발명에 따른 영상 복호 프로그램은, 인터 예측을 이용하여 영상 복호를 행하는 컴퓨터에, 최소 인터 PU 사이즈와, 복호 대상 CU의 사이즈에 의거하여 복호 대상 CU의 인터 PU 파티션을 제어하는 처리를 실행시키는 것을 특징으로 한다.
본 발명에 의하면, 작은 인터 PU 파티션의 사용을 제한해서 메모리 대역을 삭감할 수 있다.
도 1은 제1 실시형태의 영상 부호화 장치의 블럭도.
도 2는 PU 파티션 타입의 후보의 결정 처리를 나타내는 플로차트.
도 3은 시퀀스 파라미터 세트에 있어서의 최소 인터 PU 사이즈에 관한 정보를 나타내는 리스트의 설명도.
도 4는 PU 헤더 기입의 동작을 나타내는 플로차트.
도 5는 PU 신택스에 있어서의 inter_partitioning_idc 신택스에 관한 정보를 나타내는 리스트의 설명도.
도 6은 제2 실시형태의 영상 복호 장치의 블럭도.
도 7은 PU 헤더 판독의 동작을 나타내는 플로차트.
도 8은 픽처 파라미터 세트에 있어서의 최소 인터 PU 사이즈에 관한 정보를 나타내는 리스트의 설명도.
도 9는 슬라이스 헤더에 있어서의 최소 인터 PU 사이즈에 관한 정보를 나타내는 리스트의 설명도.
도 10은 제4 실시형태의 영상 복호 장치의 블럭도.
도 11은 에러 검출의 동작을 나타내는 플로차트.
도 12는 본 발명에 따른 영상 부호화 장치 및 영상 복호 장치의 기능을 실현 가능한 정보 처리 시스템의 구성예를 나타내는 블럭도.
도 13은 본 발명에 따른 영상 부호화 장치의 주요부를 나타내는 블럭도.
도 14는 본 발명에 따른 영상 복호 장치의 주요부를 나타내는 블럭도.
도 15는 일반적인 영상 부호화 장치의 블럭도.
도 16은 블록 분할의 예를 나타내는 설명도.
도 17은 Intra_4×4와 Intra_8×8의 인트라 예측을 설명하기 위한 설명도.
도 18은 Intra_16×16의 인트라 예측을 설명하기 위한 설명도.
도 19는 인터 예측의 예를 나타내는 설명도.
도 20은 모션 보상 예측에 있어서의 휘도 신호의 보간 처리를 나타내는 설명도.
도 21은 일반적인 영상 복호 장치의 블럭도.
도 22는 CTB를 설명하기 위한 설명도.
도 23은 PU를 설명하기 위한 설명도.
도 24는 소수 화소 위치를 설명하기 위한 설명도.
도 25는 TMuC 방식의 12탭 필터를 이용한 소수 화소 생성 방법을 설명하기 위한 설명도.
도 26은 12탭 필터를 이용하여 소수 화소를 생성할 때의 메모리 액세스 범위를 설명하기 위한 설명도.
상술한 일반적 기술의 과제를 해결하기 위해서, 본 발명에서는, 계층 구조의 부호화 유닛을 이용하는 것을 특징으로 하는 영상 부호화에 있어서, CU의 depth(즉, CU 사이즈)에 의거하여 인터 PU 파티션을 제한함으로써 과제를 해결한다. 본 발명의 일례에서는, 2N×2N 이외의 인터 PU 파티션이 사용 가능한 CU 사이즈를 제한함으로써 과제를 해결한다. 본 발명의 다른 일례에서는, PU 헤더의 인터 PU 파티션 타입 신택스 전송을 제한함으로써 과제를 해결한다. 본 발명의 상기의 예에 있어서, 비트스트림에 포함되는 인터 PU 파티션 타입 신택스의 비트 수의 비율이 낮게 억제되어 압축 영상의 품질을 향상시키면서, 메모리 대역을 억제할 수 있다.
실시형태 1.
제1 실시형태에서는, 외부 설정되는 소정의 최소 인터 PU 사이즈에 의거하여 인터 PU 파티션 타입을 제어하는 부호화 제어 수단, 및 최소 인터 PU 사이즈에 관한 정보를 영상 복호 장치에 시그널링하기 위한, 최소 인터 PU 사이즈에 관한 정보를 비트스트림에 매립하는 수단을 구비하는 영상 부호화 장치를 나타낸다.
본 실시형태에서는, 이용 가능한 CU 사이즈를 128, 64, 32, 16, 8(즉, LCU 사이즈가 128, SCU 사이즈가 8이다), 최소 인터 PU 사이즈(minInterPredUnitSize)를 8로 한다.
또한, 본 실시형태에서는, 최소 인터 PU 사이즈에 관한 정보(min_inter_pred_unit_hierarchy_depth)로서, 최소 인터 PU 사이즈(8)를 SCU 사이즈(8)로 나눈 값의 "2"를 밑으로 하는 log(대수)로 한다. 따라서, 본 실시형태에서는, 비트스트림에 다중화되는 min_inter_pred_unit_hierarchy_depth의 값은, 0(=log2(8/8))이 된다.
도 1에 나타내는 바와 같이, 본 실시형태의 영상 부호화 장치는, 도 15에 나타내진 일반적인 영상 부호화 장치와 마찬가지로, 변환/양자화기(101), 엔트로피 부호화기(102), 역변환/역양자화기(103), 버퍼(104), 예측기(105), 다중화기(106), 및 부호화 제어기(107)를 구비한다.
도 1에 나타내는 본 실시형태의 영상 부호화 장치에서는, 도 15에 나타내는 영상 부호화 장치와는 달리, minInterPredUnitSize보다 큰 CU 사이즈로 인터 PU 파티션 타입 신택스를 전송하기 위해서, minInterPredUnitSize가 부호화 제어기(107)에 공급되고 있으며, 또한, minInterPredUnitSize를 영상 복호 장치에 시그널링하기 위해서, minInterPredUnitSize가 다중화기(106)에도 공급되고 있다.
부호화 제어기(107)는, 부호화 왜곡(입력 신호와 재구축 픽처의 오차 화상의 에너지)과 발생 비트량으로부터 계산되는 코스트(Rate-Distortion 코스트: R-D 코스트)를 예측기(105)에 계산시킨다. 부호화 제어기(107)는, R-D 코스트가 최소가 되는, CU 분할 형상(도 22에 나타나 있는 바와 같이, split_coding_unit_flag에 의해 결정하는 분할 형상), 및 각 CU의 예측 파라미터를 결정한다. 부호화 제어기(107)는, 결정한 split_coding_unit_flag 및 각 CU의 예측 파라미터를 예측기(105) 및 엔트로피 부호화기(102)에 공급한다. 예측 파라미터는, 예측 모드(pred_mode), 인트라 PU 파티션 타입(intra_split_flag), 인트라 예측 방향, 인터 PU 파티션 타입(inter_partitioning_idc), 및 모션 벡터 등, 부호화 대상 CU의 예측에 관련된 정보이다.
단, 본 실시형태의 부호화 제어기(107)는, 일례로서, minInterPredUnitSize보다 큰 CU 사이즈의 CU에 대하여, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측의 {2N×2N, N×N}, 인터 예측의 {2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 합계 10종류로부터 선택한다. 부호화 제어기(107)는, minInterPredUnitSize와 같은 CU 사이즈의 CU에 대하여, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측의 {2N×2N, N×N}, 인터 예측의 {2N×2N}의 합계 3종류로부터 선택한다. 부호화 제어기(107)는, minInterPredUnitSize 미만의 CU 사이즈의 CU에 대하여, 예측 파라미터로서 최적인 PU 파티션 타입을 인트라 예측의 {2N×2N, N×N}의 합계 2종류로부터 선택한다.
도 2는, PU 파티션 타입의 후보의 결정에 관한 본 실시형태의 부호화 제어기(107)의 동작을 나타내는 플로차트이다.
도 2에 나타내는 바와 같이, 부호화 제어기(107)는, 스텝 S101에서, 부호화 대상 CU의 CU 사이즈가 minInterPredUnitSize보다 크다고 판정했을 때, 스텝 S102에서, PU 파티션 타입의 후보를 인트라 예측 {2N×2N, N×N}과 인터 예측 {2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 합계 10종류로 설정하고, 스텝 S106에서 R-D 코스트에 의거하여 예측 파라미터를 결정한다.
스텝 S101에서 부호화 제어기(107)가 부호화 대상 CU의 CU 사이즈가 minInterPredUnitSize 이하라고 판정했을 때, 스텝 S103으로 진행한다.
부호화 제어기(107)는, 스텝 S103에서 부호화 대상 CU의 CU 사이즈가 minInterPredUnitSize와 같다고 판정했을 때, 스텝 S104에서, PU 파티션 타입의 후보를 인트라 예측 {2N×2N, N×N}과 인터 예측 {2N×2N}의 합계 3종류로 설정하고, 스텝 S106에서 R-D 코스트에 의거하여 예측 파라미터를 결정한다.
부호화 제어기(107)는, 스텝 S103에서 부호화 대상 CU의 CU 사이즈가 minInterPredUnitSize 미만이라고 판정했을 때, 스텝 S105에서, PU 파티션 타입의 후보를 인트라 예측의 {2N×2N, N×N}의 합계 2종류로 설정하고, 스텝 S106에서 R-D 코스트에 의거하여 예측 파라미터로서 최적인 PU 파티션 타입을 결정한다.
예측기(105)는, 부호화 제어기(107)가 결정한 각 CU의 예측 파라미터에 대응하는 예측 신호를 선정한다.
부호화 제어기(107)가 결정한 형상의 각 CU의 입력 영상은, 예측기(105)로부터 공급되는 예측 신호가 감해져서 예측 오차 화상이 되고, 변환/양자화기(101)에 입력된다.
변환/양자화기(101)는, 예측 오차 화상을 주파수 변환하고, 주파수 변환 계수를 얻는다.
또한, 변환/양자화기(101)는, 양자화 스텝 폭 Qs로, 주파수 변환 계수를 양자화하고, 변환 양자화값을 얻는다.
엔트로피 부호화기(102)는, 부호화 제어기(107)로부터 공급되는 split_coding_unit_flag(도 22 참조), 예측 파라미터, 및 변환/양자화기(101)로부터 공급되는 변환 양자화값을 엔트로피 부호화한다.
역변환/역양자화기(103)는, 양자화 스텝 폭 Qs로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(103)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 더해지고, 버퍼(104)에 공급된다.
다중화기(106)는, 최소 인터 PU 사이즈에 관한 정보(min_inter_pred_unit_hierarchy_depth), 및 엔트로피 부호화기(102)의 출력 데이터를 다중화해서 출력한다. 비특허문헌 2의 4.1.2 Sequence parameter set RBSP syntax의 표기를 따르면, 다중화기(106)는, 도 3에 나타내는 리스트에 표시되는 바와 같이, 시퀀스 파라미터 세트의 log2_min_coding_unit_size_minus3 신택스와 max_coding_unit_hierarchy_depth 신택스에 후속시켜서, min_inter_pred_unit_hierarchy_depth 신택스(minInterPredUnitSize를 SCU 사이즈로 나눈 값의 "2"를 밑으로 하는 log(대수), 본 실시형태에서는 0)를 다중화한다. 단, log2_min_coding_unit_size_minus3 신택스 및 max_coding_unit_hierarchy_depth 신택스는, 각각, SCU 사이즈(minCodingUnitSize) 및 LCU 사이즈(maxCodingUnitSize)를 결정하기 위한 정보이다. minCodingUnitSize와 maxCodingUnitSize는, 각각, 이하와 같이 계산된다.
minCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3)
maxCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3 + max_coding_unit_hierarchy_depth)
또한, min_inter_pred_unit_hierarchy_depth 신택스와 minCodingUnitSize에는 이하의 관계가 있다.
min_inter_pred_unit_hierarchy_depth = log2(minInterPredUnitSize/ minCodingUnitSize)
상술한 동작에 의거하여, 본 발명의 영상 부호화 장치는 비트스트림을 생성한다.
본 실시형태의 영상 부호화 장치는, 최소 인터 PU 사이즈 미만의 인터 PU가 출현하지 않도록, 소정의 최소 인터 PU 사이즈, 및 부호화 대상 CU의 CU 사이즈에 의거하여 부호화 대상 CU의 인터 PU 파티션을 제어한다.
최소 인터 PU 사이즈 미만의 인터 PU가 출현하지 않도록 함으로써, 메모리 대역이 삭감된다. 또한, 최소 인터 PU 사이즈 미만의 인터 PU가 출현하지 않도록 함으로써, 시그널링되는 인터 PU 파티션 타입 신택스의 개수가 삭감되므로, 비트스트림에서 차지하는 PU 헤더의 부호량의 비율이 작아져서 영상의 품질이 개선된다.
본 실시형태의 영상 부호화 장치에 있어서의 부호화 제어 수단은, 외부 설정되는 소정의 최소 인터 PU 사이즈에 의거하여 인터 PU 파티션을 제어한다. 일례로서, 2N×2N 이외의 인터 PU 파티션 타입을, 소정의 사이즈보다 큰 CU 사이즈의 CU에서만 사용하도록 제어한다. 따라서, 2N×2N의 인터 PU 파티션의 발생 확률이 증가해서 엔트로피가 감소하기 때문에, 엔트로피 부호화의 효율이 상승한다. 따라서, 메모리 대역을 삭감하면서 압축 영상의 품질을 유지할 수 있다.
또한, 본 실시형태의 영상 부호화 장치는, 영상 복호에 관해서도 마찬가지로 인터 PU 파티션 타입 신택스를 비트스트림으로부터 판독하도록, 외부 설정되는 소정의 최소 인터 PU 사이즈에 관한 정보를 비트스트림에 매립하는 수단을 구비한다. 따라서, 영상 복호 장치에 소정의 사이즈가 시그널링되게 되고, 영상 부호화 장치와 영상 복호 장치의 상호 운용성을 높일 수 있다.
실시형태 2.
제2 실시형태의 영상 부호화 장치는, 외부 설정되는 소정의 최소 인터 PU 사이즈에 의거하여 인터 PU 파티션 타입을 제어하고, 또한, 상기의 소정의 최소 인터 PU 사이즈에 의거하여, 인터 PU 파티션 타입 신택스의 엔트로피 부호화를 제어하는 부호화 제어 수단, 및 상기의 최소 인터 PU 사이즈에 관한 정보를 영상 복호 장치에 시그널링하기 위한, 최소 인터 PU 사이즈에 관한 정보를 비트스트림에 매립하는 수단을 구비한다.
본 실시형태에서는, 인터 PU 파티션 타입 신택스를 전송하는 CU의 CU 사이즈는, 상기의 최소 인터 PU 사이즈(minInterPredUnitSize)보다 크다고 한다. 또한, 본 실시형태에서는, 이용 가능한 CU 사이즈를 128, 64, 32, 16, 8(즉, LCU 사이즈가 128, SCU 사이즈가 8이다), minInterPredUnitSize를 8로 한다. 따라서, 본 실시형태에서는, 인터 PU 파티션 타입 신택스를 비트스트림에 매립하는 CU 사이즈는 128, 64, 32, 16이 된다.
또한, 본 실시형태에서는, 최소 인터 PU 사이즈에 관한 정보(min_inter_pred_unit_hierarchy_depth)로서, 최소 인터 PU 사이즈(8)를 SCU 사이즈(8)로 나눈 값의 "2"를 밑으로 하는 log(대수)로 한다. 따라서, 본 실시형태에서는, 비트스트림에 다중화되는 min_inter_pred_unit_hierarchy_depth의 값은, 0(=log2(8/8))이 된다.
본 실시형태의 영상 부호화 장치의 구성은, 도 1에 나타내진 제1 실시형태의 영상 부호화 장치의 구성과 마찬가지이다.
도 1에 나타내는 바와 같이, 본 실시형태의 영상 부호화 장치에서는, 도 15에 나타내는 영상 부호화 장치와는 달리, minInterPredUnitSize보다 큰 CU 사이즈로 인터 PU 파티션 타입 신택스를 전송하기 위해서 minInterPredUnitSize가 부호화 제어기(107)에 공급되고 있고, 또한, minInterPredUnitSize를 영상 복호 장치에 시그널링하기 위해서, minInterPredUnitSize가 다중화기(106)에도 공급되고 있다.
부호화 제어기(107)는, 부호화 왜곡(입력 신호와 재구축 픽처의 오차 화상의 에너지)과 발생 비트량으로부터 계산되는 R-D 코스트를 예측기(105)에 계산시킨다. 부호화 제어기(107)는, R-D 코스트가 최소가 되는, CU분할 형상(도 22에 나타나 있는 바와 같이, split_coding_unit_flag에 의해 결정하는 분할 형상), 및 각 CU의 예측 파라미터를 결정한다. 부호화 제어기(107)는, 결정한 split_coding_unit_flag 및 각 CU의 예측 파라미터를 예측기(105) 및 엔트로피 부호화기(102)에 공급한다. 예측 파라미터는, 예측 모드(pred_mode), 인트라 PU 파티션 타입(intra_split_flag), 인트라 예측 방향, 인터 PU 파티션 타입(inter_partitioning_idc), 및 모션 벡터 등, 부호화 대상 CU의 예측에 관련된 정보이다.
본 실시형태의 부호화 제어기(107)는, 제1 실시형태와 마찬가지로, minInterPredUnitSize보다 큰 CU 사이즈의 CU에 대해서는, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측의 {2N×2N, N×N}, 인터 예측의 {2N×2N, 2N×N, N×2N, N×N, 2N×nU, 2N×nD, nL×2N, nR×2N}의 합계 10종류로부터 선택한다. 부호화 제어기(107)는, minInterPredUnitSize와 같은 CU 사이즈의 CU에 대하여, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측의 {2N×2N, N×N}, 인터 예측의 {2N×2N}의 합계 3종류로부터 선택한다. 부호화 제어기(107)는, minInterPredUnitSize 미만의 CU 사이즈의 CU에 대하여, 예측 파라미터로서 최적인 PU 파티션 타입을, 인트라 예측의 {2N×2N, N×N}으로부터 선택한다.
단, 본 실시형태의 부호화 제어기(107)는, 엔트로피 부호화 대상 CU의 예측 모드가 인터 예측이며, 또한, 그 CU 사이즈가 minInterPredUnitSize 이하인 경우에는, inter_partitioning_idc를 엔트로피 부호화하지 않도록 엔트로피 부호화기(102)를 제어한다.
예측기(105)는, 부호화 제어기(107)가 결정한 각 CU의 예측 파라미터에 대응하는 예측 신호를 선정한다.
부호화 제어기(107)가 결정한 형상의 각 CU의 입력 영상은, 예측기(105)로부터 공급되는 예측 신호가 감해져서 예측 오차 화상이 되고, 변환/양자화기(101)에 입력된다.
변환/양자화기(101)는, 예측 오차 화상을 주파수 변환하고, 주파수 변환 계수를 얻는다.
또한, 변환/양자화기(101)는, 양자화 스텝 폭 Qs로, 주파수 변환 계수를 양자화하고, 변환 양자화값을 얻는다.
엔트로피 부호화기(102)는, 부호화 제어기(107)로부터 공급되는 split_coding_unit_flag(도 22 참조), 예측 파라미터, 및 변환/양자화기(101)로부터 공급되는 변환 양자화값을 엔트로피 부호화한다. 단, 상술한 바와 같이, 본 실시형태의 엔트로피 부호화기(102)는, 엔트로피 부호화 대상 CU의 예측 모드가 인터 예측이며, 또한, 그 CU 사이즈가 minInterPredUnitSize 이하인 경우에는, inter_partitioning_idc를 엔트로피 부호화하지 않는다.
역변환/역양자화기(103)는, 소정의 양자화 스텝 폭 Qs로, 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(103)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다. 역주파수 변환된 재구축 예측 오차 화상은, 예측 신호가 더해져서, 버퍼(104)에 공급된다.
다중화기(106)는, 최소 인터 PU 사이즈에 관한 정보(min_inter_pred_unit_hierarchy_depth), 및 엔트로피 부호화기(102)의 출력 데이터를 다중화해서 출력한다. 비특허문헌 2의 4.1.2 Sequence parameter set RBSP syntax의 표기를 따르면, 다중화기(106)는, 도 3에 나타내는 리스트에 표시되는 바와 같이, 시퀀스 파라미터 세트의 log2_min_coding_unit_size_minus3 신택스와 max_coding_unit_hierarchy_depth 신택스에 후속시켜서, min_inter_pred_unit_hierarchy_depth 신택스(minInterPredUnitSize를 SCU 사이즈로 나눈 값의 "2"를 밑으로 하는 log(대수), 본 실시형태에 있어서는 0)를 다중화한다. 단, log2_min_coding_unit_size_minus3 신택스 및 max_coding_unit_hierarchy_depth 신택스는, 각각, SCU 사이즈(minCodingUnitSize) 및 LCU 사이즈(maxCodingUnitSize)를 결정하기 위한 정보이다. minCodingUnitSize와 maxCodingUnitSize는, 각각, 이하와 같이 계산된다.
minCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3)
maxCodingUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3 + max_coding_unit_hierarchy_depth)
또한, min_inter_pred_unit_hierarchy_depth 신택스와 minCodingUnitSize에는 이하의 관계가 있다.
min_inter_pred_unit_hierarchy_depth = log2(minInterPredUnitSize/ minCodingUnitSize)
상술한 동작에 의거하여, 본 실시형태의 영상 부호화 장치는 비트스트림을 생성한다.
다음으로, 본 실시형태의 특징인 인터 PU 파티션 타입 신택스 기입의 동작을 도 4의 플로차트를 참조해서 설명한다.
도 4에 나타내는 바와 같이, 엔트로피 부호화기(102)는, 스텝 S201에서, split_coding_unit_flag를 엔트로피 부호화한다. 또한, 스텝 S202에서, 엔트로피 부호화기(102)는, 예측 모드를 엔트로피 부호화한다. 즉, pred_mode 신택스를 엔트로피 부호화한다. 스텝 S203에서 부호화 대상 CU의 예측 모드가 인터 예측이라고 판정하고, 또한, 스텝 S204에서 CU 사이즈가 minInterPredUnitSize 이하의 사이즈라고 판정했을 경우에는, 부호화 제어기(107)는, 엔트로피 부호화기(102)에 있어서의 inter_partitioning_idc 신택스의 엔트로피 부호화를 스킵하도록 제어한다. 또, 스텝 S203에서 부호화 대상 CU의 예측 모드가 인트라 예측이라고 판정했을 경우, 또는, 스텝 S204에서 CU 사이즈가 minInterPredUnitSize보다 크다고 판정했을 경우에는, 스텝 S205에서, 부호화 제어기(107)는, 엔트로피 부호화기(102)가 당해 부호화 대상 CU의 PU 파티션 타입 정보를 엔트로피 부호화하도록 제어한다.
또, 상술한 pred_mode 신택스, 및 inter_partitioning_idc 신택스는, 비특허문헌 2의 4.1.10 Prediction unit syntax의 표기를 따르면, 도 5에 나타내는 리스트에 표시되는 바와 같이 시그널링된다. "if(currPredUnitSize > minInterPredUnitSize)"의 조건에 의해, minInterPredUnitSize보다 큰 사이즈의 CU의 PU 헤더에 있어서만, inter_partitioning_idc 신택스가 시그널링되는 것이, 본 실시형태의 특징이다.
본 실시형태의 영상 부호화 장치는, 시그널링되는 인터 PU 파티션 타입 신택스의 개수를 삭감하도록, 부호화 대상 CU의 CU 사이즈가 소정의 최소 인터 PU 사이즈 이하일 때에, 당해 부호화 대상 CU의 PU 헤더 레이어의 인터 PU 파티션 타입 신택스를 엔트로피 부호화시키지 않는다. 시그널링되는 인터 PU 파티션 타입 신택스의 개수를 삭감함으로써, 비트스트림을 차지하는 PU 헤더의 부호량의 비율이 작아지므로, 영상의 품질이 더 개선된다.
또한, 본 실시형태의 영상 부호화 장치는, 최소 인터 PU 사이즈 미만의 인터 PU가 출현하지 않도록, 부호화 대상 CU의 CU 사이즈가 소정의 최소 인터 PU 사이즈를 넘을 때에, 당해 부호화 대상 CU의 PU 헤더 레이어의 인터 PU 파티션 타입 신택스를 소정의 인터 PU 파티션 타입으로 설정해서 엔트로피 부호화시킨다. 최소 인터 PU 사이즈 미만의 인터 PU가 출현하지 않음으로써, 메모리 대역이 삭감된다.
실시형태 3.
제3 실시형태의 영상 복호 장치는, 제2 실시형태의 영상 부호화 장치가 생성한 비트스트림을 복호한다.
본 실시형태의 영상 복호 장치는, 비트스트림에 다중화된 최소 인터 PU 사이즈 정보를 다중화 해제하는 수단, 다중화 해제한 최소 인터 PU 사이즈 정보에 의거하여 인터 PU 파티션 타입을 판독하는 소정의 CU 사이즈를 결정하는 CU 사이즈 결정 수단, 및 CU 사이즈 결정 수단이 결정한 CU 사이즈로 인터 PU 파티션 타입을 비트스트림으로부터 판독하는 판독 수단을 구비하는 것을 특징으로 한다.
도 6에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는, 다중화 해제기(201), 엔트로피 복호기(202), 역변환/역양자화기(203), 예측기(204), 버퍼(205), 및 복호 제어기(206)를 구비한다.
다중화 해제기(201)는, 입력되는 비트스트림을 다중화 해제하고, 최소 인터 PU 사이즈 정보, 및 엔트로피 부호화된 영상 비트스트림을 추출한다. 다중화 해제기(201)는, 도 3에 나타내는 리스트에 나타나 있는 바와 같이, 시퀀스 파라미터에 있어서, log2_min_coding_unit_size_minus3 신택스와 max_coding_unit_hierarchy_depth 신택스에 후속하는 min_inter_pred_unit_hierarchy_depth 신택스를 다중화 해제한다. 또한, 다중화 해제기(201)는, 다중화 해제한 신택스의 값을 이용하여, 인터 PU 파티션 타입 신택스(inter_partitioning_idc 신택스)가 전송되는 최소 인터 PU 사이즈(minInterPredUnitSize)를 이하와 같이 결정한다.
minInterPredUnitSize = 1 <<(log2_min_coding_unit_size_minus3 + 3 + min_inter_pred_unit_hierarchy_depth)
즉, 본 실시형태의 다중화 해제기(201)는, 다중화 해제한 최소 인터 PU 사이즈 정보에 의거하여 인터 PU 파티션 타입 신택스를 판독하는 CU 사이즈를 결정하는 역할도 맡고 있다.
또한, 다중화 해제기(201)는, 최소 인터 PU 사이즈를 복호 제어기(206)에 공급한다.
엔트로피 복호기(202)는, 영상 비트스트림을 엔트로피 복호한다. 엔트로피 복호기(202)는, 엔트로피 복호한 변환 양자화값을 역변환/역양자화기(203)에 공급한다. 엔트로피 복호기(202)는, 엔트로피 복호한 split_coding_unit_flag 및 예측 파라미터를 복호 제어기(206)에 공급한다.
단, 본 실시형태의 복호 제어기(206)는, 복호 대상 CU의 예측 모드가 인터 예측이며, 또한, 그 CU 사이즈가 minInterPredUnitSize일 때에는, 엔트로피 복호기(202)에 당해 복호 대상 CU의 인터 PU 파티션 타입 신택스의 엔트로피 복호를 스킵시킨다. 또한, 복호 제어기(206)는 당해 복호 대상 CU의 인터 PU 파티션 타입을 2N×2N으로 설정한다. 또, 복호 대상 CU의 CU 사이즈가 minInterPredUnitSize 미만일 때, 그 CU의 예측 모드는 인트라 예측으로만 된다.
역변환/역양자화기(203)는, 소정의 양자화 스텝 폭으로, 휘도 및 색차의 변환 양자화값을 역양자화한다. 또한, 역변환/역양자화기(203)는, 역양자화한 주파수 변환 계수를 역주파수 변환한다.
역주파수 변환 후, 예측기(204)는, 복호 제어기(206)로부터 공급되는 예측 파라미터에 의거하여 버퍼(205)에 저장된 재구축 픽처의 화상을 이용하여 예측 신호를 생성한다.
역변환/역양자화기(203)에서 역주파수 변환된 재구축 예측 오차 화상은, 예측기(204)로부터 공급되는 예측 신호가 더해져서, 재구축 픽처로서 버퍼(205)에 공급된다.
그리고, 버퍼(205)에 저장된 재구축 픽처가 디코드 화상으로서 출력된다.
상술한 동작에 의거하여 본 실시형태의 영상 복호 장치는 디코드 화상을 생성한다.
다음으로, 본 실시형태의 특징인 인터 PU 파티션 타입 신택스 판독의 동작을 도 7의 플로차트를 참조해서 설명한다.
도 7에 나타내는 바와 같이, 엔트로피 복호기(202)는, 스텝 S301에서, split_coding_unit_flag를 엔트로피 복호해서 CU의 사이즈를 확정한다. 또한, 스텝 S302에서, 엔트로피 복호기(202)는, 예측 모드를 엔트로피 복호한다. 즉, 엔트로피 복호기(202)는, pred_mode 신택스를 엔트로피 복호한다. 또한, 스텝 S303에서, 예측 모드가 인터 예측이라고 판정하고, 또한, 스텝 S304에서, 확정한 CU 사이즈가 minInterPredUnitSize 이하라고 판정했을 때, 스텝 S305에서, 복호 제어기(206)는, 엔트로피 복호기(202)에 있어서의 인터 PU 파티션 타입의 엔트로피 복호를 스킵하도록 제어하고, 당해 CU의 PU 파티션 타입을 2N×2N으로 설정하도록 제어한다(inter_partitioning_idc = 0으로 한다).
또, 스텝 S303에서, 예측 모드가 인트라 예측이라고 판정했을 경우, 또는, 스텝 S304에서, 확정한 CU 사이즈가 minInterPredUnitSize보다 크다고 판정했을 경우, 복호 제어기(206)는, 스텝 S306에서, 엔트로피 복호기(202)에 있어서의 당해 복호 대상 CU의 PU 파티션 타입의 엔트로피 복호를 스킵하지 않도록 제어하고, 당해 CU의 PU 파티션 타입을 엔트로피 복호 결과의 PU 파티션 타입으로 설정한다.
또한, 제1 실시형태 및 제2 실시형태의 영상 부호화 장치는, 제1 실시형태에서 이용된 최소 인터 PU 사이즈 정보(min_inter_pred_unit_hierarchy_depth)를, 도 8에 나타내는 리스트나 도 9에 나타내는 리스트에 표시되어 있는 바와 같이, 픽처 파라미터 세트나 슬라이스 헤더에 있어서 다중화할 수 있다. 마찬가지로, 본 실시형태의 영상 복호 장치는, 픽처 파라미터 세트나 슬라이스 헤더로부터 min_inter_pred_unit_hierarchy_depth 신택스를 다중화 해제할 수 있다.
또한, 제1 실시형태 및 제2 실시형태의 영상 부호화 장치는, min_inter_pred_unit_hierarchy_depth 신택스를, LCU 사이즈(maxCodingUnitSize)를 최소 인터 PU 사이즈(minInterPredUnitSize)로 나눈 값의 "2"를 밑으로 하는 log(대수)로 해도 된다. 즉, 하기 식을 이용해도 된다.
min_inter_pred_unit_hierarchy_depth = log2(maxCodingUnitSize/ minInterPredUnitSize)
이 경우, 본 실시형태의 영상 복호 장치는, 최소 인터 PU 사이즈를, min_inter_pred_unit_hierarchy_depth 신택스에 의거하여 이하와 같이 계산할 수 있다.
minInterPredUnitSize = 1 << (log2_min_coding_unit_size_minus3 + 3 + max_coding_unit_hierarchy_depth - min_inter_pred_unit_hierarchy_depth)
본 실시형태의 영상 복호 장치에서는, 최소 인터 PU 사이즈 미만의 인터 PU가 출현하지 않으므로, 메모리 대역이 삭감된다.
실시형태 4.
제4 실시형태의 영상 복호 장치는, 제1 실시형태의 영상 부호화 장치가 생성한 비트스트림을 복호한다.
본 실시형태의 영상 복호 장치는, 비트스트림에 다중화된 최소 인터 PU 사이즈 정보를 다중화 해제하는 수단, 및 다중화 해제한 최소 인터 PU 사이즈 정보에 의거하여 복호 대상 CU를 포함하는 비트스트림에 액세스하는 액세스 유닛에 있어서의 에러를 검출하는 에러 검출 수단을 구비하는 것을 특징으로 한다. 액세스 유닛은, 비특허문헌 1의 3.1 access unit에 있어서 정의되어 있는 바와 같이, 1픽처분의 부호화 데이터를 저장하는 단위이다. 에러는, 소정 면적당 허용하는 모션 벡터의 개수에 의거하는 제약에 대한 위반을 의미한다.
도 10에 나타내는 바와 같이, 본 실시형태의 영상 복호 장치는, 다중화 해제기(201), 엔트로피 복호기(202), 역변환/역양자화기(203), 예측기(204), 버퍼(205), 및 에러 검출기(207)를 구비한다.
다중화 해제기(201)는 제3 실시형태에 있어서의 다중화 해제기(201)와 마찬가지로 동작하고, 입력되는 비트스트림을 다중화 해제하고, 최소 인터 PU 사이즈 정보, 및 엔트로피 부호화된 영상 비트스트림을 추출한다. 또한, 최소 인터 PU 사이즈를 구해서, 최소 인터 PU 사이즈를 에러 검출기(207)에 공급한다.
엔트로피 복호기(202)는, 영상 비트스트림을 엔트로피 복호한다. 엔트로피 복호기(202)는, 엔트로피 복호한 변환 양자화값을 역변환/역양자화기(203)에 공급한다. 엔트로피 복호기(202)는, 엔트로피 복호한 split_coding_unit_flag 및 예측 파라미터를 에러 검출기(207)에 공급한다.
에러 검출기(207)는, 다중화 해제기(201)로부터 공급되는 최소 인터 PU 사이즈에 의거하여, 엔트로피 복호기(202)로부터 공급되는 예측 파라미터의 에러 검출을 행하고, 그 결과를 예측기(204)에 공급한다. 에러 검출의 동작은 후술된다. 또, 에러 검출기(207)는, 제3 실시형태에 있어서의 복호 제어기(206)의 역할도 맡는다.
역변환/역양자화기(203)는, 제3 실시형태에 있어서의 역변환/역양자화기(203)와 마찬가지로 동작한다.
예측기(204)는, 에러 검출기(207)로부터 공급되는 예측 파라미터에 의거하여, 버퍼(205)에 저장된 재구축 픽처의 화상을 이용하여 예측 신호를 생성한다.
버퍼(205)는, 제3 실시형태에 있어서의 버퍼(205)와 마찬가지로 동작한다.
상술한 동작에 의거하여, 본 실시형태의 영상 복호 장치는 디코드 화상을 생성한다.
도 11의 플로차트를 참조해서, 복호 대상 CU를 포함하는 비트스트림에 액세스하는 액세스 유닛의 에러를 검출하는, 본 실시형태의 영상 복호 장치의 에러 검출 동작을 설명한다.
스텝 S401에서, 에러 검출기(207)는, CU 사이즈, 예측 모드, PU 파티션 타입을 확정한다.
스텝 S402에서, 에러 검출기(207)는, 복호 대상 CU의 PU의 예측 모드를 판정한다. 예측 모드가 인트라 예측일 경우에는, 처리를 종료한다. 예측 모드가 인터 예측일 경우, 스텝 S403으로 진행된다.
스텝 S403에서, 에러 검출기(207)는, 복호 대상 CU의 PU 사이즈와 최소 인터 PU 사이즈를 비교한다. 당해 복호 대상 CU의 PU 사이즈가 최소 인터 PU 사이즈 이상일 경우에는, 처리를 종료한다. 당해 복호 대상 CU의 PU 사이즈가 최소 인터 PU 사이즈 미만일 경우에는, 스텝 S404로 진행된다.
스텝 S404에서, 에러 검출기(207)는, 에러가 있다고 판단하고, 에러를 외부에 통지한다. 에러 검출기(207)는, 예를 들면 에러가 발생한 당해 복호 대상 CU의 어드레스를 출력한다.
이상의 동작에 의해, 에러 검출기(207)는, 복호 대상 CU를 포함하는 비트스트림에 액세스하는 액세스 유닛의 에러를 검출한다.
또, 상기의 각 실시형태를, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 12에 나타내는 정보 처리 시스템은, 프로세서(1001), 프로그램 메모리(1002), 영상 데이터를 저장하기 위한 기억 매체(1003) 및 비트스트림을 저장하기 위한 기억 매체(1004)를 구비한다. 기억 매체(1003)와 기억 매체(1004)는, 별개의 기억 매체여도 되고, 동일한 기억 매체로 이루어지는 기억 영역이어도 된다. 기억 매체로서, 하드디스크 등의 자기 기억 매체를 이용할 수 있다.
도 12에 나타내진 정보 처리 시스템에 있어서, 프로그램 메모리(1002)에는, 도 1, 도 6, 도 10의 각각에 나타내진 각 블럭(버퍼의 블럭을 제외)의 기능을 실현하기 위한 프로그램이 저장된다. 그리고, 프로세서(1001)는, 프로그램 메모리(1002)에 저장되어 있는 프로그램에 따라서 처리를 실행함으로써, 도 1, 도 6, 도 10의 각각에 나타내진 영상 부호화 장치 또는 영상 복호 장치의 기능을 실현한다.
도 13은, 본 발명에 따른 영상 부호화 장치의 주요부를 나타내는 블럭도이다. 도 13에 나타내는 바와 같이, 본 발명에 따른 영상 부호화 장치는, 인터 예측을 이용하여 영상 부호화를 행하는 영상 부호화 장치로서, 소정의 최소 인터 PU 사이즈(PA)와, 부호화 대상 CU의 CU 사이즈(PB)에 의거하여, 부호화 대상 CU의 인터 PU 파티션 타입을 제어하는 부호화 제어 수단(11)(일례로서, 도 1에 나타내는 부호화 제어기(107))을 구비한다.
도 14는, 본 발명에 따른 영상 복호 장치의 주요부를 나타내는 블럭도이다. 도 14에 나타내는 바와 같이, 본 발명에 따른 영상 복호 장치는, 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 장치로서, 소정의 최소 인터 PU 사이즈(PA)와, 복호 대상 CU의 사이즈(PB)에 의거하여, 복호 대상 CU의 인터 PU 파티션을 제어하는 복호 제어 수단(21)(일례로서, 도 6 및 도 10에 나타내는 복호 제어기(207))을 구비한다.
이상, 실시형태 및 실시예를 참조해서 본 발명을 설명했지만, 본 발명은 상기 실시형태 및 실시예에 한정되지 않는다. 본 발명의 구성이나 상세에는, 본 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
이 출원은, 2011년 1월 13일에 출원된 일본특허출원 2011-4964호를 기초로 하는 우선권을 주장하고, 그 개시의 전부를 여기에 포함한다.
11 부호화 제어 수단
21 복호 제어 수단
101 변환/양자화기
102 엔트로피 부호화기
103 역변환/역양자화기
104 버퍼
105 예측기
106 다중화기
107, 108 부호화 제어기
201 다중화 해제기
202 엔트로피 복호기
203 역변환/역양자화기
204 예측기
205 버퍼
206 복호 제어기
207 에러 검출기
1001 프로세서
1002 프로그램 메모리
1003 기억 매체
1004 기억 매체

Claims (3)

  1. 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 장치로서,
    복호 대상 CU의 예측 모드가 인터 예측이고, 상기 복호 대상 CU의 사이즈가 최소 CU 사이즈와 같은 경우에, 상기 복호 대상 CU의 파티션 타입을, 상기 복호 대상 CU를 분할하여 획득되는 PU의 사이즈가 최소 사이즈인 것을 나타내는 N×N 이외의 타입으로 설정하는 복호 제어 수단을 포함하는 영상 복호 장치.
  2. 인터 예측을 이용하여 영상 복호를 행하는 영상 복호 방법으로서,
    복호 대상 CU의 예측 모드가 인터 예측이고, 상기 복호 대상 CU의 사이즈가 최소 CU 사이즈와 같은 경우에, 상기 복호 대상 CU의 파티션 타입을, 상기 복호 대상 CU를 분할하여 획득되는 PU의 사이즈가 최소 사이즈인 것을 나타내는 N×N 이외의 타입으로 설정하는 영상 복호 방법.
  3. 인터 예측을 이용하여 영상 복호를 행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체로서, 상기 프로그램은, 컴퓨터에,
    복호 대상 CU의 예측 모드가 인터 예측이고, 상기 복호 대상 CU의 사이즈가 최소 CU 사이즈와 같은 경우에, 상기 복호 대상 CU의 파티션 타입을, 상기 복호 대상 CU를 분할하여 획득되는 PU의 사이즈가 최소 사이즈인 것을 나타내는 N×N 이외의 타입으로 설정하는 처리를 실행시키는 컴퓨터 판독 가능한 기록 매체.
KR1020157012839A 2011-01-13 2012-01-05 영상 복호 장치, 영상 복호 방법 및 기록 매체 KR101829515B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011004964 2011-01-13
JPJP-P-2011-004964 2011-01-13
PCT/JP2012/000046 WO2012096147A1 (ja) 2011-01-13 2012-01-05 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147036708A Division KR20150020622A (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램

Publications (2)

Publication Number Publication Date
KR20150063582A KR20150063582A (ko) 2015-06-09
KR101829515B1 true KR101829515B1 (ko) 2018-02-14

Family

ID=46507056

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020157012839A KR101829515B1 (ko) 2011-01-13 2012-01-05 영상 복호 장치, 영상 복호 방법 및 기록 매체
KR1020157017185A KR101843624B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체
KR1020147036708A KR20150020622A (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020137016923A KR20130098420A (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020167014704A KR101738322B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020157017185A KR101843624B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체
KR1020147036708A KR20150020622A (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020137016923A KR20130098420A (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
KR1020167014704A KR101738322B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 기록 매체

Country Status (10)

Country Link
US (4) US10841590B2 (ko)
EP (4) EP2665272B1 (ko)
JP (5) JP5673693B2 (ko)
KR (5) KR101829515B1 (ko)
CN (5) CN103329535B (ko)
BR (5) BR122015017257B1 (ko)
ES (3) ES2882882T3 (ko)
HK (3) HK1208978A1 (ko)
PL (3) PL2665272T3 (ko)
WO (1) WO2012096147A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
GB2505169B (en) * 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
US9712871B2 (en) 2014-05-01 2017-07-18 Qualcomm Incorporated Determination bitstream decoding capability in video coding
WO2016153251A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017130696A1 (ja) * 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
KR20180136967A (ko) * 2016-04-22 2018-12-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN111183641A (zh) * 2017-10-03 2020-05-19 日本电气株式会社 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
CN110213591B (zh) * 2018-03-07 2023-02-28 腾讯科技（深圳）有限公司 一种视频运动估计方法、装置及存储介质
US10284860B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN116744008A (zh) * 2018-12-15 2023-09-12 华为技术有限公司 图像重建方法和装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR100587698B1 (ko) * 2004-10-22 2006-06-08 주식회사 휴맥스 선택적 예측 부호화/복호화 방법 및 장치
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
KR20070024211A (ko) * 2005-08-26 2007-03-02 삼성전자주식회사 영상압축장치 및 방법
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
JP4666255B2 (ja) * 2005-12-27 2011-04-06 日本電気株式会社 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
JP2009081781A (ja) * 2007-09-27 2009-04-16 Panasonic Corp 動き補償装置及び動き補償方法
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
JP5390794B2 (ja) * 2008-06-05 2014-01-15 キヤノン株式会社 動きベクトル探索装置および動きベクトル探索方法
US8488678B2 (en) 2008-04-01 2013-07-16 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
JP5548397B2 (ja) 2009-06-25 2014-07-16 京楽産業．株式会社 遊技機
JP5489557B2 (ja) * 2009-07-01 2014-05-14 パナソニック株式会社 画像符号化装置及び画像符号化方法
KR101487686B1 (ko) * 2009-08-14 2015-01-30 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN101648086B (zh) 2009-09-02 2012-08-29 朱宁 快速沉淀方法及快速沉淀分离装置
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US8971656B2 (en) * 2009-12-10 2015-03-03 Sk Telecom Co., Ltd. Encoding/decoding method and apparatus using a tree structure
US20110194613A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
CN103026710A (zh) * 2010-08-03 2013-04-03 索尼公司 图像处理装置和图像处理方法
JP5577183B2 (ja) 2010-08-05 2014-08-20 ヤンマー株式会社 ガスエンジンの掃気運転方法
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US8885704B2 (en) 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
US8526495B2 (en) 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
CN103698386B (zh) 2010-12-31 2016-03-09 同方威视技术股份有限公司 用于痕量探测仪的进样装置以及具有该进样装置的痕量探测仪
US9049452B2 (en) * 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
IN2014CN02456A (ko) * 2011-09-29 2015-06-19 Sharp Kk

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Description of video coding technology proposal by NEC Corporation(JCTVC-A104), Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11(2010.04.23.)*

Also Published As

Publication number Publication date
EP3833026A1 (en) 2021-06-09
JP5787002B2 (ja) 2015-09-30
CN103329535A (zh) 2013-09-25
JP2014187701A (ja) 2014-10-02
CN107105260B (zh) 2021-05-07
CN105187825A (zh) 2015-12-23
JP2015222976A (ja) 2015-12-10
KR20150083134A (ko) 2015-07-16
ES2864874T3 (es) 2021-10-14
EP3833026B1 (en) 2022-07-13
CN106878730B (zh) 2020-06-26
US20160029025A1 (en) 2016-01-28
KR101738322B1 (ko) 2017-05-19
PL2665272T3 (pl) 2021-10-18
CN103329535B (zh) 2017-04-05
KR20150063582A (ko) 2015-06-09
JP2016226019A (ja) 2016-12-28
BR122015017257A2 (pt) 2019-08-27
BR122020018528B1 (pt) 2022-05-24
US20130336397A1 (en) 2013-12-19
HK1208978A1 (en) 2016-03-18
PL3833026T3 (pl) 2022-11-07
JP5994911B2 (ja) 2016-09-21
CN105208393A (zh) 2015-12-30
BR122015024083A2 (pt) 2020-05-26
US9712826B2 (en) 2017-07-18
HK1219191A1 (zh) 2017-03-24
HK1219190A1 (zh) 2017-03-24
CN105187825B (zh) 2018-03-09
WO2012096147A1 (ja) 2012-07-19
EP2665272A4 (en) 2014-07-09
EP2899976A1 (en) 2015-07-29
US20230156198A1 (en) 2023-05-18
JP5673693B2 (ja) 2015-02-18
BR122020018527B1 (pt) 2022-05-24
US11943449B2 (en) 2024-03-26
US20210029363A1 (en) 2021-01-28
KR20150020622A (ko) 2015-02-26
EP2899976B1 (en) 2021-05-19
JPWO2012096147A1 (ja) 2014-06-09
EP2665272B1 (en) 2021-03-24
KR101843624B1 (ko) 2018-03-29
BR122015017257B1 (pt) 2022-08-02
BR122015024083B1 (pt) 2022-08-02
US11582461B2 (en) 2023-02-14
EP3860125A1 (en) 2021-08-04
ES2882882T3 (es) 2021-12-03
JP2018007268A (ja) 2018-01-11
KR20130098420A (ko) 2013-09-04
JP6213636B2 (ja) 2017-10-18
CN106878730A (zh) 2017-06-20
US10841590B2 (en) 2020-11-17
EP2665272A1 (en) 2013-11-20
CN105208393B (zh) 2017-10-27
KR20160070161A (ko) 2016-06-17
CN107105260A (zh) 2017-08-29
PL2899976T3 (pl) 2021-11-22
BR112013017799B1 (pt) 2022-05-24
BR112013017799A2 (pt) 2016-10-11
JP6497423B2 (ja) 2019-04-10
ES2928097T3 (es) 2022-11-15

Similar Documents

Publication Publication Date Title
KR101829515B1 (ko) 영상 복호 장치, 영상 복호 방법 및 기록 매체
US11647205B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101003105; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160526

Effective date: 20171212

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant