KR20170141813A - 화상 부호화 장치 및 화상 복호 장치 - Google Patents

화상 부호화 장치 및 화상 복호 장치 Download PDF

Info

Publication number
KR20170141813A
KR20170141813A KR1020177035944A KR20177035944A KR20170141813A KR 20170141813 A KR20170141813 A KR 20170141813A KR 1020177035944 A KR1020177035944 A KR 1020177035944A KR 20177035944 A KR20177035944 A KR 20177035944A KR 20170141813 A KR20170141813 A KR 20170141813A
Authority
KR
South Korea
Prior art keywords
information
prediction
vector
frame
image
Prior art date
Application number
KR1020177035944A
Other languages
English (en)
Other versions
KR101912059B1 (ko
Inventor
료지 하시모또
세이지 모찌즈끼
겐이찌 이와따
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20170141813A publication Critical patent/KR20170141813A/ko
Application granted granted Critical
Publication of KR101912059B1 publication Critical patent/KR101912059B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

부호화 방법의 전달이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증한다. 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보와 예측 정보의 오차를 구하여 예측 부호화를 행하고, 그 예측 부호화의 처리 계열에 따라서, 상기 분할된 화상의 정보에 대한 처리마다 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 생성한다. 이때, 상기 데이터 스트림은, 상기 예측 방법이 벡터를 사용하는 프레임내 예측 부호화인 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다, 벡터 정보와 상기 오차의 정보의 페어를 갖는다.

Description

화상 부호화 장치 및 화상 복호 장치{IMAGE CODING DEVICE AND IMAGE DECODING DEVICE}
본 발명은 화상의 예측 부호화를 행하는 화상 부호화 장치 및 예측 부호화된 정보에 대한 예측 복호를 행하는 화상 복호 장치에 관한 것으로, 예를 들어 휴대 전화, 네비게이션 시스템, DVD(Digital Versatile Disc)/HDD(Hard Disk Drive)/BD(Blue-ray Disc) 레코더, 디지털 비디오 카메라, 디지털 카메라, 디지털 텔레비전, 전화 회의 시스템 등의 동화상 부호화 복호 장치에 적용하여 유효한 기술에 관한 것이다.
종래, 동화상 부호화 분야의 기술에서는, MPEG(Moving Picture Experts Group), ITU-T(International Telecommunication Union, Telecommunication Standardization Sector)가 규격화된 H.264로 대표되는 부호화 방식 등이 폭넓게 사용되고 있다. 이들 부호화 방식에서는, 부호량을 삭감하기 위하여 예측 부호화가 채용되어 있어, 부호화 시에는, 임의의 방법으로 예측한 화상(예측 화상)과 원래의 화상의 차분을 부호화한다. 반대로, 복호 시에는, 예측 화상에 차분을 가함으로써 복호 화상을 얻는다.
1장의 화상은, 예를 들어 휘도와 2개의 색차로 구성된다. 이 포맷은 YCbCr이라고 불린다. 동화상은, 복수 장이 연속된 화상으로 구성된다. 현재의 지상 디지털 방송에서는 1초간 약 30장으로 되어 있다. 이에 기초하여, 예측 화상의 생성 방법은, 크게 나누어서 2개의 종류로 분류된다. 하나는, 1장의 화상을 단독으로 사용하여, 동일 화면 내에서 예측을 행하는 방법(프레임내 예측 또는 화면내 예측), 다른 하나는, 연속하는 화상이라는 특징을 사용하여 화면간에서 예측을 행하는 방법(프레임간 예측 또는 화면간 예측)이다. 일반적으로, 동화상에서는, 연속하는 화상간의 상관이 높기 때문에, 화면내 예측보다 화면간 예측이, 부호화 효율이 더 높다. 그러나, 화면내 예측만으로 부호화된 화상은, 동화상의 선두, 재생시의 랜덤 액세스성의 향상, 에러 시의 복귀에 필요하여, 일반적으로 0.5초 내지 2초에 1회 정도 삽입되어 있다.
비특허문헌 1 및 2에서, 화면내 예측 방법, 화면간 예측 방법 각각이 기재되어 있다. 이들 비특허문헌에서는, 화상을 16 화소×16 라인으로 분할한 매크로 블록이라 불리는 처리 단위로 부호화 처리를 행한다. 예측 화상의 생성 단위는, 매크로 블록의 내부를 더 세분화한 8×8, 4×4 단위 등이 된다(이후, 예측 화상의 생성 단위를 본 명세서에서는, "블록"이라고 함).
화면간 예측에서는, 부호화/복호 완료 화상을 사용하여 예측 화상의 생성을 행한다. 그때에는, 블록마다 어느 화상의 어느 위치로부터 예측을 행할지를 나타내는 "참조 인덱스(레퍼런스 인덱스: (reference index)"와 "움직임 벡터(모션 벡터: (motion vector)"가 부호화된다. 참조 인덱스는, 예측에 사용하는 화상을 나타내는 것이며, 예를 들어 현재의 화상의 1장 앞이 인덱스 0, 2장 앞이 인덱스 1과 같이 할당된다. 움직임 벡터는, 현재의 블록의 위치와 예측에 사용하는 화상의 위치의 차분값이며, 화상은 2차원 정보이기 때문에, 수평 성분, 수직 성분의 2개의 값으로 구성된다. 비특허문헌에서는, 비트 스트림 중에는, 휘도의 벡터만이 부호화되어 있다.
한편, 화면내 예측에서는, 블록에 인접하는 화소로부터 일정한 규칙에 따라서 예측 화상의 생성을 행한다. 비특허문헌 1, 2에서는, 좌측, 상측의 화소로부터 예측하는 방법 등 9종류가 규정되어 있다. 또한, 휘도와 색차의 각각에 예측 방법이 존재하며, 휘도와 색차의 예측 방법이 상이한 것도 있다. 그 밖의 화면내 예측 방법으로서 특허문헌 1 및 2가 존재한다. 이들 문헌에서는, 벡터에 의해 동일 화면 내의 참조 위치를 지정함으로써 예측 화상의 생성을 행한다. 즉, 화면간 예측에서의 부호화/복호 완료 화상 대신에 현재 부호화/복호 중의 화상을 예측에 사용함으로써 주기적인 이산 패턴에 대하여 높은 부호화 효율을 실현한다. 특허문헌 1에서는, 예측 화상을 제작하는 단위를 16×16, 8×8로 가변하도록 함으로써 부호화 효율을 향상시키고 있다. 또한, 특허문헌 2에서는, 참조 범위에 포함되는 아직 부호화/복호가 끝나지 않은 영역(이후, 미 부호화 영역이라 함)을 체배의 벡터를 사용하여 보간함으로써 미 부호화 영역이 많이 포함되는 범위를 참조했을 경우의 부호화 효율의 저하를 억제하고 있다. 이 예측 방법을 이후, 벡터 예측이라 칭한다.
미국 특허 공개 제2003/0202588호 국제 공개 팸플릿 WO/2010/082231호
ITU-T H.264, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video, Advanced video coding for generic audiovisual services ISO/IEC 14496-10, Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding
복호 장치측에서 예측 화상을 생성하기 위해서는 부호 장치로부터 복호 장치에 예측 방법의 정보가 전달되어야만 한다. 즉, 예측 방법에는 프레임간 예측과 프레임내 예측이 있고, 프레임내 예측에는 상기 벡터 예측이나 그 밖의 예측 방법이 있다. 어느 예측 방법을 사용했는지를 정확하게 전달하지 않으면 화상의 복호를 행할 수 없다. 게다가, 매초 30 프레임이라는 방대한 데이터량을 취급하는 성질상, 블록 단위로 어떠한 부호화 방식을 사용했는지를 나타내는 정보는 1비트라도 그 데이터 크기를 작게 할 필요가 있음이 본 발명자에 의해 발견되었다.
본 발명의 목적은, 부호화 방법의 전달이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증할 수 있는 화상 부호화 장치를 제공하는 데에 있다.
본 발명의 다른 목적은, 부호화 방법의 수령이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증할 수 있는 화상 복호 장치를 제공하는 데에 있다.
본 발명의 상기 및 기타 목적과 신규 특징은 본 명세서의 기술 및 첨부 도면으로부터 밝혀질 것이다.
본원에서 개시되는 발명 중 대표적인 것의 개요를 간단하게 설명하면 하기와 같다.
즉, 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보와 예측 정보의 오차를 구하여 예측 부호화를 행하고, 그 예측 부호화의 처리 계열에 따라서, 상기 분할된 화상의 정보에 대한 처리마다 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 생성한다. 이때, 상기 데이터 스트림은, 상기 예측 방법이 벡터 정보를 사용하는 프레임내 예측 부호화일 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다 벡터 정보와 상기 오차의 정보의 페어를 갖는다.
본원에서 개시되는 발명 중 대표적인 것에 의해 얻어지는 효과를 간단하게 설명하면 하기와 같다.
즉, 부호화 방법의 전달 및 수령이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증할 수 있다.
도 1은 스트림 부호화부(복호부)에 의한 부호화 처리(복호 처리)의 처리 수순을 예시하는 흐름도이다.
도 2는 휴대 전화나 DVD/HDD/BD 레코더 등의 동화상 부호화 복호 장치에 적용되는 화상 부호화 장치 및 화상 복호 장치를 예시하는 블록도이다.
도 3은 예측 벡터의 설명도이다.
도 4는 벡터 정보 등의 설명도이다.
도 5는, 도 1에 관한 데이터 스트림의 배열을 예시하는 설명도이다.
도 6은 스트림 부호화부(복호부)에 의한 부호화 처리(복호 처리)의 다른 처리 수순을 예시하는 흐름도이다.
도 7은, 도 6에 관한 데이터 스트림의 배열을 예시하는 설명도이다.
도 8은 레퍼런스 인덱스(reference index)에 의한 참조 프레임의 지정의 구체예를 도시하는 설명도이다.
도 9는 스트림 부호화부(복호부)에 의한 부호화 처리(복호 처리)의 또 다른 처리 수순을 예시하는 흐름도이다.
도 10은, 도 9에 관한 데이터 스트림의 배열을 예시하는 설명도이다.
도 11은 파트 크기(part_size)와 벡터 모드(vec_mode)의 값의 할당과 프레드 모드(pred_mode)의 값의 할당의 관계를 예시하는 설명도이다.
도 12는 스트림 부호화부(복호부)에 의한 부호화 처리(복호 처리)의 또 다른 처리 수순을 예시하는 흐름도이다.
도 13은, 도 12에 관한 데이터 스트림의 배열을 예시하는 설명도이다.
도 14는 스트림 부호화부(복호부)에 의한 부호화 처리(복호 처리)의 또 다른 처리 수순을 예시하는 흐름도이다.
도 15는, 도 14에 관한 데이터 스트림의 배열을 예시하는 설명도이다.
도 16은 화상 부호화 장치의 구체예를 도시하는 블록도이다.
도 17은 화상 복호 장치의 구체예를 도시하는 블록도이다.
1. 실시 형태의 개요
우선, 본원에서 개시되는 발명의 대표적인 실시 형태에 대하여 개요를 설명한다. 대표적인 실시 형태에 따른 개요 설명에서 괄호를 붙여서 참조하는 도면 중의 참조 부호는, 그것이 붙여진 구성 요소의 개념에 포함되는 것을 예시하는 것에 지나지 않는다.
〔1〕 <부호화 장치의 데이터 스트림>
본 발명의 대표적인 실시 형태에 따른 화상 부호화 장치(10)는, 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보와 예측 정보의 오차를 구하여 예측 부호화를 행하는 화상 부호화부와, 상기 화상 부호화부에 의한 예측 부호화의 처리 결과에 기초하여, 상기 분할된 화상의 정보에 대한 처리마다 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 생성하는 스트림 부호화부를 갖는다. 이때, 상기 데이터 스트림은, 상기 예측 방법이, 상기 예측 정보를 생성하기 위한 예측 화상의 지정에 벡터 정보를 사용하는 프레임내 예측 부호화일 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다 벡터 정보와 상기 오차의 정보의 페어를 갖는다.
상기로부터, 생성되는 데이터 스트림에는 예측 부호화의 처리마다, 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보가 배치되고, 벡터 정보를 사용하는 프레임내 예측 부호화에 대해서는 예측 부호화된 정보로서 벡터 정보와 상기 오차의 정보의 페어를 갖는다. 따라서, 부호화 방법의 전달이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증할 수 있다.
〔2〕 <도 1, 도 9의 매크로 블록 타입과 벡터 모드>
항 1의 화상 복호화 장치에서, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상의 정보에 대한 예측이 프레임내 예측 또는 프레임간 예측 중 어느 것이었는지를 나타내는 정보(mb_type)와, 프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보(vec_mode, 도 9의 pred_mode)이다.
상기 예측 방법을 특정하는 정보를 예를 들어 2비트 단위로 나타낼 수 있다.
〔3〕 <도 9의 pred mode ← vec_mode, part size>
항 2의 화상 복호화 장치에서, 상기 프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보는, 상기 분할된 화상의 정보의 화상 크기를 세분화한 서브 크기와 프레임내 예측에 벡터 정보를 사용하는지 여부를 나타내는 정보의 조합을 나타내는 정보이다.
서브 크기를 나타내는 비트수에 대하여 서브 크기의 종류에 여유가 있으면, 복수의 요소를 통합하여 부호화함으로써, 각각의 요소를 개별로 하는 경우에 비해 정보의 비트수의 삭감이 가능하게 된다.
〔4〕 <도 9의 pred mode ← vec_mode, part size의 비트수 압축>
항 3의 화상 부호화 장치에서, 상기 분할된 화상의 정보의 화상 크기를 세분화한 서브 크기와 프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보의 조합을 나타내는 정보는, 상기 서브 크기의 종류를 2의 멱승으로 구별하기 위해 필수인 비트수로 나타낸 정보이다.
서브 크기를 나타내는 비트수에 대하여 서브 크기의 종류에 여유가 있기 때문에, 복수의 요소를 통합하여 부호화함으로써, 각각의 요소를 개별로 하는 경우에 비해 정보의 비트수를 삭감할 수 있다.
〔5〕 <도 6; 프레임간 예측에서 자 프레임을 지정하여 실질 프레임내 예측>
항 1의 화상 부호화 장치에서, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상 정보에 대한 예측이 프레임간 예측 또는 벡터 정보를 사용한 프레임내 예측 중 어느 1개 또는 그 밖의 프레임내 예측인지를 나타내는 정보(pred_type)와, 상기 벡터 정보를 사용하여 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보(reference index)이다.
후자의 정보(reference index)는, 프레임간 예측 부호화에서 참조하는 프레임을 특정하는데 애당초 필요한 정보이며, 그러한 정보를 유용하기 때문에, 상기 예측 방법의 특정만을 위한 정보를 항 2에 비해 1비트 적은 1비트 단위로 나타낼 수 있다.
〔6〕 <도 12 프레임내 예측을 벡터 예측에 한정할 경우>
항 1에 기재된 화상 부호화 장치에서, 프레임내 예측에 벡터 정보를 사용하는 예측만을 채용할 때, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상 정보에 대한 예측이 프레임내 예측 또는 프레임간 예측 중 어느 것인지를 나타내는 정보(mb_type)이다.
프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보가 불필요하게 되어, 상기 예측 방법의 특정만을 하는 정보를 항 2에 비해 1비트 적은 1비트 단위로 나타낼 수 있다.
〔7〕 <도 14; 프레임간 예측에서 자 프레임을 지정하여 실질 벡터를 사용한 프레임내 예측>
항 1의 화상 부호화 장치에서, 프레임내 예측에 벡터 정보를 사용하는 예측만을 채용할 때, 상기 예측 방법을 특정하는 정보는, 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보(reference index)이다.
상기 예측 방법을 특정하는 정보를 항 5에 비해 1비트 적은 1비트 단위로 나타낼 수 있다.
〔8〕 <휘도 성분의 벡터 정보>
항 1의 화상 부호화 장치에서, 상기 벡터 정보는, 휘도 성분의 벡터 정보를 포함한다.
데이터 스트림 중의 벡터 정보를 필요 최저한으로 한정할 수 있다.
〔9〕 <휘도 성분의 벡터 정보, 색차 성분의 벡터 정보>
항 1의 화상 부호화 장치에서, 상기 예측 방법을 특정하는 정보는, 그것이 특정하는 예측 방법이, 상기 예측 정보를 생성하기 위해 사용하는 예측 화상의 지정에 벡터 정보를 사용하는 예측 부호화일 경우에, 당해 벡터 정보로서 휘도 성분의 벡터 정보만, 또는 휘도 성분의 벡터 정보와 색차 성분의 벡터 정보 양쪽 중 어느 것을 사용하는지를 나타내는 정보를 포함한다.
벡터 정보로서 휘도 성분의 벡터 정보만, 또는 휘도 성분의 벡터 정보와 색차 성분의 벡터 정보 양쪽을 필요에 따라서 선택하여 사용할 수 있다.
〔10〕 <벡터를 사용한 프레임내 예측 부호화를 프레임간 예측 부호화의 범주에 포함한다>
본 발명의 대표적인 다른 실시 형태에 따른 화상 부호화 장치(10; 도 2 및 도 6)는, 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보와 예측 정보의 오차를 구하여 예측 부호화를 행하는 화상 부호화부와, 상기 화상 부호화부에 의한 예측 부호화의 처리 결과에 기초하여, 상기 분할된 화상의 정보에 대한 처리마다 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 생성하는 스트림 부호화부를 갖는다. 상기 데이터 스트림은, 상기 예측 방법이, 상기 예측 정보를 생성하기 위한 예측 화상의 지정에 벡터 정보를 사용하는 예측 부호화일 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다, 벡터 정보와 상기 오차의 정보의 페어를 갖는다. 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상 정보에 대한 예측이 벡터 정보를 사용한 예측 또는 그 밖의 프레임내 예측인지를 나타내는 정보(pred_type)와, 상기 벡터 정보를 사용하여 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보(reference index)이며, 상기 분할된 화상 정보를 포함하는 자기 프레임을 프레임간 예측 부호화의 대상 프레임으로 함으로써 벡터 정보를 사용한 프레임내 예측 부호화를 행한다.
상기에 의해, 벡터 정보를 사용하는 프레임내 예측 부호화를 프레임간 예측 부호화의 범주에 포함하여 부호화 방법을 전달할 수 있다. 특히, 후자의 정보(reference index)는, 프레임간 예측 부호화에서 참조하는 프레임을 특정하는데도 애당초 필요한 정보이며, 그러한 정보를 유용하기 때문에, 상기 예측 방법의 특정만을 위한 정보 비트수를 저감시킬 수 있다.
〔11〕 <복호 장치의 데이터 스트림>
본 발명의 대표적인 또 다른 실시 형태에 따른 화상 복호 장치(20)는, 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보에 대한 예측 부호화의 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 입력 계열에 따라서 복호하는 스트림 복호부와, 상기 스트림 복호부에서 복호된 상기 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 이용함으로써, 먼저 복호한 화상 정보에 기초하여 취득한 예측 정보에 오차의 정보를 가하여 화상의 복호를 행하는 화상 복호부를 갖는다. 상기 데이터 스트림은, 상기 예측 방법이, 상기 예측 정보를 생성하기 위한 예측 화상의 지정에 벡터 정보를 사용하는 프레임내 예측 부호화일 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다, 벡터 정보와 상기 오차의 정보의 페어를 갖는다.
상기로부터, 입력되는 데이터 스트림에는 예측 부호화의 처리마다, 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보가 배치되고, 벡터 정보를 사용하는 프레임내 예측 복호를 행하기 위해서는, 예측 부호화된 정보로서 벡터 정보와 상기 오차의 정보의 페어를 갖는다. 따라서, 부호화 방법의 전달이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증할 수 있다.
〔12〕 <도 1, 도 9의 매크로 블록 타입과 벡터 모드>
항 11의 화상 복호 장치에서, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상의 정보에 대한 예측이 프레임내 예측 또는 프레임간 예측 중 어느 것이었는지를 나타내는 정보(mb_type)와, 프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보(vec_mode, 도 9의 pred_mode)이다.
스트림 복호부는 상기 예측 방법을 특정하는 정보를 예를 들어 2비트 단위로 받을 수 있다.
〔13〕 <도 9의 pred mode ← vec_mode, part size>
항 12의 화상 복호 장치에서, 상기 프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보는, 상기 분할된 화상의 정보의 화상 크기를 세분화한 서브 크기와 프레임내 예측에 벡터 정보를 사용하는지 여부를 나타내는 정보의 조합을 나타내는 정보이다.
서브 크기를 나타내는 비트수에 대하여 서브 크기의 종류에 여유가 있으면, 복수의 요소를 통합하여 부호화함으로써, 각각의 요소를 개별로 하는 경우에 비해 정보의 비트수의 삭감이 가능하게 된다.
〔14〕 <도 9의 pred mode ← vec_mode, part size의 비트수 압축>
항 13의 화상 복호 장치에서, 상기 분할된 화상의 정보의 화상 크기를 세분화한 서브 크기와 프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보의 조합을 나타내는 정보는, 상기 서브 크기의 종류를 2의 멱승으로 구별하기 위해 필수인 비트수로 나타낸 정보이다.
서브 크기를 나타내는 비트수에 대하여 서브 크기의 종류에 여유가 있기 때문에, 복수의 요소를 통합하여 부호화함으로써, 각각의 요소를 개별로 하는 경우에 비해 정보의 비트수를 삭감할 수 있다.
〔15〕 <도 6; 프레임간 예측에서 자 프레임을 지정하여 실질 벡터를 사용한 프레임내 예측>
항 11의 화상 복호 장치에서, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상 정보에 대한 예측이 프레임간 예측 또는 벡터 정보를 사용한 프레임내 예측 중 어느 1개 또는 그 밖의 프레임내 예측인지를 나타내는 정보(pred_type)와, 상기 벡터 정보를 사용하여 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보(reference index)이다.
후자의 정보(reference index)는, 프레임간 예측 부호화에서 참조하는 프레임을 특정하는데 애당초 필요한 정보이며, 그러한 정보를 유용하기 때문에, 스트림 복호부는, 상기 예측 방법의 특정만을 위한 정보를 항 2에 비해 1비트 적은 1비트 단위로 받을 수 있다.
〔16〕 <도 12; 프레임내 예측을 벡터 예측에 한정할 경우>
항 11의 화상 복호 장치에서, 프레임내 예측에 벡터 정보를 사용하는 예측만을 채용할 때, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상 정보에 대한 예측이 프레임내 예측 또는 프레임간 예측 중 어느 것인지를 나타내는 정보(mb_type)이다.
프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보가 불필요하게 되어, 스트림 복호부는, 상기 예측 방법의 특정만을 하는 정보를 항 2에 비해 1비트 적은 1비트 단위로 받을 수 있다.
〔17〕 <도 14 프레임간 예측에서 자 프레임을 지정하여 실질 벡터를 사용한 프레임내 예측>
항 11의 화상 복호 장치에서, 프레임내 예측에 벡터 정보를 사용하는 예측만을 채용할 때, 상기 예측 방법을 특정하는 정보는, 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보(reference index)이다.
프레임내 예측에 벡터 정보를 사용하였는지 여부를 나타내는 정보가 불필요하게 되어, 스트림 복호부는 상기 예측 방법을 특정하는 정보를 항 5에 비해 1비트 적은 1비트 단위로 받을 수 있다.
〔18〕 <휘도 성분의 벡터 정보>
항 11의 화상 복호 장치에서, 상기 벡터 정보는, 휘도 성분의 벡터 정보를 포함한다.
데이터 스트림에 의해 스트림 복호부에 전달되는 벡터 정보를 필요 최저한으로 한정할 수 있다.
〔19〕 <휘도 성분의 벡터 정보, 색차 성분의 벡터 정보>
항 11의 화상 복호 장치에서, 상기 예측 방법을 특정하는 정보는, 그것이 특정하는 예측 방법이, 상기 예측 정보를 생성하기 위해 사용하는 예측 화상의 지정에 벡터 정보를 사용하는 예측 부호화일 경우에, 당해 벡터 정보로서 휘도 성분의 벡터 정보만, 또는 휘도 성분의 벡터 정보와 색차 성분의 벡터 정보 양쪽 중 어느 것을 사용하는지를 나타내는 정보를 포함한다.
벡터 정보로서 휘도 성분의 벡터 정보만, 또는 휘도 성분의 벡터 정보와 색차 성분의 벡터 정보 양쪽을 필요에 따라서 선택하여 사용할 수 있다.
〔20〕 <벡터를 사용한 프레임내 예측 부호화를 프레임간 예측 부호화의 범주에 포함한다>
본 발명의 대표적인 또 다른 실시 형태에 따른 화상 복호 장치(20; 도 2 및 도 6)는, 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보에 대한 예측 부호화의 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 입력 계열에 따라서 복호하는 스트림 복호부와, 상기 스트림 복호부에서 복호된 상기 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 이용함으로써, 먼저 복호한 화상 정보에 기초하여 취득한 예측 정보에 오차의 정보를 가하여 화상의 복호를 행하는 화상 복호부를 갖는다. 상기 데이터 스트림은, 상기 예측 방법이, 상기 예측 정보를 생성하기 위한 예측 화상의 지정에 벡터 정보를 사용하는 예측 부호화일 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다, 벡터 정보와 상기 오차의 정보의 페어를 갖는다. 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상 정보에 대한 예측이 벡터 정보를 사용한 예측 또는 그 밖의 프레임내 예측인지를 나타내는 정보(pred_type)와, 상기 벡터 정보를 사용하여 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보(reference index)이며, 복호 대상인 자기 프레임을 프레임간 예측 복호의 대상 프레임으로 함으로써 벡터 정보를 사용한 프레임내 예측 복호를 행한다.
상기에 의해, 벡터 정보를 사용하는 프레임내 예측 부호화를 프레임간 예측 부호화의 범주에 포함하여 부호화 방법을 전달할 수 있다. 특히, 후자의 정보(reference index)는, 프레임간 예측 부호화에서 참조하는 프레임을 특정하는데 애당초 필요한 정보이며, 그러한 정보를 유용하기 때문에, 스트림 복호부는, 상기 예측 방법의 특정만을 위한 정보 비트수를 저감시켜서 받을 수 있다.
2. 실시 형태의 상세
실시 형태에 대하여 더욱 상세하게 설명한다.
도 2에는 휴대 전화나 DVD/HDD/BD 레코더 등의 동화상 부호화 복호 장치에 적용되는 화상 부호화 장치(10) 및 화상 복호 장치(20)가 예시된다. 화상 부호화 장치(10) 및 화상 복호 장치(20)에 대하여 상세를 설명하기 전에 화상의 예측 부호화 및 예측 복호에 대한 기본적인 처리 형태를 설명한다.
예측 방법으로서, 벡터(이하, 특별히 지정하지 않는 경우, 프레임 내의 화소 위치를 나타내는 정보에 대해서도 간단히 "벡터"라고 한다. 소위 움직임 보상 프레임간 부호화에 사용하는 "움직임 벡터"와 구별이 필요한 경우에는 "프레임내 벡터"라고 함)를 사용하여 예측 신호를 생성하는 위치를 지시할 필요가 있게 된다. 도 2에서, 하나의 화상이 부호화 완료 영역(30)과 미 부호화 영역(40)으로 이루어지고, 부호화 블록(41)을 부호화할 때에, 예측 신호를 생성하기 위해 사용하는데 적합한 블록(예측 블록(31))을 부호화 완료 영역(30)에서 선택하고, 그 위치를 부호화 블록(41)으로부터의 2차원 상대 위치(예측 벡터(50))로 나타낸다. 도에서는 블록(31)의 좌측 상단의 화소(작은 사각형으로 도시)의 상대 위치로 벡터(50)를 나타내고 있다. 이때, 부호화 블록(41) 내의 각 화소 신호는, 대응하는 예측 블록(110) 내의 화소 신호와의 오차(차분)가 취해져, 이 차분 신호가 직교 변환·양자화되어 얻어진 신호와, 상기 벡터가 부호화되어, 그것이 비트 스트림 BSout으로서 출력된다. 복호의 경우도 그것과 마찬가지이며, 미 부호화 영역(40)을 미 복호 영역으로 하고, 부호화 블록(41)을 복호 대상으로 하는 복호화 블록으로 하고, 부호화 완료 영역(30)을 복호 완료 영역으로 하여, 입력된 비트 스트림 BSin으로부터 얻어지는 벡터 정보에 의해 복호 완료 영역(30)로부터 취득한 예측 신호에, 차분 정보를 가하여 재생 화상을 형성하면 된다.
화상 부호화 장치(10)는, 화상 부호화부(11)와 스트림 부호화부(12)를 갖는다. 화상 부호화부(12)는 동화상의 화상 신호 VDin을 입력하고, 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보(부호화 블록(41)에 대응하는 정보)와 예측 정보(예측 블록(31)에 대응하는 정보)의 오차를 구하여 예측 부호화를 행한다. 스트림 부호화부(12)는, 상기 화상 부호화부(11)에 의한 부호화의 처리 계열에 따라서, 상기 분할된 화상(41)의 정보에 대한 처리마다 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 입력하여 부호화하고, 부호화한 정보를 예를 들어 복호 처리 계열에 적합한 배열로 하는 데이터 스트림 BSout를 생성하여 출력한다. 화상 복호 장치(20)는, 스트림 복호부(21)와 화상 복호부(22)를 갖는다. 스트림 복호부는, 상기 부호화의 처리마다 예측 부호화의 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림 Bsin을 입력하고, 입력 계열에 따라서 복호한다. 화상 복호부(22)는, 스트림 복호부(21)에서 복호된 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 이용함으로써, 먼저 복호한 화상 정보에 기초하여 취득한 예측 정보에 오차의 정보를 가하여 화상의 복호를 행한다.
화상 부호화 장치(10) 및 화상 복호 장치(20)에서, 그 특징적 요소의 대표는, 벡터 정보를 사용한 벡터 예측 부호화에서의 예측 방법 및 벡터 정보를 데이터 스트림 BSout, BSin 상에서 어떻게 표현할 것인가, 바꾸어 말하면, 어떻게 하여 전송 데이터의 데이터량 삭감과 복호 처리 효율의 향상에 이바지하도록 할 것인가 라는 것이다. 이하, 이 점에 중점을 두어 화상 부호화 장치(10) 및 화상 복호 장치(20)에 대하여 설명한다.
《실시 형태 1》
도 1에는 스트림 부호화부(12)에 의한 부호화 처리의 처리 수순이 예시된다. 데이터 스트림 BSout, BSin에 의해 화상 부호화 장치로부터 화상 복호 장치에 전달되는 상기 벡터 정보는, 벡터의 값 그 자체, 또는 벡터의 값과 예측 벡터의 차분값이 된다. 차분값의 경우에는, 도 3에 예시되는 바와 같이 부호화 대상 블록(120)의 이웃 블록의 벡터(116 내지 119)로부터 부호화 대상 블록(120)의 예측 벡터(121)를 산출하게 된다. 예측 벡터(121)가 좌측의 인접 블록의 벡터(119)가 되는(PMV=MVL) 경우도 있다.
도 4의 100으로 예시되는 바와 같이 벡터 정보는 적어도 휘도 성분의 벡터 정보가 되는데, 색차 성분의 벡터 정보(Cb, Cr 각각에 존재)를 포함해도 된다. 즉, 화상의 휘도 성분과 색차 성분 각각에 대하여 따로따로 예측 부호화를 행하여 벡터 정보를 취득한다. 이 경우에는, 도 4에 예시되는 바와 같이 벡터를 사용한 예측 부호화(벡터 예측 부호화)에 있어서 휘도와 색차에서 상이한 벡터를 사용하는지 여부를 나타내는 정보를 부가하는 것이 바람직하다. 화상에 따라 휘도와 색차에서 상이한 벡터를 사용하는 것을 필요로 하지 않을 경우가 있는 것을 고려한 것이다. 벡터 예측 부호화의 방법이 복수 종류 있을 경우에는 그 방법을 특정하기 위한 정보가 필요하다. 특정한 벡터 예측 부호화 방법을 사용하는 것이 암묵적으로 지정되는 경우에는 상기 방법을 특정하는 정보를 현재화시키지 않아도 된다.
화상 부호화 장치(10)에 의한 처리는 화상 데이터 VDin의 축차 입력에 동기하여 순차 행해지고, 도 1의 스트림 부호화부(12)의 부호화 처리는 화상 부호화(11)부의 예측 부호화의 처리에 따라서 순차 행해진다. 화상 부호화부(11)에 의한 동화상의 부호화는, 크게 나누어, 시간적으로 전후의 화상(이하, 부호화 또는 복호 처리에서의, 동화상을 구성하는 1장의 화면을 "화상"이라고 한다. "화상"은, 프로그레시브 신호, 인터레이스 신호에서의 "프레임", "필드" 중 어느 것이든 나타낼 수 있으며, 예를 들어 부호화가 프레임 단위로 행해지고 있을 때는, "화상"은 "프레임"을 나타내고, 처리가 필드 단위인 경우에는 "필드"를 나타낸다. 또한, 부호화 분야에서 일반 명칭화하고 있는 "프레임간", "프레임간", "프레임 메모리"는, 그대로 사용하는데, 프로그레시브 신호의 "프레임"에 특정한 것이 아니라, 그때의 처리 모드에 따라 "프레임" "필드" 어느 것이든 의미함)으로부터의 차분을 부호화하는 프레임간 부호화와, 1개의 화상을 단독으로 부호화하는 프레임내 부호화가 있다. 일반적으로, 프레임내 부호화한 화상의 부호량은, 프레임간 부호화한 화상의 부호량보다 커진다. 그러나, 프레임내 부호화는, 영상 콘텐츠(시퀀스)의 선두에 필요한 것 외에, 재생시의 랜덤 액세스성의 향상이나, 에러 시의 복귀용에 필요한 방식이며, 통상, 0.5초부터 2초 간격, 즉 15 프레임부터 60 프레임마다 주기적으로 선택된다.
부호화 처리는 화상을 세분화한 블록(통상 16 화소×16 라인, MPEG에서는 "매크로 블록"이라고 한다. 만약에 본 발명의 처리 단위가, MPEG에서의 매크로 블록의 크기와 상이한 경우에는, 매크로 블록과 명확하게 구별하기 위하여 "서브 블록"이라고도 함)이 처리 단위가 된다. 프레임내 부호화에서는, 블록마다, 동일 화상 내에 있고 또한 이미 부호화된 화상 신호(화소)의 값을 사용하여 예측 신호가 생성되어, 부호화하는 블록의 신호와 예측 신호의 차분값이, 직교 변환 및 양자화되고, 부호로 변환되어서 부호화 처리가 행해진다. 동시에, 예측 신호를 생성함에 있어서의 예측 방법을 나타내는 정보가 함께 생성된다.
예측 신호의 생성 방법으로는, 부호화하는 블록의 주위 화소의 평균값을 사용하는 방법이나, 이제부터 부호화되는 부호화 블록의 예측 신호로서, 화상의 내용의 방향에 따라서 복수의 방향의 예측 방법을 미리 정의해 두고, 세로 방향으로 상관이 강하다는 화상의 내용에 따라서, 적합한 예측 방향을 선택하고, 부호화 블록에 인접하는 부호화 완료인 신호를 선택한 방향으로 반복 카피함으로써 예측 신호를 생성한다. 이 경우에는 예측 방법을 특정하는 정보로서, 어느 방향의 예측을 사용했는지를 나타내는 정보도 함께 취득된다. 또한, 특허문헌 1, 2에 나타낸 바와 같이, 벡터 정보를 사용하여 프레임내 예측 부호화를 행하는 것도 가능하다. 특히, 특허문헌 2에 나타낸 바와 같이, 참조 범위에 포함되는 아직 부호화/복호가 끝나지 않은 영역(미 부호화 영역)을 체배의 벡터를 사용하여 보간함으로써 미 부호화 영역이 많이 포함되는 범위를 참조했을 경우의 부호화 효율의 저하를 억제 가능하게 하는 예측 부호화 방법을 사용하는 것도 가능하다. 이 예측 방법을 이후, 특정 벡터 예측이라 칭한다.
도 2의 스트림 부호화부(12)에서의 처리에서는, 도 1에서 나타낸 바와 같이, 먼저, 매크로 블록이 화면내 예측, 화면간 예측 중 어느 쪽에서 부호화되어 있는지를 나타내는 정보(매크로 블록 타입: mb_type)(101)가 생성되고, 이어서, 매크로 블록을 어떻게 블록으로 분할할지를 나타내는 정보(파트 크기: part_size)(102)가 생성된다. 매크로 블록 타입(mb_type)(101)의 값에 따라 후속되는 데이터 구성이 상이해진다(103). 매크로 블록 타입(mb_type)(101)이 화면간 예측인 경우에는, 몇 개의 참조면을 사용하는지를 나타내는 정보(레퍼런스 넘버: reference number)(104), 참조하는 화면을 나타내는 정보(레퍼런스 인덱스: refernce index) 및 참조 화면의 참조 위치를 나타내는 정보(모션 벡터: motion vector)(106)가 후속된다. 각각, 화면간 예측에서 어느 화상을 참조할 것인가와 화상 내의 어느 위치를 참조할지를 나타내는 정보이며, 레퍼런스 넘버(reference number)(104) 및 파트 크기(part_size)(102)에 따른 개수가 반복수(107)의 반복에 의해 비트 스트림에 포함된다. 마지막으로 오차 정보(residual)(114)가 존재한다. 이에 의한 데이터 스트림의 1단위의 배열은 도 5의 UD_A와 같이 된다.
한편, 화면내 예측의 경우에는, 정보(벡터 모드: vec_mode)(108)에 의해, 화면내 예측의 방법으로서, 상기 특정 벡터 예측에 의한 프레임내 예측을 사용하는지, 또는 벡터를 사용하지 않는 프레임내 예측을 사용하는지가 나타난다. 그 후에는, 상기 특정 벡터 예측이면 휘도 성분과 색차 성분의 벡터 정보(vector)(111)가 포함되고, 벡터를 사용하지 않는 화면 내 예측 방법이면, 그 방법을 특정하는 정보(예측 모드: mode)(112)가 취득된다. 벡터 정보(vector)(111)의 취득 처리의 반복에 의해 얻어지는 화면내 예측에 사용하는 벡터의 개수는, 매크로 블록을 어떤 블록으로 분할할 것인가, 휘도, 색차에서 동일하 벡터를 사용할지 상이한 벡터를 사용할지에 따라 변화한다. 여기에서는, 휘도, 색차에서 동일한 벡터를 사용할 것인지 여부를 나타내는 정보는 벡터 모드(vec_mode)(108)가 보유한다. 또는, 상위층(비특허문헌 1, 2의 Slice 등에 상당)의 정보에 보유시켜도 된다. 이상의 정보에 기초하여, 정해진 수의 벡터가 비트 스트림에 포함되게 된다. 마지막으로 오차 정보(residual)(114)가 존재한다. 계열에 예측 모드(mode)(112)를 갖는 데이터 스트림의 1단위의 배열은 도 5의 UD_C와 같이 된다. 계열에 벡터 정보(vector)(111)를 갖는 데이터 스트림의 1단위의 배열은 도 5의 UD_B와 같이 된다.
예측 모드(mode)(112)의 반복 횟수는 파트 크기(part_size)(102)에 의해서만 정해진다.
도 1의 플로우에 나타나는 각 계열의 처리 또는 정보는 화면 크기에 따른 횟수만큼 반복되고(115), 이에 의해 1 화면분 또는 1 프레임분의 부호화된 정보가 데이터 스트림 BSout로서 출력되어, 화상 복호 장치에 전달된다.
실시 형태 1에 의하면, 생성되는 데이터 스트림 BSout에는 예측 부호화의 처리마다, 예측 방법을 특정하는 정보(mb_type 101, vec_mode 108, mode 113)와 그 방법에 의해 예측 부호화된 정보(102, 104 내지 107, 114)가 배치되고, 벡터 정보를 사용하는 프레임내 예측 부호화에 대해서는 예측 부호화된 정보로서 벡터 정보(110)와 상기 오차의 정보(114) 등을 갖는다. 따라서, 부호화 방법의 전달이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호를 보증할 수 있다.
도 1의 경우에는 특히, 상기 예측 방법을 특정하는 정보는, 상기 분할된 화상의 정보에 대한 예측이 프레임내 예측 또는 프레임간 예측 중 어느 것이었는지를 나타내는 정보(mb_type)(101)와, 프레임내 예측에 벡터 정보를 사용한 것인지 여부를 나타내는 정보(vec_mode)(108)이기 때문에, 이 예측 방법을 특정하는 정보를 예를 들어 2비트 단위로 나타낼 수 있다.
《실시 형태 2》
도 6에는 도 2의 스트림 부호화부(12)에 의한 부호화 처리의 다른 처리 수순이 예시된다. 이것은, 프레임간 예측에서 자 프레임을 지정하여 실질 프레임내 예측으로 하는 것이다. 즉, 상기 예측 방법을 특정하는 정보로서, 화상 정보에 대한 예측이 프레임간 예측 또는 벡터 정보를 사용한 프레임내 예측 중 어느 1개 또는 그 밖의 프레임내 예측인지를 나타내는 정보(프레드 타입: pred_type)(200)와, 레퍼런스 인덱스(reference index)(105)로 하는 것이다. 여기에서의 레퍼런스 인덱스(reference index)(105)는, 상기 벡터 정보를 사용하여 참조하는 프레임이 부호화 대상의 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보로서 위치 부여된다. 벡터(vector)(111)는, 상기 벡터(vector)(110) 및 모션 벡터(motion vector)(106)를 총칭한다.
그 밖의 점에 대해서는 도 1과 동일하기 때문에 그 상세한 설명을 생략한다. 계열에 레퍼런스 인덱스(reference index)(105)를 갖는 데이터 스트림의 1단위의 배열은 도 7의 UD_D와 같이 되고, 계열에 예측 모드(mode)(112)를 갖는 데이터 스트림의 1단위의 배열은 도 7의 UD_E와 같이 된다.
도 8에는 레퍼런스 인덱스(reference index)(105)에 의한 참조 프레임의 지정의 구체예가 나타난다. 도 8의 예에서는, 레퍼런스 인덱스(reference index)(105)에 값 0 또는 값 1이 지정된 경우에는 화상(300 또는 301)을 참조하여, 프레임간 예측을 행한다. 한편, 레퍼런스 인덱스(reference index)(105)에 값 2가 지정된 경우에는, 현재 부호화 처리 중의 화상(302)으로부터 벡터(303)가 지시하는 영역(304)을 참조하여, 부호화 대상 블록(305)의 예측 화상을 304의 화상으로 한다. 레퍼런스 인덱스(reference index)(105)의 어느 값이 현재 처리 중인 화상인지 여부는, 취할 수 있는 레퍼런스 인덱스(reference index)(105)의 값의 최소값, 또는 최대값이면 현재 부호화 중의 화상이라고 판단하거나, 또는 Slice 등의 상위층 중에 현재 부호화 중의 화상이 어느 레퍼런스 인덱스의 값에 할당되어 있는지의 정보를 추가하여, 이 정보를 사용해서 판단할 수 있다. 또한, 매크로 블록마다 휘도, 색차에서 따로 따로인 벡터를 사용할 것인지 여부를 변경하고자 하는 경우에는, 레퍼런스 인덱스(reference index)(105)의 다음에 도 1과 마찬가지의 벡터 모드(vec_mode)(108)를 추가하여, 벡터의 개수 등도 전달해도 된다. 레퍼런스 넘버(reference number)(104)에 따라서, 복수의 참조면이 참조되게 되어, 벡터 예측에서 복수의 영역이 참조되는 경우나 벡터 예측과 프레임간 예측 양쪽이 사용되는 경우가 있다. 이들 경우에는, 각각의 참조 위치에 따른 예측 화상을 생성하고, 그 결과를 가중치 부여 가산함으로써 현재의 블록의 예측 화상으로 하면 된다.
실시 형태 2에 의하면, 레퍼런스 인덱스(reference index)(105)는 프레임간 예측 부호화에서 참조하는 프레임을 특정하는데 애당초 필요한 정보이며, 그러한 정보를 유용하기 때문에, 상기 예측 방법의 특정만을 위한 정보를 도 1에 비해 1비트 적은 1비트 단위로 나타낼 수 있다. 따라서 예측 부호화에 의한 화상 정보의 압축률 향상에 기여할 수 있다.
《실시 형태 3》
도 9에는 도 2의 스트림 부호화부(12)에 의한 부호화 처리의 또 다른 처리 수순이 예시된다. 이것은, 도 1에서 설명한 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)를 집약시킨 정보(프레드 모드: pred_mode)(400)를 그것들 대신에 사용하도록 한 것이다. 즉, 프레드 모드(pred_mode)(400)는, 매크로 블록의 서브 크기를 나타내는 파트 크기(part_size)(102)와, 프레임내 예측에 벡터 정보를 사용할 것인지 여부를 나타내는 벡터 모드(vec_mode)(108)의 조합을 나타내는 정보이다. 도 9의 경우에는, 파트 크기(part_size)(102)는 프레임간 예측시에만 부호화되고, 프레임내 예측이 사용되는 경우에는, 프레드 모드(pred_mode)(400)가 부호화된다. 프레드 모드(pred_mode)(400)의 값에 의해, 도 1의 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)에 상당하는 정보를 동시에 취득 가능하게 된다. 도 1에서는 벡터의 수가 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)의 값으로부터 정해진 것에 반해, 도 9에서는 프레드 모드(pred_mode)(400)의 값만으로부터 결정된다. 프레드 모드(pred_mode)(400) 이후의 처리 또는 데이터는, 도 1과 마찬가지이기 때문에 그 상세한 설명은 생략한다.
계열에 파트 크기(part size)(102)를 갖는 데이터 스트림의 1단위의 배열은 도 10의 UD_F와 같이 되고, 계열에 벡터(vector)(110)을 갖는 데이터 스트림의 1단위의 배열은 도 10의 UD_G와 같이 되고, 계열에 모드(mode)(112)를 갖는 데이터 스트림의 1단위의 배열은 도 10의 UD_H와 같이 된다.
도 11에는 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)의 값의 할당과 프레드 모드(pred_mode)(400)의 값의 할당의 관계가 예시된다. 파트 크기(part_size)(102)의 비트수에 대하여 서브 크기의 종류, 즉 벡터의 개수에 여유가 있으면, 복수의 요소를 통합하여 부호화함으로써, 각각의 요소를 개별로 하는 경우에 비해 정보의 비트수의 삭감이 가능하게 된다. 예를 들어, 도 11에 예시되는 바와 같이, 3비트의 파트 크기(part_size)(102)로 구별하는 6가지와, 1비트의 벡터 모드(vec_mode)(108)로 구별하는 2가지의 상태를, 3비트의 프레드 모드(pred_mode)(400)에 의해 구별할 수 있어, 데이터 스트림 BSout의 1단위에 대해서 1비트의 데이터 비트수를 삭감할 수 있다.
《실시 형태 4》
도 12에는 도 2의 스트림 부호화부(12)에 의한 부호화 처리의 또 다른 처리 수순이 예시된다. 이것은, 도 1의 처리에서 프레임내 예측을 벡터 예측에 한정했을 경우의 예이다. 따라서, 도 1의 벡터 모드(vec_mode)(108) 및 모드(mode)(112)가 불필요해진다.
계열에 레퍼런스 넘버(reference number)(104)를 갖는 데이터 스트림의 1단위의 배열은 도 13의 UD_I와 같이 되고, 계열에 벡터(vector)(110)를 갖는 데이터 스트림의 1단위의 배열은 도 13의 UD_J와 같이 된다.
또한, 매크로 블록마다 휘도, 색차에서 따로 따로인 벡터 정보를 사용할 것인지 여부를 변경하고자 하는 경우에는, 도 12에는 도시를 생략하지만, 도 12의 벡터(vector)(110) 앞에 도 1과 마찬가지의 벡터 모드(vec mode)(108)를 추가하여, vector의 개수를 전달하도록 하면 된다.
《실시 형태 5》
도 14에는 스트림 부호화부(12)에 의한 부호화 처리의 또 다른 처리 수순이 예시된다. 이것은, 도 6의 처리에서 프레임내 예측을 벡터 예측에 한정했을 경우의 예이다. 따라서, 도 6의 프레드 타입(pred type)(200) 및 모드(mode)(112)가 불필요해진다. 도 6의 경우와 마찬가지로, 레퍼런스 인덱스(reference index)(105)의 값에 의해, 화면간 예측인지 벡터 예측인지를 판단함으로써, 매크로 블록 타입(mb_type)의 부호화가 불필요하게 된다. 이 경우의 데이터 스트림의 1단위의 배열은 도 15의 UD_K와 같이 된다.
또한, 매크로 블록마다 휘도, 색차에서 따로 따로인 벡터 정보를 사용할 것인지 여부를 변경하고자 하는 경우에는, 도 14에는 도시를 생략하지만, 도 14의 벡터(vector)(110) 앞에 도 1과 마찬가지의 벡터 모드(vec mode)(108)를 추가하여, vector의 개수를 전달하도록 하면 된다.
《실시 형태 6》
도 2의 스트림 복호부(21)에 의한 복호 처리의 처리순은 스트림 부호화부(12)에 의한 부호화의 처리순과 동일해진다. 따라서 실시 형태 1 내지 5에서 설명한 스트림 부호화부(12)에 의한 부호화의 처리에서의 부호화를 복호로 치환함으로써, 스트림 복호부(21)에 의한 처리 내용으로 간주할 수 있다. 실시 형태 6 내지 10에서는, 스트림 부호화부(12)의 설명에 사용한 도면을 유용하면서, 스트림 복호부(21)의 처리에 대하여 설명한다.
도 1은 스트림 복호부(21)에 의한 복호 처리의 처리 수순을 예시하는 것도 되어, 실시 형태 1에 의한 스트림 부호화 처리에 대응하는 스트림 복호 처리를 설명한다. 데이터 스트림 BSout, BSin에 의해 화상 부호화 장치로부터 화상 복호 장치에 전달되는 상기 벡터 정보는, 벡터의 값 그 자체, 또는 벡터의 값과 예측 벡터의 차분값이 되고, 차분값의 경우에 예를 들어 도 3에서 설명한 바와 같이 예측 벡터가 산출되는 것은, 화상 부호화의 경우에 설명한 것과 마찬가지이며, 여기서는 그 상세한 설명은 생략한다. 벡터 정보는 적어도 휘도 성분의 벡터 정보가 되고, 색차 성분의 벡터 정보(Cb, Cr 각각에 존재)를 포함해도 되는 것은 화상 부호화의 경우와 마찬가지이다. 예측 화상의 생성 방법이 복수 종류 있을 경우에는 그 방법을 특정하기 위한 정보(100A)가 전달된다. 특정한 벡터 예측 복호 방법을 사용하는 것이 암묵적으로 지정되는 경우에는 상기 정보(100A)는 전달되지 않아도 된다.
화상 복호 장치(20)에 의한 처리는 데이터 스트림 BSin의 축차 입력에 동기하여 순차 행해지고, 도 2의 스트림 복호부(21)의 복호 처리는 데이터 스트림 BSin의 입력순에 따라서 행해진다.
도 2의 스트림 복호부(21)에서의 처리에서는, 먼저, 매크로 블록이 화면내 예측, 화면간 예측 중 어느 쪽에서 부호화되어 있는지를 나타내는 정보(매크로 블록 타입: mb_type)(101)가 복호되고, 이어서, 매크로 블록을 어떻게 블록으로 분할할지를 나타내는 정보(파트 크기: part_size)(102)가 복호된다. 매크로 블록 타입(mb_type)(101)의 값에 의해 후속되는 데이터 구성이 상이해진다(103). 매크로 블록 타입(mb_type)(101)이 화면간 예측인 경우에는, 몇 개의 참조면을 사용하는지를 나타내는 정보(레퍼런스 넘버: reference number)(104), 참조하는 화면을 나타내는 정보(레퍼런스 인덱스: refernce index) 및 참조 화면의 참조 위치를 나타내는 정보(모션 벡터: motion vector)(106)가 후속된다. 각각, 화면간 예측에서 어느 화상을 참조할 것인지와 화상 내의 어느 위치를 참조할지를 나타내는 정보이며, 레퍼런스 넘버(reference number)(104) 및 파트 크기(part_size)(102)에 따른 개수가 반복수(107)의 반복에 의해 비트 스트림에 포함된다. 마지막으로 오차 정보(residual)(114)가 존재한다. 입력되는 데이터 스트림 BSin의 1단위의 배열은 도 5의 UD_A와 같다.
한편, 화면내 예측의 경우에는, 정보(벡터 모드: vec_mode)(108)에 의해, 화면내 예측의 방법으로서, 상기 특정 벡터 예측에 의한 프레임내 예측을 사용하는지, 또는 벡터를 사용하지 않는 프레임내 예측을 사용하는지가 나타난다. 그 후에는, 상기 특정 벡터 예측이면 휘도 성분과 색차 성분의 벡터 정보(vector)(111)가 포함되고, 벡터를 사용하지 않는 화면 예측 방법이면, 그 방법을 특정하는 정보(예측 모드: mode)(112)가 취득된다. 벡터 정보(vector)(111)의 취득 처리의 반복에 의해 얻어지는 화면내 예측에 사용하는 벡터의 개수는, 매크로 블록을 어떤 블록으로 분할할 것인가, 휘도, 색차에서 동일한 벡터를 사용하는지 상이한 벡터를 사용하는지에 따라 변화한다. 여기에서는, 휘도, 색차에서 동일한 벡터를 사용하는지 여부를 나타내는 정보는 벡터 모드(vec_mode)(108)가 보유한다. 또는, 상위층(비특허문헌 1, 2의 Slice 등에 상당)의 정보에 보유시켜도 된다. 이상의 정보에 기초하여, 정해진 수의 벡터가 비트 스트림에 포함되게 된다. 마지막으로 오차 정보(residual)(114)가 존재한다. 계열에 예측 모드(mode)(112)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 5의 UD_C와 같이 된다. 계열에 벡터 정보(vector)(111)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 5의 UD_B와 같이 된다.
예측 모드(mode)(112)의 반복 횟수는 파트 크기(part_size)(102)에 의해서만 정해진다.
도 1의 플로우에 나타나는 각 계열의 처리 또는 정보는 화면 크기에 따른 횟수만큼 반복되고(115), 이에 의해 1 화면분 또는 1 프레임분의 복호된 정보가 화상 복호부(22)에 공급되어, 그에 따라서 화상이 복호된다.
실시 형태 6에 의하면, 입력되는 데이터 스트림 BSin에는 예측 부호화의 처리마다, 예측 방법을 특정하는 정보(mb_type 101, vec_mode 108, mode 113)와 그 방법에 의해 예측 부호화된 정보(102, 104 내지 107, 114)가 배치되고, 벡터 정보를 사용하는 프레임내 예측 부호화에 대해서는 예측 부호화된 정보로서 벡터 정보(110)와 상기 오차의 정보(114) 등을 갖는다. 따라서, 부호화 방법의 전달이라는 점에서, 벡터 정보를 사용한 프레임내 예측 부호화에 의해 부호화된 정보의 복호가 보증된다.
《실시 형태 7》
도 6은 도 2의 스트림 복호부(21)에 의한 복호 처리의 다른 처리 수순을 예시하는 것이기도 하며, 실시 형태 2에 의한 스트림 부호화 처리에 대응하는 스트림 복호 처리를 설명한다. 이것은 프레임간 예측에서 자 프레임을 지정하여 실질 프레임내 예측으로 하는 것에 대응한다. 즉, 상기 예측 방법을 특정하는 정보로서, 화상 정보에 대한 예측이 프레임간 예측 또는 벡터 정보를 사용한 프레임내 예측 중 어느 1개 또는 그 밖의 프레임내 예측인지를 나타내는 정보(프레드 타입: pred_type)(200)와, 레퍼런스 인덱스(reference index)(105)를 복호하는 것이다. 여기에서의 레퍼런스 인덱스(reference index)(105)는, 상기 벡터 정보를 사용하여 참조하는 프레임이 복호 대상의 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보로서 위치 부여된다. 벡터(vector)(111)는, 상기 벡터(vector)(110) 및 모션 벡터(motion vector)(106)를 총칭한다.
그 밖의 점에 대해서는 도 1에 기초하여 설명한 실시 형태 6과 동일하므로 그 상세한 설명을 생략한다. 계열에 레퍼런스 인덱스(reference index)(105)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 7의 UD_D와 같이 되고, 계열에 예측 모드(mode)(112)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 7의 UD_E와 같이 된다.
데이터 스트림의 복호 처리에서의 레퍼런스 인덱스(reference index)(105)에 의한 참조 프레임의 지정의 구체예는 도 8과 마찬가지이므로 여기에서는 그 상세한 설명은 생략한다.
실시 형태 7에 의하면, 레퍼런스 인덱스(reference index)(105)는 프레임간 예측 부호화에서 참조하는 프레임을 특정하는데 애당초 필요한 정보이며, 데이터 스트림 BSin은 그러한 정보를 유용하기 때문에, 상기 예측 방법의 특정만을 위한 정보를 도 1에 비해 1비트 적은 1비트 단위로 나타낼 수 있다. 따라서 복호해야 할 데이터 스트림 BSin의 데이터량이 삭감된다.
《실시 형태 8》
도 9는 도 2의 스트림 복호부(21)에 의한 복호 처리의 또 다른 처리 수순을 예시하는 것이기도 하며, 실시 형태 3에 의한 스트림 부호화 처리에 대응하는 스트림 복호 처리를 설명한다. 여기에서는, 도 1에서 설명한 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)를 집약시킨 정보(프레드 모드: pred_mode)(400)가 그것들 대신에 전송된다. 즉, 프레드 모드(pred_mode)(400)는, 매크로 블록의 서브 크기를 나타내는 파트 크기(part_size)(102)와, 프레임내 예측에 벡터 정보를 사용하는지 여부를 나타내는 벡터 모드(vec_mode)(108)의 조합을 나타내는 정보이다. 도 9의 경우에는, 파트 크기(part_size)(102)는 프레임간 예측시에만 부호화되고, 프레임내 예측이 사용되는 경우에는, 프레드 모드(pred_mode)(400)가 부호화된다. 프레드 모드(pred_mode)(400)의 값에 의해, 도 1의 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)에 상당하는 정보를 동시에 취득 가능하게 된다. 도 1에서는 벡터의 수가 파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)의 값으로부터 정해진 것에 반해, 도 9에서는 프레드 모드(pred_mode)(400)의 값만으로부터 결정된다. 프레드 모드(pred_mode)(400) 이후의 처리 또는 데이터는, 도 1과 마찬가지이므로 그 상세한 설명은 생략한다.
계열에 파트 크기(part size)(102)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 10의 UD_F와 같이 되고, 계열에 벡터(vector)(110)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 10의 UD_G와 같이 되고, 계열에 모드(mode)(112)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 10의 UD_H와 같이 된다.
파트 크기(part_size)(102)와 벡터 모드(vec_mode)(108)의 값의 할당과 프레드 모드(pred_mode)(400)의 값의 할당의 관계에 대해서는 도 11과 마찬가지이기 때문에 여기에서는 그 상세한 설명을 생략한다.
《실시 형태 9》
도 12는 도 2의 스트림 부호화부(12)에 의한 복호 처리의 또 다른 처리 수순을 예시하는 것이기도 하며, 실시 형태 4에 의한 스트림 부호화 처리에 대응하는 스트림 복호 처리를 설명한다. 이것은, 도 1의 처리에서 프레임내 예측을 벡터 예측에 한정했을 경우에 대응한다. 따라서, 도 1의 벡터 모드(vec_mode)(108) 및 모드(mode)(112)가 불필요해진다.
계열에 레퍼런스 넘버(reference number)(104)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 13의 UD_I와 같이 되고, 계열에 벡터(vector)(110)를 갖는 데이터 스트림 BSin의 1단위의 배열은 도 13의 UD_J와 같이 된다.
또한, 매크로 블록마다 휘도, 색차에서 따로 따로인 벡터 정보를 사용할 것인지 여부를 변경하고자 하는 경우에는, 도 12에는 도시를 생략하지만, 도 12의 벡터(vector)(110) 앞에 도 1과 마찬가지의 벡터 모드(vec mode)(108)가 추가되어, vector의 개수가 전달된다.
《실시 형태 10》
도 14는 스트림 부호화부(12)에 의한 부호화 처리의 또 다른 처리 수순을 예시하는 것이기도 하며, 실시 형태 5에 의한 스트림 부호화 처리에 대응하는 스트림 복호 처리를 설명한다. 도 6의 처리에서 프레임내 예측을 벡터 예측에 한정했을 경우에 대응한다. 따라서, 도 6의 프레드 타입(pred type)(200) 및 모드(mode)(112)가 불필요해진다. 도 6의 경우와 마찬가지로, 레퍼런스 인덱스(reference index)(105)의 값에 의해, 화면간 예측인지 벡터 예측인지를 판단함으로써, 매크로 블록 타입(mb_type)의 부호화가 불필요하게 된다. 이 경우의 데이터 스트림 BSin의 1단위의 배열은 도 15의 UD_K와 같이 된다.
또한, 매크로 블록마다 휘도, 색차에서 따로 따로인 벡터 정보를 사용할 것인지 여부를 변경하고자 하는 경우에는, 도 14에는 도시를 생략하지만, 도 14의 벡터(vector)(110) 앞에 도 1과 마찬가지의 벡터 모드(vec mode)(108)가 추가되어, vector의 개수가 전달된다.
《실시 형태 11》
화상 복호 장치에서, 비트 스트림 상의 vector의 복호 결과를 사용하여, 벡터 예측에 사용하는 벡터의 산출 방법을, 우선 휘도, 다음에 색차의 경우로 나누어서 순차 설명한다.
우선, 휘도의 벡터의 산출 방법에 대하여 설명한다. 비트 스트림을 복호하여 얻어진 값을 휘도의 벡터의 값으로 한다. 또는, 비트 스트림 상에는, 벡터의 차분값이 부호화되어 있고, 복호기측에서 산출한 예측 벡터에 비트 스트림으로부터 얻어진 값을 가산한 값을 휘도의 벡터의 값으로 한다. 전자의 방법은, 부호량이 증가하기는 하나, 벡터 산출 회로의 단순화가 가능하다는 이점이 존재한다. 후자는, 차분값만이 송신되기 때문에, 부호량이 줄어든다는 이점이 존재한다. 예측 벡터의 작성 방법에 대해서는, 이하에서 설명한다.
도 3에 예시된 블록의 위치 관계에 있어서, 예측 벡터는, 좌측의 블록의 벡터 예측에서 사용되고 있는 벡터(119)를 현재의 블록(120)의 예측 벡터(121)로 한다. 단, 현재의 블록이 화면 좌측 단부라는 등의 이유로 좌측의 블록이 존재하지 않는 경우나, 좌측의 블록이 벡터 예측이 아닌 경우에는, 그 대신에 상측의 블록의 벡터(117)를 사용하고, 상측도 조건에 합치하지 않는 경우에는, 좌측 상단(116)이나 우측 상단(118)을 사용한다. 또는, 예측 벡터의 값으로서 미리 정해진 고정값을 사용한다. 얻어진 예측 벡터에 비트 스트림을 복호하여 얻어진 벡터의 차분값을 가함으로써 예측에 사용하는 벡터를 얻는다. 또한, 다른 예측 벡터의 산출 방법에서는, 예측 벡터는, 좌측, 상측 등의 이웃 블록의 벡터의 평균값이나 중앙값으로 한다. 이때에는, 벡터 예측이 아닌 블록의 벡터는 미리 정해진 고정값으로서 취급하거나, 또는 고려하지 않는다.
또한, 다른 예측 벡터의 산출 방법에서는, 예측 벡터는, 복호순에 있어서, 현재의 블록 직전에 복호한 벡터 예측을 사용하는 블록의 벡터로 한다. 현재의 블록이 현재의 화상 중에서 최초로 복호한 벡터 예측을 사용하는 블록인 경우에는, 앞의 화상의 마지막 벡터 예측의 벡터를 사용하거나, 또는, 미리 정해진 고정값을 예측 벡터로 한다.
또한, 다른 예측 벡터의 산출 방법에서는, Slice 등의 상위층에 예측 벡터의 값을 부호화해 두고, 이 부호화된 값을 예측 벡터로 한다.
또한, 다른 예측 벡터의 산출 방법에서는, 예측 벡터는, 이미 복호 완료 화상에서의 동일 위치의 블록의 벡터로 한다. 복호 완료 화상이 없는(최초의 화상 등) 경우나 해당 위치의 블록이 벡터 예측이 아닌 경우에는, 미리 정해진 고정값을 예측 벡터로 한다. 복호 완료 화상의 선택 방법에 관해서는, 매크로 블록마다 어느 복호 완료 화상을 사용하는지의 정보를 전송해도 되고, Slice 등의 상위층에서 전달해도 된다. 이 방법은, 지금까지의 방법과 조합하는 것이 가능하다. 예를 들어, 처음의 방법과 조합한 경우에는, 처음의 방법에서 좌측, 상측의 블록 등이 벡터 예측이 아닌 경우에는, 이 방법을 적용하고, 이미 복호 완료 화상으로부터 예측 벡터를 얻는다. 또한, 먼저 이 방법을 행한 후에, 처음의 방법을 행하는 케이스와 같이 방법을 적용하는 순서를 임의로 변경하는 것도 가능하다.
이어서, 색차의 벡터의 산출 방법에 대하여 설명한다. 색차의 벡터가 부호화되어 있지 않은 경우에는, 휘도 성분의 벡터를 휘도와 색차의 화상 크기에 따라서 스케일링한 것을 색차의 벡터로 한다. 한편, 색차의 벡터가 부호화되어 있는 경우에는, 휘도 성분의 벡터와 마찬가지의 방법으로 예측 벡터를 얻고, 비트 스트림으로부터 복호한 벡터의 차분값을 가산함으로써 색차의 벡터를 얻는다. 휘도 성분의 예측 벡터의 산출 방법과는 별도로, 색차의 예측 벡터를 휘도 성분의 벡터의 값을 휘도와 색차의 화상 크기에 따라서 스케일링한 것으로 해도 된다. 또한, 이 방법과 휘도 성분의 예측 벡터의 산출 방법을 조합해도 된다. 예를 들어, 처음의 방법과 조합한 경우, 좌측, 상측의 블록이 벡터 예측이 아닌 경우에는, 휘도의 벡터를 스케일링한 것을 색차의 예측 벡터로 한다. 이와 같이, 색차 성분의 벡터를 휘도 성분으로부터 예측하는 방법은, 다른 예측 방법과 조합하여 사용하는 것이 가능하다. 또한, 휘도 성분과 마찬가지로 이 방법과 복호 완료 화상으로부터 예측 벡터를 산출하는 방법, 그 이외의 방법의 3개의 방법을 조합하는 것도 가능하다.
부호화 시에도, 복호시와 마찬가지의 수순으로 예측 벡터의 생성을 행하여, 데이터 스트림 중에, 부호화기로 벡터 예측에 사용한 벡터와 예측 벡터의 차분을 부호화한다. 예측 벡터의 생성을 행하지 않는 경우에는, 벡터 예측에 사용한 벡터의 값을 데이터 스트림 중에 부호화한다.
《실시 형태 12》
도 16에는 화상 부호화 장치(10)의 구체예가 나타난다. 도 16에서 도 2의 화상 부호화부(11)는 1000 내지 1008의 회로에 의해 구성된다.
입력된 화상 신호 DVin은 블록으로 분할되어 입력된다. 입력된 신호 DVin은, 차분 회로(-)(1000)에서, 예측 신호(1011)와 화소마다 차분이 취해져, 이후, 직교 변환 회로(T)(1001), 양자화 회로(Q)(1002)에서 신호(1010)로 변환된 후, 스트림 부호화부(VCL)(12)에서 부호화되어 데이터 스트림 BSout으로서 출력된다. 동시에, 신호(1010)는 역양자화 회로(IQ)(1003), 역 직교 변환 회로(IT)(1004)에서 차분 신호로 역변환된 후, 가산 회로(+)(1005)에서, 앞의 예측 신호(1011)와 화소마다 가산되어, 화상 복호 장치에서 얻어지는 것과 동일한 화상 신호(로컬 디코드 화상)가 얻어진다. 로컬 디코드 화상은 프레임 메모리(FM)(1006)에 기입되어, 이후의 예측 신호(1011) 생성 처리에 사용된다.
예측 신호(1011)는, 예측 모드 결정 회로(MODE)(1007)에서, 이하와 같이 생성된다. 입력된 화상 신호(부호화 블록) DVin은 예측 모드 결정 회로(1007)에 입력된다. 예측 모드 결정 회로(1007)는, 해당하는 부호화 블록의 예측 신호의 후보를 얻기 위한 후보 벡터(실시 형태 11과는, 상이한 의미로 사용하고 있으며, 실시 형태 11의 벡터 예측에 사용하는 벡터에 상당함)를 복수 준비하고, 이들을 후보 벡터(1013)로서 순차, 예측 신호 생성 회로(P)(1008)에 입력한다. 예측 신호 생성 회로(1008)는, 어드레스 신호(1017)로 프레임 메모리의 부호화 완료 영역(후술하는 복호 장치의 경우의 복호 완료 영역에 상당)을 액세스하여 화소 신호(1016)를 취득하고, 취득한 화소 신호로부터, 지정된 후보 벡터에 의한 예측 신호(1014)를 생성한다. 예측 모드 결정 회로(1007)는, 입력 신호 DVin(부호화 블록 신호)와, 예측 블록 신호(1014)를 화소마다 차분을 취하여 예측 오차를 계산한다. 그리고, 모든 후보 벡터의 예측 오차를 계산한 후에, 가장 예측 오차가 작은(가장 유사한) 것을 벡터 예측에 사용하는 벡터(1012)로 함과 함께, 벡터 예측에 사용하는 벡터(1012)에 대응하는 예측 신호(1011)를 출력한다. 또한, 벡터 예측에 사용하는 벡터(1012)는 부호화부(12)에서 데이터 스트림 BSout의 일부가 된다.
특별히 제한되지 않지만, 예측 모드 결정 회로(1007)는 프레임간 예측의 경우에는 움직임 벡터(motion vector)를, 프레임내 예측의 경우에는 벡터(vector)를 벡터 예측에 사용하는 벡터(1012)로서 출력한다. 그 외, 데이터 스트림 BSout을 구성하기 위해 필요한 정보는 예측 모드 결정 회로(1007)가 생성하여 스트림 부호화부(12)에 부여한다.
도 17에는 화상 복호 장치(20)의 구체예가 도시된다. 도 17에서 도 2의 화상 복호부(22)는 2000 내지 2004의 회로에 의해 구성된다.
입력되는 데이터 스트림 BSin에는, 화상을 구성하는 블록마다 벡터 예측에 사용하는 벡터와, 예측 신호에 대한 차분 신호의 정보가 포함되어 있다. 스트림 복호부(VLD)(21)에서는 데이터 스트림 BSin을 복호하고, 벡터 예측에 사용하는 벡터(2013) 및 차분 정보(2011) 등을 추출한다. 차분 정보(2011)는 역양자화 회로(IQ)(2000), 역 직교 변환 회로(IT)(2001)에서 차분 신호(2012)로 변환된다. 이것과 병행하여, 예측 신호 생성 회로(P)(2003)에서는, 벡터 예측에 사용하는 벡터(2013)를 바탕으로, 프레임 메모리(FM)(2015)의 복호 완료 영역의 지정 어드레스(2016)를 생성하고, 해당 어드레스의 화소 신호(2015)를 취득하여, 예측 블록의 화소 신호(2014)를 생성한다. 생성한 예측 블록의 화소 신호(2014)는 화상 재생 회로(+)(2002)에서, 차분 신호(2012)에 가산되어, 해당하는 블록의 화상이 재생된다. 재생된 화상은 프레임 메모리(2004)에 기입되어, 이후의 블록의 화상 재생 시의 예측 화상 생성의 후보로서 사용된다. 1 화면분의 복호 처리가 종료한 뒤, 생성된 화상의 신호는 출력 신호 DVout로서 출력되어, 텔레비전 등의 표시 장치 등에 표시된다.
특별히 제한되지 않지만, 예측 신호 생성 회로(2003)는, 프레임간 예측의 경우에는 벡터 예측에 사용하는 벡터(2013)를 움직임 벡터(motion vector)로서, 프레임내 예측의 경우에는 벡터(vector)를 벡터 예측에 사용하는 벡터(2013)로서 사용한다. 그 외, 데이터 스트림 BSin을 구성하는 정보는 스트림 복호부(21)에서 복호되어, 예측 신호 생성 회로(2003) 등의 처리에 사용된다.
이상 본 발명자에 의해 이루어진 발명을 실시 형태에 기초하여 구체적으로 설명했지만, 본 발명은 그에 한정되는 것이 아니라, 그 요지를 일탈하지 않는 범위에서 다양하게 변경 가능함은 물론이다.
본 발명은 화상의 예측 부호화를 행하는 화상 부호화 장치 및 예측 부호화된 정보에 대한 예측 복호를 행하는 화상 복호 장치에 관한 것으로, 동화상 부호화 복호 장치 기술에 널리 적용할 수 있다.
30 : 부호화 완료 영역 40 : 미 부호화 영역
41 : 부호화 블록 31 : 예측 블록
BSout, BSin : 데이터 스트림 10 : 화상 부호화 장치
11 : 화상 부호화부 12 : 스트림 부호화부
VDin : 동화상의 화상 신호 20 : 화상 복호 장치
21 : 스트림 복호부 22 : 화상 복호부

Claims (6)

  1. 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보와 예측 정보의 오차를 구하여 예측 부호화를 행하는 화상 부호화부와,
    상기 화상 부호화부에 의한 예측 부호화의 처리 결과에 기초하여, 상기 분할된 화상의 정보에 대한 처리마다 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 생성하는 스트림 부호화부를 갖고,
    상기 데이터 스트림은, 상기 예측 방법이, 상기 예측 정보를 생성하기 위한 예측 화상의 지정에 벡터 정보를 사용하는 프레임내 예측 부호화인 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다, 벡터 정보와 상기 오차의 정보의 페어를 갖고,
    프레임내 예측에 벡터 정보를 사용하는 예측만을 채용할 때, 상기 예측 방법을 특정하는 정보는, 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보인, 화상 부호화 장치.
  2. 제1항에 있어서,
    상기 벡터 정보는, 부호화 블록과, 상기 부호화 블록을 부호화할 때에 사용하는 예측 신호를 생성하는 예측 블록의 상대 위치를 나타내는 정보이며,
    상기 프레임내 예측에 벡터 정보를 사용하는 예측은, 상기 벡터 정보가 부호화되는 예측인, 화상 부호화 장치.
  3. 제1항에 있어서,
    상기 데이터 스트림은, 벡터 정보를 사용한 예측 또는 그 밖의 프레임내 예측인지를 나타내는 정보를 더 갖고, 상기 벡터 정보를 사용한 예측 또는 그 밖의 프레임내 예측인지를 나타내는 정보와, 상기 벡터 정보를 사용해서 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보를 사용해서 예측 방법의 특정을 행하는, 화상 부호화 장치.
  4. 화상의 예측 부호화의 대상이 되는 분할된 화상의 정보에 대한 예측 부호화의 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 배열한 데이터 스트림을 입력 계열에 따라서 복호하는 스트림 복호부와,
    상기 스트림 복호부에서 복호된 상기 예측 방법을 특정하는 정보와 그 방법에 의해 예측 부호화된 정보를 이용함으로써, 먼저 복호한 화상 정보에 기초하여 취득한 예측 정보에 오차의 정보를 가하여 화상의 복호를 행하는 화상 복호부를 갖고,
    상기 데이터 스트림은, 상기 예측 방법이, 상기 예측 정보를 생성하기 위한 예측 화상의 지정에 벡터 정보를 사용하는 프레임내 예측 부호화인 경우에는, 예측 부호화된 정보로서, 상기 분할된 화상의 정보에 대한 처리마다, 벡터 정보와 상기 오차의 정보의 페어를 갖고,
    프레임내 예측에 벡터 정보를 사용하는 예측만을 채용할 때, 상기 예측 방법을 특정하는 정보는, 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보인, 화상 복호 장치.
  5. 제4항에 있어서,
    상기 벡터 정보는, 부호화 블록과, 상기 부호화 블록을 부호화할 때에 사용하는 예측 신호를 생성하는 예측 블록의 상대 위치를 나타내는 정보이며,
    상기 프레임내 예측에 벡터 정보를 사용하는 예측은, 상기 벡터 정보가 부호화되는 예측인, 화상 복호 장치.
  6. 제4항에 있어서,
    상기 데이터 스트림은, 벡터 정보를 사용한 예측 또는 그 밖의 프레임내 예측인지를 나타내는 정보를 더 갖고, 상기 벡터 정보를 사용한 예측 또는 그 밖의 프레임내 예측인지를 나타내는 정보와, 상기 벡터 정보를 사용해서 참조하는 프레임이 상기 분할된 화상 정보를 포함하는 자기 프레임도 포함한 복수 프레임 중 어느 프레임인지를 나타내는 정보를 사용해서 예측 방법의 특정을 행하는, 화상 복호 장치.
KR1020177035944A 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치 KR101912059B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011008902 2011-01-19
JPJP-P-2011-008902 2011-01-19
PCT/JP2011/078135 WO2012098776A1 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137018980A Division KR101811090B1 (ko) 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치

Publications (2)

Publication Number Publication Date
KR20170141813A true KR20170141813A (ko) 2017-12-26
KR101912059B1 KR101912059B1 (ko) 2018-10-25

Family

ID=46515413

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137018980A KR101811090B1 (ko) 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치
KR1020177035944A KR101912059B1 (ko) 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137018980A KR101811090B1 (ko) 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치

Country Status (7)

Country Link
US (2) US9787981B2 (ko)
EP (1) EP2667613A4 (ko)
JP (2) JP5625073B2 (ko)
KR (2) KR101811090B1 (ko)
CN (1) CN103329534B (ko)
TW (2) TWI611698B (ko)
WO (1) WO2012098776A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
MX2016004705A (es) 2013-10-14 2016-07-18 Microsoft Technology Licensing Llc Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video.
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015100726A1 (en) * 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
JP2017512026A (ja) 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US10321150B2 (en) 2015-03-31 2019-06-11 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
WO2017107072A1 (en) 2015-12-22 2017-06-29 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN110753222B (zh) * 2018-08-14 2022-03-25 北京达佳互联信息技术有限公司 视频编码方法和确定采用帧间编码方式的方法及设备
JP2020150294A (ja) 2019-03-11 2020-09-17 ルネサスエレクトロニクス株式会社 復号方法、復号装置及び符号化方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4163618B2 (ja) 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
US7120196B2 (en) 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
EP1985124B1 (en) 2006-02-17 2010-09-01 Thomson Licensing Process for coding images using intra prediction mode
JP4820191B2 (ja) 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
EP3107292B1 (en) 2007-03-20 2018-08-15 Fujitsu Limited Video encoding method and apparatus, and video decoding apparatus
KR101700966B1 (ko) 2008-01-10 2017-01-31 톰슨 라이센싱 인트라 예측 비디오의 조명 보상 방법 및 장치
EP2378776B1 (en) 2009-01-15 2018-03-21 Renesas Electronics Corporation Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011130051A1 (en) * 2010-04-12 2011-10-20 Sony Corporation Context adaptive directional intra prediction

Also Published As

Publication number Publication date
JP5918328B2 (ja) 2016-05-18
TWI611698B (zh) 2018-01-11
WO2012098776A1 (ja) 2012-07-26
EP2667613A1 (en) 2013-11-27
EP2667613A4 (en) 2016-12-07
JP5625073B2 (ja) 2014-11-12
TW201249212A (en) 2012-12-01
US10306236B2 (en) 2019-05-28
US9787981B2 (en) 2017-10-10
KR101811090B1 (ko) 2017-12-20
JPWO2012098776A1 (ja) 2014-06-09
KR101912059B1 (ko) 2018-10-25
CN103329534A (zh) 2013-09-25
CN103329534B (zh) 2017-03-08
US20170366817A1 (en) 2017-12-21
TWI665910B (zh) 2019-07-11
TW201824869A (zh) 2018-07-01
JP2015027095A (ja) 2015-02-05
KR20140029383A (ko) 2014-03-10
US20130287105A1 (en) 2013-10-31

Similar Documents

Publication Publication Date Title
KR101912059B1 (ko) 화상 부호화 장치 및 화상 복호 장치
US10142654B2 (en) Method for encoding/decoding video by oblong intra prediction
KR100779875B1 (ko) 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
US11722659B2 (en) Affine motion prediction-based image decoding method and apparatus using affine MVP candidate list in image coding system
US20210176480A1 (en) Method for decoding image on basis of cclm prediction in image coding system, and device therefor
KR20110006696A (ko) 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
US11627310B2 (en) Affine motion prediction-based video decoding method and device using subblock-based temporal merge candidate in video coding system
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
CN115053522A (zh) 采用自适应环路滤波器的视频或图像编码
US11463686B2 (en) Method and device for decoding images using CCLM prediction in image coding system
CN115280771A (zh) 基于滤波相关信息信令的图像编码设备和方法
CN115088262A (zh) 用于发信号通知图像信息的方法和装置
CN114175644A (zh) 使用色度量化参数表的图像解码方法及其设备
CN113273210B (zh) 用于编译关于合并数据的信息的方法和装置
JP5421739B2 (ja) 動画像符号化装置、動画像復号化装置、および、動画像符号化方法
JPWO2008120330A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right