KR20140044775A - 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법 - Google Patents

디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법 Download PDF

Info

Publication number
KR20140044775A
KR20140044775A KR1020137021127A KR20137021127A KR20140044775A KR 20140044775 A KR20140044775 A KR 20140044775A KR 1020137021127 A KR1020137021127 A KR 1020137021127A KR 20137021127 A KR20137021127 A KR 20137021127A KR 20140044775 A KR20140044775 A KR 20140044775A
Authority
KR
South Korea
Prior art keywords
image
coding
areas
sequence
images
Prior art date
Application number
KR1020137021127A
Other languages
English (en)
Other versions
KR101968700B1 (ko
Inventor
페터 아몬
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20140044775A publication Critical patent/KR20140044775A/ko
Application granted granted Critical
Publication of KR101968700B1 publication Critical patent/KR101968700B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명은 디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법과 관련 있고, 여기서 움직임 보정 프로세스가 수행되고, 상기 움직임 보정 프로세스는 현재 이미지(I) 내의 다수의 픽셀들을 참조하는 이미지 블록들(B1, B2, B3)과 기준 이미지(RI) 내의 다수의 픽셀들을 참조하는 기준 블록들(R1, R2, R3) 사이의 움직임 벡터들(MV)을 사용하고, 상기 기준 이미지(RI)는 시퀀스 밖의 하나 또는 그 초과의 이미지들(I)에 기초한다. 현재 이미지(I)의 적어도 부분의 각각의 이미지 블록(B1, B2, B3)에 대해, 움직임 벡터(MV)에 의해 표시된 대응하는 기준 블록(R1, R2, R3)에 기초한 시간적 예측이 수행되어, 이미지 블록(B1, B2, B3)과 대응하는 기준 블록(R1, R2, R3) 사이의 예측 오류가 야기되고, 여기서 상기 예측 오류는 코딩된다. 본 발명의 방법에서, 시퀀스 내의 현재 이미지(I)는 여러 이미지 영역들(IA1, IA2, IA3, IA4)로 분할되고, 기준 이미지(RI) 내의 기준 영역(RA1, RA2, RA3, RA4)은 각각의 이미지 영역(IA1, IA2, IA3, IA4)과 연관되고, 여기서 이미지 영역(IA1, IA2, IA3, IA4) 내의 이미지 블록(B1, B2, B3)의 시간적 예측은 이미지 영역(IA1, IA2, IA3, IA4)과 연관된 기준 영역(RA1, RA2, RA3, RA4) 내에 적어도 부분적으로 위치된 그리고 이 기준 영역(RA1, RA2, RA3, RA4)으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록(R1, R2, R3)에 기초한다.

Description

디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법{A METHOD FOR CODING A SEQUENCE OF DIGITIZED IMAGES}
본 발명은, 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법, 뿐만 아니라 그러한 시퀀스를 디코딩하기 위한 방법과 관련 있다. 또한, 본 발명은, 코딩 장치 및 디코딩 장치, 뿐만 아니라 코딩 장치 및 디코딩 장치를 포함하는 시스템과 관련 있다.
높은 코딩 효율성을 갖는 디지털 비디오 코딩에 대해, 소위 움직임 보정이 사용된다. 움직임 보정시, 코딩될 이미지 및 대응하는 기준 이미지 내의 유사한 이미지 블록들 사이의 움직임 벡터들이 결정된다. 움직임 벡터는, 코딩될 이미지 내의 블록과 동일한 또는 매우 유사한 이미지 정보를 갖는 기준 이미지 내의 기준 블록을 참조한다. 움직임 보정은, 이미지 내의 많은 구조들이 단지 시프트되고 그리고 하나의 이미지로부터 다음 차례의 이미지로 변하지 않음을 고려한다. 이미지 블록 및 상기 이미지 블록의 대응하는 기준 블록에 기초하여, 이들 블록들 사이의 예측 오류가 계산되고 그리고 코딩을 위해 사용된다.
특정 상황들 하에서, 기준 이미지 내의 특정 영역들에 대한 예측을 위해 사용되는 기준 블록들을 제약할 필요가 있다. 예컨대, 문서 [1], 문서 [2], 및 문서 [3]에서, 각각의 이미지 내의 유일한 구역의 점진적 내부 리프레시가 수행되는 비디오 코딩 프로세스가 설명된다. 결과적으로, 이미지는, 이미 내부-코딩된 구역들을 갖는 갱신된 영역과 아직 내부-코딩되지 않은 구역들을 갖는 비-갱신된 영역을 포함한다. 이 시나리오에서, 기준 이미지의 비-갱신된 영역 내의 기준 블록들로부터 이미지의 갱신된 영역 내의 이미지 블록들을 예측하는 것이 금지된다. 그렇지 않으면, 비디오 스트림으로의 랜덤 액세스의 경우, 이들 기준들은 미스매치들을 야기할 것인데, 그 이유는 비-갱신된 영역 내의 블록들이 정확하게 디코딩되지 않기 때문이다.
문서 [4]에서, 여러 입력 비디오 스트림들에 기초하여 코딩된 비디오 스트림을 생성하기 위한 방법이 개시된다. 이 문서에서는, 하나의 비디오 스트림 내의 픽처들을 코딩하기 위한 예측이 그들 픽처들의 경계 내에서만 수행될 것임이 언급된다.
본 발명의 목적은, 높은 코딩 효율성을 갖는 디지털화된 이미지들의 시퀀스를 코딩하기 위한, 그리고 이미지 블록들의 시간적 예측에 대하여 코딩 제약들을 고려하기 위한 방법을 제공하는 것이다.
이 목적은 독립항들에 의해 해결된다. 본 발명의 바람직한 실시예들이 종속항들에서 정의된다.
본 발명에 따른 방법에서, 움직임 보정 프로세스가 수행되고, 상기 움직임 보정 프로세스는 현재 이미지 내의 다수의 픽셀들을 참조하는 이미지 블록들과 기준 이미지 내의 다수의 픽셀들을 참조하는 기준 블록들 사이의 움직임 벡터들을 이용하고, 상기 기준 이미지는 시퀀스 밖의 하나 또는 그 초과의 이미지들에 기초한다. 움직임 보정 프로세스 내에서, 현재 이미지의 적어도 부분의 각각의 이미지 블록에 대해, 움직임 벡터에 의해 표시된 대응하는 기준 블록에 기초한 시간적 예측이 수행되어, 이미지 블록과 대응하는 기준 블록 사이의 예측 오류가 야기된다. 이 예측 오류는 적절한 코딩 기술들에 의해 코딩된다. 본 발명의 방법에 따라, 디지털화된 이미지들의 시퀀스 내의 현재 이미지는 여러 이미지 영역들로 분할되고, 기준 이미지 내의 기준 영역은 각각의 이미지 영역과 연관되며, 여기서 이미지 영역 내의 이미지 블록의 시간적 예측은, 상기 이미지 영역과 연관된 기준 영역 내에 적어도 부분적으로 위치된 그리고 이 기준 영역으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록에 기초한다.
본 발명은 시간적 예측에 대한 제약들이 여러 이미지 블록들에 대해 고려될 수 있다는 장점을 갖는다. 이는, 기준 영역들의 이미지 영역들과의 적절한 연관에 의해 달성되고, 여기서 이미지 영역에 대한 연관된 기준 영역으로부터의 예측들만이 허용된다.
위에서 언급된 바와 같이, 기준 블록은 기준 영역 내에 단지 부분적으로 위치될 수 있다. 그러나, 기준 블록 내의 픽셀 정보는 기준 영역 내의 정보에만 배타적으로 기초해야 한다. 바람직한 실시예에서, 기준 영역 내에 완전히 위치된 기준 블록들 이외에, 대응하는 기준 영역 너머 연장되는 경계 기준 블록들이 시간적 예측을 위해 사용될 수 있고, 여기서 기준 영역 밖에 놓이는 경계 기준 블록의 픽셀들의 값들은 기준 영역 내의 경계 기준 블록의 픽셀들의 값들에 기초하여 배타적으로 결정된다. 그렇게 하기 위해, 기준 영역 밖의 픽셀들에 대한 픽셀 값들을 획득하기 위해 잘-알려진 경계 연장 알고리즘들이 사용될 수 있다. 특히, 기준 영역의 경계에 놓이는 경계 기준 블록의 픽셀들의 값들은 기준 영역 밖에 놓이는 경계 기준 블록의 픽셀들에 할당된다. 이는, 기준 영역의 경계에 있는 픽셀 값들을 상기 영역 밖의 픽셀들에 할당하기 위한 잘-알려진 외삽법 기술이다. 특히, 경계에 있는 픽셀 값들을 기준 영역 너머 연장시키기 위해, 예컨대 수평 또는 수직 방향으로, 이미지 내의 대응하는 연장 방향들이 정의될 수 있다.
본 발명의 다른 실시예에서, 기준 이미지는, 코딩 동안에 압축된 이미지로부터 생성된 재구성된 이미지이거나, 또는 여러 재구성된 이미지들로부터의 부분들을 포함하고 있다.
본 발명의 다른 변형에서, 예측의 코딩은, 변환 단계, 양자화 단계 및 무손실 엔트로피 코딩 단계를 포함한다. 그들 코딩 단계들은 종래 기술에서 잘-알려져 있다. 바람직하게, 기준 이미지를 형성하는 재구성된 이미지 또는 재구성된 이미지들은, 변환 단계 및 양자화 단계에 의해 압축된 그리고 역(inverse) 변환 및 역 양자화를 수행함으로써 재구성된 이미지들이다.
특히 바람직한 실시예에서, 본 발명의 방법은 여러 비디오들을 포함한 혼합된 비디오 스트림에 대해 사용되고, 여기서 각각의 이미지 영역 및 이미지 영역과 연관된 기준 영역은 혼합된 비디오 스트림 내의 (공통) 비디오에 대응한다. 예측을 별도의 비디오들로 제약함으로써, 움직임 보정 프로세스들에서의 미스매치들이 방지된다.
본 발명의 다른 실시예에서, 이미지 영역들 중 하나 또는 그 초과는 하위-영역들로 각각 분할되고, 여기서 하위-영역들 중 하나 또는 그 초과에 대해, 부가적 코딩 제약들이 적용된다. 이미지의 이미지 영역들 및 하위-영역들로의 분할을 표시하기 위하여, 계층적 인덱스 방식이 사용될 수 있다. 이 방식에 따라, 동일한 계층적 인덱스 값이 시간적 예측이 허용된 기준 이미지 및 현재 이미지 내의 대응하는 영역들을 참조한다. 바람직한 실시예에서, 하위-영역들은 위에서 언급된 인덱스 방식에 의해 또한 시그널링될 수 있는 추가의 더 작은 하위-영역들로 분할될 수 있다. 다른 실시예에서, 이미지 영역 내의 하위-영역과 동일한 계층 레벨에 있는 기준 이미지 내의 하위-영역들 전부로부터 시간적으로 예측될 수 있는 이미지 영역 내의 하위-영역을 표시하기 위해 이용되는 인덱스 방식 내의 부가적 인덱스가 예약된다.
본 발명의 다른 실시예에서, 적어도 하나의 이미지 영역 내의 공간적으로 후속하는 섹션들이 하나의 현재 이미지로부터 다음 차례의 이미지로 내부-코딩되고, 여기서 내부-코딩 주기는, 미리결정된 개수의 이미지들이 코딩된 이후 전체 이미지 영역이 내부-코딩되도록 정의된다.
이 실시예는 문서 [1], 문서 [2], 및 문서 [3]에서 정의된 바와 같은 점진적 내부 리프레시 코딩과 이미지 영역들에 기초한 움직임 보정의 조합이다. 이 내부-코딩 기술을 이용하여, 다수의 이미지들 이후, 대응하는 이미지 영역들의 전체 내부-갱신이 달성된다. 이 방법은 버퍼 크기를 감소시키고, 그리고 고정 비트-레이트 채널들을 경유해 이미지들의 시퀀스를 송신할 때 낮은 지연을 야기한다.
위에서 설명된 실시예의 변형에서, 상기 적어도 하나의 이미지 영역은 갱신된 및 비-갱신된 하위-영역으로 분할되고, 갱신된 하위-영역은 내부-코딩 주기 내에서 이미 내부-코딩된 그들 섹션들을 참조하고 그리고 비-갱신된 하위-영역은 내부-코딩 주기 내에서 아직 내부-코딩되지 않은 그들 섹션들을 참조한다. 갱신된 하위-영역 내의 이미지 블록의 시간적 예측이 이미지 영역과 연관된 기준 영역의 갱신된 하위-영역으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록에 바람직하게 기초하는 반면에, 비-갱신된 하위-영역 내의 이미지 블록의 시간적 예측은 기준 영역의 갱신된 및 비-갱신된 하위-영역으로부터의 픽셀들, 즉 비-갱신된 하위-영역 또는 갱신된 하위-영역 중 어느 한 쪽으로부터의 픽셀들 또는 갱신된 및 비-갱신된 하위-영역 둘 다로부터의 픽셀들을 포함할 수 있는 기준 블록에 기초한다.
다른 실시예에서, 현재 이미지 내의 이미지 영역들 및/또는 부가적 이미지 영역들은 특히 내부-예측을 위한 시간적 예측 이외의 하나 또는 그 초과의 미리결정된 프로세싱 단계들 및/또는 디블록킹 필터링 및/또는 루프-내 필터링 및/또는 보간 필터링에 대하여 서로 무관하게 프로세싱된다.
본 발명에 따른 이미지들의 이미지 영역들로의 분할은 상이한 방식들로 시그널링될 수 있다. 하나의 실시예에서, 이 분할은 각각의 코딩된 이미지 내에서 시그널링된다. 부가하여 또는 대안적으로, 분할은 또한, 코딩된 이미지들로부터 별도로 정의된 파라미터 세트 내에서 시그널링될 수 있다.
위의 코딩 방법 이외에, 본 발명은 또한, 본 발명의 방법에 의해 코딩되는 디지털화된 이미지들의 시퀀스를 디코딩하기 위한 방법과 관련 있다. 이 디코딩 방법에서, 코딩된 신호 내의 예측 오류가 디코딩되고, 그리고 코딩을 위해서와 동일한 움직임 벡터들을 이용하여 움직임 보정 프로세스가 수행된다. 따라서, 코딩을 위해 사용된 움직임 벡터들이 디코딩을 위한 방법에서 이용가능하다, 예컨대 움직임 벡터들이 코딩된 비디오 스트림 내에서 추가의 정보로서 송신된다. 디코딩 방법에서, 움직임 보정 프로세스를 위한 기준 이미지들을 계산하기 위해 디코딩된 예측 오류가 사용된다.
또한, 본 발명은 디지털화된 이미지들의 시퀀스를 코딩 및 디코딩하기 위한 방법과 관련 있고, 여기서 이미지들은 위에서 설명된 코딩 방법에 의해 코딩되고, 그리고 코딩된 이미지들은 위에서 설명된 디코딩 방법에 의해 디코딩된다.
또한, 본 발명은 디지털화된 이미지들의 시퀀스를 디코딩하기 위한 장치를 포함하고, 상기 장치는:
- 움직임 보정 프로세스를 수행하기 위한 수단 ― 상기 움직임 보정 프로세스는 현재 이미지 내의 다수의 픽셀들을 참조하는 이미지 블록들과 기준 이미지 내의 다수의 픽셀들을 참조하는 기준 블록들 사이의 움직임 벡터들을 사용하고, 상기 기준 이미지는 시퀀스 밖의 하나 또는 그 초과의 이미지들에 기초하고, 여기서 현재 이미지의 적어도 부분의 각각의 이미지 블록에 대해, 움직임 벡터에 의해 표시된 대응하는 기준 블록에 기초한 시간적 예측이 수행되어, 이미지 블록과 대응하는 기준 블록 사이의 예측 오류가 야기됨 ―;
- 예측 오류를 코딩하기 위한 수단을 포함한다.
이 장치 내의 움직임 보정 프로세스를 수행하기 위한 수단은, 시퀀스 내의 현재 이미지를 여러 이미지 영역들로 분할하기 위한 수단을 포함하고, 기준 이미지 내의 기준 영역은 각각의 이미지 영역과 연관되고, 여기서 이미지 영역 내의 이미지 블록의 시간적 예측은 기준 영역 내에 적어도 부분적으로 위치된 그리고 기준 영역으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록에 기초한다.
장치는 본 발명에 따른 코딩 방법의 위에서 설명된 바람직한 실시예들 중 임의의 실시예를 수행하기 위해 바람직하게 배열된다.
또한, 본 발명은, 본 발명에 따른 코딩 방법에 의해 코딩되는 디지털화된 이미지들의 시퀀스를 디코딩하기 위한 장치와 관련 있다. 이 장치는 예측 오류를 디코딩하기 위한 수단, 뿐만 아니라 코딩을 위해서와 동일한 움직임 벡터들을 사용하여 움직임 보정 프로세스를 수행하기 위한 수단을 포함한다.
또한, 본 발명은, 본 발명에 따라, 디지털화된 이미지들의 시퀀스를 코딩 및 디코딩하기 위한 장치, 위에서 설명된 코딩 장치 및 위에서 설명된 디코딩 장치를 포함한 시스템을 포함한다.
본 발명의 실시예들은 동반된 도면들에 대하여 아래에서 설명될 것이다.
도 1은 본 발명의 실시예에 따라 비디오 스트림의 코딩 및 디코딩을 예시한 개략도를 도시한다.
도 2는 종래 기술에 따라 점진적 내부 리프레시에 종속된 이미지들에 대한 움직임 보정 프로세스를 예시한다.
도 3은 본 발명의 실시예에 기초한 움직임 보정 프로세스를 예시한다.
도 4는 본 발명의 다른 실시예에 기초한 움직임 보정 프로세스를 도시한다.
도 5는 본 발명의 실시예에 따라 비디오 스트림을 코딩 및 디코딩하기 위한 시스템을 예시한 개략도이다.
도 1은 본 발명의 실시예에 기초하여 비디오 스트림을 코딩 및 디코딩하기 위한 단계들을 도시한다. 도 1의 좌측 부분에서, 비디오 스트림(X)을 코딩하기 위한 코딩 수단(COD)이 도시된다. 도 1의 우측 부분은, 코딩 수단(COD)에 의해 코딩된 비디오 스트림의 디코딩을 위해 사용되는 디코딩 수단(DEC)을 예시한다. 비디오 스트림(X)은, 코딩 프로세스에 종속되는 복수의 이미지들(I)을 포함한다. 이 프로세스에서, 예측 오류 신호가 코딩된다. 도 1의 실시예에서, 이 신호는, 코딩될 현재 이미지를 형성하는 입력 신호(I)와 선행 이미지인 기준 이미지의 움직임 보정된 재구성 사이의 차이를 표현한다. 그러나, 기준 이미지는 또한, 비디오 스트림 내의 이미지들의 시간적 순서에 따라 현재 이미지 이전 및/또는 이후의 상이한 이미지들로부터의 부분들로 구성될 수 있다.
도 1에서 입력 이미지와 예측된 이미지 사이의 차이로서 부가 수단(A)에 의해 결정되는 예측 오류는 변환(T), 특히 잘-알려진 DCT(Discrete Cosine Transformation) 변환에 종속된다. 그 이후에, 이 변환에 의해 생성된 변환 계수들이 양자화 수단(Q)에서 양자화된다. 그 결과, 이미지 내의 대응하는 매크로 블록들에 대한 심볼들(S)이 획득된다. 이들 심볼들은, 변환 계수들, 예측을 위해 사용된 움직임 벡터들, 뿐만 아니라 추가의 코딩 파라미터들을 포함하는 코딩된 이미지 정보를 표현한다.
코딩 동안에 사용된 움직임 벡터들은 도 3에서 MV로서 표기된다. 그들 움직임 벡터들은 움직임 추정 단계(ME)에서 결정되고, 여기서 현재 이미지(I) 내의 이미지 블록들에 대해, 기준 이미지 내의 유사한 이미지 블록들이 결정되고, 여기서 기준 이미지는 이미지 저장소(SP) 내에 저장된다. 움직임 벡터들은 현재 이미지 내의 이미지 블록과 기준 이미지 내의 대응하는 유사한 이미지 블록 사이의 시프트를 설명한다. 그들 움직임 벡터들은 디코딩을 수행하는데 필요로 된다. 따라서, 움직임 벡터들은 도 1에서 점선에 의해 표시된 바와 같이 디코딩 수단(DEC)에 송신된다. 저장소(SP) 내의 기준 이미지가 심볼들(S)로부터 역 양자화(IQ) 및 역 변환(IT)을 수행함으로써 생성되어, 재구성된 예측 오류가 야기된다. 이 예측 오류가 부가 수단(A')에 의해 저장소(SP) 내의 선행하는 재구성된 기준 이미지에 부가되어, 새로운 기준 이미지가 야기된다.
지금까지의 설명은 종래 기술로부터 알려진 일반적인 코딩 프로세스를 참조한다. 본 발명에 따라, 코딩될 이미지가 여러 이미지 영역들로 분할되고, 여기서 대응하는 기준 이미지 내의 기준 영역이 각각의 이미지 영역과 연관된다. 이미지 영역 내의 이미지 블록에 대해 예측 오류를 계산하기 위해 사용된 기준 블록이 상기 이미지 영역과 연관된 기준 영역으로부터의 정보를 배타적으로 포함하도록, 이미지 영역들 및 기준 영역들은 움직임 보정 프로세스에 기초하여 시간적 예측을 제약한다. 이미지 영역들 및 기준 영역들의 적절한 정의에 의해, 코딩 오류들이 방지된다. 이는, 이미지 영역들이 이미지들(I)의 시퀀스에 의해 표현된 비디오 스트림 내에 포함된 별도의 비디오들을 참조하는 경우에 특히 유용하다. 이미지 영역들 및 기준 영역들에 기초한 위에서 설명된 움직임 보정 프로세스의 상세한 설명이 도 3 및 도 4에 대하여 이후에 주어질 것이다.
도 1의 코딩 수단(COD)은 잘-알려진 엔트로피 코딩 수단(EC)을 더 포함한다. 이 코딩 수단은 심볼들(S)의 무손실 엔트로피 코딩을 수행하고, 그리고 더 높은 코딩 효율성을 유도한다. 엔트로피 코딩된 심볼들(S')은 디코더(DEC)에 송신되고, 디코더(DEC)는 엔트로피 디코딩(ED), 역 양자화(IQ) 및 역 변환(IT)을 수행한다. 따라서, 디코딩된 예측 오류가 결정된다. 디코더에 송신되고 저장소(SP) 내에 저장된 움직임 벡터들(MV) 및 이 오류에 기초하여, 본래의 디코딩된 이미지를 결정하기 위한 움직임 보정 프로세스가 수행된다. 그렇게 하기 위해, 예측 오류는, 부가 수단(A'')에 의해, 저장소(SP) 내의 움직임 보정된 디코딩된 이미지와 조합된다.
본 발명을 상세히 설명하기 이전에, 문서 [1], 문서 [2], 및 문서 [3]에서 도시된 바와 같은 종래 기술 움직임 보정 프로세스가 설명된다. 이 움직임 보정 프로세스는 본 발명에 따른 움직임 보정 프로세스와 조합될 수 있다. 종래 기술 움직임 보정 프로세스는 도 2에서 예시되고, 도 2는 코딩될 현재 이미지(I) 뿐만 아니라 움직임 보정을 위해 사용되는 대응하는 기준 이미지(RI)를 도시한다. 도 2의 코딩 프로세스에 따라, 이미지의 단지 부분만이 내부-코딩된다. 이 부분은 도 2에서 섹션(SE)으로서 표기되고, 그리고 하나의 이미지로부터 다음 차례의 이미지로 아래로 이동한다. 내부-코딩은 내부-코딩 주기들 내에서 수행되고, 여기서 코딩 주기 내의 모든 이미지들을 코딩한 이후, 이미지 내의 섹션들 전부는 내부-코딩 단계에 의해 갱신되었다. 도 2에서, 라인(L) 위의 영역(A1)은 대응하는 코딩 주기 내에서 이미 내부-코딩된 섹션들의 갱신된 영역을 형성한다. 그와 반대로, 영역(A2)은 현재 내부-코딩 주기 내에서 아직 내부-코딩되지 않은 섹션들의 비-갱신된 영역을 형성한다. 이미지(I)와 유사하게, 기준 이미지(RI)는 갱신된 영역(A1')과 비-갱신된 영역(A2')을 포함하고, 여기서 갱신된 영역(A1')은 A1과 비교할 때 더 작은데, 그 이유는 섹션(SE)이 기준 이미지(RI) 내에서 아직 내부-코딩되지 않았기 때문이다.
도 2에서 수행된 시간적 예측에서, 이미 갱신된 영역(A1) 내의 이미지 블록이 기준 이미지(RI) 내의 비-갱신된 영역(A2') 내에 포함된 기준 블록으로부터 예측되는 것이 금지되어야 한다. 이 코딩 제약으로 인해, 갱신된 영역(A1) 내의 이미지 블록은 영역(A1') 내의 기준 블록, 예컨대 기준 블록(R1)으로부터만 예측될 수 있다. 기준 블록들(R2 및 R3)은 영역(A1) 내의 이미지 블록들에 대해 사용되도록 허용되지 않는데, 그 이유는 그들 블록들이 비-갱신된 영역(A2') 내에 적어도 부분적으로 포함되기 때문이다. 그와 반대로, 비-갱신된 영역(A2) 내의 이미지 블록에 대해, 기준 이미지(RI) 내의 임의의 포지션에 있는 기준 블록이 사용될 수 있다, 즉 기준 블록(R1) 뿐만 아니라 기준 블록들(R2 또는 R3)이 예측을 위해 사용될 수 있다.
문서 [1], 문서 [2], 및 문서 [3]에서, 위에서 설명된 바와 같은 갱신된 영역을 시그널링하기 위한 방법이 개시된다. 이는, 영역들 둘 다 내에 있는 기준 블록들, 예컨대 블록(R2)의 특별한 처리를 허용한다. 갱신된 영역 내에 놓이는 블록(R2)의 부분이 기준을 위해 사용되는 반면에, 비-갱신된 영역 내에 있는 블록(R2)의 부분은 갱신된 영역으로부터 외삽법에 의해 생성된 픽셀들에 의해 대체된다. 본 발명의 방법과 달리, 문서 [1], 문서 [2], 및 문서 [3]에서 개시된 방법은 단일 영역 경계, 즉 갱신된 영역과 비-갱신된 영역 사이의 경계를 시그널링한다. 그러나, 영역들의 이 설명은 여러 이미지 영역들 및 기준 영역들을 설명하기에 적절하지 않은데, 그 이유는 제약된 기준을 갖는 단일 영역만이 시그널링될 수 있기 때문이다. 또한, 부과된 유일한 제약은, 갱신된 영역에 대한 비-갱신된 영역으로부터의 예측들이 허용되지 않는다는 것이다.
도 3은 본 발명의 제1 실시예에 기초한 움직임 보정 프로세스를 도시한다. 이 도면은 현재 이미지(I)를 예시하고, 여기서 대응하는 기준 이미지(RI)의 구조가 이 이미지와 동일하다. 따라서, 대응하는 기준 이미지는 괄호들 내에서 RI로서 표시된다. 이미지(I)는 네 개의 이미지 영역들(IA1, IA2, IA3, 및 IA4)로 분할된다. 동일한 기준 영역들(RA1, RA2, RA3, 및 RA4)이 기준 이미지(RI) 내에 포함된다. 이미지 영역(IA1)과 연관된 기준 영역은 RA1으로서 표기되고, 이미지 영역(IA2)과 연관된 기준 영역은 RA2로서 표기되고, 이미지 영역(IA3)과 연관된 기준 영역은 RA3으로서 표기되고, 그리고 이미지 영역(IA4)과 연관된 기준 영역은 RA4로서 표기된다.
도 3에 도시된 실시예는 혼합된 비디오 스트림과 관련 있고, 여기서 이미지 영역들(IA1 내지 IA4) 각각은 별도의 비디오에 대응한다. 상이한 비디오들 사이의 시간적 예측을 방지하기 위하여, 개별 이미지 영역들(IA1 내지 IA4) 내의 이미지 블록들에 대한 예측들은 연관된 기준 영역들(RA1 내지 RA4)로부터의 픽셀 정보를 배타적으로 포함한 기준 블록들에 기초하여서만 허용된다. 도 3에서, 이미지 블록(B1)의 예가 도시된다. 이 블록은, 대응하는 기준 영역(RA1) 내에 완전히 놓이거나 또는 영역(RA1) 내에 부분적으로 놓이지만 이 영역으로부터의 픽셀 정보만을 포함하는 기준 블록으로부터만 예측될 수 있다.
연관된 기준 영역 밖에 부분적으로 놓이는 기준 블록들의 경우, 액티브 기준 영역의 픽셀들만이 사용된다. 다른 픽셀들(즉, 이웃 이미지 영역들 내의 픽셀들)은, 잘-알려진 경계 연장 알고리즘들, 예컨대 외삽법을 이용하여 외삽된다. 바람직한 실시예에서, 기준 영역의 경계에 있는 픽셀들의 값들은 기준 영역 밖에 놓인 픽셀들에 대한 값들로서 사용된다. 특히, 픽셀 값들은 수직 경계에 대하여 수평 방향으로 연장되거나 또는 수평 경계에 대하여 수직 방향으로 연장된다.
도 3에 대하여 설명된 바와 같은 실시예는 직사각형 이미지 영역들 및 기준 영역들과 관련 있다. 그러나, 원칙적으로, 영역들의 임의의 형상이 허용된다. 이미지의 더 작은 이미지 영역들로의 하위-분할을 시그널링하기 위하여, 두 개의 옵션들이 가능하다. 제1 옵션에서, 하위-분할은 각각의 코딩된 이미지 내에서 정의되고 그리고 시그널링된다. 제2 옵션에서, 이미지의 하위-분할은 코딩된 이미지들로부터 별도로, 예컨대 픽처 파라미터 세트 내에서 정의될 수 있다. 그런 다음, 하위-분할들은 파라미터 세트에 대한 참조에 의해 표시된다.
도 3에 도시된 실시예는 또한 도 2에 도시된 실시예와 조합될 수 있다. 그렇게 하기 위해, 갱신된 영역 및 비-갱신된 영역에 대한 동일한 예측 제약들이 이미지 영역들 각각에 적용되도록, 각각의 이미지 영역(IA1)은 도 2에서 도시된 바와 같이 이미지(I)에 의해 표현될 수 있다. 또한, 이미지 블록이 연관된 기준 영역으로부터만 예측될 수 있다는 제약은 그러한 조합된 실시예에서 또한 유효하다.
도 4는 그러한 조합된 실시예를 도시한다. 도 3과 유사하게, 이미지(I)는 네 개의 이미지 영역들(IA1, IA2, IA3, 및 IA4)로 분할된다. 각각의 이미지 영역에 대해, 대응하는 기준 이미지(RI) 내의 동일한 포지션에 연관된 기준 영역(RA1, RA2, RA3, 및 RA4)이 존재한다. 각각의 이미지 영역(IA1 내지 IA4)은 혼합된 비디오 스트림 내의 별도의 비디오를 형성하고, 여기서 비디오들 각각은 도 2에 대하여 설명된 바와 같은 부분적 내부 리프레시 코딩을 이용하여 코딩된다. 대응하는 이미지 영역들 내의 갱신된 영역(A1)과 비-갱신된 영역(A2) 사이의 경계는 라인(L)에 의해 표시된다. 예로서, 영역(A2) 내의 어떤 이미지 블록은 B2로서 표시되고, 그리고 영역(A2) 내의 어떤 이미지 블록은 B3로서 표시된다.
이미지(I) 내에서 예측 제약들을 시그널링하기 위하여, 이미지 영역들 전부를 특정하는 계층적 인덱스 "x.y"가 사용된다. 이 계층적 인덱스에 따라, 동일한 인덱스 x 및 동일한 하위-인덱스 y를 갖는 기준 영역으로부터만 예측하는 것이 허용된다. 그러나, 하위-인덱스 "y"가 0인 경우, 그러면 예측은 동일한 인덱스 "x"를 갖는 픽처 영역들 전부로부터 수행될 수 있다. 이미지(I) 내의 모든 이미지 영역들 내에서 대응하는 갱신된 및 비-갱신된 영역들을 식별하기 위해 계층적 인덱스가 사용된다. 그들 영역들은 PA1.0, PA1.1, PA2.0, PA2.1, PA3.0, PA3.1, PA4.0, 및 PA4.1로서 표기된다. 값 0을 갖는 하위-인덱스 "y"가 갱신된-영역을 참조하는 반면에, 값 1을 갖는 하위-인덱스 "y"는 비-갱신된 영역을 참조한다. 위에서 설명된 계층적 인덱스에 기초하여, 예컨대 현재 이미지(I)의 이미지 영역(PA1.0)은 기준 이미지 내의 이미지 영역들(PA1.0 및 PA1.1)로부터 예측될 수 있고, 여기서 경계(L)는 기준 이미지 내에서 위로 약간 시프트되는데, 그 이유는 내부-코딩 주기가 한 단계 뒤에 있기 때문이다.
또한, 기준 픽처의 영역들 전부로부터의 예측들을 허용하기 위하여, 위의 인덱스 방식이 사용될 수 있다. 이는, 인덱스 0.0(인덱스 0과 동등함)에 의해 표시될 수 있다. 또한, 유사한 규칙들이 더 높은 인덱싱 계층, 예컨대 "x.y.z"을 갖는, 이미지 영역들의 정의에 대해 적용될 수 있다. 일반적으로, 현재 이미지 내의 이미지 영역의 예측을 위해 허용된 기준 이미지의 기준 영역들의 목록이 위에서 설명된 계층적 인덱스 방식에 의해 시그널링 또는 정의될 수 있다.
또한, 이미지 영역들의 위의 정의들은 이미지 내의 인공 경계들을 정의하는데 사용될 수 있고, 상기 인공 경계들을 가로질러, 내부-예측이 허용되지 않는다. 이 메커니즘은 미스매치들을 방지한다. 예컨대, 혼합된 비디오 스트림에서, 이웃 이미지 영역으로부터의 픽셀들로부터의 예측이 수행되지 않는데, 그 이유는 이들 픽셀들은 혼합하기 이전에 본래-코딩된 비디오에서 내부-예측을 위해 이용가능하지 않았기 때문이다. 또한, 부분적 내부 리프레시를 이용하는 비디오 스트림들에서, 갱신된 영역에 대한 비-갱신된 영역으로부터의 내부-예측이 일반적으로 발생할 수 있다. 비디오 스트림으로의 랜덤 액세스의 경우, 비-갱신된 영역 내의 픽셀들은 더 이상 이용가능하지 않을 수 있다, 즉 정확하게 디코딩되지 않는다. 이미지 영역들의 사용은 이들 경우들에서 내부-예측을 금지할 것이다. 또한, 내부-예측 이외의 다른 프로세싱 단계들(예컨대, 디블록킹 필터링, 루프-내 필터링, 보간 필터링 등)에 대해, 현재 이미지에 대한 이미지 영역들을 이용하여 인공 경계들이 정의될 수 있다. 내부-예측의 경우와 유사하게, 이웃 이미지 영역들로부터의 픽처 값들은 액티브 이미지 영역 내의 프로세싱을 위해 사용되지 않아야 한다. 이는, (예컨대, 부분적 내부 리프레시를 이용한, 코딩된 스트림들로의 랜덤 액세스 또는 스트림들의 혼합으로 인해) 이웃이 변한다면 미스매치들을 방지한다.
이미지 블록들의 예측과 반대로, 이미지 영역들을 가로질러 엔트로피 코딩이 수행될 수 있다. 이미지 내의 정보(즉, 구문론 엘리먼트들) 전부를 코딩하기 위해 공동 통계적 모델들이 사용될 수 있다. 콘텍스트 모델들의 리셋팅은 필요하지 않다. 따라서, 이미지 영역들의 사용은, 코딩 효율성을 야기하는 엔트로피 코딩을 위해 더욱 유연성을 허용한다.
위에서 설명된 바와 같은 본 발명은 여러 장점들을 갖는다. 적절한 이미지 영역들 및 연관된 기준 영역들을 정의함으로써, 혼합된 비디오 스트림들에 대한 경계-인지 움직임 보정 프로세스가 수행될 수 있다. 이는, 문서 [1], 문서 [2], 및 문서 [3]에서 설명된 바와 같은 갱신된 및 비-갱신된 영역들의 정의를 이용하여서는 가능하지 않다. 부분적 내부 리프레시를 이용하는 코딩된 비디오 스트림들 및 혼합된 비디오 스트림들에 대한 경계-인지 움직임 보정의 단일화된 시그널링이 사용될 수 있다. 예측-간, 내부-예측, 및 다른 내부-픽처 프로세싱 단계들에 대한 미스매치들이 혼합된 비디오 스트림들에서 방지될 수 있다.
본 발명의 바람직한 실시예들은 더 높은 코딩 효율성을 야기한다. 특히, 대응하는 기준 영역 밖에 놓이는 기준 블록의 픽셀들에 대해 경계 연장 알고리즘들을 이용함으로써, 예측을 위해 이용되는 기준 블록들의 선택에서 더 높은 유연성이 있다. 엔트로피 코딩에 대하여, 공동 통계치들이 여러 이미지 영역들 또는 이미지 영역들 전부에 대해 사용될 수 있는데, 그 이유는 콘텍스트 모델들의 리셋팅이 이미지 영역들 사이의 경계들에서 수행될 필요가 없기 때문이다.
도 5는 본 발명에 따라 비디오 스트림을 코딩 및 디코딩하기 위한 시스템의 실시예를 도시한다. 디지털 비디오 스트림(X)은 코딩 장치(1)에 의해 코딩되고, 상기 코딩 장치(1)는 움직임 보정 프로세스를 수행하기 위한 수단(101)을 포함하고, 상기 움직임 보정 프로세스는 현재 이미지 내의 이미지 블록들과 기준 이미지 내의 기준 블록들 사이의 움직임 벡터들을 이용하고, 여기서 각각의 이미지 블록에 대해 또는 현재 이미지의 적어도 부분에 대해, 움직임 벡터에 의해 표시된 대응하는 기준 블록에 기초한 시간적 예측이 수행되어, 이미지 블록과 대응하는 기준 블록 사이의 예측 오류가 야기된다. 코딩 장치는, 움직임 보정 수단(101)에 의해 생성된 예측 오류를 코딩하기 위한 수단(103)을 더 포함한다. 움직임 보정 수단(101)은 비디오 스트림 내의 현재 이미지를 여러 이미지 영역들로 분할하기 위한 수단을 더 포함하고, 기준 이미지 내의 기준 영역은 각각의 이미지 영역과 연관되고, 여기서 이미지 영역 내의 이미지 블록의 시간적 예측은, 이미지 영역과 연관된 기준 영역 내에 적어도 부분적으로 위치된 그리고 이 기준 영역으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록에 기초한다.
코딩 장치(1)에 의해 코딩된 비디오 스트림은 S'로서 표기되고, 그리고 대응하는 디코딩 장치(2)에 의해 프로세싱된다. 이 디코딩 장치는, 스트림(S') 내에 포함된 예측 오류를 디코딩하기 위한 수단(201), 뿐만 아니라 코딩 장치(1)에서 코딩하기 위해 사용된 동일한 움직임 벡터들을 이용하여 움직임 보정 프로세스를 수행하기 위한 수단(202)을 포함한다. 그렇게 하기 위해, 코딩 장치(1) 내에서 결정된 움직임 벡터들은 디코딩 장치(2)에 송신된다. 그 결과, 디코딩된 비디오 스트림(X')이 디코딩 장치(2)에 의해 출력된다.
인용들의 목록:
[1] Kimihiko Kazui, Junpei Koyama, Akira Nakagawa, "Evaluation result of JCTVC-B031", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 WP3, document JCTVC-C021/M18028, Guanzhou, China, October 2010.
[2] Kimihiko Kazui, Junpei Koyama, Akira Nakagawa, "Draft description of proposed syntax and semantics for very low delay coding", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 WP3, document JCTVC-D053/M18800, Daegu, Korea, January 2011.
[3] Kimihiko Kazui, Junpei Koyama, Akira Nakagawa, "Benefit of the new syntax and semantics for very low delay coding in HEVC", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 WP3, document JCTVC-D054/M18801, Daegu, Korea, January 2011.
[4] DE 10 2007 049 351 A1

Claims (19)

  1. 디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법으로서,
    움직임 보정 프로세스가 수행되고, 상기 움직임 보정 프로세스는 현재 이미지(I) 내의 다수의 픽셀들을 참조하는 이미지 블록들(B1, B2, B3)과 기준 이미지(RI) 내의 다수의 픽셀들을 참조하는 기준 블록들(R1, R2, R3) 사이의 움직임 벡터들(MV)을 사용하고, 상기 기준 이미지(RI)는 상기 시퀀스 밖의 하나 또는 그 초과의 이미지들(I)에 기초하고, 상기 현재 이미지(I)의 적어도 부분의 각각의 이미지 블록(B1, B2, B3)에 대해, 움직임 벡터(MV)에 의해 표시된 대응하는 기준 블록(R1, R2, R3)에 기초한 시간적 예측이 수행되어, 이미지 블록(B1, B2, B3)과 대응하는 기준 블록(R1, R2, R3) 사이의 예측 오류가 야기되고, 상기 예측 오류는 코딩되고;
    상기 시퀀스 내의 상기 현재 이미지(I)는 여러 이미지 영역들(IA1, IA2, IA3, IA4)로 분할되고, 상기 기준 이미지(RI) 내의 기준 영역(RA1, RA2, RA3, RA4)은 각각의 이미지 영역(IA1, IA2, IA3, IA4)과 연관되고, 이미지 영역(IA1, IA2, IA3, IA4) 내의 이미지 블록(B1, B2, B3)의 시간적 예측은 상기 이미지 영역(IA1, IA2, IA3, IA4)과 연관된 기준 영역(RA1, RA2, RA3, RA4) 내에 적어도 부분적으로 위치된 그리고 이 기준 영역(RA1, RA2, RA3, RA4)으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록(R1, R2, R3)에 기초하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  2. 제 1 항에 있어서,
    대응하는 기준 영역(RA1, RA2, RA3, RA4) 너머 연장되는 경계 기준 블록들(R1, R2, R3)이 시간적 예측을 위해 사용되고, 상기 기준 영역(RA1, RA2, RA3, RA4) 밖에 놓이는 경계 기준 블록(R1, R2, R3)의 픽셀들의 값들은 상기 기준 영역(RA1, RA2, RA3, RA4) 내의 경계 기준 블록(R1, R2, R3)의 픽셀들의 값들에 배타적으로 기초하여 결정되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 기준 영역(RA1, RA2, RA3, RA4)의 경계에 놓이는 경계 기준 블록(R1, R2, R3)의 픽셀들의 값들은 상기 기준 영역(RA1, RA2, RA3, RA4) 밖에 놓이는 경계 기준 블록(R1, R2, R3)의 픽셀들에 할당되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 기준 이미지(RI)는 코딩 동안에 압축된 이미지로부터 생성된 재구성된 이미지이거나, 또는 여러 재구성된 이미지들로부터의 부분들을 포함하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 예측 오류의 코딩은 변환 단계(T), 양자화 단계(Q) 및 엔트로피 코딩 단계(EC)를 포함하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    이미지들(I)의 시퀀스는 여러 비디오들을 포함한 혼합된 비디오 스트림이고, 각각의 이미지 영역 및 상기 이미지 영역(IA1, IA2, IA3, IA4)과 연관된 기준 영역(RA1, RA2, RA3, RA4)은 상기 혼합된 비디오 스트림 내의 비디오에 대응하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 이미지 영역들(IA1, IA2, IA3, IA4) 중 하나 또는 그 초과는 하위-영역들(A1, A2)로 각각 분할되고, 상기 하위-영역들(A1, A2) 중 하나 또는 그 초과에 대해, 부가적 코딩 제약들이 적용되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  8. 제 7 항에 있어서,
    이미지(I)의 이미지 영역들(IA1, IA2, IA3, IA4) 및 하위-영역들(A1, A2)로의 분할은 계층적 인덱스 방식에 의해 표시되고, 동일한 계층적 인덱스 값은 시간적 예측이 허용된 기준 이미지(RI)와 상기 현재 이미지(I) 내의 대응하는 영역들을 참조하고, 바람직하게, 이미지 영역(IA1, IA2, IA3, IA4) 내의 하위-영역(A1, A2)과 동일한 계층 레벨에 있는 상기 기준 이미지(RI) 내의 하위-영역들(a1', A2') 전부로부터 시간적으로 예측될 수 있는 이미지 영역(IA1, IA2, IA3, IA4) 내의 하위-영역(A1, A2)을 표시하기 위해 사용되는 부가적 인덱스가 예약되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    적어도 하나의 이미지 영역(IA1, IA2, IA3, IA4) 내의 공간적으로 후속하는 섹션들(SE)은 하나의 현재 이미지로부터 다음 차례의 이미지로 내부-코딩되고, 내부-코딩 주기는, 미리결정된 개수의 이미지들(I)이 코딩된 이후, 전체 이미지 영역(IA1, IA2, IA3, IA4)이 내부-코딩되도록 정의되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 적어도 하나의 이미지 영역(IA1, IA2, IA3, IA4)은 갱신된 및 비-갱신된 하위-영역(A1, A2)으로 분할되고, 갱신된 하위-영역(A1)은 상기 내부-코딩 주기 내에서 이미 내부-코딩된 그들 섹션들(SE)을 참조하고, 그리고 비-갱신된 하위-영역(A2)은 상기 내부-코딩 주기 내에서 아직 내부-코딩되지 않은 그들 섹션들(SE)을 참조하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  11. 제 10 항에 있어서,
    갱신된 하위-영역(A1) 내의 이미지 블록(B1, B2)의 시간적 예측이 이미지 영역(IA1, IA2, IA3, IA4)과 연관된 기준 영역(RA1, RA2, RA3, RA4)의 갱신된 하위-영역(A1')으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록(R1, R2, R3)에 기초하는 반면에, 비-갱신된 하위-영역(A2) 내의 이미지 블록(B1, B2, B3)의 시간적 예측은 상기 기준 영역(RA1, RA2, RA3, RA4)의 갱신된 및 비-갱신된 하위-영역(A1', A2')으로부터의 픽셀들을 포함할 수 있는 기준 블록(R1, R2, R3)에 기초하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 현재 이미지(I) 내의 상기 이미지 영역들(IA1, IA2, IA3, IA4) 및/또는 부가적 이미지 영역들은 특히 내부-예측을 위한 시간적 예측 이외의 하나 또는 그 초과의 미리결정된 프로세싱 단계들 및/또는 디블록킹 필터링 및/또는 루프-내 필터링 및/또는 보간 필터링에 대하여 서로 무관하게 프로세싱되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 이미지들(I)의 이미지 영역들(IA1, IA2, IA3, IA4)로의 분할은 각각의 코딩된 이미지 내에서 및/또는 상기 코딩된 이미지들로부터 별도로 정의된 파라미터 세트 내에서 시그널링되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법에 의해 코딩되는 디지털화된 이미지들의 시퀀스를 디코딩하기 위한 방법으로서,
    상기 예측 오류는 디코딩되고, 그리고 코딩을 위해서와 동일한 움직임 벡터들(MV)을 이용하여 움직임 보정 프로세스가 수행되는,
    디지털화된 이미지들의 시퀀스를 디코딩하기 위한 방법.
  15. 디지털화된 이미지들(I)의 시퀀스를 코딩 및 디코딩하기 위한 방법으로서,
    상기 이미지들(I)은 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법에 의해 코딩되고, 그리고 코딩된 이미지들은 제 14 항에 따른 방법에 의해 디코딩되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩 및 디코딩하기 위한 방법.
  16. 디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 장치로서,
    움직임 보정 프로세스를 수행하기 위한 수단(101) ― 상기 움직임 보정 프로세스는 현재 이미지(I) 내의 다수의 픽셀들을 참조하는 이미지 블록들(B1, B2, B3)과 기준 이미지(RI) 내의 다수의 픽셀들을 참조하는 기준 블록들(R1, R2, R3) 사이의 움직임 벡터들(MV)을 사용하고, 상기 기준 이미지(RI)는 상기 시퀀스 밖의 하나 또는 그 초과의 이미지들(I)에 기초하고, 상기 현재 이미지(I)의 적어도 부분의 각각의 이미지 블록(B1, B2, B3)에 대해, 움직임 벡터(MV)에 의해 표시된 대응하는 기준 블록(R1, R2, R3)에 기초한 시간적 예측이 수행되어, 상기 이미지 블록(B1, B2, B3)과 대응하는 기준 블록(R1, R2, R3) 사이의 예측 오류가 야기됨 ―;
    상기 예측 오류를 코딩하기 위한 수단(103)
    을 포함하고,
    상기 움직임 보정 프로세스를 수행하기 위한 수단은, 상기 시퀀스 내의 상기 현재 이미지(I)를 여러 이미지 영역들(IA1, IA2, IA3, IA4)로 분할하기 위한 수단을 포함하고, 상기 기준 이미지(RI) 내의 기준 영역(RA1, RA2, RA3, RA4)은 각각의 이미지 영역(IA1, IA2, IA3, IA4)과 연관되고, 이미지 영역(IA1, IA2, IA3, IA4) 내의 이미지 블록(B1, B2, B3)의 시간적 예측은 상기 이미지 영역(IA1, IA2, IA3, IA4)과 연관된 기준 영역(RA1, RA2, RA3, RA4) 내에 적어도 부분적으로 위치된 그리고 이 기준 영역(RA1, RA2, RA3, RA4)으로부터의 픽셀 정보를 배타적으로 포함한 기준 블록(R1, R2, R3)에 기초하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 장치.
  17. 제 16 항에 있어서,
    상기 장치는 제 2 항 내지 제 13 항 중 어느 한 항에 따른 방법을 수행하기 위해 배열되는,
    디지털화된 이미지들(I)의 시퀀스를 코딩하기 위한 장치.
  18. 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법에 의해 코딩되는 디지털화된 이미지들의 시퀀스를 디코딩하기 위한 장치로서,
    상기 장치는,
    상기 예측 오류를 디코딩하기 위한 수단(201);
    코딩을 위해서와 동일한 움직임 벡터들(MV)을 이용하여 움직임 보정 프로세스를 수행하기 위한 수단(202)
    을 포함하는,
    디지털화된 이미지들의 시퀀스를 디코딩하기 위한 장치.
  19. 디지털화된 이미지들(I)의 시퀀스를 코딩 및 디코딩하기 위한 장치로서,
    시스템은 제 16 항 또는 제 17 항에 따른 장치 및 제 18 항에 따른 장치를 포함하는,
    디지털화된 이미지들(I)의 시퀀스를 코딩 및 디코딩하기 위한 장치.
KR1020137021127A 2011-03-09 2012-02-22 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법 KR101968700B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11157462 2011-03-09
EP11157462.0 2011-03-09
PCT/EP2012/052974 WO2012119855A1 (en) 2011-03-09 2012-02-22 A method for coding a sequence of digitized images

Publications (2)

Publication Number Publication Date
KR20140044775A true KR20140044775A (ko) 2014-04-15
KR101968700B1 KR101968700B1 (ko) 2019-04-12

Family

ID=45774180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137021127A KR101968700B1 (ko) 2011-03-09 2012-02-22 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법

Country Status (6)

Country Link
US (1) US9872017B2 (ko)
EP (1) EP2630800B1 (ko)
JP (1) JP5717886B2 (ko)
KR (1) KR101968700B1 (ko)
CN (1) CN103404145B (ko)
WO (1) WO2012119855A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
WO2020251332A1 (ko) * 2019-06-14 2020-12-17 한국전자통신연구원 양자화 행렬 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY191783A (en) * 2010-04-13 2022-07-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
CN105191314B (zh) * 2013-01-10 2018-12-21 三星电子株式会社 用于对多层视频进行编码的方法和设备、用于对多层视频进行解码的方法和设备
CN104717510B (zh) 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
FR3075540A1 (fr) * 2017-12-15 2019-06-21 Orange Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.
CN112804528B (zh) * 2021-02-05 2022-10-28 北京字节跳动网络技术有限公司 屏幕内容处理方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050491A (ja) * 2004-08-09 2006-02-16 Matsushita Electric Ind Co Ltd マルチチャネル画像コーデック装置
US20090016621A1 (en) * 2007-07-13 2009-01-15 Fujitsu Limited Moving-picture coding device and moving-picture coding method
KR20110107829A (ko) * 2009-02-02 2011-10-04 톰슨 라이센싱 픽처 시퀀스를 나타내는 스트림을 디코딩하는 방법, 픽처 시퀀스를 코딩하는 방법, 및 코딩 데이터 스트럭처

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
JPH11346370A (ja) 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
GB2356997A (en) 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
JP2002034047A (ja) 2000-07-18 2002-01-31 Pioneer Electronic Corp 画像符号化装置及び画像符号化方法、情報符号化装置及び情報符号化方法、情報記録装置並びに情報記録媒体
US7801215B2 (en) * 2001-07-24 2010-09-21 Sasken Communication Technologies Limited Motion estimation technique for digital video encoding applications
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
JP2005065239A (ja) * 2003-07-28 2005-03-10 Matsushita Electric Ind Co Ltd 動画像の復号化装置
EP1503597A3 (en) 2003-07-28 2007-01-03 Matsushita Electric Industrial Co., Ltd. Video decoding apparatus
FR2867329A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de codage d'une sequence d'images par analyse temporelle hierarchique.
JP2006287583A (ja) * 2005-03-31 2006-10-19 Victor Co Of Japan Ltd 画像データ領域取得補間回路
JP4821723B2 (ja) * 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
JP5437807B2 (ja) 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
DE102007049351A1 (de) 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
CN101621687B (zh) * 2008-08-18 2011-06-08 深圳市铁越电气有限公司 H.264到avs视频码流转换方法及其装置
KR101647376B1 (ko) 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
TWI401972B (zh) * 2009-06-23 2013-07-11 Acer Inc 時間性錯誤隱藏方法
CN102484718B (zh) * 2009-09-03 2014-11-12 日本电气株式会社 视频编码设备、视频编码方法和视频编码程序
GB2480224B (en) * 2010-01-29 2014-08-20 Canon Kk Decoding a sequence of digital images with error concealment
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050491A (ja) * 2004-08-09 2006-02-16 Matsushita Electric Ind Co Ltd マルチチャネル画像コーデック装置
US20090016621A1 (en) * 2007-07-13 2009-01-15 Fujitsu Limited Moving-picture coding device and moving-picture coding method
KR20110107829A (ko) * 2009-02-02 2011-10-04 톰슨 라이센싱 픽처 시퀀스를 나타내는 스트림을 디코딩하는 방법, 픽처 시퀀스를 코딩하는 방법, 및 코딩 데이터 스트럭처

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
US10681371B2 (en) 2015-06-07 2020-06-09 Lg Electronics Inc. Method and device for performing deblocking filtering
WO2020251332A1 (ko) * 2019-06-14 2020-12-17 한국전자통신연구원 양자화 행렬 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
JP2014511641A (ja) 2014-05-15
US9872017B2 (en) 2018-01-16
US20140003526A1 (en) 2014-01-02
EP2630800B1 (en) 2019-09-11
CN103404145B (zh) 2017-03-22
CN103404145A (zh) 2013-11-20
KR101968700B1 (ko) 2019-04-12
WO2012119855A1 (en) 2012-09-13
EP2630800A1 (en) 2013-08-28
JP5717886B2 (ja) 2015-05-13

Similar Documents

Publication Publication Date Title
US11218694B2 (en) Adaptive multiple transform coding
JP6412910B2 (ja) ビデオを復号化する方法、ビデオを符号化する方法、デコーダ、エンコーダ、復号プログラムを記録したコンピュータ読み取り可能な記録媒体、および符号化プログラムを記録したコンピュータ読み取り可能な記録媒体
RU2751082C1 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
KR100984612B1 (ko) 비디오 화상에 대한 글로벌 모션 보상
KR101540168B1 (ko) 전이 영역 내의 샘플들의 식별
CN105379284B (zh) 动态图像编码装置及其动作方法
TWI703859B (zh) 解碼方法及解碼裝置
KR101968700B1 (ko) 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법
US20110249743A1 (en) Super-block for high performance video coding
CN114827597B (zh) 视频解码方法、装置、计算机设备及存储介质
CN110719469A (zh) 视频编解码方法、设备和存储介质
US9584808B2 (en) Device and method for scalable coding of video information
KR20160106617A (ko) 비디오 코딩을 위한 적응 모션 벡터 해상도 시그널링
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
US20140105295A1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
TW201342882A (zh) 在三維視訊寫碼中信號傳輸視圖合成預測支援
KR20100133006A (ko) 동화상 부호화/복호화 방법 및 장치
CN110999295B (zh) 边界强制分区的改进
KR20210049930A (ko) 비디오 디코딩을 위한 방법 및 장치
CN111543055A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法、程序和视频系统
CN111183641A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
JP2004128749A (ja) 動画像符号化方法及び復号化方法
TW202236852A (zh) 高效視訊編碼器架構
JP2012028863A (ja) 動画像符号化装置
CN116235490A (zh) 用于视频编码的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant