KR20080076908A - 모션과 텍스처 데이터를 예측하는 방법 - Google Patents

모션과 텍스처 데이터를 예측하는 방법 Download PDF

Info

Publication number
KR20080076908A
KR20080076908A KR1020087012058A KR20087012058A KR20080076908A KR 20080076908 A KR20080076908 A KR 20080076908A KR 1020087012058 A KR1020087012058 A KR 1020087012058A KR 20087012058 A KR20087012058 A KR 20087012058A KR 20080076908 A KR20080076908 A KR 20080076908A
Authority
KR
South Korea
Prior art keywords
image
high resolution
low resolution
sequence
pixels
Prior art date
Application number
KR1020087012058A
Other languages
English (en)
Other versions
KR101336104B1 (ko
Inventor
니콜라 부르댕
궤넬르 마르깽
피에르 다고와
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080076908A publication Critical patent/KR20080076908A/ko
Application granted granted Critical
Publication of KR101336104B1 publication Critical patent/KR101336104B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

본 발명은 비월주사된 화상의 시퀀스의 화상의 픽셀 중 적어도 한 블록에 대해, 저해상도의 순차주사된 화상의 시퀀스의 화상과 연관된 모션 데이터와 텍스처 데이터 각각으로부터 적어도 하나의 모션 예측기와 적어도 하나의 텍스처 예측기를 생성하는 방법에 관한 것이다.

Description

모션과 텍스처 데이터를 예측하는 방법{METHOD OF PREDICTING MOTION AND TEXTURE DATA}
본 발명은 고해상도의 비월주사된 시퀀스의 화상에 대해, 적어도 하나의 모션 예측기를, 그리고 적절하게는 모션 데이터로부터 적어도 하나의 텍스처 예측기를, 그리고 적절하게는 저해상도의 순차(progressive) 시퀀스의 화상과 연관된 텍스처 데이터를 생성하는 방법에 관한 것이다.
공간 크기 조정 능력(scalability)을 지닌 계층적 인코딩 방법이 알려져 있다. 크기 조정 능력은 다수의 해상도 및/또는 품질 레벨로 디코딩할 수 있도록 하는 정보를 서로 엇갈리게(stagger) 하는 능력을 나타낸다. 더 구체적으로는 이러한 타입의 인코딩 방법에 의해 생성된 데이터 스트림은 여러 층들로 나누어지는데, 특히 하나의 기본 층과 하나 이상의 강화 층으로 나누어진다. 이들 방법은 특히, 가변 전송 조건(대역폭, 에러 비 등)과 고객의 기대치 및 고객의 수신기의 변하는 가능 출력(CPU, 디스플레이 디바이스의 사양 등)에 단일 데이터 스트림을 적응시키는데 사용된다. 공간 크기 조정 능력의 특별한 경우, 시퀀스의 저해상도 화상에 대응하는 데이터 스트림 부분은 고해상도 화상에 대응하는 데이터 스트림 부분과는 독립적으로 디코딩될 수 있다. 반면에, 시퀀스의 고해상도 화상에 대응하는 데이터 스트림 부분은 오직 저해상도 화상에 대응하는 데이터 스트림 부분으로부터만 디코딩될 수 있다.
공간 크기 조정 능력을 지닌 계층적 인코딩은, 저해상도 화상에 관계가 있는 기본 층이라고 부르는 제 1 데이터 부분을 인코딩하는 것을 가능하게 하고, 이 기본 층으로부터, 고해상도 화상에 관계가 있는 강화 층이라고 부르는 제 2 데이터 부분을 인코딩하는 것을 가능하게 한다. 보통, 고해상도 화상의 각 매크로블록은 종래의 예측 모드(예컨대, 양방향 예측 모드, 직접 모드, 순방향 예측 모드 등)에 따라 일시적으로 예측되거나 실제로는 층간(interlayer) 예측 모드에 따라 예측된다. 층간 예측 모드에 따라 예측되는 경우, 모션 데이터(예컨대, 블록으로 매크로블록을 구획화하는 것(partitioning), 가능하게는 모션 벡터 및 기준 화상 인덱스들)와, 적절하게는 고해상도 화상의 픽셀의 블록과 연관된 텍스처 데이터는 각각 그 모션 데이터와, 저해상도 화상의 픽셀 블록과 연관된 텍스처 데이터로부터 추론되거나 물려받게 된다. 하지만, 알려진 방법은 저해상도의 시퀀스가 순차적이며, 고해상도 시퀀스가 비월주사된 경우에는 예측기가 생성되는 것을 허용하지 않는다.
본 발명의 목적은 종래 기술의 결점 중 적어도 하나를 극복하는 것이다.
본 발명은 고해상도 시퀀스라고 부르는 고해상도의 비월주사된 화상의 시퀀스의 한 화상의 픽셀 중 적어도 한 블록에 대해, 저해상도 시퀀스라고 부르는 저해상도의 순차주사된 화상의 시퀀스의 화상과 연관된 모션 데이터로부터 적어도 한 모션 예측기를 생성하는 방법에 관한 것이다. 각각의 비월주사된 화상은 하부 필드(bottom field)에 비월주사된 상부 필드(top field)를 포함한다. 각각의 순차주사된 화상과 비월주사된 화상의 각 필드는 그것을 시간 기준(temporal reference)과 연관시킨다. 이 방법은 특히
- 상기 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수와 같다면, 픽셀의 상기 적어도 한 블록에 대해:
·상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터 및/또는
·상기 고해상도 화상의 하부 필드와 동일한 시간 주파수를 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터;
- 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수의 2배와 같다면, 상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터
적어도 하나의 모션 예측기를 생성하는 것을 가능하게 한다.
유리하게, 고해상도 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수와 같다면, 화상의 수평 방향으로는 수평 층간 비(inter-layer ratio)에 의해 그리고 화상의 수직 방향으로는 수직 층간 비에 의해, 고해상도 화상의 상부 필드와 동일한 시간 기준으로, 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터를 서브샘플링(subsampling)함으로써 적어도 하나의 모션 예측기가 생성된다.
또다른 실시예에 따르면, 고해상도의 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수와 같다면, 화상의 수평 방향으로는 수평 층간 비에 의해 그리고 화상의 수직 방향으로는 수직 층간 비에 의해 고해상도 화상의 하부 필드와 동일한 시간 기준으로, 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터를 서브샘플링함으로써 적어도 하나의 모션 예측기가 생성된다.
또다른 실시예에 따르면, 고해상도 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수의 2배와 같다면, 화상의 수평 방향으로는 수평 층간 비에 의해 그리고 화상의 수직 방향으로는 수직 층간 비에 의해 고해상도 화상의 상부 필드와 동일한 시간 기준으로, 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터를 서브샘플링함으로써 픽셀의 적어도 하나의 블록에 대해 적어도 하나의 모션 예측기가 생성된다.
본 발명에 따른 방법은 또한
- 고해상도 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수와 같다면, 픽셀의 적어도 한 블록에 대해:
·상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 텍스처 데이터로부터; 및/또는
·상기 고해상도 화상의 하부 필드와 동일한 시간 주파수를 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 텍스처 데이터로부터; 및/또는
·고해상도 화상의 하부 필드 또는 상부 필드 중 하나와 동일한 시간 기준을 지닌 저해상도 화상의 적어도 한 블록의 픽셀 각각에 연관된 텍스처 데이터로부터 적어도 하나의 텍스처 예측기를 생성하고;
- 고해상도 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수의 2배와 같다면, 픽셀의 적어도 한 블록에 대해, 고해상도 화상의 상부 필드와 동일한 시간 기준을 가지고 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 텍스처 데이터로부터 적어도 하나의 텍스처 예측기를 생성하는 것을 가능하게 한다.
바람직하게, 저해상도 화상과 연관된 모션 데이터는 모션 벡터를 포함한다.
유리하게, 이 방법은 저해상도 화상으로부터 고해상도 화상을 인코딩하는 방법과, 저해상도 화상으로부터 고해상도 화상을 디코딩하는 방법에 의해 사용된다.
바람직하게, 저해상도 화상은 MPEG-4 AVC 표준에 따라 인코딩된다.
본 발명은, 첨부 도면을 참조하여 주어지고, 결코 제한적이지 않은 예시적인 실시예와 유리한 구현예에 의해 더 잘 이해되고 예시된다.
도 1은 저해상도 화상의 순차주사된 시퀀스와, 저해상도 시퀀스의 시간 주파수의 2배인 시간 주파수를 지닌 고해상도 화상의 비월주사된 시퀀스를 도시하는 도면.
도 2는 저해상도 화상의 순차주사된 시퀀스와, 저해상도 시퀀스의 시간 주파수와 동일한 시간 주파수를 지닌 고해상도 화상의 비월주사된 시퀀스를 도시하는 도면.
도 3은 저해상도 화상의 시퀀스가 순차적이고, 고해상도 화상의 시퀀스가 비월주사되는 경우에서의 본 발명에 따른 텍스처 예측기를 생성하는 방법을 도시하는 도면.
도 4는 저해상도 화상의 시퀀스가 순차적이고, 고해상도 화상의 시퀀스가 비 월주사되는 경우에서의 본 발명에 따른 모션 예측기를 생성하는 방법을 도시하는 도면.
도 5는 저해상도 화상의 2개의 매크로블록(MB1, MB2)의 화상의 수평 방향으로 2인 인자(factor)에 의해 서브샘플링하는 것과, 대응하는 예측기 매크로블록(MB_pred)에 대한 결과적인 구획을 도시하는 도면.
본 발명은 모션 예측기와, 적절하게는 저해상도 시퀀스라고 부르는 저해상도의 순차주사된 화상의 정돈된 시퀀스의 화상으로부터, 고해상도 시퀀스라고 부르는 고해상도의 비월주사된 화상의 정돈된 시퀀스의 화상에 대한 텍스처 예측기를 생성하는 층간 예측 방법에 관한 것이다. 이 시퀀스는 화상 그룹(GOP: groups of pictures)으로 나누어진다. 각각의 고해상도 화상은 하부 필드에 비월주사된 상부 필드를 포함한다. 도 1과 도 2에서, 인덱스 k인 비월주사된 화상은 kT로 참조된 상부 필드와 kB로 참조된 하부 필드로 이루어지고, 순차주사된 화상은 그것의 인덱스 k로 참조되고 있다. 시간 기준은 순차주사된 시퀀스의 각 화상과 연관되고 비월주사된 시퀀스의 각 필드와 연관된다. 고해상도 필드라고 부르는 고해상도 화상의 필드와, 동일한 시간 기준을 가지는 저해상도 화상은 수직으로 일치한다. LR 화상이라고도 참조되는 저해상도 화상은 w인 폭{w는 픽셀 또는 열(column)의 개수를 나타낸다}과 2h인 높이(2h는 픽셀 또는 라인의 개수를 나타내고, h가 곱해진 2를 의미한다)를 가진다. HR 화상이라고도 참조되는 고해상도 화상은 W인 폭(W는 화상 또는 열의 개수를 나타낸다)과 2H인 높이(2H는 픽셀 또는 라인의 개수를 나타내고, H가 곱해진 2를 의미한다)를 가진다. 고해상도 화상의 각 필드는 W인 폭과 H인 높이를 가진다. 전술한 실시예에서, 비월주사된 화상은 필드 화상 모드에서 인코딩되거나, 즉 각 필드가 분리된 화상으로서 인코딩되거나, 혹은 프레임 화상 모드에서도 인코딩될 수 있는데, 즉 2개의 필드가 함께 인코딩될 수 있다. 화상의 라인은 0부터 번호가 매겨지고 따라서 제 1 라인은 짝수 라인이고 제 2 라인(1로 번호가 매겨진)은 홀수 라인이다.
그러므로 본 발명은 고해상도 시퀀스의 화상 또는 그러한 고해상도 시퀀스의 화상의 픽셀의 적어도 한 블록에 대해 적어도 하나의 모션 예측기 및 적절하게는 적어도 하나의 텍스처 예측기를 생성하는 것으로 이루어진다. 고해상도 화상 또는 고해상도 화상의 픽셀의 적어도 하나의 블록과 연관된 텍스처 예측기는, 고해상도 화상의 각 픽셀 텍스처 데이터(예컨대, 휘도 값 및 적절하게는 크로미넌스 값)와 연관되는 화상 또는 예측 블록인데, 이는 J.Reichel, H.Schwarz, M.Wien에 의해 JVT-P202로 참조된 "Joint Scalable Video Model JSVM3 Annex-S"라는 제목의 문서 ISO/IEC MPEG&ITU-T VCEG의 섹션 S.8.3.6.4와 S.8.5.14.2에서 설명되는 텍스처에 적용된 ESS(Extended Spatial Scalability의 약자) 방법과 같은 텍스처를 서브샘플링하는 방법에 따라, 적어도 한 화상(또는 필드) 또는 저해상도 화상의 픽셀 중 적어도 한 블록(또는 필드의 픽셀 중 적어도 한 블록)과 연관된 텍스처 데이터로부터 생성된다. 이 문서는 이하에서 JSVM3라고 참조된다. 고해상도 화상 또는 고해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 예측기는 예측 화상 또는 모션 데이터와 연관된 예측 블록(예컨대, 가능하게는 모션 벡터가 지시하는 기준 화상을 식 별하는 것을 가능하게 하는 기준 화상 인덱스들을 분할하는 타입)으로서 한정된다. 모션 예측기는 JSVM3의 섹션 S.8.4.1.6.3에서 설명되는 모션에 적용된 ESS 방법이나, 모션에 적용된 ESS 방법으로부터 유도된 아래에 설명된 수정된 ESS 방법과 같은 모션 서브샘플링 방법에 따라, 적어도 한 화상(또는 필드) 또는 저해상도 화상(또는 필드의 픽셀의 적어도 한 블록)의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터 생성된다. 도 3에서 MESS로 참조되고 있는 수정된 ESS 방법은, 특히 고해상도 비월주사된 시퀀스 및/또는 저해상도 비월주사된 시퀀스를 처리하는 것을 가능하게 한다. 더 구체적으로는, 고해상도 화상의 높이 또는 폭이 저해상도 화상의 높이 또는 폭보다 작은 경우에 처리하는 것을 가능하게 한다. 이 경우는 도 2에 예시되어 있는데, 고해상도 화상의 상부 필드 또는 하부 필드의 높이(H)(H=540)가 저해상도 프레임 화상의 높이(2h)(2h=720)보다 작다. 또한, 본 발명에 따른 예측 방법이 계층적 인코딩 또는 디코딩 방법에 의해 사용될 때, 유효하지 않은 모션 벡터, 즉 이용 가능하지 않은 기준 화상을 가리키는 벡터를 포함하는 모션 예측기를 가지는 것을 유리하게 회피하는 것을 가능하게 한다. 예컨대, 도 2를 참조하면 저해상도 화상(5)은 더 일찍 처리된 저해상도 화상(6)으로 일시적으로 참조될 수 있다. 하지만, 고해상도 필드(2B)는 고해상도 필드(3T)로 참조될 수 없고, 이러한 고해상도 필드(3T)는 필드(2B)가 처리될 때 일시적으로 아직 이용가능하지 않게 된다.
수정된 ESS 방법에 따르면, 저해상도 화상과 연관된 모션 데이터를 2로, 더 구체적으로는 저해상도 화상의 각 매크로블록과 연관된 모션 데이터를 화상의 수직 방향, 화상의 수평 방향 또는 2가지 방향 모두로 서브샘플링함으로써 중간 모션 예측기가 생성된다. 2로 서브샘플링하는 방법은, 상기 중간 예측기의 높이가 고해상도 화상의 높이보다 큰 경우 화상의 수직 방향으로 반복되고, 상기 중간 예측기의 폭이 고해상도 화상의 폭보다 큰 경우 화상의 수평 방향으로 반복된다. 이 서브샘플링은 특히 픽셀의 블록과 연관된 모션 벡터의 좌표를 2로 나누는 것으로 이루어진다. 예컨대, 도 5를 참조하면, 가능하게는 픽셀의 블록으로 나누어진 저해상도 화상의 2개의 매크로블록(MB1 또는 MB2)에 기초하여, 중간 모션 예측기의 매크로블록(MB)이 생성된다. 매크로블록에서의 픽셀의 블록 크기는 상기 매크로블록 위에 표시된다. 예컨대, 도 5의 제 2 라인에서, 매크로블록(MB1)은 나누어지지 않고, 매크로블록(MB2)은 8행 16열(8 ×16으로 표시됨) 픽셀을 측정하는 2개의 블록으로 나누어지고, 이들 2개의 매크로블록으로부터 생성된 매크로블록(MB)은 4개의 8 ×8 블록으로 나누어지며, 이들 중 2개는 4 ×8 블록으로 나누어진다. 기준 화상의 인덱스들은 매크로블록(MB) 내의 8 ×8 픽셀 크기의 블록들 사이에서 균일하게 만들어지고, 매크로블록(MB) 내의 격리된 인트라-타입(intra-type) 블록은 모션에 적용된 ESS 층간 예측 방법에서와 동일한 방식으로 삭제되고 JSVM3에서 설명된다. 고해상도 화상과 연관된 모션 예측기는 화상의 수평 방향으로는
Figure 112008035642046-PCT00001
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00002
와 같은 층간 비로 ESS 방법을 적용함으로써, 이러한 방식으로 생성된 마지막 중간 모션 예측기로부터 생성되는데, 이 경우 wi와 2hi는 각각 생성된 마지막 중간 모션 예측기의 폭과 높이이다. 또한, 각 예측 매크로블록에 있어서, 모션 벡터 계승(inheritance) 방법은 유효하지 않은 모션 벡터, 즉 시간 분석(breakdown) 과정에서 이용 가능하지 않은 필드 또는 프레임 화상을 가리키는 벡터를 생성하지 않도록 수정된다. 이 경우, 예측 매크로블록(MB_pred)과 연관된 모든 모션 벡터가 유효하지 않다면, 층간 모션 예측는 이 매크로블록에 대해 정당하다고 인정되지 않는다. 그렇지 않은 경우, 즉 상기 벡터 중 적어도 하나가 유효하다면, 모션에 적용된 ESS 예측 방법이 사용된다.
도 1 내지 도 4에 예시된 본 발명에 따른 방법은, 한 화상에 대해 설명되지만, 한 화상의 일부에도 적용될 수 있고, 특히 매크로블록과 같은 픽셀의 블록에 적용 가능하다. 도 3의 좌측 부분은 도 1에서 인덱스 k인 고해상도 화상과 연관된 텍스처 예측기의 생성을 예시한다. 이들 텍스처 예측기는 저해상도 시퀀스의 시간 주파수가 고해상도 시퀀스의 시간 주파수의 절반과 같은 경우(예컨대, 저해상도 시퀀스는 CIF 포맷인, 30㎐로 352 ×288개의 픽셀을 측정하는 순차주사된 시퀀스이고, 고해상도 시퀀스는 SD 포맷인, 즉 60㎐로 720 ×576개의 픽셀을 측정하는 비월주사된 시퀀스이다), 다음과 같이 생성된다.
·W ×2H를 측정하는 프레임 텍스처 예측기는 화상의 수평 방향으로는
Figure 112008035642046-PCT00003
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00004
와 같은 층간 비로 텍스처 예측 ESS 방 법을 적용함으로써, 인덱스 k인 저해상도 화상의 텍스처 데이터로부터 생성되고(30),
·W ×H를 측정하는 텍스처 예측기는 이전 단계에서 생성된 프레임 텍스처 예측기를 수직으로 서브샘플링함으로써, 즉 고해상도 화상의 짝수 라인을 보유함으로써, 고해상도 화상의 상부 필드에 대해 생성된다(31).
이 특별한 경우, 어떠한 텍스처 예측기도 하부 필드에 대해서는 생성되지 않는다. 하부 필드가 상부 필드 전에 인코딩된다면{"하부 필드 우선(bottom field first)" 모드}, 상부 필드에 대해서는 어떠한 텍스처 예측기도 생성되지 않고, W ×H를 측정하는 텍스처 예측기가 프레임 텍스처 예측기를 수직으로 서브샘플링, 즉 그것의 홀수 라인을 보유함으로써, 고해상도 화상의 하부 필드에 대해 생성된다.
도 3의 우측 부분은 저해상도 시퀀스와 고해상도 시퀀스의 시간 주파수가 동일한 경우에서의 도 2의 인덱스 k인 고해상도 화상과 연관된 텍스처 예측기의 생성을 예시한다(예컨대, 저해상도 시퀀스는 720p 포맷, 즉 60㎐로 1280 ×720개의 픽셀로 측정하는 순차주사된 시퀀스이고, 고해상도 시퀀스는 1080i 포맷, 즉 60㎐로 1920 ×540개의 픽셀로 된 비월주사된 시퀀스이다):
·W ×2H를 측정하는 제 1 중간 프레임 텍스처 예측기는 화상의 수평 방향으로는
Figure 112008035642046-PCT00005
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00006
와 같은 층간 비로 ESS 방법을 적용함으로써, 인덱스 2k인 저해상도 화상의 텍스처 데이터로부터 생성되고(32),
·W ×H를 측정하는 텍스처 예측기는 이전 단계에서 생성된 제 1 중간 프레 임 텍스처 예측기를 수직으로 서브샘플링, 즉 그것의 짝수 라인을 보유함으로써, 고해상도 화상의 상부 필드에 대해 생성된다(34);
·W ×2H를 측정하는 제 2 중간 프레임 텍스처 예측기는, 화상의 수평 방향으로는
Figure 112008035642046-PCT00007
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00008
와 같은 층간 비로 ESS 방법을 적용함으로써, 인덱스 2k+1인 저해상도 화상의 텍스처 데이터로부터 생성되고(33),
·W ×H를 측정하는 텍스처 예측기는 이전 단계에서 생성된 제 2 중간 프레임 텍스처 예측기를 수직으로 서브샘플링, 즉 그것의 홀수 라인을 보유함으로써, 고해상도 화상의 하부 필드에 대해 생성된다(35);
·W ×2H를 측정하는 프레임 텍스처 예측기는 하부 필드와 상부 필드와 각각 연관된 텍스처 예측기를 비월주사함으로써 생성된다(36).
하지만, 현재 GOP의 마지막 화상에 대해서는, W ×2H를 측정하는 프레임 텍스처 예측기가 화상의 수평 방향으로는 1, 화상의 수직 방향으로는 2와 같은 층간 비로 ESS 방법을 적용함으로써, 고해상도 화상의 상부 필드와 연관된 텍스처 예측기로부터 생성된다.
도 2에서 4B로 참조된 고해상도 시퀀스의 GOP의 마지막 하부 필드는, 어떠한 예측기도 가지지 않는데, 이는 도 2에서 9로 참조된 대응하는 저해상도 화상이 다음 GOP에 속하기 때문이다.
도 1의 인덱스 k인 고해상도 화상과 연관된 모션 예측기는, 저해상도 시퀀스의 시간 주파수가 고해상도 시퀀스의 시간 주파수의 절반과 같은 경우에 도 4에 예 시된 것과 같이 다음 방식으로 생성된다.
·W ×H를 측정하는 모션 예측기는, 화상의 수평 방향으로는
Figure 112008035642046-PCT00009
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00010
와 같은 층간 비로 전술한 수정된 ESS 방법을 적용함으로써, 인덱스 k인 저해상도 화상의 모션 데이터로부터 고해상도 화상의 상부 필드에 대해 생성되고(40),
·W ×2H를 측정하는 프레임 모션 예측기는, 화상의 수평 방향으로는
Figure 112008035642046-PCT00011
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00012
와 같은 층간 비로 전술한 수정된 ESS 방법을 적용함으로써, 인덱스 k인 저해상도 화상의 모션 데이터로부터 생성된다(41).
이러한 특별한 경우, 하부 필드에 대해서는 어떠한 모션 예측기도 생성되지 않는다. 하부 필드가 상부 필드 전에 인코딩된다면("하부 필드 먼저" 모드), 상부 필드에 대해서는 어떠한 모션 예측기도 생성되지 않고, W ×H를 측정하는 모션 예측기가 프레임 모션 예측기를 수직으로 서브샘플링, 즉 프레임의 홀수 라인을 보유함으로써, 하부 필드에 대해 생성된다.
그외 다른 경우, 즉 저해상도 시퀀스와 고해상도 시퀀스의 시간 주파수가 같은 경우에는, 도 2에서 인덱스 k인 고해상도 화상의 모션 예측기가 도 4에 예시된 것과 같이, 다음 방식으로 생성된다:
·W ×H를 측정하는 모션 예측기는, 화상의 수평 방향으로는
Figure 112008035642046-PCT00013
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00014
와 같은 층간 비로 전술한 수정된 ESS 방법을 적용함으로써, 인덱스 2k인 저해상도 화상의 모션 데이터로부터 고해상도 화상의 상부 필드에 대해 생성되는데(42), 정식으로 생성된 참조 화상 인덱스들은 2로 나누어진다;
·W ×H를 측정하는 모션 예측기는, 화상의 수평 방향으로는
Figure 112008035642046-PCT00015
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00016
와 같은 층간 비로 전술한 수정된 ESS 방법을 적용함으로써, 인덱스 2k+1인 저해상도 화상의 모션 데이터로부터 고해상도 화상의 하부 필드에 대해 생성되는데(43), 정식으로 생성된 참조 화상 인덱스들은 2로 나누어진다; 그리고
·W ×2H를 측정하는 프레임 모션 예측기는, 화상의 수평 방향으로는
Figure 112008035642046-PCT00017
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00018
와 같은 층간 비로 전술한 수정된 ESS 방법을 적용함으로써, 인덱스가 2k 또는 2k+1인 저해상도 화상의 모션 데이터로부 터 생성된다.
일 변형예에 따르면, W ×2H를 측정하는 도 4에서 P1과 P2로 참조된 2개의 프레임 모션 예측기가 생성되는데(참조 번호 44와 45), 즉 하나(P1)는 인덱스 2k인 저해상도 화상으로부터의 것이고, 나머지 하나(P2)는 화상의 수평 방향으로는
Figure 112008035642046-PCT00019
, 화상의 수직 방향으로는
Figure 112008035642046-PCT00020
와 같은 층간 비로 수정된 ESS 방법을 적용함으로써, 인덱스 2k+1인 저해상도 화상으로부터의 것이다.
일 변형예에 따르면, 시퀀스의 각 GOP의 마지막 화상에 대해서는 어떠한 텍스처 및 모션 예측기도 생성되지 않는다. 실제로, 이 화상에 대한 모션 및 텍스처 예측기를 생성하기 위해서는, 도 1과 도 2에 예시된 것과 같이 저해상도 시퀀스의 대응하는 GOP와 다음 GOP를 디코딩하고 저장하는 것이 필수적이다.
이 방법이 코딩 방법에 의해 사용된다면, 모든 모션 예측기(각각 텍스처 예측기)가 비 왜곡 표준(rate distortion criteria)과 같은 주어진 표준에 따라 가장 적절한 것을 선택하기 위해 생성될 수 있고, 그 예측기의 타입은 그 비트스트림에 명시된다.
물론, 본 발명은 전술한 예시적인 실시예에 제한되지 않는다. 특히, 당업자라면 전술한 실시예에 임의의 변형을 적용할 수 있고, 상기 실시예들의 상이한 장점으로부터 이득을 얻기 위해, 상기 실시예들을 결합할 수 있다. 예컨대, 본 발명에 따른 방법은 고해상도 화상의 일 부분에 적용될 수 있다. 실제로, 저해상도 화상의 픽셀의 블록과 연관된 모션 및/또는 텍스처 데이터로부터 고해상도 화상의 픽 셀의 블록(예컨대, 16 ×16 픽셀을 측정하는 매크로블록)에 대한 모션 및/또는 텍스처 예측기를 생성하는 것이 가능하다. 유사하게, 본 발명은 비월주사된 화상의 상부 필드가 먼저 디스플레이되는 경우("상부 필드 먼저" 경우)에서 설명되었고, 상부 필드와 하부 필드를 뒤바꿈으로써 하부 필드가 먼저 디스플레이되는 경우("하부 필드 먼저" 경우)에 직접 연장될 수 있다. 게다가, 본 발명은 여러 개의 고해상도 시퀀스(즉, 여러 개의 강화 층)의 경우에도 연장될 수 있다. 또한, 본 발명은 화상 또는 비디오의 시퀀스를 인코딩 또는 디코딩하는 방법에 의해 유리하게 사용된다. 바람직하게, 저해상도의 시퀀스는 문서 ISO/IEC 14496-10("Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding")에서 한정된 MPEG4 AVC 인코딩 표준에 따라 인코딩된다.
전술한 바와 같이, 본 발명은 고해상도의 비월주사된 시퀀스의 화상에 대해, 적어도 하나의 모션 예측기를, 그리고 적절하게는 모션 데이터로부터 적어도 하나의 텍스처 예측기를, 적절하게는 저해상도의 순차주사된 시퀀스의 화상과 연관된 텍스처 데이터를 생성하는 방법에 이용 가능하다.

Claims (9)

  1. 모션 예측기(motion predictor) 생성 방법으로서,
    고해상도 시퀀스라고 부르는 고해상도 비월주사된 화상의 시퀀스의 한 화상의 픽셀의 적어도 한 블록에 대해, 저해상도 시퀀스라고 부르는 저해상도 순차주사된(progressive) 화상의 시퀀스의 화상과 연관된 모션 데이터로부터 적어도 하나의 모션 예측기를 생성하고, 각각의 비월주사된 화상은 하부 필드와 비월주사된 상부 필드를 포함하고, 각각의 순차주사된 화상과 비월주사된 화상의 각 필드는 그것을 시간 기준과 연관시키는, 생성 방법에 있어서,
    - 상기 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수와 같다면, 상기 적어도 하나의 모션 예측기는 픽셀의 상기 적어도 한 블록에 대해,
    ·상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터(42, 44) 및/또는
    ·상기 고해상도 화상의 하부 필드와 동일한 시간 주파수를 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터(43, 45) 생성되고;
    - 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수의 2배와 같다면, 상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 적어도 한 블록과 연관된 모션 데이터로부터, 픽셀의 상기 적어 도 한 블록에 대해 상기 적어도 하나의 모션 예측기가 생성되는 것을 특징으로 하는, 모션 예측기 생성 방법.
  2. 제 1항에 있어서, 상기 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수와 같다면, 상기 적어도 하나의 모션 예측기는 화상의 수평 방향으로는 수평 층간 비(inter-layer ratio)를, 화상의 수직 방향으로는 수직 층간 비를 지닌 상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록과 연관된 상기 모션 데이터를 서브샘플링(42, 44)함으로써 생성되는, 모션 예측기 생성 방법.
  3. 제 1항에 있어서, 상기 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수와 같다면, 상기 적어도 하나의 모션 예측기는 화상의 수평 방향으로는 수평 층간 비를, 화상의 수직 방향으로는 수직 층간 비를 지닌 상기 고해상도 화상의 하부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록과 연관된 상기 모션 데이터를 서브샘플링(43, 45)함으로써 생성되는, 모션 예측기 생성 방법.
  4. 제 1항에 있어서, 고해상도 시퀀스의 시간 주파수가 상기 저해상도 시퀀스의 시간 주파수의 2배와 같다면, 상기 적어도 하나의 모션 예측기는 화상의 수평 방향으로는 수평 층간 비를, 화상의 수직 방향으로는 수직 층간 비를 지닌 상기 고해상 도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록과 연관된 상기 모션 데이터를 서브샘플링(40, 41)함으로써 픽셀의 상기 적어도 한 블록에 대해 생성되는, 모션 예측기 생성 방법.
  5. 제 1항에 있어서,
    - 고해상도 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수와 같다면, 픽셀의 상기 적어도 한 블록에 대해:
    ·상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록과 연관된 텍스처 데이터로부터(32, 34); 및/또는
    ·상기 고해상도 화상의 하부 필드와 동일한 시간 주파수를 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록과 연관된 텍스처 데이터로부터(33, 35); 및/또는
    ·상기 고해상도 화상의 하부 필드 또는 상부 필드 중 하나와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록의 각각과 연관된 텍스처 데이터로부터(36) 적어도 하나의 텍스처 예측기가 생성되고;
    - 고해상도 시퀀스의 시간 주파수가 저해상도 시퀀스의 시간 주파수의 2배와 같다면, 상기 고해상도 화상의 상부 필드와 동일한 시간 기준을 지닌 저해상도 화상의 픽셀의 상기 적어도 한 블록과 연관된 텍스처 데이터로부터, 픽셀의 상기 적어도 한 블록에 대해, 적어도 하나의 텍스처 예측기가 생성되는, 모션 예측기 생성 방법.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서, 저해상도 화상과 연관된 모션 데이터는 모션 벡터를 포함하는, 모션 예측기 생성 방법.
  7. 제 1항 내지 제 6항 중 어느 한 항에 있어서, 상기 방법은 저해상도 화상으로부터 고해상도 화상을 인코딩하는 방법에 의해 사용되는, 모션 예측기 생성 방법.
  8. 제 7항에 있어서, 저해상도 화상은 MPEG-4 AVC 표준에 따라 인코딩되는, 모션 예측기 생성 방법.
  9. 제 1항 내지 제 6항 중 어느 한 항에 있어서, 상기 방법은 저해상도의 화상으로부터 고해상도의 화상을 디코딩하는 방법에 의해 사용되는, 모션 예측기 생성 방법.
KR1020087012058A 2005-12-05 2006-11-23 모션과 텍스처 데이터를 예측하는 방법 KR101336104B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0553710 2005-12-05
FR0553710A FR2894423A1 (fr) 2005-12-05 2005-12-05 Procede de prediction de donnees mouvement et de texture
PCT/EP2006/068782 WO2007065795A1 (en) 2005-12-05 2006-11-23 Method of predicting motion and texture data

Publications (2)

Publication Number Publication Date
KR20080076908A true KR20080076908A (ko) 2008-08-20
KR101336104B1 KR101336104B1 (ko) 2013-12-04

Family

ID=36178008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087012058A KR101336104B1 (ko) 2005-12-05 2006-11-23 모션과 텍스처 데이터를 예측하는 방법

Country Status (8)

Country Link
US (1) US8396124B2 (ko)
EP (1) EP1958449B1 (ko)
JP (1) JP5148503B2 (ko)
KR (1) KR101336104B1 (ko)
CN (1) CN101322412B (ko)
FR (1) FR2894423A1 (ko)
TW (1) TWI425836B (ko)
WO (1) WO2007065795A1 (ko)

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01118085A (ja) 1988-09-27 1989-05-10 Sanyo Electric Co Ltd 冷蔵庫等の箱体
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
JP3135692B2 (ja) 1992-08-28 2001-02-19 株式会社日立製作所 階層的動画像信号符号化装置及び方法
JP3189258B2 (ja) * 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6222944B1 (en) * 1998-05-07 2001-04-24 Sarnoff Corporation Down-sampling MPEG image decoder
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
SG75179A1 (en) * 1998-07-14 2000-09-19 Thomson Consumer Electronics System for deriving a decoded reduced-resolution video signal from a coded high-definition video signal
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
JP2000059793A (ja) * 1998-08-07 2000-02-25 Sony Corp 画像復号装置及び画像復号方法
JP2001045475A (ja) * 1999-07-27 2001-02-16 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体
JP3975629B2 (ja) * 1999-12-16 2007-09-12 ソニー株式会社 画像復号装置及び画像復号方法
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
KR20040054746A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 스케일가능 압축 방법 및 장치
WO2003047272A2 (en) 2001-11-21 2003-06-05 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
AU2003215018A1 (en) * 2002-03-27 2003-10-13 Thomson Licensing S.A. Upconversion with noise constrained diagonal enhancement
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
EP1455534A1 (en) * 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
US7970056B2 (en) * 2003-06-26 2011-06-28 Lsi Corporation Method and/or apparatus for decoding an intra-only MPEG-2 stream composed of two separate fields encoded as a special frame picture
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
WO2005064948A1 (en) 2003-12-22 2005-07-14 Koninklijke Philips Electronics N.V. Compatible interlaced sdtv and progressive hdtv
US7894526B2 (en) * 2004-02-27 2011-02-22 Panasonic Corporation Motion estimation method and moving picture coding method
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
FR2894422A1 (fr) 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture

Also Published As

Publication number Publication date
JP2009518906A (ja) 2009-05-07
EP1958449B1 (en) 2015-08-19
FR2894423A1 (fr) 2007-06-08
US20100039555A1 (en) 2010-02-18
EP1958449A1 (en) 2008-08-20
TW200803519A (en) 2008-01-01
CN101322412B (zh) 2011-01-05
JP5148503B2 (ja) 2013-02-20
US8396124B2 (en) 2013-03-12
WO2007065795A1 (en) 2007-06-14
CN101322412A (zh) 2008-12-10
TWI425836B (zh) 2014-02-01
KR101336104B1 (ko) 2013-12-04

Similar Documents

Publication Publication Date Title
US8446956B2 (en) Inter-layer motion prediction method using resampling
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
KR20070103459A (ko) 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
KR20200020882A (ko) 모션 벡터 정제를 위한 검색 영역
JP5508024B2 (ja) ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム
US11616948B2 (en) Method and device for subpicture-based image encoding/decoding, and method for transmitting bitstream
JP5137119B2 (ja) ビデオ画像の階層符号化法
JP5037517B2 (ja) 動き及びテクスチャデータを予測する方法
US20140369416A1 (en) Method of predicting motion and texture data
JP5211048B2 (ja) 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
JP7178907B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101336104B1 (ko) 모션과 텍스처 데이터를 예측하는 방법
US20140140392A1 (en) Video processing system with prediction mechanism and method of operation thereof
EP1848218A1 (en) Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
JP2012186762A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20230017238A (ko) 인터 레이어 예측 여부에 기반하여 움직임 정보를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181112

Year of fee payment: 6