KR100961294B1 - 이미지 블록 예측 방법 - Google Patents

이미지 블록 예측 방법 Download PDF

Info

Publication number
KR100961294B1
KR100961294B1 KR1020050049611A KR20050049611A KR100961294B1 KR 100961294 B1 KR100961294 B1 KR 100961294B1 KR 1020050049611 A KR1020050049611 A KR 1020050049611A KR 20050049611 A KR20050049611 A KR 20050049611A KR 100961294 B1 KR100961294 B1 KR 100961294B1
Authority
KR
South Korea
Prior art keywords
picture
motion vector
scene
term reference
coding
Prior art date
Application number
KR1020050049611A
Other languages
English (en)
Other versions
KR20050061438A (ko
Inventor
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050049611A priority Critical patent/KR100961294B1/ko
Publication of KR20050061438A publication Critical patent/KR20050061438A/ko
Application granted granted Critical
Publication of KR100961294B1 publication Critical patent/KR100961294B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

본 발명은 동영상 코딩 시스템에서 동영상 코딩 시퀀스에 대해 롱텀 레퍼런스 픽쳐를 이용한 인터 모드 및 B 픽쳐의 다이렉트 모드를 통해 코딩 효율을 향상시킨 동영상 코딩 방법에 관한 것이다.
본 발명은 P 픽쳐에 대해 장면 변환 여부에 따라 롱텀 레퍼런스 픽쳐를 참조하여 인터 모드로 코딩시킨다. 또한, B 픽쳐에 대해 B 픽쳐에 특정 픽쳐의 동일 위치 블록에 대한 모션 벡터가 가리키는 레퍼런스 버퍼의 종류에 따라 다이렉트 모드의 모션벡터를 계산하여 코딩시킨다.
Figure R1020050049611
동영상, P픽쳐, B 픽쳐, 롱텀 레퍼런스 픽쳐, 다이렉트 모드, 모션벡터

Description

이미지 블록 예측 방법{METHOD OF PREDICTING IMAGE BLOCK}
도 1은 B 픽쳐를 2장 사용하는 경우에 각 픽쳐가 디스플레이되는 순서를 나타낸다.
도 2는 동영상 코딩 시스템에서 B 픽쳐를 사용하여 디지털 영상을 코딩하는 순서를 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따른 동영상 시스템에서 동영상 시퀀스를 코딩하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 바람직한 실시예에 따른 장면 변환을 갖는 동영상 시퀀스를 코딩하는 방법을 나타내는 예시도이다.
도 5는 본 발명의 바람직한 실시예에 따른 다이렉트 모드로 B 픽쳐를 코딩하는 방법을 나타내는 예시도이다.
본 발명은 동영상 코딩 시스템에 관한 것으로, 특히 쌍예측(bi-predictive) 이미지 블록에 대하여 동일 위치에 있는 이미지 블록과 관련된 레퍼런스 픽쳐(reference picture)의 타입에 근거하여 상기 쌍예측 이미지 블록의 모션 벡터들을 결정함으로써 코딩 효율을 향상시킨 이미지 블록 예측방법에 관한 것이다.
동영상 픽쳐 시퀀스를 최적으로 압축하여 코딩하는 데에는 시퀀스에서 장면 변화 여부를 검출할 수 있는 것이 바람직하다. 왜냐하면, 뉴스, 스포츠 방송, 인터뷰와 같은 클로즈업 대화(close-up conversation)장면, 또는 다자간 영상 회의(multi-point video conference)와 같은 비디오 영상은 반복적인 장면 변환을 포함하고 있기 때문이다. 이러한 장면 변환은 픽쳐 전체에서 발생할 수 있고, 또는 픽쳐 내 일부 영역에서 발생할 수 있다.
장면 변화가 검출될 때 마다 디지털 영상의 코딩 방법은 그에 따라 변화된다. 예를 들어, 장면변환이 발생한 픽쳐와 픽쳐 이전 장면의 픽쳐 사이에는 상호 유사성이 매우 낮기 때문에, 새로운 장면의 픽쳐는 레퍼런스 픽쳐로부터 움직임 보상(motion compensation)을 통해 코딩하는 인터 모드 (inter mode)에 비해 픽쳐 내에서 예측을 통해 코딩하는 인트라 모드 (intra mode)가 더 많이 선택되어 코딩이 이루어진다.
더 자세히 설명하면, 장면 변환이 픽쳐 전체에서 발생한 픽쳐는 모든 블록에서 인트라 모드로 코딩되는 인트라 픽쳐가 되고, 픽쳐의 일부 영역에서 장면 변환이 발생한 픽쳐는 장면 변환이 발생한 영역의 모든 블록이 인트라 모드로 코딩되어진다. 상기와 같은 인트라 모드는 인터 모드에 비해 높은 비트량을 생성하기 때문에, 장면 변환이 자주 발생하는 시퀀스는 저 비트율 응용(low bit rate application)에서 치명적인 문제점을 갖게 된다.
일반적으로 동영상 코딩 시스템에서 B 픽쳐를 사용할 경우, 코딩 순서 (coding order)는 디스플레이 순서(display order)와 다르다.
도 1는 B 픽쳐를 2장 사용하는 경우에 각 픽쳐가 디스플레이되는 순서를 나타낸다. 도 1에 나타낸 바와 같이, 시간적으로 디스플레이 되는 픽쳐 중 처음으로 인트라 픽쳐(I)가 디스플레이 되면, 두 장의 B 픽쳐(B1, B2)는 상기 인트라 픽쳐(I) 다음으로 계속해서 차례대로 디스플레이 된다. 상기의 B 픽쳐(B1, B2)가 디스플레이 된 후, P 픽쳐(P3)가 세 번째에서 디스플레이 된다. 상기와 같은 방법으로 다음 단계도 이루어진다. 즉, 상기 세 번째 P 픽쳐(P3)가 디스플레이 되면, 네 번째 및 다섯 번째의 B 픽쳐(B4, B5)가 디스플레이 되고, 계속해서 P 픽쳐(P6)가 디스플레이 된다.
하지만, 디지털 영상을 코딩하는 순서는 디스플레이 순서와 동일하지 않꼐 된다. 즉, P 픽쳐가 B 픽쳐에 우선하여 코딩된다.
도 2는 동영상 코딩 시스템에서 B 픽쳐를 사용하여 디지털 영상을 코딩하는 순서를 나타낸다. 도 2에 나타낸 바와 같이, 인트라 픽쳐(I)가 코딩되면, 먼저 디스플레이되는 두 장의 B 픽쳐(B1, B2)보다 P 픽쳐(P3)가 먼저 코딩된다. 그 뒤에는 차례로 P6, B4, B5, P9, B7, B8, P12, B10, B11가 각각 코딩된다.
여기서, 상기 B 픽쳐(B1, B2, B4, B5, B7, B8, B10, B11)는 인트라 모드 (intra mode), 포워드 모드 (forward mode), 백워드 모드 (backward mode), 쌍예측 모드 (bi-predictive mode), 및 다이렉트 모드 (direct mode) 등 모두 5가지 예측 모드를 가지고 있다. 이중에서 쌍예측 모드는 두 개의 레퍼런스 픽쳐를 갖게 되고 두 레퍼런스 픽쳐의 위치는 B 픽쳐에 비해 모두 시간적으로 앞에 위치하거나 모두 뒤에 위치할 수도 있고, 또는 B 픽쳐를 중심으로 앞뒤로 존재할 수도 있다.
특히, 다이렉트 모드는 인접한 두 픽쳐 사이에 모션 연속성이 일정하게 유지된다는 시간적 중복성(temporal redundancy) 특성을 이용한다. 즉, 다이렉트 모드에서 B 픽쳐는 디스플레이 상 상기 B 픽쳐 바로 뒤에 위치하는 서브시퀀트 픽쳐의 동일 위치의 블록이 갖는 모션 벡터로부터 다이렉트 모드의 포워드 모션 벡터와 백워드 모션 벡터가 유도된다. 이러한 다이렉트 모드는 모션정보와 같은 오버헤드 정보를 디코더에 전송하지 않기 때문에 비트율을 감소시킬 수 있는 장점이 있다.
이때, 종래의 다이렉트 모드의 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb)는, 서브시퀀트 픽쳐(subsequent picture)에 있는 동일 위치의 블록(co-located block)이 모션 벡터 MV를 갖고 있을 때, 이 모션 벡터 MV를 픽쳐 간 시간 거리를 이용한 스케일링(scaling)에 의해 구하게 된다. 즉, 다이렉트 모드의 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb)는 하기의 수식 Eq.1 및 Eq.2를 이용하여 결정된다.
MVf=(TRb*MV)/TRd.......(식 1)
MVb=(TRb-TRd)*MV/TRd.......(식 2)
여기서, MV는 서브시퀀트 픽쳐에 있는 동일 위치의 블록이 갖는 모션 벡터이고, MVf는 B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터이며, MVb는 B 픽쳐에 대한 다이렉트 모드의 백워드 모션 벡터를 각각 나타낸다. 또한, TRd는 서브시퀀트 P 픽쳐가 참조하는 레퍼런스 픽쳐와 서브시퀀트 P 픽쳐 사이의 시간 상 거리이고, TRb는 서브시퀀트 P 픽쳐가 참조하는 레퍼런스 픽쳐로부터 B 픽쳐 사이의 시간 상 거리를 각각 나타낸다.
결국, 상기 다이렉트 모드는 두 모션 벡터(MVf와 MVb)를 사용하여 두개의 움직임 보상된 블록(motion-compensated block)들을 각각 얻고, 최종적으로 두개의 움직임 보상된 블록들을 평균 또는 보간 연산(interpolative calculation)을 통해 예측 값을 얻는 코딩모드이다.
본 발명의 목적은 상기의 문제점을 해결하는 것이다.
따라서, 본 발명의 하나의 목적은 다이렉트 모드의 B 픽쳐에 대해 롱텀(long-term) 레퍼런스 픽쳐를 이용하여 코딩 효율을 향상시킬 수 있는 동영상 코딩을 위한 이미지 블록 예측방법을 제공하는 것이다.
본 발명의 다른 목적은 장면 변환이 존재하는 픽쳐에 대해서 인터 모드(inter mode)를 통해 비트량을 줄일 수 있는 동영상 코딩을 위한 이미지 블록 예측방법을 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, B 픽쳐의 다이렉트 모드의 모션 벡터 결정 방법은 B 픽쳐의 각 블록에서 다이렉트 모드를 이용하여 코딩이 이루어질 때, 상기 B 픽쳐의 각 블록에 대한 특정 픽쳐의 동일 위치 블록이 참조하는 레퍼런스 픽쳐가 저장된 레퍼런스 버퍼의 종류에 따라 B 픽쳐 에 대한 다이렉트 모드의 모션 벡터가 상이하게 결정된다.
상기 특정 픽쳐는 상기 B 픽쳐 코딩에 사용되는 숏텀(short-term) 레퍼런스 픽쳐들 중 하나인 것이 바람직하다.
여기서, 상기 레퍼런스 버퍼의 종류는 상기 특정 픽쳐의 동일 위치 블록에서 미리 산출된 레퍼런스 픽쳐 인덱스를 이용하여 판단된다. 상기 레퍼런스 픽쳐 인덱스는 시스템 버퍼에 저장되어 있다.
상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터가 롱텀 레퍼런스 버퍼를 가리키는 경우, 상기 B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터는 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터이고, 상기 B 픽쳐에 대한 다이렉트 모드의 백워드 모션 벡터는 제로로 결정된다.
상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터가 숏텀 레퍼런스 버퍼를 가리키는 경우, 상기 B 픽쳐에 대한 다이렉트 모드의 모션 벡터는 픽쳐간 시간거리로 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터를 스케일링하여 결정된다.
상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션벡터는 시스템 버퍼에 저장되어 있다.
본 발명의 바람직한 다른 실시예에 따르면, B 픽쳐의 각 블록에서 다이렉트 모드를 이용하여 코딩이 이루어질 때, 상기 B 픽쳐의 각 블록에 대한 특정 픽쳐의 동일 위치 블록이 저장된 레퍼런스 버퍼의 종류에 따라 B 픽쳐에 대한 다이렉트 모드의 모션 벡터가 상이하게 결정된다.
상기 레퍼런스 버퍼는 롱텀 레퍼런스 버퍼와 숏텀 레퍼런스 버퍼로 이루어진다.
상기 특정 픽쳐는 숏텀 레퍼런스 픽쳐 또는 롱텀 레퍼런스 픽쳐 중 하나인 것이 바람직하다.
상기 특정 픽쳐가 롱텀 레퍼런스 픽쳐인 경우, 상기 B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터는 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터이고, 상기 B 픽쳐에 대한 다이렉트 모드의 백워드 모션 벡터는 제로로 결정된다.
상기 특정 픽쳐가 숏텀 레퍼런스 픽쳐인 경우, 상기 특정 픽쳐의 동일 위치 블록이 참조하는 레퍼런스 픽쳐가 저장된 레퍼런스 버퍼의 종류에 따라 B 픽쳐에 대한 다이렉트 모드의 모션 벡터가 상이하게 결정된다.
본 발명의 바람직한 또 다른 실시예에 따르면, 동영상의 인터 모드 코딩 방법은 P 픽쳐에 장면 변환이 발생하는지를 판단하는 단계; 및 상기 P 픽쳐에 장면 변환이 발생하는 경우, 상기 P 픽쳐를 롱텀 레퍼런스 픽쳐를 참조하여 코딩하는 단계를 포함한다.
상기 장면 변환된 P 픽쳐는 장면 컷 픽쳐 또는 부분 장면 변환 픽쳐 중 하나인 것이 바람직하다.
상기 장면 변환된 P 픽쳐가 부분 장면 변환 픽쳐인 경우, 장면 변환이 발생된 영역에 포함되는 블록들은 롱텀 레퍼런스 픽쳐를 이용하여 코딩된다. 여기서, 상기 롱텀 레퍼런스 픽쳐를 저장하는 롱텀 레퍼런스 버퍼는 일정 시간 이전에 코딩 된 픽쳐를 저장하는 버퍼이다.
상기 장면 변환된 P 픽쳐가 부분 장면 변환 픽쳐인 경우, 장면 변환이 발생되지 않은 영역에 포함되는 블록들은 숏텀 레퍼런스 픽쳐를 이용하여 코딩된다. 여기서, 상기 숏텀 레퍼런스 픽쳐를 저장하는 숏텀 레퍼런스 버퍼는 일정 시간 이후에 코딩된 픽쳐를 저장하는 버퍼이다.
본 발명의 바람직한 또 다른 실시예에 따르면, 동영상 코딩 방법은 a)P 픽쳐를 대상으로 장면 변환 여부를 판단하는 단계; 장면 변환된 P 픽쳐가 존재하는 경우, 롱텀 레퍼런스 픽쳐를 참조하여 상기 P 픽쳐를 인터 모드로 코딩하는 단계; b)코딩 순서에 따라 B 픽쳐의 각 블록에서 다이렉트 모드를 이용하여 코딩이 이루어질 때, 상기 B 픽쳐의 특정 픽쳐의 동일 위치 블록이 저장된 레퍼런스 버퍼의 종류를 판단하는 단계; 및 c)상기 레퍼런스 버퍼의 종류에 따라 상기 B 픽쳐에 대한 다이렉트 모드의 모션 벡터를 산출하여 다이렉트 모드로 코딩하는 단계를 포함한다.
상기 c)단계에서, 상기 특정 픽쳐가 롱텀 레퍼런스 픽쳐인 경우, 상기 B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터는 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터이고, 상기 B 픽쳐에 대한 다이렉트 모드의 백워드 모션 벡터는 제로로 결정된다.
상기 c)단계에서, 상기 특정 픽쳐가 숏텀 레퍼런스 픽쳐인 경우, 상기 특정 픽쳐의 동일 위치 블록이 갖고 있는 레퍼런스 픽쳐 인덱스를 이용하여 레퍼런스 버퍼의 종류를 판단하는 단계; 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터가 롱텀 레퍼런스 버퍼를 가리키는 경우, 상기 B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터는 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터이고, 상기 B 픽쳐에 대한 다이렉트 모드의 백워드 모션 벡터는 제로로 결정하는 단계; 및 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터가 숏텀 레퍼런스 버퍼를 가리키는 경우, 상기 B 픽쳐에 대한 다이렉트 모드의 모션 벡터는 픽쳐간 시간거리로 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터를 스케일링(scaling)하여 산출하는 단계를 포함한다.
여기서, 상기 숏텀 레퍼런스 버퍼는 FIFO로 이루어진다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
먼저 본 발명의 실시예를 설명하기 전에 장변 변환을 갖는 동영상에서 픽쳐 전체에서 장면 변환이 발생하는 픽쳐를 장면 컷 픽쳐(scene cut picture)로, 픽쳐 일부에서 장면 변환이 발생하는 픽쳐를 부분 장면 변환 픽쳐(partial scene change picture)로 각각 정의한다.
도 3A 및 도 3B은 본 발명의 바람직한 실시예에 따른 동영상 시스템에서 동영상 시퀀스를 코딩하는 방법을 설명하기 위한 순서도이다. 도 3A 및 도 3B을 참조하면, 동영상 시퀀스로부터 차례로 픽쳐들을 입력받는다(S 111).
상기 픽쳐들을 대상으로 픽쳐의 종류를 판단한다(S 114). 즉, 입력된 픽쳐가 P 픽쳐인지 B 픽쳐인지를 구분한다. 여기서, 본 발명에서는 미리 인트라 픽쳐에 대해서는 코딩이 이루어진 것으로 가정하고 설명한다.
*하나의 픽쳐가 P 픽쳐인 경우, 상기 P 픽쳐에 장면 변환이 발생하였는지를 판단한다(S 117). 여기서, 장면 변환은 상기 P 픽쳐와 상기 P 픽쳐 바로 이전에 디스플레이되는 픽쳐(P 픽쳐 또는 B 픽쳐)와의 비교를 통해 판단된다.
상기 S 117의 판단에 의해 상기 P 픽쳐 중 전체에서 장면이 변환되었으면, 상기 P 픽쳐는 장면 컷 픽쳐가 된다. 상기 S 117에 의해 상기 P 픽쳐가 장면 컷 픽쳐로 판단되면, 롱텀 레퍼런스 픽쳐를 참조하여 코딩이 이루어진다(S 120).
만일 상기 P 픽쳐가 장면 컷 픽쳐가 아닌 경우, 상기 P 픽쳐가 부분 장면 변환 픽쳐인지를 판단한다(S 123).
상기 P 픽쳐가 부분 장면 변환 픽쳐인 경우, 장면 변환된 영역에 포함되는 블록들은 상기 S 120으로 이동하여 롱텀 레퍼런스 픽쳐를 참조하여 코딩된다(S 126, S 120).
그리고, 장면 변환되지 않은 영역에 포함되는 블록들은 숏텀 레퍼런스 픽쳐를 참조하여 코딩된다(S 129, S 132).
여기서, 상기 롱텀 레퍼런스 픽쳐는 롱텀 레퍼런스 버퍼에 저장된 픽쳐이고, 상기 숏텀 레퍼런스 픽쳐는 숏텀 레퍼런스 버퍼에 저장된 픽쳐를 의미한다.
상기 숏텀 레퍼런스 버퍼는 먼저 입력한 픽쳐를 먼저 출력하는 FIFO(First In First Out)로 구성되어, 비교적 짧은 시간 전에 코딩된 픽쳐들이 저장되는 장소이다.
상기 롱텀 레퍼런스 버퍼는 비교적 긴 시간 전에 코딩된 픽쳐들이 저장된 장소이다. 이러한 롱텀 레퍼런스 픽쳐에는 각 장면 셋의 첫번째 픽쳐, 즉 인트라 픽 쳐, 장면 컷 픽쳐 및 부분 장면 변환 픽쳐 등이 저장되게 된다.
만일 이러한 롱텀 레퍼런스 버퍼에 장면 컷 픽쳐 또는 부분 장면 변환 픽쳐가 존재하지 않는다면, 장면 변환이 발생한 픽쳐가 새로이 추가적으로 저장될 수 있다. 따라서, 도 4에 나타낸 바와 같이, 장면 셋 A1의 첫번째 장면 컷 픽쳐인 인트라 픽쳐(I0), 장면 셋 B1의 첫번째 장면 컷 픽쳐(P50) 및 첫번째 부분 장면 변환 픽쳐(P120) 등이 상기 롱텀 레퍼런스 픽쳐에 저장될 수 있다. 여기서, 장면 셋은 유사한 픽쳐들을 하나의 집합으로 구분한 것이다. 예를 들면, 토론 방송에서 연속적으로 아나운서가 나오고 패널 A가 나오고 다시 아나운서가 나오고 이어서 패널 A 가 다시 나오는 경우, 아나운서가 처음에 나오는 것을 장면 셋 A로 분류하면, 그 뒤에 나오는 패널 A는 장면 셋 B가 되고, 다시 나오는 아나운서는 장면 셋 A가 되며, 이어서 장면 셋 B가 된다.
상기와 같이, P 픽쳐에 장면 변환이 발생한 경우, 상기 P 픽쳐는 종래와 같이 P 픽쳐 자체에 대한 예측을 통해 코딩하는 인트라 모드 대신에, 숏텀 레퍼런스 픽쳐 또는 롱텀 레퍼런스 픽쳐를 참조하여 코딩하는 인터 모드로 수행된다.
이에 따라, 비트량을 줄일 수 있어 코딩 효율이 향상되게 된다.
상기 S 117 내지 상기 S 132를 도 4를 참조하여 설명한다.
도 4에 나타낸 바와 같이, 현재 코딩하려는 P 픽쳐가 장면 셋 B2에 포함되는 장면 컷 픽쳐(P200)라면, 숏텀 레퍼런스 버퍼에 저장된 숏텀 레퍼런스 픽쳐들을 참조할 수 없게 된다. 왜냐하면, 상기 장면 컷 픽쳐(P200)는 장면 셋 B2의 첫번째 픽쳐이고, 장면 셋 A2에 포함되는 픽쳐들(예컨대, P199, P198, P197 등)과 장면 셋을 달리하므로, 상기 장면 컷 픽쳐(P200)와 상기 장면 셋 A2에 포함되는 픽쳐들과는 유사관계가 현저히 떨어지게 되므로, 이러한 픽쳐들을 참조하여 코딩을 하면 정확한 코딩이 이루어질 수 없게 된다.
이러한 경우, 상기 P 픽쳐는 상기 P 픽쳐를 포함하는 장면 셋 B2와 동일한 장면 셋인 장면 셋 B1에 포함되는 다른 레퍼런스 픽쳐들(P50, P120)을 참조하여 인터 모드로 코딩된다.
한편, 상기 P 픽쳐에 부분 장면 변환(P 250)이 발생한 경우에는 두가지 경우에 따라 달리 코딩이 이루어진다. 즉, 상기 P 픽쳐 중 부분 장면 변환이 존재하는 영역에 포함되는 블록들은 롱텀 레퍼런스 버퍼에 저장된 롱텀 레퍼런스 픽쳐들(P50, P120)을 참조하여 인터 모드로 코딩된다. 그리고, 부분 장면 변환이 존재하지 않는 영역에 포함되는 블록들은 숏텀 레퍼런스 버퍼에 저장된 숏텀 레퍼런스 픽쳐들(P249, P248, P247 등)을 참조하여 인터 모드로 코딩된다.
이상에서와 같이 하나의 P 픽쳐에 대해 코딩이 수행되면, 다음 픽쳐가 존재하는지를 판단하여 해당 픽쳐를 입력시킨다(S 159).
해당 픽쳐가 B 픽쳐인 경우, B 픽쳐의 5가지 예측모드(인트라 모드, 포워드 모드, 백워드 모드, 쌍예측 모드, 및 다이렉트 모드)를 이용하여 예측 가능성이 구해진다(S 135, S138). 이러한 예측 가능성을 바탕으로 하나의 예측모드가 선택되어진다. 본 발명에서는 이 중에서 다이렉트 모드를 중심으로 설명하기로 한다.
먼저 상기 B 픽쳐를 구성하는 복수의 블록 중 하나의 블록을 읽는다(S 141). 물론 다른 블록들도 차례로 읽혀질 수 있다.
상기 B 픽쳐에서 하나의 블록이 읽혀지면, 특정 픽쳐의 동일 위치 블록이 저장된 레퍼런스 버퍼의 종류를 판단하게 된다(S 142). 여기서, 상기 동일 위치의 블록은 상기 B 픽쳐의 하나의 블록과 대응되는 위치에 존재하는 특정 픽쳐의 블록을 의미한다.
상기 특정 픽쳐는 디스플레이 순서에 관계없이 코딩 순서 상 상기 B 픽쳐보다 빠른 픽쳐들 중에서 결정된다. 즉, 상기 특정픽쳐는 상기 B 픽쳐 코딩을 위해 사용되는 레퍼런스 픽쳐들 중 하나이다. 이러한 특정 픽쳐에는 숏텀 레퍼런스 픽쳐 및 롱텀 레퍼런스 픽쳐가 포함된다. 상기 숏텀 레퍼런스 픽쳐는 디스플레이 순서 상 상기 B 픽쳐의 바로 앞 또는 바로 뒤의 픽쳐일 수도 있고 또는 상기 B 픽쳐를 기준으로 다른 픽쳐들이 존재하는 일정 간격의 앞 또는 뒤에 위치할 수도 있다. 여기서, 상기 롱텀 레퍼런스 픽쳐는 롱텀 레퍼런스 버퍼에 저장된 픽쳐이고, 상기 숏텀 레퍼런스 픽쳐는 숏텀 레퍼런스 픽쳐에 저장된 픽쳐를 의미한다.만일 상기 특정 픽쳐가 롱텀 레퍼런스 픽쳐인 경우, 상기 B 픽쳐의 다이렉트 모드를 위한 포워드 모션 벡터는 상기 특정 픽쳐의 동일 위치 블록에서 산출된 모션 벡터이고, 상기 B 픽쳐의 다이렉트 모드를 위한 백워드 모션 벡터는 제로로 결정되어 코딩된다(S 150). 그러나, 상기 특정 픽쳐가 숏텀 레퍼런스 픽쳐인 경우, 특정 픽쳐의 동일 위치 블록(co-located block)에서 산출된 레퍼런스 픽쳐 인덱스 및 모션 벡터를 읽는다(S 144). 이러한 레퍼런스 픽쳐 인덱스 및 모션 벡터는 미리 산출되어 시스템 버퍼에 저장되어 있다.
상기 레퍼런스 픽쳐 인덱스를 보고, 특정 픽쳐에 대한 모션 벡터가 가리키는 레퍼런스 버퍼가 롱텀 레퍼런스 버퍼인지를 판단한다(S 147). 이미 설명한 바와 같이, 상기 레퍼런스 버퍼에는 B 픽쳐에 대한 코딩을 위해 참고하는 레퍼런스 픽쳐들이 저장되어 있다. 그리고, 레퍼런스 버퍼에는 숏텀 레퍼런스 버퍼와 롱텀 레퍼런스 버퍼가 포함된다.
상기 특정 픽쳐에 대한 모션 벡터가 상기 롱텀 레퍼런스 버퍼를 가리키는 경우, 상기 B 픽쳐는 하기의 수식 Eq.3 및 Eq.4를 이용하여 코딩된다(S 150).
MVf=MV .........Eq.3
MVb=0 .........Eq.4
여기서, MV는 서브시퀀트 픽쳐로부터 산출된 모션 벡터이고, MVf는 B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터이며, MVb는 B 픽쳐에 대한 다이렉트 모드의 백워드 모션 벡터를 각각 나타낸다.
즉, 상기 특정 픽쳐에 대한 모션 벡터가 상기 롱텀 레퍼런스 버퍼를 가리키는 경우, 상기 B픽쳐의 다이렉트 모드의 포워드 모션 벡터는 그대로 특정 픽쳐에 대한 모션 벡터가 되고, 백워드 모션 벡터는 제로(0)이 된다.
도 5에 나타낸 바와 같이, 상기 S 150에서 상기 특정 픽쳐(P200)에 대한 모션 벡터가 롱텀 레퍼런스 픽쳐(P50)를 가리키게 되는 경우, 기존의 수식 Eq.1 및 Eq.2에서의 TRd와 TRb는 의미가 없어지게 된다. 즉, TRd와 TRb는 장면 셋 B2에 포함되는 특정 픽쳐(P200)와 장면 셋 B1에 포함되는 롱텀 레퍼런스 픽쳐(P50) 사이에 다른 장면 셋 A2까지 포함하는 시간 상의 거리를 나타내기 때문에, 이러한 TRd와 TRb를 이용하여 다이렉트 모드의 포워드 모션 벡터와 백워드 모션 벡터를 산출할 수가 없게 된다. 이에 따라, 상기 특정 픽쳐(P 200)에 대한 모션 벡터가 롱텀 레퍼런스 픽쳐를 가리키는 경우, B 픽쳐에 대한 다이렉트 모드의 포워드 모션 벡터와 백워드 모션 벡터를 근사화시켜, 시간 상 거리를 나타내는 TRd와 TRb를 제거할 수 있다.
도 5를 참조하여 이를 더욱 상세히 설명하면, 동영상 시퀀스에 두개의 B 픽쳐를 삽입하여 코딩할 때, B1 픽쳐, B2 픽쳐보다 코딩 순서가 빠른 P 픽쳐(P200)는 먼저 코딩이 이루어진다. 여기서 P200은 장면 변환이 발생한 장면 컷 픽쳐이므로, 상기 B 픽쳐 이전에 롱텀 레퍼런스 버퍼에 저장되어 있는 롱텀 레퍼런스 픽쳐(P50)로부터 인터 모드 코딩이 이루어진다.
코딩 순서(coding order)에 따라 다음으로 코딩할 픽쳐는 B1 픽쳐가 되고, 상기 B1 픽쳐는 장면 셋 A2에 해당하므로 대부분의 블록은 동일한 장면 셋 A2에 포함되는 숏텀 레퍼런스 픽쳐들로부터 예측을 하는 포워드 모드 또는 두개의 레퍼런스 픽쳐가 모두 장면 셋 A2에 있는 쌍예측 모드에 의해 코딩이 이루어진다. 하지만, 인트라 모드, 다른 장면 셋 B2에 포함되는 상기 P 픽쳐(P200)로부터 예측하는 백워드 모드나 쌍예측 모드, 그리고 상기 P 픽쳐(P200) 안에 있는 동일 위치의 블록으로부터 다이렉트 모드의 모션벡터를 구하여 예측하는 다이렉트 모드 등이 상기 B1 픽쳐의 블록을 위한 코딩 모드로써 사용될 가능성이 매우 희박하다.
이와 달리, B2 픽쳐와 B2 픽쳐 뿐만 아니라 다이렉트 모드의 모션벡터를 계산하기 위해 사용되는 특정 픽쳐인 P200는 모두 동일한 장면 셋 B2에 해당되므로, 상기 B2 픽쳐의 대부분의 블록에서 코딩 효율이 높은 다이렉트 모드를 코딩모드로 사용되게 된다.
즉, 미리 동일 장면 셋 B2에 해당하는 롱텀 레퍼런스 픽쳐(P50)로부터 인터 모드를 통해 특정 픽쳐(P200)에 대한 모션벡터가 산출되고, 상기 B2 픽쳐의 각 블록은 특정 픽쳐(P200) 내의 동일위치의 블록이 갖는 롱텀 레퍼런스 픽쳐(P50)로부터 산출된 모션벡터(MV)로부터 다이렉트 모드의 포워드 모션벡터(MVf)와 백워드 모션벡터(MVb)가 각각 산출되어 다이렉트 모드 코딩이 이루어진다. 이것은 상기 B2 픽쳐와 특정 픽쳐(P200)와 동일한 장면 셋 B2에 포함되고, 상기 롱텀 레퍼런스 픽쳐(P50)도 장면 셋 B1에 포함되며, 상기 장면 셋 B1과 상기 장면 셋 B2의 유사도가 매우 높게 되므로, 다이렉트 모드를 코딩 모드로써 사용할 수 있는 것이다. 따라서 상기 B2 픽쳐는 모션정보와 같은 오버헤드 정보(overhead information)가 필요없는 다이렉트 모드를 다수 사용함으로써 코딩 효율을 향상시키게 된다.
한편, 상기 특정 픽쳐에 대한 모션 벡터가 숏텀 레퍼런스 버퍼를 가리키는 경우, 상기 B 픽쳐는 기존의 수식 Eq.1및 Eq.2를 이용하여 코딩된다.
이때에는 상기 숏텀 레퍼런스 버퍼에 저장된 숏텀 레퍼런스 픽쳐가 B 픽쳐를 포함하는 장면 셋에 포함되어, 특정 픽쳐와 숏텀 레퍼런스 픽쳐 사이에 다른 장면 셋이 존재하지 않기 때문에 시간 상의 거리를 나타내는 TRd와 TRb를 반영한 기존의 수식 Eq.1및 Eq.2을 통해 다이렉트 모드의 포워드 모션 벡터와 백워드 모션 벡터가 결정되게 된다.
B 픽쳐에 대한 하나의 블록에 대해 코딩이 이루어지면, 다음 블록이 존재하는지를 확인하여 B 픽쳐에 대한 다음 블록을 읽어 코딩 과정이 지속된다(S 156). 이러한 과정은 B 픽쳐에 포함되는 모든 블록들에 대해 수행된다.
B 픽쳐에 대한 코딩이 모두 수행되면, 다시 다음 픽쳐가 존재하는지를 확인한 다음 해당 픽쳐를 입력하여 동영상 코딩이 이루어진다(S 159).
이상에서 설명한 바와 같이, 본 발명에 따른 동영상 코딩 방법에 따르면, 특정 픽쳐로부터 산출된 모션 벡터가 가리키는 레퍼런스 버퍼에 따라 B 픽쳐의 다이렉트 모드의 포워드 모션 벡터 및 백워드 모션 벡터를 다르게 결정하여, B 픽쳐를 코딩할 때 다이렉트 모드가 코딩 모드로 다수 사용되도록 함으로써, 전체적인 코딩 효율을 향상시킬 수 있다.
또한, 본 발명에 따른 동영상 코딩 방법에 따르면, 장면 변환이 발생한 P 픽쳐를 롱텀 레퍼런스 픽쳐를 이용하여 움직임 보상(motion compensation)을 통한 인터 모드로 코딩하여 비트량을 줄임으로써, 코딩 효율을 향상시킬 수 있다.

Claims (13)

  1. 영상 신호 처리에 있어, 현재 블록을 위한 모션 벡터 예측을 수행하는 방법으로서,
    현재 블록을 위한 모션 벡터 예측을 수행하는데 이용되는 모션 벡터를 제공하는 이미지 블록의 레퍼런스 픽쳐 인덱스 정보를 얻는 단계와;
    상기 레퍼런스 픽쳐 인덱스 정보에 근거하여, 현재 블록을 위한 모션 벡터 예측을 수행하는 단계를 포함하며;
    상기 레퍼런스 픽쳐 인덱스 정보는 상기 이미지 블록이 참조하는 레퍼런스 픽쳐를 가리키는 인덱스이고,
    상기 모션 벡터 예측 수행 단계는 상기 이미지 블록이 제공하는 모션 벡터를 0으로 설정하는 과정을 포함하는 것을 특징으로 하는 이미지 블록 예측 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020050049611A 2005-06-10 2005-06-10 이미지 블록 예측 방법 KR100961294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050049611A KR100961294B1 (ko) 2005-06-10 2005-06-10 이미지 블록 예측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050049611A KR100961294B1 (ko) 2005-06-10 2005-06-10 이미지 블록 예측 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR10-2005-0028571A Division KR100506866B1 (ko) 2002-05-03 2005-04-06 모션 벡터 결정 방법

Related Child Applications (9)

Application Number Title Priority Date Filing Date
KR1020060067513A Division KR100655546B1 (ko) 2006-07-19 2006-07-19 모션 벡터 예측 방법
KR1020080008025A Division KR100865039B1 (ko) 2008-01-25 2008-01-25 모션 벡터 결정 방법
KR1020080008026A Division KR100901643B1 (ko) 2008-01-25 2008-01-25 모션 벡터 결정 방법
KR1020080008024A Division KR100901642B1 (ko) 2008-01-25 2008-01-25 모션 벡터 결정 방법
KR1020080070285A Division KR100985379B1 (ko) 2008-07-18 2008-07-18 모션벡터 결정방법
KR1020080070283A Division KR100985263B1 (ko) 2008-07-18 2008-07-18 모션벡터 결정방법
KR1020080070287A Division KR100985340B1 (ko) 2008-07-18 2008-07-18 모션벡터 결정방법
KR1020080070286A Division KR100985240B1 (ko) 2008-07-18 2008-07-18 모션벡터 결정방법
KR1020080070284A Division KR100985268B1 (ko) 2008-07-18 2008-07-18 모션벡터 결정방법

Publications (2)

Publication Number Publication Date
KR20050061438A KR20050061438A (ko) 2005-06-22
KR100961294B1 true KR100961294B1 (ko) 2010-06-04

Family

ID=37253911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050049611A KR100961294B1 (ko) 2005-06-10 2005-06-10 이미지 블록 예측 방법

Country Status (1)

Country Link
KR (1) KR100961294B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231560B (zh) * 2011-10-28 2020-03-13 三星电子株式会社 帧间预测的方法及其装置和运动补偿的方法及其装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor

Also Published As

Publication number Publication date
KR20050061438A (ko) 2005-06-22

Similar Documents

Publication Publication Date Title
KR100494830B1 (ko) 모션 벡터 결정 방법
KR100901642B1 (ko) 모션 벡터 결정 방법
KR100961294B1 (ko) 이미지 블록 예측 방법
KR100865039B1 (ko) 모션 벡터 결정 방법
KR100901643B1 (ko) 모션 벡터 결정 방법
KR100507917B1 (ko) 모션 벡터 결정 방법
KR100655546B1 (ko) 모션 벡터 예측 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A107 Divisional application of patent
A201 Request for examination
A107 Divisional application of patent
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 8