KR20030088543A - 동영상 코딩방법 - Google Patents

동영상 코딩방법 Download PDF

Info

Publication number
KR20030088543A
KR20030088543A KR1020020026054A KR20020026054A KR20030088543A KR 20030088543 A KR20030088543 A KR 20030088543A KR 1020020026054 A KR1020020026054 A KR 1020020026054A KR 20020026054 A KR20020026054 A KR 20020026054A KR 20030088543 A KR20030088543 A KR 20030088543A
Authority
KR
South Korea
Prior art keywords
picture
motion vector
scene
coding
coded
Prior art date
Application number
KR1020020026054A
Other languages
English (en)
Other versions
KR100901030B1 (ko
Inventor
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020020026054A priority Critical patent/KR100901030B1/ko
Publication of KR20030088543A publication Critical patent/KR20030088543A/ko
Application granted granted Critical
Publication of KR100901030B1 publication Critical patent/KR100901030B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 장면 변환이 반복적인 픽쳐을 코딩할 때, 코딩되는 비트 율을 적게 함으로써 코딩 효율을 향상시킨 동영상 코딩방법을 개시한다. 개시된 본 발명은 동영상 시퀀스의 쌍방향 예측 부호화 픽쳐를 코딩할 때 서브 시퀀트 순방향 예측 부호화 픽쳐의 장면 변환 여부를 판단하는 단계; 상기 순방향 예측 부호화 픽쳐의 장면 변환에 따라 롱 텀 픽쳐 또는 숏 텀 픽쳐를 참조하는 단계; 및 상기 순방향 예측 부호화 픽쳐가 롱 텀 픽쳐를 참조하거나 숏 텀 픽쳐를 참조하는 경우에 다이렉트 모드에서 각각의 순방향 모션 벡터와 역방향 모션 벡터를 구하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 순방향 예측 부호화 픽쳐가 롱 텀 픽쳐를 참조하여 다이렉트 모드의 매크로 블록 예측 값을 구한 경우, 다이렉트 모드에서 순방향 모션벡터 MVf=MV를 구하고, 역방향 모션벡터 MVb=0값을 구하는 것을 특징으로 한다.

Description

동영상 코딩방법{METHOD FOR CODING MOVING PICTURE}
본 발명은 동영상 코딩방법에 관한 것으로, 보다 구체적으로는 쌍방향 예측 부호화 픽쳐를 코딩할 때 서브 시퀀스 픽쳐인 순방향 예측 부호화 픽쳐의 장면 변환 여부를 판단하여 코딩함으로써 쌍방향 예측 부호화 픽쳐의 코딩 효율을 향상 시킬 수 있는 동영상 코딩방법에 관한 것이다.
최근, 디지털 비디오 전송형태는 텔레비젼과, 오디오, 비디오 및/또는 데이터서비스를 고객의 가정으로 제공하기 위한 전송형태가 증가적으로 대중화되고 있다. 부가적으로, 디지털비디오는 새롭고 확장된 프로그램 신청을 제공하기 위해, 전통적인 아날로그 텔레비전 방송보다 더 높은 이미지 품질을 제공할 수 있다.
또한, 상기와 같은 디지털 비디오 픽쳐를 전송하기 위하여는, 이용 가능한 밴드 폭 내에서 데이터 압축기술을 이용할 필요가 있다. 특히, 현재의 기술은 픽셀 또는 픽셀의 블록간의 상호관계를 이용하지만, 공간적 압축기술은 인접 픽셀들, 또는 픽쳐 프레임에서의 픽셀의 블록간의 상호관계를 이용한다.
그러나, 동영상 픽쳐 프레임의 시퀀스를 최적으로 압축하여 코딩하는데 에는 시퀀스에서 장면 변화 여부를 검출할 수 있는 것이 바람직하다. 왜냐하면, 뉴스, 스포츠 방송, 인터뷰와 같은 클로즈업 대화(close-up conversation)장면, 또는 다자간 픽쳐 회의(multi-point video conference)와 같은 디지털 비디오 픽쳐는 시간에 따라 지속적으로 부분 적으로나 전체적으로 장면이 변화하고 있기 때문이다.
장면 변화가 검출될 때 마다 동영상 픽쳐의 코딩 방법은 그에 따라 변화된다. 예를 들어, 새로운 장면의 제 1 프레임 과 이전 장면의 마지막 프레임간의 현재의 상호관계의 감소확률이 있기 때문에 장면변화가 검출될 때, 동작보상은 일시적으로 연기될 수 있다. 더욱이, 픽쳐(예컨대 I, P 또는 B화상)의 특정 형태는 장면변화정보에 근거해서 선택될 수 있다.
상기 I ,P 및 B 픽쳐는 MPEG-2 표준에서 정의되는 것으로 사용되는데, I 픽쳐은 인트라 부호화 픽쳐 또는 픽쳐 프레임 내의 부호화 픽쳐로 정의된다. 그리고, P 픽쳐는 Predictive Picture 부호화 픽쳐 또는 픽쳐 프레임간 순방향 예측 부호화 픽쳐로 정의되고, B 픽쳐는 Bidirectionally Predictive 부호화 픽쳐 또는 쌍방향 예측 부호화 픽쳐로 정의된다.
도 1a는 종래 기술에 따라 동영상 코딩 시스템에서 쌍방향 예측 부호화 픽쳐를 사용하는 경우에 픽쳐가 디스플레이되는 순서를 도시한 도면이다.
도 1a에 도시된 바와 같이, 시간적으로 디스플레이 되는 픽쳐 중 전체적으로 장면 변화가 발생한 경우에 처음으로 인트라 화상이 디스플레이 되면, 두 장의 쌍방향 예측(Bidirectionally Predictive) 부호화 픽쳐를 사용할 경우에 상기 인트라(Intra) 픽쳐 다음으로 계속해서 차례대로 첫 번째 및 두 번째에 쌍방향 예측 부호화 픽쳐가 디스플레이 된다. 상기의 쌍방향 예측 부호화 픽쳐가 디스플레이 된 후, 상기 디스플레이되는 첫 번째 또는 두 번째 쌍방향 예측 부호화 픽쳐의 서브 시퀀스 순방향 예측 부호화 픽쳐를 세 번째에서 디스플레이된다.
상기에서 설명한 단계와 같은 방법으로 다음 단계도 이루어지는데, 상기 세 번째 서브 시퀀스 순방향 예측 부호화 픽쳐가 디스플레이되면, 네 번째 및 다섯 번째의 쌍방향 예측 부호와 픽쳐가 디스플레이되고, 계속해서 서브 시퀀스 순방향 예측 부호화 픽쳐가 디스플레이된다.
하지만, 디스플레이되는 동영상 픽쳐를 코딩하는 순서는 디스플레이 순서와 동일하지 않는데, 도 1b는 종래 기술에 따라 동영상 코딩 시스템에서 쌍방향 예측 부호화 픽쳐를 사용하여 동영상 픽쳐를 코딩하는 순서를 도시한 도면이다.
도 1b에 도시된 바와 같이, 장면 변환 후 어떠한 다른 화상을 참조하지 않은 인트라 픽쳐가 코딩되면, 먼저 디스플레이되는 두 장의 쌍방향 예측 부호화 픽쳐보다 항상 상기 두 장의 쌍방향 예측 부호화 픽쳐의 서브 시퀀스 순방향 예측 부호화 픽쳐가 먼저 코딩된다.
상기 쌍방향 예측 부호화 픽쳐를 사용하여 코딩할 때, 이를 저 비트(bit) 코딩에 적용할 경우에는 코딩되는 픽쳐에 목차 정보를 제시할 필요가 없는 다이렉트 예측 모드가 다수 선택되어 진다. 또한, 고 비트 코딩에 적용할 경우에는 코딩되는 픽쳐에 목차 정보를 제시하는 것은 필수적이지만, 픽쳐의 예측 정확성이 높은 양방향 예측모드가 대부분 선택되어 순방향 예측 부호화 픽쳐의 코딩보다 훨씬 높은 코딩 효율을 갖게된다.
압축 동영상 픽쳐의 예측에 사용되는 인트라 모드, 순방향 예측 모드, 역방향 예측 모드, 쌍방향 예측 모드 및 다이렉트 예측 모드 중에서 특히, 다이렉트 예측 모드인 경우에는 쌍방향 예측 부호화 픽쳐의 현재 매크로 블록과 동일 위치에 존재하는 서브 시퀀트 순방향 예측 부호화 픽쳐의 매크로 블록이 참조하는 모션 벡터로부터 다이렉트 모드의 순방향 모션 벡터와 역방향 모션 벡터를 계산한다.
그런 다음, 상기 순방향 모션 벡터와 역방향 모션 벡터를 계산한 값들을 사용하여 각각의 방향에 따라 움직임 보상 값을 얻고, 최종적으로 두 개의 움직임 보상 값을 평균하거나 보간 연산하여 코딩하고자 하는 매크로블록의 예측 값을 얻는다.
그러나, 일반적으로 동영상 픽쳐가 디스플레이 되면 장면 전체가 변환되는 경우와 장면의 특정 일부분만이 변환되는 경우가 있는데, 장면 전체가 변환되는 경우에는 변환된 장면의 모든 매크로 블록들이 인트라 모드로 코딩되는 픽쳐을 갖게되고, 장면의 일부분만이 변환되는 경우에는 변환이 발생한 영역의 매크로 블록만 인트라 모드로 코딩되게 된다.
상기와 같은 방법으로 코딩을 할 경우에는 인터 모드에서 코딩할 때보다 높은 비트 량을 필요로 하는 인트라 모드 코딩을 장면 변환이 자주 발생하는 시퀀스의 저 비트율 코딩에 적용할 경우 코딩 과정에서 불량이 초래될 문제가 발생한다.
본 발명은, 동영상 압축 픽쳐에서 장면 변환이 전체적으로 발생하든지 부분적으로 발생할 때 프레임 버퍼에 저장되어 있는 장시간 유지 픽쳐들을 참조하여 다이렉트 모드에서 순방향 모션 벡터와 역방향 모션 벡터를 구하여 쌍방향 예측 부호화 픽쳐를 코딩하여 코딩 효율을 높일 수 있는 동영상 코딩방법을 제공함에 그 목적이 있다.
도 1a는 종래 기술에 따라 동영상 코딩 시스템에서 쌍방향 예측 부호화 픽쳐를 사용하는 경우에 픽쳐가 디스플레이되는 순서를 도시한 도면.
도 1b는 종래 기술에 따라 동영상 코딩 시스템에서 쌍방향 예측 부호화 픽쳐를 사용하여 디지털 픽쳐를 코딩하는 순서를 도시한 도면.
도 2는 본 발명에 따른 장면 변환을 하는 시퀀스의 순방향 예측 부호화 픽쳐 코딩방법을 설명하기 위한 도면.
도 3은 본 발명에 따른 장면 변환을 하는 시퀀스의 쌍방향 예측 부호화 픽쳐 코딩방법을 설명하기 위한 도면.
도 4는 본 발명에 따라 두 개의 쌍방향 예측 부호화 픽쳐를 삽입하여 코딩하는 방법을 설명하기 위한 도면.
*도면의 주요 부분에 대한 부호의 설명*
I: 인트라 부호화 픽쳐P: 순방향 예측 부호화 픽쳐
B: 쌍방향 예측 부호화 픽쳐MV: 모션 벡터
상기한 목적을 달성하기 위한, 본 발명에 따른 동영상 코딩방법은,
동영상 시퀀스의 쌍방향 예측 부호화 픽쳐를 코딩할 때 서브 시퀀트 순방향 예측 부호화 픽쳐의 장면 변환 여부를 판단하는 단계;
상기 순방향 예측 부호화 픽쳐의 장면 변환에 따라 롱 텀 픽쳐 또는 숏 텀 픽쳐를 참조하는 단계; 및
상기 순방향 예측 부호화 픽쳐가 롱 텀 픽쳐를 참조하거나 숏 텀 픽쳐를 참조하는 경우에 다이렉트 모드에서 각각의 순방향 모션 벡터와 역방향 모션 벡터를 구하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 순방향 예측 부호화 픽쳐가 롱 텀 픽쳐를 참조하여 다이렉트 모드의 매크로 블록 예측 값을 구한 경우, 다이렉트 모드에서 순방향 모션벡터 MVf=MV를 구하고, 역방향 모션벡터 MVb=0 값을 구하고, 상기 순방향 예측 부호화 픽쳐가 숏 텀 픽쳐를 참조하는 경우, 상기 서브 시퀀트 순방향 예측 부호화 픽쳐가 상기 숏 텀 픽쳐로부터 참조하는 영상까지의 모션 벡터의 시간 거리(TB)와, 상기 서브 시퀀트 순방향 예측 부호화 픽쳐가 상기 숏 텀 픽쳐로 부터 참조하는 영상으로부터 코딩할 상기 쌍방향 예측 부호화 영상의 매크로 블록까지의 시간 거리(TRD)를 사용하여 다이렉트 모드의 순방향 모션 벡터와 역방향 모션 벡터를 구하는 것을 특징으로 한다.
그리고, 장면 변환이 있는 순방향 예측 부호화 픽쳐를 다이렉트 모드에서 순방향 모션 벡터와 역방향 모션 벡터를 구하기 위해
MVf=(N1*MV)/D
MVb=N2*MV/D를 사용하여
(여기서, N1, N2, D는 각각의 모션 벡터를 구하기 위하여 정의되는 소정의 인자)
상기 장면 변환이 있는 픽쳐가 롱텀 픽쳐를 참조하는 경우에는 N1=1, N2=0, D=1로 결정하고 디코더로 전송하여 순방향 모션 벡터 MVf=MV,와 역방향 모션 벡터 MVb=0를 구하는 것을 특징으로 한다.
여기서, 상기 순방향 예측 부호화 픽쳐인 서브 시퀀트 픽쳐를 롱 텀 다이렉트 순방향 및 역방향 모션 벡터를 구한 경우 다이렉트 순방향 모션 벡터 MVf=MV, MV=0으로 구하고, 상기 서브 시퀀트 순방향 예측 부호화 픽쳐가 숏텀 픽쳐로부터 모션 벡터를 구한 경우에는 N1=TRB, N2=TRB-TRD및 D=TRD로 설정하여
MVf=(TRB*MV)/TRD,
MVb=(TRB-TRD*MV)/TRD로 구하는 것을 특징으로 한다.
본 발명에 의하면, 반복적으로 장면이 변환하는 동영상 픽쳐를 코딩할 때 서브 시퀀트 순방향 예측 부호화 픽쳐가 다이렉트 예측 모드에서 모션 벡터를 구할 수 있도록하고, 롱 텀 픽쳐로 부터 픽쳐를 참조할 수 있도록 하여 전체적인 코딩 효율을 향상시킬 수 있는 이점이 있다.
이하, 첨부한 도면에 의거하여 본 발명의 바람직한 실시 예를 자세히 설명하도록 한다.
본 발명의 실시 예 설명에 들어가기 전에 반복적으로 변환하는 동영상 픽쳐에서 픽쳐 전체에서 변환이 발생하는 픽쳐를 장면 컷 픽쳐(scene cut picture)이라고 하고, 픽쳐 일부에서 변환이 발생하는 픽쳐를 부분 장면 변환 픽쳐(partial scene change picture)라고 정의한다.
그리고, 동영상 픽쳐가 장시간 보유되고, 장면 컷 픽쳐 또는 부분 장면 변환 픽쳐를 저장하는 버퍼를 장시간 픽쳐 유지 버퍼(롱 텀 버퍼: long-term buffer)라고 하고, 반대로 동영상 픽쳐 장면을 비교적 짧은 시간 전에 코딩된 픽쳐를 보유하는 버퍼를 단시간 픽쳐 유지 버퍼(숏 텀 버퍼:short-term buffer)라고 한다.
도 2는 본 발명에 따른 장면 변환을 하는 시퀀스의 순방향 예측 부호화 픽쳐 코딩방법을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 먼저 쌍방향 예측 부호화 픽쳐를 코딩하기 전에 모든 서브 시퀀트 순방향 예측 부호화 픽쳐의 장면 컷 픽쳐 또는 부분 장면 변환 픽쳐가 발생하였는지를 판단한다. 이는 시스템의 인코더에서 검출한 다음 그 정보를 디코딩부로 넘겨주는 방식으로 진행된다.
상기 인코더에서는 상기 순방향 예측 부호화 픽쳐가 상기 장면 변환 픽쳐 또는 부분 장면 변환 픽쳐으로 판단되면, 장시간 픽쳐 유지 버퍼(롱 텀 버퍼)에 저장되어 있는 순방향 예측 부호화 픽쳐 또는 단시간 픽쳐 유지 버퍼(숏 텀 버퍼)에 저장되어 있는 순방향 예측 부호화 픽쳐로 부터 움직임 추정(motion estimation) 및 움직임 보상(motion compensation)을 통한 코딩을 실행하게 된다.
상기 단시간 픽쳐 유지 버퍼(숏 텀 버퍼)는 먼저 입력된 픽쳐를 먼저 출력하는 순차 출력 방식에(FIFO: First In First Out) 따라 이미 코딩된 픽쳐들이 저장되어 있는 공간으로서, 시간적으로 바로 이전에 코딩된 순방향 예측 부호화 픽쳐들을 저장한다.
상기 장시간 픽쳐 유지 버퍼는 시퀀스의 첫 번째 픽쳐, 즉 인트라 픽쳐와, 상기 장면 컷 픽쳐 및 부분 장면 변환 픽쳐를 저장하는 공간으로서, 만약 장면 컷 픽쳐 및 부분 장면 변환 픽쳐가 장시간 픽쳐 유지 버퍼에 존재하지 않는다면 새로이 추가적으로 저장되어 진다. 그리고, 상기 장면 컷 픽쳐는 인트라 픽쳐(Intra picture)로 코딩되어지고 상기 부분 장면 변환 픽쳐는 변환이 있는 영역만 인트라 모드(intra mode)로 코딩되어 진다.
따라서, 도 2에 도시된 것을 참조하면, 장면 셋 A의 첫 번째 장면 컷 픽쳐인 인트라 픽쳐와 장면 셋 B의 첫 번째 장면 컷 픽쳐(P50) 및 첫 번째 부분 장면 변환 픽쳐(P120)는 상기 장시간 픽쳐 유지 버퍼에 저장된다.
예를 들어, 현재 코딩을 위한 쌍방향 예측 부호화 픽쳐의 서브 시퀀트 순방향 예측 부호화 픽쳐가 도면에서 도시된 부분에서 두 번째 장면 셋 B에 해당하는 장면 컷 픽쳐(P200)라면, 이전에 코딩되었던 단시간 픽쳐 유지 버퍼(short-term buffer)에 저장된 픽쳐들은 두 번째 장면 셋 A에 존재하기 때문에 상기 장면 컷 픽쳐(P200)는 장시간 픽쳐 유지 버퍼에 저장되어 있는 순방향 예측 부호화 픽쳐들(P50, P120)을 참조하여 코딩하게 된다.
그러므로, 원칙적으로는 장면 컷 픽쳐이므로 인트라 모드에 의하여 코딩되어 비트 율이 증가해야하지만, 상기 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장된 픽쳐을 참조하므로, 인터 모드로 코딩하게 되어 코딩할 때의 비트 율이 증가하지 않게 된다.
또한, 예를 들어 현재 코딩을 위한 순방향 예측 부호화 픽쳐가 부분 장면 변환 픽쳐(P250)일 경우에는, 장면 변환이 발생하지 않은 매크로 블록은 바로 이전에 저장되어 있는 픽쳐를 참조하여 코딩하므로, 단시간 픽쳐 유지 버퍼(short-term buffer)에서 저장되어 있는 순방향 예측 부호화 픽쳐들(P249, P248, P247)을 참조하여 인터 모드로 코딩한다.
또한, 장면 변환이 있는 영역에서의 매크로 블록은 상기 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장되어 있는 순방향 예측 부호화 픽쳐들(P50, P120)을 참조하여 인터 모드로 코딩한다.
그리고 코딩할 쌍방향 예측 부호화 픽쳐의 서브 시퀀트 순방향 예측 부호화 픽쳐가 장면 컷 픽쳐 또는 부분 장면 변환 픽쳐 어느 것도 아닐 경우에는 바로 이전에 저장된 단시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐를 참조하여 코딩하게된다.
하지만, 상기 단시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐 중에서 상기 코딩할 쌍방향 예측 부호화 픽쳐의 서브 시퀀트 순방향 부호화 픽쳐의 장면 컷 영역 내에 존재할 경우와 그렇치 않을 경우로 구분되어 코딩하여야 한다.
첫 번째, 상기 코딩할 쌍방향 예측 부호화 픽쳐의 서브 시퀀트 순방향 예측 부호화 픽쳐가 참조할 상기 단시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐 중 일부가 다른 장면 셋에 존재할 경우에는 다른 장면 셋에 속하는 픽쳐는 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장되어 있는 픽쳐를 참조하여 코딩한다.
예를 들면, 동영상 코딩 시스템에서 참조 픽쳐 프레임의 수를 5개로 제한 한 경우에 도 2에 도시된 바와 같이, 장면 변환이 없는 장면 셋 B내의 P202는 단시간 픽쳐 유지 버퍼에 저장되어 있는 P201, P200, P199, P198, P197 등을 참조하는데, 이중 상기 P201, P200만 동일한 장면 셋 B에 속하므로 두 개만 참조하여 코딩을 실시한다.
상기 5개의 참조 픽쳐 제한을 따르기 위하여 장시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐(P50, P120)를 참조함으로써 코딩 효율을 높일 수 있다. 따라서, 결과적으로 P202가 단시간 픽쳐 유지 버퍼와 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장되어 있는 4개의 픽쳐를 참조하므로 코딩 효율이 향상된다.
두 번째로, 상기 코딩할 쌍방향 예측 부호화 픽쳐의 서브 시퀀트 순방향 예측 부호화 픽쳐가 참조할 상기 단시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐들이 모두 동일한 장면 셋에 존재할 경우에는 장시간 픽쳐 유지 버퍼(long-term buffer)를 참조할 필요 없이 단시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐들만 참조하여 코딩하면 된다.
상기에서와 같이 서브 시퀀스의 순방향 예측 부호화 픽쳐의 코딩이 끝나면, 쌍방향 예측 부호화 픽쳐 코딩을 진행한다.
도 3은 본 발명에 따른 장면 변환을 하는 시퀀스의 쌍방향 예측 부호화 픽쳐 코딩방법을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 먼저, 코딩이 끝난 순방향 예측 부호화 픽쳐을 쌍방향 예측 부호화 픽쳐를 코딩하기 전에 서브 시퀀스 순방향 예측 부호화 픽쳐의장시간 픽쳐 유지 버퍼(롱 텀 버퍼:long-term buffer) 또는 단시간 픽쳐 유지 버퍼(숏 텀 버퍼:short-term buffer)에 저장되어 있는 픽쳐를 참조하였는지를 검출한다.
왜냐하면, 상기 서브 시퀀스 순방향 예측 부호화 픽쳐가 상기 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장되어 있는 픽쳐를 참조하여 코딩하였다면, 코딩할 상기 쌍방향 예측 부호화 픽쳐를 코딩할 때, 상기 장시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐를 포함하여 인트라 예측 모드, 순방향 예측 모드, 역방향 예측 모드, 쌍방향 예측 모드 및 다이렉트 예측 모드에 의한 코딩을 실시한다.
상기 서브 시퀀스 순방향 예측 부호화 픽쳐가 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장된 픽쳐로 부터 모션 벡터를 구했다면, 상기 다이렉트 예측 모드에서 순방향 모션 벡터는 상기 서브 스퀀스 순방향 예측 부호화 픽쳐의 모션 벡터를 그대로 사용하여 순방향 움직임 보상을 하고 역방향 모션 벡터는 0으로 하여 역방향 움직임 보상을 한다. 그런 다음, 최종적으로 두 움직임 보상 값의 평균을 구하여 매크로 블록의 예측 값을 예측한다.
도 4는 본 발명에 따라 두 개의 쌍방향 예측 부호화 픽쳐를 삽입하여 코딩하는 방법을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 서브 시퀀스 순방향 예측 부호화 픽쳐(P200)가 인코더부로 부터 장면 변환을 검출 받아 코딩을 실시할 때, 장시간 픽쳐 유지 버퍼(롱 텀 버퍼:long-term buffer)에 저장되어 있는 픽쳐로 부터 모션 벡터를 구했다면, 쌍방향 예측 부호화 픽쳐가 B1일 때, 도 3에서와 같이, P200이 장시간 픽쳐 유지 버퍼에 저장된 순방향 예측 부호화 픽쳐를 이용했음을 알게 된다.
따라서, 상기 다이렉트 예측 모드는 상기 장시간 픽쳐 유지 버퍼(롱 텀 버퍼)에 저장되어 있는 픽쳐(P50)로부터 순방향 모션 벡터를 구하고, 순방향 움직임 보상을 하게된다. 그리고, 상기 서브 시퀀스 순방향 예측 부호화 픽쳐(P200)로부터 역방향 모션 벡터 및 역방향 움직임 보상을 하여 매크로 블록의 예측 값을 얻게 된다.
그러나, B1는 P200라 하는 장면 셋에 포함되므로, 대부분의 매크로 블록을 단시간 픽쳐 유지 버퍼로부터 움직임 보상을 하는 순방향 예측모드를 최종적으로 선택할 것이다.
이와 달리 쌍방향 예측 부호화 픽쳐가 B2일 때 도 3에서와 같이, 서브 시퀀스 순방향 예측 부호화 픽쳐(P200)가 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장된 픽쳐(P50)를 이용했음을 판단되면, 다이렉트 예측 모드에서 모션 벡터는 P50으로부터 구하고, 상기 서브 시퀀스 순방향 예측 부호화 픽쳐로부터 역방향 모션 벡터를 구해 양방향으로부터 움직임 보상 값을 평균하여 매크로 블록의 예측 값을 예측한다.
도 4에서와 같이, 쌍방향 예측 부호화 픽쳐 B2는 P50, P200과 동일한 장면 셋 B에 존재하므로 다이렉트 예측 모드가 최종적인 예측 모드로써 선택되어 질 것이다. 즉 코딩되는 픽쳐에 정보 목차를 필요로하지 않기 때문에 비트 율을 줄일 수 있어 코딩 효율을 향상시킨다. 특히, 동영상 코딩방법에서 순방향 모션 벡터와 역방향 모션 벡터를 다음과 같이 구한다.
일반적으로 MVf와 MVb를 구하는 식은 다음과 같다.
MVf=(N1*MV)/D.......(식 1)
MVb=(N2*MV)/D.......(식 2)
여기서, MV는 코딩할 쌍방향 예측 부호화 픽쳐의 서브 시퀀스 순방향 예측 부호화 픽쳐(P200)가 장시간 픽쳐 유지 버퍼에서 참조한 저장 픽쳐로 부터 구한 모션 벡터이고, MVf는 코딩할 쌍방향 예측 부호화 픽쳐로 부터 장시간 픽쳐 유지 버퍼에 저장되어 있는 참조 픽쳐까지의 다이렉트 예측 모드에서의 구한 순방향 모션 벡터이며, MVb는 코딩할 쌍방향 예측 부호화 픽쳐로 부터 서브 시퀀스 순방향 예측 부호화 픽쳐까지의 다이렉트 예측 모드에서의 역방향 모션 벡터를 나타낸다.
또한, N1=TRB, N2=TRB-TRD, D=TRD를 나타낸다. 상기 TRD서브 시퀀스 순방향 예측 부호화 픽쳐이 참조하는 참조 픽쳐와 상기 서브 시퀀스 순방향 예측 부호화 픽쳐간의 시간 거리이고, TRB는 상기 서브 시퀀스 순방향 예측 부호화 픽쳐가 참조하는 레퍼런스 픽쳐로부터 현재 쌍방향 예측 부호화 픽쳐까지의 시간 거리를 나타낸다.
하지만, 장면 변환이 발생한 픽쳐와 그 픽쳐가 참조한 픽쳐가 장시간 픽쳐 유지 버퍼에 저장된 픽쳐일 경우에는 상기 TRD와 TRB는 의미가 없어진다. 왜냐하면,TRD와 TRB는 일반적으로 다이렉트 예측 모드에서의 순방향, 역방향 모션 벡터는 서브 시퀀스 순방향 예측 부호화 픽쳐와 상기 서브 시퀀스 순방향 예측 부호화 픽쳐가 참조한 픽쳐 프레임 사이에 연속적인 움직임을 고려하여, 삽입되는 쌍방향 예측 부호화 픽쳐에서도 여전히 움직임이 존재할 것이라 판단하여 두 픽쳐 사이에 시간적 거리를 유도한 것이기 때문이다.
장면 변환에 의한 장시간 픽쳐 유지 버퍼에 저장된 픽쳐를 참조하여 구하였을 경우에는 두 픽쳐들의 움직임이 존재하는 것은 사실이지만, 다른 장면 셋까지 포함된 시간적 거리를 나타내므로 위의 식 1과 식 2로는 모션 벡터를 구할 수 없다.
따라서, 본 발명에서 쌍방향 예측 부호화 픽쳐를 코딩할 때에는 상기 서브 스퀀스 순방향 예측 부호화 픽쳐와 유사도가 매우 높을 것이라고 가정하고, 다이렉트 예측 모드의 순방향 및 역방향 모션 벡터를 각각 MV 및 0으로 근사화 하여 사용한다.
그러므로, 동영상 코딩에 적용되는 경우, 장면 변환이 발생한 픽쳐와 그 픽쳐가 장기간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐를 참조한 경우에는 상기 식 1과 식2를 이용하여 MVf과 MVb이 다음과 같이 나타내진다.
여기서, N1=1, N2=0, D=1로 결정하여 디코더에 전송한 후 다이렉트 모드에서 순방향 및 역방향 모션 벡터를 구할 수 있다.
MVf=MV.........(식 3)
MVb=0 ..........(식 4)
다음으로, 상기 서브 시퀀스 순방향 예측 부호화 픽쳐에 존재하는 쌍방향 예측 부호화 픽쳐와 동일한 위치의 매크로 블록이 단시간 픽쳐 유지 버퍼(short-term buffer)에 저장되어 있는 픽쳐로 부터 모션 벡터를 구했을 경우에는, 일반적인 방법에 따라 상기 식 1 과 식 2를 사용하여 다이렉트 순방향 및 역방향 모션 벡터를 구한 다음, 각각의 방향에 따른 움직임 보상 값의 평균값 또는 보간 연산을 통해 매크로 블록의 예측 값을 얻는다.
일반적으로 상기 서브 시퀀스 순방향 예측 부호화 픽쳐가 장면 변환 없는 픽쳐이거나, 부분 장면 변환이 없는 픽쳐일 때 발생된다.
만일, 서브 시퀀트 순방향 예측 부호화 픽쳐가 부분 장면 변환 픽쳐일 경우, 장면 변환이 발생한 영역에서는 장시간 픽쳐 유지 버퍼(long-term buffer)에 저장되어 있는 픽쳐로 부터 움직임 보상이 이루어지지만, 장면 변환이 없는 영역에서는 단시간 픽쳐 유지 픽쳐로 부터 움직임 보상이 이루어질 것이다. 그러므로 쌍방향 예측 부호화 픽쳐의 다이렉트 예측 모드를 통하여 매크로 블록 예측 값을 구할 때, 다이렉트 예측 모드의 순방향 모션 벡터는 장기간 픽쳐 유지 버퍼 또는 단시간 픽쳐 유지 버퍼에 저장되어 있는 픽쳐로 부터 픽쳐를 참조하여 다이렉트 모드에서 모션 벡터를 구한다.
이상에서 자세히 설명된 바와 같이, 본 발명은 서브 시퀀스 순방향 예측 부호화 픽쳐에 장면 컷 픽쳐 또는 부분 장면 변환 픽쳐가 발생할 경우, 인터 모드 에의한 코딩을 할 수 있도록 하여 쌍방향 예측 부호화 픽쳐의 코딩 효율을 향상시킨 효과가 있다.
아울러, 장면 변환이 있는 경우에 서브 시퀀스 순방향 예측 부호화 픽쳐를 코딩한 후에, 쌍방향 예측 부호화 픽쳐를 코딩화할 때 다이렉트 예측 모드가 많이 선택되도록 하여 코딩 비트율을 낮출 수 있는 이점이 있다.
본 발명은 상기한 실시 예에 한정되지 않고, 이하 청구 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

Claims (5)

  1. 동영상 시퀀스의 쌍방향 예측 부호화 픽쳐를 코딩할 때 서브 시퀀트 순방향 예측 부호화 픽쳐의 장면 변환 여부를 판단하는 단계;
    상기 순방향 예측 부호화 픽쳐의 장면 변환에 따라 롱 텀 픽쳐 또는 숏 텀 픽쳐를 참조하는 단계; 및
    상기 순방향 예측 부호화 픽쳐가 롱 텀 픽쳐를 참조하거나 숏 텀 픽쳐를 참조하는 경우에 다이렉트 모드에서 각각의 순방향 모션 벡터와 역방향 모션 벡터를 구하는 단계를 포함하는 것을 특징으로 하는 동영상 코딩방법.
  2. 제 1 항에 있어서,
    상기 순방향 예측 부호화 픽쳐가 롱 텀 픽쳐를 참조하여 다이렉트 모드의 매크로 블록 예측 값을 구한 경우, 다이렉트 모드에서 순방향 모션벡터 MVf=MV를 구하고, 역방향 모션벡터 MVb=0값을 구하는 것을 특징으로 하는 동영상 코딩방법.
  3. 제 1 항에 있어서,
    상기 순방향 예측 부호화 픽쳐가 숏 텀 픽쳐를 참조하는 경우, 상기 서브 시퀀트 순방향 예측 부호화 픽쳐가 상기 숏 텀 픽쳐로부터 참조하는 영상까지의 모션 벡터의 시간 거리(TB)와, 상기 서브 시퀀트 순방향 예측 부호화 픽쳐가 상기 숏 텀픽쳐로부터 참조하는 영상으로부터 코딩할 상기 쌍방향 예측 부호화 영상의 매크로 블록까지의 시간 거리(TRD)를 사용하여 다이렉트 모드의 순방향 모션 벡터와 역방향 모션 벡터를 구하는 것을 특징으로 하는 동영상 코딩방법.
  4. 장면 변환이 있는 순방향 예측 부호화 픽쳐를 다이렉트 모드에서 순방향 모션 벡터와 역방향 모션 벡터를 구하기 위해
    MVf=(N1*MV)/D
    MVb=N2*MV/D를 사용하여
    (여기서, N1, N2, D는 각각의 모션 벡터를 구하기 위하여 정의되는 소정의 인자)
    상기 장면 변환이 있는 픽쳐가 롱텀 픽쳐를 참조하는 경우에는 N1=1, N2=0, D=1로 결정하고 디코더로 전송하여 순방향 모션 벡터 MVf=MV와 역방향 모션 벡터 MVb=0를 구하는 것을 특징으로 하는 동영상 코딩방법.
  5. 제 4 항에 있어서,
    상기 순방향 예측 부호화 픽쳐인 서브 시퀀트 픽쳐를 롱 텀 다이렉트 순방향 및 역방향 모션 벡터 를 구한 경우 다이렉트 순방향 모션 벡터 MVf=MV, MV=0으로 구하고, 상기 서브 시퀀트 순방향 예측 부호화 픽쳐가 쇼텀 픽쳐로부터 모션 벡터를구한 경우에는 N1=TRB, N2=TRB-TRD및 D=TRD로 설정하여
    MVf=(TRB*MV)/TRD,
    MVb=(TRB-TRD*MV)/TRD로 구하는 것을 특징으로 하는 동영상 코딩방법.
KR1020020026054A 2002-05-11 2002-05-11 동영상 코딩방법 KR100901030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020026054A KR100901030B1 (ko) 2002-05-11 2002-05-11 동영상 코딩방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020026054A KR100901030B1 (ko) 2002-05-11 2002-05-11 동영상 코딩방법

Publications (2)

Publication Number Publication Date
KR20030088543A true KR20030088543A (ko) 2003-11-20
KR100901030B1 KR100901030B1 (ko) 2009-06-04

Family

ID=32382457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020026054A KR100901030B1 (ko) 2002-05-11 2002-05-11 동영상 코딩방법

Country Status (1)

Country Link
KR (1) KR100901030B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668463B1 (ko) * 2004-12-31 2007-01-12 엠큐브웍스(주) 동영상 데이터의 인코딩을 위한 다중 참조 프레임 선택 방법
WO2013062391A1 (ko) * 2011-10-28 2013-05-02 삼성전자 주식회사 인터 예측 방법 및 그 장치, 움직임 보상 방법 및 그 장치
CN103348679A (zh) * 2011-10-27 2013-10-09 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US9699474B2 (en) 2011-10-28 2017-07-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10321152B2 (en) 2011-10-28 2019-06-11 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CN112073735A (zh) * 2020-11-16 2020-12-11 北京世纪好未来教育科技有限公司 视频信息处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3473593B2 (ja) * 1992-01-29 2003-12-08 三菱電機株式会社 映像情報記録装置及び記録方法、映像情報記録媒体、並びに、映像情報再生装置及び再生方法
JP3599909B2 (ja) * 1996-07-30 2004-12-08 三洋電機株式会社 動画像符号化装置
JP3599942B2 (ja) * 1997-02-13 2004-12-08 三洋電機株式会社 動画像符号化方法、及び動画像符号化装置
JP2002010263A (ja) * 2000-06-20 2002-01-11 Mitsubishi Electric Corp 動画像符号化装置および動画像符号化方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668463B1 (ko) * 2004-12-31 2007-01-12 엠큐브웍스(주) 동영상 데이터의 인코딩을 위한 다중 참조 프레임 선택 방법
CN103348679B (zh) * 2011-10-27 2017-05-24 太阳专利托管公司 图像解码方法及图像解码装置
CN103348679A (zh) * 2011-10-27 2013-10-09 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US10631004B2 (en) 2011-10-28 2020-04-21 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11356696B2 (en) 2011-10-28 2022-06-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US9699474B2 (en) 2011-10-28 2017-07-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US9912962B2 (en) 2011-10-28 2018-03-06 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US9936197B2 (en) 2011-10-28 2018-04-03 Samsung Electronics Co., Ltd. Method for inter prediction and device therefore, and method for motion compensation and device therefore
US10045047B2 (en) 2011-10-28 2018-08-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10321152B2 (en) 2011-10-28 2019-06-11 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10567792B2 (en) 2011-10-28 2020-02-18 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10575002B2 (en) 2011-10-28 2020-02-25 Samsung Electronics Co., Ltd. Method for inter prediction and device therefor, and method for motion compensation and device therefor
WO2013062391A1 (ko) * 2011-10-28 2013-05-02 삼성전자 주식회사 인터 예측 방법 및 그 장치, 움직임 보상 방법 및 그 장치
US10819989B2 (en) 2011-10-28 2020-10-27 Samsung Electronics Co., Ltd. Method for inter prediction and device therefor, and method for motion compensation and device therefor
US11962791B2 (en) 2011-10-28 2024-04-16 Samsung Electronics Co., Ltd. Method for inter prediction and device therefor, and method for motion compensation and device therefor
US10893293B2 (en) 2011-10-28 2021-01-12 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11902568B2 (en) 2011-10-28 2024-02-13 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11115677B2 (en) 2011-10-28 2021-09-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11206414B2 (en) 2011-10-28 2021-12-21 Samsung Electronics Co., Ltd. Method for inter prediction and device therefor, and method for motion compensation and device therefor
AU2012329678B2 (en) * 2011-10-28 2015-11-05 Samsung Electronics Co., Ltd. Method for inter prediction and device therefor, and method for motion compensation and device therefor
US11622128B2 (en) 2011-10-28 2023-04-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11831907B2 (en) 2011-10-28 2023-11-28 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CN112073735B (zh) * 2020-11-16 2021-02-02 北京世纪好未来教育科技有限公司 视频信息处理方法、装置、电子设备及存储介质
CN112073735A (zh) * 2020-11-16 2020-12-11 北京世纪好未来教育科技有限公司 视频信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR100901030B1 (ko) 2009-06-04

Similar Documents

Publication Publication Date Title
US9106889B2 (en) Method of determining motion vectors for bi-predictive image block
WO2005022923A2 (en) Method and apparatus for minimizing number of reference pictures used for inter-coding
KR100901030B1 (ko) 동영상 코딩방법
WO2005036465A1 (en) Video encoding method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee