KR100846802B1 - 동영상 프레임의 디코딩 방법 및 인코딩 방법 - Google Patents

동영상 프레임의 디코딩 방법 및 인코딩 방법 Download PDF

Info

Publication number
KR100846802B1
KR100846802B1 KR1020070015524A KR20070015524A KR100846802B1 KR 100846802 B1 KR100846802 B1 KR 100846802B1 KR 1020070015524 A KR1020070015524 A KR 1020070015524A KR 20070015524 A KR20070015524 A KR 20070015524A KR 100846802 B1 KR100846802 B1 KR 100846802B1
Authority
KR
South Korea
Prior art keywords
frame
idr
buffer
displayed
reconstructed
Prior art date
Application number
KR1020070015524A
Other languages
English (en)
Inventor
안태경
이재헌
유기원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070015524A priority Critical patent/KR100846802B1/ko
Priority to US11/961,300 priority patent/US8311106B2/en
Application granted granted Critical
Publication of KR100846802B1 publication Critical patent/KR100846802B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

IDR-I 프레임 부근의 프레임들이 자연스러운 화면의 전환이 가능하도록 하는 동영상 프레임의 디코딩 방법 및 인코딩 방법이 개시된다. 본 발명에 따른 디코딩 방법은, IDR-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 디코딩하는 단계, IDR-I 프레임을 디코딩하는 단계, IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 디코딩하는 단계, 및 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 제 2 프레임을 디코딩하기 전까지 유지하는 단계를 포함한다. IDR-I 프레임 부근의 프레임들이 참조 프레임이 저장되어 있는 버퍼에 접근할 수 있도록 하여, 자연스러운 화면의 전환이 가능하도록 하며, 따라서 깜박거림이 없는 부드러운 장면의 전환이 가능하다.

Description

동영상 프레임의 디코딩 방법 및 인코딩 방법{Method of decoding motion picture frame and method of encoding the same}
도 1은 본 발명의 제 1 실시예에 따른 동영상의 인코딩 방법 및 디코딩 방법을 나타낸 흐름도이다.
도 2a는 본 발명에 따른 방법을 적용하지 않은 경우의 프레임 참조 방식을 나타낸 도면이다.
도 2b는 본 발명의 제 1 실시예에 따른 방법을 적용하는 경우의 프레임 참조 방식을 나타내는 도면이다.
도 3은 본 발명의 제 2 실시예에 따른 동영상의 디코딩 방법을 나타낸 흐름도이다.
도 4는 H.264 부호화기 및 복호화기의 일 예를 나타낸 도면이다.
도 5는 IPPP 구조에서의 프레임 참조 방식을 나타낸 도면이다.
도 6은 IBBP 구조에서의 프레임 참조 방식을 나타낸 도면이다.
도 7은 IBBBP 구조에서의 프레임 참조 방식을 나타낸 도면이다.
도 8은 본 발명의 제 3 실시예에 따른 디코딩 방법을 나타낸 흐름도이다.
본 발명은 동영상 프레임의 코딩에 관한 것으로서, 특히 IDR-I 프레임의 재생시 부자연스러운 화면의 전환에 의한 깜박거리는 현상을 감소시키기 위한 동영상 프레임의 디코딩 방법 및 인코딩 방법에 관한 것이다.
최신의 동영상 부호화 국제 표준인 H.264에는 종래 기술에서는 포함되어 있지 않은 여러 가지 다양한 기술들을 적용하여 부호화 효율 및 기능을 높였다. 그 중에서 임의 접근(random access)을 제공하고 에러 전파(error propagation)를 방지하기 위한 기술로 IDR(Instantaneous Decoding Refresh) 프레임을 정의하고 있다. H.264는 다수의 참조 프레임을 사용하고 참조 프레임의 위치는 디스플레이 순서에 있어서 현재 프레임 이전 또는 이후로 크게 떨어져 존재할 수 있다. 디코딩 순서상으로 이전에 복원된 참조 프레임은 DPB(Decoded picture buffer)라는 메모리 공간(버퍼)에 저장되어 부호화기(encoder)와 복호화기(decoder) 모두 같은 방식으로 관리되며 영상의 부호화와 복호화에 이용된다. 이러한 상황에서 부호화된 비트스트림을 복호화기에서 임의 접근(random access) 가능하도록 하기 위하여 일정한 간격마다 I 프레임을 IDR-I 프레임으로 부호화한다. IDR-I 프레임으로 부호화되면 부호화기에서는 이전에 복원되어 DPB에 저장되어 있던 모든 참조 프레임들을 리셋(reset)시켜 비워버리고 IDR-I 프레임 이후의 영상들에 대해서는 IDR-I 프레임 이후의 프레임들만을 참조하여 부호화가 진행된다. 이에 의해 IDR-I 프레임 이후의 프레임들은 그 이전의 프레임들과 연관성이 없어지므로 IDR-I 프레임 부분부터 임의 접근(random access)이 가능하게 된다.
하지만, 임의 접근(random access)을 위해 IDR-I 프레임을 삽입하여 부호화를 하게 되면 일반적인 I 프레임에 비해 그 부근 영상의 부호화 효율이 떨어지고 영상의 일관성이 약해서 영상의 끊김 현상이 느껴진다. I 프레임 자체는 IDR 프레임으로 부호화되거나 일반 I 프레임으로 부호화되거나 동일한 화질을 나타내지만 그 이후의 영상은 달라지게 된다. I 프레임으로 부호화된 경우에는 그 이후에 나오는 P 프레임과 B 프레임들이 다수의 참조 영상을 사용하면서 I 프레임 이전의 P 프레임을 참조할 수 있지만, IDR-I 프레임으로 부호화된 경우에는 이후에 나오는 P 프레임과 B 프레임들이 IDR-I 프레임 이전의 프레임들을 참조할 수 없게 된다. 따라서 IDR-I 프레임을 경계로 일관성이 떨어져서 부자연스러운 화면의 전환, 예를 들어 화면의 깜박거림 등이 눈에 띄게 된다.
본 발명이 이루고자 하는 기술적 과제는, IDR-I 프레임 부근의 프레임들이 자연스러운 화면의 전환이 가능하도록 하는 동영상 프레임의 디코딩 방법 및 인코딩 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 동영상 프레임의 디코딩 방법 및 인코딩 방법을 각각 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기 기술적 과제를 이루기 위하여, 본 발명에 따른 동영상 디코딩 방법 및 인코딩 방법에서는, IDR-I 프레임 부근의 프레임들이 참조 프레임이 저장되어 있는 버퍼에 접근할 수 있도록 하여 자연스러운 화면의 전환이 가능하도록 한다.
상기 기술적 과제를 이루기 위한 동영상 프레임의 디코딩 방법은, IDR(instantaneous decoding refresh)-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 디코딩하는 단계; 상기 IDR-I 프레임을 디코딩하는 단계; 상기 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 디코딩하는 단계; 및 상기 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지하는 단계를 포함하는 것이 바람직하다.
본 발명의 일 실시예에 있어서, 상기 동영상 프레임의 디코딩 방법은, 디스플레이 순서에 있어서 상기 제 1 프레임과 상기 IDR-I 프레임의 사이에 디스플레이되어야 하는 B 프레임들을 상기 버퍼에 저장된 참조 프레임을 참조하여 디코딩하는 단계를 더 포함하는 것이 바람직하며, 상기 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지하는 단계는 상기 B 프레임들 중 가장 나중에 디스플레이되어야 하는 B 프레임을 디코딩한 후 상기 참조 프레임이 저장되어 있는 버퍼를 비우는 단계를 포함하는 것이 바람직하다.
본 발명의 다른 일 실시예에 있어서, 상기 동영상 프레임의 디코딩 방법은, 상기 제 1 프레임이 디스플레이된 후에 디스플레이되어야 하는 B 프레임 또는 P 프레임을 디코딩하여 제 1 복원 프레임을 생성하는 단계; 상기 버퍼에 저장된 참조 프레임과 상기 제 1 복원 프레임을 이용하여 제 2 복원 프레임을 생성하는 단계; 및 상기 제 2 복원 프레임을 디스플레이하는 단계를 더 포함하는 것이 바람직하다.
상기 기술적 과제를 이루기 위한 본 발명의 또 다른 일 실시예에 따른 동영상 프레임의 디코딩 방법은, 현재의 프레임을 디코딩하여 제 1 복원 프레임을 생성하는 단계; 상기 제 1 복원 프레임을 버퍼에 저장하는 단계; 상기 현재의 프레임이 IDR-I 프레임인 경우, 상기 버퍼에 대한 제 1 버퍼 인덱스를 복사하여 제 2 버퍼 인덱스를 생성하고, 상기 제 1 버퍼 인덱스를 리셋하고, 상기 제 1 복원 프레임을 디스플레이하는 단계; 상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인 경우, 상기 제 2 버퍼 인덱스를 이용하여 버퍼에 저장되어 있는 제 1 참조 프레임에 접근하고, 상기 제 1 참조 프레임과 상기 제 1 복원 프레임을 이용하여 제 2 복원 프레임을 생성하고, 상기 제 2 복원 프레임을 디스플레이하는 단계; 및 상기 현재의 프레임이 상기 IDR-I 프레임의 근처의 프레임이 아닌 경우, 상기 제 1 복원 프레임을 디스플레이하는 단계를 포함하는 것이 바람직하다.
상기 제 2 복원 프레임을 생성하는 단계는, 상기 제 1 참조 프레임과 상기 제 1 복원 프레임에 움직임 추정을 수행하여 제 3 복원 프레임을 생성하는 단계; 및 상기 제 1 복원 프레임과 상기 제 3 복원 프레임의 가중치 평균(weighted average)을 계산하여 상기 제 2 복원 프레임을 생성하는 단계를 포함하거나, 상기 제 1 복원 프레임과 상기 제 1 참조 프레임 간의 프레임 수와 상기 제 1 복원 프레임을 디코딩할 때 참조한 제 2 참조 프레임과 상기 제 1 복원 프레임 간의 프레임 수의 비인 프레임 거리 비를 계산하는 단계; 상기 제 1 복원 프레임을 디코딩할 때 사용한 제 1 움직임 벡터를 상기 프레임 거리 비에 따라 스케일링하여 제 2 움직임 벡터를 생성하는 단계; 상기 현재의 프레임에 상기 제 2 움직임 벡터를 적용하여 제 3 복원 프레임을 생성하는 단계; 및 상기 제 1 복원 프레임과 상기 제 3 복원 프레임의 가중치 평균을 계산하여 상기 제 2 복원 프레임을 생성하는 단계를 포함하거나, 상기 제 1 복원 프레임의 각각의 매크로블록에 대하여 상기 제 1 참조 프레임의 대응하는 매크로블록과의 절대 차이(absolute difference)를 구하는 단계; 상기 제 1 복원 프레임의 모든 매크로블록에 대하여 구한 상기 절대 차이의 총합(Sum of absolute differences: SAD)을 구하는 단계; 상기 절대 차이의 총합의 크기가 소정의 제 1 기준값보다 작은 경우, 상기 제 1 참조 프레임과 상기 제 1 복원 프레임에 움직임 보상을 적용하여 제 3 복원 프레임을 생성하고, 상기 제 1 복원 프레임과 상기 제 3 복원 프레임의 가중치 평균을 계산하여 상기 제 2 복원 프레임을 생성하는 단계; 상기 절대 차이의 총합의 크기가 상기 제 1 기준값보다 크고 소정의 제 2 기준값보다 작은 경우, 상기 제 1 참조 프레임을 상기 제 2 복원 프레임으로서 선택하는 단계; 및 상기 절대 차이의 총합의 크기가 상기 제 2 기준값보다 큰 경우, 상기 제 1 복원 프레임을 상기 제 2 복원 프레임으로서 선택하는 단계를 포함하는 것이 바람직하다.
또한, 상기 동영상 프레임의 디코딩 방법은, 디스플레이 순서에 있어서 상기 현재의 프레임과 상기 IDR-I 프레임과의 차이가 소정 값 이내인 경우, 상기 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단하는 단계를 더 포함하거나, 디스플레이 시간에 있어서 상기 현재의 프레임과 상기 IDR-I 프레임과의 차이가 소 정 시간 이내인 경우, 상기 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단하는 단계를 더 포함하거나, 상기 현재의 프레임이 IDR-I 프레임을 건너서 다른 프레임을 참조하는 경우, 상기 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단하는 단계를 더 포함하는 것이 바람직하다.
상기 기술적 과제를 이루기 위한 동영상 프레임의 인코딩 방법은, IDR(instantaneous decoding refresh)-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 인코딩하는 단계; 상기 IDR-I 프레임을 인코딩하는 단계; 상기 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 인코딩하는 단계; 및 상기 제 1 프레임을 인코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 인코딩하기 전까지 유지하는 단계를 포함하는 것이 바람직하다.
상기 동영상 프레임의 인코딩 방법은, 디스플레이 순서에 있어서 상기 제 1 프레임과 상기 IDR-I 프레임의 사이에 디스플레이되어야 하는 B 프레임들을 상기 버퍼에 저장된 참조 프레임을 참조하여 인코딩하는 단계를 더 포함하는 것이 바람직하며, 상기 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 인코딩하기 전까지 유지하는 단계는 상기 B 프레임들 중 가장 나중에 디스플레이되어야 하는 B 프레임을 인코딩한 후 상기 참조 프레임이 저장되어 있는 버퍼를 비우는 단계를 포함하는 것이 바람직하다.
본 발명에 따른 동영상 프레임의 디코딩 방법 및 인코딩 방법에 있어서, 상 기 버퍼는 DPB(Decoded Picture Buffer)인 것이 바람직하다.
이하 첨부된 도면들을 참조하여 본 발명에 따른 동영상 프레임의 디코딩 방법 및 인코딩 방법에 관하여 상세히 설명한다.
<제 1 실시예>
도 1은 본 발명의 제 1 실시예에 따른 동영상의 인코딩 방법 및 디코딩 방법을 나타낸 흐름도이다.
본 발명에 따른 동영상 디코딩 방법 및 인코딩 방법에서는, IDR-I 프레임 부근의 프레임들이 참조 프레임이 저장되어 있는 버퍼에 접근할 수 있도록 하여 자연스러운 화면의 전환이 가능하도록 한다.
이를 위하여 본 발명의 제 1 실시예에 따른 디코딩 방법 및 인코딩 방법에서는, 버퍼를 비우는 시점을 연기함에 의해 IDR-I 프레임 부근의 프레임들이 버퍼에 접근할 수 있도록 한다.
버퍼를 비우는 시점에 대하여는 H.264 표준에 정해져 있다. H.264 표준은 인코딩 측과 디코딩 측 양측에서 준수하여야 한다. 따라서, 본 발명의 제 1 실시예와 같이 버퍼를 비우는 시점을 연기하기 위하여는, 인코딩 측과 디코딩 측이 이에 대하여 모두 알고 있어야 한다. 따라서, 본 발명의 제 1 실시예를 따르는 경우, 표준의 변경을 초래할 수도 있다.
도 1의 실시예에 있어서는, 인코딩 방법과 디코딩 방법이 동일한 방식으로 수행된다. 따라서, 이하에서는 인코딩 방법에 대하여만 설명하고 디코딩 방법에 대하여는 설명을 생략하기로 한다. 디코딩 방법에 대하여는 인코딩하는 단계 대신 디 코딩하는 단계를 수행하는 것으로 대체함에 의해 동일하게 설명이 가능하다.
먼저, 제 1 프레임을 인코딩한다(S100). 도 1의 실시예에서 제 1 프레임은 IDR-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임이다. 이는 도 2b의 예에서 디스플레이 순서 30번에 해당하는 프레임이다.
다음으로 IDR-I 프레임을 인코딩한다(S110). IDR-I 프레임은 도 2b의 예에서 디스플레이 순서 33번에 해당하는 프레임이다.
현재의 H.264 표준에서는 IDR-I 프레임을 인코딩하기 전에 버퍼를 비우도록 하고 있다. 따라서, IDR-I 프레임을 인코딩하는 시점에서는 버퍼에 접근하는 것이 불가능하다.
그러나, 본 발명에 따른 인코딩 방법에 있어서는, IDR-I 프레임을 인코딩하기 전에 버퍼를 비우지 않도록 한다. 따라서, IDR-I 프레임을 인코딩하는 시점에서도 버퍼에 접근하는 것이 가능하다.
그 다음에는, 제 2 프레임을 인코딩한다(S120). 도 1의 실시예에서 제 2 프레임은 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임이다. 이는 도 2b의 예에서 디스플레이 순서 36번에 해당하는 프레임이다.
본 발명에 따른 인코딩 방법에 있어서는, 적어도 상기 제 2 프레임을 인코딩하기 전까지는 버퍼를 비우지 않고 유지한다.
도 1에는 제 2 프레임을 인코딩한 후에 참조 프레임이 저장되어 있는 버퍼를 비우는 단계(S130)를 포함하는 실시예를 도시하고 있다. 그러나, 다른 일 실시예에 있어서는, 버퍼를 비우는 시점을 더 이후의(later) 프레임이 인코딩될 때까지 미룰 수도 있다.
도 2a 및 도 2b를 참조하여, 본 발명의 일 실시예에 따른 인코딩 방법(디코딩 방법)이 적용되는 경우와 적용되지 않는 경우의 프레임 참조 방식의 차이를 살펴보기로 한다.
도 2a는 본 발명에 따른 방법을 적용하지 않은 경우의 프레임 참조 방식을 나타낸 도면이다.
도 2a를 참조하면, 각각의 프레임에 대하여 디스플레이 순서(Display Order)와 인코딩 순서(Encode Order)가 기재되어 있다. 이는 인코딩 방법이 수행되는 경우에 대한 것이며, 디코딩 방법이 수행되는 경우 프레임의 디코딩 순서는 도시된 인코딩 순서와 동일하다.
우선 인코딩 순서에 있어서 IDR-I 프레임 이전에 인코딩되는 프레임들(그룹 A)이 인코딩된다. 디스플레이 순서 30번 프레임이 디스플레이 순서 27번 프레임을 참조하여 인코딩되고(인코딩 순서 28번), 다음으로 디스플레이 순서 28번 프레임과 디스플레이 순서 29번 프레임이 디스플레이 순서 27번 프레임과 디스플레이 순서 30번 프레임을 참조하여 인코딩된다(인코딩 순서 29번 및 30번). 이때 참조의 대상이 되는 참조 프레임은 버퍼에 저장되어 있다.
다음으로 IDR-I 프레임을 인코딩한다(인코딩 순서 31번). 본 발명에 따른 방식이 적용되지 않는 경우에 IDR-I 프레임을 인코딩하기 전에 버퍼를 리셋한다.
IDR-I 프레임을 인코딩한 후에는 IDR-I 프레임보다 먼저 디스플레이되어야 하는 프레임들이 속한 그룹 B를 인코딩한다(인코딩 순서 32번 및 33번). 그룹 B에는 IDR-I 프레임만을 참조하는 B 프레임들이 포함되어 있다.
그룹 B에 속한 프레임들의 인코딩이 끝나면, IDR-I 프레임 이후에 디스플레이되는 프레임들이 속한 그룹 C를 인코딩한다(인코딩 순서 34번 내지 36번).
본 발명이 적용되지 않는 경우에 IDR-I 프레임과 그 주위의 프레임들(인코딩 순서 31번과 그 이후의 프레임들)은 이전의 프레임들과 독립적으로 인코딩되므로 영상에서 차이가 발생한다. 특히 그룹 B에 속하는 프레임들의 영상들과 그룹 A에 속하는 프레임들의 영상들 간에는 급격한 차이에 의해, 동영상 재생시 깜박거림(flickering)과 단절감이 발생하게 된다. 그룹 B에 속한 프레임들은 IDR-I 프레임만을 참조하여 인코딩되므로, 그룹 A에 속한 프레임들과는 연관 관계가 없게 된다.
이러한 문제점을 해결하기 위하여, 그룹 B에 속한 프레임들을 인코딩할 때에도 버퍼에 저장된 프레임들을 참조하도록 하는 것이 바람직하다. 본 발명의 일 실시예에 따른 인코딩 방법에 따르면, 버퍼의 리셋 시점을 IDR-I 프레임(인코딩 순서 31번)을 인코딩하기 전이 아닌 IDR-I 프레임 다음의 P 프레임(인코딩 순서 34번)을 인코딩하기 전으로 연기한다.
도 2b는 본 발명의 제 1 실시예에 따른 방법을 적용하는 경우의 프레임 참조 방식을 나타내는 도면이다.
도 2b를 참조하면, 버퍼의 리셋 시점은 인코딩 순서 34번인 프레임을 인코딩 하기 바로 전, 즉 그룹 B에 속하는 마지막 프레임인 B 프레임(인코딩 순서 33번)을 인코딩한 후가 된다.
프레임들의 인코딩은 다음과 같이 수행된다.
먼저, 그룹 A에 속한 프레임들을 인코딩한다(인코딩 순서 28번 내지 30번). 다음으로 IDR-I 프레임을 인코딩하는데, 이때 버퍼를 리셋하지 않는다(인코딩 순서 31번).
그룹 B에 속한 프레임들을 인코딩할 때, IDR-I 프레임뿐만 아니라 버퍼에 저장되어 있는 이전의 프레임들을 참조하여 인코딩한다(인코딩 순서 32번 및 33번). 도 2b의 예에서는 그룹 A의 마지막 P 프레임(인코딩 순서 28번)과 IDR-I 프레임을 모두 참조하여 인코딩한다.
그룹 B에 속한 프레임들을 모두 인코딩한 후, 버퍼를 리셋한다.
버퍼를 리셋한 후에, 그룹 C에 속한 프레임들을 인코딩한다(인코딩 순서 34번과 그 이후).
상기 언급한 바와 같이, 본 발명의 제 1 실시예에 따른 발명은 인코딩 측과 디코딩 측에 대하여 같은 방식으로 적용된다. 따라서, 디코딩 방법에 대하여는 설명을 생략한다.
<제 2 실시예>
본 발명의 제 2 실시예는, 상기 제 1 실시예를 변형한 것이다.
상기 제 1 실시예에서는 버퍼를 비우는 시점을 일정 시점 뒤로 연기함에 의해, IDR-I 프레임 부근의 프레임들이 참조 프레임이 저장되어 있는 버퍼에 접근할 수 있도록 한다. 도 2b의 예에서는 그룹 B에서 속한 프레임들이 이에 해당한다.
그런데, 제 2 실시예에서는 버퍼를 비우는 시점에 대하여 H.264 표준을 따르면서도 IDR-I 프레임 부근의 프레임들이 참조 프레임에 저장되어 있는 버퍼에 접근할 수 있도록 한다.
H.264 표준에 의하면, 디코딩 장치는 IDR-I 프레임을 수신하면 버퍼 내의 모든 프레임에 대하여 참조를 위해 사용되지 않는다는 표시를 한다. 또한, 디코딩 장치는 버퍼 인덱스를 리셋한다. 이에 의해 버퍼를 비우는 효과가 생긴다.
그러나, 버퍼의 메모리 내에는 참조를 위해 사용되지 않는다는 표시가 되어 있는 참조 프레임들이 존재한다. 이는 그 위치에 다른 프레임을 저장하기 전까지 남아있게 된다.
따라서, 버퍼에 직접 접근할 수 있는 수단이 제공된다면, 상기 버퍼에 저장된 참조 프레임에 접근하여 이를 이용하여 복원 프레임을 생성하는 것이 가능하다. 이러한 접근 수단에 대하여는 다음의 제 3 실시예에서 상세히 살펴보기로 한다.
다만 이러한 실시예에 있어서는, 원래의 버퍼 인덱스를 리셋함에 의해 원래의 표준을 따르는 인코딩 장치나 디코딩 장치는 버퍼에 저장되어 있는 참조 프레임에 접근할 수 없게 된다. 따라서, 본 발명의 제 2 실시예는 디코딩 방법에 대하여만 적용할 수 있으며 인코딩 방법에 대하여는 적용이 불가능하다.
도 3은 본 발명의 제 2 실시예에 따른 동영상의 디코딩 방법을 나타낸 흐름도이다.
먼저 제 1 프레임을 디코딩한다(S150). 도 2의 실시예에서 제 1 프레임은 IDR-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임이다. 이는 도 2a의 예에서 디스플레이 순서 30번에 해당하는 프레임이다.
다음으로 IDR-I 프레임을 인코딩한다(S160). IDR-I 프레임을 인코딩하기 전에 H.264 표준에 따라 버퍼 리셋이 수행된다.
이하의 단계들(S170 및 S180)은 IDR-I 프레임 부근의 B 프레임 또는 P 프레임 각각에 대하여 수행된다. 이하에서는 이들을 디코딩 대상 프레임이라 부르기로 한다.
먼저 각각의 디코딩 대상 프레임을 H.264 표준에 따라 디코딩하여 제 1 복원 프레임을 생성한다(S170).
제 2 실시예에 있어서, 프레임의 참조 방식은 원칙적으로 H.264 표준에 따른다. 따라서, 먼저 도 2a에 도시된 것과 같은 프레임 참조 방식이 적용된다. 이에 따르면 그룹 B 및 그룹 C에 속한 프레임들에 대하여 제 1 복원 프레임은 버퍼에 저장된 참조 프레임을 참조하지 않고 IDR-I 프레임과 그 이후의 프레임들만을 참조하여 디코딩된다.
H.264 표준에서는 제 1 복원 프레임이 디스플레이되게 된다. 그런데, 본 발명의 제 2 실시예에 따른 디코딩 방법에서는, 제 2 복원 프레임을 생성하고(S180) 이를 디스플레이한다.
제 2 실시예에서는 표준에 따라 버퍼가 리셋된 후에도 버퍼 메모리에 접근하는 수단이 제공되는 것을 전제로 한다. 제 2 복원 프레임을 생성하기 위하여, 상기 버퍼 접근 수단을 이용하여 버퍼에 저장된 참조 프레임에 접근한다. 참조 프레임과 이미 생성된 제 1 복원 프레임을 이용하여 제 2 복원 프레임을 생성한다.
그룹 B에 속한 프레임들 각각에 대하여 제 1 복원 프레임과 제 2 복원 프레임을 생성한 후, 제 2 프레임을 디코딩한다(S190). 제 2 프레임은 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임이다. 이는 도 2a의 예에서 디스플레이 순서 36번에 해당하는 프레임이다.
도 3에 도시되지는 않았지만, 제 2 프레임을 디코딩한 후에 그룹 C에 속한 프레임들 또는 그 이후의 프레임들에 대하여 각각 제 1 복원 프레임과 제 2 복원 프레임을 생성하는 단계가 수행될 수 있다.
제 2 복원 프레임은, 표준에 따라 버퍼 내의 프레임을 참조하지 않고 생성된 제 1 복원 프레임과, 버퍼 내의 참조 프레임을, 모두 사용하여 생성된 프레임이다. 따라서, IDR-I 프레임의 근처의 프레임들에 대하여 제 2 복원 프레임을 디스플레이함에 의하여, IDR-I 프레임 전후의 영상이 깜박거림이 없는 자연스러운 장면의 전환이 가능하게 된다. 제 2 복원 프레임의 생성 방식에 대하여는 다음의 제 3 실시예에서 더 상세히 살펴보기로 한다.
제 2 실시예는 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지한다는 본원 발명의 특징을 가지고 있다는 점에 있어서, 제 1 실시예와 공통점을 가지고 있다.
<제 3 실시예>
본 발명의 제 3 실시예에서는 H.264의 표준 기술에 맞추어 부호화된 비트스트림을 받아서 복호화기에서 표준은 따르면서 포스트 프로세싱(post processing) 개념으로 IDR-I 프레임 전후의 영상의 부자연스러움을 감소시킬 수 있는 방법을 제안한다. 이하 본 발명의 제 3 실시예에 대하여 도 4 내지 도 8을 참조하여 상세히 설명한다.
제 3 실시예에서는 상기 제 2 실시예의 세부 사항에 대하여 설명한다. 따라서, 제 3 실시예는 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지한다는 본원 발명의 특징을 가지고 있다.
제 3 실시예는 상기 제 2 실시예에서와 같이, 각각의 디코딩 대상 프레임에 대하여 H.264 표준에 따라 제 1 복원 프레임을 생성하는 단계를 포함한다. 따라서, 제 3 실시예를 설명하기 위하여 먼저 H.264 부호화기 및 복호화기에 대하여 살펴본다.
도 4는 H.264 부호화기 및 복호화기의 일 예를 나타낸 도면이다.
H.264와 같은 동영상 압축 표준에서는 영상을 부호화할 때 I, P, B 프레임 중의 하나로 부호화할 수 있다. I 프레임은 현재 부호화하는 프레임 내부의 공간적 상관성만을 이용하여 부호화하는 방식으로 복호화기에서 다른 프레임의 참조 없이 하나의 프레임 데이터만을 사용하여 복원(복호화) 가능하다. P 프레임은 시간적으로 이전에 복원된 프레임(H.264에서는 다수의 영상도 참조 가능하며 디코딩 순서상으로 이전에 디코딩된 것이면 디스플레이 순서상으로 이전의 것일 필요는 없다)을 참조하는 인터 예측(inter prediction)을 이용하여 부호화를 수행하게 되고 복호화기에서 이전의 복원 영상을 이용하여 현재 영상을 복원 가능하다. B 프레임은 순방향 복원 영상(H.264에서는 list0)과 역방향 복원 영상(H.264에서는 list1)을 이용하여 인터 예측을 통해 부호화를 수행하게 되고 복호화기에서는 순방향, 역방향 복원 영상들을 이용하여 현재 영상을 복원 가능하다.
도 4를 참조하면, 영상 부호화기는 인트라 예측(intra prediction, 300) 혹은 인터 예측(302)을 수행하고 현재 프레임과 예측 영상(303)의 차이값(residue, 304)을 얻고 인트라 혹은 인터 모드 정보와 차이값(residue)을 변환/양자화(transform/quantization, 306)한 후 얻은 양자화된 변환 계수값(308)을 엔트로피 부호화(310)하여 비트스트림(312)을 생성해낸다. 부호화가 수행된 영상은 역양자화/역변환 과정(314)을 거치고 예측 영상(303)과 더해져서 복원 영상(316)으로 만들어져서 다음 P 또는 B picture로 부호화될 영상들의 참조 프레임으로 사용되기 위해 메모리 버퍼(DPB: Decoded Picture Buffer, 318)에 저장된다.
도 1을 참조하면, 동영상 복호화기(400)는 부호화기의 일부분이며, 비트스트림을 입력받아서 부호화기의 복호화 루프와 동일한 과정을 거쳐서 복원 영상(316)을 생성해내어 디스플레이(display) 단에 출력하여 사용자가 시청할 수 있도록 하고, 복원 영상(316)을 DPB(318)에 저장하여 다음에 복원될 영상의 참조 프레임으로 사용할 수 있도록 한다.
복호화기(400)에서 영상의 임의 접근(random access)를 할 수 있도록 하기 위해서는 부호화기에서 비트스트림을 생성할 때 일정 간격마다 IDR-I 프레임을 삽 입하게 된다. IDR-I 프레임은 NAL(Network Adaptation Layer) 유니트(unit)의 nal_unit_type 5로 비트스트림에 표시된다. IDR-I 프레임을 부호화하고 나면 부호화기는 DPB 버퍼를 리셋(reset)시켜 IDR-I 프레임 이후에 P 또는 B 프레임을 부호화할 때 IDR-I 프레임 이전의 복원 영상들을 참조하지 않고 IDR-I 프레임 이후의 복원 영상들만을 이용하여 부호화를 진행하게 된다. 부호화기에서 이런 방식으로 DPB 버퍼를 리셋(reset)하게 되면 복호화기 측면에서 보면 비트스트림상에서 NAL 유니트의 nal_unit_type만 살펴보고 이것이 IDR-I 프레임이면 비트스트림의 IDR-I 프레임 부분부터 디코딩을 시작해서 영상들을 복원해 나갈 수 있다. 복호화기가 중간에 나온 IDR-I 프레임부터 디코딩을 수행하기 시작한다면 복호화기의 DPB에는 어떠한 복원 영상도 들어있지 않은 상태에서 시작하므로 부호화시부터 복호화기의 상태를 생각해서 IDR 프레임 발생 시 DPB를 리셋시켜주도록 정해져 있는 것이다.
그런데, 임의 접근(Random access) 기능을 지원하기 위해 IDR-I 프레임을 삽입하여 부호화를 수행한 경우에 복호화기에서 임의 접근(random access)이 가능하다는 장점은 생기지만, 이미 언급한 바와 같이 순차 접근(sequential access) 시에는 IDR-I 프레임의 삽입으로 인한 화질의 열화가 발생한다. I 프레임 자체는 일반적인 I 프레임이나 IDR-I 프레임이나 화질이 동일하지만, 그 이후의 프레임들에 있어서는 화질의 차이가 발생한다.
도 5는 IPPP 구조에서의 프레임 참조 방식을 나타낸 도면이며, 도 6은 IBBP 구조에서의 프레임 참조 방식을 나타낸 도면이며, 도 7은 IBBBP 구조에서의 프레임 참조 방식을 나타낸 도면이다.
일반적인 I 프레임인 경우에는 그 이후 P 프레임들에서 다수의 참조 프레임을 이용하여 예측을 수행할 때 I 프레임 이전 복원 영상을 참조 가능하다. 하지만 IDR-I 프레임 구조에서는 그 이후 P 프레임들에서 IDR-I 프레임 이전 복원 영상을 참조할 수 없기 때문에 P 프레임의 화질이 열화될 가능성이 있다. 도 5 내지 7에서 점선으로 둘러싸인 P 프레임이 참조되지 않기 때문이다. 또한 IDR-I 프레임을 경계로 이전과 이후 영상들의 예측이 단절되므로 임의 접근(random access)이 아닌 순차적인 접근(sequential access)인 경우에는 IDR-I 프레임이 나오기 이전까지 복원된 영상들과 IDR-I 프레임 이후의 복원 영상들 사이 경계 부분에서 매끄럽지 못한 연결이 눈에 띄게 된다.
시간이 흐를수록 사용자들의 고화질에 대한 욕구가 높아지고 저장 매체나 전송로의 발전으로 동영상 부호화/복호화를 거쳐 생성된 복원 영상의 화질이 점점 더 높아지고 있다. 복원 영상 한 장 한 장의 화질이 점점 더 높아질 수록 이렇게 영상과 영상의 연결에서의 부자연스러움이 점점 더 눈에 띄게 된다. 동영상은 정지 영상과 달리 실제 녹화된 프레임률로 실시간 속도로 디스플레이하여 감상하므로 이러한 영상과 영상 사이의 매끄럽지 못한 연결은 주관적 화질에 큰 영향을 끼치게 된다.
도 8은 본 발명의 제 3 실시예에 따른 디코딩 방법을 나타낸 흐름도이다.
앞서 언급한 바와 같이, 본 실시예에 따른 디코딩 방법은 표준의 변화를 초래하지 않기 때문에 인코딩 측에서는 적용할 수 없다.
먼저, 현재의 프레임에 표준에 따른 복호화를 수행하여 영상(picture)을 복 원한다(S200). 본 발명에서는 복원된 프레임을 제 1 복원 프레임이라고 부르기로 한다.
제 1 복원 프레임을 버퍼(DPB)에 저장한다(S210).
현재의 프레임이 IDR-I 프레임인지를 판단한다(S220).
(( 1. IDR-I 프레임인 경우 ))
IDR-I 프레임인 경우, DPB 버퍼 인덱스(이를 제 1 버퍼 인덱스라고 한다)를 복사(copy)하여 사본(이를 제 2 버퍼 인덱스라고 한다)을 저장한 후(S230), DPB 버퍼 인덱스(제 1 버퍼 인덱스)를 리셋(reset)한다(S240). 이때 DPB 버퍼에 실제 저장되어 있는 복원된 영상 자체는 지워지지 않는다. 복원된 영상을 그대로, 즉 제 1 복원 프레임을 디스플레이한다(S280).
(( 2. IDR-I 프레임이 아닌 경우 ))
현재의 프레임이 IDR-I 프레임이 아닌 경우, 디스플레이 순서(display order) 상 IDR-I 프레임 부근인지를 판단한다(S250). 이때, IDR-I 프레임 부근인지를 판단하는 판단 기준으로는 다음과 같은 예가 가능하다.
일 예로는, 디스플레이 순서에 있어서 현재의 프레임과 IDR-I 프레임과의 차이가 소정 값 이내인 경우, 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단할 수 있다. 상기 소정 값의 예로는 IDR-I 프레임의 전후 5 프레임 등과 같이 정할 수 있을 것이다. 이는 디코더의 성능에 따라 다른 값으로 정할 수도 있다.
또 다른 예로는 디스플레이 시간에 있어서 현재의 프레임과 IDR-I 프레임과의 차이가 소정 시간 이내인 경우 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단할 수 있다. 상기 소정 시간은 0.1 초와 같이 정할 수 있을 것이다. 이 값 또한 디코더의 성능에 따라 다른 값으로 정할 수 있다.
또 다른 예로는 현재의 프레임이 IDR-I 프레임을 건너서 다른 프레임을 참조하는 경우, 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단할 수도 있을 것이다.
(( 2-1. IDR-I 프레임 부근의 프레임인 경우 ))
상기 판단 단계(S250)에서 현재의 프레임이 IDR-I 프레임 부근의 프레임인 것으로 판단된 경우, S230 단계에서 복사(copy)되어 저장된 제 2 버퍼 인덱스를 이용하여 DPB 버퍼에 저장된 이전의 복원 영상(이를 제 1 참조 프레임이라 한다)과 현재 복원 영상(제 1 복원 프레임)을 이용하여 새로운 가공 영상(이를 제 2 복원 프레임이라 한다)을 생성한다(S260). 가공 영상(제 2 복원 프레임)을 생성하는 방법으로는 여러 가지가 가능하다.
우선, 복호화기의 프로세싱 파워(processing power)가 충분한 경우에는 제 1 복원 프레임과 제 1 참조 프레임을 이용하여 부호화기처럼 움직임 추정(Motion estimation)을 수행하여 B 프레임의 양방향 움직임 보상(bi-directional Motion compensation)과 같이 움직임 보상(MC)된 영상을 생성하고(이를 제 3 복원 프레임이라 한다), 제 3 복원 프레임과 제 1 복원 프레임의 가중치 평균(weighted average) 형태로 가공 영상(제 2 복원 프레임)을 생성할 수 있다(제 1 방식).
다른 예로는, 상기 제 1 방식처럼 움직임 추정을 수행하지 않고, 현재 복원 영상의 움직임 벡터(이를 제 1 움직임 벡터라고 한다)를 B 프레임을 디코딩할 때의 시간 직접 방식(temporal direct mode)와 비슷하게 거리비에 따른 스케일링(scaling) 과정을 거쳐 제 1 참조 프레임에 대한 움직임 벡터(이를 제 2 움직임 벡터라고 한다)를 유도한 뒤, B 프레임의 양방향 움직임 보상(bi-directional Motion compensation)처럼 움직임 보상(MC)된 영상(제 3 복원 프레임)과 현재 복원 영상(제 1 복원 프레임)의 가중치 평균(weighted average) 형태로 가공 영상(제 2 복원 프레임)을 생성할 수 있다. 즉, 제 1 복원 프레임과 제 1 참조 프레임 간의 프레임 수(a라고 하자)와 제 1 복원 프레임을 디코딩할 때 참조한 프레임(이를 제 2 참조 프레임이라 한다)과 제 1 복원 프레임 간의 프레임 수(b라고 하자)의 비인 프레임 거리 비(a/b)를 계산하고, 제 1 움직임 벡터를 프레임 거리 비(a/b)에 따라 스케일링하여 제 2 움직임 벡터를 생성한 뒤, 현재의 프레임에 제 2 움직임 벡터를 적용하여 제 3 복원 프레임을 생성하는 방식이다(제 2 방식).
또는, 움직임 벡터를 얻는 것은 상기 제 1 방식 또는 제 2 방식에 의하고, 움직임 벡터를 얻은 후에 제 3 복원 프레임을 생성하는 방식만 다르게 할 수도 있다. 예를 들어 제 1 복원 프레임의 각각의 매크로블록 단위로 움직임 벡터 위치에서의 절대 차이(차이 값을 구한 후 절대값을 구한 것)를 구하고, 모든 매크로블록에 대하여 구한 절대 차이의 총합(Sum of absolute differences: SAD)를 구한 뒤(이는 코스트가 된다), 그 크기에 따라 가공 영상(제 2 복원 프레임)의 생성 방식을 달리할 수 있다(제 3 방식). 이를 위해 기준 값들(예를 들어 T1과 T2, T1<T2)을 설정하여 두고, SAD 값을 이들과 비교할 수 있다.
상기 SAD 값이 T1보다 작은 경우, B 프레임에서의 양방향 움직임 보상(bi- directional MC)처럼 움직임 보상(MC)된 영상(제 3 복원 프레임)을 생성하고, 현재 복원 영상(제 1 복원 프레임)과 움직임 보상된 영상(제 3 복원 프레임)의 가중치 평균값으로 가공 영상(제 2 복원 프레임)을 생성할 수 있다.
상기 SAD 값이 T1보다 크고 T2보다 작은 경우, 버퍼에 저장된 제 1 참조 프레임을 가공 영상(제 2 복원 프레임)으로 선택할 수 있다.
상기 SAD 값이 T2보다 큰 경우, 제 1 복원 프레임을 가공 영상(제 2 복원 프레임)으로 선택할 수 있다.
상기 제 1 방식 내지 제 3 방식 외에도 가공 영상(제 2 복원 프레임)을 생성하는 다른 방식들이 있을 수 있다.
이와 같이, 제 2 버퍼 인덱스를 이용하여 제 1 참조 프레임에 접근하고, 제 1 참조 프레임과 제 1 복원 프레임을 이용하여 가공 영상(제 2 복원 프레임)을 생성한 후에는, 가공 영상을 디스플레이한다(S270).
(( 2-2. IDR-I 프레임 부근의 프레임이 아닌 경우 ))
S250 단계에서 현재의 프레임이 IDR-I 프레임 부근의 프레임이 아닌 것으로 판단된 경우에는, 현재의 복원 영상인 제 1 복원 프레임을 그대로 디스플레이한다(S280).
<공통 적용되는 사항들>
상기 살펴본 제 1 실시예 내지 제 3 실시예에 따른 발명들은 모두, 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지함에 의해 IDR-I 프레임 부근의 프레임들이 참 조 프레임이 저장되어 있는 버퍼에 접근할 수 있도록 하여 자연스러운 화면의 전환이 가능하도록 한다.
인코딩 측에 있어서는 제 1 실시예에 따른 방식만이 적용 가능하다. 하지만 디코딩 측에 있어서는 상기 모든 실시예들이 모두 적용 가능하다.
본 발명에 따른 디코딩 방법은 도 2a에서 그룹 A, B, C가 모두 디스플레이되는 순차적 접근(sequential access) 시에 적용된다. 임의 접근(random access) 시에는 IDR-I 프레임으로 바로 건너 뛰게 되므로 장면의 전환에 따른 깜박거림 등의 문제가 발생하지 않는다. 이때는 그룹 B(디코딩 순서 32번 및 33번)가 디스플레이되지 않으므로, 이들을 디코딩할 필요도 없다. 따라서 디코딩 순서는 31번(IDR-I 프레임)에서 34번(P 프레임)으로 건너뛰게 된다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범 위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.
본 발명에 따른 동영상 디코딩 방법 및 인코딩 방법에 따르면, IDR-I 프레임 부근의 프레임들이 참조 프레임이 저장되어 있는 버퍼에 접근할 수 있도록 하여, 자연스러운 화면의 전환이 가능하도록 하며, 따라서 깜박거림이 없는 부드러운 장면의 전환이 가능하다.

Claims (20)

  1. IDR(instantaneous decoding refresh)-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 디코딩하는 단계;
    상기 IDR-I 프레임을 디코딩하는 단계;
    상기 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 디코딩하는 단계; 및
    상기 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지하는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  2. 제1항에 있어서,
    디스플레이 순서에 있어서 상기 제 1 프레임과 상기 IDR-I 프레임의 사이에 디스플레이되어야 하는 B 프레임들을 상기 버퍼에 저장된 참조 프레임을 참조하여 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  3. 제2항에 있어서, 상기 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지하는 단계는,
    상기 B 프레임들 중 가장 나중에 디스플레이되어야 하는 B 프레임을 디코딩한 후, 상기 참조 프레임이 저장되어 있는 버퍼를 비우는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  4. 제1항에 있어서,
    상기 제 1 프레임이 디스플레이된 후에 디스플레이되어야 하는 B 프레임 또는 P 프레임을 디코딩하여 제 1 복원 프레임을 생성하는 단계;
    상기 버퍼에 저장된 참조 프레임과 상기 제 1 복원 프레임을 이용하여 제 2 복원 프레임을 생성하는 단계; 및
    상기 제 2 복원 프레임을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
    상기 버퍼는, DPB(Decoded Picture Buffer)인 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  6. 현재의 프레임을 디코딩하여 제 1 복원 프레임을 생성하는 단계;
    상기 제 1 복원 프레임을 버퍼에 저장하는 단계;
    상기 현재의 프레임이 IDR-I 프레임인 경우, 상기 버퍼에 대한 제 1 버퍼 인덱스를 복사하여 제 2 버퍼 인덱스를 생성하고, 상기 제 1 버퍼 인덱스를 리셋하고, 상기 제 1 복원 프레임을 디스플레이하는 단계;
    상기 현재의 프레임이 IDR-I 프레임이 아닌 경우, 상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인지 여부를 판단하는 단계;
    상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인 경우, 상기 제 2 버퍼 인덱스를 이용하여 버퍼에 저장되어 있는 제 1 참조 프레임에 접근하고, 상기 제 1 참조 프레임과 상기 제 1 복원 프레임을 이용하여 제 2 복원 프레임을 생성하고, 상기 제 2 복원 프레임을 디스플레이하는 단계; 및
    상기 현재의 프레임이 상기 IDR-I 프레임의 근처의 프레임이 아닌 경우, 상기 제 1 복원 프레임을 디스플레이하는 단계를 포함하며,
    상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인지 여부를 판단하는 단계는, 디스플레이 순서에 있어서 상기 현재의 프레임과 상기 IDR-I 프레임과의 차이가 소정 값 이내인 경우, 디스플레이 시간에 있어서 상기 현재의 프레임과 상기 IDR-I 프레임과의 차이가 소정 시간 이내인 경우, 또는 상기 현재의 프레임이 IDR-I 프레임을 건너서 다른 프레임을 참조하는 경우에 상기 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  7. 제6항에 있어서, 상기 제 2 복원 프레임을 생성하는 단계는,
    상기 제 1 참조 프레임과 상기 제 1 복원 프레임에 움직임 추정을 수행하여 제 3 복원 프레임을 생성하는 단계; 및
    상기 제 1 복원 프레임과 상기 제 3 복원 프레임의 가중치 평균(weighted average)을 계산하여 상기 제 2 복원 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  8. 제6항에 있어서, 상기 제 2 복원 프레임을 생성하는 단계는,
    상기 제 1 복원 프레임과 상기 제 1 참조 프레임 간의 프레임 수와 상기 제 1 복원 프레임을 디코딩할 때 참조한 제 2 참조 프레임과 상기 제 1 복원 프레임 간의 프레임 수의 비인 프레임 거리 비를 계산하는 단계;
    상기 제 1 복원 프레임을 디코딩할 때 사용한 제 1 움직임 벡터를 상기 프레임 거리 비에 따라 스케일링하여 제 2 움직임 벡터를 생성하는 단계;
    상기 현재의 프레임에 상기 제 2 움직임 벡터를 적용하여 제 3 복원 프레임을 생성하는 단계; 및
    상기 제 1 복원 프레임과 상기 제 3 복원 프레임의 가중치 평균을 계산하여 상기 제 2 복원 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  9. 제6항에 있어서, 상기 제 2 복원 프레임을 생성하는 단계는,
    상기 제 1 복원 프레임의 각각의 매크로블록에 대하여 상기 제 1 참조 프레임의 대응하는 매크로블록과의 절대 차이(absolute difference)를 구하는 단계;
    상기 제 1 복원 프레임의 모든 매크로블록에 대하여 구한 상기 절대 차이의 총합(Sum of absolute differences: SAD)을 구하는 단계;
    상기 절대 차이의 총합의 크기가 소정의 제 1 기준값보다 작은 경우, 상기 제 1 참조 프레임과 상기 제 1 복원 프레임에 움직임 보상(motion compensation: MC)을 적용하여 제 3 복원 프레임을 생성하고, 상기 제 1 복원 프레임과 상기 제 3 복원 프레임의 가중치 평균을 계산하여 상기 제 2 복원 프레임을 생성하는 단계;
    상기 절대 차이의 총합의 크기가 상기 제 1 기준값보다 크고 소정의 제 2 기준값보다 작은 경우, 상기 제 1 참조 프레임을 상기 제 2 복원 프레임으로서 선택 하는 단계; 및
    상기 절대 차이의 총합의 크기가 상기 제 2 기준값보다 큰 경우, 상기 제 1 복원 프레임을 상기 제 2 복원 프레임으로서 선택하는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제6항 내지 제9항 중의 어느 한 항에 있어서,
    상기 버퍼는, DPB(Decoded Picture Buffer)인 것을 특징으로 하는 동영상 프레임의 디코딩 방법.
  14. IDR(instantaneous decoding refresh)-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 인코딩하는 단계;
    상기 IDR-I 프레임을 인코딩하는 단계;
    상기 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 인코딩하는 단계; 및
    상기 제 1 프레임을 인코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 인코딩하기 전까지 유지하는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 인코딩 방법.
  15. 제14항에 있어서,
    디스플레이 순서에 있어서 상기 제 1 프레임과 상기 IDR-I 프레임의 사이에 디스플레이되어야 하는 B 프레임들을 상기 버퍼에 저장된 참조 프레임을 참조하여 인코딩하는 단계를 더 포함하는 것을 특징으로 하는 동영상 프레임의 인코딩 방법.
  16. 제15항에 있어서, 상기 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 인코딩하기 전까지 유지하는 단계는,
    상기 B 프레임들 중 가장 나중에 디스플레이되어야 하는 B 프레임을 인코딩한 후, 상기 참조 프레임이 저장되어 있는 버퍼를 비우는 단계를 포함하는 것을 특징으로 하는 동영상 프레임의 인코딩 방법.
  17. 제14항 내지 제16항 중의 어느 한 항에 있어서,
    상기 버퍼는, DPB(Decoded Picture Buffer)인 것을 특징으로 하는 동영상 프레임의 인코딩 방법.
  18. IDR(instantaneous decoding refresh)-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 디코딩하는 단계;
    상기 IDR-I 프레임을 디코딩하는 단계;
    상기 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 디코딩하는 단계; 및
    상기 제 1 프레임을 디코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임 을 적어도 상기 제 2 프레임을 디코딩하기 전까지 유지하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  19. 동영상 프레임의 디코딩 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 동영상 프레임의 디코딩 방법은,
    현재의 프레임을 디코딩하여 제 1 복원 프레임을 생성하는 단계;
    상기 제 1 복원 프레임을 버퍼에 저장하는 단계;
    상기 현재의 프레임이 IDR-I 프레임인 경우, 상기 버퍼에 대한 제 1 버퍼 인덱스를 복사하여 제 2 버퍼 인덱스를 생성하고, 상기 제 1 버퍼 인덱스를 리셋하고, 상기 제 1 복원 프레임을 디스플레이하는 단계;
    상기 현재의 프레임이 IDR-I 프레임이 아닌 경우, 상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인지 여부를 판단하는 단계;
    상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인 경우, 상기 제 2 버퍼 인덱스를 이용하여 버퍼에 저장되어 있는 제 1 참조 프레임에 접근하고, 상기 제 1 참조 프레임과 상기 제 1 복원 프레임을 이용하여 제 2 복원 프레임을 생성하고, 상기 제 2 복원 프레임을 디스플레이하는 단계; 및
    상기 현재의 프레임이 상기 IDR-I 프레임의 근처의 프레임이 아닌 경우, 상기 제 1 복원 프레임을 디스플레이하는 단계를 포함하며,
    상기 현재의 프레임이 디스플레이 순서에 있어서 상기 IDR-I 프레임의 근처의 프레임인지 여부를 판단하는 단계는, 디스플레이 순서에 있어서 상기 현재의 프레임과 상기 IDR-I 프레임과의 차이가 소정 값 이내인 경우, 디스플레이 시간에 있어서 상기 현재의 프레임과 상기 IDR-I 프레임과의 차이가 소정 시간 이내인 경우, 또는 상기 현재의 프레임이 IDR-I 프레임을 건너서 다른 프레임을 참조하는 경우에 상기 현재의 프레임이 IDR-I 프레임 근처의 프레임인 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
  20. IDR(instantaneous decoding refresh)-I 프레임이 디스플레이되기 전에 디스플레이되어야 하는 P 프레임들 중 가장 나중에 디스플레이되어야 하는 P 프레임인 제 1 프레임을 인코딩하는 단계;
    상기 IDR-I 프레임을 인코딩하는 단계;
    상기 IDR-I 프레임이 디스플레이된 후에 디스플레이되어야 하는 P 프레임들 중 가장 먼저 디스플레이되어야 하는 P 프레임인 제 2 프레임을 인코딩하는 단계; 및
    상기 제 1 프레임을 인코딩하기 위하여 사용하는 버퍼에 저장된 참조 프레임을 적어도 상기 제 2 프레임을 인코딩하기 전까지 유지하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070015524A 2007-02-14 2007-02-14 동영상 프레임의 디코딩 방법 및 인코딩 방법 KR100846802B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070015524A KR100846802B1 (ko) 2007-02-14 2007-02-14 동영상 프레임의 디코딩 방법 및 인코딩 방법
US11/961,300 US8311106B2 (en) 2007-02-14 2007-12-20 Method of encoding and decoding motion picture frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070015524A KR100846802B1 (ko) 2007-02-14 2007-02-14 동영상 프레임의 디코딩 방법 및 인코딩 방법

Publications (1)

Publication Number Publication Date
KR100846802B1 true KR100846802B1 (ko) 2008-07-16

Family

ID=39685794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070015524A KR100846802B1 (ko) 2007-02-14 2007-02-14 동영상 프레임의 디코딩 방법 및 인코딩 방법

Country Status (2)

Country Link
US (1) US8311106B2 (ko)
KR (1) KR100846802B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013009104A2 (ko) * 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686358B (zh) * 2008-09-28 2012-07-04 华为技术有限公司 一种视频录制方法、装置和系统
CN102318203B (zh) * 2008-11-12 2014-10-08 汤姆逊许可证公司 用于编码包含光变的视频帧的方法及设备
JP5579731B2 (ja) * 2008-11-12 2014-08-27 トムソン ライセンシング 映像符号化方法、映像符号化装置及びコンピュータプログラム
US9143788B2 (en) * 2008-11-13 2015-09-22 Thomson Licensing Multiple thread video encoding using HRD information sharing and bit allocation waiting
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR101750495B1 (ko) 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9451285B2 (en) 2010-04-16 2016-09-20 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9565432B2 (en) 2012-04-23 2017-02-07 Lg Electronics Inc. Video-encoding method, video-decoding method, and apparatus implementing same
JP5753595B2 (ja) * 2014-01-30 2015-07-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
CN104702968B (zh) * 2015-02-17 2019-06-11 华为技术有限公司 一种视频帧丢帧方法及视频发送装置
JP5977852B2 (ja) * 2015-03-16 2016-08-24 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9538137B2 (en) 2015-04-09 2017-01-03 Microsoft Technology Licensing, Llc Mitigating loss in inter-operability scenarios for digital video
CN107529069A (zh) * 2016-06-21 2017-12-29 中兴通讯股份有限公司 一种视频流传输方法及装置
JP6229023B2 (ja) * 2016-07-22 2017-11-08 株式会社Ｎｔｔドコモ 動画像予測復号方法及び動画像予測復号装置
JP2018026872A (ja) * 2017-10-16 2018-02-15 株式会社Ｎｔｔドコモ 動画像予測復号方法及び動画像予測復号装置
CN110099238A (zh) * 2019-05-31 2019-08-06 杭州涂鸦信息技术有限公司 一种视频帧数据的封装方法、智能终端以及存储装置
CN113766232A (zh) * 2021-09-24 2021-12-07 百果园技术(新加坡)有限公司 一种编码、解码方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246277A (ja) 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
JP2006262159A (ja) 2005-03-17 2006-09-28 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
KR20070038700A (ko) * 2005-10-06 2007-04-11 삼성전자주식회사 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470051B1 (en) 1999-01-25 2002-10-22 International Business Machines Corporation MPEG video decoder with integrated scaling and display functions
US6442206B1 (en) 1999-01-25 2002-08-27 International Business Machines Corporation Anti-flicker logic for MPEG video decoder with integrated scaling and display functions
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US8615038B2 (en) * 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246277A (ja) 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
JP2006262159A (ja) 2005-03-17 2006-09-28 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
KR20070038700A (ko) * 2005-10-06 2007-04-11 삼성전자주식회사 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013009104A2 (ko) * 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
WO2013009104A3 (ko) * 2011-07-12 2013-03-07 한국전자통신연구원 인터 예측 방법 및 그 장치
US9819963B2 (en) 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US10136157B2 (en) 2011-07-12 2018-11-20 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US10587893B2 (en) 2011-07-12 2020-03-10 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US10659811B2 (en) 2011-07-12 2020-05-19 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US10659810B2 (en) 2011-07-12 2020-05-19 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US10757444B2 (en) 2011-07-12 2020-08-25 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US10757443B2 (en) 2011-07-12 2020-08-25 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same

Also Published As

Publication number Publication date
US20080192830A1 (en) 2008-08-14
US8311106B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
KR100846802B1 (ko) 동영상 프레임의 디코딩 방법 및 인코딩 방법
JP5154681B2 (ja) マルチビュービデオをエンコードする方法
JP4928627B2 (ja) 動き推定の探索範囲の適応選択方法及び装置
JP5155157B2 (ja) 動画像復号化装置
TWI444048B (zh) 用於視訊寫碼在時間壓縮中之片段參考
US9473790B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP5269599B2 (ja) 遷移効果のためのマルチメディアコード化技術
CN113453015B (zh) 视频处理方法和装置
GB2487261A (en) Motion compensated image coding using diverse set of motion predictors
GB2492778A (en) Motion compensated image coding by combining motion information predictors
JP2007507128A (ja) 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化
JP2003284075A (ja) 動画像符号化方法と装置及び復号化方法と装置
JPH10210479A (ja) 特殊効果フィルムのディジタル化されたフレームを符号化及び復号化する方法並びに装置
US9491483B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP4441182B2 (ja) 画像符号化装置および画像復号化装置
JP2018113525A (ja) 動画像符号化装置及び動画像符号化方法
JP2007243974A (ja) 画像符号化装置および画像復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 10