KR101322948B1 - 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 - Google Patents

비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 Download PDF

Info

Publication number
KR101322948B1
KR101322948B1 KR1020090119782A KR20090119782A KR101322948B1 KR 101322948 B1 KR101322948 B1 KR 101322948B1 KR 1020090119782 A KR1020090119782 A KR 1020090119782A KR 20090119782 A KR20090119782 A KR 20090119782A KR 101322948 B1 KR101322948 B1 KR 101322948B1
Authority
KR
South Korea
Prior art keywords
time stamp
frame
frame rate
current frame
frames
Prior art date
Application number
KR1020090119782A
Other languages
English (en)
Other versions
KR20110062914A (ko
Inventor
배성준
유정주
류원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090119782A priority Critical patent/KR101322948B1/ko
Publication of KR20110062914A publication Critical patent/KR20110062914A/ko
Application granted granted Critical
Publication of KR101322948B1 publication Critical patent/KR101322948B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법이 개시된다. 계층적 프레임율을 갖는 비순차 프레임 순서 기반 비디오 기법으로 복호화된 복수의 프레임들 각각에 해당하는 타임 스탬프를 자동으로 계산할 수 있다.
타임 스탬프 할당, 비순차 프레임 부호화, 계층적 부호화

Description

비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법{METHOD FOR ASSINGING TIMESTAMPS TO THE VIDEO FRAMES WITH NON-INCREASING ORDER}
본 발명은 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법에 관한 것으로, 보다 상세하게는 프레임 단위로 부호화되는 비디오 콘텐츠 중 비순차 프레임 순서를 가지는 비디오 콘텐츠를 온전한 순서로 화면에 표시하기 위한 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-S-006-02, 과제명: 유무선 환경의 개방형 IPTV(IPTV 2.0) 기술개발].
일반적으로, 다양한 매체를 통해 서비스되는 동영상은 정지된 여러 프레임들을 짧은 시간 내에 차례대로 보여주어 움직이는 영상의 형태를 가진다. 또한, 디지털 비디오 기술의 경우, 짧은 시간 동안 표시되는 프레임들 사이에 중복되는 정보들을 적절히 제거한다. 이를 위해, 비디오 데이터를 실시간으로 전송이 가능한 작은 크기의 데이터로 압축한다. 이러한 압축 과정을 디지털 비디오 부호화라 한 다.
최근 들어, 압축 비율을 개선하기 위해 다양한 디지털 비디오 부호화 기술들의 연구가 진행되고 있다. 특히, 비순차 프레임 순서 기반 부호화 기법 프레임의 순서를 시간 순서와 다르게 배열하는 기법이다.
비순차 프레임 순서 기반의 비디오 부호화에서는 실제 부호화되어 출력되는 프레임의 순서가 원래 입력되는 프레임의 시간 순서와 다르게 배열된다. 이때, 부호화된 비디오 데이터를 복호화하는 경우, 복호화된 복수의 프레임들의 순서는 실제 화면에 표시되어야 할 시간 순서와 다르게 된다. 즉, 부호화되기 이전에 원래 입력된 프레임의 시간 순서와 복호화되어 출력된 프레임들의 순서가 서로 상이하다.
이에 따라, 복호화되어 출력되는 프레임들의 순서를 실제 화면에 표시되어야 할 시간 순서에 맞게 조정하여 표시할 수 있는 방안이 요구된다.
본 발명의 일 실시예에 따른 타임 스탬프 할당 방법은, 비순차 프레임 순서 기반 비디오 부호화 기법으로 복호화된 복수의 프레임들을 수신하는 단계, 복수의 프레임들 각각에 해당하는 프레임율 지시자를 이용하여 복수의 프레임 각각에 해당하는 타임 스탬프를 계산하는 단계, 및 계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 단계를 포함할 수 있다.
또한, 계산된 현재 프레임의 타임 스탬프를 프레임율 지시자의 계층 별로 저장하는 단계를 더 포함할 수 있다.
이때, 계산하는 단계는, 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분과 저장된 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 이용하여 현재 프레임의 타임 스탬프를 계산할 수 있다.
또한, 계층별로 저장된 타임 스탬프들 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 계산된 현재 프레임의 타임 스탬프로 갱신하는 단계를 더 포함할 수 있다.
또한, 계산하는 단계는, 계산된 현재 프레임의 타임 스탬프가 연결 리스트에 존재하는 경우, 계산된 현재 프레임의 타임 스탬프와 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 현재 프레임의 타임 스탬프를 재계산할 수 있다.
또한, 계산된 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하는 경우, 연결 리스트에 추가된 타임 스탬프들 중 계산된 현재 프레임의 타임 스탬프 미만의 타임 스탬프를 모두 삭제하는 단계를 더 포함할 수 있다.
또한, 타임 스탬프 할당 장치는, 비순차 프레임 순서 기반 비디오 부호화 기법으로 복호화된 복수의 프레임 각각에 해당하는 프레임율 지시자를 이용하여 복수의 프레임 각각에 해당하는 타임 스탬프를 계산하는 계산부, 및 계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 리스트 제어부를 포함할 수 있다.
또한, 비디오 부호화 방법은, 비순차 프레임 순서 기반 비디오 부호화 기법으로 복수의 프레임을 부호화하는 단계, 및 부호화를 통해 출력되는 프레임들 각각의 순서를 나타내는 프레임율 지시자를 부호화된 복수의 프레임과 함께 전송하는 단계를 포함할 수 있다.
본 발명은 비순차 프레임 순서 기반의 비디오 부호화 및 계층적 프레임율 구조를 가진 비디오 부호화 시, 프레임 지시자를 이용하여 타임 스탬프를 자동적으로 계산할 수 있다.
또한, 타임 스탬프를 통해 복호화되어 출력되는 프레임들을 실제 화면에 표시되어야 할 순서에 맞게 표시할 수 있다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
다만, 본 발명을 설명함에 있어서, 관련된 공지 기술 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 계층적 프레임율 구조를 가진 비디오 부호화를 설명하기 위해 제공되는 도면이다.
먼저, 도 1을 참조하면, 도 1은 비디오 부호화를 위해 시간에 따라 입력되는 프레임의 순서를 나열한 도면이다. 여기서, 비디오 부호화를 위해 입력되는 프레임의 순서는 화면에 표시되어야 할 프레임의 순서를 나타낼 수 있다.
일예로, 도 1과 같이 13개의 프레임들을 부호화하는 경우, 타임 스탬프는 프레임의 순서에 따라 0부터 12까지 차례대로 증가하면서 프레임 각각에 할당될 수 있다. 이에 따라, 마지막 13번째 프레임에는 타임 스탬프 12가 할당될 수 있다. 여기서, 타임 스탬프는, 복수의 프레임들 각각이 실제 화면에 표시되는 시간 순서를 나타내는 정보일 수 있다.
이때, 13개의 프레임들을 부호화하는 경우, 타임 스탬프는 0 내지 12와 같은 정수 값의 실수 또는 정수 배로서 13개의 프레임들 각각에 할당될 수 있다.
일예로, 복수의 프레임들 각각이 초당 30장의 출력 간격을 가지며, 1/30초가 3000의 정수 간격으로 설정된 경우, 복수의 프레임들 각각에 할당되는 타임 스탬프는 "정수값×3000"이 될 수 있다. 즉, 마지막 프레임의 경우, "12×3000"으로 타임 스탬프가 할당될 수 있다.
이때, 복수의 프레임들은 계층적 프레임율 구조를 가진 비순차 프레임 순서 기반의 비디오 부호화 기법으로 부호화될 수 있다. 그러면, 도 1에 따르면, 부호화되어 출력되는 13개의 프레임들은 각각 해당하는 프레임율 지시자를 포함할 수 있다. 여기서, 프레임율 지시자는 현재 프레임이 어떤 프레임율에 해당하는지를 나타내는 정보일 수 있다.
일예로, 4개의 구성된 계층적 프레임율 구조를 갖는 경우, 프레임율 지시자는 아래의 표 1과 같이 기설정될 수 있다. 즉, 표 1과 같이, 프레임율 지시자 T0 내지 T3는 프레임율에 따라 계층 구조를 가질 수 있다.
프레임율 지시자 실제 프레임율
T0 5 frames/sec
T1 10 frames/sec
T2 20 frames/sec
T3 60 frames/sec
표 1을 참조하면, T0 내지 T3까지의 모든 프레임율 지시자에 해당하는 프레임들을 전송하면, 부호화를 통해 출력되는 프레임들은 초당 60 프레임의 프레임율을 가질 수 있다.
또한, 도 1을 참조하면, T3를 제외한 프레임율 지시자 T0 내지 T2에 해당하는 프레임들을 전송하는 경우, 초당 20 프레임의 프레임율을 가질 수 있다. 마찬가지로, T2를 제외한 프레임율 지시자 T0 및 T1에 해당하는 프레임들을 전송하는 경우, 초당 10 프레임의 프레임율을 가질 수 있다. 마지막으로, 프레임율 지시자 T0에 해당하는 프레임을 전송하는 경우, 초당 5프레임의 프레임율을 가질 수 있다.
이때, 프레임율 지시자의 각 계층 사이에 해당되는 프레임들의 개수에 기초하여 프레임율 지시자 각각에 해당하는 실제 프레임율이 설정될 수 있다.
일예로, 표 1과 같이, T0가 5 frames/sec로 설정된 경우, 도 1에서 프레임율 지시자 T0와 프레임율 지시자 T1 사이에는 타임 스탬프 0 및 12에 해당하는 프레임 2개가 존재할 수 있다. 이에 따라, 프레임율 지시자 T1에 해당하는 실제 프레임율은 5 frames/sec×2=10 frames/sec로 설정될 수 있다.
동일한 방법으로, 프레임율 지시자 T0와 프레임율 지시자 T1 사이에 3개의 프레임이 존재하는 경우, 프레임율 지시자 T1에 해당하는 실제 프레임율은 5 frames/sec×3=15 frames/sec로 설정될 수 있다.
마찬가지로, 프레임율 지시자 T1 내지 T3에 해당하는 각각의 실제 프레임율들은 각각 상위 계층과 자신 간에 포함되는 프레임들의 개수에 기초하여 설정될 수 있다.
도 2는 계층적 프레임율 구조를 가진 비디오 부호화를 이용한 부호화 순서를 설명하기 위해 제공되는 도면이다.
도 1에서 13개의 프레임들은 프레임율에 따라 계층적 프레임 구조를 가지도록 도 2와 같은 프레임 순서로 부호화될 수 있다. 이때, 프레임율에 따라 계층적 프레임 구조를 갖도록 스케일러블 비디오 부호화 기법이 이용될 수 있다.
일예로, 도 1을 참조하면, 타임 스탬프 0번의 프레임이 부호화되고, 부호화된 0번 프레임을 기초로 움직임을 예측하여 타임 스탬프 12번의 프레임이 부호화될 수 있다. 그러면, 부호화된 0번 및 12번 프레임을 기초로 움직임을 예측하여 타임 스탬프 6번에 해당하는 프레임이 부호화될 수 있다. 동일한 방법으로, 부호화된 0번 및 6번 프레임을 기초로 움직임을 예측하여 타임 스탬프 3번에 해당하는 프레임이 부호화될 수 있다.
또한, 부호화된 0번과 3번 프레임을 기초로 움직임을 예측하여 타임 스탬프 1번에 해당하는 프레임이 부호화되고, 1번과 3번을 기초로 타임 스탬프 2번에 해당하는 프레임이 부호화될 수 있다. 이와 동일한 방법으로, 타임 스탬프 7번 내지 11번에 해당하는 프레임들이 부호화될 수 있다.
그러면, 부호화된 프레임들의 출력 순서는 도 3과 같다. 도 1 및 도 3을 참조하면, 도 1에서는 부호화를 위패 0 내지 12까지 순차적으로 연속하여 입력되는 프레임들이 계층적 구조로 부호화되어 도 3과 같이 비순차적으로 출력될 수 있다. 즉, 부호화 되기 이전에 입력된 프레임들의 순서가 부호화를 통해 도 3과 같이 변경될 수 있다.
이때, 부호화되어 출력되는 프레임들 각각의 타임 스탬프를 계산하기 위해 부호화되어 출력되는 프레임들 각각은 프레임율 지시자를 포함할 수 있다. 여기서, 도 3을 참조하면, 부호화되어 출력되는 프레임들의 타임 스탬프는 0 내지 12가 될 수 있다. 또한, 도 3에 따르면, 부호화되어 출력되는 프레임들 각각에 포함된 프레임율 지시자는 T0 내지 T3가 될 수 있다.
이하에서는, 도 4 및 도 5를 참조하여, 부호화되어 출력되는 프레임들 각각에 포함된 프레임율 지시자를 이용하여 프레임들 각각의 타임 스탬프를 자동으로 계산하는 방법에 대해 설명하기로 한다. 즉, 도 3의 프레임율 지시자 T0 내지 T3를 이용하여 13개의 프레임들 각각에 해당하는 타임 스탬프 0 내지 12를 계산하는 방법에 대해 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 타임 스탬프 할당 방법을 설명하기 위해 제공되는 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 타임 스탬프 할당 장치의 구성을 도시한 도면이다. 도 5에 따르면, 타임 스탬프 할당 장치(500)는 수신부(510), 계산부(530), 리스트 제어부(550), 및 저장부(570)를 포함할 수 있다.
먼저, 수신부(510)는 계층적 프레임율 구조를 갖는 비순차 프레임 순서 기반으로 복호화된 프레임들을 수신할 수 있다. 이때, 복호화된 프레임들은 각각에 해당하는 프레임율 지시자를 포함할 수 있다. 여기서, 프레임율 지시자는, 표 1을 통해 설명한 바와 같이, 현재 프레임이 어떤 프레임율에 해당하는 지를 나타내는 정보일 수 있다.
보다 상세하게는, 프레임율 지시자는, 부호화 시에 부호화된 프레임들 각각에 포함되어 부호화 장치에서 복호화 장치로 전송될 수 있다. 즉, 부호화 장치에서는 계층적 프레임율 구조를 갖는 비순차 프레임 순서 기반 비디오 부호화 기법으로 복수의 프레임들을 부호화할 수 있다. 이때, 부호화 장치는 부호화되어 출력되는 프레임들의 순서를 나타내는 프레임율 지시자를 부호화된 프레임들과 함께 복호화 장치로 전송할 수 있다.
그러면, 복호화 장치에서는 부호화된 복수의 프레임들을 복호화하여 복수의 프레임들 각각에 해당하는 프레임율 지시자를 추출할 수 있다(S410). 그러면, 타임 스탬프 할당 장치는, 추출된 프레임율 지시자와 복호화된 복수의 프레임들을 복호화 장치로부터 수신할 수 있다.
그리고, 계산부(530)는 수신되는 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분(TSGTK)과 현재 프레임의 프레임율 지시자를 이용하여 현재 프레임의 타임 스탬프를 계산할 수 있다(S420). 여기서, 타임 스탬프 증분은 계층적 프레임율 지시자 별로 표 2와 같이 기설정될 수 있다.
프레임율 지시자 타임 스탬프 증분
T0 12
T1 6
T2 3
T3 1
보다 상세하게는, 계산부(530)는, 타임 스탬프 증분(TSGTK)과 저장부(570)에 저장된 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프(TSNTK_Old)를 합하여 현재 프레임의 타임 스탬프를 계산할 수 있다. 일예로, 프레임율 지시자가 4개(K=3)인 경우, 도 6에 도시된 수식을 이용하여, 계산부(530)는 프레임율 지시자 T0 내지 T3 각각에 해당하는 프레임의 타임 스탬프 TSNT0 내지 TSNT3를 계산할 수 있다.
이때, 저장부(570)는 도 7과 같이, 계층적 구조를 갖는 프레임율 지시자 각각에 해당하는 타임 스탬프들을 저장하기 위한 공간들 TSNT0_R, TSNT1_R, TSNT2_R, TSNT3_R로 이루어질 수 있다.
또한, 저장부(570)에 저장된 타임 스탬프들 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프가 계산부(530)에서 계산된 현재 프레임의 타임 스탬프로 갱신될 수 있다. 이를 통해, 저장부(570)에는 프레임율 지시자 각 계층 별로 최근의 타임 스탬프가 저장될 수 있다.
일예로, 도 3과 같이 "T0, T0, T1, T2, T3, T3, T3, T3, T2, T3, T3, T3, T3"순서로 프레임율 지시자를 갖는 13개의 프레임들이 복호화 장치로부터 수신되는 경우, 저장부(570)에 저장된 프레임율 지시자의 각 계층들이 0으로 초기화되므로 첫 번째 프레임의 타임 스탬프는 0이 될 수 있다.
그러면, 저장부(570)는 프레임율 지시자의 계층 별로 [0][0][0][0]로 초기화될 수 있다. 즉, 저장부(570)에는 프레임율 지시자의 계층 별로 타임 스탬프들이 저장될 수 있다. 이때, 첫 번째 프레임의 타임 스탬프 0가 연결 리스트에 추가될 수 있다.
이어, 계산부(530)는 두 번째 프레임의 프레임율 지시자 T0에 해당하는 타임 스탬프 증분(TSGTO) 12와 저장부(570)에 저장된 두 번째 프레임의 프레임율 지시자 T0에 해당하는 타임 스탬프(TSNTO_R) 0의 합인 12를 두 번째 프레임의 타임 스탬프(TSNTO)로 계산할 수 있다.
그러면, 리스트 제어부(550)는 저장부(150)에 저장된 두 번째 프레임의 프레임율 지시자 T0 에 해당하는 타임 스탬프를 계산된 두 번째 프레임의 타임 스탬프로 갱신할 수 있다. 즉, 저장부(570)는 [12][0][0][0]로 프레임율 지시자 T0에 해당하는 타임 스탬프 0를 12로 갱신할 수 있다.
이때, 계산된 현재 프레임의 타임 스탬프가 연결 리스트에 존재하지 않는 경우(S430:NO), 리스트 제어부(550)는 계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가할 수 있다(S440).
또한, 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하는 경우(S450:YES), 리스트 제어부(550)는 계산된 현재 프레임의 타임 스탬프보다 작은 값들을 연결 리스트에서 모두 삭제할 수 있다(S460).
그리고, 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하지 않는 경우(S450:NO), 리스트 제어부(550)는 연결 리스트에서 타임 스탬프들의 삭제없이 현재 프레임의 타임 스탬프를 연결 리스트에 추가할 수 있다.
일예로, 연결 리스트에는 첫 번째 프레임의 타임 스탬프 0만 존재하는 경우, 두 번째 프레임의 타임 스탬프 12가 연결 리스트에 존재하지 않으므로, 리스트 제어부(550)는 연결 리스트에 12를 추가할 수 있다. 이때, 연결 리스트에는 타임 스탬프가 오름차순으로 추가될 수 있다. 그러면, 연결 리스트에는 0 및 12가 오름 차순(0->12)으로 포함될 수 있다.
동일한 방법으로, 계산부(530)는 세 번째 및 네 번째 프레임의 타임 스탬프를 각각 6, 3으로 계산할 수 있다. 그러면, 저장부(570)는 [12][6][3][0]로 프레임율 지시자의 계층 별로 타임 스탬프를 갱신할 수 있다. 이때, 연결 리스트에는 6 및 3이 추가되어 0->3->6->12 순서로 타임 스탬프들이 포함될 수 있다.
또한, 계산부(530)는 다섯 번째 프레임의 타임 스탬프를 1로 계산할 수 있다. 그러면, 저장부(570)는 [12][6][3][1]로 갱신되고, 연결 리스트에는 1이 추가될 수 있다.
이때, 다섯 번째 프레임의 프레임율 지시자 T3가 최고 프레임율 지시자이므로, 리스트 제어부(550)는 연결 리스트에서 다섯 번째 프레임의 타임 스탬프 1보다 작은 값 0을 삭제할 수 있다. 그러면, 연결 리스트에는 1->3->6->12 순서로 타임 스탬프들이 포함될 수 있다.
한편, S430 단계에서, 현재 프레임의 타임 스탬프가 연결 리스트에 존재하는 경우(S430:YES), 계산부(530)는 계산된 현재 프레임의 타임 스탬프와 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 현재 프레임의 타임 스탬프를 재계산할 수 있다(S470).
일예로, 도 3을 참조하면, 여섯 번째 프레임까지의 타임 스탬프 계산을 통해 연결 리스트는 2->3->6->12 순으로 타임 스탬프를 포함하고 있으며, 일곱 번째 프레임의 타임 스탬프를 계산하는 경우, 계산부(530)는 앞에서 설명한 방법에 따라 일곱 번째 프레임의 타임 스탬프를 3으로 계산할 수 있다.
이때, 계산된 일곱 번째 프레임의 타임 스탬프 3은 연결 리스트에 존재하므로, 계산부(530)는 계산된 일곱 번째 프레임의 타임 스탬프 3에 일곱 번째 프레임의 프레임율 지시자 T3에 해당하는 타임 스탬프 증분 1을 합하여 일곱 번째 프레임의 타임 스탬프를 4로 재계산할 수 있다.
그러면, 저장부(570)는 [12][6][3][4]로 갱신될 수 있다. 또한, 리스트 제어부(550)는 4를 연결 리스트에 추가할 수 있다. 이때, 450 단계에서 설명한 바와 같이, 일곱 번째 프레임의 프레임율 지시자 T3는 최고 프레임율에 해당되므로, 리스트 제어부(550)는 연결 리스트에서 4보다 작은 값을 갖는 타임 스탬프들을 모두 삭제할 수 있다. 즉, 연결 리스트에서 2 및 3이 삭제될 수 있다. 그러면, 연결 리스트에는 4->6->12 순으로 타임 스탬프들이 포함될 수 있다.
도 3을 참조하면, S420 내지 S470 단계에서 설명한 바와 동일한 방법을 통해 계산부(530)는 13개의 프레임들 각각의 타임 스탬프들을 각각 "0, 12, 6, 3, 1, 2, 4, 5, 9, 7, 8, 10, 11"로 계산할 수 있다. 즉, "T0, T0, T1, T2, T3, T3, T3, T3, T2, T3, T3, T3, T3"순서의 프레임율 지시자를 이용하여 복호화된 프레임들 각각의 타임 스탬프들을 "0, 12, 6, 3, 1, 2, 4, 5, 9, 7, 8, 10, 11"로 계산할 수 있다.
지금까지 설명한 바와 같이, 타임 스탬프 할당 장치(500)는 도 3의 비순차 프레임 순서 기반 비디오 부호화 기법으로 부호화되어 출력되는 프레임의 순서대로 복호화된 복수의 프레임 각각에 해당하는 타임 스탬프를 계산할 수 있다.
또한, 도 4에서는 S440 단계가 수행된 이후에, S450 및 S460 단계가 수행되는 것으로 설명하였으나, S450 및 S460 단계가 수행된 이후에 S440 단계가 수행될 수도 있다. 즉, 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하는 경우, 현재 프레임의 타임 스탬프보다 작은 값들을 연결 리스트에서 삭제한 이후에, 현재 프레임의 타임 스탬프를 연결 리스트에 추가할 수 있다.
이상에서는, 설명의 편의를 위해, 계층적 구조를 갖는 프레임율 지시자를 T0 내지 T3까지 4개를 이용하여 타임 스탬프를 할당하는 방법에 대해 설명하였으나, 이는 실시예에 해당되며, 계층적 구조를 갖는 프레임율 지시자는 4개 미만 또는 4개 이상으로 기설정될 수 있다. 이와 같이, 프레임율 지시자의 개수가 조정되어 계층적 프레임율 구조는 증가 또는 감소될 수 있다.
또한, 이상에서는 계층적 프레임율 구조를 갖도록 부호화된 프레임들을 통해 각각의 프레임들에 해당하는 타임 스탬프를 계산하는 것으로 설명하였으나, 이는 실시예에 해당되며, 프레임율 이외에 다른 조건들에 기초하여 계층 구조를 갖도록 부호화된 프레임들 각각에 해당하는 타임 스탬프를 자동으로 계산할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 계층적 프레임율 구조를 가진 비디오 부호화를 설명하기 위해 제공되는 도면이다.
도 2는 계층적 프레임율 구조를 가진 비디오 부호화를 이용한 부호화 순서를 설명하기 위해 제공되는 도면이다.
도 3은 계층적 프레임율 구조를 가진 비디오 부호화 시에 출력되는 프레임 순서를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 타임 스탬프 할당 방법을 설명하기 위해 제공되는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 타임 스탬프 할당 장치의 구성을 도시한 도면이다.
도 6은 계층적 구조를 갖는 프레임율 지시자 각각에 해당하는 타임 스탬프들이 저장되는 구조를 도시한 도면이다.
도 7은 프레임율 지시자를 이용하여 타임 스탬프를 계산하는 수식을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
410: 수신부
430: 계산부
450: 리스트 제어부
470: 저장부

Claims (18)

  1. 비순차 프레임 순서 기반 비디오 부호화 기법으로 부호화된 복수의 프레임들이 복호화 장치로부터 복호화된 복수의 프레임들 및 프레임율 지시자를 수신하는 단계;
    상기 복수의 프레임들 각각에 해당하는 프레임율 지시자를 이용하여 상기 복수의 프레임들 각각에 해당하는 타임 스탬프를 계산하는 단계; 및
    계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 단계
    를 포함하는 타임 스탬프 할당 방법.
  2. 제1항에 있어서,
    상기 계산된 현재 프레임의 타임 스탬프를 상기 프레임율 지시자의 계층 별로 저장하는 단계
    를 더 포함하는 타임 스탬프 할당 방법.
  3. 제2항에 있어서,
    상기 계산하는 단계는,
    상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분과 상기 프레임율 지시자의 계층별로 저장된 타임 스탬프 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 이용하여 상기 현재 프레임의 타임 스탬프를 계산하는 타임 스탬프 할당 방법.
  4. 제3항에 있어서,
    상기 계층별로 저장된 타임 스탬프들 중 상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 상기 계산된 현재 프레임의 타임 스탬프로 갱신하는 단계
    를 더 포함하는 타임 스탬프 할당 방법.
  5. 제3항에 있어서,
    상기 계산하는 단계는,
    상기 계산된 현재 프레임의 타임 스탬프가 상기 연결 리스트에 존재하는 경우, 상기 계산된 현재 프레임의 타임 스탬프와 상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 상기 현재 프레임의 타임 스탬프를 재계산하는 것을 특징으로 하는 타임 스탬프 할당 방법.
  6. 제5항에 있어서,
    상기 연결 리스트에 추가하는 단계는,
    상기 재계산된 상기 현재 프레임의 타임 스탬프를 상기 연결 리스트에 추가하는 것을 특징으로 하는 타임 스탬프 할당 방법.
  7. 제6항에 있어서,
    프레임률 지시자가 나타내는 프레임율들 중 상기 현재 프레임의 프레임율 지시자가 나타내는 프레임율이 가장 큰 경우, 상기 연결 리스트에 추가된 타임 스탬프들 중 상기 계산된 현재 프레임의 타임 스탬프 미만의 타임 스탬프를 모두 삭제하는 단계
    를 더 포함하는 타임 스탬프 할당 방법.
  8. 제1항에 있어서,
    상기 계산하는 단계는,
    상기 비순차 프레임 순서 기반 비디오 부호화 기법으로 부호화되어 출력되는 프레임의 순서대로 상기 복수의 프레임 각각에 해당하는 타임 스탬프를 계산하는 것을 특징으로 하는 타임 스탬프 할당 방법.
  9. 제1항에 있어서,
    상기 부호화된 복수의 프레임은, 계층적 프레임율 구조를 갖는 것을 특징으로 하는 타임 스탬프 할당 방법.
  10. 제1항에 있어서,
    상기 타임 스탬프는, 상기 복수의 프레임 각각이 화면에 표시되는 시간 순서를 나타내는 정보인 것을 특징으로 하는 타임 스탬프 할당 방법.
  11. 복호화 장치로부터 프레임율 지시자를 포함하는 복호화된 복수의 프레임들을 수신하는 수신부;
    상기 복수의 프레임들 각각에 해당하는 프레임율 지시자를 이용하여 상기 복수의 프레임들 각각에 해당하는 타임 스탬프를 계산하는 계산부; 및
    계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 리스트 제어부
    를 포함하는 타임 스탬프 할당 장치.
  12. 제11항에 있어서,
    상기 계산된 현재 프레임의 타임 스탬프를 상기 프레임율 지시자의 계층 별로 저장하는 저장부
    를 더 포함하고,
    상기 계산부는,
    상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분과 상기 프레임율 지시자의 계층 별로 저장된 타임 스탬프 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 이용하여 상기 현재 프레임의 타임 스탬프를 계산하는 타임 스탬프 할당 장치.
  13. 제11항에 있어서,
    상기 계산부는,
    상기 계산된 현재 프레임의 타임 스탬프가 상기 연결 리스트에 존재하는 경우, 상기 계산된 현재 프레임의 타임 스탬프와 상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 상기 현재 프레임의 타임 스탬프를 재계산하고,
    상기 리스트 제어부는,
    상기 재계산된 현재 프레임의 타임 스탬프를 상기 연결 리스트에 추가하는 것을 특징으로 하는 타임 스탬프 할당 장치.
  14. 제11항에 있어서,
    상기 리스트 제어부는,
    상기 계산된 현재 프레임의 타임 스탬프가 상기 연결 리스트에 존재하지 않는 경우, 상기 계산된 현재 프레임의 타임 스탬프를 상기 연결 리스트에 추가하는 것을 특징으로 하는 타임 스탬프 할당 장치.
  15. 제14항에 있어서,
    상기 리스트 제어부는,
    프레임률 지시자가 나타내는 프레임율들 중 상기 현재 프레임의 프레임율 지시자가 나타내는 프레임율이 가장 큰 경우, 상기 계산된 현재 프레임의 타임 스탬프보다 작은 적어도 하나의 타임 스탬프를 상기 연결 리스트에서 삭제하는 것을 특징으로 하는 타임 스탬프 할당 장치.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020090119782A 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 KR101322948B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090119782A KR101322948B1 (ko) 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090119782A KR101322948B1 (ko) 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Publications (2)

Publication Number Publication Date
KR20110062914A KR20110062914A (ko) 2011-06-10
KR101322948B1 true KR101322948B1 (ko) 2013-10-29

Family

ID=44397010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090119782A KR101322948B1 (ko) 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Country Status (1)

Country Link
KR (1) KR101322948B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852967B1 (ko) * 2017-12-27 2018-06-07 주식회사 아나패스 프레임 율 검출 방법 및 프레임 율 변환 방법
US10382718B2 (en) 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method
CN110874424A (zh) * 2019-09-23 2020-03-10 北京旷视科技有限公司 数据处理的方法、装置、计算机设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060009879A (ko) * 2003-04-30 2006-02-01 노키아 코포레이션 픽쳐 코딩 방법
KR20080068520A (ko) * 2007-01-19 2008-07-23 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060009879A (ko) * 2003-04-30 2006-02-01 노키아 코포레이션 픽쳐 코딩 방법
KR20080068520A (ko) * 2007-01-19 2008-07-23 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(2008.6) *

Also Published As

Publication number Publication date
KR20110062914A (ko) 2011-06-10

Similar Documents

Publication Publication Date Title
RU2601442C2 (ru) Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа
JP5236947B2 (ja) マルチプロセッサアーキテクチュア並びにピクチュアベースの先読みウィンドウを具備したデジタルビデオエンコーダのためのパラレルレートコントロール
JP7085021B2 (ja) 動画の符号化並びに復号の方法、装置及びコンピュータプログラム
CN101543078B (zh) 信息处理设备和方法
US20190273947A1 (en) Method of Coding and Decoding Images, Coding and Decoding Device and Computer Programs Corresponding Thereto
CN103119849A (zh) 概率区间分割编码器和译码器
KR102385848B1 (ko) 저-지연을 위한 샘플 배치 코딩
CN104081772A (zh) 熵编码缓冲器配置
CN103404035A (zh) 熵编码及解码方案
CN102450014A (zh) 用于质量感知视频优化的框架
CN1981492A (zh) 用于多媒体流中速率适配的缓冲器水平信令
CN102100082A (zh) 信息处理设备和方法
CN101455085A (zh) 图像解码装置
US20100322301A1 (en) Image processor, image generator and computer program
CN103202015A (zh) 动态图像加密装置、动态图像加密方法及动态图像加密用计算机程序
KR101322948B1 (ko) 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법
CN113852824A (zh) 视频转码方法、装置、电子设备和存储介质
CN101393760A (zh) 后期录音装置、以及再现装置和方法
CN105163122B (zh) 一种基于图像块相似性的图像压缩及解压缩方法
CN104904211A (zh) Jctvc-l0227:带有profile-tier-level语法结构的更新的vps_extension
CN102870416A (zh) 运动图像编码装置以及运动图像解码装置
JP2007282023A (ja) 多重化装置及び多重化方法
US10477246B2 (en) Method for encoding streams of video data based on groups of pictures (GOP)
CN103716638A (zh) 表示视频图像显示顺序的方法
US20100272170A1 (en) Image encoding apparatus, image encoding method and medium on which image encoding program is recorded

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee