KR101322948B1 - 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 - Google Patents

비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 Download PDF

Info

Publication number
KR101322948B1
KR101322948B1 KR1020090119782A KR20090119782A KR101322948B1 KR 101322948 B1 KR101322948 B1 KR 101322948B1 KR 1020090119782 A KR1020090119782 A KR 1020090119782A KR 20090119782 A KR20090119782 A KR 20090119782A KR 101322948 B1 KR101322948 B1 KR 101322948B1
Authority
KR
South Korea
Prior art keywords
time stamp
frame
frame rate
current frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020090119782A
Other languages
English (en)
Other versions
KR20110062914A (ko
Inventor
배성준
유정주
류원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090119782A priority Critical patent/KR101322948B1/ko
Publication of KR20110062914A publication Critical patent/KR20110062914A/ko
Application granted granted Critical
Publication of KR101322948B1 publication Critical patent/KR101322948B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법이 개시된다. 계층적 프레임율을 갖는 비순차 프레임 순서 기반 비디오 기법으로 복호화된 복수의 프레임들 각각에 해당하는 타임 스탬프를 자동으로 계산할 수 있다.
타임 스탬프 할당, 비순차 프레임 부호화, 계층적 부호화

Description

비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법{METHOD FOR ASSINGING TIMESTAMPS TO THE VIDEO FRAMES WITH NON-INCREASING ORDER}
본 발명은 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법에 관한 것으로, 보다 상세하게는 프레임 단위로 부호화되는 비디오 콘텐츠 중 비순차 프레임 순서를 가지는 비디오 콘텐츠를 온전한 순서로 화면에 표시하기 위한 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-S-006-02, 과제명: 유무선 환경의 개방형 IPTV(IPTV 2.0) 기술개발].
일반적으로, 다양한 매체를 통해 서비스되는 동영상은 정지된 여러 프레임들을 짧은 시간 내에 차례대로 보여주어 움직이는 영상의 형태를 가진다. 또한, 디지털 비디오 기술의 경우, 짧은 시간 동안 표시되는 프레임들 사이에 중복되는 정보들을 적절히 제거한다. 이를 위해, 비디오 데이터를 실시간으로 전송이 가능한 작은 크기의 데이터로 압축한다. 이러한 압축 과정을 디지털 비디오 부호화라 한 다.
최근 들어, 압축 비율을 개선하기 위해 다양한 디지털 비디오 부호화 기술들의 연구가 진행되고 있다. 특히, 비순차 프레임 순서 기반 부호화 기법 프레임의 순서를 시간 순서와 다르게 배열하는 기법이다.
비순차 프레임 순서 기반의 비디오 부호화에서는 실제 부호화되어 출력되는 프레임의 순서가 원래 입력되는 프레임의 시간 순서와 다르게 배열된다. 이때, 부호화된 비디오 데이터를 복호화하는 경우, 복호화된 복수의 프레임들의 순서는 실제 화면에 표시되어야 할 시간 순서와 다르게 된다. 즉, 부호화되기 이전에 원래 입력된 프레임의 시간 순서와 복호화되어 출력된 프레임들의 순서가 서로 상이하다.
이에 따라, 복호화되어 출력되는 프레임들의 순서를 실제 화면에 표시되어야 할 시간 순서에 맞게 조정하여 표시할 수 있는 방안이 요구된다.
본 발명의 일 실시예에 따른 타임 스탬프 할당 방법은, 비순차 프레임 순서 기반 비디오 부호화 기법으로 복호화된 복수의 프레임들을 수신하는 단계, 복수의 프레임들 각각에 해당하는 프레임율 지시자를 이용하여 복수의 프레임 각각에 해당하는 타임 스탬프를 계산하는 단계, 및 계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 단계를 포함할 수 있다.
또한, 계산된 현재 프레임의 타임 스탬프를 프레임율 지시자의 계층 별로 저장하는 단계를 더 포함할 수 있다.
이때, 계산하는 단계는, 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분과 저장된 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 이용하여 현재 프레임의 타임 스탬프를 계산할 수 있다.
또한, 계층별로 저장된 타임 스탬프들 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 계산된 현재 프레임의 타임 스탬프로 갱신하는 단계를 더 포함할 수 있다.
또한, 계산하는 단계는, 계산된 현재 프레임의 타임 스탬프가 연결 리스트에 존재하는 경우, 계산된 현재 프레임의 타임 스탬프와 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 현재 프레임의 타임 스탬프를 재계산할 수 있다.
또한, 계산된 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하는 경우, 연결 리스트에 추가된 타임 스탬프들 중 계산된 현재 프레임의 타임 스탬프 미만의 타임 스탬프를 모두 삭제하는 단계를 더 포함할 수 있다.
또한, 타임 스탬프 할당 장치는, 비순차 프레임 순서 기반 비디오 부호화 기법으로 복호화된 복수의 프레임 각각에 해당하는 프레임율 지시자를 이용하여 복수의 프레임 각각에 해당하는 타임 스탬프를 계산하는 계산부, 및 계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 리스트 제어부를 포함할 수 있다.
또한, 비디오 부호화 방법은, 비순차 프레임 순서 기반 비디오 부호화 기법으로 복수의 프레임을 부호화하는 단계, 및 부호화를 통해 출력되는 프레임들 각각의 순서를 나타내는 프레임율 지시자를 부호화된 복수의 프레임과 함께 전송하는 단계를 포함할 수 있다.
본 발명은 비순차 프레임 순서 기반의 비디오 부호화 및 계층적 프레임율 구조를 가진 비디오 부호화 시, 프레임 지시자를 이용하여 타임 스탬프를 자동적으로 계산할 수 있다.
또한, 타임 스탬프를 통해 복호화되어 출력되는 프레임들을 실제 화면에 표시되어야 할 순서에 맞게 표시할 수 있다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
다만, 본 발명을 설명함에 있어서, 관련된 공지 기술 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 계층적 프레임율 구조를 가진 비디오 부호화를 설명하기 위해 제공되는 도면이다.
먼저, 도 1을 참조하면, 도 1은 비디오 부호화를 위해 시간에 따라 입력되는 프레임의 순서를 나열한 도면이다. 여기서, 비디오 부호화를 위해 입력되는 프레임의 순서는 화면에 표시되어야 할 프레임의 순서를 나타낼 수 있다.
일예로, 도 1과 같이 13개의 프레임들을 부호화하는 경우, 타임 스탬프는 프레임의 순서에 따라 0부터 12까지 차례대로 증가하면서 프레임 각각에 할당될 수 있다. 이에 따라, 마지막 13번째 프레임에는 타임 스탬프 12가 할당될 수 있다. 여기서, 타임 스탬프는, 복수의 프레임들 각각이 실제 화면에 표시되는 시간 순서를 나타내는 정보일 수 있다.
이때, 13개의 프레임들을 부호화하는 경우, 타임 스탬프는 0 내지 12와 같은 정수 값의 실수 또는 정수 배로서 13개의 프레임들 각각에 할당될 수 있다.
일예로, 복수의 프레임들 각각이 초당 30장의 출력 간격을 가지며, 1/30초가 3000의 정수 간격으로 설정된 경우, 복수의 프레임들 각각에 할당되는 타임 스탬프는 "정수값×3000"이 될 수 있다. 즉, 마지막 프레임의 경우, "12×3000"으로 타임 스탬프가 할당될 수 있다.
이때, 복수의 프레임들은 계층적 프레임율 구조를 가진 비순차 프레임 순서 기반의 비디오 부호화 기법으로 부호화될 수 있다. 그러면, 도 1에 따르면, 부호화되어 출력되는 13개의 프레임들은 각각 해당하는 프레임율 지시자를 포함할 수 있다. 여기서, 프레임율 지시자는 현재 프레임이 어떤 프레임율에 해당하는지를 나타내는 정보일 수 있다.
일예로, 4개의 구성된 계층적 프레임율 구조를 갖는 경우, 프레임율 지시자는 아래의 표 1과 같이 기설정될 수 있다. 즉, 표 1과 같이, 프레임율 지시자 T0 내지 T3는 프레임율에 따라 계층 구조를 가질 수 있다.
프레임율 지시자 실제 프레임율
T0 5 frames/sec
T1 10 frames/sec
T2 20 frames/sec
T3 60 frames/sec
표 1을 참조하면, T0 내지 T3까지의 모든 프레임율 지시자에 해당하는 프레임들을 전송하면, 부호화를 통해 출력되는 프레임들은 초당 60 프레임의 프레임율을 가질 수 있다.
또한, 도 1을 참조하면, T3를 제외한 프레임율 지시자 T0 내지 T2에 해당하는 프레임들을 전송하는 경우, 초당 20 프레임의 프레임율을 가질 수 있다. 마찬가지로, T2를 제외한 프레임율 지시자 T0 및 T1에 해당하는 프레임들을 전송하는 경우, 초당 10 프레임의 프레임율을 가질 수 있다. 마지막으로, 프레임율 지시자 T0에 해당하는 프레임을 전송하는 경우, 초당 5프레임의 프레임율을 가질 수 있다.
이때, 프레임율 지시자의 각 계층 사이에 해당되는 프레임들의 개수에 기초하여 프레임율 지시자 각각에 해당하는 실제 프레임율이 설정될 수 있다.
일예로, 표 1과 같이, T0가 5 frames/sec로 설정된 경우, 도 1에서 프레임율 지시자 T0와 프레임율 지시자 T1 사이에는 타임 스탬프 0 및 12에 해당하는 프레임 2개가 존재할 수 있다. 이에 따라, 프레임율 지시자 T1에 해당하는 실제 프레임율은 5 frames/sec×2=10 frames/sec로 설정될 수 있다.
동일한 방법으로, 프레임율 지시자 T0와 프레임율 지시자 T1 사이에 3개의 프레임이 존재하는 경우, 프레임율 지시자 T1에 해당하는 실제 프레임율은 5 frames/sec×3=15 frames/sec로 설정될 수 있다.
마찬가지로, 프레임율 지시자 T1 내지 T3에 해당하는 각각의 실제 프레임율들은 각각 상위 계층과 자신 간에 포함되는 프레임들의 개수에 기초하여 설정될 수 있다.
도 2는 계층적 프레임율 구조를 가진 비디오 부호화를 이용한 부호화 순서를 설명하기 위해 제공되는 도면이다.
도 1에서 13개의 프레임들은 프레임율에 따라 계층적 프레임 구조를 가지도록 도 2와 같은 프레임 순서로 부호화될 수 있다. 이때, 프레임율에 따라 계층적 프레임 구조를 갖도록 스케일러블 비디오 부호화 기법이 이용될 수 있다.
일예로, 도 1을 참조하면, 타임 스탬프 0번의 프레임이 부호화되고, 부호화된 0번 프레임을 기초로 움직임을 예측하여 타임 스탬프 12번의 프레임이 부호화될 수 있다. 그러면, 부호화된 0번 및 12번 프레임을 기초로 움직임을 예측하여 타임 스탬프 6번에 해당하는 프레임이 부호화될 수 있다. 동일한 방법으로, 부호화된 0번 및 6번 프레임을 기초로 움직임을 예측하여 타임 스탬프 3번에 해당하는 프레임이 부호화될 수 있다.
또한, 부호화된 0번과 3번 프레임을 기초로 움직임을 예측하여 타임 스탬프 1번에 해당하는 프레임이 부호화되고, 1번과 3번을 기초로 타임 스탬프 2번에 해당하는 프레임이 부호화될 수 있다. 이와 동일한 방법으로, 타임 스탬프 7번 내지 11번에 해당하는 프레임들이 부호화될 수 있다.
그러면, 부호화된 프레임들의 출력 순서는 도 3과 같다. 도 1 및 도 3을 참조하면, 도 1에서는 부호화를 위패 0 내지 12까지 순차적으로 연속하여 입력되는 프레임들이 계층적 구조로 부호화되어 도 3과 같이 비순차적으로 출력될 수 있다. 즉, 부호화 되기 이전에 입력된 프레임들의 순서가 부호화를 통해 도 3과 같이 변경될 수 있다.
이때, 부호화되어 출력되는 프레임들 각각의 타임 스탬프를 계산하기 위해 부호화되어 출력되는 프레임들 각각은 프레임율 지시자를 포함할 수 있다. 여기서, 도 3을 참조하면, 부호화되어 출력되는 프레임들의 타임 스탬프는 0 내지 12가 될 수 있다. 또한, 도 3에 따르면, 부호화되어 출력되는 프레임들 각각에 포함된 프레임율 지시자는 T0 내지 T3가 될 수 있다.
이하에서는, 도 4 및 도 5를 참조하여, 부호화되어 출력되는 프레임들 각각에 포함된 프레임율 지시자를 이용하여 프레임들 각각의 타임 스탬프를 자동으로 계산하는 방법에 대해 설명하기로 한다. 즉, 도 3의 프레임율 지시자 T0 내지 T3를 이용하여 13개의 프레임들 각각에 해당하는 타임 스탬프 0 내지 12를 계산하는 방법에 대해 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 타임 스탬프 할당 방법을 설명하기 위해 제공되는 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 타임 스탬프 할당 장치의 구성을 도시한 도면이다. 도 5에 따르면, 타임 스탬프 할당 장치(500)는 수신부(510), 계산부(530), 리스트 제어부(550), 및 저장부(570)를 포함할 수 있다.
먼저, 수신부(510)는 계층적 프레임율 구조를 갖는 비순차 프레임 순서 기반으로 복호화된 프레임들을 수신할 수 있다. 이때, 복호화된 프레임들은 각각에 해당하는 프레임율 지시자를 포함할 수 있다. 여기서, 프레임율 지시자는, 표 1을 통해 설명한 바와 같이, 현재 프레임이 어떤 프레임율에 해당하는 지를 나타내는 정보일 수 있다.
보다 상세하게는, 프레임율 지시자는, 부호화 시에 부호화된 프레임들 각각에 포함되어 부호화 장치에서 복호화 장치로 전송될 수 있다. 즉, 부호화 장치에서는 계층적 프레임율 구조를 갖는 비순차 프레임 순서 기반 비디오 부호화 기법으로 복수의 프레임들을 부호화할 수 있다. 이때, 부호화 장치는 부호화되어 출력되는 프레임들의 순서를 나타내는 프레임율 지시자를 부호화된 프레임들과 함께 복호화 장치로 전송할 수 있다.
그러면, 복호화 장치에서는 부호화된 복수의 프레임들을 복호화하여 복수의 프레임들 각각에 해당하는 프레임율 지시자를 추출할 수 있다(S410). 그러면, 타임 스탬프 할당 장치는, 추출된 프레임율 지시자와 복호화된 복수의 프레임들을 복호화 장치로부터 수신할 수 있다.
그리고, 계산부(530)는 수신되는 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분(TSGTK)과 현재 프레임의 프레임율 지시자를 이용하여 현재 프레임의 타임 스탬프를 계산할 수 있다(S420). 여기서, 타임 스탬프 증분은 계층적 프레임율 지시자 별로 표 2와 같이 기설정될 수 있다.
프레임율 지시자 타임 스탬프 증분
T0 12
T1 6
T2 3
T3 1
보다 상세하게는, 계산부(530)는, 타임 스탬프 증분(TSGTK)과 저장부(570)에 저장된 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프(TSNTK_Old)를 합하여 현재 프레임의 타임 스탬프를 계산할 수 있다. 일예로, 프레임율 지시자가 4개(K=3)인 경우, 도 6에 도시된 수식을 이용하여, 계산부(530)는 프레임율 지시자 T0 내지 T3 각각에 해당하는 프레임의 타임 스탬프 TSNT0 내지 TSNT3를 계산할 수 있다.
이때, 저장부(570)는 도 7과 같이, 계층적 구조를 갖는 프레임율 지시자 각각에 해당하는 타임 스탬프들을 저장하기 위한 공간들 TSNT0_R, TSNT1_R, TSNT2_R, TSNT3_R로 이루어질 수 있다.
또한, 저장부(570)에 저장된 타임 스탬프들 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프가 계산부(530)에서 계산된 현재 프레임의 타임 스탬프로 갱신될 수 있다. 이를 통해, 저장부(570)에는 프레임율 지시자 각 계층 별로 최근의 타임 스탬프가 저장될 수 있다.
일예로, 도 3과 같이 "T0, T0, T1, T2, T3, T3, T3, T3, T2, T3, T3, T3, T3"순서로 프레임율 지시자를 갖는 13개의 프레임들이 복호화 장치로부터 수신되는 경우, 저장부(570)에 저장된 프레임율 지시자의 각 계층들이 0으로 초기화되므로 첫 번째 프레임의 타임 스탬프는 0이 될 수 있다.
그러면, 저장부(570)는 프레임율 지시자의 계층 별로 [0][0][0][0]로 초기화될 수 있다. 즉, 저장부(570)에는 프레임율 지시자의 계층 별로 타임 스탬프들이 저장될 수 있다. 이때, 첫 번째 프레임의 타임 스탬프 0가 연결 리스트에 추가될 수 있다.
이어, 계산부(530)는 두 번째 프레임의 프레임율 지시자 T0에 해당하는 타임 스탬프 증분(TSGTO) 12와 저장부(570)에 저장된 두 번째 프레임의 프레임율 지시자 T0에 해당하는 타임 스탬프(TSNTO_R) 0의 합인 12를 두 번째 프레임의 타임 스탬프(TSNTO)로 계산할 수 있다.
그러면, 리스트 제어부(550)는 저장부(150)에 저장된 두 번째 프레임의 프레임율 지시자 T0 에 해당하는 타임 스탬프를 계산된 두 번째 프레임의 타임 스탬프로 갱신할 수 있다. 즉, 저장부(570)는 [12][0][0][0]로 프레임율 지시자 T0에 해당하는 타임 스탬프 0를 12로 갱신할 수 있다.
이때, 계산된 현재 프레임의 타임 스탬프가 연결 리스트에 존재하지 않는 경우(S430:NO), 리스트 제어부(550)는 계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가할 수 있다(S440).
또한, 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하는 경우(S450:YES), 리스트 제어부(550)는 계산된 현재 프레임의 타임 스탬프보다 작은 값들을 연결 리스트에서 모두 삭제할 수 있다(S460).
그리고, 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하지 않는 경우(S450:NO), 리스트 제어부(550)는 연결 리스트에서 타임 스탬프들의 삭제없이 현재 프레임의 타임 스탬프를 연결 리스트에 추가할 수 있다.
일예로, 연결 리스트에는 첫 번째 프레임의 타임 스탬프 0만 존재하는 경우, 두 번째 프레임의 타임 스탬프 12가 연결 리스트에 존재하지 않으므로, 리스트 제어부(550)는 연결 리스트에 12를 추가할 수 있다. 이때, 연결 리스트에는 타임 스탬프가 오름차순으로 추가될 수 있다. 그러면, 연결 리스트에는 0 및 12가 오름 차순(0->12)으로 포함될 수 있다.
동일한 방법으로, 계산부(530)는 세 번째 및 네 번째 프레임의 타임 스탬프를 각각 6, 3으로 계산할 수 있다. 그러면, 저장부(570)는 [12][6][3][0]로 프레임율 지시자의 계층 별로 타임 스탬프를 갱신할 수 있다. 이때, 연결 리스트에는 6 및 3이 추가되어 0->3->6->12 순서로 타임 스탬프들이 포함될 수 있다.
또한, 계산부(530)는 다섯 번째 프레임의 타임 스탬프를 1로 계산할 수 있다. 그러면, 저장부(570)는 [12][6][3][1]로 갱신되고, 연결 리스트에는 1이 추가될 수 있다.
이때, 다섯 번째 프레임의 프레임율 지시자 T3가 최고 프레임율 지시자이므로, 리스트 제어부(550)는 연결 리스트에서 다섯 번째 프레임의 타임 스탬프 1보다 작은 값 0을 삭제할 수 있다. 그러면, 연결 리스트에는 1->3->6->12 순서로 타임 스탬프들이 포함될 수 있다.
한편, S430 단계에서, 현재 프레임의 타임 스탬프가 연결 리스트에 존재하는 경우(S430:YES), 계산부(530)는 계산된 현재 프레임의 타임 스탬프와 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 현재 프레임의 타임 스탬프를 재계산할 수 있다(S470).
일예로, 도 3을 참조하면, 여섯 번째 프레임까지의 타임 스탬프 계산을 통해 연결 리스트는 2->3->6->12 순으로 타임 스탬프를 포함하고 있으며, 일곱 번째 프레임의 타임 스탬프를 계산하는 경우, 계산부(530)는 앞에서 설명한 방법에 따라 일곱 번째 프레임의 타임 스탬프를 3으로 계산할 수 있다.
이때, 계산된 일곱 번째 프레임의 타임 스탬프 3은 연결 리스트에 존재하므로, 계산부(530)는 계산된 일곱 번째 프레임의 타임 스탬프 3에 일곱 번째 프레임의 프레임율 지시자 T3에 해당하는 타임 스탬프 증분 1을 합하여 일곱 번째 프레임의 타임 스탬프를 4로 재계산할 수 있다.
그러면, 저장부(570)는 [12][6][3][4]로 갱신될 수 있다. 또한, 리스트 제어부(550)는 4를 연결 리스트에 추가할 수 있다. 이때, 450 단계에서 설명한 바와 같이, 일곱 번째 프레임의 프레임율 지시자 T3는 최고 프레임율에 해당되므로, 리스트 제어부(550)는 연결 리스트에서 4보다 작은 값을 갖는 타임 스탬프들을 모두 삭제할 수 있다. 즉, 연결 리스트에서 2 및 3이 삭제될 수 있다. 그러면, 연결 리스트에는 4->6->12 순으로 타임 스탬프들이 포함될 수 있다.
도 3을 참조하면, S420 내지 S470 단계에서 설명한 바와 동일한 방법을 통해 계산부(530)는 13개의 프레임들 각각의 타임 스탬프들을 각각 "0, 12, 6, 3, 1, 2, 4, 5, 9, 7, 8, 10, 11"로 계산할 수 있다. 즉, "T0, T0, T1, T2, T3, T3, T3, T3, T2, T3, T3, T3, T3"순서의 프레임율 지시자를 이용하여 복호화된 프레임들 각각의 타임 스탬프들을 "0, 12, 6, 3, 1, 2, 4, 5, 9, 7, 8, 10, 11"로 계산할 수 있다.
지금까지 설명한 바와 같이, 타임 스탬프 할당 장치(500)는 도 3의 비순차 프레임 순서 기반 비디오 부호화 기법으로 부호화되어 출력되는 프레임의 순서대로 복호화된 복수의 프레임 각각에 해당하는 타임 스탬프를 계산할 수 있다.
또한, 도 4에서는 S440 단계가 수행된 이후에, S450 및 S460 단계가 수행되는 것으로 설명하였으나, S450 및 S460 단계가 수행된 이후에 S440 단계가 수행될 수도 있다. 즉, 현재 프레임의 프레임율 지시자가 최고 프레임율에 해당하는 경우, 현재 프레임의 타임 스탬프보다 작은 값들을 연결 리스트에서 삭제한 이후에, 현재 프레임의 타임 스탬프를 연결 리스트에 추가할 수 있다.
이상에서는, 설명의 편의를 위해, 계층적 구조를 갖는 프레임율 지시자를 T0 내지 T3까지 4개를 이용하여 타임 스탬프를 할당하는 방법에 대해 설명하였으나, 이는 실시예에 해당되며, 계층적 구조를 갖는 프레임율 지시자는 4개 미만 또는 4개 이상으로 기설정될 수 있다. 이와 같이, 프레임율 지시자의 개수가 조정되어 계층적 프레임율 구조는 증가 또는 감소될 수 있다.
또한, 이상에서는 계층적 프레임율 구조를 갖도록 부호화된 프레임들을 통해 각각의 프레임들에 해당하는 타임 스탬프를 계산하는 것으로 설명하였으나, 이는 실시예에 해당되며, 프레임율 이외에 다른 조건들에 기초하여 계층 구조를 갖도록 부호화된 프레임들 각각에 해당하는 타임 스탬프를 자동으로 계산할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 계층적 프레임율 구조를 가진 비디오 부호화를 설명하기 위해 제공되는 도면이다.
도 2는 계층적 프레임율 구조를 가진 비디오 부호화를 이용한 부호화 순서를 설명하기 위해 제공되는 도면이다.
도 3은 계층적 프레임율 구조를 가진 비디오 부호화 시에 출력되는 프레임 순서를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 타임 스탬프 할당 방법을 설명하기 위해 제공되는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 타임 스탬프 할당 장치의 구성을 도시한 도면이다.
도 6은 계층적 구조를 갖는 프레임율 지시자 각각에 해당하는 타임 스탬프들이 저장되는 구조를 도시한 도면이다.
도 7은 프레임율 지시자를 이용하여 타임 스탬프를 계산하는 수식을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
410: 수신부
430: 계산부
450: 리스트 제어부
470: 저장부

Claims (18)

  1. 비순차 프레임 순서 기반 비디오 부호화 기법으로 부호화된 복수의 프레임들이 복호화 장치로부터 복호화된 복수의 프레임들 및 프레임율 지시자를 수신하는 단계;
    상기 복수의 프레임들 각각에 해당하는 프레임율 지시자를 이용하여 상기 복수의 프레임들 각각에 해당하는 타임 스탬프를 계산하는 단계; 및
    계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 단계
    를 포함하는 타임 스탬프 할당 방법.
  2. 제1항에 있어서,
    상기 계산된 현재 프레임의 타임 스탬프를 상기 프레임율 지시자의 계층 별로 저장하는 단계
    를 더 포함하는 타임 스탬프 할당 방법.
  3. 제2항에 있어서,
    상기 계산하는 단계는,
    상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분과 상기 프레임율 지시자의 계층별로 저장된 타임 스탬프 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 이용하여 상기 현재 프레임의 타임 스탬프를 계산하는 타임 스탬프 할당 방법.
  4. 제3항에 있어서,
    상기 계층별로 저장된 타임 스탬프들 중 상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 상기 계산된 현재 프레임의 타임 스탬프로 갱신하는 단계
    를 더 포함하는 타임 스탬프 할당 방법.
  5. 제3항에 있어서,
    상기 계산하는 단계는,
    상기 계산된 현재 프레임의 타임 스탬프가 상기 연결 리스트에 존재하는 경우, 상기 계산된 현재 프레임의 타임 스탬프와 상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 상기 현재 프레임의 타임 스탬프를 재계산하는 것을 특징으로 하는 타임 스탬프 할당 방법.
  6. 제5항에 있어서,
    상기 연결 리스트에 추가하는 단계는,
    상기 재계산된 상기 현재 프레임의 타임 스탬프를 상기 연결 리스트에 추가하는 것을 특징으로 하는 타임 스탬프 할당 방법.
  7. 제6항에 있어서,
    프레임률 지시자가 나타내는 프레임율들 중 상기 현재 프레임의 프레임율 지시자가 나타내는 프레임율이 가장 큰 경우, 상기 연결 리스트에 추가된 타임 스탬프들 중 상기 계산된 현재 프레임의 타임 스탬프 미만의 타임 스탬프를 모두 삭제하는 단계
    를 더 포함하는 타임 스탬프 할당 방법.
  8. 제1항에 있어서,
    상기 계산하는 단계는,
    상기 비순차 프레임 순서 기반 비디오 부호화 기법으로 부호화되어 출력되는 프레임의 순서대로 상기 복수의 프레임 각각에 해당하는 타임 스탬프를 계산하는 것을 특징으로 하는 타임 스탬프 할당 방법.
  9. 제1항에 있어서,
    상기 부호화된 복수의 프레임은, 계층적 프레임율 구조를 갖는 것을 특징으로 하는 타임 스탬프 할당 방법.
  10. 제1항에 있어서,
    상기 타임 스탬프는, 상기 복수의 프레임 각각이 화면에 표시되는 시간 순서를 나타내는 정보인 것을 특징으로 하는 타임 스탬프 할당 방법.
  11. 복호화 장치로부터 프레임율 지시자를 포함하는 복호화된 복수의 프레임들을 수신하는 수신부;
    상기 복수의 프레임들 각각에 해당하는 프레임율 지시자를 이용하여 상기 복수의 프레임들 각각에 해당하는 타임 스탬프를 계산하는 계산부; 및
    계산된 현재 프레임의 타임 스탬프를 연결 리스트에 추가하는 리스트 제어부
    를 포함하는 타임 스탬프 할당 장치.
  12. 제11항에 있어서,
    상기 계산된 현재 프레임의 타임 스탬프를 상기 프레임율 지시자의 계층 별로 저장하는 저장부
    를 더 포함하고,
    상기 계산부는,
    상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분과 상기 프레임율 지시자의 계층 별로 저장된 타임 스탬프 중 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프를 이용하여 상기 현재 프레임의 타임 스탬프를 계산하는 타임 스탬프 할당 장치.
  13. 제11항에 있어서,
    상기 계산부는,
    상기 계산된 현재 프레임의 타임 스탬프가 상기 연결 리스트에 존재하는 경우, 상기 계산된 현재 프레임의 타임 스탬프와 상기 현재 프레임의 프레임율 지시자에 해당하는 타임 스탬프 증분을 합하여 상기 현재 프레임의 타임 스탬프를 재계산하고,
    상기 리스트 제어부는,
    상기 재계산된 현재 프레임의 타임 스탬프를 상기 연결 리스트에 추가하는 것을 특징으로 하는 타임 스탬프 할당 장치.
  14. 제11항에 있어서,
    상기 리스트 제어부는,
    상기 계산된 현재 프레임의 타임 스탬프가 상기 연결 리스트에 존재하지 않는 경우, 상기 계산된 현재 프레임의 타임 스탬프를 상기 연결 리스트에 추가하는 것을 특징으로 하는 타임 스탬프 할당 장치.
  15. 제14항에 있어서,
    상기 리스트 제어부는,
    프레임률 지시자가 나타내는 프레임율들 중 상기 현재 프레임의 프레임율 지시자가 나타내는 프레임율이 가장 큰 경우, 상기 계산된 현재 프레임의 타임 스탬프보다 작은 적어도 하나의 타임 스탬프를 상기 연결 리스트에서 삭제하는 것을 특징으로 하는 타임 스탬프 할당 장치.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020090119782A 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법 Active KR101322948B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090119782A KR101322948B1 (ko) 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090119782A KR101322948B1 (ko) 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Publications (2)

Publication Number Publication Date
KR20110062914A KR20110062914A (ko) 2011-06-10
KR101322948B1 true KR101322948B1 (ko) 2013-10-29

Family

ID=44397010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090119782A Active KR101322948B1 (ko) 2009-12-04 2009-12-04 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Country Status (1)

Country Link
KR (1) KR101322948B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852967B1 (ko) * 2017-12-27 2018-06-07 주식회사 아나패스 프레임 율 검출 방법 및 프레임 율 변환 방법
US10382718B2 (en) 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method
CN110874424A (zh) * 2019-09-23 2020-03-10 北京旷视科技有限公司 数据处理的方法、装置、计算机设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060009879A (ko) * 2003-04-30 2006-02-01 노키아 코포레이션 픽쳐 코딩 방법
KR20080068520A (ko) * 2007-01-19 2008-07-23 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060009879A (ko) * 2003-04-30 2006-02-01 노키아 코포레이션 픽쳐 코딩 방법
KR20080068520A (ko) * 2007-01-19 2008-07-23 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(2008.6) *

Also Published As

Publication number Publication date
KR20110062914A (ko) 2011-06-10

Similar Documents

Publication Publication Date Title
JP5410566B2 (ja) マルチプロセッサアーキテクチュア並びにピクチュアベースの先読みウィンドウを具備したデジタルビデオエンコーダのためのパラレルレートコントロール
CN103650509B (zh) 基于照相机和背景运动的参考帧缓冲区的自适应配置
CN101543078B (zh) 信息处理设备和方法
JP7085021B2 (ja) 動画の符号化並びに復号の方法、装置及びコンピュータプログラム
KR102385848B1 (ko) 저-지연을 위한 샘플 배치 코딩
EP3917137B1 (en) Apparatus for transmitting and apparatus for receiving media contents in a multimedia system
US20190273947A1 (en) Method of Coding and Decoding Images, Coding and Decoding Device and Computer Programs Corresponding Thereto
TWI575886B (zh) 熵編碼及解碼方案
CN103748886A (zh) 支持模式切换的熵编码
CN102450014A (zh) 用于质量感知视频优化的框架
CN102067551B (zh) 媒体流处理
CN103202015A (zh) 动态图像加密装置、动态图像加密方法及动态图像加密用计算机程序
WO2010146239A1 (en) Image processor, image generator and computer program
KR101322948B1 (ko) 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법
CN101651827B (zh) 屏幕编码的码率控制方法
CN103607395A (zh) 一种传输触觉数据的方法及装置
CN101658039B (zh) 动态图像解码方法、动态图像解码装置以及电子设备
JP2007282023A (ja) 多重化装置及び多重化方法
US10477246B2 (en) Method for encoding streams of video data based on groups of pictures (GOP)
CN103716638A (zh) 表示视频图像显示顺序的方法
US20100272170A1 (en) Image encoding apparatus, image encoding method and medium on which image encoding program is recorded
WO2008053557A1 (en) Moving picture re-encoding device, moving picture re-encoding method, moving picture re-encoding program, and recording medium containing the moving picture re-encoding program
JP2002238050A (ja) データ変換装置、データ符号化装置、及びデータ記録装置
SG135081A1 (en) Streaming repetition coded compression
JP2000152232A (ja) 伝送方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091204

PA0201 Request for examination
PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130225

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130828

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130225

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20130828

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20130425

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20131019

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20130930

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20130828

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20130425

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131022

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131022

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160927

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee