KR100916505B1 - 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치 - Google Patents

정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치 Download PDF

Info

Publication number
KR100916505B1
KR100916505B1 KR1020080025042A KR20080025042A KR100916505B1 KR 100916505 B1 KR100916505 B1 KR 100916505B1 KR 1020080025042 A KR1020080025042 A KR 1020080025042A KR 20080025042 A KR20080025042 A KR 20080025042A KR 100916505 B1 KR100916505 B1 KR 100916505B1
Authority
KR
South Korea
Prior art keywords
information
time
audio
video
normal playback
Prior art date
Application number
KR1020080025042A
Other languages
English (en)
Other versions
KR20090090242A (ko
Inventor
정순흥
유정주
홍진우
서광덕
지원섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/735,828 priority Critical patent/US8675727B2/en
Priority to PCT/KR2008/007859 priority patent/WO2009104869A1/en
Publication of KR20090090242A publication Critical patent/KR20090090242A/ko
Application granted granted Critical
Publication of KR100916505B1 publication Critical patent/KR100916505B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법은, 디코딩 장치를 통하여 비디오 정보를 수신하는 단계, 상기 디코딩 장치를 통하여 오디오 정보를 수신하는 단계, 상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 단계, 상기 수신된 오디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 단계, 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산하는 단계, 상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단하는 단계 및 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력하는 단계를 포함한다.
RTP, NPT, 동기화, SVC, AAC

Description

정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치{METHOD AND APPARATUS FOR SVC VIDEO AND AAC AUDIO SYNCHRONIZATION USING NTP}
본 발명은 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치에 관한 것으로서, 보다 상세하게는 인터넷과 같은 IP망에서 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보와 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보를 실시간 프로토콜(RTP: Real Timed Protocol) 패킷화하여 전송할 때 실시간 프로토콜 패킷의 헤더에 기록될 타임스탬프 정보로부터 유도해 낼 수 있는 정상 재생 타임(NPT: Normal Play Time)를 이용하여 비디오와 오디오에 대한 동기화 지원 방법 및 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-103-03, 과제명: 통방융합 환경에서의 유비쿼터스 콘텐츠 서비스(UCA) 기술 개발].
IP망을 통한 비디오/오디오 전송을 위하여 일반적으로 RTP 패킷이 미디어 데 이터를 전달하는데 사용이 되고 RTCP(RTP Control Protocol) 패킷이 RTP 패킷을 보조적으로 도와주는 목적으로 사용이 된다.
특히, RTCP 패킷의 가장 중요한 역할 중의 하나는 미디어 동기화 정보를 제공하는 것이다. 비디오와 오디오는 서로 다른 미디어이기 때문에 RTP 패킷화의 단위인 접근단위 (access unit)를 얻기 위한 미디어 샘플링율이 서로 다르다.
따라서, 각각 서로 다른 RTP 세션을 통해 전송이 되어야 한다. 헤더에서 동기화에 활용되는 정보는 “time stamp” 필드로서 비디오와 오디오의 샘플링율 (sampling rate)을 고려하여 비디오와 오디오 접근 단위별로 독립적으로 값이 생성된다.
비디오와 오디오가 독립적으로 “time stamp” 값을 생성하기 때문에 “time stamp” 정보만으로는 비디오와 오디오 사이의 동기화를 맞추는 것이 불가능하다. 따라서, 비디오와 오디오간의 동기화를 제공하기 위해서는 비디오와 오디오 스트림이 공통으로 참조할 수 있는 시간 정보가 필요하다.
이러한 공통시간 정보를 제공하는 방법이 RTCP SR (sender report) 패킷을 이용하는 것이다. “NPT 타임스탬프” 필드는 비디오와 오디오가 공통으로 참조하는 공통시간 정보를 제공하며, “RTP 타임스탬프” 필드는 이 “NPT 타임스탬프”에 해당하는 비디오 또는 오디오의 RTP 타임스탬프를 기록하게 된다.
따라서, NPT 타임스탬프를 매개로 하여 비디오와 오디오간의 동기화가 이루어지는 각각의 RTP 타임스탬프 값의 추정이 가능하다. RTCP 세션은 오디오 및 비디오 세션 각각에 대해 하나씩 생성이 되며 전체 트래픽의 5% 이내로 전송이 된다. 주기적으로 전송될때 마다 NPT 타임스탬프에 해당되는 각 미디어의 RTP 타임스탬프를 RTCP 패킷에 기록하여 전송함으로써 수신 측이 동기화에 필요한 정보를 얻을 수 있게 해준다.
이처럼, 기존의 미디어 동기화 방법에서는 RTP 패킷의 “time stamp” 정보 뿐만아니라 주기적으로 NPT time stamp 값을 제공하는 RTCP SR 패킷의 전송이 필요하므로, 그 복잡도나 처리 과정이 복잡한 문제점이 있다.
특히, 네트워크의 트래픽량이 과도할 경우 RTCP SR 패킷 전송으로 인해 네트워크의 혼잡문제를 더욱더 악화 시킬 수 있다.
본 발명은 상술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 실시간 프로토콜 타임 스탬프를 이용하여 오디오 정보 및 비디오 정보의 정상 재생 타임을 계산할 수 있는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 수신된 비디오 및 오디오에 대한 타임스탬프 값으로부터 NPT (Normal Play Time)를 유도하여 두 미디어 간에 동기화를 제공할 수 있는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 비디오 정보 및 오디오 정보의 RTCP SR 패킷 전송 및 처리가 별도로 필요 없이 RTP 타임 스탬프만을 이용하여 NPT를 유도할 수 있는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 RTCP 패킷 전송을 위해 필요한 UDP 포트의 개수를 줄일 수 있고 RTCP 패킷 전송이 필요 없기 때문에 네트워크에 유입되는 제어 트래픽의 량을 줄일 수 있는 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명 일실시예에 따른 실시간 프로토콜 타임 스탬프를 이용한 스케일러블 비디오 코딩 정보의 정상 재생 타임 추출 방법은, 디코딩 장치로부터 비디오 정보를 수신하는 단계, 상기 비디오 정보의 특정 출력화면 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 추출하는 단계, 상기 추출된 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 차이값을 계산하는 단계 및 상기 차이값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)으로 정의하는 단계를 포함한다.
또한, 상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명 일실시예에 따른 실시간 프로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법은, 디코딩 장치로부터 오디오 정보를 수신하는 단계, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 추출하는 단계, 상기 추출된 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 차이값을 계산하는 단계 및 상기 차이값에 상기 오디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)으로 정의하는 단계를 포함한다.
또한, 상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명 일실시예에 따른 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법은, 디코딩 장치를 통하여 비디오 정보를 수신하는 단계, 상기 디코딩 장치를 통하여 오디오 정보를 수신하는 단계, 상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 단계, 상기 수신된 오디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 단계, 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산하는 단계, 상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단하는 단계 및 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력하는 단계를 포함한다.
또한, 본 발명은 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되지 않는 경우, 상기 비디오 정보와 상기 오디오 정보의 출력 시간 간격을 판단하여 상기 비디오 정보의 화면간 출력 시간 간격을 조절하는 단계를 더 포함한다.
또한, 상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명 일실시예에 따른 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치는, 디코딩 장치를 통하여 비디오 정보 및 오디오 정보를 수신하는 정보 수신부, 상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 비디오 정보 분석부, 상기 수신된 오디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 오디오 정보 분석부, 상기 비디오 정 보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산하는 연산부, 상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단하는 판단부 및 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력하는 출력부를 포함한다.
또한, 본 발명은 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되지 않는 경우, 상기 비디오 정보와 상기 오디오 정보의 출력 시간 간격을 판단하여 상기 비디오 정보의 화면간 출력 시간 간격을 조절하는 출력 시간 간격 조절부를 더 포함한다.
본 발명에 따르면 실시간 프로토콜 타임 스탬프를 이용하여 오디오 정보 및 비디오 정보의 정상 재생 타임을 계산할 수 있다.
또한, 본 발명에 따르면 수신된 비디오 및 오디오에 대한 타임스탬프 값으로부터 NPT (Normal Play Time)를 유도하여 두 미디어 간에 동기화를 제공할 수 있다.
또한, 본 발명에 따르면 비디오 정보 및 오디오 정보의 RTCP SR 패킷 전송 및 처리가 별도로 필요 없이 RTP 타임 스탬프만을 이용하여 NPT를 유도할 수 있다.
또한, 본 발명에 따르면 RTCP 패킷 전송을 위해 필요한 UDP 포트의 개수를 줄일 수 있고 RTCP 패킷 전송이 필요 없기 때문에 네트워크에 유입되는 제어 트래픽의 량을 줄일 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 발명에 따른 동기화 지원 장치는 비디오 정보와 오디오 정보를 동기화하여하나의 미디어 정보로 가공하는 장치를 기초로 한다.
본 발명은 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보와 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보의 동기화를 맞추기 위하여 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)로부터 얻어낼 수 있는 정상 재생 타임(NPT: Normal Play Time)을 이용한다.
따라서, 본 발명은 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보에 포함된 실시간 프로토콜 타임 스탬프만을 이용하여 각각의 정상 재생 타임을 유도할 수 있는 방법을 제안하고 있는 바, 관련 수학식을 참조하여 다음과 같이 설명하도록 한다.
먼저, 스케일러블 비디오 코딩 정보(이하 ‘비디오 정보’라 함)의 정상 재생 타임을 유도하는 방법을 제안한다.
본 발명에서 디코딩 장치로부터 수신된 비디오 정보가 디스플레이 장치에 출력되는 k번째 비디오 화면의 정상 재생 타임인,
Figure 112008019659271-pat00001
은 실시간 프로토콜 타임 스탬프 정보를 이용하여 수학식 1을 통하여 유도해 낼 수 있다.
Figure 112008019659271-pat00002
여기서
Figure 112008019659271-pat00003
는 첫번째 출력 화면(IDR: Instantaneous Decoding Refresh 픽처)의 실시간 프로토콜 타임 스탬프이며,
Figure 112008019659271-pat00004
는 k번째 출력화면의 실시간 프로토콜 타임 스탬프를 나타내며,
Figure 112008019659271-pat00005
은 전송단에서 비디오의 접근단위(access unit)에 대한 샘플링율(sample rate)을 의미한다.
상기 비디오 정보에 대한
Figure 112008019659271-pat00006
는 일반적으로 90KHz가 적용될 수 있으나 상기수치에 한정된 것은 아니며, 상기
Figure 112008019659271-pat00007
을 기반으로 각 화면에 대한 타임 스탬프 값을 발생시키게 된다.
상기 비디오 정보의 경우, 출력되는 단위가 불연속적인 개별적 화면이므로 각 출력화면 단위로 정상 재생 타임을 상기와 같이 쉽게 구해낼 수 있다.
그러나, 오디오 정보는 출력 단위가 연속적인 PCM(Pulse Code Modulation) 데이터 블록이므로 출력단위를 구분하여 NPT를 직접적으로 얻어낼 수가 없다. 상기와 같은 문제를 해결하기 위하여 본 발명에서는 PCM 데이터가 출력되기 이전에 머무르게 되는 웨이브 출력 버퍼(wave-out buffer)의 크기를 이용하여 오디오 정보에 대한 정상 재생 타임을 구하는 방법을 제안한다.
도 1은 본 발명의 일실시예에 따른 하나의 오디오 프레임(frame)이 복호화 후 PCM 데이터로 재생되어 웨이브 출력 버퍼로 입출력되는 과정을 도시한 도면이 다.
상기 오디오 정보는 도 1에 도시된 바와 같이 PCM 데이터로 재생되어 웨이브 출력 버퍼로 입출력되는데, 실시간 프로토콜 패킷으로부터 프레임 단위로 추출된 오디오 압축 데이터는 주기적으로 복호화되어 PCM 데이터로 재생이 되고, 재생된 PCM 데이터는 연속적으로 웨이브 출력 버퍼에 저장된다.
이때, 상기 웨이브 출력 버퍼에 저장된 PCM 데이터 블록은 출력 디바이스로 전달이 되고, 디바이스 드라이버에 의해 스피커로 출력된다. 또한, 끊임없이 일정한 속도의 오디오 출력을 위하여 웨이브출력버퍼의 크기는 항상 일정한 값(
Figure 112008019659271-pat00008
)으로 설정 된다.
본 발명은 상기와 같은 오디오 데이터 처리 과정을 바탕으로 웨이브 출력 버퍼에서 현재 출력될 예정인 s번째 PCM 데이터 블록에 대한 실시간 프로토콜 타임 스탬프인
Figure 112008019659271-pat00009
를 수학식 2를 통해 추정해 낼 수 있다.
Figure 112008019659271-pat00010
여기서
Figure 112008019659271-pat00011
는
Figure 112008019659271-pat00012
를 계산할 순간에 웨이브출력버퍼로 입력되는 n번째 PCM 데이터의 실시간 프로토콜 타임 스탬프 값을 나타내며,
Figure 112008019659271-pat00013
는 오디오의 기본 접근단위인 프레임에 대한 샘플링율을 의미한다.
이때, 상기 어드밴스드 오디오 코딩 정보의 경우 최대 48 KHz까지 적용할 수 있으나, 상기 수치에 한정된 것은 아니다.
따라서 곧바로 스피커로 출력 예정인 s번째 PCM 데이터 블록의 정상 재생 타임인,
Figure 112008019659271-pat00014
는 수학식 2의 결과를 이용하여 다음과 같이 계산할 수 있다.
Figure 112008019659271-pat00015
여기서
Figure 112008019659271-pat00016
는 첫 번째로 출력된 PCM 데이터 블록의 타임 스탬프 값을 나타낸다.
본 발명은 전술한 바와 같이 비디오 정보와 오디오 정보의 실시간 프로토콜 타임 스탬프를 이용하여 각 정보의 정상 재생 타임을 추출 할 수 있는 방법을 제안하고있으며, 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 구하는 방법을 각 단계별로 도 2 내지 도 3을 참조하여 설명하면 다음과 같다.
먼저, 본 발명의 실시간 프로토콜 타임 스탬프를 이용한 스케일러블 비디오 코딩 정보의 정상 재생 타임 추출 방법을 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 실시간 프로토콜 타임 스탬프를 이용한 스케일러블 비디오 코딩 정보의 정상 재생 타임 추출 방법을 도시한 흐름도이다.
먼저, 본 발명은 도 2에 도시된 바와 같이 디코딩 장치로부터 비디오 정보를 수신한다(S210).
이때, 본 발명에서는 상기 비디오 정보로 현재 가장 널리 쓰이며 안정적인 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보를 수신하는 것으로 하나, 상기 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보에 한정된 것은 아니다.
다음으로, 본 발명은 상기 비디오 정보의 특정 출력화면 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 추출한다(S220).
다음으로, 본 발명은 상기 추출된 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 차이값을 계산한다(S230).
다음으로, 본 발명은 상기 차이값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)으로 정의한다(S240).
상기 각 단계는 수학식 1을 기반으로 수행될 수 있다.
또한, 본 발명의 실시간 프로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법을 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 실시간 프로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법을 도시한 흐름도이다.
먼저, 본 발명은 디코딩 장치로부터 오디오 정보를 수신한다(S310).
이때, 본 발명에서는 상기 오디오 정보로 현재 가장 널리 쓰이며 안정적인 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보를 수신하는 것으로 하나, 상기 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보에 한정된 것 은 아니다.
다음으로, 본 발명은 상기 오디오 정보의 특정 출력화면 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 추출한다(S320).
이때, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프는, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프가 계산되는 순간의 웨이브 출력 버퍼로 입력되는 특정 PCM(Pulse Code Modulation) 데이터의 실시간 프로토콜 타임 스탬프 값에 웨이브 출력 버퍼 값과 상기 오디오 정보의 기본 접근 단위에 대한 샘플링율을 곱한 값을 뺀 값으로 정의될 수 있다.
다음으로, 본 발명은 상기 추출된 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 차이값을 계산한다(S330).
다음으로, 본 발명은 상기 차이값에 상기 오디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)으로 정의한다(S340).
상기 각 단계는 수학식 2 내지 수학식 3을 기반으로 수행될 수 있다.
본 발명은 전술한 바와 같이 실시간 프로토콜 타임 스탬프를 이용하여 정상 재생 타임을 계산할 수 있으며, 상기 계산된 비디오 정보와 오디오 정보에 대한 정상 재생 타임을 이용하여 최적화된 동기화 알고리즘을 제공할 수 있다.
본 발명의 동기화 기본 원리는 출력 예정인 비디오 화면의 정상 재생 타임과 상기 화면과 동시에 출력 예정인 오디오 PCM 데이터의 정상 재생 타임을 비교하여 비디오 화면의 출력 간격을 조절할 수 있다.
즉, 본 발명은 오디오 정보가 비디오 정보보다 그 중요성이 높기 때문에 비디오정보와 상관없이 오디오 정보를 끊김 없이 출력하며 출력되는 오디오 정보와 동기가 이루어지도록 비디오 정보의 정상 재생 타임을 오디오 정보의 정상 재생 타임과 비교하여 비디오 디스플레이 속도를 조절하는 장치를 제공할 수 있다.
상기와 같은 본 발명의 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치의 구성을 도 4를 참조하여 순차적으로 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치의 구성을 도시한 블록도이다.
먼저, 정보 수신부(110)는 디코딩 장치를 통하여 비디오 정보 및 오디오 정보를 수신한다.
이때, 전술한 바와 같이 상기 비디오 정보는 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보일 수 있으며, 상기 오디오 정보는 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보일 수 있으나 상기 정보 형식에 국한된 것은 아니다.
다음으로, 본 발명은 상기 수신된 비디오 정보 및 오디오 정보를 분석하여 각 정보의 정상 재생 타임을 계산하는데, 상기 계산 과정은 도 5를 참조하여 다음과 같이 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 정상 재생 타임을 이용한 비디오 정보와 오디오 정보의 동기화 알고리즘을 도시한 블록도이다.
비디오 정보 분석부(120)는 상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산한다.
본 발명의 비디오 정보 분석부(120)는, 상기 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임으로 정의할 수 있다.
즉, 본 발명에서 비디오 정보의 경우 수신된 실시간 프로토콜 패킷으로부터 각 화면별 타임스탬프인
Figure 112008019659271-pat00017
를 추출하며, B-픽처를 고려한 화면 순서 재정렬에 의한 화면 디스플레이 순서를 고려하여 출력 화면별로
Figure 112008019659271-pat00018
를 구한다. 상기
Figure 112008019659271-pat00019
를 바탕으로 상기 수학식 1을 이용하여 k번째 출력 화면의 정상 재생 타임인,
Figure 112008019659271-pat00020
를 계산할 수 있다.
또한, 오디오 정보 분석부(130)는 상기 수신된 오디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산한다.
본 발명의 오디오 정보 분석부(130)는, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 오디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임으로 정의할 수 있다.
이때, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프는, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프가 계산되는 순간의 웨이브 출력 버퍼로 입력되는 특정 PCM(Pulse Code Modulation) 데이터의 실시간 프로토콜 타임 스탬프 값에 웨이브 출력 버퍼 값과 상기 오디오 정보의 기본 접근 단위에 대한 샘플링율을 곱한 값을 뺀 값으로 정의 할 수 있다.
즉, 본 발명에서 오디오 정보의 경우 실시간 프로토콜에 실려서 도착하는 오디오 프레임 단위로 어드밴스드 오디오 코딩 복호화를 수행하여 PCM 데이터를 복원한다.
본 발명은 상기 과정과 동시에 실시간 프로토콜 패킷 헤더로부터 순서대로 도착하는 오디오 프레임의 실시간 프로토콜 타임 스탬프인
Figure 112008019659271-pat00021
를 추출할 수 있다. 또한, 본 발명은 상기
Figure 112008019659271-pat00022
를 바탕으로 상기 수학식 2를 통해 현재 출력 예정인 PCM 데이터 블록의 타임 스탬프인
Figure 112008019659271-pat00023
를 추정할 수 있다.
그리고, 본 발명은 상기 수학식 3을 통해 출력 예정 PCM 데이터 블록의 정상 재생 타임인
Figure 112008019659271-pat00024
를 계산 할 수 있다.
즉, 본 발명은 출력 예정인 화면이 k번째라 가정하고 이 화면과 동기화를 이 룰 예정인 오디오의 PCM 데이터 블록이 s번째라고 가정하면
Figure 112008019659271-pat00025
와
Figure 112008019659271-pat00026
를 비교하여 비디오 화면의 출력 시간 간격을 조절하여 동기화를 맞추게 된다.
이러한 본 발명의 비디오 정보와 오디오 정보의 동기화 과정을 더 자세히 살펴보면 다음과 같다.
먼저, 연산부(140)는 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산한다.
즉, 연산부(140)는, 상기 비디오 정보의 정상 재생 타임 값에 상기 오디오 정보의 정상 재생 타임 값을 뺀 값을 상기 차이값으로 정의할 수 있다.
상기 정상 재생 타임 비교에 사용될
Figure 112008019659271-pat00027
와
Figure 112008019659271-pat00028
의 차이값인
Figure 112008019659271-pat00029
는 다음과 수학식 4를 통하여 구할 수 있다.
Figure 112008019659271-pat00030
이때, 판단부(150)는 상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단하고, 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 출력부(160)는 상기 오디오 정보와 상기 비디오 정보를 출력한다.
즉,
Figure 112009048280005-pat00031
가 설정된 동기화 영역(in-sync region)인
Figure 112009048280005-pat00032
이내일 경우 동기화가 맞추어진 것으로 판단하여 TID(Temporal Identifier)에 의해 설정된 화면율에 의한 화면 출력 간격으로 비디오 화면을 디스플레이 하게 된다.
그러나, 본 발명은 판단부(150)의 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되지 않는 경우, 출력 시간 간격 조절부(170)를 이용하여 상기 비디오 정보와 상기 오디오 정보의 출력 시간 간격을 판단하여 상기 비디오 정보의 화면간 출력 시간 간격을 조절한다.
즉, 본 발명의 출력 시간 간격 조절부(170)는
Figure 112008019659271-pat00033
가
Figure 112008019659271-pat00034
를 벗어날 경우 비디오 정보가 오디오 정보보다 빠른 출력 상태인지 또는 느린 출력 상태인지를 판단하여 비디오 정보의 화면간 출력 시간 간격을 조절할 수 있다.
도 6은 본 발명의 일실시예에 따른 오디오 정보와 비디오 정보의 동기를 위한 정상 재생 타임 처리를 도시한 블록도이다.
이때, 상기 비디오 정보의 화면간 출력 시간 간격 값은 설정된 화면율분의 1000의 값과 화면 간격 크기 조절 파라미터를 더한 값으로 정의 될 수 있다.
즉, 비디오 정보의 출력 시간 간격(display-interval)인
Figure 112008019659271-pat00035
은 주어진 화면율
Figure 112008019659271-pat00036
에 의해 수학식 5와 같이 계산할 수 있다.
Figure 112008019659271-pat00037
(ms)
또한, 상기 화면 간격 크기 조절 파라미터는, 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 계산된 차이값과 스케일 팩터를 곱한 값으로 정의할 수 있다.
즉,
Figure 112008019659271-pat00038
가
Figure 112008019659271-pat00039
영역을 벗어날 경우 화면 간격 크기 조절 파라미터인
Figure 112008019659271-pat00040
는 스케일 팩터(scale factor)인
Figure 112008019659271-pat00041
에 의해 크기가 결정되며, 하기 수학식 6과 같이 표현할 수 있다.
Figure 112008019659271-pat00042
(ms)
만약,
Figure 112008019659271-pat00043
는 동기화가 이루어지지 않은 경우 다시 동기화를 맞추기 위한 수렴속도를 조절하며 0.05~0.1 정도의 값이 적당함을 실험을 통하여 확인할 수 있다.
본 발명에서,
Figure 112008019659271-pat00044
에 의해 조정된 화면 출력 간격인
Figure 112008019659271-pat00045
은 하기 수학식 7과 같이 계산할 수 있다.
Figure 112008019659271-pat00046
상기와 같이 본 발명에서는 IP망에서 비디오 정보와 오디오 정보를 실시간 프로토콜 패킷화하여 전송할 때 실시간 프로토콜 패킷의 헤더에 기록될 타임 스탬프 정보로부터 유도해 낼 수 있는 정상 재생 타임을 이용하여 비디오 정보와 오디오 정보에 대한 동기화 지원 방법을 제공할 수 있다.
상기 방법을 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치의 구성의 기능적 측면을 고려하고 도 7을 참조하여 순차적으로 설명하도록 한다.
이때, 상기 방법은 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치를 이용하는 방법에 준하는 내용이므로, 상기 장치의 기능적 요소를 모두 포함하고 있기 때문에 그에 따른 상세한 설명은 생략하여 간략히 설명하기로 한다.
도 7은 본 발명의 일실시예에 따른 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법을 도시한 흐름도이다.
먼저, 정보 수신부(110)는 디코딩 장치를 통하여 비디오 정보를 수신한다(S710).
다음으로, 정보 수신부(110)는 상기 디코딩 장치를 통하여 오디오 정보를 수신한다(S720).
다음으로, 비디오 정보 분석부(120)는 상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산한다(S730).
본 단계(S730)는 상기 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임으로 정의하는 단계이다.
다음으로, 오디오 정보 분석부(130)는 상기 수신된 오디오 정보에 포함된 실 시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산한다(S740).
본 단계(S740)는 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 오디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임으로 정의하는 단계이다.
이때, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프는, 상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프가 계산되는 순간의 웨이브 출력 버퍼로 입력되는 특정 PCM(Pulse Code Modulation) 데이터의 실시간 프로토콜 타임 스탬프 값에 웨이브 출력 버퍼 값과 상기 오디오 정보의 기본 접근 단위에 대한 샘플링율을 곱한 값을 뺀 값으로 정의 될 수 있다.
다음으로, 연산부(140)는 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산한다(S750).
본 단계(S750)는, 상기 비디오 정보의 정상 재생 타임 값에 상기 오디오 정보의 정상 재생 타임 값을 뺀 값이 상기 차이값으로 정의하는 단계이다.
다음으로, 판단부(150)는 상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단한다(S760).
이때, 출력부(160)는 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력한다(S770).
즉, 단계(S770)에서 본 발명은 상기 비디오 정보와 오디오 정보의 TID에 의 해 설정된 화면율에 의한 화면 출력 간격으로 출력한다.
그러나, 상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되지 않는 경우, 출력 시간 간격 조절부(170)는 상기 비디오 정보와 상기 오디오 정보의 출력 시간 간격을 판단하여 상기 비디오 정보의 화면간 출력 시간 간격을 조절한다(S780).
이때, 상기 비디오 정보의 화면간 출력 시간 간격 값은 설정된 화면율분의 1000의 값과 화면 간격 크기 조절 파라미터를 더한 값으로 정의 될 수 있으며, 상기 화면 간격 크기 조절 파라미터는, 상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 계산된 차이값과 스케일 팩터를 곱한 값으로 정의될 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된 다. 　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 하나의 오디오 프레임(frame)이 복호화 후 PCM 데이터로 재생되어 웨이브 출력 버퍼로 입출력되는 과정을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 실시간 프로토콜 타임 스탬프를 이용한 스케일러블 비디오 코딩 정보의 정상 재생 타임 추출 방법을 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 실시간 프로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 정상 재생 타임을 이용한 비디오 정보와 오디오 정보의 동기화 알고리즘을 도시한 블록도이다.
도 6은 본 발명의 일실시예에 따른 오디오 정보와 비디오 정보의 동기를 위한 정상 재생 타임 처리를 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 정보 수신부
120: 비디오 정보 분석부
130: 오디오 정보 분석부
140: 연산부
150: 판단부
160: 출력부
170: 출력 시간 간격 조절부

Claims (25)

  1. 디코딩 장치로부터 비디오 정보를 수신하는 단계;
    상기 비디오 정보의 특정 출력화면 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 추출하는 단계;
    상기 추출된 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 차이값을 계산하는 단계; 및
    상기 차이값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)으로 정의하는 단계
    를 포함하는 것을 특징으로 하는 실시간 프로토콜 타임 스탬프를 이용한 스케일러블 비디오 코딩 정보의 정상 재생 타임 추출 방법.
  2. 제1항에 있어서,
    상기 비디오 정보는 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보인 것을 특징으로 하는 실시간 프로토콜 타임 스탬프를 이용한 스케일러블 비디오 코딩 정보의 정상 재생 타임 추출 방법.
  3. 디코딩 장치로부터 오디오 정보를 수신하는 단계;
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 추출하는 단계;
    상기 추출된 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 차이값을 계산하는 단계; 및
    상기 차이값에 상기 오디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)으로 정의하는 단계
    를 포함하는 것을 특징으로 하는 실시간 프로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법.
  4. 제3항에 있어서,
    상기 오디오 정보는 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보인 것을 특징으로 하는 실시간 프로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법.
  5. 제3항에 있어서,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프는,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프가 계산되는 순간의 웨이브 출력 버퍼로 입력되는 특정 PCM(Pulse Code Modulation) 데이터의 실시간 프로토콜 타임 스탬프 값에 웨이브 출력 버퍼 값과 상기 오디오 정보의 기본 접근 단위에 대한 샘플링율을 곱한 값을 뺀 값인 것을 특징으로 하는 실시간 프 로토콜 타임 스탬프를 이용한 어드밴스드 오디오 코딩 정보의 정상 재생 타임 추출 방법.
  6. 디코딩 장치를 통하여 비디오 정보를 수신하는 단계;
    상기 디코딩 장치를 통하여 오디오 정보를 수신하는 단계;
    상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 단계;
    상기 수신된 오디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 단계;
    상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산하는 단계;
    상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단하는 단계; 및
    상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력하는 단계
    를 포함하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  7. 제6항에 있어서,
    상기 비디오 정보는 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보이고, 상기 오디오 정보는 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보인 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  8. 제6항에 있어서,
    상기 수신된 비디오 정보에 포함된 실시간 프로토콜 타임 스탬프를 이용하여 상기 비디오 정보의 정상 재생 타임을 계산하는 단계는,
    상기 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임으로 정의하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  9. 제6항에 있어서,
    상기 수신된 오디오 정보에 포함된 실시간 프로토콜 타임 스탬프를 이용하여 상기 오디오 정보의 정상 재생 타임을 계산하는 단계는,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 오디 오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임으로 정의하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  10. 제9항에 있어서,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프는,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프가 계산되는 순간의 웨이브 출력 버퍼로 입력되는 특정 PCM(Pulse Code Modulation) 데이터의 실시간 프로토콜 타임 스탬프 값에 웨이브 출력 버퍼 값과 상기 오디오 정보의 기본 접근 단위에 대한 샘플링율을 곱한 값을 뺀 값인 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  11. 제6항에 있어서,
    상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산하는 단계는,
    상기 비디오 정보의 정상 재생 타임 값에 상기 오디오 정보의 정상 재생 타임 값을 뺀 값이 상기 차이값으로 정의되는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  12. 제6항에 있어서,
    상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력하는 단계는,
    상기 비디오 정보와 오디오 정보의 TID(Temporal Identifier)에 의해 설정된 화면율에 의한 화면 출력 간격으로 출력하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  13. 제6항에 있어서,
    상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되지 않는 경우, 상기 비디오 정보와 상기 오디오 정보의 출력 시간 간격을 판단하여 상기 비디오 정보의 화면간 출력 시간 간격을 조절하는 단계
    를 더 포함하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  14. 제13항에 있어서,
    상기 비디오 정보의 화면간 출력 시간 간격 값은 설정된 화면율분의 1000의 값과 화면 간격 크기 조절 파라미터를 더한 값인 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  15. 제14항에 있어서,
    상기 화면 간격 크기 조절 파라미터는,
    상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 계산된 차이값과 스케일 팩터를 곱한 값으로 정의되는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 방법.
  16. 디코딩 장치를 통하여 비디오 정보 및 오디오 정보를 수신하는 정보 수신부;
    상기 수신된 비디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 비디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 비디오 정보 분석부;
    상기 수신된 오디오 정보에 포함된 실시간 프로토콜(RTP: Real Timed Protocol) 타임 스탬프(Time Stamp)를 이용하여 상기 오디오 정보의 정상 재생 타임(NPT: Normal Play Time)을 계산하는 오디오 정보 분석부;
    상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 차이값을 계산하는 연산부;
    상기 계산된 차이값이 특정 동기화 영역에 포함되는지 여부를 판단하는 판단부; 및
    상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되는 경우, 상기 오디오 정보와 상기 비디오 정보를 출력하는 출력부
    를 포함하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  17. 제16항에 있어서,
    상기 비디오 정보는 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 정보이고, 상기 오디오 정보는 어드밴스드 오디오 코딩(AAC: Advanced Audio Coding) 정보인 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  18. 제16항에 있어서,
    상기 비디오 정보 분석부는,
    상기 비디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 비디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 비디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 비디오 정보의 정상 재생 타임으로 정의하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  19. 제16항에 있어서,
    상기 오디오 정보 분석부는,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프에서 상기 오디오 정보의 첫번째 출력화면 실시간 프로토콜 타임 스탬프를 뺀 값에 상기 오디오 정보의 접근 단위에 대한 샘플링율을 나눈 값을 상기 오디오 정보의 정상 재생 타임으로 정의하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  20. 제19항에 있어서,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프는,
    상기 오디오 정보의 특정 출력화면 실시간 프로토콜 타임 스탬프가 계산되는 순간의 웨이브 출력 버퍼로 입력되는 특정 PCM(Pulse Code Modulation) 데이터의 실시간 프로토콜 타임 스탬프 값에 웨이브 출력 버퍼 값과 상기 오디오 정보의 기본 접근 단위에 대한 샘플링율을 곱한 값을 뺀 값인 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  21. 제16항에 있어서,
    상기 연산부는,
    상기 비디오 정보의 정상 재생 타임 값에 상기 오디오 정보의 정상 재생 타임 값을 뺀 값을 상기 차이값으로 정의하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지 원 장치.
  22. 제16항에 있어서,
    상기 출력부는,
    상기 비디오 정보와 오디오 정보의 TID(Temporal Identifier)에 의해 설정된 화면율에 의한 화면 출력 간격으로 출력하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  23. 제16항에 있어서,
    상기 판단 결과 상기 계산된 차이값이 특정 동기화 영역에 포함되지 않는 경우, 상기 비디오 정보와 상기 오디오 정보의 출력 시간 간격을 판단하여 상기 비디오 정보의 화면간 출력 시간 간격을 조절하는 출력 시간 간격 조절부
    를 더 포함하는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  24. 제23항에 있어서,
    상기 비디오 정보의 화면간 출력 시간 간격 값은 설정된 화면율분의 1000의 값과 화면 간격 크기 조절 파라미터를 더한 값인 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
  25. 제24항에 있어서,
    상기 화면 간격 크기 조절 파라미터는,
    상기 비디오 정보의 정상 재생 타임과 상기 오디오 정보의 정상 재생 타임을 비교하여 계산된 차이값과 스케일 팩터를 곱한 값으로 정의되는 것을 특징으로 하는 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와 어드밴스드 오디오 코딩 정보의 동기화 지원 장치.
KR1020080025042A 2008-02-20 2008-03-18 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치 KR100916505B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/735,828 US8675727B2 (en) 2008-02-20 2008-12-31 Method and apparatus for SVC video and AAC audio synchronization using NPT
PCT/KR2008/007859 WO2009104869A1 (en) 2008-02-20 2008-12-31 Method and apparatus for svc video and aac audio synchronization using npt

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080015154 2008-02-20
KR20080015154 2008-02-20

Publications (2)

Publication Number Publication Date
KR20090090242A KR20090090242A (ko) 2009-08-25
KR100916505B1 true KR100916505B1 (ko) 2009-09-08

Family

ID=41208159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080025042A KR100916505B1 (ko) 2008-02-20 2008-03-18 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치

Country Status (2)

Country Link
US (1) US8675727B2 (ko)
KR (1) KR100916505B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068155B (zh) * 2011-09-23 2021-01-26 韩国电子通信研究院 传送媒体数据的设备以及接收媒体数据的设备
KR101917174B1 (ko) * 2012-02-24 2018-11-09 삼성전자주식회사 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치
EP2832112A4 (en) * 2012-03-28 2015-12-30 Nokia Technologies Oy DETERMINING A TIME SHIFT
KR101974077B1 (ko) * 2013-05-22 2019-08-23 한화테크윈 주식회사 Rtp 패킷을 이용한 재생 영상의 시간 표시 방법
CN105513608B (zh) * 2015-07-23 2018-12-28 中国电子科技集团公司第四十一研究所 一种音频信号分析方法
US10008214B2 (en) 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
GB2547442B (en) * 2016-02-17 2022-01-12 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
TWI743774B (zh) * 2019-07-18 2021-10-21 瑞昱半導體股份有限公司 音訊與視訊同步方法與相關的裝置
US11930189B2 (en) * 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames
CN114979739B (zh) * 2022-05-25 2024-02-27 新疆美特智能安全工程股份有限公司 视频通信中的音频处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080068520A (ko) * 2007-01-19 2008-07-23 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6065050A (en) * 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
EP1398931B1 (en) * 2002-09-06 2006-05-03 Sony Deutschland GmbH Synchronous play-out of media data packets
CN1720749B (zh) 2002-12-04 2010-12-08 三叉微系统(远东)有限公司 自动测试音频/视频同步的方法
JP4536653B2 (ja) * 2003-02-27 2010-09-01 パナソニック株式会社 データ処理装置および方法
KR100526189B1 (ko) * 2004-02-14 2005-11-03 삼성전자주식회사 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법
US20060184790A1 (en) 2004-03-26 2006-08-17 Microsoft Corporation Protecting elementary stream content
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
JP4455147B2 (ja) * 2004-04-30 2010-04-21 Ｎｅｃエレクトロニクス株式会社 フォーマット変換方法と装置並びにプログラム
US8010652B2 (en) 2004-05-07 2011-08-30 Nokia Corporation Refined quality feedback in streaming services
US7978827B1 (en) * 2004-06-30 2011-07-12 Avaya Inc. Automatic configuration of call handling based on end-user needs and characteristics
US20070094579A1 (en) * 2005-10-07 2007-04-26 Miguel Cerrato Sanchez Method for handling audio packet loss in a windows® media decoder
US7761789B2 (en) * 2006-01-13 2010-07-20 Ricoh Company, Ltd. Methods for computing a navigation path
KR101397051B1 (ko) * 2007-06-25 2014-05-20 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004660A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101490246B1 (ko) * 2007-07-02 2015-02-05 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
US8966103B2 (en) * 2007-12-21 2015-02-24 General Instrument Corporation Methods and system for processing time-based content
US20090241163A1 (en) * 2008-03-21 2009-09-24 Samsung Electronics Co. Ltd. Broadcast picture display method and a digital broadcast receiver using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080068520A (ko) * 2007-01-19 2008-07-23 한국전자통신연구원 Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템

Also Published As

Publication number Publication date
US20100329360A1 (en) 2010-12-30
US8675727B2 (en) 2014-03-18
KR20090090242A (ko) 2009-08-25

Similar Documents

Publication Publication Date Title
KR100916505B1 (ko) 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
CN100442858C (zh) 分组网络中多媒体实时传输的唇同步方法及其装置
US10034037B2 (en) Fingerprint-based inter-destination media synchronization
CN102057687B (zh) 媒体流成分的同步
EP1398931B1 (en) Synchronous play-out of media data packets
KR101535827B1 (ko) 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법
CA2567074C (en) Maintaining synchronization of streaming audio and video using internet protocol
CN113225598B (zh) 移动端音视频同步的方法、装置、设备及存储介质
US20070019931A1 (en) Systems and methods for re-synchronizing video and audio data
US9621682B2 (en) Reduced latency media distribution system
CN104378675A (zh) 一种多通道音视频同步播放处理方法
JP2006115477A (ja) メディアストリームから得られるメディアの提示を行う方法およびシステム
KR20150114997A (ko) 네트워크 스트리밍에 대한 가변 미디어 데이터 결정
CN103546662A (zh) 一种网络监控系统中音视频同步方法
CN108259964B (zh) 一种视频播放速率调整方法及系统
KR20150055031A (ko) 재생 동기화
CN101951387A (zh) 流媒体传输方法及装置
CN101827271A (zh) 音频视频同步方法、装置以及数据接收终端
CN113115080A (zh) 移动媒体间实时视频音频高精度同步平台
KR20110090596A (ko) 지터 보정 방법 및 장치
US20060023720A1 (en) Transmission data structure, and method and device for transmitting the same
CN112995720B (zh) 一种音视频同步方法和装置
CN101123611A (zh) 一种流媒体数据的发送方法
WO2009104869A1 (en) Method and apparatus for svc video and aac audio synchronization using npt
Jung et al. A client-driven media synchronization mechanism for RTP packet-based video streaming

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120831

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee