KR102273795B1 - 영상 동기화 처리를 위한 시스템 및 그 제어방법 - Google Patents

영상 동기화 처리를 위한 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR102273795B1
KR102273795B1 KR1020200006413A KR20200006413A KR102273795B1 KR 102273795 B1 KR102273795 B1 KR 102273795B1 KR 1020200006413 A KR1020200006413 A KR 1020200006413A KR 20200006413 A KR20200006413 A KR 20200006413A KR 102273795 B1 KR102273795 B1 KR 102273795B1
Authority
KR
South Korea
Prior art keywords
encoded
content
encoded content
time
video content
Prior art date
Application number
KR1020200006413A
Other languages
English (en)
Inventor
최현식
문지현
김혁규
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200006413A priority Critical patent/KR102273795B1/ko
Application granted granted Critical
Publication of KR102273795B1 publication Critical patent/KR102273795B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 동기화 처리를 위한 시스템 및 그 제어방법에 관한 것이다. 본 발명에 따른 영상 동기화 처리 시스템은, 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 콘텐츠에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 영상 콘텐츠 제공 시스템과; 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 콘텐츠에 포함된 시간 정보를 비교한 후 1차 동기화시켜 동시에 재생 및 디스플레이부에 표시하고, 상기 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 콘텐츠 재생 장치를 포함하는 것을 특징으로 한다.

Description

영상 동기화 처리를 위한 시스템 및 그 제어방법{SYSTEM AND CONTROL METHOD FOR VIDEO SYNCHRONIZATION PROCESSING}
본 발명은 영상 동기화 처리를 위한 시스템 및 그 제어방법에 관한 것으로, 보다 상세하게는 다양한 포맷으로 전송되는 각각의 영상들에 대해 사용자 단말단에서 동기화가 이루어지도록 하는 시스템 및 그 제어방법에 관한 것이다.
최근 전자통신 기술의 발전과 더불어 여러 개의 영상을 사용자 단말에 전송하여 동시에 표시되도록 하는 서비스가 널리 이용되고 있다.
즉, 동일한 시점(시간)이 일치된 서로 다른 영상이 사용자 단말기에서 표시될 수 있도록 하는 것인데, 종래에는 이처럼 복수의 영상간 동기화를 맞추기 위해 영상간 전송 방식이 동일한 스트리밍 프로토콜을 사용해야만 하였다.
여기서 스트리밍(streaming) 이란 인터넷(네트워크)을 바탕으로 사용자들에게 각종 비디오, 오디오 등의 멀티미디어 디지털 정보를 제공하는 기술로 인터넷에서 영상 및 음향 등의 파일을 하드디스크 드라이브에 다운로드 받아 재생하던 것을 다운로드 없이 실시간으로 재생해 주는 기법을 의미한다.
예를 들어 HLS(Http Live Streaming)가 대표적인 것인데, 이는 표준 HTTP(Hyper Text Transport Protocol) 기반 스트리밍 프로토콜에 해당한다.
즉, 이 HLS 프로토콜에서는 스트리밍 데이터를 m3u8 의 확장자를 가진 재생목록 파일과 잘게 쪼개놓은 다수의 ts 파일들(동영상)을 HTTP를 통해 전송하는 방식을 사용하는데, 복수의 영상간 동기화 처리를 위해서 영상 파일 내의 PTS(Presentation Time Stamp)를 기준으로 동일한 프로토콜의 영상간 시간을 동기화하여 재생되도록 하고 있다.
그런데 특히 서로 다른 프로토콜을 이용하는 영상간의 동기화는 쉽지 않은데, 예를 들어 또 다른 스트리밍 프로토콜로써 RTSP/RTP((Real-Time Streaming Protocol/Real-time Transport Protocol)가 있는데, 이러한 RTSP/RTP 방식에도 타임스탬프는 존재하지만, HLS와는 다르게 실제 UTC 기준의 시간이 아니므로 HLS와 RTP 방식 간은 서로 동기화를 맞출 수 있는 기준이 없으며, 이에 따라 RTSP/RTP 와 HLS간의 영상 동기화는 현재까지는 이루어지지 않고 있는 실정이다.
등록특허 제10-1763593호
본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 서로 다른 프로토콜을 이용하는 영상간에도 동기화가 제대로 이루어지도록 하는 시스템 및 그 제어방법에 관한 것이다.
상기한 목적을 달성하기 위해 본 발명에 따른 영상 동기화 처리 시스템은, 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 콘텐츠에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 영상 콘텐츠 제공 시스템과; 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 콘텐츠에 포함된 시간 정보를 비교한 후 1차 동기화시켜 동시에 재생 및 디스플레이부에 표시하고, 상기 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 콘텐츠 재생 장치를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 영상 동기화 처리 시스템은, 영상 콘텐츠 제공 시스템이 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠, 상기 제2 인코딩 배포 파일을 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 배포 파일에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 영상 동기화 처리 시스템과; 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신하고, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하고, 그 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 영상 콘텐츠 재생 장치를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 영상 동기화 처리 시스템은, 영상 콘텐츠 제공 시스템이 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠, 상기 제2 인코딩 배포 파일을 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 중 적어도 어느 하나에 대해 전송시 시간 지연 처리를 수행하는 영상 동기화 처리 시스템과; 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신하고, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하고, 그 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 영상 콘텐츠 재생 장치를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 영상 동기화 처리 시스템의 제어방법은, 영상 콘텐츠 제공 시스템이 타임 코드가 포함된 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 타임 코드가 포함된 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 제공하는 단계와; 영상 콘텐츠 재생 장치가 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 콘텐츠에 포함된 시간 정보를 비교한 후 1차 동기화시켜 동시에 재생 및 디스플레이부에 표시하는 단계와; 상기 영상 콘텐츠 재생 장치가 상기 단계의 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하고, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 단계와; 상기 영상 콘텐츠 제공 시스템이 상기 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 콘텐츠에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 단계를 포함하여 이루어진다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 영상 동기화 처리 시스템의 제어방법은, 영상 콘텐츠 제공 시스템이 타임 코드가 포함된 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 타임 코드가 포함된 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 배포 파일을 제공하는 단계와; 영상 콘텐츠 재생 장치가 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 요청 및 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하는 단계와; 상기 영상 콘텐츠 재생 장치가 상기 단계의 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하고, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 단계와; 상기 영상 콘텐츠 제공 시스템이 상기 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 배포 파일에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 단계를 포함하여 이루어진다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 영상 동기화 처리 시스템의 제어방법은, 영상 콘텐츠 제공 시스템이 타임 코드가 포함된 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보를 포함시켜 생성하고, 타임 코드가 포함된 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보를 포함시켜 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 배포 파일을 제공하는 단계와; 영상 콘텐츠 재생 장치가 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 요청 및 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하는 단계와; 상기 영상 콘텐츠 재생 장치가 상기 단계의 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하고, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 단계와; 상기 영상 콘텐츠 제공 시스템이 상기 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 중 적어도 어느 하나에 대해 전송시 시간 지연 처리를 수행하는 단계를 포함하여 이루어진다.
이상 설명한 바와 같이 본 발명에 따르면,
서로 다른 프로토콜을 이용하여 인코딩 및 전송되는 영상 콘텐츠들이 사용자 단말기에서 서로 정확히 동기화되어 표시될 수 있다.
즉, 프로토콜마다 인코딩 처리시의 걸리는 시간이 다른 경우라도 사용자 단말기에서는 정확히 일치된 시점에 서로 다른 영상이 동시에 표시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 동기화 처리 시스템의 전체적인 개략 구성도이고,
도 2 내지 도 4는 도 1의 영상 동기화 처리 시스템에서 이루어지는 과정을 단계별로 나타낸 도면이고,
도 5는 본 발명의 일 실시예에 따른 영상 동기화 처리 시스템의 제어흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.
또한 이하 본 발명에 따른 각 실시예에서 언급하는 각 신호는 한 번의 연결 등에 의해 전송되는 하나의 신호를 의미할 수도 있지만, 후술하는 특정 기능 수행을 목적으로 전송되는 일련의 신호 그룹을 의미할 수도 있다. 즉, 각 실시예에서는 소정의 시간 간격을 두고 전송되거나 상대 장치로부터의 응답 신호를 수신한 이후에 전송되는 복수 개의 신호들이 편의상 하나의 신호명으로 표현될 수 있는 것이다.
본 발명의 일 실시예에 따른 영상 콘텐츠 제공 시스템(200)의 개략 구성은 도 1에 도시된 바와 같다.
동 도면에 도시된 바와 같이 영상 동기화 처리 시스템(1)은 영상 콘텐츠 제공 시스템(200)과 영상 콘텐츠 재생 장치(100)를 포함하여 구성될 수 있다.
우선 영상 콘텐츠 재생 장치(100)는 영상 콘텐츠 제공 시스템(200)으로부터 영상 콘텐츠를 수신하여 재생 및 표시하는 것으로서, 예를 들어 스마트폰과 같은 무선통신 단말기, 또는 댁내에 구비된 컴퓨터와 같은 유선 통신 단말기가 포함될 수 있다.
특히, 영상 콘텐츠 재생 장치(100)는 영상 콘텐츠 제공 시스템(200)으로부터 서로 다른 프로토콜에 따른 영상 콘텐츠를 수신할 수 있는데, 예를 들어 제1 프로토콜에 따라 인코딩된 제1 인코딩 콘텐츠, 제2 프로토콜에 따라 인코딩된 제2 인코딩 콘텐츠를 수신하여 재생할 수 있다.
이하, 본 실시예를 설명함에 있어서, 제1 프로토콜은 RTP(Real-time Transport Protocol)이고, 제2 프로토콜은 HLS(Http Live Streaming)인 것을 일 예로 한다.
특히, 영상 콘텐츠 재생 장치(100)는 HLS 포맷의 제2 인코딩 콘텐츠를 수신하기 전에, 제2 인코딩 배포 파일을 영상 콘텐츠 제공 시스템(200)으로부터 수신한 후, 그 제2 인코딩 배포 파일에 포함된 내용을 참조하여 필요한 제2 인코딩 콘텐츠를 요청 및 수신할 수 있다.
여기서 제2 인코딩 배포 파일은 제2 인코딩 파일의 순서와 URL 등을 포함하는 것으로서, 예를 들어 M3U8 포맷에 따라 생성된 것일 수 있다.
본 실시예에서는 이러한 제1 인코딩 파일과 제2 인코딩 배포 파일에 각각 시간 정보가 포함되어 있다고 가정한다. 여기서 제1 인코딩 파일과 제2 인코딩 배포 파일에 포함된 시간 정보는 후술하는 바와 같이 영상 콘텐츠 제공 시스템(200)은 소정의 인코딩 과정을 통해 추가로 삽입된 UTC(Coordinated Universal Time)일 수 있다.
영상 콘텐츠 재생 장치(100)는 영상 콘텐츠 제공 시스템(200)으로부터 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠 배포 파일을 수신한 후, 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 수신한다.
예를 들어 현재 수신되어 재생되는 제1 인코딩 콘텐츠에 재생 시간 정보 00:23(즉, 23분)이 포함되어 있고, 제2 인코딩 배포 파일(즉, m3u8)의 최상단에 00:10이 포함되어 있고, 해당 제2 인코딩 배포 파일에 1분 간격의 제2 인코딩 콘텐츠의 주소가 포함되어 있는 경우 13번째 주소(링크)를 이용하여 영상 콘텐츠 제공 시스템(200)에 해당 콘텐츠를 요청 및 수신하여 재생하는 것이다.
이러한 과정이 상술한 1차 동기화 과정에 해당한다.
이러한 1차 동기화 과정을 거쳐 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠가 동시에 재생 및 디스플레이부에 표시되고 있는 상태에서, 영상 콘텐츠 재생 장치(100)는 그 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하는 기능을 수행한다.
여기서, 타임 코드는 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠의 기초가 되는 원 영상 내에 미리 포함되어 있던 것으로서, 예를 들어 촬영과 동시에 포함되는 것일 수 있다.
일 예로 물리적 시계를 촬영한 것일 수도 있고, 촬영 시점에 즉시 표준시를 인식하여 포함된 것일 수도 있다. 이러한 타임 코드는 디스플레이부에 그대로 표시될 수도 있고 이 경우 영상 콘텐츠 시청자가 볼 수도 있는 것이다.
이처럼 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하는 것은 각 영상 프레임에 대한 이미지 처리를 통해 이루어지는데, 이처럼 특정 영상 프레임에 포함된 소정의 타임 코드를 인식하는 것 자체는 공지된 기술에 해당하므로 보다 상세한 설명은 생략한다.
영상 콘텐츠 재생 장치(100)는 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단한 후, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 영상 콘텐츠 제공 시스템(200)에 전송하는 기능도 수행한다.
예를 들어 제1 인코딩 영상에서 판단된 시간이 05:00:04이고, 제2 인코딩 영상에서 판단된 시간이 05:00:06인 경우, 그 차이인 2초를 시간 오차로 판단하고, 해당 시간 오차를 포함하는 보정 요청 신호를 영상 콘텐츠 제공 시스템(200)에 전송하는 것이다.
한편, 영상 콘텐츠 제공 시스템(200)은 영상 콘텐츠 재생 장치(100)에 각종 영상 콘텐츠를 제공하는 기능을 수행하는 것으로서, 특히 기 설정된 프로토콜에 따라 다양한 포맷의 영상 콘텐츠를 제공할 수 있다.
더 나아가 영상 콘텐츠 제공 시스템(200)은 소정의 영상 콘텐츠 배포 파일도 제공할 수 있다.
예를 들어 영상 콘텐츠 제공 시스템(200)은 제1 영상 콘텐츠를 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 생성하되 그 제1 인코딩 콘텐츠에 시간 정보가 포함되도록 할 수 있고, 이러한 제1 인코딩 콘텐츠를 영상 콘텐츠 재생 장치(100)에 제공할 수 있음은 물론이다.
또한 영상 콘텐츠 제공 시스템(200)은 제2 영상 콘텐츠를 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 생성할 수 있는데, 이때 제2 인코딩 배포 파일에 시간 정보가 포함되도록 할 수 있고, 이렇게 생성된 제2 인코딩 배포 파일을 영상 콘텐츠 재생 장치(100)에 제공할 수도 있다.
여기서 제1 인코딩 콘텐츠에 포함되는 시간 정보와 제2 인코딩 배포 파일에 포함된 시간 정보는 예를 들어 UTC(Coordinated Universal Time)일 수 있다.
본 실시예에서는 제1 인코딩 콘텐츠는 RTP(Real-time Transport Protocol)에 따라 생성된 것이고, 제2 인코딩 배포 파일은 M3U8 포맷에 따라 생성된 것을 가정하였으므로, 영상 콘텐츠 제공 시스템(200)은 제1 인코딩 콘텐츠의 RTP 예비필드에 UTC(Coordinated Universal Time)를 포함시키고, 제2 인코딩 배포 파일에 UTC를 포함시킬 수 있다.
특히, 이러한 제2 인코딩 배포 파일을 수신한 영상 콘텐츠 재생 장치(100)로부터 해당 제2 인코딩 배포 파일에 포함된 주소를 이용한 각각의 제2 영상 콘텐츠 요청이 있는 경우, 영상 콘텐츠 제공 시스템(200)은 그 요청받은 제2 영상 콘텐츠를 제공할 수도 있다.
또한, 영상 콘텐츠 제공 시스템(200)은 영상 콘텐츠 재생 장치(100)로부터 수신되는 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 제1 인코딩 콘텐츠 또는 제2 인코딩 콘텐츠의 전송에 대해 시간 지연이 발생하도록 처리하거나 또는 제1 인코딩 콘텐츠에 포함되는 시간 정보와 제2 인코딩 배포 파일에 포함되는 시간 정보 중 적어도 어느 하나를 보정할 수 있다.
이해를 돕기 위해 상술한 과정에 대해 도 2 내지 도 4에 상세히 도시하였다.
우선 도 2를 참조하면, 영상 콘텐츠 제공 시스템(200)은 타임 코드를 포함하는 제1 영상을 인코더(여기서는 RTP 인코더)를 이용하여 인코딩시키는데 이때 RTP 예비 필드에 UTC 시간 정보가 포함되도록 한다(즉, 제1 인코딩 콘텐츠 생성). 이후, 영상 콘텐츠 제공 시스템(200)은 전송을 위한 CDN(Content Delivery Network)을 통해 해당 제1 인코딩 영상(콘텐츠)이 전송되도록 할 수 있다.
또한, 영상 콘텐츠 제공 시스템(200)은 타임 코드를 포함하는 제2 영상을 인코더(여기서는 HLS 인코더)를 이용하여 인코딩시킨 후(즉, 제2 인코딩 콘텐츠 생성), 전송을 위한 CDN(Content Delivery Network)에서 해당 제1 인코딩 영상에 대한 청크(일종의 분할된 일부 콘텐츠)를 생성하고, UTC 시간을 M3U8 파일(제2 인코딩 배포 파일에 해당함)에 포함시키도록 한다.
이에 따라 영상 콘텐츠 재생 장치(100)는 영상 콘텐츠 제공 시스템(200)으로부터 수신되는 제1 영상 콘텐츠와 제2 영상 콘텐츠를 동시에 표시할 수 있다.
물론 제2 영상 콘텐츠의 경우에는 상술한 제2 인코딩 배포 파일을 먼저 수신하여 해석한 후, 순차적으로 제2 인코딩 콘텐츠를 영상 콘텐츠 제공 시스템(200)에 요청 및 수시할 수 있음은 앞서 설명한 바와 같다.
도 3은 영상 콘텐츠 재생 장치(100)에서 1차 동기화 처리가 이루어지는 과정을 나타낸다.
도 3(a)는 영상 콘텐츠 재생 장치(100)가 영상 콘텐츠 제공 시스템(200)으로부터 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠를 수신하여 별도의 동기화 처리 없이 그대로 재생 및 표시하고 있는 상태를 나타내고 있다.
도 3(a)에서 디스플레이부 상에서 표시되는 타임 코드를 비교해보면, 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠의 재생 오차는 4초임을 알 수 있다.
이러한 상태에서 영상 콘텐츠 재생 장치(100)는 제1 인코딩 콘텐츠에 포함된 시간 정보와 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시킬 수 있는데, 예를 들어 제1 인코딩 콘텐츠에 포함된 시간 정보와 동일한 시간 정보를 갖는 제2 인코딩 콘텐츠를 제1 인코딩 콘텐츠에 포함된 시간 정보를 이용하여 선택한 후, 그 선택된 제2 인코딩 콘텐츠 제1 인코딩 콘텐츠와 함께 재생 및 디스플레이부에 표시하는 것이다.
도 3(b)는 이러한 1차 동기화에 의해 디스플레부에 표시되고 있는 상태를 나타낸다.
1차 동기화 과정을 거쳤음에도 여전히 2초의 기간 오차가 발생한다. 이러한 시간 오차는 각 프로토콜에 따른 인코딩 처리 시간이 다르기 때문에 발생하는 것이다.
영상 콘텐츠 재생 장치(100)는 도 3(c)에 도시된 바와 같이 이러한 타임 코드 차이에 해당하는 동기화 시간 오차를 계산한 후, 해당 동기화 시간 오차를 포함하는 보정 요청 신호를 영상 콘텐츠 제공 시스템(200)에 전송한다.
이에 따라 영상 콘텐츠 제공 시스템(200)은 영상 콘텐츠 재생 장치(100)로부터 수신된 보정 요청 신호에 포함된 동기화 시간 오차를 이용하여 제1 인코딩 콘텐츠에 포함되는 시간 정보와 제2 인코딩 배포 파일에 포함되는 시간 정보 중 적어도 어느 하나를 보정할 수 있다.
이러한 과정이 도 4에 도시되었다.
도 4와 도 2를 비교하면, 다른 부분은 동일한데, 제1 프로토콜에 따른 인코더에서 타임 코드 차이만큼 영상 지연 송출을 처리하고 있다.
즉, RTP에 따라 인코딩되는 영상에 대해서 인코더가 2초만큼 늦게 전송되도록 하는 것이다.
이렇게 처리하면 결국 영상 콘텐츠 재생 장치(100)에서는 동일한 시점의 서로 다른 영상이 동시에 표시될 수 있게 된다.
물론, 인코더에서의 영상 지연처리를 수행하지 않고, 상술한 바와 같이 제1 인코딩 콘텐츠에 포함되는 시간 정보에 대해 2초 지연되도록 처리하는 경우도 마찬가지의 효과를 나타낸다.
이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 영상 동기화 처리 시스템(1)의 전체적인 제어흐름을 설명한다.
영상 콘텐츠 제공 시스템(200)은 제1 인코딩 콘텐츠를 생성한 후(단계 S1), 영상 콘텐츠 재생 장치(100)에 전송하고(단계 S3), 제2 인코딩 콘텐츠 및 그에 대응되는 제2 인코딩 콘텐츠 배포 파일을 생성하여(단계 S5) 영상 콘텐츠 재생 장치(100)에 전송한다(단계 S7).
이때 제1 인코딩 콘텐츠 및 제2 인코딩 콘텐츠 배포 파일에는 모두 시간 정보가 포함되어 있다고 가정한다.
영상 콘텐츠 제공 시스템(200)은 이러한 각 콘텐츠 및 배포 파일에 포함된 시간 정보를 기초로 1차 동기화 처리를 수행한다(단계 S9).
예를 들어 제1 인코딩 콘텐츠에 포함된 시간 정보와 일치하는 시간 정보를 갖는 제2 인코딩 콘텐츠에 대해 영상 콘텐츠 제공 시스템(200)에 요청(단계 S11) 및 수신할 수 있다(단계 S13).
이후, 영상 콘텐츠 재생 장치(100)는 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠를 동시에 재생 및 표시하고(단계 S15), 그 표시되는 영상으로부터 타임 코드를 추출하여 비교한 후 동기화 시간 오차를 확인한다(단계 S17).
이어서 영상 콘텐츠 재생 장치(100)는 동기화 시간 오차를 포함하는 보정 요청 신호를 영상 콘텐츠 제공 시스템(200)에 전송하고(단계 S19), 이에 영상 콘텐츠 제공 시스템(200)은 제1 인코딩 콘텐츠에 대해 해당 동기화 시간 오차만큼 시간을 시간 지연시킨 후 전송한다(단계 S21).
상술한 실시예에서는 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠 배포 파일이 영상 콘텐츠 재생 장치(100)에 수신되는 경우를 일 예로 하였으나, 제2 프로토콜에 따라 제2 인코딩 파일에 직접 시간 정보가 포함되는 경우에는 배포 파일의 생성 및 전송 과정이 생략될 수 있다.
즉, 영상 콘텐츠 재생 장치(100)는 제1 인코딩 콘텐츠와 제2 인코딩 콘텐츠를 수신하여 각 콘텐츠에 포함된 시간 정보를 추출한 후 비교하여 앞서 설명한 바와 같은 서로 일치하는 시간의 인코딩 콘텐츠를 동시에 표시할 수 있고, 이후의 과정(즉, 동기화 시간 오차 판단 및 그 이후의 과정)은 앞선 실시예와 동일하게 이루어질 수 있다.
상술한 실시예에서 언급한 영상 콘텐츠 재생 장치(100)는 일종의 관리자 단말기일 수 있다.
즉, 최초 영상 콘텐츠 제공 시스템(200)을 구축한 관리자가 서로 다른 프로토콜에 따라 인코딩되는 영상들이 사용자 단말기에서 실제로 동기화가 제대로 이루어지는지를 확인하기 위해 조작하는 단말기일 수 있는 것이다.
따라서 상술한 과정에 따라 영상 콘텐츠 제공 시스템(200)에서 시간 보정 또는 전송 지연 등이 이루어진 경우에는 관리자 단말기를 이용한 더 이상의 작업이 없더라도, 영상 콘텐츠를 이용하는 사용자 단말기에서는 서로 다른 프로토콜에 따른 영상 콘텐츠들간의 동기화가 정확히 이루어질 수 있게 된다.
한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 구성 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.
또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다.
1 : 영상 동기화 처리 시스템 100 : 영상 콘텐츠 재생 장치
200 : 영상 콘텐츠 제공 시스템

Claims (12)

  1. (a) 영상 콘텐츠 제공 시스템이 타임 코드가 포함된 제1 영상 콘텐츠에 대해 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하고, 타임 코드가 포함된 제2 영상 콘텐츠에 대해 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 제공하는 단계와;
    (b) 영상 콘텐츠 재생 장치가 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 콘텐츠에 포함된 시간 정보를 비교한 후 1차 동기화시켜 동시에 재생 및 디스플레이부에 표시하는 단계와;
    (c) 상기 영상 콘텐츠 재생 장치가 상기 (b) 단계의 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하고, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 단계와;
    (d) 상기 영상 콘텐츠 제공 시스템이 상기 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 콘텐츠에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 단계를 포함하는 것을 특징으로 하는 영상 동기화 처리 시스템의 제어방법.
  2. (a) 영상 콘텐츠 제공 시스템이 타임 코드가 포함된 제1 영상 콘텐츠에 대해 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하고, 타임 코드가 포함된 제2 영상 콘텐츠에 대해 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보가 포함되도록 하여 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 배포 파일을 제공하는 단계와;
    (b) 영상 콘텐츠 재생 장치가 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 요청 및 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하는 단계와;
    (c) 상기 영상 콘텐츠 재생 장치가 상기 (b) 단계의 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하고, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 단계와;
    (d) 상기 영상 콘텐츠 제공 시스템이 상기 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 배포 파일에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 단계를 포함하는 것을 특징으로 하는 영상 동기화 처리 시스템의 제어방법.
  3. (a) 영상 콘텐츠 제공 시스템이 타임 코드가 포함된 제1 영상 콘텐츠에 대해 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하고, 타임 코드가 포함된 제2 영상 콘텐츠에 대해 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보가 포함되도록 하여 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 배포 파일을 제공하는 단계와;
    (b) 영상 콘텐츠 재생 장치가 상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 요청 및 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하는 단계와;
    (c) 상기 영상 콘텐츠 재생 장치가 상기 (b) 단계의 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하고, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 단계와;
    (d) 상기 영상 콘텐츠 제공 시스템이 상기 보정 요청 신호에서 동기화 시간 오차를 추출하고, 그 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 중 적어도 어느 하나에 대해 전송시 시간 지연 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 영상 동기화 처리 시스템의 제어방법.
  4. 제3항에 있어서,
    상기 제1 인코딩 콘텐츠는 RTP(Real-time Transport Protocol)에 따라 생성된 것이고, 상기 제2 인코딩 배포 파일은 M3U8 포맷에 따라 생성된 것을 특징으로 하는 영상 동기화 처리 시스템의 제어방법.
  5. 제4항에 있어서,
    상기 (a) 단계에서는, 상기 영상 콘텐츠 제공 시스템은 상기 제1 인코딩 콘텐츠의 RTP 예비필드에 UTC(Coordinated Universal Time)를 포함시키고, 상기 제2 인코딩 배포 파일에 UTC를 포함시키는 것을 특징으로 하는 영상 동기화 처리 시스템의 제어방법.
  6. 제1항 내지 제5항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  7. 하드웨어와 결합되어 제1항 내지 제5 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.
  8. 제1 영상 콘텐츠에 대해 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하고, 제2 영상 콘텐츠에 대해 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 콘텐츠에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 영상 콘텐츠 제공 시스템과;
    상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 콘텐츠에 포함된 시간 정보를 비교한 후 1차 동기화시켜 동시에 재생 및 디스플레이부에 표시하고, 상기 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 콘텐츠 재생 장치를 포함하는 것을 특징으로 하는 영상 동기화 처리 시스템.
  9. 영상 콘텐츠 제공 시스템이 제1 영상 콘텐츠에 대해 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하고, 제2 영상 콘텐츠에 대해 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보가 포함되도록 하여 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠, 상기 제2 인코딩 배포 파일을 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠에 포함되는 시간 정보와 상기 제2 인코딩 배포 파일에 포함되는 시간 정보 중 적어도 어느 하나를 보정하는 영상 동기화 처리 시스템과;
    상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신하고, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하고, 그 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 영상 콘텐츠 재생 장치를 포함하는 것을 특징으로 하는 영상 동기화 처리 시스템.
  10. 영상 콘텐츠 제공 시스템이 제1 영상 콘텐츠에 대해 제1 프로토콜에 따라 인코딩을 한 제1 인코딩 콘텐츠를 시간 정보가 포함되도록 하여 생성하고, 제2 영상 콘텐츠에 대해 제2 프로토콜에 따라 인코딩을 한 제2 인코딩 콘텐츠를 생성한 후 그 제2 인코딩 콘텐츠에 대응되는 제2 인코딩 배포 파일을 시간 정보가 포함되도록 하여 생성하며, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠, 상기 제2 인코딩 배포 파일을 제공하되, 외부로부터 수신되는 보정 요청 신호에서 추출한 동기화 시간 오차를 기초로 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 중 적어도 어느 하나에 대해 전송시 시간 지연 처리를 수행하는 영상 동기화 처리 시스템과;
    상기 영상 콘텐츠 제공 시스템으로부터 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠 배포 파일을 수신하고, 상기 제1 인코딩 콘텐츠에 포함된 시간 정보와 상기 제2 인코딩 배포 파일에 포함된 시간 정보를 비교한 후 1차 동기화시켜 상기 제1 인코딩 콘텐츠에 대응되는 제2 인코딩 콘텐츠를 수신한 후, 상기 제1 인코딩 콘텐츠와 상기 제2 인코딩 콘텐츠를 동시에 재생 및 디스플레이부에 표시하고, 그 디스플레이부에 각각 표시되는 타임 코드를 상호 비교하여 동기화 시간 오차를 판단하며, 그 판단된 동기화 시간 오차를 포함하는 보정 요청 신호를 상기 영상 콘텐츠 제공 시스템에 전송하는 영상 콘텐츠 재생 장치를 포함하는 것을 특징으로 하는 영상 동기화 처리 시스템.
  11. 제10항에 있어서,
    상기 제1 인코딩 콘텐츠는 RTP(Real-time Transport Protocol)에 따라 생성된 것이고, 상기 제2 인코딩 배포 파일은 M3U8 포맷에 따라 생성된 것을 특징으로 하는 영상 동기화 처리 시스템.
  12. 제11항에 있어서,
    상기 영상 콘텐츠 제공 시스템은 상기 제1 인코딩 콘텐츠의 RTP 예비필드에 UTC(Coordinated Universal Time)를 포함시키고, 상기 제2 인코딩 배포 파일에 UTC를 포함시키는 것을 특징으로 하는 영상 동기화 처리 시스템.
KR1020200006413A 2020-01-17 2020-01-17 영상 동기화 처리를 위한 시스템 및 그 제어방법 KR102273795B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200006413A KR102273795B1 (ko) 2020-01-17 2020-01-17 영상 동기화 처리를 위한 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006413A KR102273795B1 (ko) 2020-01-17 2020-01-17 영상 동기화 처리를 위한 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR102273795B1 true KR102273795B1 (ko) 2021-07-06

Family

ID=76860519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006413A KR102273795B1 (ko) 2020-01-17 2020-01-17 영상 동기화 처리를 위한 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR102273795B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
JP5586511B2 (ja) * 2011-03-25 2014-09-10 日本放送協会 同期制御装置及びプログラム
KR20160023437A (ko) * 2014-08-22 2016-03-03 주식회사 문화방송 시간 동기화 시스템 및 그 방법
KR101763593B1 (ko) 2010-08-24 2017-08-01 엘지전자 주식회사 컨텐츠 동기화 방법 및 그 방법을 채용한 사용자 단말기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763593B1 (ko) 2010-08-24 2017-08-01 엘지전자 주식회사 컨텐츠 동기화 방법 및 그 방법을 채용한 사용자 단말기
JP5586511B2 (ja) * 2011-03-25 2014-09-10 日本放送協会 同期制御装置及びプログラム
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
KR20160023437A (ko) * 2014-08-22 2016-03-03 주식회사 문화방송 시간 동기화 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US11272257B2 (en) Method and apparatus for pushing subtitle data, subtitle display method and apparatus, device and medium
US11252444B2 (en) Video stream processing method, computer device, and storage medium
US11463779B2 (en) Video stream processing method and apparatus, computer device, and storage medium
JP6783293B2 (ja) 複数のオーバーザトップストリーミングクライアントを同期させること
US9591361B2 (en) Streaming of multimedia data from multiple sources
US10887645B2 (en) Processing media data using file tracks for web content
US20140019587A1 (en) Dynamic Adaptive Streaming over Hypertext Transfer Protocol as Hybrid Multirate Media Description, Delivery, and Storage Format
KR102284721B1 (ko) 무선 통신 시스템에서 어플리케이션 데이터를 디스플레이하기 위한 방법 및 장치
KR20120080214A (ko) 다이내믹 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치
US9807448B2 (en) Reception device, transmission device, and data processing method
Boronat et al. HbbTV-compliant platform for hybrid media delivery and synchronization on single-and multi-device scenarios
US10979784B1 (en) Track format for carriage of event messages
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
TWI577186B (zh) 第二內容串流在第二裝置上描繪時間之控制方法及控制裝置
CN114040255A (zh) 直播字幕生成方法、系统、设备及存储介质
CN110519627B (zh) 一种音频数据的同步方法和装置
CN114402572A (zh) 使用带内元数据作为访问参考指纹的基础，以促进与内容相关的动作
CN109756744B (zh) 数据处理方法、电子设备及计算机存储介质
US11818186B2 (en) Distributed network recording system with synchronous multi-actor recording
KR102273795B1 (ko) 영상 동기화 처리를 위한 시스템 및 그 제어방법
CN114697712B (zh) 一种媒体流的下载方法、装置、设备及存储介质
KR101538114B1 (ko) 모바일 스마트 기기 내에서 다중 코덱 기반으로 끊김 없이 동영상을 재생할 수 있도록 하는 동영상 처리 장치 및 방법
KR20200027638A (ko) 복수의 동영상 처리를 위한 장치 및 방법
US20110276662A1 (en) Method of constructing multimedia streaming file format, and method and apparatus for servicing multimedia streaming using the multimedia streaming file format
KR102391755B1 (ko) 정보 처리 장치 및 정보 처리 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant