KR101640148B1 - 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법 - Google Patents

대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR101640148B1
KR101640148B1 KR1020107025805A KR20107025805A KR101640148B1 KR 101640148 B1 KR101640148 B1 KR 101640148B1 KR 1020107025805 A KR1020107025805 A KR 1020107025805A KR 20107025805 A KR20107025805 A KR 20107025805A KR 101640148 B1 KR101640148 B1 KR 101640148B1
Authority
KR
South Korea
Prior art keywords
video
frame
content
interactive
mark
Prior art date
Application number
KR1020107025805A
Other languages
English (en)
Other versions
KR20110014990A (ko
Inventor
이본 레갈레
스테판 과쉬
기욤 비쇼
안쏘니 로렌트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110014990A publication Critical patent/KR20110014990A/ko
Application granted granted Critical
Publication of KR101640148B1 publication Critical patent/KR101640148B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Abstract

본 발명은 스트리밍(streaming) 콘텐츠에 대화형 마크를 삽입하기 위한 디바이스 및 방법에 관한 것이고, 상기 방법은 제 1 포맷(format)의 스트리밍 콘텐츠를 수신하는 단계(S1), 제 2 포맷의 동일한 스트리밍 콘텐츠를 수신하는 단계(S2), 상기 콘텐츠의 제 1 프레임에 대응하는 제 1 포맷의 대화형 마크를 수신하는 단계(S3), 및 제 2 포맷으로 수신된 콘텐츠의 제 2 프레임에 동기가 맞추어진 상기 대화형 마크를 송신하는 단계(S5)를 포함하고, 상기 제 2 프레임에서의 콘텐츠는 상기 제 1 프레임에서의 콘텐츠에 대응한다.

Description

대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법{DEVICE AND METHOD FOR SYNCHRONIZING AN INTERACTIVE MARK TO STREAMING CONTENT}
본 발명은 일반적으로 스트리밍(streaming) 콘텐츠에 관한 것이고, 더 구체적으로는 스트리밍 콘텐츠에 동기화된 대화형(interactive) 마크(mark)의 송신에 관한 것이다.
이 섹션은 아래에 서술되고 및/또는 주장되는 본 발명의 다양한 양상에 관련될 수 있는 기술의 다양한 양상들을 독자들에게 소개하려는 것이다. 본 논의는 독자들에게 본 발명의 다양한 양상에 대한 더 나은 이해를 돕기 위해 배경 정보를 제공하는데 도움이 된다고 믿어진다. 따라서, 이러한 설명은 종래 기술의 인정으로서가 아닌, 이러한 관점으로 읽혀야 한다.
대화형 서비스 메카니즘은, 사용자에게 부가 서비스 또는 대화형 서비스를 제공하기 위하여, 비디오 프로그램과 사용자가 대화할 수 있는 어플리케이션(application) 사이의 동기화를 제공한다. 대화형 서비스의 예시들에는 투표(voting) 어플리캐이션, 대화형 게임, 상품에 대한 정보를 얻는 것, 상품을 주문하는 것 등이 있다. 비디오 프로그램은 생방송일 수 있고, 카메라로부터 방송장치로, 및 궁극적으론 단말기(terminal)로의 스트리밍 출력될 수 있고, 또는 사전에 녹화되어 서버로부터 터미널로의 스트리밍될 수 있다. 또한, 이 비디오프로그램은 터미널에서 한 파일로부터 국부적으로 재생이 될 수 있다. 대화형 서비스는 비디오 프로그램과 동기화되도록 요구될 수 있다. 동기화 정보는 네트워크 측으로부터 관리되고 송신되어, 단말기에 의해 검색된다. 이러한 동기화 정보는 대화형 객체라 불리는 관련된 대화형 어플리케이션 또는 대화형 어플리케이션의 일부를 활성화시키는 시점을 알 수 있도록 허용한다.
대화형 객체는 예를 들어, 사람 대 기계 인터페이스(Man to Machine Interface)를 사용하여, 단말기의 사용자에게 사용자가 현재 시청하고 있는 비디오 프로그램과 대화할 수 있는 능력을 제공하는 소위 어플릿(applet) 또는 스크립트(script)와 같은 (처리기에 의해 실행될 수 있고, 가상 머신에 의해 해석될 수 있는) 소프트웨어의 단편이다. 비디오 배포 시스템들에서, 대화형 콘텐츠는 일반적으로 종단간 해결책들을 사용하여, 콘텐츠 제공자로부터, 방송장치를 통하여 단말기로 송신된다. 콘텐츠 제공자 및 방송 장치는 때때로 오직 하나의 엔티티를 형성한다.
톰슨 라이센싱의 유럽 특허 출원 07300769.2는 RTP 타임스탬프를 사용하는 동기화 마크들의 형식으로 대화형 콘텐츠의 송신을 서술한다.
대화형 콘텐츠의 삽입은 비디오 인코더에서 반드시 수행되지는 않는다. 그래서, 대화형 콘텐츠는 비디오 인코더의 출력부에서 비디오 콘텐츠와 정확하게 동기화되지 않는다.
본 발명은 종래기술에서 동기화에 대한 관심사 중 적어도 일부를 개선하도록 시도한다.
즉, 본 발명은 스트리밍 콘텐츠에서 대화형 마크를 삽입하기 위한 방법에 관한 것이고, 본 방법은, 스트리밍 콘텐츠를 제 1 형식으로 수신하는 단계, 동일한 스트리밍 콘텐츠를 제 2 형식으로 수신하는 단계, 제 1 형식의 콘텐츠의 제 1 프레임에 대응하는 대화형 마크를 수신하는 단계 및 제 2 형식으로 수신된 콘텐츠의 제 2 프레임에 동기화된 대화형 마크를 송신하는 단계를 포함하며, 제 2 프레임에서의 콘텐츠는 제 1 프레임에서의 콘텐츠에 대응한다.
하나의 실시예에 따라, 본 방법은 제 1 형식의 스트리밍 콘텐츠의 제 1 프레임 수신과, 제 2 형식의 스트리밍 콘텐츠의 제 2 프레임 수신 사이의 지연을 계산하는 단계를 포함하고, 제 2 프레임에서의 콘텐츠는 제 1 프레임에서의 콘텐츠에 대응한다.
하나의 실시예에 따라, 이 계산 단계는 제 1 콘텐츠 및 제 2 콘텐츠의 수신을 시작할 때 단 한 번만 수행되거나, 반복적으로 수행된다.
하나의 실시예에 따라, 대화형 마크는 제 2 프레임에 첨부된다.
하나의 실시예에 따라, 대화형 마크는 제 2 프레임과 상이한 패킷에서 송신된다.
하나의 실시예에 따라, 제 1 형식은 압축되지 않은 형식이고, 제 2 형식은 압축된 형식이다.
하나의 실시예에 따라, 콘텐츠는 비디오 콘텐츠이다.
하나의 실시예에 따라, 압축된 콘텐츠는 RTP 타임스탬프를 포함하고, 대화형 마크는 RTP 타임스탬프에 동기화된다.
본 발명의 다른 객체는 제 1 형식의 스트리밍 콘텐츠를 수신하고, 제 2 형식의 동일한 스트리밍 콘텐츠를 수신하며, 제 3 형식의 스트리밍 콘텐츠를 송신하는 통신 수단과, 제 1 형식의 콘텐츠의 제 1 프레임에 대응하는 대화형 마크의 수신시, 제 2 형식으로 수신된 콘텐츠의 제 2 프레임에 동기가 맞추어진 대화형 마크를 송신하기 위한 마킹 수단을 포함하고, 제 2 프레임에서의 콘텐츠는 제 1 프레임에서의 콘텐츠에 대응한다.
하나의 실시예에 따라, 디바이스는 제 1 형식의 스트리밍 콘텐츠의 제 1 프레임의 수신과 제 2 형식의 스트리밍 콘텐츠의 제 2 프레임 수신 사이의 지연을 계산하기 위한 교정 수단을 포함하고, 제 2 프레임에서의 콘텐츠는 제 1 프레임에서의 콘텐츠에 대응한다.
하나의 실시예에 따라, 제 1 형식은 압축되지 않은 형식이고, 제 2 형식은 압축된 형식이다.
본 발명의 다른 객체는 컴퓨터 프로그램 제품이고, 이 컴퓨터 프로그램 제품은, 이 프로그램이 컴퓨터상에서 실행될 때, 본 발명에 따른 방법의 단계를 실행하기 위한 프로그램 코드 지령들을 포함한다. "컴퓨터 프로그램 제품"은 디스켓 또는 카세트와 같은 프로그램을 내포하는 저장 공간뿐 아니라, 전기 신호 또는 광 신호와 같은 신호일 수 있는 컴퓨터 프로그램 지지체를 의미한다.
개시된 실시예들의 범위에 상응하는 특정 양상들이 아래에 기재된다. 이러한 양상들이 단지 독자에게 본 발명이 취할 수 있는 특정 형식들의 간단한 요약을 제공하기 위하여 제시된다는 점과 이러한 양상들이 본 발명의 범위를 제한하려는 것은 아니라는 점이 이해되어야 한다. 게다가, 본 발명은 아래에 기재되지 않을 수 있는 다양한 양상들을 포함할 수 있다.
본 발명은 첨부 도면을 참조하여, 결코 제한적이지 않은 다음의 구체적인 표현 및 실시예에 의하여 더욱 잘 이해되고 묘사될 것이다.
본 발명은 대화형 마크와 스트리밍 콘텐츠를 동기화를 시켜서, 대화형 서비스, 오디오/비디오 스트리밍 서비스에 존재하던 종래 기술의 문제점을 개선하는 효과가 있다.
도 1은 실시예에 따른 시스템의 블록도.
도 2는 실시예에 따른 객체의 블록도.
도 3은 실시예에 따른 모듈의 블록도.
도 4는 실시예에 따른 마크 삽입 방법을 도시하는 흐름도.
도 1 내지 도 3에서, 제시된 블록들은, 물리적으로 분리된 엔티티들에 반드시 대응하는 것이 아닌, 순전히 기능적인 엔티티들이다. 즉, 이러한 블록들은 하드웨어 또는 소프트웨어의 형식으로 전개될 수 있거나, 또는 하나 또는 몇몇의 집적회로로 구현될 수 있다.
예시적인 실시예들은 RTP를 사용하는 압축된 비디오의 송신의 체제 내에 속하지만, 본 발명은 특정 환경에 제한되지 않고, 스트리밍 콘텐츠가 압축되지 않은 방식 및 압축된 방식으로 연속적으로 송신되는 다른 체제 내에서도 적용될 수 있다.
실시예에 따른 시스템은 도 1에 도시된다. 오직 하나의 단말기만이 제시되지만, 하나 이상의 단말기가 이 시스템에 제공될 수 있음이 명백하다. 비디오 소스(1)는 서버 또는 임의의 다른 비디오 프로그램 소스이다. 이 비디오 소스는 비디오 프로그램을 압축되지 않은 포맷으로 방송한다. 이 비디오 프로그램은 비디오 인코더(2) 및 이후로 MID로 언급되는 마크 삽입 디바이스(3)에 의해 수신된다. 비디오 프로그램은 오디오-비디오 콘텐츠를 포함하고, 문자다중방송(Teletext) 또는 클로우즈드(closed) 캡션과 같은 대화형 콘텐츠를 포함할 수 있다.
비디오 인코더(2)는 압축되지 않은 비디오을, 후에 RTP/RTCP를 사용하여 송신되는 압축된 스트림들로 압축한다. 비디오은 예를 들어, UTI-T H.264 표준에 따라 인코딩된다. 그런 후에, RTP 스트림들은 IP 네트워크(5)를 통해 단말기(6)에 전달된다. IP 네트워크는 인터넷과 같은 멀티캐스트 송신을 지원하는 임의의 IP 네트워크일 수 있다.
또한, MID는 인코더로부터 압축된 스트리밍 콘텐츠를 수신한다. MID는 마크들을 프로그램에 삽입하기 위하여 적응된다. 대화형 제어기(4)는 적절한 시점에, 콘텐츠에 삽입하기 위한 대화형 마크를 MID에 제공하기 위하여 적응된다. 대화형 제어기는 조작자(operator)가 방송중인 비디오 프로그램을 시청하도록 허용하는 모니터를 포함한다. 대화형 제어기에서 저작 도구(authoring tool)는 미리 대화형 시퀀스들을 생성하여 이 대화형 시퀀스들을 MID에 전달하는 수단을 제공하는데, 이러한 MID는 후에, 이러한 대화형 시퀀스들을 전용 채널 또는 관련된 미디어(media) 스트림에 내장된 채널을 통하여 단말기에 전송한다. 물론, 대화형 제어기 및 MID는 동일한 디바이스에 배치(collocate)될 수 있다.
예를 들어, 축구 시합 동안, 버튼을 누름으로써 골이 마킹되었을 때, 조작자는 터미널에 사전에 적재된 어플리케이션의 실행을 나타내는 마크의 생성을 개시한다. 이러한 어플리케이션은 예를 들어, 축구 시합에서 최고의 선수를 투표하기 위한 권유일 수 있다. MID는 엔트리(entry)로서, 터미널들에 의해 손쉽게 해석될 수 있는 URI 또는 식별자와 같이, 활성화하는 객체에 대한 기준을 취한다. 그런 후에, 이러한 마크는 비디오 렌더링(rendering)에 따라 특정 시점에서 행동을 개시하기 위하여 터미널에 의해 인에이블러(enabler)로 사용된다.
이 마크는 헤더(header) 확장을 사용하여 비디오 RTP 패킷에 내장될 수 있거나, 전용 마크 스트림 상에서 송신되고, 비디오 스트림과 동기화된 자신의 RTP 패킷이 될 수 있다. 비디오의 렌더링 시간은 RTP 타임스탬프에 기초한다. 게다가, 이 RTP 타임스탬프는 마킹을 위해 RTP 헤더 확장 사용의 경우에서, 비디오 스트림의 RTP 패킷의 어느 곳에 마크를 삽입해야 할지를 나타낸다. 이 마크가 별도의 마크 스트림으로 송신되는 경우, 비디오 RTP 타임스탬프는 절대시간에 대응하는 올바른 타임 스탬프를 이용하여 대응하는 마크 스트림의 RTP 패킷을 올바른 시간에 생성하기 위한 절대 시간으로 변환된다. 비디오 RTP 타임스탬프들의 절대시간으로의 변환은 비디오 인코더로부터 수신된 RTCP 송신기 리포트들(sender report) 덕분에 완료된다.
MID(3)는 도 2에 도시된다. 이 MID는 처리 모듈(32), 통신 모듈(31), 저장 모듈(33), 및 마킹 모듈(34)을 포함한다. 내부 버스(36)는 모듈들을 연결하여 이들 사이의 제어 패킷, 데이터 패킷 및 신호들의 송신을 가능하도록 적응된다. 통신 모듈(31)은 비디오 소스 및 비디오 인코더로부터 비디오 데이터를 수신하는 수단을 포함한다. 이 통신 모듈(31)은 비디오 인코더 및 대화형 제어기를 사용하여, 데이터를 송신하고 수신하는 수단을 포함한다. 이는 또한 데이터를 모바일 단말기에 송신하는 수단도 포함한다.
마킹 모듈(34)은 비디오에 대응하는 대화형 정보를 삽입하기 위한 수단을 제공하도록 의도된다. 타이밍 모듈(341)은 대화형 마크가 비디오 프레임에 삽입되는 타이밍을 제공하도록 의도된다. 삽입 모듈(342)은 마크를 비디오 프레임에 삽입하도록 의도된다. 이 삽입 모듈(342)은 대화형 제어기로부터 수신된 정보에 대한 마크를 생성한다. 교정 모듈(343)은 입력시간에 대한 출력시간의 교정을 수행하도록 적응된다.
그런 후에, MID는 비디오 프레임의 시각화에 대한 시간과 프레임이 인코더의 출력부에서 송신되는 패킷의 RTP 타임스탬프 사이에 대응을 이루도록 적응된다. 더 구체적으로, MID는, 조작자가 디스플레이 상에서 시청하는 비디오 프로그램에 대응하는 대화형 마크를 생성하는 시간과, 이러한 프로그램에 대응하는 인코딩이 된 프래임이 MID에 의해 출력되는 시간 사이에 대응을 이루도록 적응된다.
교정 모듈(343)은 도 3에서 더 설명된다. 제 1 통신 모듈(3.1) 및 제 2 통신 모듈(3.2)은 도 2의 통신 모듈(31)의 일부이다. 제 1 통신 모듈은 비디오 소스(1)로부터 압축되지 않은 비디오을 수신한다. 제 2 통신 모듈은 비디오 인코더(2)로부터 압축된 비디오을 수신한다. 교정 모듈은 제 1 통신 모듈(3.1)로부터 압축되지 않은 비디오, 즉 제 1 비디오을 수신하는 비디오 취득 모듈(3.3)을 포함한다. 비디오 프레임은 MID 클럭의 값(t0)과 함께 캡쳐(capture) 된다. t0는 비디오 프레임이 MID에서 캡쳐될 때의 시간 값이고, 여기에서 시간은 MID의 클럭 값에 대응한다. 비디오 취득 모듈(3.3)은 제 1 비디오 프레임을 비디오 매칭(matching) 모듈(3.6)에 송신한다.
인코딩된 비디오 취득 모듈(3.4)은 제 2 통신 모듈(3.2)로부터 압축된 비디오을 수신한다. 이 모듈은 압축된 비디오을 비디오 프레임(frame_i)을 디코딩하는 비디오 디코딩 모듈(3.5)에 송신하여, RTP 타임스탬프(RTPi)의 값과, 대응하는 인코더의 값(tVi)을 또한 취하고, 이러한 값들 모두 인코더(2)에 의해 생성된 RTCP 송신기 리포트 덕분에 계산된다.
제 1 비디오 및 제 2 비디오의 포맷 및 크기는 디코딩 이후에 동일해진다. 예를 들어, 제 1 비디오의 포맷은 YUV 420 포맷이다. 그러면, 인코더로부터 RTP 패킷들을 수신하는 이더넷 인터페이스인 제 2 인터페이스상에 캡쳐된 RTP 스트림은 비디오 디코딩 모듈(3.5)에 의해 처리되지 않은 YUV420 비디오 프레임들로 디코딩된다. 그런 후에, 비디오 디코딩 모듈은 소위 제 2 비디오 프레임들인 디코딩된 비디오 프레임을, 비디오 매칭 모듈에 송신한다. 이는 대응하는 RTPVi 및 tVi를 갖는 각 frame_i를 송신한다. 모든 tVi 값들은 다음의 수식을 사용함으로써 RTP 비디오 스트림을 수반하는 RTCP 송신기 리포트들의 도움으로 계산된다.
Figure 112010075157044-pct00001
여기에서,
- tRTCP는 RTCP 송신기 리포트에서 주어진 시간 값,
- RTPRTCP는 RTCP 송신기 리포트에서 주어진 tRTCP에 대응하는 RTP 타임스탬프,
- RTPVi는 frame_i의 RTP 타임스탬프,
- 비디오시간스케일(scale)은 초당 RTP 타임스탬프 단위인, 비디오 인코더의 프레임 방출 주파수에 대응한다.
비디오시간스케일은 기준 시간 스케일과 RTP 타임스탬프 사이에 대응의 제공을 허용한다. 비디오시간스케일은 비디오 인코더의 프레임 방출 주파수에 대응한다. 이 비디오시간스케일은 인코더에 의해 SDP 공지(RFC 4566)를 통하여 수신기들에게 제공된다. RFC는 RTP를 통해 방송된 매체(비디오, 오디오 또는 다른 것)의 기술이 "클럭 속도(clock rate)" 필드를 결정하는 소위 "rtpmap"의 속성을 내포한다는 것을 규정한다. 또한, 인코더는 오디오시간스케일을 분배한다.
그런 후에, 교정은 비디오 매칭 모듈에서 수행된다. 제 2 프레임들 각각의 픽셀들은 다음의 식을 사용하는 제 1 프레임의 픽셀들과 비교되고, 여기에서 MSE는 평균 제곱 오차이다.
Figure 112010075157044-pct00002
여기에서,
- M은 픽셀들의 수에 형태로 디코딩된 프레임의 폭,
- N은 픽셀들의 수에 형태로 디코딩된 프레임의 높이,
- f(i, j)는 제 2 프레임의 픽셀(i, j),
- F(i, j)는 제 1 프레임의 픽셀(i, j)이다.
이 계산은 오직 프레임의 Y(휘도(luma)) 평면을 통해만 수행되고, U 및 V(채도(chroma)) 평면들은 무시된다. 대안적으로 한 평면씩 계산함으로써, 및 예를 들어, 다음의 가중치, Y에 대해 4, U에 대해 1, 및 V에 대해 1을 사용한 결과들을 평균을 냄으로써, 프레임의 모든 평면상에서 이러한 계산이 수행될 수 있다.
그런 후에, 비디오 매칭 모듈은 데시벨(dB) 단위인 피크(peak) 신호대 잡음비(PSNR)를 계산한다. 이는 다음의 식에 따라, MSE의 제곱 루트인, 루트 평균 제곱 오차(RMSE)를 사용한다.
Figure 112010075157044-pct00003
그런 후에, PSNR의 최대값이 선택된다. 이는, 입력 프레임에 더 나은 매칭을 하는 frame_i에 대응한다. 비디오 매칭 모듈은 클럭 값(tVi) 및 이러한 frame_i의 RTPVi 값을 취한다. 이러한 RTPVi 값은 t0 때 수신된 제 1 프레임과 더 나은 매칭을 하는 RTP 프레임의 값이다. 이는 RTPV0라 불리고 RTP 대화형 스트림 타임라인(timeline) 기준에서 타임스탬프 값(RTP0)에 대응한다.
이러한 점에서, 인코더의 입력시 시간과 RTP 타임라인 사이의 관계가 설립된다. 교정은 완료된다. 그런 후에, 이러한 정보는 아래에서 서술된 마크 삽입에서 사용된다.
작동자가 ti 때 수신된 제 1 프레임의 수신 시 마크 삽입을 수행할 때, 마크는 다음 식에 대응하는 RTP 타임스탬프 값(RTPi)으로 송신된 프레임에 부속된다.
Figure 112010075157044-pct00004
여기에서,
- △d는 디스플레이 체인(chain)에 의해 유도된 일정한 지연 값이다. 이는 MID에서 설정된 고정 값이다.
- 대화형시간스케일은 (초당 RTP 타임스탬프 단위로) MID의 대화형 트리거(trigger) 방출 주파수에 대응한다.
대화형시간스케일은 MID에 의해 수신기들에게 분배된다. MID는 SDP 파일들을 차단하고, 대화형시간스케일 파라미터를 삽입한다. 그런 후에, MID는 수정된 SDP파일을 수신기들로 송신한다.
더 일반적으로, SDP 파일들은 디코더 및 MID 이외의 디바이스에서도 구축될 수 있다. 그런 후에, 이러한 디바이스는 인코더 및 MID로부터 수신된 정보로부터 완전한 SDP파일을 구축할 수 있다.
실시예에 따라, 마크는 마크 스트림이라 불리는, 전용 RTP 스트림의 일부이다. 마크 스트림은 도 1에서 나타난 바와 같이, IP 네트워크를 통해 터미널(6)에 송신된다. 물론, 마크는 그 자신이 비디오 RTP 스트림에 삽입될 수 있다. 이러한 경우에서, MID는 인코더의 출력부에 있으면서, RTP 헤더 확장이 추가되는, 유입되는 RTP 패킷들을 필터링 하기 위하여 프록시(proxy) 역할을 수행한다. 인코더는 RTP 패킷들을 IP 네트워크에 직접 송신할 수는 없지만, 이들을 MID에 송신할 수는 있다. 마크들 그 자체가 비디오 RTP 스트림에 삽입되는 경우, RTPV0 및 RTP0는 동일해 지고, 대화형시간스케일은 비디오시간스케일과 동일해진다.
실시예에 따라, 인코더의 클럭 및 MID의 클럭은 동기화된다. 네트워크 시간 프로토콜(NTP)은, 클럭을 동일한 값으로 세팅하기 위해 사용된다: 인코더와 MID가 동일한 NTP 서버를 사용한다. 그런 후에, RTP 타임스탬프들 사이에 대응이 모두에 대해 단 한 번만 계산된다.
대안적으로, MID는 RTP 예측을 조정하기 위하여 드리프트(drift) 보정 요소(C)를 계산한다. 이러한 요소는 인코더의 출력부에서 RTP 패킷들을 캡쳐함으로써 얻어진다. (캡쳐 시간, RTP 타임스탬프)로 정의된 데이터 포인트와 함께, 이러한 데이터 포인트을 통하여 직선회기 선의 기울기인 b를 이용하여, C는, C = b / 비디오시간스케일, 의 값으로 설정된다. RTP 예측 식은,
Figure 112010075157044-pct00005
가 된다.
위에서 서술된 마크 삽입 방법은 도 4에서 설명된다.
단계(S1)에서, MID는 압축되지 않은 스트리밍 콘텐츠의 프레임을 수신한다.
단계(S2)에서, MID는 압축된 스트리밍 콘텐츠의 프레임을 수신한다. 이는, 압축되지 않은 형식으로 수신된 스트리밍 콘텐츠와 동일한 스트리밍 콘텐츠이다.
단계(S3)에서, MID는 t0때 수신된 압축되지 않은 스트리밍 콘텐츠의 프레임에 대응하는 대화형 마크를 수신한다. MID는 스트리밍 콘텐츠에서 대화형 마크를 삽입하기 위하여 적응된다. 특히, MID는 압축된 스트리밍 콘텐츠에서 대화형 마크를 송신한다.
단계(S4)에서, MID는 대화형 마크를 t0 때 수신된 압축되지 않은 스트리밍 콘텐츠의 프레임에 대응하는 압축된 콘텐츠의 프레임에 동기화시킨다. 단계(S5)에서, MID는 대화형 마크를 송신한다.
실시예는 비디오 스트림에 대해 서술되었다. 이는, 물론 오디오 스트림에도 적용될 수 있다. 이러한 경우에서, 시스템은 비디오 인코더 및 디코더 대신에, 오디오 인코더 및 디코더를 포함한다. MID의 입력부 및 출력부 사이에서 교정이 수행된다. 압축되지 않은 오디오 및 인코딩된 오디오는, 입력 신호에 대해서는 대략 10초 및 출력 신호에 대해서는 1분의 충분히 긴 기간 동안, MID의 입력부 및 출력부에서 캡쳐된다.
오디오 샘플링 속도는 압축되지 않은 오디오 및 인코딩된 오디오에 대해서는 동일하지 않다. 샘플링 파라미터들은 SDP 신호화를 통하여 이용가능해진다. 이는 MID가 그 자체로 잘 알려진 샘플링 속도 변환과, 만일 필요하다면, 단일 모노 채널을 취하기 위하여 우측 및 좌측 채널들을 평균을 내는 것과 같이, 채널들의 수의 수정을 수행하도록 허용한다.
입력부에서의 변환된 신호와, 출력부 신호 사이의 상관관계는 다음의 수식으로 산정되고, 여기에서 fn 및 gn은 이산형 함수이다.
Figure 112010075157044-pct00006
이러한 f*g 함수의 값은 f 및 g 함수들의 상관관계가 높을 때, 높은 값을 갖는다. 입력 신호 및 출력 신호 사이의 간격은 가장 높은 상관관계에 대응하는 n최대값 값이다.
그러면, RTP의 값은
Figure 112010075157044-pct00007
이 된다.
그리고 RTP 타임스탬프 값은
Figure 112010075157044-pct00008
로 예측될 수 있다.
서술에서 개시된 언급들, 청구항, 및 도면들은 개별적으로 또는 임의의 적절한 혼합으로 제공될 수 있다. 특징부들은, 적절하다면, 하드웨어, 소프트웨어, 또는 이 둘의 혼합으로 구현될 수 있다.
여기에서, "일 실시예" 또는 "실시예"의 언급은 실시예에 관련하여 서술된 특정 특징부, 구조, 또는 특징은 본 발명의 적어도 하나의 구현에서 포함될 수 있음을 의미한다. 상세한 설명의 다양한 곳에서 어구인 "일 실시예"의 출현은 반드시 동일한 실시예를 언급하는 것은 아니고, 반드시 다른 실시예들의 상호 배타적인 별도의 대안적인 실시예일 필요도 없다.
청구항들에서 나타나는 참조 번호들은 오적 설명의 목적으로 존재하고, 청구항들의 범위에 제한적인 영향을 미치지 않아야 한다.
1 : 비디오 소스 2 : 비디오 인코더
3 : 마크 삽입 디바이스 4 : 대화형 제어기
5 : IP 네트워크 6 : 단말기
31 : 통신 모듈 32 : 처리 모듈
33 : 저장 모듈 34 : 마킹 모듈
36 : 내부 버스 341 : 타이밍 모듈
342 : 삽입 모듈 343 : 교정 모듈

Claims (12)

  1. 마크 삽입 디바이스(3)에서 스트리밍(streaming) 콘텐츠에 대화형 마크(mark)를 삽입하기 위한 방법으로서,
    상기 방법은, 상기 디바이스에서,
    - 제 1 소스 디바이스(1)로부터 압축되지 않은 포맷(format)으로 스트리밍 콘텐츠를 수신하는 단계(S1),
    - 제 2 디바이스(2)로부터, 그리고 RTP를 통해 송신된, 압축된 포맷인 상기 스트리밍 콘텐츠를 수신하는 단계(S2),
    - 제 3 디바이스(4)로부터 상기 스트리밍 콘텐츠의 제 1 프레임에 대응하는 대화형 마크를 압축되지 않은 포맷으로 수신하는 단계(S3),
    - 압축된 포맷으로 상기 스트리밍 콘텐츠의 제 2 프레임을 식별하는 단계로서, 상기 제 2 프레임은 콘텐츠가 상기 제 1 프레임에서의 콘텐츠에 대응하는 프레임인, 식별 단계와,
    - 상기 제 2 프레임 중 하나의 프레임에 대응하는 타임스탬프를 갖는 RTP 패킷으로 상기 대화형 마크를 송신하는 단계(S5)를
    포함하는, 스트리밍 콘텐츠에 대화형 마크를 삽입하기 위한 방법.
  2. 디바이스(3)로서,
    - 제 1 디바이스(1)로부터 압축되지 않은 포맷의 스트리밍 콘텐츠를 수신하고, 제 2 디바이스(2)로부터, 그리고 RTP를 통해 송신된, 압축된 형식의 상기 스트리밍 콘텐츠를 수신하여, 상기 스트리밍 콘텐츠를 압축된 포맷으로 송신하는, 통신 수단(31)과,
    - 제 3 디바이스(4)로부터 압축되지 않은 포맷인 상기 스트리밍 콘텐츠의 제 1 프레임에 대응하는 대화형 마크의 수신시, 콘텐츠가 상기 제 1 프레임에서의 콘텐츠에 대응하는 상기 스트리밍 콘텐츠의 제 2 프레임을 압축된 포맷으로 식별하고, 상기 제 2 프레임 중 하나의 프레임에 대응하는 타임스탬프를 갖는 상기 대화형 마크를 RTP패킷으로 송신하는, 마킹 수단(34)을
    포함하는, 디바이스.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020107025805A 2008-05-19 2009-05-14 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법 KR101640148B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08305178.9 2008-05-19
EP08305178A EP2124449A1 (en) 2008-05-19 2008-05-19 Device and method for synchronizing an interactive mark to streaming content

Publications (2)

Publication Number Publication Date
KR20110014990A KR20110014990A (ko) 2011-02-14
KR101640148B1 true KR101640148B1 (ko) 2016-07-15

Family

ID=39864921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107025805A KR101640148B1 (ko) 2008-05-19 2009-05-14 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법

Country Status (6)

Country Link
US (1) US9596505B2 (ko)
EP (2) EP2124449A1 (ko)
JP (1) JP5372143B2 (ko)
KR (1) KR101640148B1 (ko)
CN (1) CN102037728B (ko)
WO (1) WO2009141271A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503340B (zh) * 2011-03-04 2016-01-13 株式会社电通 同步内容广播分发系统
JP2013134119A (ja) * 2011-12-26 2013-07-08 Sony Corp 送信装置、送信方法、受信装置、受信方法、同期伝送システム、同期伝送方法、およびプログラム
CN104081783A (zh) * 2012-01-06 2014-10-01 汤姆逊许可公司 用于将社交消息与内容时间轴同步的方法和系统
US9420322B2 (en) * 2012-03-14 2016-08-16 Time Warner Cable Enterprises Llc System and method for delivering compressed applications
US9883361B2 (en) * 2012-07-27 2018-01-30 Qualcomm Incorporated Delivering time synchronized arbitrary data in an RTP session
CN104735552A (zh) * 2013-12-23 2015-06-24 北京中传数广技术有限公司 一种直播视频标签插入的方法与系统
CN105100963B (zh) * 2014-05-22 2017-12-22 纬创资通股份有限公司 影音媒体文件合成方法与服务系统
CN110998726B (zh) 2017-06-29 2021-09-17 杜比国际公司 用于使外部内容适配视频流的方法、系统和计算机可读媒体
CN110191367B (zh) * 2018-02-23 2022-02-11 阿里巴巴集团控股有限公司 信息同步处理方法、装置及电子设备
EP4176586A1 (en) * 2020-07-03 2023-05-10 Luminex Lighting Control Equipment NV Method, transmitting device and receiving device for streaming events

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6065050A (en) * 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
JPH11146362A (ja) * 1997-11-12 1999-05-28 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに送受信装置および送受信方法
US7954056B2 (en) * 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US20030001880A1 (en) * 2001-04-18 2003-01-02 Parkervision, Inc. Method, system, and computer program product for producing and distributing enhanced media
JP4407007B2 (ja) 2000-05-02 2010-02-03 ソニー株式会社 データ送信装置及び方法
US20020083091A1 (en) * 2000-11-29 2002-06-27 Gregory Pulier Seamless integration of video on a background object
US7530086B2 (en) * 2000-12-12 2009-05-05 Hewlett-Packard Development Company, L.P. Media program timing and identity delivery method and system
KR100441589B1 (ko) 2002-04-01 2004-07-23 삼성전자주식회사 Ｒｔｐ패킷 생성/복원 장치 및 방법
US7111314B2 (en) * 2002-05-03 2006-09-19 Time Warner Entertainment Company, L.P. Technique for delivering entertainment programming content including interactive features in a communications network
US7206327B2 (en) 2002-05-17 2007-04-17 Broadcom Corporation Method and circuit for insertion of time stamp into real time data
KR20050052531A (ko) * 2002-10-15 2005-06-02 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｉｐ 네트워크를 통해 스캐일 가능한 코드화된 비디오를전송하기 위한 시스템 및 방법
US7403536B2 (en) 2002-12-19 2008-07-22 International Business Machines Corporation Method and system for resequencing data packets switched through a parallel packet switch
KR100556826B1 (ko) 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
EP1629502A1 (en) * 2003-05-16 2006-03-01 Koninklijke Philips Electronics N.V. Method of recording and of replaying and video recording and replay systems
JP2005012361A (ja) * 2003-06-17 2005-01-13 Mitsubishi Electric Corp 情報配信装置及び情報再生装置
KR20050001242A (ko) 2003-06-27 2005-01-06 엘지전자 주식회사 이동 통신 단말기의 화상 통화 방법
FR2857813A1 (fr) 2003-07-16 2005-01-21 St Microelectronics Sa Methode d'insertion de marques de synchronisation dans un flux video, compatible avec un chiffrage par blocs
JP2005159743A (ja) * 2003-11-26 2005-06-16 Sharp Corp 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム
CN1627813A (zh) * 2003-12-09 2005-06-15 皇家飞利浦电子股份有限公司 一种生成精彩片段的方法和装置
KR100565333B1 (ko) 2004-06-22 2006-03-30 엘지전자 주식회사 휴대단말기의 비디오 오디오 동기장치 및 방법
GB2419975A (en) 2004-11-09 2006-05-10 Nokia Corp Auxiliary content handling
JP2006279294A (ja) * 2005-03-28 2006-10-12 Tdk Corp コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム
WO2006129236A2 (en) 2005-06-03 2006-12-07 Koninklijke Philips Electronics N.V. Method and apparatus for recording and trick playing interactive digital tv program
US20070064813A1 (en) 2005-09-16 2007-03-22 Terayon Communication Systems, Inc., A Delaware Corporation Distributed synchronous program superimposition
US8994879B2 (en) 2005-10-21 2015-03-31 Thomson Licensing Method and apparatus for audio and video synchronization timestamp rollover correction
US7869420B2 (en) * 2005-11-16 2011-01-11 Cisco Technology, Inc. Method and system for in-band signaling of multiple media streams
US7706740B2 (en) * 2006-01-06 2010-04-27 Qualcomm Incorporated Apparatus and methods of selective collection and selective presentation of content
WO2007097603A2 (en) 2006-02-27 2007-08-30 Samsung Electronics Co., Ltd. Method and apparatus for supporting mobility in dvb-h cbms system
EP1855402A1 (en) 2006-05-11 2007-11-14 Koninklijke Philips Electronics N.V. Transmission, reception and synchronisation of two data streams
EP1954054A1 (en) 2007-02-02 2008-08-06 Thomson Licensing System and method for transporting interactive marks

Also Published As

Publication number Publication date
US20110063502A1 (en) 2011-03-17
EP2124449A1 (en) 2009-11-25
CN102037728B (zh) 2013-03-27
JP5372143B2 (ja) 2013-12-18
JP2011521576A (ja) 2011-07-21
US9596505B2 (en) 2017-03-14
WO2009141271A1 (en) 2009-11-26
CN102037728A (zh) 2011-04-27
KR20110014990A (ko) 2011-02-14
EP2277310A1 (en) 2011-01-26

Similar Documents

Publication Publication Date Title
KR101640148B1 (ko) 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
KR101883579B1 (ko) 미디어 스트림들 간의 타임라인 정보를 상관시키기 위한 시스템 및 방법
EP1954054A1 (en) System and method for transporting interactive marks
US8776144B2 (en) Mobile TV system and method for synchronizing the rendering of streaming services thereof
US7843974B2 (en) Audio and video synchronization
US20120033035A1 (en) Method and system for transmitting/receiving 3-dimensional broadcasting service
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
CN102752669A (zh) 多通道实时流媒体文件的传送处理方法与系统、接收装置
CA2795694A1 (en) Video content distribution
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
US20100205317A1 (en) Transmission, reception and synchronisation of two data streams
US9854019B2 (en) Method and apparatus for modifying a stream of digital content
US20200213657A1 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
AU2015204359A1 (en) Decoder and method at the decoder for synchronizing the rendering of contents received through different networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190712

Year of fee payment: 4