KR102585575B1 - 보조 데이터로서 좌표 - Google Patents

보조 데이터로서 좌표 Download PDF

Info

Publication number
KR102585575B1
KR102585575B1 KR1020207022304A KR20207022304A KR102585575B1 KR 102585575 B1 KR102585575 B1 KR 102585575B1 KR 1020207022304 A KR1020207022304 A KR 1020207022304A KR 20207022304 A KR20207022304 A KR 20207022304A KR 102585575 B1 KR102585575 B1 KR 102585575B1
Authority
KR
South Korea
Prior art keywords
audio
visual
content
coordinates
audiovisual content
Prior art date
Application number
KR1020207022304A
Other languages
English (en)
Other versions
KR20200138710A (ko
Inventor
마이클 필립스
패트릭 그린
헨리 프리콘
Original Assignee
소스 디지털, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소스 디지털, 인코포레이티드 filed Critical 소스 디지털, 인코포레이티드
Publication of KR20200138710A publication Critical patent/KR20200138710A/ko
Application granted granted Critical
Publication of KR102585575B1 publication Critical patent/KR102585575B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Abstract

미디어 환경 구동형 콘텐츠 배포 플랫폼에서 보조 데이터로서 좌표로서, 동기화 데이터 및 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 획득하고 - 보조 데이터는 동기화 데이터 내의 인스턴트에 고정됨 -, 시청각 콘텐츠에 대한 동기화 데이터의 후속 정렬이 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 동기화시키도록, 동기화 데이터 및 동기화 데이터 내의 인스턴트에 고정된 보조 데이터를 전달하는 것을 포함할 수 있다.

Description

보조 데이터로서 좌표
미디어 콘텐츠(media content)는 생성되고, 처리되어, 소비자에게 전송된다. 전통적인 미디어 콘텐츠 외에도, 전자 통신 기술의 확산은 콘텐츠와 관련되거나 콘텐츠를 보강하는 보조 데이터의 대량 전송을 가능하게 한다. 예를 들면, 인스턴트 메시징과 같은 기술은 한 사람 혹은 많은 사람들에게 매우 신속하게 전자 정보를 전달하는 매체를 제공한다. 예를 들면, 퍼스널 컴퓨터, 모바일 폰, PDA(personal digital assistant) 및 텔레비전 셋톱 박스(예로써, 케이블 셋톱 박스, 위성 셋톱 박스 등)를 포함하는 전자 디바이스는, 소비자에게 정보에 대한 빠른 액세스를 제공한다. 현대 통신 기술을 통해 전달될 수 있는 보조 데이터의 타입과 콘텐츠는 매우 다양하며, 개인적인 정보에서부터, 정보 콘텐츠, 광고에 이르기까지 모든 것을 포함한다. 보조 데이터는 간단한 텍스트에서, 그래픽, 비디오, 수많은 데이터 레이어를 포함하는 콘텐츠에 이르기까지 다양한 형태를 취할 수 있다.
그러나 현재의 기술들은 후속 처리를 위하여 그러한 보조 데이터를 추출하는데 결함이 있다. 콘텐츠 및 보조 데이터의 동기화에 대한 현재 방법은, 예를 들어, 소스와 타겟 또는 소비자 사이의 명시적인 데이터 연결이 필요할 수 있으며 종종 단방향이다. 동기화를 위한 다른 현재 방법은 서로 다른 설비가 메타데이터를 지원하거나 또는 지원하지 않을 수 있는 다양한 워크플로우를 사용하거나, 또는 전달 포맷 컨테이너가 그 본질 자체와 다른 메타데이터를 포함하는데 적절하지 않기 때문에, 신호 체인 전체를 통해 존재할 수도 있고 또는 존재하지 않을 수도 있는 메타데이터에 의존할 수 있다.
게다가, 종래에는, 보조 데이터는 상술한 타입(예로써, 텍스트, 그래픽, 비디오 등)으로만 제한되었다. 이용 가능한 보조 데이터 타입의 이러한 제약은 미디어 콘텐츠 및 보조 데이터 양방의 이용을 제한한다.
본 개시는 이러한 문제점을 해결하기 위한 방법 및 시스템을 제공한다. 본 개시는 제작자(production)로부터 소비자에게로 콘텐츠를 운반하는 다운스트림 파이프라인에서의 동작을 트리거시키기 위한 핑거프린팅을 포함하는, 자동 콘텐츠 인식(ACR; Automatic Content Recognition) 기술 및 오디오 혹은 시간 코드의 동적 조합을 기술한다. 이러한 동작은 원본 콘텐츠 및 품질을 보존하고, 미지의 콘텐츠의 컴플라이언스(compliance) 및 수용 가능한 통합을 보장하며, 업스트림 데이터베이스뿐만 아니라 리턴 경로에 대한 조건부 액세스를 위한 다수의 경로를 제공한다. 본 개시는 간접 연결을 가능하게 하고 로드블록을 벗겨내도록 데이터를 바이패스시키는, 보조 데이터 동기화를 위한 경로를 제공한다. 예로써, 라이브 이벤트와 데이터베이스에 저장된 이벤트를 비교하도록 핑거프린팅을 포함하는 국부적 ACR을 추가하는 것은, 체인이 바이패스될 수 있게 하고, 데이터베이스에 변경사항, 업데이트 및 추가 신규 정보를 제공할 뿐만 아니라, 동기화를 나타내는 데이터의 피드백에 대한 메커니즘을 제공한다. 이것은 기타 용도들 중에서 전자 상거래, 데이터 추적, 검색, 데이터 관계 및 세분화된 뚜렷한 시청률 조사와 같은 많은 부가 가치 측면에 사용될 수 있는 콘텐츠에 관한 시간-정렬된 다양한 기능의 데이터(time-aligned feature-rich data)를 저장 및 검색하는 방법을 제공한다.
또한, 본 개시는 새로운 종류의 보조 데이터인, 예로써, 시청각 콘텐츠의 시각적 부분의 시야의 좌표와 같은 좌표를 제공한다. 이 새로운 보조 데이터 타입은 일반적으로 시청각 콘텐츠 및 보조 데이터의 보다 진보된 활용을 가능하게 한다. 이것은 콘텐츠의 임의의 콘텐츠 재생 환경 주위에 합성 커버(synthetic wrapper)로서 작용할 수 있도록 시각 피질에서 콘텐츠와 정렬하는 데이터의 시각적 표시를 생성하여, 시청자에게 관련된 보조 데이터를 노출시킨다.
본 명세서에 통합되어 상세한 설명의 일부를 구성하는 첨부 도면은, 본 발명의 양태에 대한 다양한 예시적인 실시예를 설명하는, 다양한 예시적 시스템, 방법 등을 도시한다. 도면에 도시된 요소 경계(element boundaries)(예로써, 박스, 박스 그룹, 또는 다른 모양)는 경계의 하나의 예를 나타내는 것임이 이해될 것이다. 통상의 기술자라면 하나의 요소가 다수의 요소로서 설계되거나, 다수의 요소가 하나의 요소로 설계될 수 있다는 것을 이해할 것이다. 다른 요소의 내부 컴포넌트로 도시된 요소가 외부 컴포넌트로 구현될 수 있으며, 그 반대인 경우도 가능하다. 또한, 요소들은 실제 비율로 그려진 것이 아닐 수도 있다.
도 1a는 오디오를 포함하는 콘텐츠를, 콘텐츠의 시각적 부분의 좌표를 포함하는 보조 데이터와 동기화시키기 위한 예시적 방법의 개략도를 나타낸다.
도 1b는 콘텐츠의 시각적 부분의 좌표를 포함하는 보조 데이터를, 제2 좌표 세트를 나타내는 보조 데이터와 동기화시키기 위한 예시적 방법의 개략도를 나타낸다.
도 1c는 3차원 좌표를 포함하는 보조 데이터를 동기화시키기 위한 예시적 방법의 개략도를 나타낸다.
도 1d는 2차원 좌표 세트를 나타내는 보조 데이터를, 3차원 좌표 세트를 나타내는 보조 데이터와 동기화시키기 위한 예시적 방법의 개략도를 나타낸다.
도 2는 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 시스템의 블록도를 나타낸다.
도 3은 콘텐츠 배포자에서의 세부사항을 포함하는 예시적 시스템의 블록도를 나타낸다.
도 4는 소비자에서의 세부사항을 포함하는 예시적 시스템의 블록도를 나타낸다.
도 5는 저장 장소에서의 세부사항을 포함하는 예시적 시스템의 블록도를 나타낸다.
도 6은 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 방법에 대한 흐름도를 나타낸다.
도 7a는 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 방법에 대한 흐름도를 나타낸다.
도 7b는 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 예시적 방법에 대한 흐름도를 나타낸다.
도 8은 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 머신의 블록도를 나타낸다.
도 1a는 오디오를 포함하는 콘텐츠를, 콘텐츠의 시각적 부분의 좌표를 포함하는 보조 데이터와 동기화시키기 위한 예시적 방법의 개략도를 나타낸다. 도 1a는 시각적 부분(3) 및 오디오 부분(5)을 포함하는 시청각 콘텐츠(1)를 도시한다. 시청각 콘텐츠(1)는 영화, TV 쇼, 스포츠 경기(예로써, 농구 경기), 인터넷 비디오, 비디오 게임, 가상현실(VR), 증강현실(AR) 혹은 혼합 현실(MR; mixed reality) 환경, 또는 라디오를 통한 오디오 전용 프로그램, 인터넷 등일 수 있다.
도 1a는 또한 보조 데이터(7)를 도시한다. 보조 데이터(7)는 콘텐츠와 관련되는 데이터로서, 콘텐츠 이름 또는 콘텐츠 식별 데이터, 콘텐츠 내에서 재생된 스크립트에 대한 데이터, 콘텐츠 내의 캐릭터가 착용한 의상(wordrobe)에 대한 데이터, 콘텐츠의 퍼포머, 프로듀서 또는 디렉터로부터의 코멘트를 포함하는 데이터, 콘텐츠에 대한 정보를 포함하는 리소스에 대한 URL(Uniform Resource Locator), 콘텐츠의 오디오의 음악에 대한 데이터 등과 같은 콘텐츠를 기술하는 데이터를 포함할 수 있다. 보조 데이터(7)는 광고 데이터와 같은 상업용 데이터를 포함할 수 있다. 또한 보조 데이터(7)는 콘텐츠의 시청자로부터의 코멘트(예컨대, 트위터 메시지 등)와 같은 사용자 데이터를 포함할 수 있다. 또한 보조 데이터(7)는, 예를 들면, 콘텐츠의 오디오의 음량(loudness) 또는 동적 범위 스케일(dynamic range scaling) 등을 포함하는 콘텐츠의 오디오의 통계값과 같은 전문적 또는 기술적 데이터를 포함할 수 있다. 또한 보조 데이터(7)는 또 다른 애플리케이션으로의 블록체인 레벨 액세스를 포함할 수 있다.
상기 예시들로부터 알 수 있는 바와 같이, 보조 데이터(7)를 구성하는 것은 광범위하게 다양할 수 있고, 다양한 소스로부터 수집될 수 있다. 보조 데이터의 또 다른 예는 콘텐츠(1)의 시각적 부분(3)의 좌표이다. 이러한 보조 데이터의 새로운 타입은 일반적으로 시청각 콘텐츠 및 보조 데이터의 보다 진보된 활용을 가능하게 할 수 있다.
보조 데이터와 함께 발생하는 주요 이슈는 동기화이다; 실질적인 문제로서, 보조 데이터(7)가 시청각 콘텐츠(1)에 대해 얼마나 정확하게 시간-정렬되는가이다. 콘텐츠와 보조 데이터의 동기화의 현재 방법은 콘텐츠의 소스와 타깃 또는 소비자 사이에 명시적(explicit) 데이터 연결을 필요로 한다. 이 명시적 타이밍 데이터는 그 타이밍을 소비자 시설에 있는 장비에 전달한다. 또한 이러한 방법은 일반적으로 소스 또는 콘텐츠 공급자로부터 타겟 또는 소비자에게로의 단방향이며, 이는 제약 사항이다. 다른 현재의 동기화 방법은 콘텐츠에 첨부된 메타데이터에 의존하며, 그것은 서로 다른 설비가 메타데이터를 지원하거나 또는 지원하지 않을 수 있는 다양한 워크플로우 또는 콘텐츠 컨테이너 포맷을 사용할 것이기 때문에, 소스 또는 콘텐츠 공급자로부터 타겟 또는 소비자에게로의 신호 체인 전체를 통해 존재할 수도 있고 또는 존재하지 않을 수도 있다.
도 1a에 도시된 바와 같이, 시청각 콘텐츠(1)는 시각적 부분(3) 및 오디오(5)를 포함한다. 또한 도 1a는 오디오 파형 서명(audio waveform signature)의 형태로 시청각 콘텐츠(1)의 오디오 부분(5)의 표시(9)를 나타낸다. 표시(9)는 적어도 오디오 부분(5)이 시간 t를 따라 표시(9)로부터 식별될 수 있을 정도로, 시청각 콘텐츠(1)의 오디오 부분(5)에 매칭된다. 도 1a의 실시예에서, 보조 데이터(7)는 각각 그 보조 데이터(7)가 정렬되는 오디오 부분(5)의 인스턴트(instant)에 대응하는 표시(9)의 인스턴트에서 그 표시(9)에 고정(peg)된다. 일 실시예에서, 보조 데이터(7)는 표시(9)에 대한 구간(duration)(그리고 단지 하나의 인스턴트가 아님)에 고정될 수 있다. 그런 실시예에서, 보조 데이터(7)는 표시(9)(예로써, 영화 장면)에 대한 구간의, 시작과 끝 각각을 나타내는 표시(9)에 대한 두 개의(또는 그 이상의) 인스턴트에 고정될 수 있다. 또 다른 실시예에서, 보조 데이터(7)는 시작 인스턴스에 고정되고 보조 데이터(7)에 적용 가능한 표시(9)에 대한 구간이 정의될 수 있다. 그런 실시예에서, 보조 데이터(7)는 표시(9)(예로써, 영화 장면)에 대한 구간의, 시작과 끝 각각을 나타내는 표시(9)에 대한 시작(또는 종료) 인스턴트에 고정되고 구간이 절대 기간으로서 특정될 수 있다.
도 1a의 예에서, 보조 데이터 7a는 시청각 콘텐츠(1)의 시간 tx에 대응하는 표시(9)의 인스턴트에 고정된다. 보조 데이터 7b, 7c, 및 7h는 시청각 콘텐츠(1)의 시간 tx+1에 대응하는 표시(9)의 인스턴트에 고정된다. 보조 데이터 7d 및 7e는 시간 tx+2에 대응하는 표시(9)의 인스턴트에 고정된다. 보조 데이터 7f는 시청각 콘텐츠(1)의 시간 tx+3에 대응하는 표시(9)의 인스턴트에 고정되고 보조 데이터 7g는 시청각 콘텐츠(1)의 시간 tx+4에 대응하는 표시(9)의 인스턴트에 고정된다.
그 다음에 각각의 보조 데이터(7) 및 표시(9)는 시청각 콘텐츠(1)의 미래의 사용자 또는 시청자가 액세스할 수 있게 되는 데이터베이스에 저장될 수 있다. 이렇게, 시청각 콘텐츠(1)가 그 사용자 또는 시청자에게 배포될 때, 표시(9)뿐만 아니라 그 표시(9)에 고정된 보조 데이터(7)도 그 사용자 또는 시청자가 이용 가능하게 된다.
사용자 시설에서, 수신되고 있는 시청각 콘텐츠(1)의 오디오 부분(5)은 표시(9)에 대해 오디오 부분(5) 그리고 그 결과 시청각 콘텐츠(1)를 동기화시키도록 표시(9)와 실시간으로 비교될 수 있다. 게다가, 보조 데이터(7)가 시청각 콘텐츠(1)의 그들 각각의 시간에 대응하는 표시(9)의 인스턴트에 고정되기 때문에, 보조 데이터(7)는 명시적인 타이밍 데이터가 없어도 시청각 콘텐츠(1)와 동기화될 수 있다.
도 1a의 도시된 실시예에서, 보조 데이터 7a는 시청각 콘텐츠(1)의 시간 tx에 정렬된다(즉, 시간 tx에 나타나거나 그것과 관련됨). 보조 데이터 7b 및 7c는 시청각 콘텐츠(1)의 시간 tx+1에 나타나거나 그것과 관련된다. 보조 데이터 7d 및 7e는 시간 tx+2에 나타나거나 그것과 관련된다. 보조 데이터 7f는 시청각 콘텐츠(1)의 시간 tx+3에 나타나거나 그것과 관련되고, 보조 데이터 7g는 시간 tx+4에 나타나거나 그것과 관련된다. 예를 들어, tx에서의 보조 데이터 7a는 콘텐츠 이름 "True Blood, 시즌 2, 에피소드 2"를 나타낼 수 있다. 시간 tx+1(예로써, 12분 2초)에서의 보조 데이터 7b는 "Anna Paquin"(배우)가 연기한 "Sookie Stackhouse"(캐릭터)가 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈(액세서리)를 착용한 것을 설명하고 한편 보조 데이터 7c는 음악이 런던 심포니 오케스트라에 의해 연주된 베토벤의 월광 소나타인 것을 나타낸다. 보조 데이터 7d 및 7e는 시간 tx+2에 수신된, 사용자가 시청각 콘텐츠(1) 또는 시청각 콘텐츠(1)의 특정 장면에 대한 자신의 반응을 표현한 트위터 메시지일 수 있다. 보조 데이터 7f는 시간 tx+3에서 광고에 의한 중단으로 인한 콘텐츠 오디오의 미리 정해진 음량 또는 동적 범위 스케일의 변화를 나타내거나 또는 단지 전체 프로그램보다 더 작아질 수 있는 변화를 나타낼 수 있다. 보조 데이터 7g는 tx+4에서 광고에 의한 중단으로부터 시청각 콘텐츠(1)로 복귀됨으로 인한 콘텐츠 오디오의 미리 정해진 음량 또는 동적 범위 스케일의 변화를 나타낼 수 있다.
보조 데이터의 또 다른 타입은 콘텐츠(1)의 시각적 부분(3)의 좌표 데이터일 수 있다. 예를 들면, 보조 데이터는 시청각 콘텐츠(1)의 시각적 부분(3) 내의 위치를 나타내는 좌표 세트를 식별하는 데이터 및 그 좌표 세트로 나타낸 위치에서 시청각 콘텐츠(1)의 시각적 부분(3) 내에 위치된 오브젝트의 중심 및 모양을 식별하는 데이터를 포함할 수 있다. 도 1에서, 보조 데이터 7h는 콘텐츠(1)의 시각적 부분(3)에 대응하는 좌표 x, y의 세트("True Blood"는 2차원 TV 쇼임)일 수 있다. 좌표 7h는 보조 데이터 7b인, "Sookie Stackhouse"의 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈의 시각적 부분(3) 상의 위치에 대응한다.
보조 데이터(7)의 부분인 이러한 정보를 이용하여, 사용자는 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈가 등장하는 시청각 콘텐츠에 대해 보조 데이터 시스템에 질의(query)할 수 있다. 검색 결과는 마놀로블라닉, 및/또는 105mm 세틴 펌프(제품)일 수 있다. 질의 결과는 시청각 콘텐츠로서 "True Blood, 시즌 2, 에피소드 2" 뿐만 아니라 슈즈가 등장하는 시청각 콘텐츠(1)에의 시간(예로써, 12분 2초) + 구간으로서 tx+1 및 시각적 부분(3) 상의 그 슈즈의 정확한 위치로서의 좌표 x, y일 것이다. 또는, 사용자는 좌표 x, y에서 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈가 등장하는 시청각 콘텐츠에 대해 보조 데이터 시스템에 질의할 수 있다. 질의 결과는 시간 tx+1(예로써, 12분 2초)에서의 "True Blood, 시즌 2, 에피소드 2"일 것이다.
마찬가지로, 이용 가능한 좌표 세트 보조 데이터를 이용하여, 사용자는 어떤 보조 데이터가 특정 포인트 세트 혹은 모양 좌표에 의해 식별되는 시청각 콘텐츠의 시각적 부분 내의 위치에 있는지 보조 데이터 시스템에 질의할 수 있다. 예를 들면, 사용자는 시청각 콘텐츠(1) "True Blood, 시즌 2, 에피소드 2"의 시간 tx+1에서의 좌표 x, y에 또는 정해진 모양 내로부터 무엇이 있는지에 대해 검색할 수 있다. 질의 결과는 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈일 것이다. 그 시스템에 질의하기 위해서, 사용자는, 예를 들면, 시청각 콘텐츠(1) "True Blood, 시즌 2, 에피소드 2"의 시간 tx+1에서 디바이스의 스크린의 좌표 x, y를 터치할 수 있다. 그 시스템은 그 특정 위치에서의 터치를 검출하고, 보조 데이터를 검색하며, 그리고 그 특정 위치에서의 오브젝트(들)를 식별하는 정보를 출력할 수 있다.
상기 질의 조합은 단지 예시이다. 일반적으로 시청각 콘텐츠 및 보조 데이터의 보다 진보된 활용을 가능하게 하는 보조 데이터로서 좌표에 대해 많은 다른 질의 조합이 가능하다.
또한, 도 1a는 2차원의 예시(True Blood는 2차원 TV 쇼임)를 도시하지만, 본 명세서에 개시된 보조 데이터 시스템은 2차원으로 한정되는 것은 아니며, 아래에 설명되는 바와 같이 3차원 콘텐츠(예로써, 3D 비디오 게임, 3D 영화, 3D 가상현실 등)에 대한 3차원 좌표(x, y, z)를 포함할 수 있다.
보조 데이터로서 좌표의 포함은 일반적으로 시청각 콘텐츠 및 보조 데이터의 보다 진보된 활용을 위해 추가적인 기회를 제공한다. 보조 데이터로서 좌표는, 예를 들면, 비디오 프레임 내의 위치를 간단히 나타내는 x, y 좌표(예로써, x = 0-1920, y = 0-1080) 또는 콘텐츠(1)의 정해진 모양(애스펙트비가 알려진 경우 최소한 3좌표)과 같이, 간단한 상대 좌표에 대응할 수 있다. 그러나, 보조 데이터로서 좌표는 예를 들면, 콘텐츠(1)의 비디오 프레임 내의 위치이자 동시에 또 다른 공간 또는 영역(예로써, 가상 공간, 비디오 게임 내 공간, 다른 시청각 콘텐츠 내 공간 등) 내의 위치를 나타내는 x, y 좌표와 같이, 대체 공간 또는 영역과 관련된 좌표에 대응할 수 있다. 또한, 보조 데이터로서 좌표는 예를 들면, 콘텐츠(1)의 비디오 프레임 내의 위치이자 동시에 현실 세계 공간(예로써, 경기장, 도시, 국가, 행성, 우주 등) 내의 위치를 나타내는 x, y 좌표와 같이, 다른 공간 또는 영역과 연관될(correlated) 수 있는 절대 좌표에 대응할 수 있다.
게다가, 대체 공간 또는 영역에 대응하는 좌표는 콘텐츠(1)의 시각적 부분(3) 상의 위치에 대응하는 좌표에 절대적이거나 상대적일 필요는 없다. 대체 공간 또는 영역에 대응하는 이러한 좌표는 단순히 콘텐츠(1)의 시각적 부분(3) 상의 위치에 대응하는 좌표와 연결되거나 연관될 수 있다. 예를 들면, 대체 공간 또는 영역에 대응하는 좌표는, 콘텐츠(1)의 시각적 부분(3) 상의 위치에 대응하는 좌표에 그것들을 연결하거나 연관시키도록, 동기화 데이터(9)에서의 대응하는 인스턴트에 보조 데이터로서 고정될 수 있다. 이러한 좌표의 추가 계층은 보조 데이터의 추가 계층이 된다.
도 1b는 보조 데이터로서 좌표의 활용 예를 나타낸다. 도 1b는 콘텐츠의 시각적 부분의 좌표를 포함하는 보조 데이터를, 제2 좌표 세트를 나타내는 보조 데이터와 동기화시키기 위한 예시적 방법의 개략도를 나타낸다. 상술한 바와 같이, 보조 데이터 7h는 보조 데이터 7b의 시각적 부분(3) 상의 위치인, "True Blood"의 시즌 2, 에피소드 2 중의 시간 tx+1에서 착용한 "Sookie Stackhouse"의 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈에 대응하는 좌표를 포함한다. 또한 우리는 "True Blood"는 미국 루이지애나의 소도시에서 발생하는 것임을 알고 있다. 따라서, 좌표 7h는 "True Blood, 시즌 2, 에피소드 2"의 시간 tx+1에서의 "Sookie Stackhouse"의 슈즈의 위치뿐만 아니라, 현실 세계 장소인 루이지애나의 일부 장소에 대응한다. 다중 위치가 프로그램의 동일한 정해진 기간에 대해 참조될 수 있다. 스토리에서 발생하는 장소, 실제 촬영된 장소 및 어쩌면 그들이 이야기하고 있는 것에 관한 또는 콘텐츠 내의 표시에 대한 위치. 시스템은 유사 메타데이터의 한 조각으로 한정되지 않고 콘텐츠와 관련있는 유사 메타데이터의 계층으로 될 수 있다. 뷰(8)는 루이지애나의 소도시, 또는 루이지애나의 소도시의 구글 어스(Google Earth)의 표시 내의 공간이나 위치를 나타낸다. 도 1b로부터 알 수 있는 바와 같이, 좌표 7h는 루이지애나의 소도시 및/또는 그런 장소의 구글 어스 표시 내의 위치에 대응한다. 이 둘 이상의 공간("True Blood, 시즌 2, 에피소드 2"의 시간 tx+1 및 루이지애나의 현실 세계 소도시)은, 어떤 의미에서는, 좌표에 의해 서로 고정되어 있다.
하나의(single piece) 시청각 콘텐츠의 시각적 공간 내의 위치뿐만 아니라 대체 공간 내의 위치(또는 다수의 위치)를 나타내는 좌표의 개념은 상당한 의미를 가진다. 예를 들어, 사용자 또는 모바일 디바이스는 쇼, 영화, 경기 등의 장면이 발생하는 현실 세계 좌표에 대해서 보조 데이터 시스템에 질의할 수 있다. 데이터베이스에서 쇼, 영화, 경기 등의 장면/프레임에 대응할 뿐만 아니라 현실 세계 위치에 대응하는 좌표는 그 현실 세계 위치를 결과로서 제공할 수 있으며, 예를 들면 날씨 등과 같은 실시간 서비스를 질의할 수 있다. 다른 예에서, 사용자 또는 모바일 디바이스는 쇼, 영화, 경기 등의 장면이 발생하는 다른 시청각 콘텐츠(또는 단지 시각적 콘텐츠)에 대해 보조 데이터 시스템에 질의할 수 있다. 시청 중인 쇼, 영화, 경기 등의 장면/프레임에 대응할 뿐만 아니라 다른 쇼, 영화, 경기 등의 장면에 대응하는 좌표는 그 다른 쇼, 영화, 경기 등 및 그것이 등장하는 시간을 결과로서 제공할 수 있다. 또 다른 예에서, 사용자 또는 모바일 디바이스는 특정 세트의 세계 좌표에서 발생하는 장면을 가지는 쇼, 영화, 경기 등에 대해서 보조 데이터 시스템에 질의할 수 있다. 그 세계 위치에 대응할 뿐만 아니라 데이터베이스에서 각각의 쇼, 영화, 경기 등에 대응하는 좌표는, 시스템이 현실 세계 위치에 대응하는 쇼, 영화, 경기 등 내의 특정 프레임/장면을 결과로서 제공할 수 있다. 마찬가지의 개념이 3차원 공간에도 적용된다.
이러한 기능은 매우 유용하며, 종래 기술에서는 이용 가능하지 않았다. 좌표에 의해 연관될 수 있는 공간들의 계층은 무한하며; 시청각 콘텐츠는 현실 세계 공간 및 가상 세계 공간(예로써, 비디오 게임), AR, MR 등과 연관될 있다.
도 1c는 보조 데이터로서 좌표의 3차원 예시를 나타낸다. 도 1c는 3차원 콘텐츠와 관련하여 발생할 수 있는, 3차원 좌표를 포함하는 보조 데이터를 동기화시키기 위한 예시적 방법의 개략도를 나타낸다. 3차원 콘텐츠는 스테레오 3D 비디오, 360도 비디오(모노스코픽 또는 스테레오스코픽), 가상 현실(VR), 증강 현실(AR) 등을 포함할 수 있다. 3차원에서 좌표는 x, y 및 z에 대응할 수 있다.
3차원 콘텐츠에 대해서, 좌표 z는 깊이(depth) 좌표에 대응할 수 있다. 예시로서, 시청각 콘텐츠(1)("True Blood"의 시즌 2, 에피소드 2)가 3차원 콘텐츠라고 하자. 뷰 계층 3a-3i는 시청각 콘텐츠(1)의 시간 tx+1에서의 뷰의 깊이 z를 나타낸다. 상술한 바와 같이, 보조 데이터 7h는 보조 데이터 7b의 시각적 부분(3) 상의 위치인, "True Blood"의 시즌 2, 에피소드 2 중의 시간 tx+1에서 착용한 "Sookie Stackhouse"의 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈를 나타내는 좌표에 대응한다. 3차원 오브젝트인 그 슈즈는 다수의 깊이 z에서 등장할 수 있다. 그러나, 그 슈즈는 "깊이 z = 3c"에 존재하는 콘텐츠(1)의 시각적 부분(3)에서 가장 잘 보일 수 있다.
2차원 콘텐츠에 대해서, 좌표 z는 줌 레벨에 대응할 수 있다. 예를 들어, 고화질(HD, UHD, 4K 이상) 영화는 모바일 디바이스와 같은 작은 스크린 상의 고화질 표시에 필요한 것보다 훨씬 더 많은 정보를 포함한다. 보조 데이터 시스템은 해상도를 희생시키는 일 없이 큰 확대를 제공하도록 이 추가 데이터를 이용할 수 있다는 이점을 갖는다. "True Blood"의 예시로 돌아가서, "True Blood, 시즌 2, 에피소드 2"가 작은 모바일 디바이스의 스크린 상의 전 화면에 보여지고 있을 때, "Sookie Stackhouse"의 마놀로 블라닉 항기시 105mm 세틴 펌프 슈즈는 눈에 띄지 않거나 잘 보이지 않을지도 모른다. 그 경우에, 그 슈즈의 위치에 대응하는 좌표는 x, y 및 슈즈가 적절히 보여질 수 있는 것에서의 줌 레벨인 z도 포함할 수 있다. 좌표 z는 그 슈즈가 보다 작은 스크린에서 적절히 보여질 수 있도록 z=3c로 설정될 수 있다.
2차원 예시에 대해서 상술한 바와 같이, 좌표는 하나의 시청각 콘텐츠의 시각적 공간 내의 위치뿐만 아니라, 대체 공간 내의 위치(또는 다수의 위치)를 나타낼 수 있다. 3차원 콘텐츠도 마찬가지이다. 예를 들어, 사용자 또는 모바일 디바이스는 쇼, 영화, 경기 등의 장면(즉, 특정 시간)이 발생하는 현실 세계 3차원 좌표에 대해서 보조 데이터 시스템에 질의할 수 있다. 데이터베이스에서 쇼, 영화, 경기 등의 장면/프레임에 대응할 뿐만 아니라 현실 세계 위치에 대응하는 좌표는, 현실 세계 3차원 위치를 결과로서 제공할 수 있다. 다른 예에서, 사용자 또는 모바일 디바이스는 특정 세트의 3차원 세계(현실 또는 가상) 좌표에서 발생하는 장면을 가지는 시청각 콘텐츠에 대해 보조 데이터 시스템에 질의할 수 있다. 그 세계 위치에 대응할 뿐만 아니라 데이터베이스에서 각각의 쇼, 영화, 경기 등에 대응하는 좌표는, 시스템이 현실 세계 위치에 대응하는 쇼, 영화, 경기 등 내의 특정 프레임/장면(즉, 특정 시간)을 결과로서 제공하게 할 수 있다.
도 1d는 2차원 좌표 세트를 나타내는 보조 데이터를 3차원 좌표 세트를 나타내는 보조 데이터와 동기화시키기 위한 예시적 방법의 개략도를 나타낸다. 도 1d는 2차원 시각적 부분(3) 상의 위치 7h가 3차원 위치와 연관될 수 있는 예를 나타낸다. 뷰 계층 8a-8i는, 예로써, 루이지애나의 소도시 또는 루이지애나의 소도시의 구글 어스의 표시에서의 3차원 공간이나 위치의 깊이(z 방향)를 나타낸다. 도 1d로부터 알 수 있는 바와 같이, 좌표 7h는 2차원 "True Blood, 시즌 2, 에피소드 2"의 시간 tx+1에서의 위치 및 루이지애나의 3차원 소도시 및/또는 그 장소의 구글 어스의 3차원 표시 내의 현실 세계 위치에 대응한다. 이 두 공간("True Blood, 시즌 2, 에피소드 2"의 시간 tx+1 및 루이지애나의 현실 세계 소도시)은, 어떤 의미에서는, 좌표에 의해 서로 고정되어 있다.
사용자 또는 모바일 디바이스는 2차원 쇼, 영화, 경기 등의 장면이 발생하는 현실 세계 3차원 좌표에 대해 보조 데이터 시스템에 질의할 수 있으며, 또는 그 반대인 경우도 가능하다. 데이터베이스에서 쇼, 영화, 경기 등의 장면/프레임에 대응할 뿐만 아니라 현실 세계 위치에 대응하는 좌표는, 그 현실 세계 3차원 위치를 결과로서 제공할 수 있다. 다른 예에서, 사용자 또는 모바일 디바이스는 특정 세트의 3차원 세계(현실 또는 가상) 좌표에서 발생하는 장면을 가지는 시청각 콘텐츠에 대해 보조 데이터 시스템에 질의할 수 있다. 그 세계 위치에 대응할 뿐만 아니라 데이터베이스에서 각각의 2차원 쇼, 영화, 경기 등에 대응하는 좌표는, 시스템이 현실 세계 위치에 대응하는 쇼, 영화, 경기 등 내의 특정 프레임/장면을 결과로서 제공하게 할 수 있다.
저작 또는 수집에 관하여, 보조 데이터로서 좌표를 포함하는 보조 데이터(7)는 시청각 콘텐츠(1)의 송출(playout), 방송, 배포 또는 실행 이전에 획득 또는 수집될 수 있다. 예를 들면, 보조 데이터(7)는 시청각 콘텐츠(1)의 프리 프로덕션, 프로덕션, 포스트 프로덕션, 품질 관리 또는 마스터링 중에 획득 또는 수집될 수 있다. 또한, 보조 데이터(7)는 시청각 콘텐츠(1)의 송출, 방송, 배포 또는 실행 중에 획득 또는 수집될 수 있다. 예를 들면, 시청각 콘텐츠(1)가 TV 쇼인 경우, 보조 데이터(7)는 TV 쇼의 첫 번째 또는 후속 방송 중에 획득 또는 수집될 수 있다.
보조 데이터로서 좌표는 보조 데이터의 저작 및/또는 수집에 대한 추가 기회를 제공한다. 예를 들어, 사용자는 광학 헤드 장착 디스플레이(optical head-mounted display)를 착용하고 있는 동안 콘텐츠(1)(예로써, "True Blood, 시즌 2, 에피소드 2")를 시청할 수 있다. 이 디스플레이는, 예를 들면, 사용자가 디스플레이를 통해서 바라보고 있는 방향 뿐만 아니라 (보는데 이용된 시스템에 따라) 보고 있는 것에 대한 눈의 위치를 기록하도록 이용될 수 있는 자체 좌표 세트를 가진다. 보조 데이터로서 좌표는 광학 헤드 장착 디스플레이에서의 위치에 대응하는 좌표를 콘텐츠(1)의 시각적 부분(3) 상의 위치에 대응하는 좌표와 연결시키도록 이용될 수 있다. 광학 헤드 장착 디스플레이의 좌표는, 광학 헤드 장착 디스플레이에서의 위치에 대응하는 좌표를 콘텐츠(1)의 시각적 부분(3) 상의 위치에 대응하는 좌표와 연결시키거나 또는 연관시키도록, 동기화 데이터(9)에서 대응하는 인스턴트에 보조 데이터로서 고정될 수 있다.
저장 및 배포에 관하여, 수집된 보조 데이터(7)는, 시청각 콘텐츠(1)의 미래의 사용자 또는 시청자가 접속 가능하게 될 수 있는 데이터베이스에 저장될 수 있다. 이러한 방식으로, 시청각 콘텐츠(1)가 이들 사용자 또는 시청자에게 나중에 배포될 때, 보조 데이터(7)는 시청각 콘텐츠(1)와 함께 소비를 위해 이들 사용자 또는 시청자에게 이용될 수 있다. 보조 데이터(7)는 시청각 콘텐츠(1)에 대해 시간 정렬되어 자신을 나타내거나 드러내 보인다.
도 2는 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 시스템(10)의 블록도를 나타낸다. 이 시스템(10)은 3개의 주요 컴포넌트로서 콘텐츠 배포자(20), 소비자(30) 및 저장 장소(40)를 포함한다. 또한, 도 2는 매체(M)를 나타내고, 이를 통해 콘텐츠 배포자(20), 소비자(30) 및 저장 장소(40)는 서로 통신한다.
요소 20은 브로드캐스터 또는 방송 설비 또는 장비로 한정되지 않는다. 실제로, 콘텐츠 배포자(20)는, 전송 또는 방송을 위한 송출(playout) 이전 및 송출 중에 시청각 콘텐츠(1)를 처리하는, 프리 프로덕션, 프로덕션, 포스트 프로덕션, 품질 관리, 마스터링 장비, (전문 또는 소셜 미디어 방송을 포함하는) 임의 타입의 방송, 또는 시청각 콘텐츠를 전송 및 배포하는 다른 방법에 사용되거나 그것의 일 부분인 임의의 시설 또는 장비에 해당할 수 있다.
마찬가지로, 비록 설명의 편의성을 위해 본 개시는 요소 30을 소비자(30)로서 개시하지만, 요소 30은 소비자 또는 소비자 시설이나 장비로 한정되지 않는다. 실제로, 소비자(30)는, 전송 또는 방송을 위한 송출 중에 또는 송출 후에 시청각 콘텐츠(1)를 처리하는, 임의의 시설이나 장비에 해당할 수 있다.
또한, 매체(M)는 예를 들면, 인터넷, 위성 통신, 라디오 통신, 텔레비전 통신(방송 또는 케이블) 등과 같이 일반적으로 콘텐츠(1) 또는 데이터를 전송하도록 이용되는 임의의 매체일 수 있다. 비록 도면에서는 매체(M)가 콘텐츠 배포자(20), 소비자(30) 및 저장 장소(40)에 의해 공유되는 것으로 도시되어 있지만, 이들 요소간의 통신이 같은 매체 내에서 일어날 필요는 없다. 따라서, 예를 들면, 콘텐츠 배포자(20)가 인터넷을 통해서 저장 장소(40)와 통신하는 한편, 콘텐츠 배포자(20)는 위성을 통해서 소비자(30)와 통신할 수 있다.
도 2의 예에서, 콘텐츠 배포자(20)는 시청각 콘텐츠(1)를 소비자(30)에게 전송하고, 보조 데이터(7) 및 표시(9)는 저장을 위해 저장 장소(40)로 전송한다. 소비자(30)는 콘텐츠 배포자(20)로부터 시청각 콘텐츠(1)를 수신하고, 저장 장소(40)로부터 보조 데이터(7) 및 표시(9)를 수신한다. 흥미롭게도, 소비자(30)도 보조 데이터(7) 및/또는 표시(9)를 저장 장소(40)에 전송할 수 있다. 따라서, 시스템(10)은 소비자(30)에 의한 양방향 통신을 제공하고; 소비자(30)는 보조 데이터(7)의 생성에 참여하여, 보조 데이터(7), 시스템의 기능 및, 궁극적으로는 고객의 경험을 향상시킬 수 있다.
도 3은 콘텐츠 배포자(20)에서의 세부사항을 포함하는 예시적 시스템(10)의 블록도를 나타낸다. 콘텐츠 배포자(20)는 보조 데이터를 콘텐츠에 대해 동기화시키기 위한 머신 또는 머신 그룹을 포함한다. 콘텐츠는 오디오를 포함할 수 있다. 도시된 실시예에서, 콘텐츠 배포자(20)는 표시(9)(예로써, 도 1의 시청각 콘텐츠(1)의 오디오 부분(5)의 표시 또는 시각적 부분(3)의 표시)의 인스턴트에 보조 데이터(7)를 고정시키는 사전 동기화기(pre-synchronizer, 22)를 포함한다.
또한, 콘텐츠 배포자(20)는 매체(M)를 통해 시청각 콘텐츠(1)를 소비자(30)에게 전달하고, 표시(9)와 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)를 저장 장소(40)에 전달하는 트랜시버(24)를 포함할 수 있다. 상술한 바와 같이, 저장 장소(40)는 소비자(30)가 액세스할 수 있다. 시청각 콘텐츠(1)의 후속 송출, 방송, 배포, 실행 등 시에 콘텐츠의 오디오(5)(또는 표시(9)가 시각적 부분(3)에 대응하는 경우에는 콘텐츠의 비디오(3))에 대한 표시(9)의 정렬은, 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)를 시청각 콘텐츠(1)에 대해 동기화시킨다.
또한, 콘텐츠 배포자(20)는, 예를 들어, 도 1a의 오디오 파형 서명과 같은 콘텐츠의 오디오(5)의 표시를 생성하기 위해 시청각 콘텐츠(1)의 오디오 부분(5)을 처리할 수 있는 오디오 프로세서(26)를 포함할 수 있다. 다른 실시예에서, 콘텐츠 배포자(20)는 도 1a의 오디오 파형 서명 대신에 또는 오디오 파형 서명에 더하여 콘텐츠의 비디오(3)의 표시를 생성하기 위해 시청각 콘텐츠(1)의 시각적 부분(3)을 처리할 수 있는 비디오 프로세서를 포함할 수도 있다. 그 다음에 트랜시버(24)는 표시(9)(예로써, 서명) 및 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)를 저장 장소(40)에 전달할 수 있다.
일 실시예에서, 사전 동기화기(22)는 저장 장소(40)에 대한 링크를 생성한다. 그 링크는 URI(Uniform Resource Identifier)(예로써, URL) 또는 유사 위치 식별자 또는 위치자(locator)일 수 있다. 오디오 프로세서(26)는 저장 장소(40)에 대한 링크를 시청각 콘텐츠(1)의 메타데이터 또는 특히 콘텐츠 오디오(5)나 콘텐츠 비디오(3)의 메타데이터에 삽입할 수 있다. 오디오 부분(5)은 모두 메타데이터를 가지고 있을 수 있는, 돌비 AC-4, AC-3나 E-AC-3 또는 MPEG-H로서 인코딩될 수 있지만 이것으로 한정되지 않는다. 소비자(30)는 시청각 콘텐츠(1) 또는 콘텐츠의 오디오(5)나 비디오(3)의 메타데이터로부터 저장 장소(40)에 대한 링크를 추출할 수 있다. 저장 장소(40)에 대한 링크를 가짐으로써, 소비자(30)는 그 다음에 저장 장소(40)에 저장된 정보를 획득하거나 그곳에 정보를 저장하기 위해, 저장 장소(40)와 통신할 수 있다.
일 실시예에서, 오디오 프로세서(26)는, 예를 들면, 오디오 부분(5)의 음량 또는 동적 범위 스케일을 포함하는 오디오 부분(5)의 통계값을 수집하기 위해 콘텐츠의 오디오(5)를 분석한다. 오디오 프로세서(26)는 콘텐츠의 오디오(5)의 통계값을, 시청각 콘텐츠(1)의 메타데이터, 콘텐츠의 오디오(5)나 콘텐츠의 비디오(3)의 메타데이터에 삽입할 수 있다. 소비자(30)는 메타데이터로부터 콘텐츠의 오디오(5)의 통계값을 추출할 수 있다.
일 실시예에서, 트랜시버(24)는 표시(9) 및 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7) 외에도, 콘텐츠의 오디오(5)의 통계값을 저장 장소(40)에 전달한다. 소비자(30)는 저장 장소(40)로부터 콘텐츠의 오디오(5)의 통계값을 획득할 수 있다.
콘텐츠의 오디오(5)의 통계값을 가짐으로써, 소비자(30)는 그 다음에 메타데이터로부터 추출된 콘텐츠의 오디오(5)의 통계값에 기초하여 소비자(30) 시설로부터 재생되거나 배포되는 오디오를 조정할 수 있다.
상술한 바와 같이, 사전 동기화기(22)는 시청각 콘텐츠(1)의 이전 송출 또는 실행 중에 보조 데이터(7)를 수집할 수 있다. 예를 들어, 시청각 콘텐츠(1)는 원래 라이브로 방송되는 농구 경기일 수 있다. 보조 데이터(7)는 최신 경기 통계값(예로써, 점수, 리바운드, 어시스트 등)을 포함할 수 있다. 이 보조 데이터(7) 및 그에 상응하는 타이밍에 액세스하면, 사전 동기화기(22)는, 통계값이 정확할 때, 그 경기에서의 적절한 타이밍에 대응하는 표시(9)(예로써, 파형 서명) 내의 인스턴트에 보조 데이터(7)를 고정시킬 수 있다. 트랜시버(24)는 그 다음에 상술한 바와 같이 소비자(30)가 사용할 정보에 액세스하도록 저장 장소(40)에 보조 데이터(7) 및 표시(9)를 전송할 수 있다.
또한, 콘텐츠 배포자(20)는 보조 데이터(7)를 수집하기 위한 저작 도구(28)를 포함할 수 있다. 저작 도구(28)는, 예를 들어, 통계자가 상술한 농구 경기의 통계값을 입력 가능하게 할 수 있다. 일반적으로, 저작 도구(28)는 보조 데이터(7)의 입력을 허용할 수 있다. 저작 도구(28)는 콘텐츠 이름 또는 콘텐츠 식별 데이터, 콘텐츠 내에서 재생된 스크립트에 대한 데이터, 콘텐츠 내의 캐릭터가 착용한 의상(wordrobe)에 대한 데이터, 콘텐츠의 퍼포머, 프로듀서 또는 디렉터로부터의 코멘트를 포함하는 데이터, 콘텐츠에 대한 정보를 포함하는 리소스에 대한 URL(Uniform Resource Locator), 콘텐츠의 오디오의 음악에 대한 데이터 등과 같은, 콘텐츠를 설명하는 보조 데이터를 입력하도록 이용될 수 있다. 또한, 저작 도구(28)는 광고 데이터 또는 콘텐츠에 관한 또는 그것과 관계된 전문적 또는 기술적 데이터와 같은 상업용 데이터의 형태로 보조 데이터(7)를 입력하도록 이용될 수 있다.
또한 저작 도구(28)는 시청각 콘텐츠(1)의 시각적 부분(3) 내에 오브젝트를 위치시키도록 이용될 수 있다. 이러한 위치는 좌표 세트로 나타낼 수도 있고 또는 그것으로 나타내지 않을 수도 있다. 저작 도구(28)는 이런 좌표 세트를 입력하도록 이용될 수 있다. 또한 저작 도구(28)는, 시청각 콘텐츠(1)의 시각적 부분(3) 내의 위치를 나타내는 제1 좌표 세트가 제2 좌표 세트와 연관되도록, 시청각 콘텐츠(1)의 동기화 데이터(9) 내의 인스턴트에 부가적 보조 데이터로서의 제2 좌표 세트(예로써, 현실 세계 위치의 좌표, 제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 등)를 고정시키도록 이용될 수 있다.
도 4는 소비자(30)에서의 세부사항을 포함하는 예시적 시스템(10)의 블록도를 나타낸다. 소비자(30)는 오디오(5) 및 비디오(3)를 포함하는 콘텐츠(1)에 대해 보조 데이터(7)를 동기화시키기 위한 머신 또는 머신 그룹을 포함할 수 있다.
도시된 실시예에서, 소비자(30)는 콘텐츠 배포자(20)로부터의 시청각 콘텐츠(1)와 저장 장소(40)로부터의 표시(9) 및 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)를 수신하는 트랜시버(32)를 포함한다.
또한, 소비자(30)는 콘텐츠의 오디오(5) 또는 비디오(3)에 대해 표시(9)를 정렬시키는 사후 동기화기(post-synchronizer, 34)를 포함하여, 상술한 바와 같이 시청각 콘텐츠(1)에 대해 보조 데이터(7)를 동기화시킬 수 있다. 사후 동기화기(34)가 콘텐츠의 오디오(5) 또는 콘텐츠의 비디오(3)에 대해 표시(9)를 정렬시키는 특정 방법론은 본 발명에서 중요하지 않다. 이러한 정렬을 달성할 수 있는 메커니즘은 ACR(Automatic Content Recognition)로 알려진 것의 변형과 특히 핑거프린팅(fingerprinting)으로 알려진 것의 변형을 포함한다. ACR은 미디어 디바이스 상에서 재생되거나 미디어 파일에 존재하는 콘텐츠를 식별하거나 인식하는데 이용되는 기술이다. 어쿠스틱 핑거프린팅은 콘텐츠 자체로부터 고유한 지문을 생성한다. 핑거프린팅 기술은 콘텐츠 포맷, 코덱, 비트레이트 및 압축 기술과 상관없이 작동한다. 이것은 네트워크와 채널을 넘나들어 사용하는 것을 가능하게 한다. 표시(9)에 대해 시청각 콘텐츠(1)의 실시간 지문을 계속적으로 비교하는 것은, 시청각 콘텐츠(1)의 보조 데이터(7) 타임 라인을 동기화시키는데 이용될 수 있다. 이러한 핑거프린팅 기술의 예는 2017년 10월 10일자로 등록된 미국 특허 제9,786,298호에서 찾을 수 있으며, 그 전체가 본 명세서에 참조로서 포함된다.
또한, 소비자(30)는 트랜시버(32)로부터 콘텐츠의 오디오(5)를 수신하는 오디오 프로세서(36)를 포함할 수 있다. 일 실시예에서, 오디오 프로세서(36)는 시청각 콘텐츠(1) 또는 콘텐츠의 오디오(5)로부터 메타데이터를 추출할 수 있고, 그리고 메타데이터로부터, 오디오 프로세서는 상술한 바와 같이 저장 장소(40)에 대한 링크를 추출할 수 있다. 저장 장소(40)에 대한 링크를 가짐으로써, 트랜시버(32)는 그 다음에 저장 장소(40)에 저장된 정보를 획득하거나 또는 그곳에 정보를 저장하도록 저장 장소(40)와 통신할 수 있다.
대안적 또는 부가적으로, 저장 장소(40)에 대한 링크는, 가입 기반(subscription basis)으로 소비자(30)에게 배포되거나 또는 다른 방법으로 소비자(30)에게 제공될 수 있다. 이러한 방식으로, 소비자(30)에 의해 수신된 시청각 콘텐츠(1)가 메타데이터를 포함하지 않거나 또는 메타데이터가 저장 장소(40)에 대한 링크를 포함하지 않더라도, 소비자(30)는 여전히 저장 장소(40)에 액세스할 수 있다.
일 실시예에서, 오디오 프로세서(36)는 저장 장소(40)에 대한 링크를 추출하는 것 대신에, 또는 그것에 더하여, 상술한 바와 같이 메타데이터에 저장된 콘텐츠의 오디오(5)의 통계값(예로써, 음량 또는 동적 범위 스케일)을 추출한다. 일 실시예에서, 트랜시버(32)는 표시(9) 및 보조 데이터(7) 외에도, 저장 장소(40)로부터 콘텐츠의 오디오(5)의 통계값을 수신한다. 콘텐츠의 오디오(5)의 통계값을 가짐으로써, 오디오 프로세서(36)는 다음에 저장 장소(40)로부터 획득된 콘텐츠의 오디오(5)의 통계값에 기초하여 소비자(30) 시설에서 재생되거나 배포되는 오디오를 처리할 수 있다.
일 실시예에서, 시청각 콘텐츠(1) 또는 콘텐츠의 오디오(5)가 메타데이터를 포함할 때, 오디오 프로세서는 메타데이터에 저장된 콘텐츠의 오디오의 통계값(예로써, 음량 또는 동적 범위 스케일)을 이용하여 소비자(30) 시설에서 재생되거나 또는 배포되는 오디오를 처리한다. 반면, 시청각 콘텐츠(1) 또는 콘텐츠의 오디오(5)가 메타데이터를 포함하지 않을 때에는, 오디오 프로세서(36)는 저장 장소(40)에 저장된 콘텐츠의 오디오(5)의 통계값을 이용하여 소비자(30) 시설에서 재생되거나 배포되는 오디오를 처리한다.
일 실시예에서, 오디오 프로세서(36)는 콘텐츠의 오디오(5)를 저장 장소(40)로부터 획득된 표시(9)와 비교한다. 그 비교에 기초하여, 시청각 콘텐츠(1)가 식별될 수 있다. 즉, 콘텐츠의 오디오(5) 및 표시(9)가 파라미터 세트 내에서 매칭되면, 시청각 콘텐츠(1)는 표시(9)에 대응하는 것으로 식별될 수 있고, 또는 그 반대인 경우도 가능하다. 마찬가지로, 콘텐츠의 오디오(5) 및 표시(9)가 파라미터 세트 내에서 매칭되지 않으면, 시청각 콘텐츠(1)는 표시(9)에 대응하지 않는다고 말할 수 있고, 또는 그 반대인 경우도 가능하다. 본 명세서에 참조로서 포함되는 2015.04.29자로 출원된 미국 특허 출원 제14/699,658호는 음량 서명(loudness signature)을 통해 콘텐츠를 인증하기 위한 시스템 및 방법을 개시한다. 상기 특허에 개시된 시스템 및 방법은 시청각 콘텐츠(1)의 식별을 위해 이용될 수 있다. 상기 특허 출원 제14/699,658호에 개시된 것과는 다른 그 밖의 시스템 및 방법도 시청각 콘텐츠(1)의 식별을 위해 이용될 수 있다. 다른 실시예에서, 비디오 프로세서는 콘텐츠의 비디오(3)를 저장 장소(40)로부터 획득된 표시(9)와 비교한다. 그 비교에 기초하여, 시청각 콘텐츠(1)가 식별될 수 있다. 즉, 콘텐츠의 비디오(3) 및 표시(9)가 파라미터 세트 내에서 매칭되면, 시청각 콘텐츠(1)는 표시(9)에 대응하는 것으로 식별될 수 있고, 또는 그 반대인 경우도 가능하다. 마찬가지로, 콘텐츠의 비디오(3) 및 표시(9)가 파라미터 세트 내에서 매칭되지 않으면, 시청각 콘텐츠(1)는 표시(9)에 대응하지 않는다고 말할 수 있고, 또는 그 반대인 경우도 가능하다.
또한, 소비자(30)는 시청각 콘텐츠(1)의 프리젠테이션과 동시에 보조 데이터(7)를 제시(예로써, 표시)하는 상호작용 도구(38)를 포함할 수 있다. 상호작용 도구(38)는 콘텐츠의 오디오(5) 또는 콘텐츠의 비디오(3)에 대한 표시(9)의 정렬에 의존하여, 시청각 콘텐츠(1)의 프리젠테이션과 동시에 보조 데이터(7)를 제시한다. 이 정렬은, 시청각 콘텐츠(1)에 대해, 표시(9) 내의 인스턴트에 고정되는 보조 데이터(7)를 동기화시킨다. 상술한 농구 경기 예시에서, 상호작용 도구(38)는 경기가 처음 라이브로 방영된 후 그 경기가 수년이 지난 후에 다시 재생되더라도, 그 경기의 프리젠테이션과 동시에 농구 경기의 최신 통계값을 표시할 수 있다. 또한, 상호작용 도구(30)는, 시각적 부분 상에 나타내는 오브젝트(예로써, 농구 저지)와 관련하여, 클릭함으로써, 예를 들어, 오브젝트를 구매하는 웹사이트 또는 오브젝트를 포함하는 트랜잭션을 용이하게 하는 블록체인 레벨 정보와 같이, 오브젝트에 대한 보다 많은 정보로 사용자를 안내하는 상호작용 링크를 표시할 수 있다.
저장 장소(40)가 보조 데이터(7) 및 표시(9)를 저장하기 때문에, 그 정보는 언제든지 액세스 될 수 있다. 예를 들어, 소비자(30)는 디지털 비디오 레코더(DVR)에 농구 경기(즉, 시청각 콘텐츠(1))를 기록하거나 다른 방식으로 그 경기의 기록물을 획득할 수 있다. 며칠 후 소비자는 그 경기를 시청할 수 있다. 트랜시버(32)는 DVR(또는 소비자(30)가 콘텐츠를 획득한 임의의 다른 방식)로부터 그 경기(즉, 시청각 콘텐츠(1))를 획득할 수 있고, 또한 저장 장소(40)로부터 표시(9) 및 보조 데이터(7)를 획득할 수 있다. 그 다음에, 상호작용 도구(38)는 경기가 처음 라이브로 방영된 후에 그 경기가 수일후에 다시 재생될 때에도, 그 경기의 프리젠테이션과 동시에 농구 경기의 최신 통계값 또는 상호작용 링크를 표시할 수 있다.
일 실시예에서, 상호작용 도구(38)는 보조 데이터(7)를 수집하도록 이용될 수도 있다. 예를 들어, 시청각 콘텐츠(1)의 송출, 방송, 배포 또는 실행 중에, 소비자는 상호작용 도구(38)를 통해, 시청각 콘텐츠(1) 또는 그 시청각 콘텐츠(1)의 특정 장면 또는 부분과 관련된 메모(note)나 코멘트와 같은 보조 데이터(7)를 입력할 수 있다. 그 다음에 사후 동기화기(34)는 상호작용 도구(38)를 통해 입력된 보조 데이터(7)를, 시청각 콘텐츠(1) 내의 인스턴트에 대응하는 표시(9)의 인스턴트에 고정시키고, 그 보조 데이터(7)를 저장 장소(40)에 저장할 수 있다. 이 경우에, 표시(9)는 a) 저장 장소(40)로부터 획득된 표시이거나, 또는 b) 소비자(30)측에서 오디오 프로세서(36)에 의해 국부적으로 생성되어 그 보조 데이터(7)와 함께 저장 장소(40)에 저장된 표시일 수 있다.
또한 상호작용 도구(38)는 시청각 콘텐츠(1)의 시각적 부분(3) 내에 오브젝트를 위치시키는데 이용될 수 있다. 이러한 위치는 좌표 세트로 나타낼 수도 있고 또는 그것으로 나타내지 않을 수도 있다. 상호작용 도구(38)는 이런 좌표 세트를 입력하도록 이용될 수 있다. 또한 상호작용 도구(38)는, 시청각 콘텐츠(1)의 시각적 부분(3) 내의 위치를 나타내는 제1 좌표 세트가 제2 좌표 세트와 연관되도록, 시청각 콘텐츠(1)의 동기화 데이터(9) 내의 인스턴트에 부가적 보조 데이터로서의 제2 좌표 세트(예로써, 현실 세계 위치의 좌표, 제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 등)를 고정시키도록 이용될 수 있다.
도 5는 저장 장소(40)에서의 세부 사항을 포함하는 예시적 시스템(10)의 블록도를 나타낸다. 저장 장소(40)는 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 머신 또는 머신 그룹을 포함할 수 있다. 저장 장소(40)는 표시(9) 및 보조 데이터(7)를 통신(즉, 전송 및 수신)하는 트랜시버(42)를 포함할 수 있다. 또한 저장 장소(40)는 표시(9) 및 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)를 저장하는 데이터베이스(44)를 포함할 수 있다.
일 실시예에서, 트랜시버(42)가 통신하여 데이터베이스(44)는 상술한 바와 같이 콘텐츠의 오디오(5)의 통계값(예로써, 음량 또는 동적 범위 스케일)을 보조 데이터(7)로서 또는 보조 데이터(7)에 더하여 저장한다. 일 실시예에서, 트랜시버(42)는 통신을 계속하고 데이터베이스(44)는 상술한 바와 같이 시청각 콘텐츠(1)의 후속 송출, 방송, 배포 또는 실행 중에 보조 데이터(7)를 계속 저장한다.
저장 장소(40)는 가입, 패스워드 등에 의해 통제될 수 있는 일반적 접근성을 가지는(예로써, 상술한 바와 같은 링크를 통한) 클라우드 또는 로컬 보관소(local archive)와 같이, 콘텐츠 배포자(20) 및 소비자(30)가 액세스 가능한 위치일 수 있다.
시스템(10)은 소프트웨어, 하드웨어, 아날로그 또는 디지털 기술을 이용하여 구현될 수 있다.
예시적 방법은 도 6 및 도 7a-7b의 흐름도를 참조하여 보다 잘 이해될 수 있다. 설명의 단순화를 위해, 도시된 방법론은 일련의 블록으로 도시되고 설명되지만, 일부 블록이 도시되고 설명된 것과는 다른 순서로 또는 다른 블록과 동시에 발생할 수 있기 때문에, 이 방법론은 블록들의 순서에 의해 한정되지 않는 것임을 이해해야 한다. 또한, 모든 도시된 블록보다 적은 수의 블록이 예시적 방법론을 구현하는데 요구될 수 있다. 추가로, 추가적 방법론, 대체적 방법론 또는 양쪽 모두는 도시되지 않은 추가 블록을 이용할 수 있다.
흐름도에서, 블록은 로직으로 구현될 수 있는 "프로세싱 블록"을 나타낸다. 이 프로세싱 블록은 방법 단계 또는 그 방법 단계를 수행하기 위한 장치 요소에 해당할 수 있다. 흐름도는 임의의 특정 프로그래밍 언어, 방법론 또는 스타일(예로써, 절차적, 객체-지향적)을 위한 구문(syntax)을 도시하지 않는다. 오히려, 흐름도는 당업자가 도시된 프로세싱을 수행하기 위한 로직을 개발하는데 이용할 수 있는 기능적 정보를 도시한다. 일부 예에서, 일시적 변수(temporary variables), 루틴 루프(routine loops) 등과 같은 프로그램 요소가 도시되지 않았다는 것이 이해될 것이다. 또한, 전자 및 소프트웨어 애플리케이션이 동적이고 유연한 프로세스를 포함하여, 도시된 블록들이 나타내진 것과 상이한 다른 시퀀스로 수행되거나, 또는 그 블록들이 결합되거나 또는 다수의 컴포넌트로 분할될 수 있다는 것이 이해될 것이다. 프로세스는 기계 언어, 절차적, 객체 지향적 또는 인공 지능 기술과 같은 다양한 프로그래밍 접근법을 이용하여 구현될 수 있다는 것이 이해될 것이다.
도 6은 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 방법(600)에 대한 흐름도를 나타낸다.
방법(600)은 단계 610에서 보조 데이터(7)를 수집하는 것을 포함한다. 수집은 상술한 바와 같이 콘텐츠의 송출, 방송, 배포 또는 실행 이전에 또는 그 동안에 또는 그 사후에 발생할 수 있다. 보조 데이터(7)는 콘텐츠와 어떻게든 관련되는 데이터로서, 콘텐츠 이름 또는 콘텐츠 식별 데이터, 콘텐츠 내에서 재생된 스크립트에 대한 데이터, 콘텐츠 내의 캐릭터가 착용한 의상에 대한 데이터, 콘텐츠의 퍼포머, 프로듀서 또는 디렉터로부터의 코멘트를 포함하는 데이터, 콘텐츠에 대한 정보를 포함하는 리소스에 대한 URL, 콘텐츠의 오디오의 음악에 대한 데이터 등과 같은 콘텐츠를 기술하는 데이터를 포함할 수 있다. 보조 데이터(7)는 광고 데이터와 같은 상업용 데이터를 포함할 수 있다. 또한 보조 데이터(7)는 콘텐츠의 시청자로부터의 코멘트(예컨대, 트위터 메시지 등)와 같은 사용자 데이터를 포함할 수 있다. 또한 보조 데이터(7)는 예를 들면, 콘텐츠의 오디오의 음량 또는 동적 범위 스케일 등을 포함하는 콘텐츠 오디오의 통계값과 같은 전문적 또는 기술적 데이터를 포함할 수 있다. 또한, 보조 데이터는 a) 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 b) 그 좌표 세트로 나타낸 위치에서 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 데이터를 포함할 수 있으며, 그 보조 데이터는 동기화 데이터 내의 인스턴트에 고정된다.
단계 620에서, 방법(600)은 표시(9)를 생성하기 위해 콘텐츠의 오디오 부분(5)(또는 시각적 부분(3))을 분석하는 것을 더 포함한다. 표시(9)는 상술한 바와 같이 콘텐츠의 오디오의 오디오 파형 서명 또는 콘텐츠의 비디오의 서명을 생성함으로써 생성될 수 있다.
콘텐츠의 오디오의 표시(9)(예로써, 오디오 파형 서명)의 생성은, 오디오 부분(5)의 분석의 일부로서 완수될 수 있다. 시청각 콘텐츠(1)에 대한 오디오 부분(5)이 분석되어 동일한 타임 라인 상에서 오디오 통계값이 수집될 수 있다. 이는 일반적인 품질 관리 또는 마스터링 세션(mastering session) 중에 발생할 수 있다. 수집될 수 있는 통계값은 콘텐츠 이름 또는 ID, 오디오 파형 서명, 음량 및 또는 동적 범위 스케일을 포함하여, 콘텐츠가 전송 사양(delivery specification) 및 다른 콘텐츠 특정 비실시간 통계값과 매칭되는 것을 보장하게 한다.
단계 630에서, 보조 데이터(7)는 시청각 콘텐츠(1) 내의 인스턴트에 대응하는 표시(9) 내의 인스턴트에 고정된다. 보조 데이터(7)를 표시(9) 내의 인스턴트에 고정시킨다는 것은 보조 데이터(7)가 시청각 콘텐츠(1)에 시간-정렬된다는 것을 의미한다. 이러한 고정은 보조 데이터(7)를 특정 콘텐츠(1)의 표시(9)와 연관시키고, 표시(9) 내의 인스턴트의 시간으로 보조 데이터(7)를 타임 스탬핑(time stamping)함으로써 완수될 수 있으며 또는 다른 시간 정렬 방법에 의해 완수될 수 있다.
단계 640에서, 표시(9) 및 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)는 저장 장소(40)에 저장될 수 있다.
단계 650에서, 저장 장소(40)에 대한 링크도 생성될 수 있다.
단계 660에서, 오디오 통계 데이터의 일부 또는 전부뿐만 아니라 저장 장소(40)에 대한 링크가 인코딩을 위한 오디오 메타데이터(즉, EMDF) 또는 PCM+MD 오디오 및/또는 PCM 전용 오디오를 위한 LFE 채널에 삽입될 수 있다. 본 명세서에 참조로서 포함되는 2013.02.19자로 등록된 미국 특허 제8,380,334호는 오디오 신호 내에 보조 데이터를 가지고 있을 수 있는 방법 및 시스템을 개시하며, 이는 메타데이터를 오디오 신호에 삽입하도록 이용될 수 있다. 미국 특허 제8,380,334호에 개시된 것과 다른 그 밖의 시스템 및 방법들도 메타데이터를 오디오 신호에 삽입하는데 이용될 수 있다.
단계 670에서, 시청각 콘텐츠(1)가 배포된다. 시청각 콘텐츠(1)는 오늘날 메타데이터를 가지거나 또는 가지지 않고, 인코딩되거나 또는 베이스밴드 PCM인 오디오와 함께, 전달될 수 있다.
도 7a은 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 방법(700)에 대한 흐름도를 나타낸다.
단계 710에서, 방법(700)은 표시(9) 및 그 표시(9) 내의 인스턴트에 고정된 보조 데이터(7)를 수신하는 것을 포함한다. 이러한 표시(9) 및 보조 데이터(7)의 조합은 적어도 2개의 환경(context)으로서, 1) 전송을 위한 송출 중에 그리고 2) 소비자 시설에서 시청각 콘텐츠(1)의 수신시에서 이용될 수 있다.
전송을 위한 송출 중에, 오디오 프로세서는 메타데이터가 있거나 없는 시청각 콘텐츠(1)의 인코딩된 또는 베이스밴드 PCM 오디오를 수용할 수 있고, 또한 클라우드 또는 저장 장소(40)가 상주하는 다른 위치에 연결될 수 있다. 이 환경에서, 방법(700)은 콘텐츠의 오디오의 통계값을 이용하여 콘텐츠의 오디오를 처리하는 오디오 프로세서를 바이패스시키거나 또는 조정하는 것을 포함할 수 있다.
단계 720에서, 만약 EMDF 메타데이터가 존재하거나 또는 메타데이터가 LFE 채널 내에서 검출되고 콘텐츠의 오디오의 통계값이 메타데이터에 저장되어 있으면, 단계 725에서, 콘텐츠의 오디오(5)의 통계값(예로써, 음량 및 기타 콘텐츠 특정 데이터)은 원래의 품질과 컴플라이언스(compliance)를 유지관리하기 위해 이미 정확한 콘텐츠를 최소 수정 또는 수정 없이 통과시킬 수 있는 오디오 프로세스를 바이패스시키거나 또는 조정하도록 이용될 수 있다.
단계 730에서, 만약 메타데이터 또는 LFE 데이터가 존재하지 않거나 또는 콘텐츠의 오디오의 통계값이 메타데이터에 저장되어 있지 않으면, 오디오 부분(5)의 실시간 오디오 서명은 저장 장소로부터 수신된 표시(9)와 비교되어 시청각 콘텐츠(1)를 식별할 수 있다. 만약 표시가 선택 가능한 범위 내에서 매칭되면, 시청각 콘텐츠(1)가 식별되고, 단계 735에서, 저장 장소(40)에 저장될 수 있는 콘텐츠의 오디오(5)의 통계값은 원래의 품질과 컴플라이언스(compliance)를 유지관리하기 위해 이미 정확한 콘텐츠를 최소 수정 또는 수정 없이 통과시킬 수 있는 오디오 프로세스를 바이패스시키거나 또는 조정하도록 이용될 수 있다.
단계 740에서, 만약 a) 메타데이터가 존재하지 않거나 특정 콘텐츠 또는 세그먼트에 대한 콘텐츠의 오디오(5)의 통계값을 포함하지 않고, b) 오디오 부분(5)의 실시간 오디오 서명 및 표시(9)가 특정 시간량 내에서 매칭되지 않으면, 오디오 부분(5)의 준수를 보장하기 위해 실시간 음량 및 동적 범위 제어가 실행될 수 있다.
시청각 콘텐츠(1)의 수신시, 방법(700)은 시청각 콘텐츠(1)에 보조 데이터(7)를 동기화시키는 것을 포함할 수 있다. 단계 750에서, 만약 메타데이터(예로써, EMDF)가 존재하고 시간 스탬프를 포함하면, 단계 760에서, 보조 데이터(7)는 타임 스탬프에 기초하여 시청각 콘텐츠(1)에 대해 동기화될 수 있다. 만약 메타데이터가 존재하지 않거나 또는 타임 스탬프를 포함하지 않으면, 단계 770에서, 방법(700)은 상술한 바와 같이, 시청각 콘텐츠(1)에 보조 데이터(7)를 동기화시키도록, 콘텐츠의 오디오(5)에 대해 표시(9)를 정렬시킨다.
이제 소비자 애플리케이션 또는 상호작용 도구(38)는, 단계 780에서, 콘텐츠의 오디오(5)에 대한 표시(9) 정렬에 의존하여 시청각 콘텐츠(1)의 프리젠테이션과 동시에 시청각 콘텐츠(1)에 대해 동기화된 보조 데이터(7)를 표시할 수 있다.
단계 790에서, 방법(700)은 추가로 다른 소비자, 프로그램 제작자, 또는 심지어 광고주들에 의해 시청되거나 또는 액세스될 수 있는 부가적 보조 데이터(7)를 통신할 수 있다. 또한, 이 데이터는 다운스트림 전문적 또는 소비자 광고 삽입 메커니즘에 의해 사용될 수 있으며, 그 데이터에 대한 실시간 업데이트 또는 추가에 의해 잠재적으로 증가된, 존재하는 디테일-리치 데이터(detail-rich data)로 인해, 삽입은 이전의 정적 방법보다 보다 나은 정밀도를 가지고 타켓화될 수 있다. 방법(700)은 시청각 콘텐츠(1)의 후속 송출, 방송, 배포 또는 실행 중에 새로운 보조 데이터(7)를 수신 및 저장하는 것을 계속할 수 있다. 새로운 보조 데이터(7)는 후속 송출, 방송, 배포 및 실행 중에 시청각 콘텐츠(1) 내의 인스턴트에 대응하는 콘텐츠의 오디오(5)의 표시(9) 내의 인스턴트에 고정된다.
도 7b는 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 예시적 방법(700B)에 대한 흐름도를 나타낸다. 단계 705에서, 방법(700B)은 오디오 부분 및 시각적 부분을 포함하는 시청각 콘텐츠를 수신하는 것을 포함한다. 시청각 콘텐츠의 동기화 데이터에 대한 오디오 부분의 후속 정렬은 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 시청각 콘텐츠에 대해 동기화시킨다. 단계 715에서, 방법(700B)은 시청각 콘텐츠의 시각적 부분 내의 위치에 대한 선택을 검출한다. 만일 선택이 이루어졌으면, 단계 725에서, 방법(700B)은 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 전송하고, 시청각 콘텐츠에 동기화된 좌표 세트로 나타낸 위치에서 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 수신하는 것을 포함할 수 있다.
방법(700B)은 추가로 시청각 콘텐츠의 동기화 데이터에 대해 오디오 부분을 정렬시켜, 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 그 좌표 세트로 나타낸 위치에서 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 시청각 콘텐츠에 대해 동기화시키고, 그리고 동기화 데이터에 대한 오디오 부분의 정렬에 의존하여 시청각 콘텐츠의 프리젠테이션과 동시에 좌표 세트로 나타낸 위치에서 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 표시하는 것을 포함할 수 있다.
방법(700B)은 추가로 시청각 콘텐츠의 오디오 부분으로부터 도출된 동기화 데이터 내의 인스턴트에 고정된 부가적 보조 데이터로서 제2 좌표 세트를 수신하는 것을 포함할 수 있다. 제2 좌표 세트는 a) 현실 세계 위치의 좌표, 또는 b) 제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응한다.
도면들이 연속적으로 발생하는 다양한 동작들을 도시하지만, 도시된 다양한 동작들이 실질적으로 병렬로 발생할 수 있다는 것이 이해되어야 하며, 동작들이 병렬로 발생하는 것으로 도시될 수 있지만, 이들 동작이 실질적으로 연속적으로 발생할 수 있는 것임이 이해되어야 한다. 다수의 프로세스가 도시된 방법과 관련하여 설명되지만, 보다 많거나 또는 더 적은 수의 프로세스가 이용될 수 있고, 경량 프로세스, 정규 프로세스, 스레드 및 다른 접근법이 이용될 수 있다는 것이 이해되어야 한다. 다른 예시적인 방법들이, 어떤 경우에는, 또한 실질적으로 병렬로 발생하는 동작들을 포함할 수 있다는 것이 이해되어야 한다. 도시된 예시적인 방법 및 다른 실시예는 실시간으로, 소프트웨어 또는 하드웨어 또는 하이브리드 소프트웨어/하드웨어 구현물에서 실시간보다 빠르게, 또는 소프트웨어 또는 하드웨어 또는 하이브리드 소프트웨어/하드웨어 구현물에서 실시간보다 느리게 동작할 수 있다.
도 8은 오디오를 포함하는 콘텐츠에 대해 보조 데이터를 동기화시키기 위한 예시적 머신(800)의 블록도를 나타낸다. 머신(800)은 버스(808)에 의해 동작 가능하게 연결된 프로세서(802), 메모리(804) 및 I/O 포트(810)를 포함한다.
일 예에서, 머신(800)은 예를 들어, I/O 포트(810) 또는 I/O 인터페이스(818)을 통해서 시청각 콘텐츠(1), 비디오 부분(3), 오디오 부분(5), 보조 데이터(7), 표시(9) 등을 포함하는 입력 신호를 수신할 수 있다. 또한, 머신(800)은 콘텐츠 배포자(20)의 사전 동기화기(22), 트랜시버(24), 오디오 프로세서(26) 및 저작 도구(28)를 포함할 수 있다. 또한, 머신(800)은 소비자(30)의 트랜시버(32), 사후 동기화기(34), 오디오 프로세서(36) 및 상호작용 도구(38)를 포함할 수 있다. 또한, 머신(800)은 저장 장소(40)의 트랜시버(42) 및 데이터베이스(44)를 포함할 수 있다. 따라서, 콘텐츠 배포자(20), 소비자(30), 또는 저장 장소(40)는 하드웨어, 펌웨어, 소프트웨어, 또는 이것들의 조합으로서 머신(1700) 내에 구현될 수 있고, 따라서 머신(1700) 및 그것의 구성요소는 사전 동기화기(22), 트랜시버(24), 오디오 프로세서(26), 저작 도구(28), 트랜시버(32), 사후 동기화기(34), 오디오 프로세서(36), 상호작용 도구(38), 트랜시버(42) 및 데이터베이스(44)에 의해 실행되도록 본 명세서에서 설명되고 및/또는 청구된 기능을 수행하기 위한 수단을 제공할 수 있다.
프로세서(802)는 듀얼 마이크로프로세서 및 다른 멀티 프로세서 아키텍처를 포함하는 다양한 종류의 프로세서일 수 있다. 메모리(804)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 비휘발성 메모리는 ROM, PROM, EPROM, EEPROM 등을 포함할 수 있지만, 이것으로 한정되지 않는다. 휘발성 메모리는, 예로써, RAM, 동기식 RAM(SRAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 더블 데이터레이트 SDRAM(DDR SDRAM) 및 다이렉트 RAM 버스 RAM(DRRAM)을 포함할 수 있다.
디스크(806)는 예를 들어, I/O 인터페이스(예컨대, 카드, 디바이스)(818) 및 I/O 포트(810)를 통해서 머신(800)에 동작 가능하게 연결될 수 있다. 디스크(806)는 자기 디스크 드라이브, 고체 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, Zip 드라이브, 플래시 메모리 카드, 또는 메모리 스틱과 같은 디바이스를 포함할 수 있지만, 이것으로 한정되지 않는다. 또한, 디스크(806)는 CD-ROM, CD 기록가능 드라이브(CD-R 드라이브), CD 재기록 가능 드라이브(CD-RW 드라이브), 또는 디지털 비디오 ROM 드라이브(DVD ROM)와 같은 광학식 드라이브를 포함할 수 있다. 메모리(804)는 예를 들어, 프로세스(814) 또는 데이터(816)를 저장할 수 있다. 디스크(806) 또는 메모리(804)는 머신(800)의 리소스를 제어 및 할당하는 운영 체제를 저장할 수 있다.
버스(808)는 단일 내부 버스 상호연결 아키텍처 또는 다른 버스 또는 메쉬 아키텍처일 수 있다. 단일 버스가 도시되지만, 머신(800)은 도시되지 않은 다른 버스(예로써, PCIE, SATA, Infiniband, 1394, USB, 이더넷)를 사용하여 다양한 디바이스, 로직 및 주변 장치와 통신할 수 있음이 이해되어야 한다. 버스(808)는 메모리 버스 또는 메모리 제어기, 주변장치 버스 또는 외부 버스, 크로스바 스위치 또는 로컬 버스를 포함하는 다양한 타입일 수 있지만, 이것으로 한정되지 않는다. 로컬 버스는 산업 표준 아키텍처(ISA) 버스, 마이크로채널 아키텍처(MCA) 버스, 확장 ISA(EISA) 버스, 주변장치 구성요소 상호연결(PCI) 버스, 범용 직렬 버스(USB) 및 소형 컴퓨터 시스템 인터페이스(SCSI) 버스를 포함하는 종류들일 수 있으며, 이것으로 한정되지 않는다.
머신(800)은 I/O 인터페이스(818) 및 I/O 포트(810)를 통해서 입력/출력 디바이스와 상호작용할 수 있다. 입력/출력 디바이스는 키보드, 마이크로폰, 포인팅 및 셀렉션 디바이스, 카메라, 비디오 카드, 디스플레이, 디스크(806), 네트워크 디바이스(820) 등을 포함할 수 있지만, 이것으로 한정되지 않는다. I/O 포트(810)는 직렬 포트, 병렬 포트 및 USB 포트를 포함하지만, 이것으로 한정되지 않는다.
머신(800)은 네트워크 환경에서 동작할 수 있으므로 I/O 인터페이스(818) 또는 I/O 포트(810)를 통해서 네트워크 디바이스(820)에 연결될 수 있다. 네트워크 디바이스(820)를 통해, 머신(800)은 네트워크와 상호작용할 수 있다. 네트워크를 통해, 머신(800)은 원격 컴퓨터에 논리적으로 연결될 수 있다. 머신(800)이 상호작용할 수 있는 네트워크는, LAN(local area network), WAN(wide area network) 및 다른 네트워크를 포함하지만, 이것으로 한정되지 않는다. 네트워크 디바이스(820)는 FDDI(fiber distributed data interface), CDDI(copper distributed data interface), 이더넷(IEEE 802.3), 토큰 링(IEEE 802.5), 무선 컴퓨터 통신(IEEE 802.11), 블루투스(IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4) 등을 포함하는 LAN 기술에 연결할 수 있지만, 이것으로 한정되지 않는다. 마찬가지로, 네트워크 디바이스(820)는 포인트 투 포인트 링크, ISDN(Integrated Services Digital Network)과 같은 회로 스위칭 네트워크, 패킷 스위칭 네트워크 및 DSL(digital subscriber line)을 포함하는 WAN 기술에 연결할 수 있지만, 이것으로 한정되지 않는다. 개별적 네트워크 타입이 설명되지만, 네트워크를 경유하거나, 거치거나, 또는 통하는 통신은 통신들의 조합 및 혼합을 포함할 수 있음이 이해되어야 한다.
정의
다음은 본 명세서에서 이용된 선택 용어의 정의를 포함한다. 정의는 용어의 범위에 속하며 구현을 위해 사용될 수 있는 컴포넌트의 다양한 예시 또는 형태를 포함한다. 예시는 제한하려는 의도는 아니다. 용어의 단수형과 복수형 모두는 정의에 속할 수 있다.
"콘텐츠(content)"는 스틸 이미지, 시청각(audio/visual, AV) 미디어, 비디오 미디어, 또는 오디오 미디어의 세그먼트에 상응하고, 구현(embody)되거나, 저장되거나, 전송되거나, 수신되거나, 처리되거나, 또는 그 외에 적어도 하나의 매체로 사용된 정보를 포함한다. 공통 미디어 콘텐츠 포맷은 FLV 포맷(플래시 비디오), 윈도우 미디어 비디오, RealMedia, MFX, Quicktime, MPEG, MP3, DivX, JPEG 및 비트맵을 포함한다. 본 명세서에서 사용된 바와 같이, 용어 "미디어 클립", "미디어 콘텐츠", "정보 콘텐츠" 및 "콘텐츠"는 서로 교환 가능하게 사용될 수 있다.
본 명세서에서 사용된 바와 같이, "데이터 저장소(data store)" 또는 "데이터베이스"는 데이터를 저장할 수 있는 물리적 또는 논리적 엔티티(entity)를 지칭한다. 데이터 저장소는, 예를 들면, 데이터베이스, 테이블, 파일, 목록(list), 큐(queue), 힙(heap), 메모리, 레지스터 등일 수 있다. 데이터 저장소는 하나의 논리적 또는 물리적 엔티티에 상주하거나 또는 둘 이상의 논리적 또는 물리적 엔티티 사이에 분산될 수 있다.
본 명세서에서 사용된 "로직(logic)"은 기능(들) 또는 동작(들)을 실행하거나, 또는 다른 로직, 방법, 또는 시스템으로부터 기능 또는 동작이 수행되게 하기 위한 하드웨어, 펌웨어, 소프트웨어 또는 각각의 조합을 포함하지만, 이것으로 한정되지 않는다. 예를 들면, 원하는 애플리케이션 또는 필요에 기초하여, 로직은 소프트웨어 제어형 마이크로프로세서, ASIC(application specific integrated circuit)와 같은 이산 로직(discrete logic), 프로그램화된 로직 디바이스, 명령을 포함하는 메모리 디바이스 등을 포함할 수 있다. 로직은 하나 이상의 게이트(gate), 게이트 조합, 또는 다른 회로 컴포넌트를 포함할 수 있다. 또한, 로직은 소프트웨어로서 완전하게 구현될 수도 있다. 다중 논리적 로직(multiple logical logic)이 설명되는 경우, 다중 논리적 로직을 하나의 물리적 로직으로 통합하는 것이 가능할 수 있다. 마찬가지로, 단일 논리적 로직이 기술되는 경우, 다중 물리적 로직 사이에 단일 논리적 로직을 분산시키는 것이 가능할 수 있다.
"동작 가능한 연결(operable connection)" 또는 엔티티들이 "동작 가능하게 연결되는" 연결은, 신호, 물리적 통신 또는 논리적 통신이 송신되거나 수신될 수 있는 것이다. 일반적으로, 동작 가능한 연결은 물리적 인터페이스, 전기적 인터페이스 또는 데이터 인터페이스를 포함하지만, 동작 가능한 연결이 동작 가능한 제어를 허용하기에 충분한 이들 또는 다른 타입의 연결의 상이한 조합(differing combination)을 포함할 수 있음에 유의해야 한다. 예를 들면, 2개의 엔티티는 직접적으로, 또는 프로세서, 오퍼레이팅 시스템, 로직, 소프트웨어 또는 다른 엔티티와 같은 하나 이상의 중간 엔티티(intermediate entity)를 통해 신호를 서로 통신 가능하게 함으로써 동작 가능하게 연결될 수 있다. 논리적 또는 물리적 통신 채널이 동작 가능한 연결을 생성하기 위해 사용될 수 있다.
방송에서, "송출(playout)"은 브로드캐스터로부터 라디오 또는 TV 채널이 콘텐츠를 시청자에게 전달하는 방송 네트워크로 전송되는 것에 대한 용어이다.
본 명세서에서 사용되는 "신호"는, 하나 이상의 전기적 또는 광학적 신호, 아날로그 또는 디지털 신호, 데이터, 하나 이상의 컴퓨터 또는 프로세서 명령, 메시지, 비트 또는 비트 스트림, 또는 수신, 전송 또는 검출될 수 있는 기타 수단들을 포함하지만, 이것으로 한정되지 않는다.
본 명세서에서 사용된 "소프트웨어"는, 판독, 해석, 컴파일 또는 실행될 수 있고, 컴퓨터, 프로세서 또는 다른 전자 디바이스로 하여금 원하는 방식으로 기능, 동작, 또는 행동(behave)을 수행하도록 하는 하나 이상의 컴퓨터 또는 프로세서 명령을 포함하지만, 이것으로 한정되지 않는다. 이 명령은 루틴, 알고리즘, 모듈, 메소드(method), 스레드(thread), 또는 동적 또는 정적으로 링크된 라이브러리로부터의 개별 애플리케이션 또는 코드를 포함하는 프로그램과 같은 다양한 형태로 구체화될 수 있다. 또한, 소프트웨어는 독립 실행형 프로그램(stand-alone program), 함수 호출(로컬 또는 원격), 서블릿(servlet), 애플릿(applet), 메모리에 저장된 명령, 오퍼레이팅 시스템의 일부 또는 실행가능한 명령들의 다른 타입을 포함하는 다양한 실행가능 또는 로딩가능한 형태로 구현될 수 있지만, 이것으로 한정되지 않는다. 당업자는 소프트웨어의 형태가, 예를 들면, 원하는 애플리케이션의 요구 사항, 소프트웨어가 실행되는 환경, 또는 설계자/프로그래머 등의 요구사항 등에 의존할 수 있음을 이해할 것이다. 또한, 컴퓨터-판독가능 또는 실행가능 명령들은 하나의 로직에 위치하거나 또는 둘 이상의 통신, 협동(co-operating) 또는 병렬 처리 로직들 사이에 분산될 수 있고, 따라서 직렬, 병렬, 대용량 병렬 및 기타 방식으로 로딩되거나 실행될 수 있음이 이해될 것이다.
여기에 기술된 예시적인 시스템 및 방법의 다양한 컴포넌트를 구현하기에 적합한 소프트웨어는 자바, 파스칼, C#, C++, C, CGI, Perl, SQL, API, SDK, 어셈블리, 펌웨어, 마이크로코드, 또는 다른 언어와 툴과 같은 프로그래밍 언어와 툴을 사용하여 제작될 수 있다. 소프트웨어는 전체 시스템 또는 시스템의 컴포넌트 여부에 상관없이, 제조 물품으로서 구체화될 수 있고 또는 이전에 정의된 것처럼, 컴퓨터-판독가능 매체의 일부로서 유지관리 또는 제공될 수 있다. 소프트웨어의 다른 형태는 네트워크 또는 다른 통신 매체를 통해서 소프트웨어의 프로그램 코드를 수신자에게 전송하는 신호를 포함할 수 있다. 따라서, 일례에서, 컴퓨터-판독가능 매체는 웹 서버로부터 사용자에게 다운로드되도록 소프트웨어/펌웨어를 나타내는 신호의 형태를 가진다. 다른 예에서, 컴퓨터-판독가능 매체는 웹 서버상에서 유지관리되도록 소프트웨어/펌웨어의 형태를 가진다. 다른 형태도 사용될 수 있다.
본 명세서에서 사용되는 "사용자" 또는 "소비자"는, 한 명 이상의 사람, 소프트웨어, 컴퓨터 또는 다른 디바이스, 또는 이것들의 조합을 포함하지만, 이것으로 한정되지 않는다.
이어지는 상세한 설명의 일 부분은 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 심볼적 표현의 관점에서 제시된다. 이러한 알고리즘적 설명 및 표현은 당업자가 그들의 작업 내용을 다른 사람들에게 전달하는데 사용되는 수단이다. 여기에서 알고리즘은 일반적으로 결과를 생산하는 일련의 연산으로 인식된다. 연산은 물리적 양의 물리적 조작을 포함할 수 있다. 일반적으로, 반드시 필요한 것은 아니지만, 물리적 양은 로직 등으로 저장, 전송, 결합, 비교 및 그 외에 조작될 수 있는 전기적 또는 자기적 신호의 형태를 취한다.
주로 공통 사용의 이유로 인해, 이들 신호를 비트, 값, 요소, 심볼, 문자, 용어, 수 등으로 지칭할 때가 편리하다는 것이 때때로 입증되었다. 그러나 이런 것들과 유사한 용어들이 적절한 물리적 양과 연관될 수 있으며 이러한 양에 적용되는 편리한 레이블에 불과하다는 것을 명심해야 한다. 특별한 언급이 없는 한, 상세한 설명을 통해, 프로세싱, 컴퓨팅, 계산, 결정, 표시 등과 같은 용어는 물리적(전자적) 양으로 나타낸 데이터를 조작하고 변형시키는 컴퓨터 시스템, 로직, 프로세서, 또는 유사 전자 디바이스의 동작 및 프로세스를 지칭한다는 것을 알 수 있다.
설명의 용이함을 위해, 본 개시는 예를 들어 정보를 가지고 있고 내장된 오디오 신호에 관한 데이터를 제어하는데 사용되는 EMDF(Extensible Metadata Format)와 같은 ETSI TS 102 366(Annex H)에 기술된 명명법의 문맥에서 예시들을 설명한다. 그러나 본 개시의 원리는 그 문맥으로 한정되지는 않으며, ETSI TS 103 190(섹션 4.3.15)을 포함하는 임의의 압축된 오디오, 또는 ATSC A52:2012 및 A/85:2013 또는 심지어 SMPTE 337M 표준에 설명된 것과 같은 메타데이터를 포함하는 베이스밴드 PCM 오디오 시스템과 함께 포함된 임의의 이러한 내장형 메타데이터 스킴을 포함하는 다양한 다른 문맥에서 실현될 수 있다.
용어 "포함한다(includes)" 또는 "포함하는(including)"이 상세한 설명 또는 청구범위에서 이용되는 한, 용어 "구비하는(comprising)" 이 청구범위에서 전환 어휘(transitional word)로 이용될 때 해석되는 것과 유사한 방식으로 포괄적인 것으로 의도된다. 또한, 용어 "또는(or)"이 발명의 상세한 설명 또는 청구범위에서 이용(예로써, "A 또는 B")되는 한, "A 또는 B 또는 둘 모두" 의미하려는 것으로 의도된다. 출원인이 "둘 모두가 아니라, A 또는 B만"을 나타내려고 의도할 때는 용어 "둘 모두가 아니라, A 또는 B만"이 이용될 것이다. 따라서 본 명세서에서 용어 "또는"의 사용은 배타적인 사용이 아니라 포괄적 사용이다. 브라이언 A. 가너(Bryan A. Garner)의 현대 법적 용법 사전(Modern Legal Usage) 624(2d, Ed. 1995년) 참조.
예시적인 시스템, 방법 등이 예시들을 설명함으로써 도시되어 있고, 예시들이 상당히 자세하게 기술되어 있지만, 출원인이 이러한 세부 사항으로 범위를 제한하거나 어떤 방식으로든 범위를 한정하려는 의도는 아니다. 물론, 여기에서 설명된 시스템, 방법 등을 설명할 목적으로 컴포넌트 또는 방법론의 모든 가능한 조합을 설명하는 것은 불가능하다. 추가적인 장점 및 수정예는 당업자에게 쉽게 출현될 것이다. 따라서, 본 발명은 도시되고 설명된 특정 세부 사항, 대표적 장치, 및 도시된 예시들로 한정되지 않는다. 따라서, 본 출원은 첨부된 청구범위 내에 있는 대안물, 수정물, 및 변형물을 포괄하도록 의도된다. 또한, 상술한 설명은 본 발명의 범위를 한정하는 것을 의미하지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항 및 그것의 균등물에 의해 결정된다.

Claims (35)

  1. 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 시스템으로서,
    시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 동기화 데이터 및 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 획득하도록 구성된 사전 동기화기(pre-synchronizer) - 상기 보조 데이터는 상기 동기화 데이터 내의 인스턴트에 고정됨 - ;
    상기 시청각 콘텐츠에 대한 상기 동기화 데이터의 후속 정렬(subsequent alignment)이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 상기 좌표 세트를 동기화시키도록, 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 전달하도록 구성된 트랜시버; 및
    상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트가 제2 좌표 세트와 연관되도록, 상기 제2 좌표 세트를 부가적 보조 데이터로서 상기 동기화 데이터 내의 인스턴트에 고정시키도록 구성된 저작 도구를 포함하며,
    상기 제2 좌표 세트는:
    현실 세계 위치의 좌표,
    제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응하는 것인 시스템.
  2. 청구항 1에 있어서,
    상기 사전 동기화기는 상기 동기화 데이터 내의 인스턴트에 고정된 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 획득하도록 구성되며, 그리고
    상기 트랜시버는 상기 시청각 콘텐츠에 대한 상기 동기화 데이터의 후속 정렬이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를, 상기 시청각 콘텐츠에 대한 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트에 대해 동기화시키도록, 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 전달하도록 구성되는 시스템.
  3. 청구항 2에 있어서,
    상기 시청각 콘텐츠의 상기 오디오 부분 또는 상기 시각적 부분으로부터 상기 동기화 데이터를 도출하도록 구성된 프로세서를 포함하고,
    상기 사전 동기화기는 상기 좌표 세트 및 상기 오브젝트를 식별하는 상기 보조 데이터를 상기 동기화 데이터 내의 인스턴트에 고정시키도록 구성되며; 그리고
    상기 트랜시버는 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를, 상기 시청각 콘텐츠의 소비자가 접속 가능한 데이터베이스에 전달하도록 구성되는 시스템.
  4. 청구항 2에 있어서,
    상기 시청각 콘텐츠의 상기 오디오 부분 또는 상기 시각적 부분으로부터 상기 동기화 데이터를 도출하도록 구성된 프로세서를 포함하고,
    상기 사전 동기화기는 상기 좌표 세트 및 상기 오브젝트를 식별하는 상기 보조 데이터를 상기 동기화 데이터 내의 인스턴트에 고정시키도록 구성되며, 그리고
    상기 트랜시버는 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 저장 장소에 저장하도록 구성되는 시스템.
  5. 청구항 2에 있어서,
    상기 시청각 콘텐츠의 시각적 부분 내의 상기 오브젝트를 상기 좌표 세트로 나타낸 위치에 위치시키도록 구성된 저작 도구를 포함하는 시스템.
  6. 청구항 1에 있어서,
    상기 트랜시버는 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 저장 장소에 저장하도록 구성되며,
    상기 사전 동기화기는 상기 저장 장소에 대한 링크를 생성하도록 구성되며; 그리고
    프로세서는 상기 저장 장소에 대한 링크를 상기 시청각 콘텐츠의 메타데이터에 삽입하도록 구성되는 시스템.
  7. 청구항 1에 있어서,
    상기 사전 동기화기는 상기 시청각 콘텐츠의 이전 송출(previous playout) 또는 실행 중에 상기 보조 데이터를 수집하고, 상기 보조 데이터를 상기 시청각 콘텐츠 내의 인스턴트에 대응하는 상기 동기화 데이터 내의 상기 인스턴트에 고정시키도록 구성되는 시스템.
  8. 삭제
  9. 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 시스템으로서,
    시청각 콘텐츠의 동기화 데이터에 대한 오디오 부분 또는 시각적 부분의 후속 정렬이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 동기화시키도록, 적어도 오디오 부분 및 시각적 부분을 포함하는 시청각 콘텐츠와, 상기 좌표 세트 및 상기 동기화 데이터 내의 인스턴트에 고정된 부가적 보조 데이터로서의 제2 좌표 세트를 수신하도록 구성된 트랜시버; 및
    상기 시청각 콘텐츠의 시각적 부분 내의 위치의 선택을 검출하고, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 전송하도록 구성된 상호작용 도구(interaction tool)를 포함하고,
    상기 제2 좌표 세트는:
    현실 세계 위치의 좌표, 및
    제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응하는 것인 시스템.
  10. 청구항 9에 있어서,
    상기 트랜시버는 상기 시청각 콘텐츠에 동기화된 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 수신하도록 더 구성되는 시스템.
  11. 청구항 10에 있어서,
    상기 시청각 콘텐츠의 동기화 데이터에 대해 상기 오디오 부분 또는 상기 시각적 부분을 정렬시켜, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키도록 구성된 사후 동기화기(post-synchronizer)를 포함하는 시스템.
  12. 청구항 10에 있어서,
    상기 시청각 콘텐츠의 동기화 데이터에 대해 상기 오디오 부분 또는 상기 시각적 부분을 정렬시켜, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키도록 구성된 사후 동기화기를 포함하고,
    상기 상호작용 도구는 상기 동기화 데이터에 대한 상기 오디오 부분 또는 상기 시각적 부분의 정렬에 의존하여 상기 시청각 콘텐츠의 프리젠테이션과 동시에 상기 좌표 세트로 나타낸 위치에서의 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 상기 오브젝트를 표시하도록 구성되는 시스템.
  13. 삭제
  14. 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 시스템으로서,
    시청각 콘텐츠의 오디오 부분 또는 시각적 부분에 대한 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시의 후속 정렬이 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키도록, 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 및 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 저장하도록 구성된 데이터베이스; 및
    상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 및 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 상기 보조 데이터와, 상기 좌표 세트 및 상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 동기화 데이터 내의 인스턴트에 고정된 부가적 보조 데이터로서 제2 좌표 세트를 전달하도록 구성된 트랜시버를 포함하고,
    상기 제2 좌표 세트는:
    현실 세계 위치의 좌표, 및
    제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응하는 것인 시스템.
  15. 청구항 14에 있어서,
    상기 데이터베이스는 상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분에 대한 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시의 후속 정렬이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 동기화시키도록, 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 저장하도록 구성되는 시스템.
  16. 청구항 15에 있어서,
    상기 트랜시버는 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 수신하고, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 수신하는 것에 응답하여, 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 상기 보조 데이터를 전송하도록 구성되거나, 또는
    상기 트랜시버는 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 데이터를 수신하고, 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 데이터를 수신하는 것에 응답하여, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 전송하도록 구성되는 시스템.
  17. 삭제
  18. 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 방법으로서,
    시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 동기화 데이터 및 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 획득하는 단계 - 상기 보조 데이터는 상기 동기화 데이터 내의 인스턴트에 고정됨 - ;
    상기 시청각 콘텐츠에 대한 상기 동기화 데이터의 후속 정렬이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 상기 좌표 세트를 동기화시키도록, 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 전달하는 단계; 및
    제2 좌표 세트가 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트와 연관되도록, 상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 상기 동기화 데이터 내의 인스턴트에 고정된 제2 좌표 세트를 식별하는 보조 데이터를 획득하는 단계를 포함하며,
    상기 제2 좌표 세트는:
    현실 세계 위치의 좌표, 또는
    제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응하는 것인 방법.
  19. 청구항 18에 있어서,
    상기 시청각 콘텐츠에 대한 상기 동기화 데이터의 후속 정렬이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 상기 시청각 콘텐츠에 대해 동기화시키도록, 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터 - 상기 보조 데이터는 상기 동기화 데이터 내의 인스턴트에 고정된 오브젝트를 식별함 - 를 획득하는 단계를 포함하는 방법.
  20. 청구항 19에 있어서,
    상기 좌표 세트 및 상기 오브젝트를 식별하는 보조 데이터를, 상기 오디오 부분 또는 상기 시각적 부분으로부터 도출된 상기 동기화 데이터 내의 인스턴트에 고정시키는 단계; 및
    상기 시청각 콘텐츠의 상기 오디오 부분 또는 상기 시각적 부분으로부터 도출된 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 데이터베이스에 저장하는 단계를 포함하는 방법.
  21. 청구항 19에 있어서,
    적어도 상기 오디오 부분 및 상기 시각적 부분을 포함하는 상기 시청각 콘텐츠를 획득하는 단계;
    상기 시청각 콘텐츠의 상기 오디오 부분 또는 상기 시각적 부분으로부터 상기 동기화 데이터를 도출하는 단계; 및
    상기 좌표 세트 및 상기 오브젝트를 식별하는 상기 보조 데이터를 상기 오디오 부분 또는 상기 시각적 부분으로부터 도출된 상기 동기화 데이터 내의 인스턴트에 고정시키는 단계를 포함하는 방법.
  22. 청구항 19에 있어서,
    상기 시청각 콘텐츠의 시각적 부분 내의 상기 오브젝트를 상기 좌표 세트로 나타낸 위치에 위치시키는 단계를 포함하는 방법.
  23. 청구항 19에 있어서,
    상기 시청각 콘텐츠의 송출 또는 실행 중에 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 수집하는 단계를 포함하며, 상기 시청각 콘텐츠의 상기 오디오 부분 또는 상기 시각적 부분으로부터 도출된 상기 동기화 데이터는 상기 시청각 콘텐츠로부터 상기 송출 또는 실행 중에 도출되며, 그리고 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 상기 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 상기 보조 데이터는, 상기 송출 또는 실행 중에 상기 시청각 콘텐츠 내의 인스턴트에 대응하는 상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 상기 동기화 데이터 내의 인스턴트에 고정되는 방법.
  24. 청구항 18에 있어서,
    상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 상기 동기화 데이터를 생성하고, 상기 보조 데이터를 상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 상기 동기화 데이터 내의 인스턴트에 고정시키는 단계; 및
    상기 시청각 콘텐츠의 오디오 부분 또는 시각적 부분으로부터 도출된 상기 동기화 데이터 및 상기 동기화 데이터 내의 인스턴트에 고정된 상기 보조 데이터를 저장 장소에 저장하는 단계를 포함하는 방법.
  25. 삭제
  26. 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 방법으로서,
    시청각 콘텐츠의 동기화 데이터에 대한 오디오 부분 또는 시각적 부분의 후속 정렬이 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키도록, 상기 오디오 부분 및 상기 시각적 부분을 포함하는 시청각 콘텐츠와, 상기 동기화 데이터 내의 인스턴트에 고정된 부가 보조 세트로서 제2 좌표 세트를 수신하는 단계; 및
    상기 시청각 콘텐츠의 시각적 부분 내의 위치의 선택을 검출하고, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 전송하는 단계를 포함하며,
    상기 제2 좌표 세트는:
    현실 세계 위치의 좌표, 및
    제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응하는 것인 방법.
  27. 청구항 26에 있어서,
    상기 시청각 콘텐츠에 대해 동기화된 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 수신하는 단계를 포함하는 방법.
  28. 청구항 27에 있어서,
    상기 시청각 콘텐츠의 동기화 데이터에 대해 상기 오디오 부분 또는 상기 시각적 부분을 정렬시켜, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키는 단계를 포함하는 방법.
  29. 청구항 27에 있어서,
    상기 시청각 콘텐츠의 동기화 데이터에 대해 상기 오디오 부분 또는 상기 시각적 부분을 정렬시켜, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키는 단계, 및
    상기 동기화 데이터에 대한 상기 오디오 부분 또는 상기 시각적 부분의 정렬에 의존하여 상기 시청각 콘텐츠의 프리젠테이션과 동시에 상기 좌표 세트로 나타낸 위치에서의 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 상기 오브젝트를 표시하는 단계를 포함하는 방법.
  30. 삭제
  31. 미디어 환경 구동형 콘텐츠 배포 플랫폼을 위한 방법으로서,
    시청각 콘텐츠의 오디오 부분 또는 시각적 부분에 대한 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시의 후속 정렬이 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 보조 데이터를 상기 시청각 콘텐츠에 대해 동기화시키도록, 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 및 상기 시청각 콘텐츠의 오디오의 표시 내의 인스턴트에 고정된 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 저장하는 단계; 및
    상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 및 상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 상기 보조 데이터와, 동기화 데이터 내의 인스턴트에 고정된 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트 및 상기 동기화 데이터 내의 인스턴트에 고정된 부가적 보조 데이터로서의 제2 좌표 세트를 전송하는 단계를 포함하며,
    상기 제2 좌표 세트는:
    현실 세계 위치의 좌표, 및
    제2 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 중 하나 이상에 대응하는 것인 방법.
  32. 청구항 31에 있어서,
    상기 시청각 콘텐츠의 오디오 또는 비디오의 표시 내의 인스턴트에 고정된 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 저장하는 단계를 포함하는 방법.
  33. 청구항 32에 있어서,
    상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 수신하는 단계; 및
    상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 수신하는 것에 응답하여, 상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 보조 데이터를 전송하는 단계를 포함하는 방법.
  34. 청구항 32에 있어서,
    상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 데이터를 수신하는 단계; 및
    상기 좌표 세트로 나타낸 위치에서 상기 시청각 콘텐츠의 시각적 부분 내에 위치된 오브젝트를 식별하는 데이터를 수신하는 것에 응답하여, 상기 시청각 콘텐츠의 시각적 부분 내의 위치를 나타내는 좌표 세트를 식별하는 보조 데이터를 전송하는 단계를 포함하는 방법.
  35. 삭제
KR1020207022304A 2018-01-02 2019-01-02 보조 데이터로서 좌표 KR102585575B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/860,438 US20190208236A1 (en) 2018-01-02 2018-01-02 Coordinates as ancillary data
US15/860,438 2018-01-02
PCT/US2019/012085 WO2019136092A1 (en) 2018-01-02 2019-01-02 Coordinates as ancillary data

Publications (2)

Publication Number Publication Date
KR20200138710A KR20200138710A (ko) 2020-12-10
KR102585575B1 true KR102585575B1 (ko) 2023-10-10

Family

ID=65278459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207022304A KR102585575B1 (ko) 2018-01-02 2019-01-02 보조 데이터로서 좌표

Country Status (9)

Country Link
US (1) US20190208236A1 (ko)
EP (2) EP3735778B1 (ko)
JP (1) JP2021509795A (ko)
KR (1) KR102585575B1 (ko)
CN (2) CN115278295A (ko)
CA (1) CA3087563A1 (ko)
ES (1) ES2933202T3 (ko)
PL (1) PL3735778T3 (ko)
WO (1) WO2019136092A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109897004A (zh) 2012-09-11 2019-06-18 麦迪威森前列腺医疗有限责任公司 恩杂鲁胺制剂
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data
CN110456957B (zh) * 2019-08-09 2022-05-03 北京字节跳动网络技术有限公司 显示交互方法、装置、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056136A1 (en) * 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US20150110457A1 (en) 2012-03-26 2015-04-23 Customplay Llc Second Screen Shopping Function
US20160300596A1 (en) 2015-04-09 2016-10-13 Avid Technology, Inc. Methods and systems for processing synchronous data tracks in a media editing system
US20170295412A1 (en) * 2016-04-08 2017-10-12 Source Digital, Inc. Synchronizing ancillary data to content including audio

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
FR2841724A1 (fr) * 2002-06-28 2004-01-02 Thomson Licensing Sa Systeme et procede de synchronisation pour programmes audiovisuels, dispositifs et procedes associes
CN1820511A (zh) * 2003-07-11 2006-08-16 皇家飞利浦电子股份有限公司 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备
JP2009117974A (ja) * 2007-11-02 2009-05-28 Fujifilm Corp 興味情報作成方法、装置およびシステム
US8166500B2 (en) * 2007-12-17 2012-04-24 Diggywood, Inc. Systems and methods for generating interactive video content
US8886745B2 (en) * 2008-04-07 2014-11-11 Qualcomm Incorporated Methods and apparatus for delivering auxiliary data to device
WO2010138776A2 (en) * 2009-05-27 2010-12-02 Spot411 Technologies, Inc. Audio-based synchronization to media
US10097880B2 (en) * 2009-09-14 2018-10-09 Tivo Solutions Inc. Multifunction multimedia device
US8990854B2 (en) * 2009-09-14 2015-03-24 Broadcom Corporation System and method in a television for providing user-selection of objects in a television program
US9277183B2 (en) * 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
US8380334B2 (en) 2010-09-07 2013-02-19 Linear Acoustic, Inc. Carrying auxiliary data within audio signals
KR101946861B1 (ko) * 2011-09-21 2019-02-13 삼성전자주식회사 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
KR101310943B1 (ko) * 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
US9330431B2 (en) * 2012-12-19 2016-05-03 Jeffrey Huang System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US20150348538A1 (en) * 2013-03-14 2015-12-03 Aliphcom Speech summary and action item generation
US20150062353A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Audio video playback synchronization for encoded media
AU2014318712B2 (en) * 2013-09-11 2020-04-23 Aibuy, Inc. Dynamic binding of video content
US9456237B2 (en) * 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10638194B2 (en) * 2014-05-06 2020-04-28 At&T Intellectual Property I, L.P. Embedding interactive objects into a video session
US20160301953A1 (en) * 2015-04-10 2016-10-13 Echostar Technologies L.L.C. Systems and methods for extracting data from audiovisual content
US9332160B1 (en) * 2015-09-09 2016-05-03 Samuel Chenillo Method of synchronizing audio-visual assets
US9786298B1 (en) 2016-04-08 2017-10-10 Source Digital, Inc. Audio fingerprinting based on audio energy characteristics
CN106504187A (zh) * 2016-11-17 2017-03-15 乐视控股（北京）有限公司 视频识别方法以及装置
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056136A1 (en) * 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US20150110457A1 (en) 2012-03-26 2015-04-23 Customplay Llc Second Screen Shopping Function
US20160300596A1 (en) 2015-04-09 2016-10-13 Avid Technology, Inc. Methods and systems for processing synchronous data tracks in a media editing system
US20170295412A1 (en) * 2016-04-08 2017-10-12 Source Digital, Inc. Synchronizing ancillary data to content including audio

Also Published As

Publication number Publication date
EP4096227A1 (en) 2022-11-30
US20190208236A1 (en) 2019-07-04
KR20200138710A (ko) 2020-12-10
CN111771385B (zh) 2022-07-05
CN115278295A (zh) 2022-11-01
CN111771385A (zh) 2020-10-13
EP3735778A1 (en) 2020-11-11
PL3735778T4 (pl) 2023-01-23
CA3087563A1 (en) 2019-07-11
ES2933202T3 (es) 2023-02-02
PL3735778T3 (pl) 2023-01-23
JP2021509795A (ja) 2021-04-01
WO2019136092A1 (en) 2019-07-11
EP3735778B1 (en) 2022-09-07

Similar Documents

Publication Publication Date Title
JP7442211B2 (ja) オーディオを含むコンテンツに対する補助データの同期化
KR102585575B1 (ko) 보조 데이터로서 좌표
US11503350B2 (en) Media environment driven content distribution platform

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right