KR20150018471A - 제2 스크린 디바이스 및 시스템 - Google Patents

제2 스크린 디바이스 및 시스템 Download PDF

Info

Publication number
KR20150018471A
KR20150018471A KR1020140102558A KR20140102558A KR20150018471A KR 20150018471 A KR20150018471 A KR 20150018471A KR 1020140102558 A KR1020140102558 A KR 1020140102558A KR 20140102558 A KR20140102558 A KR 20140102558A KR 20150018471 A KR20150018471 A KR 20150018471A
Authority
KR
South Korea
Prior art keywords
watermarks
content
watermark
screen
payloads
Prior art date
Application number
KR1020140102558A
Other languages
English (en)
Inventor
에릭 디엘
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP13306612.6A external-priority patent/EP2876826A1/en
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150018471A publication Critical patent/KR20150018471A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/78—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by source locations or destination locations
    • H04H60/80—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by source locations or destination locations characterised by transmission among terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/50—Aspects of broadcast communication characterised by the use of watermarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

제2 스크린 시스템(100)은 제1 타입의 워터마크들(WM1) 및 제2 타입의 워터마크들(WM2)을 포함하는 제1 콘텐츠(140)를 렌더링하는 제1 스크린(110)을 포함한다. 제1 타입의 워터마크들(WM1)은 이들 워터마크들에 반응하는 제2 스크린(120)에 의해 캡처된다. 제2 스크린(120)은 정보를 사용자에게 디스플레이하고 사용자 입력을 수신한다. 제2 스크린(120)은 또한 제2 타입의 워터마크들(WM2)을 포함한 제2 콘텐츠를 워터마킹하고 제2 콘텐츠를 렌더링한다. 제3 디바이스(130)는 제1 콘텐츠(140) 및 제2 콘텐츠 모두에서 제2 타입의 워터마크들을 캡처한다. 제2 스크린(120)에 의해 임베딩된 워터마크들은 사용자의 행동에 의존할 수 있기 때문에, 제3 디바이스(130)는 사용자의 행동에 간접적으로 반응할 수 있다.

Description

제2 스크린 디바이스 및 시스템{SECOND SCREEN DEVICE AND SYSTEM}
본 개시는 일반적으로 (오디오) 워터마크들 및 특히 그러한 워터마크들과 상호 작용하는 디바이스들에 관한 것이다.
이 부문은 독자들에게 이하에 설명 및/또는 청구된 본 개시의 다양한 측면들에 관련될 수 있는 기술의 다양한 측면들을 소개하도록 의도되어 있다. 이 논의는 본 개시의 다양한 측면의 더 바람직한 이해를 용이하게 하가 위해 독자들에게 배경 정보를 제공하는데 도움이 되리라 믿는다. 그에 따라, 이러한 성명들은 이전 기술의 입장들로서가 아닌, 이러한 관점에서 읽혀져야 한다는 것이 이해되어야 한다.
최근 몇 해 동안, 이른바 제2 스크린 시스템들은 관심을 모았다. 이러한 것들에서, 일반적으로 스피커를 포함한 스크린인 제1 디바이스(제1 또는 메인 스크린)는 오디오 부분이 워터마킹된 (또는 핑거프린트된) 콘텐츠 아이템을 렌더링한다. 제2 디바이스는 워터마크 페이로드를 캡처하여 처리하고, 워터마크 페이로드에 따른 행동을 수행한다. 전형적인 행동은 제1 디바이스에 의해 렌더링된 콘텐츠에 일부 관련한 보조 정보를 다운로드 및 디스플레이하는 것이다. 보조 정보의 예들은 제1 디바이스에 의해 렌더링된 스포츠 사건 및 콘텐츠 아이템 안에 나타난 아이템들의 구매를 허용하는 웹 사이트에 관련된 통계들이다.
"제2 스크린"은 항상 비디오를 렌더링할 수 있는 디바이스, 즉, 반드시 스크린일 필요가 없다는 것에 주목되어야 한다. 이러한 해결방안의 일례는 콘텐츠에, 예를 들어 만화에서의 개그에 웃음으로써 반응하는 장난감이다.
특히 제2 경우에서, 제2 디바이스는 오직 콘텐츠에 직접적으로 반응하고, 제한으로서 인식될 수 있는 콘텐츠와의 사용자의 상호작용에는 반응하지 않는다. 따라서, 디바이스가 제2 스크린 시스템에서 콘텐츠와의 사용자의 상호 작용에 반응하도록 허용하는 해결방안에 대한 요구가 있다는 것은 바람직할 수 있다. 본 개시는 그러한 해결방안을 제공한다.
제1 측면에서, 본 개시는 렌더링 디바이스에 의해 렌더링된 제1 콘텐츠를 캡처하도록 구성된 유닛; 제1 콘텐츠로부터 제1 워터마크들의 페이로드들을 추출하고 제1 콘텐츠로부터 제2 워터마크들의 페이로드들을 추출하지 않도록 구성된 검출기; 워터마킹된 제2 콘텐츠를 획득하기 위해 페이로드를 포함한 워터마크들을 제2 콘텐츠로 삽입하도록 구성된 제2 워터마크들의 임베더(embedder); 및 워터마킹된 제2 콘텐츠를 렌더링하도록 구성된 렌더링 유닛을 포함하는 디바이스에 대한 것이다.
제1 실시예에서, 제1 워터마크들 및 제2 워터마크들 중 적어도 하나는 오디오 워터마크이다. 제1 워터마크들 및 제2 워터마크들 모두가 오디오 워터마크들인 것이 바람직하다.
제2 실시예에서, 제1 워터마크들 및 제2 워터마크들은 상이한 워터마크 기술들에 대응한다.
제3 실시예에서, 디바이스는 사용자에게 정보를 디스플레이하고 사용자 입력을 수신하도록 구성된 사용자 인터페이스; 및 사용자 인터페이스로부터 사용자 입력을 수신하고; 수신된 페이로드들에 응답하여 사용자 인터페이스가 정보를 디스플레이하도록 야기하고; 제2 워터마크들의 임베더에 워터마크 페이로드를 송신하도록 구성된 프로세서를 더 포함한다. 사용자 인터페이스가 터치 스크린인 것이 바람직하다. 또한 프로세서가 사용자 입력에 응답하여 임베더에 전송하기 위해 워터마크 페이로드를 선택하도록 구성되어 있는 것이 바람직하다. 제1 콘텐츠에 특정하고 수신된 페이로드들에 응답하여 사용자 인터페이스가 정보를 디스플레이하고 제2 워터마크들의 임베더에 워터마크 페이로드를 전송하도록 하는 애플리케이션을 실행하도록 구성되어 있는 것이 더 바람직하다.
제2 측면에서, 본 개시는 캡처 및 임베딩 디바이스 및 수신기 디바이스를 포함하는 시스템에 대한 것이다. 캡처 및 임베딩 디바이스는 제1 워터마크들 및 제2 워터마크들을 포함한 렌더링된 제1 콘텐츠를 캡처하도록 구성된 유닛; 제1 콘텐츠로부터 제1 워터마크들의 페이로드들을 추출하고 제2 워터마크들의 페이로드들을 추출하지 않도록 구성된 검출기; 워터마킹된 제2 콘텐츠를 획득하기 위해 페이로드를 포함한 제2 워터마크를 제2 콘텐츠로 삽입하도록 구성된 제2 워터마크들의 임베더; 및 워터마킹된 제2 콘텐츠를 렌더링하도록 구성된 렌더링 유닛을 포함한다. 수신기 디바이스는 제1 콘텐츠 및 제2 콘텐츠를 캡처하도록 구성된 유닛; 제2 워터마크들의 페이로드들을 추출하지만, 제1 워터마크들의 페이로드들은 추출하지 않도록 구성된 검출기; 및 추출된 페이로드들에 반응하도록 구성된 프로세서를 포함한다.
제1 실시예에서, 시스템은 제1 콘텐츠를 렌더링하도록 구성된 렌더링 디바이스를 더 포함한다.
본 개시의 바람직한 특징들은 첨부된 도면을 참조하여 비-제한적 예에 의해 이제 기술될 것이다.
도 1은 본 개시에 따른 예시적인 시스템을 도시한다.
도 2는 본 개시의 바람직한 실시예에 따른 제2 스크린(120)을 도시한다.
도 3은 본 개시의 바람직한 실시예에 따른 제3 디바이스(130)를 도시한다.
도 4는 본 개시가 사용된 예시적인 시나리오를 도시한다.
도 1은 본 개시에 따른 예시적인 시스템을 도시한다. 시스템(100)은 제1 디바이스("제1 스크린")(110), 제2 디바이스("제2 스크린")(120) 및 제3 디바이스(130)를 포함한다. 바람직하게는 텔레비전 세트인 제1 스크린(110)은 워터마킹된 제1 콘텐츠(140)를 수신하고 렌더링하도록 구성되어 있다. 제2 스크린(120)은 제1 콘텐츠(140)에서 제1 타입의 워터마크들(WM1)을 캡처하도록 구성되어 있는 반면에, 제3 디바이스(130)는 이 콘텐츠(140)에서 제2 타입의 워터마크들(WM2)을 캡처하도록 구성되어 있다. 제2 스크린(120)은 또한 수신된 정보를 렌더링하고, 제2 콘텐츠에 워터마크를 임베딩하며(도시되지 않음), 워터마킹된 제2 콘텐츠를 렌더링하고 사용자와 상호 작용하도록 구성되어 있다. 제3 디바이스(130)는 수신 및 추출된 제2 타입의 워터마크들(WM2)에 반응하도록 구성되어 있다. 이후에 더 기술되는 바와 같이, 제1 스크린(110), 제2 스크린(120) 및 제3 디바이스(130) 각각은 적어도 1개의 프로세서(이 도면상에 도시되지 않음), 메모리(이 도면상에 도시되지 않음), 및 당업자에게 공지된 케이블들과 같은 다른 필요한 하드웨어를 바람직하게 포함한다. CD-ROM 또는 하드 디스크와 같은 비-일시적인 저장 매체(140)는 제2 스크린(120)에 의한 실행을 위해 의도된 애플리케이션(이후에 더 기술됨)의 명령어들을 저장한다.
바람직한 실시예에서, 제1 스크린(110)은, 제2 스크린(120)이 제1 타입의 워터마크들(WM1)을 추출하고 제2 타입의 워터마크들(WM2)을 삽입할 수 있는 반면에 제3 디바이스(130)는 제2 타입의 워터마크들(WM2)만 추출하도록 구성되는 것을 목표로, 2개의 상이한 워터마크 기술들을 이용하여 바람직하게 삽입되었던 제1 및 제2 타입의 워터마크들(WM1 및 WM2)을 포함하는 제1 콘텐츠(140)를 수신한다. 바꿔 말하면, 각각의 타입의 워터마크는 추출을 위해 자신의 타입의 검출기를 필요로 한다.
따라서, 제1 스크린(110)이 워터마킹된 제1 콘텐츠(140)를 렌더링할 때, 그것은 양자의 타입의 워터마크들(WM1 및 WM2)을 바람직하게 포함한다. 임의의 타입의 워터마크, 즉, 오디오 워터마크 및 비디오 워터마크 양자가 가능하지만, 오디오 워터마크가 바람직하다. 제2 스크린(120)은, 제2 타입의 워터마크들(WM2)이 아닌 제1 타입(WM1)의 워터마크들을 추출하기 위해 워터마크 채널(즉, 오디오 또는 비디오)을 캡처하고 제2 콘텐츠에서 제2 타입의 워터마크들(WM2)을 삽입하도록 구성되어 있다. 제3 디바이스(130)는 제1 스크린(110) 또는 제2 스크린(120)으로부터 유래된 워터마크들과 같은, 제2 타입의 워터마크들(WM2)을 추출하기 위해 관련 워터마킹된 채널들을 캡처하도록 구성되어 있다.
도 2는 본 개시의 바람직한 실시예에 따르는 제2 스크린(120)을 도시한다. 제2 스크린(120)은 예정인 워터마크들을 포함하는 채널을 캡처하기 위한 유닛(121)을 포함하고; 바람직한 실시예가 오디오 워터마크들을 사용하므로, 이 유닛은 마이크로폰이다. 마이크로폰(121)은 캡처된 사운드를 프로세서(123)에 전달된 워터마크 페이로드를 추출하는 제1 타입의 워터마크들(WM1)의 검출기(122)에 전달한다.
프로세서(123)는 콘텐츠(및 그에 따라 상이한 워터마크 페이로드들)에 바람직하게 특정한 애플리케이션을 실행하도록 구성되어 있다. 이것은 수신된 워터마크 페이로드들에 특정한 반응들을 허용한다. 프로세서(123)는 또한 사용자 입력을 수신하고 렌더링될 정보를 사용자에게 전송하기 위해 사용자 인터페이스(124), 바람직하게는 터치 스크린으로 통신하도록 구성되어 있다. 프로세서(123)는 워터마크 페이로드를 생성하고 이것을 제2 타입의 워터마크들의 임베더(125)에 전송하도록 더 구성되어 있다. 임베더(125)는 제2 스크린(120)에서 로컬 저장되거나 또는 원격 서버로부터 제2 스크린에 의해 검색될 수 있는 제2 콘텐츠의 워터마크로서 페이로드를 임베딩하도록 구성되어 있다; 바람직한 실시예에서, 워터마크는 오디오 콘텐츠에서 임베딩된 오디오 워터마크이다. 제2 콘텐츠는 제2 콘텐츠의 렌더러(126), 즉, 바람직한 실시예에서 스피커에 전송된다.
따라서, 제2 스크린(120)은 제1 타입의 워터마크를 캡처 및 추출하고, 워터마크 페이로드에 반응하며, 정보를 사용자에게 렌더링하고 사용자 입력을 수신하고, 제2 타입의 워터마크를 임베딩하고 렌더링하도록 구성되어 있다.
도 3은 본 개시의 바람직한 실시예에 따라 제3 디바이스(130)를 도시한다. 도시된 바와 같이, 제3 디바이스(130)는 제2 스크린(120)보다 더 간단할 수 있다. 제3 디바이스(130)는 예정인 워터마크들을 포함하는 채널을 캡처하기 위한 유닛(131)을 포함한다; 바람직한 실시예가 오디오 워터마크들을 사용하므로, 이 유닛은 마이크로폰이다. 마이크로폰(131)은 캡처된 사운드를 프로세서(133)로 전달되는 워터마크 페이로드를 추출하는 제2 타입의 워터마크들(WM2)의 검출기(132)에 전달한다.
프로세서(133)는 수신된 페이로드에 응답하여 하나 이상의 행동들을 수행하도록 구성되어 있다. 그러한 행동들의 예들은 상이한 타입들의 무브먼트를 포함하지만, 그 행동은 미리 결정된 오디오 트랙의 재생인 것이 바람직하다. 페이로드에 따라, 프로세서는 렌더링을 위해 스피커(136)에 전송되는 대응 오디오 트랙을 검색한다.
따라서, 제3 디바이스(130)는 제1 스크린(110) 및 제2 스크린(120) 모두에서 유래하는 워터마크들에 반응할 수 있다. 제2 스크린으로부터의 워터마크들이 사용자의 행동들에 의존하도록 만들어질 수 있기 때문에, 제3 디바이스는 따라서 사용자의 행동들에 간접적으로 반응할 수 있다. 본 개시의 목적을 위해, 사용자 입력 없음은 또한 사용자 동작으로 간주된다는 것이 주목되어야 한다; 다시 말해서, 제3 디바이스는 또한 사용자 입력의 부재에 반응할 수 있다.
도시적 및 비-제한적인 예시는 시스템이 동작할 수 있는 방법을 이제 더 나타낼 것이다. 예시적인 시나리오는 사용자에게 다양한 난이도의 닫힌 질문들의 세트를 답변하도록 요청하는 방송 퀴즈 게임이다. 예에서, 각각의 질문에 대한 4개의 가능한 답변들이 항상 있다.
제1 콘텐츠(140)는 호스트가 쇼 동안 질문할 때 질문을 식별하는 (바람직하게 숫자: 1, 2, 3 등으로써) 제1 타입의 워터마크들(WM1), 및 답변을 위한 시간이 끝난 때를 나타내는 워터마크(예를 들어 0)를 포함한다. 제1 콘텐츠(140)는 또한 호스트가 그의 질문을 끝냈을 때 그 질문의 예상 난이도를 나타내는 (예를 들어 "쉬움"은 1, "중간"은 2, "어려움"은 3 및 "천재적임"은 4) 제2 타입의 워터마크들(WM2)을 포함한다. 이러한 값들 및 타임라인은 콘텐츠 오프라인의 조각을 편집할 때 오퍼레이터에 의해 정의된다.
호스트가 질문을 시작할 때, 제2 스크린에서의 검출기(122)는 제1 타입의 워터마크(WM1)를 검출하고 페이로드를 추출한다. 이것은 질문의 순위가 될 것이다. 애플리케이션은 질문 및 대응하는 잠재적 답변들(미리-기록되거나 또는 즉석으로 다운로드될 수 있음)을 디스플레이하고, 오디오 트랙을 재생하기 시작하고 사용자의 선택을 기다림으로써 반응한다.
호스트가 질문하는 것을 멈췄을 때, 제3 디바이스의 검출기(132)는 질문의 난이도를 추출한다. 난이도에 대응하여, 프로세서(133)는 문맥상 메세지를 검색 및 (스피커(136)를 통해서) 재생한다. 예를 들어, 1은: "이봐, 그것은 쉬운 것이야!", 2는: "이것은 너무 어렵지는 않을 거야."
사용자 인터페이스(124)를 통해 제공된 사용자의 답변을 기다리는 동안, 프로세서(123)에 의해 실행된 애플리케이션은 그것이 작동시킬 수 있는 미리 정의된 반응들의 세트를 갖는다. 제3 디바이스(130)의 바람직한 반응에 따라, 애플리케이션은 스피커(126)에 의해 렌더링되고 있는 현재 재생되는 오디오 트랙에 임베딩하기 위한 제2 타입의 워터마크들(WM2)의 임베더(125)에 전송된 페이로드를 정의한다.
제3 디바이스(130)에 의해 수신될 때, 오디오 트랙은 마이크로폰(131)에 의해 캡처되고, 임베딩된 워터마크는 스피커(136)를 통해 대응 오디오 트랙 메세지를 차례로 재생하는 프로세서(133)에 페이로드를 전달하는 검출기(132)에 의해 추출된다. 다음 표 1은 페이로드 값들 및 대응하는 메세지들의 예를 제공한다:
값 메세지
10 "아마도 그것은 1 입니다"
11 "아마도 그것은 2 입니다"
12 "아마도 그것은 3 입니다"
13 "아마도 그것은 4 입니다"
14 "당신의 답변에 확신하십니까?"
15 "당신은 아마도 옳을 것입니다"
16 "서두르십시오"
17 "너무 늦었습니다!"
18 "만세"
표 1: 페이로드 값들 및 메세지들의 예들
답변을 위한 시간이 끝나면, 제2 스크린(120)의 워터마크 검출기(122)는 대응하는 페이로드를 추출하고 프로세서(123)에 전달한다. 프로세서(123)는 사용자 인터페이스(124)에 의해 렌더링된 정보를 갱신한다. 사용자가 제시간에 답변하지 않았다면, 프로세서(123)는 또한 제3 디바이스(130)가 "너무 늦었습니다!"라는 메세지를 재생하도록 하는 페이로드 "17"을 워터마크 임베더(125)에 제공할 수 있다.
이러한 예시적 시나리오는 또한 시간이 아래로 감소하는 타임라인을 나타내는 도 4를 도시한다. 처음에, 호스트는 질문 1을 묻고, 제1 타입의 워터마크(WM1)는 그것이 질문 1이라는 것을 나타내는 값(1)을 포함한다. 질문의 마지막에서, 제2 타입의 워터마크(WM2)는 제3 디바이스(130)가 "이봐, 그것은 쉬운 것이야!"를 소리내도록 하는 값(1)을 포함한다. 호스트 및 제2 스트린(120)이 사용자로부터 답변을 기다리는 동안, 제2 스크린은 그것이 분산시키는 제2 콘텐츠의 값(12)을 포함한 워터마크를 임베딩하고, 그에 따라, 제3 디바이스(130)가 "아마도 그것은 3입니다"를 소리내도록 야기한다. 대기의 마지막에 - 사용자가 예에서 올바른 응답을 제공하는 동안 - 제1 타입의 워터마크(WM1)는 답변을 위한 시간이 끝났음을 나타내기 위한 값(0)을 포함한다. 사용자에 의한 올바른 답변 입력에 응답하여, 제2 스크린(120)은 값(18)을 포함한 워터마크를 제2 콘텐츠로 임베딩하고, 제3 디바이스(130)는 "만세"로 반응한다. 그 다음에 이것은 제2 및 추가 질문들을 통해 적절한 값들로 반복된다.
변형에서, 제1 타입 및 제2 타입의 워터마크들(WM1, WM2)은 모두 동일한 워터마크 기술을 이용하여 삽입 및 추출되고, 이는 제2 스크린(120) 및 제3 디바이스(130) 모두 이러한 워터마크들을 추출하는 것이 가능하다는 것을 의미한다. 그러나, 이 경우에 각각의 워터마크 타입은 서로 분리된 페이로드 값들의 세트에 대응한다. 이러한 방법으로, 제2 스크린(120)은 양 타입의 워터마크들을 추출할 수 있지만, 페이로드 값은 임의의 반응에 대응하지 않기 때문에 제2 타입의 워터마크들에 대해 대응하지 않도록 될 수 있고; 제3 디바이스(130)에 대해서는, 반대로, 즉, 그것은 제2 타입의 워터마크들에 대해서만 반응한다. 이러한 경우에 제2 스크린(120) 및 제3 디바이스(130) 모두가 반응하는 워터마크의 제3의 타입을 갖는 것이 가능하다는 것이 이해될 것이다. 이러한 변형에서, 반응은 워터마크들의 추출로서 간주되고, 반면에 비-반응은 워터마크들의 비-추출로서 간주된다.
동일한 위치에서의 이러한 기술은 특정 피처들에 대한 단수형 - 예를 들어, '프로세서' - 을 사용하지만, 피처의 기능성은 복수의 회로들에 자연스럽게 구현될 수 있다는 것이 이해될 것이다.
본 개시는 보다 상호작용적인 제2 스크린 시스템을 제공할 수 있다는 것이 더 이해될 것이다.
본 기술에서 개시된 각각의 피처 및 (적절한) 청구항들 및 도면들은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 하드웨어에서 구현되는 것으로 기술되는 피처들은 또한 소프트웨어로 구현될 수 있고, 그 반대로 구현될 수 있다. 청구항들에서의 참조 번호들은 오직 예시에 의한 것이고, 청구항들의 범위를 제한하는 효과를 갖지 않는다.

Claims (10)

  1. 렌더링 디바이스(110)에 의해 렌더링된 제1 콘텐츠(140)를 캡처하도록 구성된 유닛(121);
    상기 제1 콘텐츠(140)로부터 제1 워터마크들(WM1)의 페이로드들을 추출하고 상기 제1 콘텐츠(140)로부터 제2 워터마크들(WM2)의 페이로드들은 추출하지 않도록 구성된 검출기(122);
    페이로드를 포함한 워터마크들을 제2 콘텐츠에 삽입하여 워터마킹된 제2 콘텐츠를 얻도록 구성된 제2 워터마크들(WM2)의 임베더(embedder; 125); 및
    상기 워터마킹된 제2 콘텐츠를 렌더링하도록 구성된 렌더링 유닛(126)
    을 포함하는 디바이스(120).
  2. 제1항에 있어서,
    상기 제1 워터마크들(WM1) 및 상기 제2 워터마크들(WM2) 중 적어도 하나는 오디오 워터마크인 디바이스(120).
  3. 제2항에 있어서,
    상기 제1 워터마크들(WM1) 및 상기 제2 워터마크들(WM2) 양자 모두 오디오 워터마크인 디바이스(120).
  4. 제1항에 있어서,
    상기 제1 워터마크들(WM1) 및 상기 제2 워터마크들(WM2)은 상이한 워터마크 기술에 대응하는 디바이스(120).
  5. 제1항에 있어서,
    정보를 사용자에게 디스플레이하고 사용자 입력을 수신하도록 구성된 사용자 인터페이스(124); 및
    상기 사용자 인터페이스(124)로부터의 상기 사용자 입력을 수신하고, 수신된 페이로드들에 응답하여 상기 사용자 인터페이스(124)가 정보를 디스플레이하고, 워터마크 페이로드를 제2 워터마크들(WM2)의 상기 임베더(125)에 전송하도록 구성된 프로세서(123)
    를 포함하는 디바이스(120).
  6. 제5항에 있어서,
    상기 사용자 인터페이스는 터치스크린인 디바이스(120).
  7. 제5항에 있어서,
    상기 프로세서(123)는 상기 사용자 입력에 응답하여 상기 임베더(125)에 전송하기 위해 상기 워터마크 페이로드를 선택하도록 구성되어 있는 디바이스(120).
  8. 제5항에 있어서,
    상기 프로세서(123)는 상기 제1 콘텐츠(140)에 특정되어 있고 상기 사용자 인터페이스(124)가 상기 수신된 페이로드들에 응답하여 상기 정보를 디스플레이하는 애플리케이션을 실행하고, 상기 워터마크 페이로드를 제2 워터마크들(WM2)의 임베더(125)에 전송하도록 구성되어 있는 디바이스(120).
  9. 캡처 및 임베딩 디바이스(120) 및 수신기 디바이스(130)를 포함하는 시스템(100)으로서,
    상기 캡처 및 임베딩 디바이스(120)는,
    제1 워터마크들(WM1) 및 제2 워터마크들(WM2)로 렌더링된 제1 콘텐츠(140)를 캡처하도록 구성된 유닛(121);
    상기 제1 콘텐츠(140)로부터 제1 워터마크들(WM1)의 페이로드들을 추출하고 제2 워터마크들(WM2)의 페이로드들은 추출하지 않도록 구성된 검출기(122);
    페이로드를 포함한 제2 워터마크를 제2 콘텐츠에 삽입하여 워터마킹된 제2 콘텐츠를 얻도록 구성된 제2 워터마크들(WM2)의 임베더(125); 및
    상기 워터마킹된 제2 콘텐츠를 렌더링하도록 구성된 렌더링 유닛(126)
    을 포함하고,
    상기 수신기 디바이스(130)는,
    상기 제1 콘텐츠(140) 및 상기 제2 콘텐츠를 캡처하도록 구성된 유닛(131);
    제2 워터마크들(WM2)의 페이로드들은 추출하지만 제1 워터마크들(WM1)의 페이로드들은 추출하지 않도록 구성된 검출기(132); 및
    상기 추출된 페이로드들에 반응하도록 구성된 프로세서(133)
    를 포함하는, 시스템(100).
  10. 제9항에 있어서,
    상기 제1 콘텐츠(140)를 렌더링하도록 구성된 렌더링 디바이스(110)를 더 포함하는 시스템(100).
KR1020140102558A 2013-08-09 2014-08-08 제2 스크린 디바이스 및 시스템 KR20150018471A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP13306144.0 2013-08-09
EP13306144 2013-08-09
EP13306612.6 2013-11-26
EP13306612.6A EP2876826A1 (en) 2013-11-26 2013-11-26 Second screen device and system for displaying a playload of a watermark

Publications (1)

Publication Number Publication Date
KR20150018471A true KR20150018471A (ko) 2015-02-23

Family

ID=51300548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140102558A KR20150018471A (ko) 2013-08-09 2014-08-08 제2 스크린 디바이스 및 시스템

Country Status (5)

Country Link
US (1) US9872000B2 (ko)
EP (1) EP2835917A1 (ko)
JP (1) JP2015036818A (ko)
KR (1) KR20150018471A (ko)
CN (1) CN104347078A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410643B2 (en) 2014-07-15 2019-09-10 The Nielson Company (Us), Llc Audio watermarking for people monitoring
US11016568B2 (en) 2018-07-24 2021-05-25 The Nielsen Company (Us), Llc Methods and apparatus to monitor haptic vibrations of touchscreens

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
US8332478B2 (en) * 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7127744B2 (en) * 2000-03-10 2006-10-24 Digimarc Corporation Method and apparatus to protect media existing in an insecure format
US8091025B2 (en) * 2000-03-24 2012-01-03 Digimarc Corporation Systems and methods for processing content objects
US7017045B1 (en) * 2000-08-22 2006-03-21 Koninklijke Philips Electronics N.V. Multimedia watermarking system and method
US6965683B2 (en) * 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US20050271246A1 (en) * 2002-07-10 2005-12-08 Sharma Ravi K Watermark payload encryption methods and systems
US20060156003A1 (en) * 2002-08-21 2006-07-13 Junbiao Zhang Watermarking digital data at a user device
JP4127636B2 (ja) * 2002-08-30 2008-07-30 株式会社東芝 電子透かし埋め込み装置及び方法
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
JP4164523B2 (ja) * 2005-09-30 2008-10-15 キヤノン株式会社 画像処理システム
US7600342B2 (en) 2006-08-16 2009-10-13 Fiveash Ramon A Tree stand with fast-acting screw assembly and method of using same
US7802306B1 (en) * 2006-11-30 2010-09-21 Qurio Holdings, Inc. Multiple watermarks for digital rights management (DRM) and content tracking
US20100058065A1 (en) * 2006-12-11 2010-03-04 Koninklijke Philips Electronics N.V. Extracting auxiliary data from a host signal
US8516533B2 (en) * 2008-11-07 2013-08-20 Digimarc Corporation Second screen methods and arrangements
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
US20120311623A1 (en) * 2008-11-14 2012-12-06 Digimarc Corp. Methods and systems for obtaining still images corresponding to video
US20100226526A1 (en) * 2008-12-31 2010-09-09 Modro Sierra K Mobile media, devices, and signaling
US8302143B2 (en) 2009-04-09 2012-10-30 At&T Intellectual Property I, L.P. Watermarked media content in IPTV or iTV networks
US20120154633A1 (en) * 2009-12-04 2012-06-21 Rodriguez Tony F Linked Data Methods and Systems
CN201965906U (zh) * 2010-04-01 2011-09-07 北京邮电大学 适用于数字水印技术的语音信号处理装置
US9607131B2 (en) * 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
US9667688B2 (en) * 2011-01-14 2017-05-30 Irdeto Bv Method and system for providing watermarked content to multiple end user devices
US9363519B2 (en) * 2011-04-01 2016-06-07 Google Inc. Detecting displayed channel using audio/video watermarks
JP6058643B2 (ja) * 2011-05-27 2017-01-11 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 複数のスクリーンによるメディア体験を提供する方法、装置およびシステム
US9087048B2 (en) * 2011-06-10 2015-07-21 Linkedin Corporation Method of and system for validating a fact checking system
US9547753B2 (en) * 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US20130173765A1 (en) * 2011-12-29 2013-07-04 United Video Properties, Inc. Systems and methods for assigning roles between user devices
EP2800392A4 (en) * 2012-02-10 2015-09-09 Lg Electronics Inc IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREFOR
CN103077724B (zh) * 2012-12-28 2016-02-17 中国科学院声学研究所 一种在音频中嵌入和解出水印的方法和装置
US20140267907A1 (en) * 2013-03-13 2014-09-18 Verance Corporation Multimedia presentation tracking in networked environment
US9454789B2 (en) * 2013-05-03 2016-09-27 Digimarc Corporation Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
TW201444360A (zh) * 2013-05-03 2014-11-16 Ikala Interactive Media Inc 一種雲端互動服務系統及其運作方法
US9485089B2 (en) * 2013-06-20 2016-11-01 Verance Corporation Stego key management

Also Published As

Publication number Publication date
EP2835917A1 (en) 2015-02-11
US20150043891A1 (en) 2015-02-12
CN104347078A (zh) 2015-02-11
JP2015036818A (ja) 2015-02-23
US9872000B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
US10609308B2 (en) Overly non-video content on a mobile device
US9762817B2 (en) Overlay non-video content on a mobile device
CN102208187B (zh) 对大致无声的媒体内容呈现加注音频水印的方法和设备
EP3363511B1 (en) Video generating system, control device, and editing device
KR102015991B1 (ko) 사용자 장치, 제2 스크린 시스템 및 제2 스크린에 제2 스크린 정보를 렌더링하기 위한 방법
US20120204202A1 (en) Presenting content and augmenting a broadcast
US9352228B2 (en) Methods and systems for processing gaming data
US10105606B2 (en) Device and method for a streaming music video game
CN105592339B (zh) 媒体播放器
KR20130074922A (ko) 디지털 워터마크를 이용한 멀티 디바이스간 프로그램 동기화 방법 및 이를 구현하기 위한 시스템
US20200014949A1 (en) Synchronizing session content to external content
KR20150018471A (ko) 제2 스크린 디바이스 및 시스템
CN112926546A (zh) 一种弹幕的发送方法、装置、设备及可读存储介质
KR20130061501A (ko) 이종의 디바이스상에서 다중 시나리오 재생 시스템 및 그 방법
EP2876826A1 (en) Second screen device and system for displaying a playload of a watermark
US11711328B2 (en) Message output apparatus, learning apparatus, message output method, learning method, and program
US10780353B2 (en) Methods and systems for processing gaming data
CN111918705B (zh) 将会话内容同步到外部内容
CN114390048A (zh) 一种云vr投屏系统和方法
KR20120041847A (ko) 영상 출력 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid